JP2017531396A - ビュー併合予測を利用して、映像を符号化または復号する方法及びその装置 - Google Patents

ビュー併合予測を利用して、映像を符号化または復号する方法及びその装置 Download PDF

Info

Publication number
JP2017531396A
JP2017531396A JP2017518538A JP2017518538A JP2017531396A JP 2017531396 A JP2017531396 A JP 2017531396A JP 2017518538 A JP2017518538 A JP 2017518538A JP 2017518538 A JP2017518538 A JP 2017518538A JP 2017531396 A JP2017531396 A JP 2017531396A
Authority
JP
Japan
Prior art keywords
unit
prediction
merge candidate
video
prediction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017518538A
Other languages
English (en)
Other versions
JP6374605B2 (ja
Inventor
イ，ジン−ヨン
パク，ミン−ウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017531396A publication Critical patent/JP2017531396A/ja
Application granted granted Critical
Publication of JP6374605B2 publication Critical patent/JP6374605B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

映像を復号する方法において、該映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定する段階と、少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成する段階と、併合候補リストに基づいて、予測単位で遂行する予測モードを決定する段階と、決定された予測モードによって予測を行う段階と、を含み、該併合候補リストを生成する段階は、現在予測単位に隣接した隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということに基づいて、ビュー合成予測併合候補を、併合候補リストに追加するか否かということを決定する段階をさらに含むことを特徴とする映像復号方法である。

Description

本発明は、映像を符号化または復号する過程において、併合候補リスト（merge candidate list）を効率的に管理することによって、符号化または復号の性能を向上させるための方法及び装置に関する。
高解像度または高画質の映像コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質の映像コンテンツを効果的に符号化したり復号したりする映像コーデックの必要性が増大している。既存の映像コーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。映像コーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、映像コーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。映像コーデックは、連続的に反復的に発生するデータを小サイズのデータに置き換えることにより、データ量を節減している。
現在符号化単位に含まれる現在予測単位を圧縮するための予測モードを決定するために、併合候補リストを生成する符号化方法または復号方法が使用される。ここで、併合候補リストには、時間的併合候補、空間的併合候補、ビュー合成予測（ＶＳＰ：view synthesis prediction（ＶＳＰ））併合候補などが含まれる。
従来には、併合候補リストにビュー合成予測併合候補を含めるために、現在予測単位周辺の全ての空間的併合候補に該当するブロックに対して、ビュー合成予測を利用して符号化されているか否かということを判断した。ただし、かような併合候補リスト生成過程は、不要な演算が行われることにより、映像圧縮効率が低下してしまう。
映像を符号化または復号する過程において、ビュー合成予測に係わる候補を含む併合候補リストを生成するために、必要性なしに、現在予測単位周辺の全ての空間的併合候補がビュー合成予測を利用して符号化されているか否かということを判断する過程を省略する必要がある。
技術的課題解決のための一実施形態によって、映像を復号する方法において、前記映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定する段階と、前記少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リスト（merge candidate list）を生成する段階と、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定する段階と、前記決定された予測モードによって予測を行う段階と、を含み、前記併合候補リストを生成する段階は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測（view synthesis prediction）併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を前記併合候補リストに追加するか否かということを決定する段階をさらに含むことを特徴とする映像復号方法が提供される。
技術的課題解決のための他の一実施形態によって、映像を復号する装置において、前記映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定し、前記少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リスト（merge candidate list）を生成し、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定し、前記決定された予測モードによって予測を行う復号部を含み、前記復号部は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定することを特徴とする映像復号装置が提供される。
技術的課題解決のためのさらに他の一実施形態によって、映像復号方法を具現するためのプログラムが保存されたコンピュータ判読可能記録媒体が提供される。
現在予測単位周辺の全ての空間的併合候補が、ビュー合成予測を利用して符号化されているか否かということに係わる不要な判断過程を省略することにより、映像圧縮効率を向上させることができる。
一実施形態による多視点ビデオシステムを示す図面である。 多視点ビデオを構成するテクスチャ映像とデプス映像とを例示した図面である。 一実施形態による映像復号装置のブロック図を図示する図面である。 一実施形態による映像符号化装置のブロック図を図示する図面である。 一実施形態による、併合候補リストを生成して予測を行う映像復号方法に係わるフローチャートである。 一実施形態による、現在ブロックに係わる周辺ブロックから、変移ベクトル（disparity vector）が獲得される過程について説明するための図面である。 一実施形態による、動き補償予測された隣接ブロックから変移ベクトルが獲得される過程を図示する図面である。 一実施形態による、併合候補リストに含まれる空間的候補を示す図面である。 一実施形態による、併合候補リストに含まれる時間的候補を示す図面である。 一実施形態による、併合モードで利用されるインター視点（inter-view）候補を示す図面である。 一実施形態による、ビュー合成予測（view synthesis prediction）候補を利用して、映像を復号する方法について説明するための図面である。 一実施形態による併合候補リストが生成される過程を図示した図面である。 一実施形態による、現在予測単位の周辺ブロックがビュー合成予測を利用したか否かということによって、現在予測単位に係わる予測モードを決定する過程を図示する図面である。 ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図を図示する図面である。 ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図を図示する図面である。 符号化単位の概念を図示する図面である。 符号化単位に基づいた映像符号化部のブロック図である。 符号化単位に基づいた映像復号部のブロック図である。 深度別符号化単位及びパーティションを図示する図面である。 一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による深度別符号化情報を図示する図面である。 深度別符号化単位を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 ビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造図示する図面である。 ビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 通信システムが適用されたデジタル放送システムを図示する図面である。 ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
一実施形態による映像を復号する方法において、前記映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定する段階と、前記少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リスト（merge candidate list）を生成する段階と、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定する段階と、前記決定された予測モードによって予測を行う段階と、を含み、前記併合候補リストを生成する段階は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測（view synthesis prediction）併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定する段階をさらに含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、前記隣接予測単位は、空間的併合候補（spatial merging candidates）のうち、前記現在予測単位の左側に隣接することを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、前記隣接予測単位が、空間的併合候補として利用されるか否かということを決定する段階をさらに含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、隣接予測単位が、空間的併合候補として利用され、隣接予測単位が、ビュー合成予測併合候補を利用して符号化されている場合、現在予測単位において、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、予測モードを決定する段階は、第１情報に基づいて、前記現在予測単位が空間的併合候補を利用して予測されるか否かということを決定する段階と、第２情報に基づいて、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということを決定する段階と、をさらに含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、予測モードを決定する段階は、前記現在予測単位が空間的併合候補を利用して予測されるように予測モードが決定され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されていると決定され、第３情報がビュー合成予測併合候補を利用することができることを示す場合、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、前記現在予測単位において、ビュー合成予測併合候補を含む併合候補リストを生成する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、隣接予測単位が、空間的併合候補として利用されないか、あるいは隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち現在予測単位の左側に隣接する第１空間的併合候補、及び現在予測単位の上端に隣接する第２空間的併合候補を併合候補リストに追加した後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像を復号する装置において、前記映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定し、前記少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リスト（merge candidate list）を生成し、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定し、前記決定された予測モードによって予測を行う復号部を含み、前記復号部は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定することをさらに特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、前記隣接予測単位は、空間的併合候補（spatial merging candidates）のうち、前記現在予測単位の左側に隣接することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、前記隣接予測単位が、空間的併合候補として利用されるか否かということを決定することをさらに特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、隣接予測単位が、空間的併合候補として利用され、隣接予測単位が、ビュー合成予測併合候補を利用して符号化されている場合、現在予測単位において、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、第１情報に基づいて、前記現在予測単位が空間的併合候補を利用して予測されるか否かということを決定し、第２情報に基づいて、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということを決定することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、前記現在予測単位が空間的併合候補を利用して予測されるように予測モードが決定され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されていると決定され、第３情報がビュー合成予測併合候補を利用することができることを示す場合、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、前記現在予測単位において、ビュー合成予測併合候補を含む前記併合候補リストを生成することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、隣接予測単位が、空間的併合候補として利用されないか、あるいは隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち現在予測単位の左側に隣接する第１空間的併合候補、及び現在予測単位の上端に隣接する第２空間的併合候補を併合候補リストに追加した後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することを特徴とする映像復号装置が提供される。
一実施形態による、映像復号方法を具現するためのプログラムが保存されたコンピュータ判読可能記録媒体が提供される。
以下、図１Ａないし図６Ｂを参照し、一実施形態によって、ビュー合成予測併合候補を利用して予測を行うための併合候補リストを生成して映像を符号化または復号する方法及び装置が提案される。また、図７ないし図１９を参照し、先に提案した映像符号化方法及び映像復号方法に適用可能な一実施形態によるツリー構造の符号化単位に基づいた映像符号化方法及び映像復号方法が開示される。また、図２０ないし図２７を参照し、先に提案した映像符号化方法、映像復号方法が適用可能な一実施形態が開示される。
以下、「映像」は、ビデオの静止映像や動画、すなわち、映像それ自体を示す。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値またはブロックのレジデュアルがサンプルでもある。
以下、現在ブロック（current block）は、符号化または復号しようとする映像のブロックを意味する。
以下、周辺ブロック（neighboring block）は、現在ブロックに隣接する符号化されたり復号されたりする少なくとも１つのブロックを示す。例えば、周辺ブロックは、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、または現在ブロックの左側上端、左側下端に位置することができる。また、空間的に隣接するブロックだけではなく、時間的に隣接するブロックも含んでもよい。例えば、時間的に隣接するブロックである対応位置（co-located）ブロックは、参照ピクチャの現在ブロックと同一位置ブロック、あるいは同一位置ブロックの周辺ブロックを含んでもよい。
以下、「レイヤ（layer）映像」は、特定視点または同一類型の映像を示す。多視点ビデオにおいて、１つのレイヤ映像は、特定視点に入力されたテクスチャ映像またはデプス映像を示す。例えば、三次元映像において、左視点テクスチャ映像、右視点テクスチャ映像及びデプス映像は、それぞれ１つのレイヤ映像を構成する。すなわち、左視点テクスチャ映像は、第１レイヤ映像、右視点テクスチャ映像は、第２レイヤ映像、デプス映像は、第３レイヤ映像を構成することができる。
図１Ａは、本発明の一実施形態による多視点ビデオシステムを示す。
多視点ビデオシステム１０は、多視点ビデオ符号化装置１２及び多視点ビデオ復号装置１３を含んでもよい。２台以上の多視点カメラ１１を介して獲得された多視点ビデオ映像と、デプスカメラ１４を介して獲得された多視点映像のデプス映像、及び多視点カメラ１１に係わるカメラパラメータ情報を符号化してビットストリームを生成する。多視点ビデオ復号装置１３、及びビットストリームを復号し、復号された多視点ビデオフレームを視聴者の要求によって、多様な形態で提供する。ここで、多視点ビデオシステム１０の多視点ビデオ復号装置１３は、図２Ａの映像復号装置２０に対応する構成でもあり、多視点ビデオ符号化装置１２は、図２Ｂの映像符号化装置２５に対応する構成でもある。
多視点カメラ１１は、互いに異なる視点を有する複数台のカメラを結合して構成されながら、毎フレームごとに、多視点ビデオ映像を提供する。以下の説明において、ＹＵＶフォーマット、ＹＣｂＣｒフォーマットのように、所定カラーフォーマットによって各視点別に獲得されたカラー映像は、テクスチャ（texture）映像とされる。
デプスカメラ１４は、場面のデプス情報を、２５６段階の８ビット映像などで表現したデプス映像（depth image）を提供する。デプス映像の１ピクセルを表現するためのビット数は、８ビットではなく、変更されてもよい。デプスカメラ１４は、赤外線などを利用し、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有するデプス映像を提供することができる。このように、１視点の映像は、テクスチャ映像及びデプス映像を含む。
映像符号化装置２５において、多視点のテクスチャ映像と対応するデプス映像を符号化して伝送すれば、多視点ビデオデータ復号装置１３は、ビットストリームに具備された多視点のテクスチャ映像及びデプス映像を利用して、ステレオ映像や三次元映像を介して、立体感を提供するだけではなく、視聴者が所望する所定視点の三次元映像を合成して提供することができる。多視点ビデオデータのビットストリームヘッダには、データパケットに、デプス映像に係わる情報も含まれているか否かということを示すための情報、各データパケットが、テクスチャ映像に係わるものであるか否かということ、あるいはデプス映像に係わる映像類型を示す情報が含まれてもよい。受信側のハードウェア性能によって、多視点ビデオを復元するのに、デプス映像を利用する場合、受信されたデプス映像を利用して、多視点ビデオを復号し、受信側のハードウェアが多視点ビデオを支援せず、デプス映像を活用することができない場合には、デプス映像に係わって受信されたデータパケットを廃棄する。かように、受信側が多視点映像をディスプレイすることができない場合、多視点映像のうちある１視点の映像を二次元映像（２Ｄ映像）でディスプレイすることができる。
多視点ビデオデータは、視点の個数に比例し、符号化されるデータ量が増加し、また立体感を具現するためのデプス映像も符号化されなければならないために、図１Ａに図示されたような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータを効率的に圧縮する必要がある。
図１Ｂは、多視点ビデオを構成するテクスチャ映像及びデプス映像を例示した図面である。図１Ｂでは、第１視点（view ０）のテクスチャピクチャ（ｖ０）１６ａ、第１視点（view ０）のテクスチャピクチャ（ｖ０）１６ａに対応するデプス映像ピクチャ（ｄ０）１６ｂ、第２視点（view １）のテクスチャピクチャ（ｖ１）１７ａ、第２視点（view １）のテクスチャピクチャ（ｖ１）１７ａに対応するデプス映像ピクチャ（ｄ１）１７ｂ、第３視点（view ２）のテクスチャピクチャ（ｖ２）１８ａ、及び第３視点（view ２）のテクスチャピクチャ（ｖ２）１８ａに対応するデプス映像ピクチャ（ｄ２）１８ｂを図示する。図１Ｂでは、３個の視点（view ０，view １，view ２）での多視点のテクスチャピクチャ（ｖ０，ｖ１，ｖ２）１６ａ，１７ａ，１８ａ、及び対応するデプス映像（ｄ０，ｄ１，ｄ２）１６ｂ，１７ｂ，１８ｂを図示したが、視点の個数は、それらに限定されることなく、変更されてもよい。多視点のテクスチャピクチャ（ｖ０，ｖ１，ｖ２）１６ａ，１７ａ，１８ａ、及び対応するデプス映像（ｄ０，ｄ１，ｄ２）１６ｂ，１７ｂ，１８ｂは、いずれも同一時間に入力され、同一ＰＯＣ（picture order count）を有するピクチャである。以下の説明において、多視点のテクスチャピクチャ（ｖ０，ｖ１，ｖ２）１６ａ，１７ａ，１８ａ、及び対応するデプス映像ピクチャ（ｄ０，ｄ１，ｄ２）１６ｂ，１７ｂ，１８ｂのように、同一ｎ（ｎは整数）のＰＯＣ値を有するピクチャグループ１５を、ｎ−ｔｈピクチャグループと称する。同一ＰＯＣを有するピクチャグループは、１つのアクセス単位（access unit）を構成することができる。アクセス単位の符号化順序は、必ずしも映像のキャプチャ順序（入力順序）やディスプレイ順序と同一である必要はなく、アクセス単位の符号化順序は、参照関係を考慮し、キャプチャ順序やディスプレイ順序と異なってもよい。
各視点のテクスチャ映像及びデプス映像の視点を特定するために、視点順序インデックス（view order index）である視点識別子（ViewＩｄ）が利用される。同一視点のテクスチャ映像及びデプス映像は、同一視点識別子を有する。視点識別子は、符号化順序の決定に利用される。例えば、映像符号化装置２５は、視点識別子が小さい値から大きい値の順序で、多視点ビデオを符号化することができる。すなわち、映像符号化装置２５は、ViewＩｄが０であるテクスチャ映像とデプス映像とを符号化した後、ViewＩｄが１であるテクスチャ映像及びデプス映像を符号化することができる。かように、視点識別子を基準に符号化順序を決定する場合、エラーが発生しやすい環境において、視点識別子を利用して、受信されたデータのエラー発生いかんを識別することができる。ただし、視点識別子の大きさ順序に依存せずに、各視点映像の符号化／復号順序は、変更されてもよい。
図２Ａは、一実施形態による映像復号装置２０のブロック図を図示する。図２Ａでの映像復号装置２０は、図１Ａの多視点ビデオ復号装置１３に対応するものでもある。一実施形態によって、映像復号装置２０は、制御部２１を含んでもよい。制御部２１は、映像を復号するために、映像を複数個の符号化単位に分割することができる。符号化単位を決定するために、制御部２１は、まず符号化単位の最大サイズを決定することができる。制御部２１は、決定された最大符号化単位の大きさによって、映像を多数の最大符号化単位に分割した後、それぞれの最大符号化単位を階層的に分割し、符号化単位を決定することができる。一実施形態によって、ビットストリームから符号化単位の最大サイズに係わる情報は、ビットストリーム獲得部（図示せず）を介して獲得され、制御部２１は、前記最大サイズに係わる情報に基づいて、符号化単位の最大サイズを決定することができる。
図３は、一実施形態によって、併合候補リストを生成して予測を行う映像復号方法に係わるフローチャートを図示する。
Ｓ３１０段階において、映像復号装置２０の制御部２１は、一実施形態によって、符号化単位で少なくとも１つの予測単位を決定することができる。符号化単位において、少なくとも１つの予測単位を決定する具体的な方法は、以下で具体的に説明する。
制御部２１は、入力された多視点のテクスチャ映像及びデプス映像を予測復号する。制御部２１は、多視点映像で重複する情報を低減させるために予測を使用する。具体的には、イントラ予測部（図示せず）は、現在ブロック周辺の復元されたサンプルを参照し、現在ブロックを予測する。インター予測部（図示せず）は、現在ブロックに係わる予測値を、以前に符号化／復号されたピクチャから生成するインター予測を行う。予測モード決定部（図示せず）は、多様なイントラ予測モード、インター予測モードのうち符号化された結果値のコストを比較することによって決定された予測モードに係わる情報に基づいて、現在ブロックに係わる予測モードを決定することができる。かようなイントラ予測部（図示せず）、インター予測部（図示せず）及び予測モード決定部（図示せず）の動作は、制御部２１で遂行される。
インター予測時、参照ピクチャから最適の予測ブロックを探す過程を、動き予測（motion estimation）と呼ぶ。さらに精密な動き推定のために、ビデオコーデックの種類によって、復元ピクチャを補間（interpolation）した後、補間された映像に対して、副画素単位で動き推定を行うことができる。動き補償（motion compensation）とは、動き推定過程で求めた最適の予測ブロックに係わる動き情報（モーションベクトル、参照ピクチャインデックス）を基に、予測ブロックを生成することを意味する。制御部２１は、動き推定過程を介して、参照ピクチャから最適の予測ブロックを探し、動き補償過程を介して、予測ブロックを生成することができる。
制御部２１は、イントラ予測またはインター予測を介して、現在ブロックに係わる予測ブロックを生成することができる。また、制御部２１は、ビットストリームから、予測ブロックと原本ブロックとの差値であるレジデュアル信号を復元するために、ブロック別に逆変換、逆量子化し、エントロピー復号を行う。
映像復号装置２０は、予測符号化された多視点ビデオに係わるデータを含むビットストリームを獲得することができる。一実施形態によって、映像復号装置２０のビットストリーム獲得部（図示せず）は、多視点ビデオに係わるデータとして、ＮＡＬ（network adaptive layer）単位で多重化して生成されたデータパケットを、ビットストリームから獲得することができる。
映像復号装置２０は、イントラ予測された映像データ復号のために、現在ブロックの予測モードに係わる情報、イントラ予測モードのうち現在ブロックに適用されたイントラ予測モードを特定するための情報、現在ブロックと予測ブロックとの差値であるレジデュアル信号をビットストリームから獲得することができる。例えば、ＨＥＶＣに基づいて、イントラ予測された現在ブロックに係わる情報として、ＤＣモード、プレーナモード、３３個の方向を有する方向モードの総３５個のイントラ予測モードのうち、現在ブロックに適用されたイントラ予測モードに係わる情報を、ビットストリームから獲得することができる。
インター予測された映像データを伝送するために、現在ブロックの予測モードに係わる情報、リスト０（list ０）、リスト１（list １）のような参照ピクチャリストに係わる情報、参照ピクチャリスト内に含まれた参照ピクチャのうち、現在ブロックのインター予測時に利用された参照ピクチャを示すインデックス情報（ｒｅｆ ｉｄｘ）、現在ブロックの動きベクトルに係わる情報がビットストリームに含まれてもよい。また、インター予測またはイントラ予測される現在ブロックは、予測単位（ＰＵ：prediction unit）でもある。具体的な符号化／復号方式は、図２０ないし図２６を参照して後述する。
インター予測時に伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関度を利用する併合（merge）モード、ＡＭＶＰ（advanced motion vector prediction）モードが利用される。併合モード及びＡＭＶＰモードは、いずれもインター予測の特殊な場合であり、併合モード及びＡＭＶＰモードにおいては、すでに復元されたものとして、現在ブロックと、時間的、空間的に係わる以前ブロックが利用される。現在ブロックの動き情報を誘導するために利用される以前ブロックのリストが生成され、映像復号装置２０は、リスト内の以前ブロックの選択情報を獲得することができる。併合モード及びＡＭＶＰモードにおいて、映像復号装置２０は、同一過程によって動き情報を持ち込むための以前ブロックの候補リストを獲得する。スキップ（skip）モードにおいて、レジデュアル信号の伝送なしに、併合候補リスト内の以前ブロック選択情報だけが伝送される。すなわち、スキップモードは、併合候補リストのうち動き情報を持ち込むインデックス（merge index）情報だけがビットストリームに含まれて伝送され、併合モードの場合、インデックス情報以外に、レジデュアル信号がビットストリームに含まれて伝送される。
前述のように、多視点映像は、複数個の視点で入力されたテクスチャ映像及びデプス映像を含む。１視点を介して入力されるテクスチャ映像及びデプス映像が、それぞれ１つのレイヤ映像を構成すると仮定する。例えば、三次元ビデオの場合、左視点のテクスチャ映像、右視点のテクスチャ映像、左視点のデプス映像、及び右視点のデプス映像が、それぞれ１つのレイヤ映像に構成される。また、三次元ビデオにおいて、デプス映像として、１つのデプス映像だけが利用され、左視点と右視点との視点差によるカメラパラメータ情報から、左視点及び右視点それぞれのデプス映像が生成される。かような場合、左視点のテクスチャ映像、右視点のテクスチャ映像、及び１つのデプス映像それぞれが１つのレイヤ映像を構成し、三次元ビデオは、総３個のレイヤ映像によって構成される。
多視点映像を構成する各レイヤの映像間には、高い相関関係が存在する。例えば、同一視点のテクスチャ映像とデプス映像との間には、同じ時間、同じ視点での映像を、それぞれカラーと深さとで表現したものであるために、相関関係が存在する。また、同一時間に入力された互いに異なる視点のテクスチャ映像やデプス映像の間にも、一定相関関係が存在する。また、異なる時間に入力された他の視点のテクスチャ映像とデプス映像との間にも、一定相関関係が存在する。従って、多視点映像の場合、利用可能な多様な類型の参照ピクチャが存在し、多様な方式でインター予測を行うことができる。すなわち、従来の単一視点の映像のインター予測時、時間方向だけにインター予測を行う場合に限定されず、多視点映像のインター予測時には、時間方向だけではなく、視点方向にもインター予測が行われる。また、対応するテクスチャ映像とデプス映像との間にも、相関関係が存在するので、テクスチャ映像及びデプス映像それぞれは、相手方映像を参照してインター予測される。一般的に、テクスチャ映像に含まれた情報量が多いために、テクスチャ映像を参照してデプス映像がインター予測される。
従って、一実施形態によるインター予測部（図示せず）は、多視点ビデオを構成するピクチャ間の相関関係を考慮し、多様な方式で、他のレイヤのピクチャから、現在レイヤのピクチャを予測するインター・レイヤ予測を行うことができる。
他のレイヤ映像を参照せずに、独立して符号化／復号されるレイヤの映像を独立（independent）レイヤ映像と定義し、他のレイヤの映像を参照して符号化／復号されるレイヤの映像を従属（dependent）レイヤ映像と定義する。独立レイヤ映像は、従属レイヤ映像より先に符号化／復号され、従属レイヤ映像は、以前に符号化／復号された他のレイヤの映像を参照して符号化／復号される。
前述のように、併合モードは、現在ブロック以前に処理された以前ブロックから、参照方向、参照ピクチャインデックス、動きベクトル予測値（ＭＶＰ：motion vector predictor）を誘導する技術である。動きベクトル値は、併合で誘導された動きベクトル予測値に基づいて決定される。映像復号装置２０は、動き選択された併合ブロック情報に該当する併合インデックス（merge index）を獲得することができる。
Ｓ３１１段階において、映像復号装置２０の制御部２１は、一実施形態によって、少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成することができる。制御部２１は、併合モードで利用される併合候補として、少なくとも下記のような候補のうち一つを利用することができる。併合候補は、下記の候補だけに制限されるものではなく、予測方式によって、多様な種類の候補が付加されたり省略されたりする。ここで、併合候補とは、現在予測ブロックに対して遂行される予測モードに係わる候補と定義される。
（１）動きパラメータ相続候補（motion parameter inheritance candidate）
（２）インター視点候補（inter-view candidate）
（３）空間的候補（spatial candidate）
（４）変移候補（disparity candidate）
（５）時間的候補（temporal candidate）
（６）ビュー合成予測候補（ＶＳＰ candidate：view synthesis prediction candidate）
それらのうち、（１）動きパラメータ相続候補、（２）インター視点候補、（３）空間的候補及び（５）時間的候補は、現在ブロックと同一視点のレイヤ映像だけではなく、他視点のレイヤ映像に含まれた以前ブロックでもある。（４）変移候補、（６）ビュー合成予測候補は、現在ブロックと異なる視点のレイヤ映像に含まれた以前ブロックでもある。
図４Ａないし図４Ｄでは、現在ブロックに係わる変移ベクトルを獲得する過程について説明する。ただし、以後で説明する変移ベクトル獲得過程は、一実施形態に過ぎないので、本発明を具現するためには、現在ブロックに係わる変移ベクトルを獲得するための多様な方法が利用される。
図４Ａは、一実施形態によって、現在ブロックに係わる周辺ブロックから、変移ベクトル（disparity vector）が獲得される過程について説明するための図面である。
図４Ａを参照すれば、映像復号装置２０の制御部２１は、現在ブロックと、空間的及び時間的に関連した周辺ブロック（neighboring block）から、現在ブロックの変移ベクトルを獲得することができる。ここで、現在ブロックは、符号化単位（ＣＵ：coding unit）または予測単位（ＰＵ：prediction unit）でもある。空間的に関連した周辺ブロックとして、現在ブロックの左下側に位置したＡ１ブロック、及び右上側に位置したＢ１ブロックから、変移ベクトルが獲得される。変移ベクトルを獲得するために、Ａ１ブロック及びＢ１ブロックの順序で、変移ベクトルを有するか否かということがチェックされ、Ａ１ブロック及びＢ１ブロックにおいて変移ベクトルを有する場合、当該変移ベクトルを利用して、現在ブロックの変移ベクトルが獲得される。
また、参照ピクチャのブロックのうち、現在ブロックと同一位置の時間的隣接ブロック（Ｔ０）を利用して、現在ブロックの変移ベクトルが獲得される。現在ピクチャと時間的に関連した参照ピクチャとして、２個の参照ピクチャが利用される。２個の参照ピクチャのうち第１参照ピクチャは、スライスヘッダの参照ピクチャ情報を介してシグナリングされる参照ピクチャとして決定される。参照ピクチャリストに含まれた参照ピクチャのうち、ランダムアクセスポイント（ＲＡＰ：random access point）ピクチャが含まれた場合、第２参照ピクチャは、ＲＡＰピクチャと決定される。もし参照ピクチャリストにＲＡＰピクチャが存在しない場合、参照ピクチャリストの参照ピクチャのうち、時間的識別子（temporal ＩＤ）が最も低い参照ピクチャが第２参照ピクチャと決定される。時間的識別子（temporal ＩＤ）が最も低い参照ピクチャが複数個である場合、現在ピクチャとのＰＯＣ（picture order count）が最小である参照ピクチャが第２参照ピクチャと決定される。第２参照ピクチャの同一位置のブロックが有する動きベクトルは、選択的には、現在ブロックの変移ベクトル決定に利用される。
一方、図４Ａに図示されているように、現在ブロックと時間的、空間的に係わる隣接ブロックのうち、変移補償予測（ＤＣＰ）を利用して、変移ベクトルを有する隣接ブロック以外にも、動き補償予測（ＭＣＰ）を利用する隣接ブロックから、変移ベクトルを獲得することができる。
図４Ｂは、一実施形態によって、動き補償予測された隣接ブロックから、変移ベクトルが獲得される過程を図示する。図４Ｂを参照すれば、現在ブロックに係わる隣接ブロック４１が、動き補償予測を介して予測されたブロックであり、他視点の参照ブロック４２を示すインター視点動き予測を介して、隣接ブロック４１の動きベクトルが予測された場合、隣接ブロック４１のインター視点動き予測に利用された変移ベクトルは、現在視点ピクチャとインター視点参照ピクチャとの動き対応関係を示す。従って、隣接ブロック４１のインター視点動き予測を介して予測された動きベクトルを利用して、現在ブロックの変移ベクトルを決定することができる。
図４Ｃは、一実施形態による併合候補リストに含まれる空間的候補を示す。図４Ｃを参照すれば、映像復号装置２０は、現在ブロック４４の予測情報を決定するために参照する候補ブロックは、現在ブロック４４に空間的に隣接する予測単位でもある。このとき、現在ブロックは、予測単位でもある。例えば、現在ブロック４４の左側下端サンプルの左側下端外部に位置する予測単位Ａ０ ４５ａ、現在ブロック４４の左側下端サンプルの左側外部に位置する予測単位Ａ１ ４５ｂ、現在ブロック４４の右側上端サンプルの右側上端外部に位置する予測単位Ｂ０ ４６ａ、現在ブロック４４の右側上端サンプルの上端外部に隣接する予測単位Ｂ１ ４６ｂ、現在ブロック４４の左側上端サンプルの左側上端外部に位置する予測単位Ｂ２ ４７が候補ブロックにもなる。候補ブロックにもなるブロックを決定するために、予測単位Ａ１ ４５ｂ，Ｂ１ ４６ｂ，Ｂ０ ４６ａ，Ａ０ ４５ａ，Ｂ２ ４７の順序で、所定位置の予測単位３２００，３３００，３４００，３５００，３６００が探索される。
例えば、予測単位Ａ１ ４５ｂ，Ｂ１ ４６ｂ，Ｂ０ ４６ａ，Ａ０ ４５ａ，Ｂ２ ４７のうち、４個の予測単位が空間的候補ブロックとして選択される。すなわち、４個の空間的候補ブロックが、インター予測のための候補リストに含まれてもよい。
映像復号装置２０は、ブロックＡ１ ４５ｂ，Ｂ１ ４６ｂ，Ｂ０ ４６ａ，Ａ０ ４５ａ，Ｂ２ ４７のうち動き情報を有するブロック、すなわち、インター予測されたブロックのみをインター予測のための予測候補に含め、動き情報を有さないブロックは、予測候補から除く。また、映像復号装置２０は、重複する動き情報を有するブロックは、インター予測のための予測候補から除く。
空間的予測候補に含まれてもよい周辺ブロックの位置及び個数は、前述の例に限定されることなく、変更されてもよい。
図４Ｄは、一実施形態による併合候補リストに含まれる時間的候補を示す。
時間的併合（merge）候補のための参照ピクチャの方向と、参照ピクチャインデックスとがスライスヘッダを介して、デコーダ（復号装置）に伝送される。図４Ｄは、現在予測単位（ＰＵ）の時間的併合（merge）候補の選択位置を示す。同一位置の予測単位は、選択された参照ピクチャにおいて、現在予測単位と同一位置に存在する予測単位（ＰＵ）を意味する。時間的併合（merge）候補は、同一位置のＰＵの右側下端ブロック（Ｈ）をまず探索し、右側下端ブロック（Ｈ）の動き情報が存在しなければ、同一位置の予測単位（ＰＵ）中央（Ｃ３）のピクセルを含むブロックを探索する。
図４Ｅは、一実施形態による、併合モードで利用されるインター視点（inter-view）予測候補を示す。図４Ｅを参照すれば、映像復号装置２０の制御部２１は、第２レイヤ現在ピクチャ４８ａに含まれた現在ブロック４９ａのインター予測のために、現在ブロック４９ａの位置において、ディスパリティベクトル（ＤＶ）が示す第１レイヤ参照ブロック４９ｂが動き情報（ｍｖｒｅｆ）を有するか否かということを判断する。すなわち、参照ピクチャ４８ｂに含まれた第１レイヤ参照ブロック４９ｂが、インターモードまたはスキップモードと決定されたか否かということが判断される。ここで、ディスパリティベクトルが示す参照位置は、現在ブロック４９ａの中心ピクセルを基準にすることもでき、あるいは現在ブロック４９ａの左側上端ピクセルを基準にすることもできる。
映像復号装置２０の制御部２１は、第１レイヤ参照ブロック４９ｂが動き情報を有していれば、参照ブロック４９ｂをインター視点予測候補に決定し、参照ブロック５３の動き情報を、インター予測のための候補リストに追加することができる。一方、インタービュー予測候補決定に利用されるブロックは、符号化単位または予測単位でもある。
図５は、本発明の他の実施形態によるビュー合成予測（view synthesis prediction）を利用して、映像を復号する方法について説明するための図面である。
一実施形態によって、映像復号装置２０は、現在ブロックの変移ベクトルに係わる情報を有していないので、現在ブロックの周辺ブロックの変移ベクトルを誘導する。ここで、現在ブロックとは、予測単位（prediction unit）を含むものであると定義される。例えば、現在ブロック５１ａの周辺ブロック５１ｂは、現在ブロック５１ａより先に復元されたブロックに該当し、周辺ブロック５１ｂに係わる変移ベクトル５２ｂの情報が復元された状態でもある。すなわち、制御部２１は、現在ブロック５１ａに係わる変移ベクトル５１ｂを誘導するために、周辺ブロック５１ｂの変移ベクトル５２ｂに係わる情報を獲得することができる。現在ブロックに係わる変移ベクトルは、図４Ａないし図４Ｄを含む多様な誘導方法を利用して誘導されると詳述したので、詳細な説明は省略する。
一実施形態によって、映像復号装置２０の制御部２１は、現在ブロック５１ａの周辺ブロック５１ｂの変移ベクトル５２ｂに係わる情報を利用して、現在ブロック５１ａの変移ベクトル５２ａを決定することができる。現在ブロックに係わる変移ベクトルは、図４Ａないし図４Ｄを含む多様な誘導方法を利用して誘導されると詳述したので、詳細な説明は省略する。
一実施形態によって、映像復号装置２０の制御部２１は、現在ブロック５１ａの変移ベクトル５２ａによって決定される参照レイヤ（または、参照視点）の参照デプスピクチャ上のデプスブロック５３情報を利用して、参照テクスチャピクチャ上の現在ブロック５１ａに係わる参照ブロックを決定することができる。参照ブロックとは、現在ブロック５１ａに含まれた少なくとも１つのサブブロックに係わる参照ピクチャ上のブロックと定義される。さらには、サブブロックは、現在ブロック５１ａから分割されたブロックであり、それぞれのサブブロックは、少なくとも１つのサンプルを含んでもよい。以下では、説明上の便宜のために、サブブロックは、複数個のサンプルを含む特定サイズのブロックであるということを前提に説明する。
図５を参照すれば、映像復号装置２０の制御部２１は、現在ブロック５１ａの変移ベクトル５２ａが示す参照デプスピクチャ上のデプスブロック５３を決定することができ、デプスブロック５３に係わるデプス値（depth value）に基づいて、現在ブロック５１ａのサブブロック５１ｃ，５１ｄから、参照テクスチャピクチャ上のブロックを示す変移ベクトルを決定することができる。すなわち、制御部２１は、現在ブロック５１ａの変移ベクトル５２ａに係わる情報を、代表変移ベクトルとして周辺ブロック５１ｂから獲得し、獲得された変移ベクトル５２ａに基づいて決定される参照デプスピクチャ上のデプスブロック５３のデプス値に基づいて、サブブロック５１ｃ，５１ｄそれぞれの変移ベクトルを決定することができる。
一実施形態によって、参照デプスピクチャと参照テクスチャピクチャはｂ同一視点（またはｂレイヤ）に含まれたピクチャでもある。サブブロック５１ａ，５１ｂそれぞれの変移ベクトルを、デプスブロック５３のデプス値に基づいて決定する方法は、多様なものがある。例えば、現在ブロック５１ａに係わる現在視点（または、レイヤ）と、参照デプスブロック５３に係わる参照視点（または、レイヤ）との幾何学的関係（例えば、２つの視点に係わる映像撮影装置間の距離、焦点長など）に基づいて決定される。かような決定過程は、当業者として実施することができる多様な方法に基づいて遂行されるものであるので、詳細な説明は省略する。
一実施形態によって、サブブロックの大きさを決定するために、現在ブロックのサブブロックへの分割（sub-block partitioning）に係わる情報に基づいて、それぞれのサブブロックを決定することができる。例えば、サブブロックへの分割に係わる情報が１を示せば、サブブロックは、１つのサンプルを含むものであると決定され、２を示せば、サブブロックは、複数個のサンプルを含む特定サイズのブロックと決定される。
一実施形態によって、映像復号装置２０の制御部２１は、現在ブロック５１ａに含まれたサブブロック５１ｃ，５１ｄそれぞれの変移ベクトルに基づいて、参照テクスチャピクチャ上の参照ブロック５２ｃ，５２ｄを決定することができる。すなわち、制御部２１は、サブブロック５１ｃ，５１ｄそれぞれの変移ベクトルを利用して、バックワードワーピング（backward warping）を行うことによって、参照テクスチャピクチャに含まれた参照ブロックを決定することができる。映像復号装置２０は、参照ブロックを利用して、現在ブロックに係わる予測値を生成し、これを利用して予測復号を行うことができる。すなわち、映像復号装置２０の制御部２１は、サブブロック（例えば、５１ｃ及び５１ｄ）ごとに決定された参照ブロック（例えば、５２ｃ及び５２ｄ）を合成することによって、現在ブロック５１ａに係わる予測を行うことができる。
一実施形態によって、映像復号装置２０の制御部２１は、決定された予測単位に係わる併合候補リストを生成することができる。制御部２１は、映像を予測するための方法として、予測モードを決定することができる。予測モードとは、符号化単位に含まれたサンプルを予測するための方法に係わるのであり、かような予測モードには、多様な予測方法が含まれてもよい。例えば、互いに異なる画面上のピクチャを参照して予測を行うインター（inter）予測またはインターレイヤ（inter-layer）予測が利用される。
一実施形態による映像復号装置２０は、スケーラブル符号化方式によって、レイヤ別にビットストリームを受信することができる。映像復号装置２０が受信するビットストリームのレイヤの個数が限定されるのではない。しかし、説明の便宜のために以下映像復号装置２０が第１レイヤストリームを受信して復号し、また第２レイヤストリームを受信して復号する実施形態について述べる。
映像復号装置２０は、第１レイヤストリーム及び第２レイヤストリームから、第１レイヤ映像及び第２レイヤ映像の符号化されたデータを獲得し、さらには、インター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
例えば、映像復号装置２０は、各レイヤ別にインター予測されたデータを復号し、多数レイヤ間で、インターレイヤ予測されたデータを復号することができる。符号化単位または予測単位を基に、動き補償（motion compensation）及びインターレイヤ復号を介した復元も行われる。
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことによって、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
また、映像復号装置２０は、インターレイヤ予測を介して予測された第２レイヤ映像を復号するために、第１レイヤ映像の予測情報を参照し、インターレイヤ復号を行うこともできる。インターレイヤ復号は、現在映像の予測情報を決定するために、他のレイヤの参照ブロックの予測情報を利用して、現在映像の予測情報を再構成する動作を含む。
映像復号装置２０は、ビデオのそれぞれの映像のブロック別に復号する。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
映像復号装置２０は、パージングされた第１レイヤ映像の符号化シンボルを利用して、第１レイヤ映像を復号することができる。映像復号装置２０がツリー構造の符号化単位を基に符号化されたストリームを受信するならば、第１レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号を行うことができる。
映像復号装置２０は、最大符号化単位ごとにエントロピー復号を行い、復号情報と、復号されたデータとを獲得することができる。映像復号装置２０は、ビットストリームから獲得した符号化されたデータに対して、逆量子化、逆変換を行い、レジデュアル成分を復元することができる。他の実施形態による映像復号装置２０は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を行った結果、映像のレジデュアル成分が復元される。
映像復号装置２０は、同一レイヤ映像間で、動き補償を介して、予測映像とレジデュアル成分とを結合し、第１レイヤ映像を復元することができる。
映像復号装置２０は、インターレイヤ予測構造によれば、第１レイヤ復元映像のサンプルを利用し、第２レイヤ予測映像を生成することができる。映像復号装置２０は、第２レイヤストリームを復号し、インターレイヤ予測による予測誤差を獲得することができる。映像復号装置２０は、第２レイヤ予測映像に予測誤差を結合することにより、第２レイヤ復元映像を生成することができる。
映像復号装置２０は、復号された第１レイヤ復元映像を利用して、第２レイヤ予測映像を決定することができる。映像復号装置２０は、インターレイヤ予測構造によって、第２レイヤ映像の符号化単位または予測単位のようなブロック別に、インター予測を行うことができる。すなわち、第２レイヤ映像のブロックが参照する第１レイヤ映像のブロックを決定することができる。例えば、第２レイヤ映像において、現在ブロックの位置に相応して位置する第１レイヤ映像の復元ブロックが決定される。映像復号装置２０は、第２レイヤブロックに相応する第１レイヤ復元ブロックを利用して、第２レイヤ予測ブロックを決定することができる。
一方、予測単位別に伝送される動き情報に係わるデータ量を減らすために、映像符号化装置２５は、空間的（spatial）／時間的（temporal）相関度に基づいて、現在ブロックの周辺ブロック、またはインターレイヤ方向への現在ブロックの参照ブロックに存在する動き情報を、現在ブロックの動き情報として設定する併合（merge）モードを利用することができる。
併合候補リストは、空間的周辺ブロックの動き情報を基にした空間的候補（spatial candidate）、時間的周辺ブロックの動き情報を基にした時間的候補（temporal candidate）、インターレイヤ候補（inter-layer candidate）を含んでもよい。
インターレイヤ候補は、インターレイヤ方向の参照ブロックに存在する動き情報を基にする時間的インターレイヤ候補（temporal inter layer candidate）、及びインターレイヤ方向の参照ブロックを示すディスパリティベクトル情報を基にした視差インターレイヤ候補（disparity inter layer candidate）を含んでもよい。従って、動きパラメータ相続候補、インター視点候補、変移候補及びビュー合成予測候補は、動き情報あるいはディスパリティベクトル情報の利用いかんによって、時間的インターレイヤ候補または視差インターレイヤ候補に該当する。
映像復号装置２０は、所定の順序によって、空間的候補、時間的候補、時間的インターレイヤ候補、視差インターレイヤ候補のうち少なくとも一つを、併合候補リスト（merge candidate list）に含めることができる。一実施形態による映像復号装置２０は、現在ブロックの予測方法に基づいて、一部併合候補を除き、併合候補リストを生成することによって、復号効率を向上させることができる。
図６Ａは、一実施形態によって、併合候補リストが生成される過程を図示したものである。
映像復号装置２０の制御部２１は、併合候補リスト生成のために、それぞれの併合候補に対する利用可能性いかんを判断することができる。併合候補を利用することができると判断される場合、制御部２１は、当該併合候補を現在予測単位に係わる併合候補リストに含めることができる。
図６Ａを参照すれば、一実施形態によって、制御部２１は、空間的併合候補を利用することができるか否かということを判断することができる（６１ａ）。具体的には、制御部２１は、空間的併合候補それぞれに対して、利用可能性いかんを判断することができる。例えば、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagＡ１の値が０ではない場合、制御部２１は、左側に隣接する空間的併合候補を利用することができると決定することができる。空間的併合候補に係わる内容は、図４Ｃに係わって詳述したので、詳細な説明は省略する。制御部２１は、現在予測単位での空間的併合候補を利用することができると決定した場合、当該空間的予測候補を併合候補リストに追加する過程（６１ｂ）を遂行することができる。図６Ａを参照すれば、制御部２１は、availableFlagＡ１が０ではない場合、併合候補リストを示すextMergeCandListに空間的併合候補Ａ１を追加することができる。
一実施形態によって、映像復号装置２０の制御部２１は、ビュー合成予測併合候補（view synthesis prediction merging candidate）を利用することができるか否かということを判断することができる。具体的には、制御部２１は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰの値が０ではない場合、制御部２１は、現在予測単位でのビュー合成予測併合候補を利用することができると決定することができる。現在予測単位において、ビュー合成予測併合候補を利用することができると決定された場合、制御部２１は、ビュー合成予測併合候補を併合候補リストに追加する過程（６２ｄ）を遂行することができる。図６Ａを参照すれば、制御部２１は、availableFlagＶＳＰが０ではない場合、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができる。制御部２１は、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定することができる。具体的には、映像復号装置２０は、現在予測単位が符号化される過程で使用された予測モードに係わる情報またはインデックス（index）を含むビットストリームを獲得し、現在予測単位に係わる併合候補リスト、及び当該情報またはインデックスに基づいて、現在予測単位に係わる予測モードを決定することができる。
一実施形態によって、映像復号装置２０の制御部２１は、ビュー合成予測併合候補を利用することができるか否かということ、及び現在予測単位の左側に隣接する空間的併合候補Ａ１に該当するブロックが、ビュー合成予測を行って復元されたものであるか否かということを判断することができる。具体的には、制御部２１は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰの値が０ではないか否かということを決定することができる（６２ａ）。さらには、制御部２１は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを決定することができ（６２ｂ）、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを決定することができる（６２ｃ）。
図６Ａを参照すれば、制御部２１は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagＡ１が０であるか否かということを決定し（６２ｂ）、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを示すVspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］値が０であるか否かということを決定することができる（６２ｃ）。ここで、ｘＰｂ及びｙＰｂは、現在予測単位のピクチャ上の位置を示し、ｎＰｂＨは、現在予測単位の高さを示すものであると定義される。VspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］が０である場合、制御部２１は、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されていないと決定することができ、VspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］が０ではない場合、制御部２１は、現在予測単位の左側に隣接する空間的併合候補がビュー合成予測によって復元されたと決定することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補が利用され、当該空間的併合候補がビュー合成予測によって復元されたものではなく、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではない場合、制御部２１は、併合候補リストにビュー合成予測併合候補を示すＶＳＰを追加することができる。
一実施形態によって、たとえ現在予測単位の左側に隣接する空間的併合候補が利用されるにしても、当該空間的併合候補がビュー合成予測によって復元されていない場合であるとしても、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではないならば、制御部２１は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではない値を示す場合であるとしても、制御部２１は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができない。すなわち、現在予測単位において、ビュー合成予測併合候補を利用することができると決定される場合でも、現在予測単位の左側に存在する空間的併合候補がビュー合成予測によって復元されているならば、現在予測単位に係わる併合候補リストには、ビュー合成予測併合候補が追加されない。
一実施形態によって、映像復号装置２０の制御部２１は、空間的併合候補のうち一部に対する併合候補リスト追加過程中、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。例えば、制御部２１は、図６Ａのように、空間的併合候補のうち、現在予測単位の左側に隣接するＡ１、及び現在予測単位の上端に隣接するＢ１を併合候補リストに追加する過程後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。それにより、ビュー合成予測併合候補を併合候補リストに追加するための条件として、現在予測単位の左側に隣接する空間的併合候補の利用いかん、及び現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたものであるか否かということが判断される。
Ｓ３１２段階において、映像復号装置２０の制御部２１は、一実施形態によって、Ｓ３１１段階において生成された併合候補リストに基づいて、現在予測単位において遂行する予測モードを決定することができる。
図６Ｂは、一実施形態によって、現在予測単位の周辺ブロックが、ビュー合成予測を利用したか否かということによって、現在予測単位に係わる予測モードを決定する過程を図示する。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補が、ビュー合成予測によって復元された場合には、制御部２１は、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではない値を示す場合であるとしても、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができない。従って、その場合には、現在予測単位に係わる併合候補リスト上に、ビュー合成予測併合候補が追加されない。しかし、一実施形態によって、現在予測単位において、ビュー合成予測併合候補を利用することができ、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合であるならば、制御部２１は、併合候補リスト上にビュー合成予測併合候補がないとしても、現在予測単位の予測モードをビュー合成予測で決定することができる。
図６Ｂを参照すれば、現在予測単位において利用する併合候補に係わる情報であるＮが、Ａ１を示す現在予測単位において、空間的併合候補であるＡ１を利用して予測を行うと決定され（６３ｂ）、VspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］が１を示す現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたと決定される場合（６３ｃ）、availableFlagＶＳＰが１を示す予測単位において、ビュー合成予測併合候補が利用可能であると決定されるならば（６３ａ）、制御部２１は、現在予測単位において、ビュー合成予測併合候補を利用して予測を行うと決定することができる（６３ｄ）。すなわち、現在予測単位に対して、空間的併合候補Ａ１がビュー合成予測を介して復元されたと判断されるならば、制御部２１は、現在予測単位についても、ビュー合成予測を行うように決定することができる。他の空間的併合候補であるＡ０、Ｂ０、Ｂ１、Ｂ２についてまでも、ビュー合成予測によって復元されたか否かということを判断せず、まず第一に、併合候補リストに追加されたＡ１に対して、ビュー合成予測を介した復元いかんを確認し、その結果、Ａ１がビュー合成予測によって復元されたならば、現在予測単位も、ビュー合成予測で符号化されている可能性が高いために、制御部２１は、予測モードをビュー合成予測で遂行するように決定することができる。それによって、映像復号装置２０での演算の簡素化を介した映像復号の効率性が上昇する。
一実施形態によって、映像復号装置２０のビットストリーム獲得部（図示せず）は、現在予測単位が符号化される過程で使用された予測モードに係わる情報を含むビットストリームを獲得することができる。現在予測単位がいかなる方式で符号化されているかということは、併合候補によって決定され、従って、映像復号装置２０は、現在予測単位の予測に係わる併合候補に係わる情報をビットストリームから獲得し、当該情報に基づいて、併合候補リスト上の併合候補を決定し、決定された併合候補による予測モードを決定することができる。現在予測単位において遂行された予測モードは、映像符号化装置２５において、併合候補の率・歪曲コスト（rate-distortion cost）に基づいて、併合候補リスト上の併合候補のうち一つに決定されたものでもある。
一実施形態によって、映像復号装置２０の制御部２１は、隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち、現在予測単位の左側に隣接する第１空間的併合候補、及び現在予測単位の上端に隣接する第２空間的併合候補を併合候補リストに追加した後、前記ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、制御部２１は、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成するのではない、空間的併合候補を併合候補リストに含める過程に、追加してビュー合成予測併合候補を併合候補リスト含めることができる。一実施形態によって、ビュー合成予測併合候補は、空間的併合候補のうち、現在予測単位の左側に隣接する第１空間的併合候補、及び現在予測単位の上端に隣接する第２空間的併合候補が、併合候補リストに追加された後で追加される。
Ｓ３１３段階において、映像復号装置２０の制御部２１は、Ｓ３１２段階において決定された予測モードによって予測を行うことができる。予測を行うことによって映像を復元する過程は、前述の多様な実施形態を介して説明され、以下で説明する映像復元過程で説明されるので、詳細な説明は省略する。
図２Ｂは、一実施形態による映像符号化装置２５のブロック図を図示する。図２Ｂでの映像符号化装置２５は、図１Ａの多視点ビデオ符号化装置１２に対応するものでもある。一実施形態によって、映像符号化装置２５は、制御部２６を含んでもよい。制御部２６は、映像を復号するために、映像を複数個の符号化単位に分割することができる。符号化単位を決定するために、制御部２６は、まず符号化単位の最大サイズを決定することができる。制御部２６は、決定された最大符号化単位の大きさによって、映像を最大符号化単位に分割した後、それぞれの最大符号化単位を階層的に分割し、符号化単位を決定することができる。一実施形態によって、符号化単位の最大サイズに係わる情報を含むビットストリームを、ビットストリーム生成部（図示せず）で生成することができ、制御部２６は、前記最大サイズに係わる情報に基づいて、符号化単位の最大サイズを決定することができる。
一実施形態によって、映像符号化装置２５の制御部２６は、一実施形態によって、符号化単位において、少なくとも１つの予測単位を決定することができる。該過程は、映像復号装置２０が、図３のＳ３１０段階において、少なくとも１つの予測単位を決定する過程に対応する過程でもある。符号化単位において、少なくとも１つの予測単位を決定する具体的な方法は、以下で具体的に説明する。
制御部２６は、入力された多視点のテクスチャ映像及びデプス映像を予測符号化する。制御部２６は、多視点映像で重複する情報を低減させるために、予測を使用する。具体的には、イントラ予測部（図示せず）は、現在ブロックの周辺の復元されたサンプルを参照し、現在ブロックを予測する。インター予測部（図示せず）は、現在ブロックに係わる予測値を、以前に符号化／復号されたピクチャから生成するインター予測を行う。予測モード決定部（図示せず）は、多様なイントラ予測モード、インター予測モードによって符号化された結果値のコストを比較し、現在ブロックに係わる最適の予測モードを決定し、決定された予測モード情報を出力する。かようなイントラ予測部（図示せず）、インター予測部（図示せず）及び予測モード決定部（図示せず）の動作は、制御部２６で遂行される。
インター予測時、参照ピクチャから最適の予測ブロックを探す過程を、動き予測（motion estimation）と呼ぶ。さらに精密な動き推定のために、ビデオコーデックの種類によって、復元ピクチャを補間（interpolation）した後、補間された映像について、副画素単位で動き推定を行うことができる。動き補償（motion compensation）とは、動き推定過程で求めた最適の予測ブロックに係わる動き情報（モーションベクトル、参照ピクチャインデックス）を基に、予測ブロックを生成することを意味する。制御部２６は、動き推定過程を介して、参照ピクチャから最適の予測ブロックを探し、動き補償過程を介して、予測ブロックを生成することができる。
制御部２６は、イントラ予測またはインター予測を介して、現在ブロックに係わる予測ブロックを生成し、予測ブロックと原本ブロックとの差値であるレジデュアル信号を変換、量子化、エントロピー符号化する。
映像符号化装置２５は、予測符号化された多視点ビデオに係わるデータを含むビットストリームを生成することができる。一実施形態によって、映像符号化装置２５のビットストリーム生成部（図示せず）は、多視点ビデオに係わるデータであり、ＮＡＬ単位で多重化して生成されたデータパケットを含むビットストリームを生成することができる。
映像符号化装置２５は、イントラ予測された映像データ符号化のために、現在ブロックの予測モードに係わる情報、イントラ予測モードのうち、現在ブロックに適用されたイントラ予測モードを特定するための情報、現在ブロックと予測ブロックとの差値であるレジデュアル信号を含むビットストリームを生成することができる。例えば、ＨＥＶＣに基づいてイントラ予測された現在ブロックに係わる情報として、ＤＣモード、プレーナモード、３３個の方向を有する方向モードの総３５個のイントラ予測モードのうち、現在ブロックに適用されたイントラ予測モードに係わる情報を含むビットストリームを生成することができる。
インター予測された映像データを伝送するために、現在ブロックの予測モードに係わる情報、リスト０（list ０）、リスト１（list １）のような参照ピクチャリストに係わる情報、参照ピクチャリスト内に含まれた参照ピクチャのうち、現在ブロックのインター予測時に利用された参照ピクチャを示すインデックス情報（ｒｅｆ ｉｄｘ）、現在ブロックの動きベクトルに係わる情報がビットストリームに含まれてもよい。また、インター予測またはイントラ予測される現在ブロックは、予測単位（ＰＵ：prediction unit）でもある。具体的な符号化／復号方式は、図２０ないし図２６を参照して後述する。
インター予測時に伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関度を利用する併合（merge）モード、ＡＭＶＰ（advanced motion vector prediction）モードが利用される。併合モード及びＡＭＶＰモードは、いずれもインター予測の特殊な場合であり、併合モード及びＡＭＶＰモードでは、すでに復元されたものであり、現在ブロックと時間的、空間的に係わる以前ブロックを利用して、動き情報を誘導するための以前ブロックのリストが生成され、映像符号化装置２５は、リスト内の以前ブロックの選択情報を獲得することができる。併合モード及びＡＭＶＰモードにおいて、映像符号化装置２５は、同一過程で動き情報を持ち込むための以前ブロックの候補リストを獲得する。スキップ（skip）モードにおいて、レジデュアル信号の伝送なしに、併合候補リスト内の以前ブロック選択情報だけが伝送される。すなわち、スキップモードは、併合候補リストのうち、動き情報を持ち込むインデックス（merge index）情報だけがビットストリームに含まれて伝送され、併合モードの場合、インデックス情報以外に、レジデュアル信号がビットストリームに含まれて伝送される。
前述のように、多視点映像は、複数個の視点で入力されたテクスチャ映像及びデプス映像を含む。１視点を介して入力されるテクスチャ映像及びデプス映像がそれぞれ１つのレイヤ映像を構成すると仮定する。例えば、三次元ビデオの場合、左視点のテクスチャ映像、右視点のテクスチャ映像、左視点のデプス映像、及び右視点のデプス映像がそれぞれ１つのレイヤ映像に構成される。また、三次元ビデオにおいて、デプス映像として１つのデプス映像だけが利用され、左視点と右視点との視点差によるカメラパラメータ情報から、左視点及び右視点それぞれのデプス映像が生成される。かような場合、左視点のテクスチャ映像、右視点のテクスチャ映像、及び１つのデプス映像それぞれが１つのレイヤ映像を構成し、三次元ビデオは、総３個のレイヤ映像に構成される。多様な類型の参照過程を介した多視点映像の予測遂行については、前記映像復号装置２０に係わって説明した予測モードに係わる内容に係わって詳述し、映像符号化装置２５においても、やはり映像復号装置２０での動作に対応する方式で予測遂行が可能であるので、詳細な説明は省略する。
映像符号化装置２５の制御部２６は、一実施形態によって、少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成することができる。かような過程は、映像復号装置２０が、図３のＳ３１１段階において遂行した併合候補リスト生成過程に対応するものでもある。制御部２６は、併合モードで利用される併合候補として、少なくとも一つを利用することができる。映像符号化装置２５が利用することができる併合候補に係わる内容は、映像復号装置２０に係わって説明した内容に対応するので、詳細な説明は省略する。
図４Ａないし図４Ｄでは、現在ブロックに係わる変移ベクトルを獲得する過程について説明する。ただし、以後に説明する変移ベクトル獲得過程は、一実施形態に過ぎないので、本発明を具現するためには、現在ブロックに係わる変移ベクトルを獲得するための多様な方法が利用される。
図４Ａは、一実施形態によって、現在ブロックに係わる周辺ブロックから変移ベクトルが獲得される過程について説明するための図面である。図４Ａを参照すれば、映像符号化装置２５の制御部２６は、現在ブロックと空間的及び時間的に関連した周辺ブロック（neighboring block）から、現在ブロックの変移ベクトルを獲得することができる。ここで、現在ブロックは、符号化単位（ＣＵ：coding unit）または予測単位（ＰＵ：prediction unit）でもある。空間的に関連した周辺ブロックとして、現在ブロックの左下側に位置したＡ１ブロック、及び右上側に位置したＢ１ブロックから変移ベクトルが獲得される。変移ベクトルを獲得するために、Ａ１ブロック及びＢ１ブロックの順序で変移ベクトルを有するか否かということがチェックされ、Ａ１ブロック及びＢ１ブロックにおいて、変移ベクトルを有する場合、当該変移ベクトルを利用して、現在ブロックの変移ベクトルが獲得される。現在ブロックの変移ベクトルを獲得する過程に係わる説明は、映像復号装置２０に係わって詳述した内容に対応するので、詳細な説明は省略する。
図４Ｂは、一実施形態によって、動き補償予測された隣接ブロックから、変移ベクトルが獲得される過程を図示する。図４Ｂを参照すれば、現在ブロックに係わる隣接ブロック４１が、動き補償予測を介して予測されたブロックであり、他視点の参照ブロック４２を示すインター視点動き予測を介して、隣接ブロック４１の動きベクトルが予測された場合、隣接ブロック４１のインター視点動き予測に利用された変移ベクトルは、現在視点ピクチャとインター視点参照ピクチャとの動き対応関係を示す。従って、隣接ブロック４１のインター視点動き予測を介して予測された動きベクトルを利用して、現在ブロックの変移ベクトルを決定することができる。
図４Ｃは、一実施形態による併合候補リストに含まれる空間的候補を示す。図４Ｃを参照すれば、映像符号化装置２５は、現在ブロック４４の予測情報を決定するために参照する候補ブロックは、現在ブロック４４に空間的に隣接する予測単位でもある。このとき、現在ブロックは、予測単位でもある。例えば、現在ブロック４４の左側下端サンプルの左側下端外部に位置する予測単位Ａ０ ４５ａ、現在ブロック４４の左側下端サンプルの左側外部に位置する予測単位Ａ１ ４５ｂ、現在ブロック４４の右側上端サンプルの右側上端外部に位置する予測単位Ｂ０ ４６ａ、現在ブロック４４の右側上端サンプルの上端外部に隣接する予測単位Ｂ１ ４６ｂ、現在ブロック４４の左側上端サンプルの左側上端外部に位置する予測単位Ｂ２ ４７が候補ブロックにもなる。候補ブロックにもなるブロックを決定するために、予測単位Ａ１ ４５ｂ、Ｂ１ ４６ｂ、Ｂ０ ４６ａ、Ａ０ ４５ａ、Ｂ２ ４７の順序で、所定位置の予測単位３２００，３３００，３４００，３５００，３６００が探索される。
例えば、予測単位Ａ１ ４５ｂ、Ｂ１ ４６ｂ、Ｂ０ ４６ａ、Ａ０ ４５ａ、Ｂ２ ４７のうち４個の予測単位が空間的候補ブロックに選択される。すなわち、４個の空間的候補ブロックが、インター予測のための候補リストに含まれてもよい。
映像符号化装置２５は、ブロックＡ１ ４５ｂ，Ｂ１ ４６ｂ，Ｂ０ ４６ａ，Ａ０ ４５ａ，Ｂ２ ４７のうち動き情報を有するブロック、すなわち、インター予測されたブロックのみをインター予測のための予測候補に含め、動き情報を有さないブロックは、予測候補から除くことができる。また、映像符号化装置２５は、重複する動き情報を有するブロックは、インター予測のための予測候補から除くことができる。
空間的予測候補に含まれてもよい周辺ブロックの位置及び個数は、前記例に限定されることなく、変更されてもよい。
図４Ｄは、一実施形態による併合候補リストに含まれる時間的候補を示す。
時間的併合（merge）候補のための参照ピクチャの方向及び参照ピクチャインデックスが、スライスヘッダを介して、映像復号装置２０に伝送される。図４Ｄは、現在予測単位（ＰＵ）の時間的併合（merge）候補の選択位置を示す。同一位置の予測単位は、選択された参照ピクチャにおいて、現在予測単位と同一位置に存在する予測単位（ＰＵ）を意味する。時間的併合（merge）候補は、同一位置のＰＵの右側下端ブロック（Ｈ）を先に探索し、右側下端ブロック（Ｈ）の動き情報が存在しないのであるならば、同一位置の予測単位（ＰＵ）中央（Ｃ３）のピクセルを含むブロックを探索する。
図４Ｅは、一実施形態による併合モードで利用されるインター視点（inter-view）候補を示す。図４Ｅを参照すれば、映像符号化装置２５の制御部２６は、第２レイヤ現在ピクチャ４８ａに含まれた現在ブロック４９ａのインター予測のために、現在ブロック４９ａ位置において、ディスパリティベクトル（ＤＶ）が示す第１レイヤ参照ブロック４９ｂが、動き情報（ｍｖｒｅｆ）を有するか否かということを判断する。すなわち、参照ピクチャ４８ｂに含まれた第１レイヤ参照ブロック４９ｂが、インターモードまたはスキップモードで決定されたか否かということが判断される。ここで、ディスパリティベクトルが示す参照位置は、現在ブロック４９ａの中心ピクセルを基準にすることもでき、あるいは現在ブロック４９ａの左側上端ピクセルを基準にすることもできる。
映像符号化装置２５の制御部２６は、第１レイヤ参照ブロック４９ｂが動き情報を有していれば、参照ブロック４９ｂをインター視点併合候補に決定し、参照ブロック５３の動き情報を、インター予測のための併合候補リストに追加することができる。一方、インター視点候補決定に利用されるブロックは、符号化単位または予測単位でもある。
図５は、本発明の他の実施形態によるビュー合成予測を利用して、映像を符号化する方法について説明するための図面である。
一実施形態によって、映像符号化装置２５は、現在ブロックの変移ベクトルに係わる情報を有していないので、現在ブロックの周辺ブロックの変移ベクトルを誘導する。ここで、現在ブロックとは、予測単位（prediction unit）を含むものであると定義される。例えば、現在ブロック５１ａの周辺ブロック５１ｂは、現在ブロック５１ａより先に復元されたブロックに該当し、周辺ブロック５１ｂに係わる変移ベクトル５２ｂの情報が復元された状態でもある。すなわち、制御部２６は、現在ブロック５１ａに係わる変移ベクトル５１ｂを誘導するために、周辺ブロック５１ｂの変移ベクトル５２ｂに係わる情報を獲得することができる。それに係わる詳細な内容は、映像復号装置２０の動作に係わって詳述し、当業者は、それに対応する動作を介して、容易に映像符号化装置２５で符号化のための予測動作を遂行させることができるので、詳細な説明は省略する。
図６Ａは、一実施形態によって、併合候補リストが生成される過程を図示したものである。映像符号化装置２５の制御部２６は、併合候補リスト生成のために、それぞれの併合候補に対して利用可能性いかんを判断することができる。併合候補を利用することができると判断される場合、制御部２６は、当該併合候補を、現在予測単位に係わる併合候補リストに含めることができる。
図６Ａを参照すれば、一実施形態によって、制御部２６は、空間的併合候補を利用することができるか否かということを判断することができる（６１ａ）。具体的には、制御部２６は、空間的併合候補それぞれに対して、利用可能性いかんを判断することができる。例えば、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagＡ１の値が０ではない場合、制御部２６は、左側に隣接する空間的併合候補を利用することができると決定することができる。空間的併合候補に係わる内容は、図４Ｃに係わって詳述したので、詳細な説明は省略する。制御部２６は、現在予測単位での空間的併合候補を利用することができると決定した場合、当該空間的予測候補を併合候補リストに追加する過程（６１ｂ）を遂行することができる。図６Ａを参照すれば、制御部２６は、availableFlagＡ１が０ではない場合、併合候補リストを示すextMergeCandListに、空間的併合候補Ａ１を追加することができる。
一実施形態によって、映像符号化装置２５の制御部２６は、ビュー合成予測併合候補（view synthesis prediction merging candidate）を利用することができるか否かということを判断することができる。具体的には、制御部２６は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰの値が０ではない場合、制御部２６は、現在予測単位でのビュー合成予測併合候補を利用することができると決定することができる。現在予測単位において、ビュー合成予測併合候補を利用することができると決定された場合、制御部２６は、ビュー合成予測併合候補を、併合候補リストに追加する過程（６２ｄ）を遂行することができる。図６Ａを参照すれば、制御部２６は、availableFlagＶＳＰが０ではない場合、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができる。
一実施形態によって、映像符号化装置２５の制御部２６は、ビュー合成予測併合候補を利用することができるか否かということ、及び現在予測単位の左側に隣接する空間的併合候補Ａ１に該当するブロックが、ビュー合成予測を遂行して復元されたものであるか否かということを判断することができる。具体的には、制御部２６は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰの値が０ではないか否かということを決定することができる（６２ａ）。さらには、制御部２６は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを決定することができ（６２ｂ）、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを決定することができる（６２ｃ）。
図６Ａを参照すれば、制御部２６は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagＡ１が０であるか否かということを決定し（６２ｂ）、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを示すVspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］値が０であるか否かということを決定することができる（６２ｃ）。ここで、ｘＰｂ及びｙＰｂは、現在予測単位のピクチャ上の位置を示し、ｎＰｂＨは、現在予測単位の高さを示すものであると定義される。VspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］が０である場合、制御部２６は、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されていないと決定することができ、VspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］が０ではない場合、制御部２６は、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたと決定することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補が利用され、当該空間的併合候補がビュー合成予測によって復元されたものではなく、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではない場合、制御部２６は、併合候補リストに、ビュー合成予測併合候補を示すＶＳＰを追加することができる。制御部２６は、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定することができる。一実施形態よって、映像符号化装置２５は、現在予測単位が符号化される過程で使用された予測モードに係わる情報またはインデックスを含むビットストリームを生成し、映像復号装置２０に伝達することができる。
一実施形態によって、たとえ現在予測単位の左側に隣接する空間的併合候補が利用されるにしても、当該空間的併合候補が、ビュー合成予測によって復元されていない場合であるしても、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではないならば、制御部２６は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではない値を示す場合であすとしても、制御部２６は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができない。すなわち、現在予測単位において、ビュー合成予測併合候補を利用することができると決定される場合でも、現在予測単位の左側に存在する空間的併合候補が、ビュー合成予測によって復元されたならば、現在予測単位に係わる併合候補リストには、ビュー合成予測併合候補が追加されない。
一実施形態によって、映像符号化装置２５の制御部２６は、空間的併合候補のうち一部に対する併合候補リスト追加過程中、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。例えば、制御部２６は、図６Ａのように、空間的併合候補のうち、現在予測単位の左側に隣接するＡ１、及び現在予測単位の上端に隣接するＢ１を併合候補リストに追加する過程後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。それによって、ビュー合成予測併合候補を併合候補リストに追加するための条件として、現在予測単位の左側に隣接する空間的併合候補の利用いかん、及び現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたものであるか否かということが判断される。
映像符号化装置２５の制御部２６は、一実施形態によって、生成された併合候補リストに基づいて、現在予測単位において遂行する予測モードを決定することができる。かような過程は、映像復号装置２０が、Ｓ３１２段階において遂行した予測モード決定過程に対応する過程でもある。
図６Ｂは、一実施形態によって、現在予測単位の周辺ブロックが、ビュー合成予測を利用したか否かということによって、現在予測単位に係わる予測モードを決定する過程を図示する。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補が、ビュー合成予測によって復元された場合には、制御部２６は、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagＶＳＰが０ではない値を示す場合でも、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すＶＳＰを追加することができない。従って、その場合には、現在予測単位に係わる併合候補リスト上に、ビュー合成予測併合候補が追加されない。しかし、一実施形態によって、現在予測単位において、ビュー合成予測併合候補を利用することができ、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合であるならば、制御部２６は、併合候補リスト上に、ビュー合成予測併合候補がないとしても、現在予測単位の予測モードをビュー合成予測で決定することができる。
図６Ｂを参照すれば、現在予測単位において利用する併合候補に係わる情報であるＮがＡ１を示す現在予測単位において、空間的併合候補であるＡ１を利用して予測を行うと決定され（６３ｂ）、VspMcFlag［ｘＰｂ−１］［ｙＰｂ＋ｎＰｂＨ−１］が１を示す現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたと決定される場合（６３ｃ）、availableFlagＶＳＰが１を示す予測単位において、ビュー合成予測併合候補が利用可能であると決定されるならば（６３ａ）、制御部２６は、現在予測単位において、ビュー合成予測併合候補を利用して予測を行うと決定することができる（６３ｄ）。すなわち、現在予測単位に対して、空間的併合候補Ａ１がビュー合成予測を介して復元されたと判断されたならば、制御部２６は、現在予測単位についても、ビュー合成予測を行うように決定することができる。他の空間的併合候補であるＡ０、Ｂ０、Ｂ１、Ｂ２についてまでビュー合成予測に復元されたか否かということを判断せず、まず第一に、併合候補リストに追加されたＡ１に対して、ビュー合成予測を介した復元いかんを確認し、その結果、Ａ１がビュー合成予測によって復元されたならば、現在予測単位も、ビュー合成予測で符号化されている可能性が高いために、制御部２６は、予測モードをビュー合成予測に決定することができる。それによって、映像符号化装置２５での演算簡素化を介した映像符号化の効率性が上昇する。
一実施形態によって、映像符号化装置２５としては、現在予測単位において、併合候補リスト上の併合候補のうち、いかなる候補を利用するのが効率的であるかということを、併合候補の率・歪曲コスト（rate-distortion cost）に基づいて決定することができる。一実施形態によって、映像符号化装置２５のビットストリーム生成部（図示せず）は、併合候補リストのうち決定された併合候補に係わる情報を含むビットストリームを生成することができる。
一実施形態によって、映像符号化装置２５の制御部２６は、隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち、現在予測単位の左側に隣接する第１空間的併合候補、及び現在予測単位の上端に隣接する第２空間的併合候補を併合候補リストに追加した後、前記ビュー合成予測併合候補を、併合候補リストに追加する過程を遂行することができる。隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、制御部２６は、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成するものではない、空間的併合候補を併合候補リストに含める過程に追加し、ビュー合成予測併合候補を併合候補リスト含めることができる。一実施形態によって、ビュー合成予測併合候補は、空間的併合候補のうち、現在予測単位の左側に隣接する第１空間的併合候補、及び現在予測単位の上端に隣接する第２空間的併合候補が併合候補リストに追加された後で追加される。
映像符号化装置２５の制御部２６は、決定された予測モードによって予測を行うことができる。かような過程は、映像復号装置２０が、Ｓ３１３段階において、予測を行う過程に対応する過程と見ることができる。予測を行うことによって映像を符号化する過程は、前述の多様な実施形態を介して説明され、以下で説明する映像符号化過程において説明するので、詳細な説明は省略する。
図７は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示する。図７のビデオ符号化装置１００は、図２Ｂの映像符号化装置２５に対応するものでもある。また、図７の最大符号化単位分割部１１０及び符号化単位決定部１２０で遂行する動作は、図２Ｂの制御部２６で遂行され、図７の出力部１３０で遂行する動作は、図２Ｂの映像復号装置２０のビットストリーム生成部（図示せず）でも遂行される。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。
符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部１３０に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって最終深度が異なって決定される。従って、１つの最大符号化単位に対して、最終深度が一つ以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度に決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する最終深度は、他の領域に対する最終深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
最大符号化単位の予測符号化及び変換も行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用されてもよく、段階別にデータ単位が変更されてもよい。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。符号化単位が分割されたパーティションは、符号化単位及び符号化単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。該パーティションは、符号化単位が分割された形態のデータ単位及び符号化単位と同一サイズのデータ単位を含んでもよい。予測の基盤になるパーティションは、予測単位と称される。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、該変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図９ないし図１９を参照し、詳細に説明する。
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの深度に基づいて符号化された最大符号化単位の映像データ及び深度別分割情報を、ビットストリーム形態に出力する。
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて、深度及び分割情報が設定される。
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図８は、多様な実施形態にる、ツリー構造による符号化単位に基づいたビデオ復号装置２００のブロック図を図示する。図８のビデオ復号装置２００は、図１Ａの映像復号装置２０に対応するものでもある。また、図８の映像データ及び符号化情報抽出部２２０及び映像データ復号部２３０で遂行する動作は、図１Ａの制御部２１でも遂行され、図８の受信部２１０で遂行する動作は、図１Ａの映像復号装置２０に含まれる情報獲得部（図示せず）でも遂行される。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、「ビデオ復号装置２００」と縮約して指称する。
一実施形態によるビデオ復号装置２００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明したところと同一である。
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部２３０が、最大符号化単位ごとに、映像データを復号させる。
最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出される。
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置１００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。
一実施形態による深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているのであるならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号部２３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号して現在ピクチャを復元する。すなわち、映像データ復号部２３０は、最大符号化単位に含まれる、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。該復号過程は、イントラ予測及び動き補償を含む予測過程、並びに変換過程を含んでもよい。
映像データ復号部２３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号部２３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が、現在深度において、それ以上分割されないということを示しているならば、現在深度が深度である。従って、映像データ復号部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位大きさ情報を利用して復号することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部２３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。
図２Ａを参照して説明した映像復号装置２０は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号装置２００を視点個数ほど含んでもよい。
第１レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。
第２レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第２レイヤ映像を復元することができる。
抽出部２２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差に係わる情報を、ビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。
結局、ビデオ復号装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。
従って、高解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。
図９は、多様な実施形態による符号化単位の概念を図示する。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度は、１９２０ｘ１０８０に設定され、符号化単位の最大サイズは、６４に設定され、最大深度は、２に設定されている。ビデオデータ３２０については、解像度は、１９２０ｘ１０８０に設定され、符号化単位の最大サイズは、６４に設定され、最大深度は、３に設定されている。ビデオデータ３３０については、解像度は、３５２ｘ２８８に設定され、符号化単位の最大サイズは、１６に設定され、最大深度は、１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
図１０は、多様な実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示する。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００のピクチャ符号化部１２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部４２０は、現在映像４０５において、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部４１５は、インターモードの符号化単位に対して、予測単位別に現在映像４０５及び復元ピクチャバッファ４１０で獲得された参照映像を利用して、インター予測を行う。現在映像４０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングが行われる。
イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データを、現在映像４０５のエンコーディングされる符号化単位に係わるデータから差し引くことによってレジデュデータを生成し、レジデュデータは、変換部４２５及び量子化部４３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４４５、逆変換部４５０を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部４５５及びＳＡＯ遂行部４６０を経て復元映像に生成される。生成された復元映像は、復元ピクチャバッファ４１０に保存される。復元ピクチャバッファ４１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部４２５及び量子化部４３０で量子化された変換係数は、エントロピー符号化部４３５を経て、ビットストリーム４４０として出力される。
一実施形態による映像符号化部４００が、ビデオ符号化装置１００に適用されるために、映像符号化部４００の構成要素である、インター予測部４１５、イントラ予測部４２０、変換部４２５、量子化部４３０、エントロピー符号化部４３５、逆量子化部４４５、逆変換部４５０、デブロッキング部４５５及びＳＡＯ遂行部４６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。
特に、イントラ予測部４２０及びインター予測部４１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部４２５は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。
図１１は、多様な実施形態による符号化単位に基づいた映像復号部５００のブロック図を図示する。
エントロピー復号部５１５は、ビットストリーム５０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部５２０及び逆変換部５２５は、量子化された変換係数からレジデュデータを復元する。
イントラ予測部５４０は、イントラモードの符号化単位に対して、予測単位別に、イントラ予測を行う。インター予測部５３５は、現在映像のうち、インターモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ５３０で獲得された参照映像を利用してインター予測を行う。
イントラ予測部５４０またはインター予測部５３５を経た各モードの符号化単位に係わる予測データとレジデュデータとが加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部５４５及びＳＡＯ遂行部５５０を経て、復元映像５６０として出力される。また、復元ピクチャバッファ５３０に保存された復元映像は、参照映像として出力される。
ビデオ復号装置２００のピクチャ復号部２３０において、映像データを復号するために、一実施形態による映像復号部５００のエントロピー復号部５１５以後の段階別作業が遂行される。
映像復号部５００が、一実施形態によるビデオ復号装置２００に適用されるために、映像復号部５００の構成要素である、エントロピー復号部５１５、逆量子化部５２０、逆変換部５２５、イントラ予測部５４０、インター予測部５３５、デブロッキング部５４５及びＳＡＯ遂行部５５０が、最大符号化単位ごとに、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいて作業を遂行することができる。
特に、イントラ予測部５４０及びインター予測部５３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部５２５は、符号化単位ごとに、四分木構造による変換単位の分割いかんを決定することができる。
図１０の符号化動作及び図１１の復号動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号動作について説明したものである。従って、図２Ｂの映像符号化装置２５が、２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に映像符号化部４００を含んでもよい。類似して、図２Ａの復号装置３０が、２以上のレイヤのビデオストリームを復号するならば、レイヤ別に、映像復号部５００を含んでもよい。
図１２は、多様な実施形態による、深度別符号化単位及びパーティションを図示する。
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によっても多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の深度及びパーティションモードに選択される。
図１３は、多様な実施形態による、符号化単位及び変換単位の関係を図示する。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００において、現在符号化単位７１０がサイズ６４ｘ６４であるとき、サイズ３２ｘ３２の変換単位７２０を利用して変換が行われる。
また、サイズ６４ｘ６４の符号化単位７１０のデータを、サイズ６４ｘ６４以下のサイズ３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４の変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図１４は、多様な実施形態による深度別符号化情報を図示する。
一実施形態によるビデオ符号化装置１００の出力部１３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションモードに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションモードに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるということが設定される。
また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６）、第２インター変換単位サイズ８２８のうち一つでもある。
一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号に利用することができる。
図１５は、多様な実施形態による深度別符号化単位を図示する。
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、該パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションモード９１２，サイズ２Ｎ＿０ｘＮ＿０のパーティションモード９１４及びサイズＮ＿０ｘ２Ｎ＿０のパーティションモード９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
サイズＮ＿０ｘＮ＿０のパーティションモード９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索する。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード９４６、サイズＮ＿１ｘＮ＿１のパーティションモード９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１のパーティションモード９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索する。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８を含んでもよい。
パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して、分割情報が設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と称される。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度に決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで、符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号するのに利用することができる。一実施形態によるビデオ復号装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を深度と把握し、当該深度に係わる分割情報を利用して、復号に利用することができる。
図１６、図１７及び図１８は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する。
符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションモードであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１０３２は、ＮｘＮのパーティションモードである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比べれば、互いに異なる大きさ、または形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。該符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００で設定することができる一例を示す。
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎと、を示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで二種の大きさに設定され、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されてもよい。
図１９は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。
最大符号化単位１３００は、深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。
例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションモード情報が、非対称形パーティションモード２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図１９を参照して説明された変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によっては、０、１、２、３、…などに増加し、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、以下の数式（１）のように定義される。
CurrMinTuSize＝
ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、以下の数式（２）によって決定される。数式（２）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、以下の数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないことに留意しなければならない。
図７ないし図１９を参照して説明されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
一方、前述の実施形態は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読取り可能な記録媒体はマグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
説明の便宜のために、先に図１Ａないし図１９を参照して説明された映像符号化方法及び／またはビデオ符号化方法は、「ビデオ符号化方法」とする。また、先に図１Ａないし図１９を参照して説明された映像復号方法及び／またはビデオ復号方法は、「ビデオ復号方法」とする
また、先に図１Ａないし図１９を参照して説明された映像符号化装置４０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「ビデオ符号化装置」とする。また、先に図１Ａないし図１９を参照して説明された映像復号装置２０、ビデオ復号装置２００または映像復号部５００で構成されたビデオ復号装置は、「ビデオ復号装置」とする。
一実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク２６０００である実施形態について、以下で詳述する。
図２０は、多様な実施形態による、プログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明されたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円トラックＴｒで構成され、該トラックは、円周方向に沿って所定個数のセクタＳｅに分割される。前述の一実施形態による、プログラムを保存するディスク２６０００において、特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して後述する。
図２１は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示する。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、一実施形態によるビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムをコンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、該プログラムがコンピュータシステム２６７００に伝送される。
図２０及び図２１で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、一実施形態によるビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。
図２２は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示する。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、カメラ１２６００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されてもよい。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されてもよい。
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されてもよい。
カメラ１２６００によって撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
該ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムで復号して再生させ、個人放送（personal broadcasting）が可能にする。
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、一実施形態によるビデオ符号化装置及びビデオ復号装置が適用される。
図２３及び図２４を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。
図２３は、多様な実施形態による、ビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示する。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。
携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）で受信されたり、あるいは他の形態で獲得されたりするビデオや静止映像のように、符号化されたり復号されたりするデータを保存するための記録媒体１２５７０と、記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０と、を含んでもよい。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable programmable read-only memory）のような他の形態のフラッシュメモリでもある。
図２４は、携帯電話１２５００の内部構造を図示する。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して、中央制御部１２７１０に連結される。
ユーザが、電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することによって、携帯電話１２５００が動作モードにセッティングされる。
中央制御部１２７１０は、ＣＰＵ、ＲＯＭ及びＲＡＭ（random access memory）を含む。
携帯電話１２５００が、外部に通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０において、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用してメッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
データ通信モードにおいて、映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
映像符号化部１２７２０の構造は、前述の一実施形態によるビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
携帯電話１２５００が、外部から通信データを受信する過程においては、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
映像復号部１２６９０の構造は、前述のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述のビデオ復号方法を利用して、符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経てディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
携帯電話１２５００、または他の形態の通信端末機は、一実施形態によるビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の一実施形態によるビデオ符号化装置のみを含む送信端末機であるか、あるいは一実施形態によるビデオ復号装置のみを含む受信端末機でもある。
一実施形態による通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２５は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示する。図２５の一実施形態によるデジタル放送システムは、一実施形態によるビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して、伝送されるデジタル放送を受信することができる。
具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、該放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ受信機１２８１０、セットトップボックス（set-top box）１２８７０、または他のデバイスによって復号されて再生される。
再生装置１２８３０において、一実施形態によるビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、一実施形態によるビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
他の例として、セットトップボックス１２８７０の代りに、ＴＶ受信機１２８１０自体に、一実施形態によるビデオ復号装置が搭載されてもよい。
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。
ビデオ信号は、一実施形態によるビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されてもよい。ハードディスクレコーダ１２９５０が、一実施形態による一実施形態によるビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
自動車ナビゲーションシステム１２９３０は、図２４のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２４のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
図２６は、多様な実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する。
一実施形態によるクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピュータ資源１４２００及びユーザ端末機を含んでなる。
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピュータ資源のオンデマンドアウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点で所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ １４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報と、住所、名前など個人信用情報とを含んでもよい。また、該ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを求めて再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号してビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択により、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
このとき、ユーザ端末機は、図１Ａないし図１９を参照して説明した一実施形態によるビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図１９を参照して説明した一実施形態によるビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図１９を参照して説明した一実施形態によるビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。
図１Ａないし図１９を参照して説明された映像符号化方法及び映像復号方法、映像符号化装置及び映像復号装置が活用される多様な実施形態については、図２０ないし図２６で説明した。しかし、図１Ａないし図１９を参照して説明されたビデオ符号化方法及びビデオ復号方法が、記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置がデバイスで具現されたりする多様な実施形態は、図２０ないし図２６の実施形態に限定されるものではない。
以上で開示された多様な実施形態が属する技術分野において、当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それらと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。

Claims (17)

  1. 映像を復号する方法において、
    前記映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定する段階と、
    前記少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成する段階と、
    前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定する段階と、
    前記決定された予測モードによって予測を行う段階と、を含み、
    前記併合候補リストを生成する段階は、
    前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定する段階をさらに含むことを特徴とする映像復号方法。
  2. 前記隣接予測単位は、空間的併合候補のうち、前記現在予測単位の左側に隣接することを特徴とする請求項１に記載の映像復号方法。
  3. 前記併合候補リストを生成する段階は、
    前記隣接予測単位が、空間的併合候補として利用されるか否かということを決定する段階をさらに含むことを特徴とする請求項２に記載の映像復号方法。
  4. 前記併合候補リストを生成する段階は、
    前記隣接予測単位が、空間的併合候補として利用され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されている場合、前記現在予測単位において、前記隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成する段階を含むことを特徴とする請求項１に記載の映像復号方法。
  5. 前記予測モードを決定する段階は、
    第１情報に基づいて、前記現在予測単位が空間的併合候補を利用して予測されるか否かということを決定する段階と、
    第２情報に基づいて、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということを決定する段階と、をさらに含むことを特徴とする請求項４に記載の映像復号方法。
  6. 前記予測モードを決定する段階は、
    前記現在予測単位が空間的併合候補を利用して予測されるように予測モードが決定され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されていると決定され、第３情報がビュー合成予測併合候補を利用することができることを示す場合、前記ビュー合成予測併合候補を含む前記併合候補リストに基づいて、予測モードを決定する段階を含むことを特徴とする請求項５に記載の映像復号方法。
  7. 前記併合候補リストを生成する段階は、
    前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、前記現在予測単位において、ビュー合成予測併合候補を含む併合候補リストを生成する段階を含むことを特徴とする請求項１に記載の映像復号方法。
  8. 前記併合候補リストを生成する段階は、
    前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち、前記現在予測単位の左側に隣接する第１空間的併合候補、及び前記現在予測単位の上端に隣接する第２空間的併合候補を併合候補リストに追加した後、前記ビュー合成予測併合候補を併合候補リストに追加する過程を遂行する段階を含むことを特徴とする請求項７に記載の映像復号方法。
  9. 映像を復号する装置において、
    前記映像を分割する少なくとも１つの符号化単位のうち１つの現在符号化単位に含まれる少なくとも１つの予測単位を決定し、前記少なくとも１つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成し、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定し、前記決定された予測モードによって予測を行う復号部を含み、
    前記復号部は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定することをさらに特徴とする映像復号装置。
  10. 前記隣接予測単位は、空間的併合候補のうち、前記現在予測単位の左側に隣接することを特徴とする請求項９に記載の映像復号装置。
  11. 前記復号部は、
    前記隣接予測単位が、空間的併合候補として利用されるか否かということを決定することをさらに特徴とする請求項１０に記載の映像復号装置。
  12. 前記復号部は、
    前記隣接予測単位が、空間的併合候補として利用され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されている場合、前記現在予測単位において、前記隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む前記併合候補リストを生成することを特徴とする請求項９に記載の映像復号装置。
  13. 前記復号部は、
    第１情報に基づいて、前記現在予測単位が空間的併合候補を利用して予測されるか否かということを決定し、第２情報に基づいて、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということを決定することを特徴とする請求項１２に記載の映像復号装置。
  14. 前記復号部は、
    前記現在予測単位が空間的併合候補を利用して予測されるように予測モードが決定され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されていると決定され、第３情報がビュー合成予測併合候補を利用することができることを示す場合、前記ビュー合成予測併合候補を含む前記併合候補リストに基づいて、予測モードを決定することを特徴とする請求項１３に記載の映像復号装置。
  15. 前記復号部は、
    前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、前記現在予測単位において、ビュー合成予測併合候補を含む前記併合候補リストを生成することを特徴とする請求項９に記載の映像復号装置。
  16. 前記併合候補リストを生成する段階は、
    前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち、前記現在予測単位の左側に隣接する第１空間的併合候補、及び前記現在予測単位の上端に隣接する第２空間的併合候補を併合候補リストに追加した後、前記ビュー合成予測併合候補を併合候補リストに追加する過程を遂行する段階を含むことを特徴とする請求項１５に記載の映像復号装置。
  17. 請求項１に記載の映像復号方法を具現するためのプログラムが保存されたコンピュータ判読可能記録媒体。
JP2017518538A 2014-10-07 2015-10-07 映像を復号する方法、装置及び記録媒体 Expired - Fee Related JP6374605B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462060712P 2014-10-07 2014-10-07
US62/060,712 2014-10-07
PCT/KR2015/010604 WO2016056842A1 (ko) 2014-10-07 2015-10-07 뷰 병합 예측을 이용하여 영상을 부호화 또는 복호화 하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
JP2017531396A true JP2017531396A (ja) 2017-10-19
JP6374605B2 JP6374605B2 (ja) 2018-08-15

Family

ID=55653386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518538A Expired - Fee Related JP6374605B2 (ja) 2014-10-07 2015-10-07 映像を復号する方法、装置及び記録媒体

Country Status (5)

Country Link
US (1) US10321145B2 (ja)
EP (1) EP3193505A4 (ja)
JP (1) JP6374605B2 (ja)
KR (1) KR101895429B1 (ja)
WO (1) WO2016056842A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116193110A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
BR112020024566A2 (pt) * 2018-06-14 2021-03-09 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
KR20210019445A (ko) * 2018-06-15 2021-02-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
US10924731B2 (en) * 2018-08-28 2021-02-16 Tencent America LLC Complexity constraints on merge candidates list construction
WO2021133899A1 (en) * 2019-12-24 2021-07-01 Beijing Dajia Internet Information Technology Co., Ltd. Motion estimation region for the merge candidates

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154869A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
WO2014153382A1 (en) * 2013-03-19 2014-09-25 Qualcomm Incorporated Disparity vector derivation in 3d video coding for skip and direct modes
WO2015190510A1 (ja) * 2014-06-13 2015-12-17 シャープ株式会社 視点合成予測装置、画像復号装置及び画像符号化装置
WO2016003074A1 (ko) * 2014-06-30 2016-01-07 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
CN105847830B (zh) 2010-11-23 2019-07-12 Lg电子株式会社 由编码装置和解码装置执行的间预测方法
MX2013012020A (es) 2011-05-24 2013-12-10 Panasonic Corp Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion /decodificacion de imagenes.
MX365013B (es) 2011-08-29 2019-05-20 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
KR101423648B1 (ko) * 2011-09-09 2014-07-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
WO2015006967A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
KR102378459B1 (ko) 2014-06-30 2022-03-24 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154869A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
WO2014153382A1 (en) * 2013-03-19 2014-09-25 Qualcomm Incorporated Disparity vector derivation in 3d video coding for skip and direct modes
US20140286423A1 (en) * 2013-03-19 2014-09-25 Qualcomm Incorporated Disparity vector derivation in 3d video coding for skip and direct modes
WO2015190510A1 (ja) * 2014-06-13 2015-12-17 シャープ株式会社 視点合成予測装置、画像復号装置及び画像符号化装置
WO2016003074A1 (ko) * 2014-06-30 2016-01-07 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
FENG ZOU, ET AL.: "View Sysnthesis Prediction Using Skip and Merge Candidates for HEVC-based 3D Video Coding", IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), 2013, JPN6018005441, 19 May 2013 (2013-05-19), pages pp.57-60. *
FENG ZOU，DONG TIAN AND ANTHONY VETRO ET AL.: "View Sysnthesis Prediction Using Skip and Merge Candidates for HEVC-based 3D Video Coding", IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), 2013, JPN6018005441, May 2013 (2013-05-01), pages 57 - 60, XP032445856, DOI: doi:10.1109/ISCAS.2013.6571781 *
GERHARD TECH ET AL.: "3D-HEVC Draft Text5", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG16 WP3 AND ISO/IEC JTC1, vol. JCT3V-I1001-v3, JPN6018005446, August 2014 (2014-08-01), pages 53 - 54 *
GERHARD TECH, ET AL.: "3D-HEVC Draft Text5", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG16 WP3 AND ISO/IEC JTC1, vol. JCT3V-I1001-v3, JPN6018005446, 13 August 2014 (2014-08-13), pages pp.53,54. *
HONGBIN LIU AND YING CHEN: "Simplifications for 3D-HEVC merge candidate list generation", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-I0053, JPN6018023005, June 2014 (2014-06-01), pages 1 - 8 *
JIN YOUNG LEE ET AL.: "3D-CE1.h related: Simplification of VSP insertion process", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0117, JPN6018005440, 15 April 2013 (2013-04-15), pages pp.1-5. *
JIN YOUNG LEE ET AL.: "3D-CE1.h related: Simplification of VSP insertion process", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0117, JPN6018005440, April 2013 (2013-04-01), pages 1 - 5 *
JIN YOUNG LEE ET AL.: "3D-CE1: Simplification of 3D Merge list construction", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-H0097r1, JPN6018023003, March 2014 (2014-03-01), pages 1 - 5 *
JIN YOUNG LEE ET AL.: "Proposed text for JCT3V-D0117", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0117, JPN6018005448, 26 April 2013 (2013-04-26), pages pp.1-6. *
JIN YOUNG LEE ET AL.: "Proposed text for JCT3V-D0117", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0117_WD_Test3, JPN6018005448, April 2013 (2013-04-01), pages 1 - 6 *
JIN YOUNG LEE, MIN WOO PARK AND CHANYUL KIM: "Removal of redundant VSP candidates in Merge mode", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-J0039, JPN6018023008, October 2014 (2014-10-01), pages 1 - 3 *
TOMOHIRO IKAI AND TAKESHI TSUKUBA: "Further VSP inheritance simplification", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-I0106, JPN6018023006, June 2014 (2014-06-01), pages 1 - 3 *
YICHEN ZHANG AND LU YU: "CE3 related: Result on clean ups of VSP merging candidates", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-G0104r1, JPN6018023001, January 2014 (2014-01-01), pages 1 - 5 *
YICHEN ZHANG, ET AL.: "Simplification for VSP-related Merge Candidate List Construction", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-I0112r1, JPN6018005445, 4 July 2014 (2014-07-04), pages pp.1-3. *
YICHEN ZHANG, QING WANG AND LU YU: "Simplification for VSP-related Merge Candidate List Construction", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-I0112r1, JPN6018005445, July 2014 (2014-07-01), pages 1 - 3 *
YING CHEN ET AL.: "Test Model 9 of 3D-HEVC and MV-HEVC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-I1003, JPN6018005443, August 2014 (2014-08-01), pages pp.17-18,26-27 *
YING CHEN, ET AL.: "Test Model 9 of 3D-HEVC and MV-HEVC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-I1003, JPN6018005443, 26 August 2014 (2014-08-26), pages pp.17,18,26,27. *

Also Published As

Publication number Publication date
US10321145B2 (en) 2019-06-11
KR20170056594A (ko) 2017-05-23
US20170310984A1 (en) 2017-10-26
JP6374605B2 (ja) 2018-08-15
WO2016056842A1 (ko) 2016-04-14
KR101895429B1 (ko) 2018-09-05
EP3193505A1 (en) 2017-07-19
EP3193505A4 (en) 2017-08-30

Similar Documents

Publication Publication Date Title
KR102290420B1 (ko) 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP5997363B2 (ja) ビデオ復号化方法及びビデオ復号化装置
KR102149827B1 (ko) 인터 레이어 비디오 복호화 방법 및 그 장치 및 인터 레이어 비디오 부호화 방법 및 그 장치
KR102216128B1 (ko) 움직임 벡터 결정 방법 및 그 장치
KR20160132859A (ko) 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
JP2017523682A (ja) インターレイヤビデオ符号化／復号のためのデプス映像の予測モード伝送方法及びその装置
JP2014529214A (ja) 多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置
KR101710635B1 (ko) 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 블록 기반 디스패리티 벡터 예측 방법
KR20150105264A (ko) 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브 블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치
JP6742243B2 (ja) 輝度補償を利用したインターレイヤビデオ符号化方法及びその装置、該ビデオ復号化方法及びその装置
KR20130116832A (ko) 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
EP3119090A1 (en) Method for performing filtering at partition boundary of block related to 3d image
KR20140127177A (ko) 시점 합성 예측을 이용한 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치
JP6367965B2 (ja) デプス映像を符号化または復号する方法、及びその装置
JP6374605B2 (ja) 映像を復号する方法、装置及び記録媒体
KR102399593B1 (ko) 다 시점 영상 부호화/복호화 방법 및 장치
KR20130119379A (ko) 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 복호화 방법 및 그 장치
KR102047501B1 (ko) 인터-레이어 예측을 이용한 멀티 레이어 영상 부호화 또는 복호화 방법 및 장치
JP2017505037A (ja) デプス符号化方法及びその装置、デプス復号化方法及びその装置
JP2017518706A (ja) デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
KR20150106380A (ko) 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치
JP2017513426A (ja) 類型情報を利用した、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
AU2015230086A1 (en) Multi-layer video encoding method and multi-layer video decoding method using depth block
EP3160140A1 (en) Multi-layer video encoding method and multi-layer video decoding method using depth blocks
KR102193620B1 (ko) 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 디스패리티 벡터 예측 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180719

R150 Certificate of patent or registration of utility model

Ref document number: 6374605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees