JP2013539313A - 階層的構造のシンボルを符号化するビデオ符号化方法及びその装置、階層的構造のシンボルを復号化するビデオ復号化方法及びその装置 - Google Patents

階層的構造のシンボルを符号化するビデオ符号化方法及びその装置、階層的構造のシンボルを復号化するビデオ復号化方法及びその装置 Download PDF

Info

Publication number
JP2013539313A
JP2013539313A JP2013531497A JP2013531497A JP2013539313A JP 2013539313 A JP2013539313 A JP 2013539313A JP 2013531497 A JP2013531497 A JP 2013531497A JP 2013531497 A JP2013531497 A JP 2013531497A JP 2013539313 A JP2013539313 A JP 2013539313A
Authority
JP
Japan
Prior art keywords
symbol
unit
coding
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013531497A
Other languages
English (en)
Other versions
JP5624218B2 (ja
Inventor
チョン，ミン−ス
ミン，ジョン−ヘ
ハン，ウ−ジン
リ，タミー
リ，ソン−イル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013539313A publication Critical patent/JP2013539313A/ja
Application granted granted Critical
Publication of JP5624218B2 publication Critical patent/JP5624218B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

階層的構造のデータ単位を基に、ビデオのピクチャを符号化し、符号化されたピクチャに係わるシンボルを、階層的構造のデータ単位を基に決定し、階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、シンボルの符号化方式を決定し、決定された符号化方式によってシンボルを符号化して出力する階層的構造のシンボルを符号化するビデオ符号化方法が提案される。

Description

本発明は、ビデオコーデックのシンボル符号化に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、ビデオの復号化のために必要な符号化情報を符号化して送受信する。
本発明は、階層的構造のデータ単位について決定される階層的構造のシンボルを符号化して復号化するためのビデオ符号化及びビデオ復号化を提案する。
本発明の一実施形態による、階層的構造のシンボルを符号化するビデオを符号化する方法は、階層的構造のデータ単位を基に、前記ビデオのピクチャを符号化する段階と、前記符号化されたピクチャに係わるシンボルを、前記階層的構造のデータ単位を基に決定する段階と、前記階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、前記シンボルの符号化方式を決定する段階と、前記決定された符号化方式によって、前記シンボルを符号化して出力する段階と、を含む。
ツリー構造による符号化単位と、ツリー構造による変換単位とによる符号化過程で決定されるツリー構造の符号化シンボルのシンボル特性によって、適するシンボル符号化方式が決定されるので、シンボルが効率的に符号化される。また、ツリー構造による符号化単位と、ツリー構造による変換単位とによる符号化過程で決定されるツリー構造の符号化シンボルのうち一部シンボルだけが受信されても、シンボル復号化方式によって、残りのシンボルをいずれも復元することができるので、シンボルが効率的に復号化される。
一実施形態による階層的構造のシンボルを符号化するビデオ符号化装置のブロック図である。 一実施形態による階層的構造のシンボルを復号化するビデオ復号化装置のブロック図である。 一実施形態による階層的構造の変換単位と、これによる階層的構造の変換単位分割情報とを図示する図面である。 一実施形態によるシンボル階層的符号化モード、及びこれによって符号化されるシンボルを図示する図面である。 一実施形態によるシンボル階層的符号化モード、及びこれによって符号化されるシンボルを図示する図面である。 一実施形態によるシンボル階層的符号化モード、及び末端レベル符号化モードのうち一つが選択される実施形態を図示する図面である。 一実施形態によるシンボル階層的符号化モード、及び末端レベル符号化モードのうち一つが選択される実施形態を図示する図面である。 一実施形態によって、符号化特性に基づいて、シンボル階層的符号化モード、及び末端レベル符号化モードのうち一つが選択されるそれぞれの実施形態を図示する図面である。 一実施形態による同種シンボルグループ符号化モードによって符号化されるシンボルを図示する図面である。 一実施形態による異種シンボルグループ符号化モードが選択される実施形態を図示する図面である。 一実施形態によるシンボル反転符号化モードによって符号化されるシンボルを図示する図面である。 一実施形態によるシンボル反転符号化モードによるシンボルの符号化過程及び復号化過程を図示する図面である。 一実施形態による階層的構造のシンボルを符号化するビデオ符号化方法のフローチャートである。 一実施形態による階層的構造のシンボルを復号化するビデオ復号化方法のフローチャートである。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表０の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいたツリー構造のシンボルを符号化するビデオ符号化方法のフローチャートである。 本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいたツリー構造のシンボルを復号化するビデオ復号化方法のフローチャートである。
本発明の一実施形態による階層的構造のシンボルを符号化するビデオを符号化する方法は、階層的構造のデータ単位を基に、前記ビデオのピクチャを符号化する段階と、前記符号化されたピクチャに係わるシンボルを、前記階層的構造のデータ単位を基に決定する段階と、前記階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、前記シンボルの符号化方式を決定する段階と、前記決定された符号化方式によって、前記シンボルを符号化して出力する段階と、を含む。
一実施形態による前記シンボルの符号化方式決定段階は、前記階層的構造のデータ単位別に決定されたシンボルを、前記階層的構造のデータ単位によって符号化するシンボル階層的符号化モード、及び前記階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを符号化する末端レベル符号化モードのうち１つのシンボル符号化方式を選択的に決定する段階を含む。
一実施形態による前記シンボルの符号化方式を選択的に決定する段階は、前記階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、前記同種シンボルをグループ化して符号化する同種シンボルグループ符号化モード、及び前記同種シンボルを個別的に符号化する同種シンボル個別符号化モードのうち、１つのシンボル符号化方式を選択的に決定する段階を含む。
一実施形態によるシンボルの符号化方式を選択的に決定する段階は、前記階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、前記異種シンボルをグループ化して符号化する異種シンボルグループ符号化モード、及び前記異種シンボルを個別的に符号化する異種シンボル個別符号化モードのうち、１つのシンボル符号化方式を選択的に決定する段階を含む。
一実施形態による前記シンボルの符号化方式を決定する段階は、前記階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、前記末端レベルのデータ単位に係わるシンボルのシンボル値を反転して符号化するシンボル反転符号化モード、及び前記末端レベルのデータ単位に係わるシンボルのシンボル値を反転なしに符号化する非反転符号化モードのうち、１つのシンボル符号化方式を選択的に決定する段階を含む。
本発明の一実施形態による階層的構造のシンボルを復号化してビデオを復号化する方法は、前記ビデオの符号化されたピクチャを含むビットストリームを受信する段階と、前記ビットストリームをパージングし、前記ビットストリームから、前記階層的構造のデータ単位に基づいて決定されたシンボルと、前記符号化されたピクチャとを抽出する段階と、前記階層的構造のデータ単位に基づいて決定されたシンボルの特性に基づいて、前記シンボルの復号化方式を決定し、前記復号化方式によって、前記シンボルを復号化し、前記シンボルを利用して、前記符号化されたピクチャを復号化する段階と、を含む。
一実施形態による前記復号化段階は、前記階層的構造のデータ単位別に決定されたシンボルを、前記階層的構造のデータ単位によって復号化するシンボル階層的復号化モード、及び前記階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを復号化する末端レベル復号化モードのうち１つのシンボル復号化方式を選択的に決定する段階を含む。
一実施形態による前記復号化段階は、前記階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、前記同種シンボルをグループ化して復号化する同種シンボルグループ復号化モード、及び前記同種シンボルを個別的に復号化する同種シンボル個別復号化モードのうち、１つのシンボル復号化方式を選択的に決定する段階を含む。
一実施形態による前記復号化段階は、前記階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、前記異種シンボルをグループ化して復号化する異種シンボルグループ復号化モード、及び前記異種シンボルを個別的に復号化する異種シンボル個別復号化モードのうち、１つのシンボル復号化方式を選択的に決定する段階を含む。
一実施形態による前記復号化段階は、前記階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、前記末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて復号化するシンボル反転復号化モード、及び前記データ単位に係わるシンボルのシンボル値を、反転なしに復号化する非反転復号化モードのうち、１つのシンボル復号化方式を選択的に決定する。
本発明の一実施形態によって、階層的構造のシンボルを符号化するビデオ符号化装置は、階層的構造のデータ単位を基に、前記ビデオのピクチャを符号化するピクチャ階層的符号化部；及び前記符号化されたピクチャに係わるシンボルを、前記階層的構造のデータ単位を基に決定し、前記階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、前記シンボルの符号化方式を決定し、前記決定された符号化方式によって、前記シンボルを符号化して出力する階層的シンボル符号化部；を含む。
本発明の一実施形態による階層的構造のシンボルを復号化するビデオ復号化装置は、前記ビデオの符号化されたピクチャを含むビットストリームを受信し、前記ビットストリームをパージングし、前記階層的構造のデータ単位に基づいて決定されたシンボルと、前記符号化されたピクチャとを抽出する階層的シンボル／データ抽出部；及び前記階層的構造のデータ単位に基づいて決定されたシンボルの特性に基づいて、前記シンボルの復号化方式を決定し、前記復号化方式によって、前記シンボルを復号化し、前記シンボルを利用して、前記符号化されたピクチャを復号化する階層的ピクチャ復号化部；を含む。
本発明は、一実施形態による階層的構造のシンボルを符号化するビデオ符号化方法を電算的に具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を含む。本発明は、一実施形態による階層的構造のシンボルを復号化するビデオ復号化方法を電算的に具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を含む。
以下、本明細書に記載した本発明の多様な実施形態で、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に呼ぶことができる。
映像と係わるデータについて各種動作が遂行されるとき、映像と係わるデータは、データグループに分割され、同一データグループに含まれるデータについて同一動作が遂行される。以下、本明細書において、所定基準によって形成されるデータグループを「データ単位」と呼ぶ。以下、本明細書において、「データ単位」ごとに行われる動作は、データ単位に含まれたデータを利用して、当該動作が遂行されるということを意味する。
以下、図１ないし図１４を参照し、一実施形態によって、階層的構造のシンボルを符号化及び復号化するビデオの符号化及び復号化を開示する。以下、図１５ないし図２７を参照し、本発明の一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいたツリー構造のシンボルを符号化及び復号化するビデオの符号化及び復号化を開示する。
以下、図１ないし図１４を参照し、一実施形態による階層的構造のシンボルを符号化するビデオ符号化装置、及び階層的構造のシンボルを復号化するビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。
図１は、一実施形態による階層的構造のシンボルを符号化するビデオ符号化装置のブロック図を図示している。
一実施形態による階層的構造のシンボルを符号化するビデオ符号化装置１００は、ピクチャ階層的符号化部１２０、及び階層的シンボル符号化部１３０を含む。以下、説明の便宜のために、一実施形態による階層的構造のシンボルを符号化するビデオ符号化装置１００を「ビデオ符号化装置１００」と縮約して呼ぶ。ビデオ符号化装置１００のピクチャ階層的符号化部１２０、及び階層的シンボル符号化部１３０の動作は、ビデオエンコーディング・プロセッサ、中央プロセッサ、グラフィック・プロセッサなどによって有機的に制御される。
一実施形態によるビデオ符号化装置１００は、入力されたビデオにおいて、現在ピクチャを符号化するために、現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。
例えば、現在ピクチャは、空間領域（spatial domain）の画素で構成される。現在ピクチャにおいて、空間的に隣接する画素を共に符号化するために、所定範囲内の隣接画素が１つのグループをなすように、現在ピクチャは、所定サイズの画素グループに分割される。分割された所定サイズの画素グループの画素に対する一連の符号化動作によって、現在ピクチャに係わる符号化が行われる。
ピクチャの符号化処理対象になる初期データが、空間領域の画素値であるので、それぞれの所定サイズの画素グループが、符号化処理対象になるデータ単位に利用される。また、空間領域の画素グループの画素値に対して、ビデオ符号化のための変換を行い、変換領域（transform domain）の変換係数が生成されるが、変換係数も、空間領域の画素グループと同一サイズの係数グループを維持する。従って、変換領域の変換係数の係数グループも、ピクチャの符号化のためのデータ単位に利用される。
従って、空間領域及び変換領域をまとめて、所定サイズのデータグループが符号化のためのデータ単位に利用される。このとき、データ単位の大きさは、データ単位に含まれるデータの個数と定義される。例えば、空間領域の画素の個数、または変換領域の変換係数の個数が、データ単位の大きさを示すことができる。
ビデオにおいて、現在符号化処理対象であるデータ単位、スライス、ピクチャ、ピクチャシーケンスのうちいずれか１つのデータレベルのデータグループごとに、現在データ単位に係わる符号化方式または符号化特性が決定される。
一実施形態によるビデオ符号化装置１００は、領域別に、インター予測・イントラ予測を含む予測符号化、変換及び量子化及びエントロピ符号化を行うことにより、現在ピクチャの符号化を行うことができる。
一実施形態によるピクチャ階層的符号化部１２０は、階層的構造のデータ単位を基に、ビデオのピクチャを符号化する。所定領域を符号化するために、所定領域のデータ単位が、段階別に、上位レベルのデータ単位から下位レベルのデータ単位に分割され、一つ以上のレベルのデータ単位の階層的構造が構成される。一実施形態によるピクチャ階層的符号化部１２０は、階層的構造によって、多様な大きさが可能なデータ単位に基づいて、ピクチャを符号化することができる。
一実施形態による階層的シンボル符号化部１３０は、ピクチャ階層的符号化部１２０によって出力された符号化されたピクチャに係わるシンボルを、階層的構造のデータ単位を基に決定する。階層的シンボル符号化部１３０は、階層的構造のデータ単位を基に決定されることに起因するシンボルの特性に基づいて、シンボルの符号化方式を決定することができる。これにより、階層的シンボル符号化部１３０は、決定された符号化方式によってシンボルを符号化し、出力することができる。階層的シンボル符号化部１３０は、決定された符号化方式によって階層的構造として決定されたシンボルに割り当てられたシンボルコードを出力することもできる。
階層的シンボル符号化部１３０は、階層的構造のデータ単位別に符号化されたピクチャに係わるシンボルを決定することができる。一実施形態によるシンボルは、ピクチャの符号化過程で決定されて利用される符号化モード、符号化方式などを示すための符号化情報を含んでもよい。例えば、イントラ／インター予測の予測モード情報及び予測方向情報、データ符号化の基になるデータ単位の構造情報、符号化パターン情報（ｃｂｆ：coded pattern flag）のように、ビデオ符号化過程で定義される符号化情報などがシンボルとして定義される。
一実施形態による階層的シンボル符号化部１３０は、階層的構造のデータ単位別にシンボルが決定されるので、シンボルも、階層的構造として決定される。階層的シンボル符号化部１３０によって、階層的構造によって決定されたシンボルのうち、所定レベルのデータ単位に係わる同種シンボルにおいて、高い相関度のパターンが生じもする。また、階層的シンボル符号化部１３０によって、階層的構造によって決定された異種シンボル間に高い関連性が発見される。また、階層的シンボル符号化部１３０によって、階層的構造によって決定されたシンボルの全体レベルで、所定パターンが生じもする。
階層的シンボル符号化部１３０は、かようにシンボルの階層的構造に起因するシンボルの特徴を考慮して、シンボルの符号化方式を決定することができる。
例えば、階層的シンボル符号化部１３０は、階層的構造のデータ単位別に決定されたシンボルを、階層構造によっていずれも符号化するか否かを決定することができる。
例えば、階層的シンボル符号化部１３０は、階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、同種シンボルをグループ化して符号化するか否かを決定することができる。
例えば、階層的シンボル符号化部１３０は、階層的構造のデータ単位別に決定された異種シンボル間に発生する相関度を基に、同種シンボルをグループ化して符号化するか否かを決定することができる。
例えば、階層的シンボル符号化部１３０は、階層的構造のデータ単位のうち所定シンボル値の比率を基に、所定レベルのデータ単位に係わるシンボル値を反転させて符号化するか否かを決定することができる。
一例として、階層的シンボル符号化部１３０は、階層的構造のデータ単位別に決定されたシンボルを、階層的構造のデータ単位によっていずれも符号化するシンボル階層的符号化モードと、階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを符号化する末端レベル符号化モードとのうち、１つのシンボル符号化方式を選択的に決定することができる。
階層的シンボル符号化部１３０は、シンボル階層的符号化モードによってシンボルを符号化する場合、階層的構造のデータ単位別に決定されたシンボルを、階層的構造のデータ単位によって符号化して出力することができる。一方、末端レベル符号化モードによってシンボルが符号化される場合、階層的シンボル符号化部１３０は、階層的構造のデータ単位のうち、所定レベルのデータ単位に係わるシンボルのみを符号化して出力することができる。
階層的シンボル符号化部１３０は、シンボルのデータ単位の符号化特性に基づいて、シンボル階層的符号化モード、及び末端レベル符号化モードのうち１つのシンボル符号化方式を決定することもできる。このとき、シンボル符号化方式を決定するために考慮される符号化特性は、シンボルのデータ単位の予測モード情報及びカラー成分のうち少なくとも一つを含んでもよい。
他の一例として、階層的シンボル符号化部１３０は、階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、同種シンボルをグループ化して符号化する同種シンボルグループ符号化モードと、同種シンボルを個別的に符号化する同種シンボル個別符号化モードとのうち、１つのシンボル符号化方式を選択的に決定することができる。
このとき、シンボル符号化方式を決定するために考慮される同種シンボルのシンボル値間の相関度は、シンボル値間に形成されるパターンの形態及び頻度を含んでもよい。
階層的シンボル符号化部１３０は、同種シンボルグループ符号化モードによってシンボルを符号化する場合、シンボル値のパターンごとに割り当てられるシンボルコードを含むシンボルコード・テーブルを決定することができる。シンボルコード・テーブルは、それぞれのパターンの頻度に基づいて、パターンごとに割り当てられたシンボルコードを含んでもよい。
階層的シンボル符号化部１３０は、シンボルコード・テーブルと、データ単位に係わる同種シンボルのパターンとに基づいて、データ単位に係わる同種シンボルに係わるシンボルコードを出力することができる。すなわち、シンボルコード・テーブルに基づいて、同種シンボルのシンボル値のパターンに割り当てられたシンボルコードが出力される。
階層的シンボル符号化部１３０は、スキップモード情報、符号化のためのデータ単位の分割情報、変換のためのデータ単位の分割情報、及び符号化パターン情報のうち少なくとも一つシンボルについて、同種シンボルグループモードによるシンボル符号化いかんを決定することができる。
すなわち、階層的シンボル符号化部１３０は、スキップモード情報のシンボル値間の相関度に基づいて、同種シンボルグループモードによるシンボル符号化いかんを決定することもできる。
階層的シンボル符号化部１３０は、符号化単位分割情報のシンボル値間の相関度に基づいて、同種シンボルグループモードによるシンボル符号化いかんを決定することもできる。階層的シンボル符号化部１３０は、変換単位分割情報のシンボル値間の相関度に基づいて、同種シンボルグループモードによるシンボル符号化いかんを決定することもできる。
階層的シンボル符号化部１３０は、変換単位符号化パターン情報のシンボル値間の相関度に基づいて、同種シンボルグループモードによるシンボル符号化いかんを決定することもできる。階層的シンボル符号化部１３０は、同種シンボル個別符号化モードによってシンボルを符号化する場合、同種シンボルのシンボル値間の相関度と係わりなく、階層的構造のデータ単位に係わる同種シンボルを個別的に符号化することができる。
階層的シンボル符号化部１３０は、シンボルのデータ単位の符号化特性に基づいて、同種シンボルグループ符号化モード及び独立的符号化モードのうち１つのシンボル符号化方式を決定することもできる。例えば、階層的シンボル符号化部１３０は、シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分、符号化のためのデータ単位の分割レベル、及び変換のためのデータ単位の分割レベルのうち少なくとも一つを含むデータ単位の符号化特性に基づいて、シンボルの符号化方式を選択的に決定することができる。
一実施形態による符号化のためのデータ単位の分割レベルは、最大サイズの符号化単位から現在符号化単位までの分割回数を示し、符号化深度と呼ばれる。一実施形態による変換のためのデータ単位の分割レベルは、最大サイズの変換単位から現在変換単位までの分割回数を示し、変換深度と呼ばれる。
他の一例として、階層的シンボル符号化部１３０は、階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、異種シンボルをグループ化して符号化する異種シンボルグループ符号化モード、及び異種シンボルを個別的に符号化する異種シンボル個別符号化モードのうち、１つのシンボル符号化方式を選択的に決定することができる。
階層的構造のデータ単位を基にする符号化過程で、異種シンボルが示す機能の相関度、異種シンボル間の依存的符号化いかん、異種シンボル間の連続的符号化いかんのうち少なくとも一つを含む異種シンボルの相関度に基づいて、異種シンボルグループ符号化モード、及び異種シンボル個別符号化モードのうち１つのシンボル符号化方式が選択的に決定される。
例えば、階層的シンボル符号化部１３０は、異種シンボルグループ符号化モードによってシンボルを符号化する場合、異種シンボルが示す機能の相関度に基づいて、異種シンボルが共有するコンテクスト（context）を決定することができる。階層的シンボル符号化部１３０は、共有コンテクストに基づいて、異種シンボルをそれぞれ符号化して出力することができる。
例えば、階層的シンボル符号化部１３０は、異種シンボルグループ符号化モードによってシンボルを符号化する場合、相互依存的に決定される異種シンボル間に発生する異種シンボルのシンボル値の組み合わせの確率分布に基づいて、シンボル値の組み合わせに係わるシンボルコードを割り当てることができる。階層的シンボル符号化部１３０は、異種シンボルのシンボル値の組み合わせについて、割り当てられたシンボルコードを出力することができる。
例えば、階層的シンボル符号化部１３０は、異種シンボルグループ符号化モードによってシンボルを符号化する場合、連続して決定される異種シンボル間に発生する異種シンボルのシンボル値の組み合わせに係わるシンボルコードを割り当てることができる。階層的シンボル符号化部１３０は、異種シンボルのシンボル値の組み合わせについて、割り当てられたシンボルコードを出力することができる。
一例として、階層的シンボル符号化部１３０は、符号化単位分割情報と変換単位分割情報との相関度に基づいて、符号化単位分割情報と変換単位分割情報との組み合わせに係わる異種シンボルグループ符号化いかんを決定することができる。
一例として、階層的シンボル符号化部１３０は、変換単位分割情報と符号化パターン情報との相関度に基づいて、変換単位分割情報と符号化パターン情報との組み合わせに係わる異種シンボルグループ符号化いかんを決定することができる。
一例として、階層的シンボル符号化部１３０は、符号化単位の予測モードと予測方式情報との相関度に基づいて、予測モードと予測方式情報との組み合わせに係わる異種シンボルグループ符号化いかんを決定することもできる。
一例として、階層的シンボル符号化部１３０は、符号化単位の分割情報とスキップ情報との相関度に基づいて、符号化単位の分割情報とスキップ情報との組み合わせに係わる異種シンボルグループ符号化いかんを決定することもできる。
一例として、階層的シンボル符号化部１３０は、２以上のカラー成分別符号化パターン情報間の相関度に基づいて、カラー成分別符号化パターン情報の組み合わせに係わる異種シンボルグループ符号化いかんを決定することもできる。カラー成分別符号化パターン情報は、ルマ成分の符号化パターン情報、クロマ成分の符号化パターン情報、第１クロマ成分の符号化パターン情報、及び第２クロマ成分の符号化パターン情報などであってもよい。例えば、ルマ成分の符号化パターン情報と、クロマ成分の符号化パターン情報との組み合わせ、ルマ成分Ｙ、第１クロマ成分Ｃｒ、第２クロマ成分Ｃｂ別に、それぞれの符号化パターン情報の組み合わせについて異種シンボルグループ符号化いかんが決定されもする。
一例として、階層的シンボル符号化部１３０は、２以上のカラー成分別符号化パターン情報と変換単位分割情報との相関度に基づいて、符号化単位のカラー成分別符号化パターン情報と変換単位分割情報との組み合わせに係わる異種シンボルグループ符号化いかんを決定することもできる。例えば、ルマ成分の符号化パターン情報、第１クロマ成分の符号化パターン情報、第２クロマ成分の符号化パターン情報と変換単位分割情報との組み合わせについて、異種シンボルグループ符号化いかんが決定されもする。
階層的シンボル符号化部１３０は、異種シンボル個別符号化モードによって、シンボルを符号化する場合、異種シンボル間の相関度と係わりなく、階層的構造のデータ単位に係わる異種シンボルを個別的に符号化することができる。
他の一例として、階層的シンボル符号化部１３０は、階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて符号化するシンボル反転符号化モードと、データ単位に係わるシンボルのシンボル値を反転なしに符号化する非反転符号化モードとのうち、１つのシンボル符号化方式を選択的に決定することができる。
例えば、階層的シンボル符号化部１３０は、シンボル反転符号化モードによってシンボルを符号化する場合、シンボル値のうち、０であるシンボル値の比率が１であるシンボル値に比べて低ければ、末端レベルのデータ単位に係わるシンボル値を反転させて符号化することができる。同一の趣旨で、階層的シンボル符号化部１３０は、シンボル値のシンボル分布が稠密であるならば、末端レベルのデータ単位に係わるシンボル値を反転させて符号化することができる。
階層的シンボル符号化部１３０は、シンボル非反転符号化モードによってシンボルを符号化する場合、シンボル値のうち、０であるシンボル値の比率と関係なく、シンボル値の反転なしにシンボルを符号化することができる。
階層的シンボル符号化部１３０は、シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分、及び符号化深度及び変換深度のうち少なくとも一つを含む前記データ単位の符号化特性に基づいて、シンボル反転符号化モード及び非反転符号化モードのうち１つのシンボル符号化方式を選択的に決定することもできる。
一実施形態による階層的シンボル符号化部１３０は、ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、シンボルの符号化方式を決定することができる。一実施形態によるビデオ符号化装置１００は、前記１つのデータ区間ごとに、シンボルの符号化方式を示すシンボル符号化方式情報を符号化して出力することができる。
一実施形態によるビデオ符号化装置１００は、階層的シンボル符号化部１３０によって符号化されたシンボルと共に符号化されたピクチャを含むビットストリームを出力することができる。
一実施形態によるビデオ符号化装置１００の符号化の基になる階層的構造のデータ単位は、一実施形態によるツリー構造による符号化単位、ツリー構造による変換単位、ツリー構造による符号化単位の予測単位及びパーティションを含んでもよい。このために、一実施形態によるピクチャ階層的符号化部１２０は、ツリー構造による符号化単位、ツリー構造による変換単位、ツリー構造による符号化単位の予測単位及びパーティションを決定することができる。
ピクチャ階層的符号化部１２０は、ピクチャを最大サイズの符号化単位に分割し、最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化結果として出力される符号化深度の符号化単位を決定することができる。ツリー構造による符号化単位は、最終的に出力される符号化結果を生成した符号化深度の符号化単位を含んでもよい。また、符号化深度の符号化単位が決定されるために、予測符号化のためのデータ単位である予測単位及びパーティションが決定され、変換のためのデータ単位であるツリー構造による変換単位が決定される。
ピクチャ階層的符号化部１２０は、深度別符号化単位のうち、周辺深度別符号化単位と独立して、それぞれの深度別符号化単位ごとに、符号化深度の符号化単位を決定することができる。一実施形態によるツリー構造による符号化単位は、最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については、独立した符号化深度の符号化単位で構成される。
その場合、階層的シンボル符号化部１３０は、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて符号化されたピクチャ、並びにツリー構造による符号化単位の符号化深度及び符号化モードに係わる情報を示すシンボルが符号化して出力される。
以上、ツリー構造による符号化単位及びツリー構造による変換単位、予測単位及びパーティションの決定方式は、以後、図１５ないし図２７を参照して説明する。
図２は、一実施形態による階層的構造のシンボルを復号化するビデオ復号化装置のブロック図を図示している。
一実施形態による階層的構造のシンボルを復号化するビデオ復号化装置２００は、階層的シンボル／データ抽出部２２０、及び階層的ピクチャ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による階層的構造のシンボルを復号化するビデオ復号化装置２００を「ビデオ復号化装置２００」と縮約して呼ぶ。ビデオ復号化装置２００の階層的シンボル／データ抽出部２２０、及び階層的ピクチャ復号化部２３０の動作は、ビデオデコーディング・プロセッサ、グラフィック・プロセッサ、中央プロセッサなどによって有機的に制御される。
ビデオ復号化装置２００は、ビットストリームから映像を復元するために、エントロピ復号化、逆量子化、逆変換及びインター予測／補償、イントラ予測／補償を含む動作を介して、ビットストリームの符号化されたピクチャデータを復号化することができる。
一実施形態による階層的シンボル／データ抽出部２２０は、符号化されたビデオに係わるビットストリームを受信してパージングする。階層的シンボルデータ抽出部２２０は、パージングされたビットストリームから、現在ピクチャについて、階層的構造のデータ単位別に符号化されたデータを抽出することができる。
また、階層的シンボル／データ抽出部２２０は、ビットストリームから、現在ピクチャについて、階層的構造のデータ単位を基に階層的構造として決定されたシンボルを抽出することができる。階層的シンボル／データ抽出部２２０は、ビットストリームから、階層的構造として決定されたシンボルに割り当てられたシンボルコードを抽出することもできる。
階層的シンボル／データ抽出部２２０は、符号化されたピクチャと抽出されたシンボルとを、階層的ピクチャ復号化部２３０に伝達することができる。階層的ピクチャ復号化部２３０は、階層的構造のデータ単位に基づいて決定されたシンボルの特性に基づいて、シンボルの復号化方式を決定することができる。階層的ピクチャ復号化部２３０は、復号化方式によってシンボルを復号化し、シンボルから符号化情報を読み取り、符号化情報を利用して符号化されたピクチャを復号化することができる。
一実施形態によるシンボルは、階層的構造のデータ単位について割り当てられるシンボルの特性に基づいて決定されたシンボル符号化方式によって符号化されている。一実施形態による階層的シンボル／データ抽出部２２０は、ビットストリームから、ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、シンボルの符号化方式情報を抽出することもできる。また、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００間に、シンボル符号化方式情報があらかじめ決定されている。
階層的ピクチャ復号化部２３０は、シンボルの符号化方式情報、または既設定の符号化方式に基づいて、現在シンボルを符号化したシンボル符号化方式に相応するシンボル復号化方式を決定し、シンボル復号化方式によって、シンボルを復号化することにより、シンボルが示す情報を読み取ることができる。階層的ピクチャ復号化部２３０は、シンボルコードを受信した場合、シンボル復号化方式によって、シンボルコードからシンボルを読み取って復号化することができる。
例えば、階層的ピクチャ復号化部２３０は、階層的構造のデータ単位別に決定されたシンボルを、階層構造によっていずれも復号化するか否かを決定することができる。例えば、階層的ピクチャ復号化部２３０は、階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、同種シンボルをグループ化し、復号化するか否かを決定することができる。
例えば、階層的ピクチャ復号化部２３０は、階層的構造のデータ単位別に決定された異種シンボル間に発生する相関度を基に、同種シンボルをグループ化し、復号化するか否かを決定することができる。
例えば、階層的ピクチャ復号化部２３０は、階層的構造のデータ単位のうち所定シンボル値の比率を基に、所定レベルのデータ単位に係わるシンボル値を反転させて復号化するか否かを決定することができる。
まず一例として、階層的ピクチャ復号化部２３０は、階層的構造のデータ単位別に決定されたシンボルを、階層的構造のデータ単位によって復号化するシンボル階層的復号化モードと、末端レベルのデータ単位に係わるシンボルを復号化する末端レベル復号化モードとのうち、１つのシンボル復号化方式を選択的に決定することができる。
階層的ピクチャ復号化部２３０が、シンボル階層的復号化モードによって、シンボルを復号化する場合、階層的構造のデータ単位別に決定されたシンボルを、当該階層的構造のデータ単位によって抽出して読み取ることができる。一実施形態によるシンボル階層的符号化モードに基づいて符号化されたシンボルは、シンボル階層的復号化モードに基づいて復号化される。
階層的ピクチャ復号化部２３０が、末端レベル復号化モードに従って、シンボルを復号化する場合、階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを抽出して読み取ることができる。その場合、階層的ピクチャ復号化部２３０は、読み取られた末端レベルがデータ単位に係わるシンボルに基づいて、残りのデータ単位に係わるシンボルを読み取ることができる。一実施形態による末端レベル符号化モードに基づいて符号化されたシンボルは、末端レベル復号化モードに基づいて復号化される。
階層的ピクチャ復号化部２３０が、シンボルのデータ単位に係わる復号化のために利用されるデータ単位の符号化特性に基づいて、シンボル階層的復号化モード及び末端レベル復号化モードのうち１つのシンボル復号化方式を決定することもできる。例えば、シンボルのデータ単位の予測モード情報及びカラー成分のうち少なくとも一つを含む符号化特性に基づいて、シンボルの階層的復号化いかんが決定される。
他の例として、階層的ピクチャ復号化部２３０は、同種シンボルをグループ化して復号化する同種シンボルグループ復号化モードと、同種シンボルを個別的に復号化する同種シンボル個別復号化モードとのうち、１つのシンボル復号化方式を選択的に決定することができる。一実施形態による同種シンボルグループ符号化モードによって符号化されたシンボルは、同種シンボルグループ復号化モードによって復号化される。一実施形態による同種シンボル個別符号化モードによって符号化されたシンボルは、同種シンボル個別復号化モードによって復号化される。
同種シンボルグループ復号化モードによって復号化されたシンボルは、階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に高い相関度が生じもする。
一実施形態による同種シンボルのシンボル値間の相関度は、前記シンボル値間に形成されるパターンの形態及び頻度を含む場合、階層的シンボル／データ抽出部２２０は、ビットストリームから、データ単位に係わる同種シンボルに係わるシンボルコードを抽出し、階層的ピクチャ復号化部２３０に伝達することができる。
階層的ピクチャ復号化部２３０は、同種シンボルグループ復号化モードによって、シンボルを復号化する場合、同種シンボルのシンボル値間のパターンの頻度に基づいて、パターンごとに割り当てられるシンボルコードを含むシンボルコード・テーブルを獲得することができる。前記シンボルコード・テーブルは、ビットストリームを介して受信されたり、あるいはビデオ符号化装置１００及びビデオ復号化装置２００間にあらかじめ決定されている。
階層的ピクチャ復号化部２３０は、同種シンボルグループ復号化モードによるシンボル復号化のためのシンボルコード・テーブルに基づいて、データ単位について抽出された同種シンボルのシンボルコードから、同種シンボルのシンボル値のパターン及び同種シンボルを読み取ることができる。
階層的ピクチャ復号化部２３０は、同種シンボル個別符号化モードに基づいて符号化された階層的構造の同種シンボルを、同種シンボル個別復号化モードに基づいて復号化することができる。階層的ピクチャ復号化部２３０は、同種シンボル個別復号化モードによって、シンボルを復号化する場合、同種シンボル間の相関度と係わりなく、それぞれ階層的構造である同種シンボルを個別的に復号化することができる。
階層的ピクチャ復号化部２３０が、同種シンボルグループ復号化モードによる復号化を行うシンボルの種類は、スキップモード情報、符号化単位分割情報、変換単位分割情報、及び符号化パターン情報のうち少なくとも一つを含んでもよい。
階層的ピクチャ復号化部２３０は、ビットストリームから抽出されたスキップモード情報のシンボルコードから、同種シンボルグループ復号化モードによって、スキップモード情報を復号化するか否かを決定し、決定された復号化モードによって、スキップモード情報を復号化することもできる。
階層的ピクチャ復号化部２３０は、ビットストリームから抽出された符号化単位分割情報のシンボルコードから、同種シンボルグループ復号化モードによって、符号化単位分割情報を復号化するか否かを決定し、決定された復号化モードによって、符号化単位分割情報を復号化することができる。
階層的ピクチャ復号化部２３０は、ビットストリームから抽出された変換単位分割情報のシンボルコードから、同種シンボルグループ復号化モードによって、変換単位分割情報を復号化するか否かを決定し、決定された復号化モードによって、変換単位分割情報を復号化することもできる。
階層的ピクチャ復号化部２３０は、ビットストリームから抽出された変換単位符号化パターン情報のシンボルコードから、同種シンボルグループ復号化モードによって、変換単位符号化パターン情報を復号化するか否かを決定し、決定された復号化モードによって、変換単位符号化パターン情報を復号化することもできる。
また階層的ピクチャ復号化部２３０は、シンボルのデータ単位に係わる復号化のために利用されるデータ単位の符号化特性に基づいて、同種シンボルグループ復号化モード及び前記独立的復号化モードのうち１つのシンボル復号化方式を決定することもできる。例えば、シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分及び符号化深度及び変換深度のうち少なくとも一つを含む符号化特性に基づいて、シンボルの復号化方式が選択的に決定されもする。
他の例として、階層的ピクチャ復号化部２３０は、階層的構造の異種シンボルをグループ化して復号化する異種シンボルグループ復号化モードと、異種シンボルを個別的に復号化する異種シンボル個別復号化モードとのうち、１つのシンボル復号化方式を選択的に決定することができる。これにより、異種シンボルグループ符号化モードに基づいて符号化された階層的構造のシンボルは、異種シンボルグループ符号化モードに基づいて復号化される。また、異種シンボル個別符号化モードに基づいて符号化された階層的構造のシンボルは、異種シンボル個別符号化モードに基づいて、階層的構造の異種シンボルがそれぞれ復号化される。
その場合、階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって復号化された階層的構造の異種シンボル間には、相互に高い相関度が生じもする。例えば、階層的構造のデータ単位を基にする復号化過程で、異種シンボルが示す機能の相関度、異種シンボル間の依存的復号化いかん、異種シンボル間の連続的復号化いかんのうち少なくとも一つを含み、復号化された異種シンボル間に、高い相関度が生じもする。
階層的ピクチャ復号化部２３０は、異種シンボルグループ復号化モードによって、シンボルを復号化する場合、異種シンボルが示す復号化機能間の相関度に基づいて、相互共有するように決定されたコンテクストに基づいて、データ単位について抽出された異種シンボルをそれぞれ読み取ることができる。その場合、共有コンテクストは、ビデオ符号化装置１００及びビデオ復号化装置２００間にあらかじめ決定されてもいる。
異種シンボルグループ符号化モードによって符号化されたシンボルコードの場合、相互依存的に決定される異種シンボル間に発生する異種シンボルのシンボル値の組み合わせの確率分布に基づいて、異種シンボルのシンボル値の組み合わせについて、シンボルコードがあらかじめ割り当てられている。その場合、階層的ピクチャ復号化部２３０は、抽出されたシンボルのシンボルコードを、異種シンボルグループ復号化モードによって読み取ることにより、シンボルを復号化することができる。階層的ピクチャ復号化部２３０は、ビットストリームから抽出された異種シンボルに係わるシンボルコードから、異種シンボルのシンボル値の組み合わせを読み取り、それぞれの異種シンボルを読み取ることができる。読み取られた異種シンボルは、それぞれ階層的構造のデータ単位によって符号化情報として、当該データ単位の復号化過程で相互依存的に利用される。
異種シンボルグループ符号化モードによって符号化されたシンボルコードの場合、連続して決定される異種シンボル間に発生するシンボル値の組み合わせについて、シンボルコードが割り当てられている。その場合、階層的ピクチャ復号化部２３０は、異種シンボルグループ復号化モードによって、シンボルを復号化することができる。階層的ピクチャ復号化部２３０は、ビットストリームから抽出された異種シンボルに係わるシンボルコードから異種シンボルのシンボル値の組み合わせを読み取り、それぞれの異種シンボルを読み取ることができる。読み取られた異種シンボルは、それぞれ階層的構造のデータ単位によって符号化情報として、当該データ単位の復号化過程で連続して利用される。
階層的ピクチャ復号化部２３０は、異種シンボル個別復号化モードによって、シンボルを復号化する場合、異種シンボル間の相関度と係わりなく、階層的構造のデータ単位について抽出されたそれぞれの異種シンボルを読み取ることができる。
階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから、符号化単位分割情報と変換単位分割情報との組み合わせを読み取り、符号化単位分割情報及び変換単位分割情報をそれぞれ復元することができる。
階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから、変換単位分割情報と符号化パターン情報との組み合わせを読み取り、変換単位分割情報及び符号化パターン情報をそれぞれ復元することができる。
階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから、符号化単位の予測モードと予測方式情報との組み合わせを読み取り、符号化単位の予測モード及び予測方式情報をそれぞれ復元することができる。
階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから、符号化単位の分割情報とスキップ情報との組み合わせを読み取り、符号化単位の分割情報及びスキップ情報をそれぞれ復元することができる。
階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから、２以上のカラー成分別符号化パターン情報の組み合わせを読み取り、２以上のカラー成分別符号化パターン情報をそれぞれ復元することができる。例えば、ルマ成分の符号化パターン情報及びクロマ成分の符号化パターン情報の組み合わせが読み取られてそれぞれ復元される。例えば、ルマ成分Ｙ、第１クロマ成分Ｃｒ、第２クロマ成分Ｃｂ別にそれぞれの符号化パターン情報の組み合わせが読み取られ、それぞれの符号化パターン情報が復元される。
階層的ピクチャ復号化部２３０によって、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから、２以上のカラー成分別符号化パターン情報と変換単位分割情報との組み合わせを読み取り、それぞれのカラー成分別符号化パターン情報と変換単位分割情報が復元される。例えば、ルマ成分の符号化パターン情報、第１クロマ成分の符号化パターン情報、第２クロマ成分の符号化パターン情報と変換単位分割情報との組み合わせが読み取られ、ルマ成分の符号化パターン情報、第１クロマ成分の符号化パターン情報、第２クロマ成分の符号化パターン情報及び変換単位分割情報がそれぞれ復元される。
他の例として、階層的ピクチャ復号化部２３０は、階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて復号化するシンボル反転復号化モードと、データ単位に係わるシンボルのシンボル値を、反転なしに復号化する非反転復号化モードとのうち、１つのシンボル復号化方式を選択的に決定することができる。
階層的ピクチャ復号化部２３０は、シンボル反転復号化モードによって、シンボルを復号化する場合、階層的構造のデータ単位に係わるシンボルのうち、抽出された末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて復号化することができる。また、階層的ピクチャ復号化部２３０は、シンボル値が反転された末端レベルの上位レベルのデータ単位に係わるシンボルを、反転されたシンボル値に基づいて復号化することができる。一実施形態によるシンボル反転符号化モードに基づいて符号化された階層的構造のシンボルは、シンボル反転符号化モードに基づいて復号化される。シンボル反転復号化モードによって復号化されるシンボルは、階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率が特徴的である。
階層的ピクチャ復号化部２３０は、一実施形態による非反転符号化モードに基づいて符号化された階層的構造のシンボルを、非反転復号化モードに基づいて復号化することができる。階層的ピクチャ復号化部２３０は、非反転復号化モードによって、シンボルを復号化する場合、抽出された階層的構造のシンボルのシンボル値を、反転なしに復号化することができる。
階層的ピクチャ復号化部２３０は、シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分及び符号化深度及び変換深度のうち少なくとも一つを含むデータ単位の符号化特性に基づいて、シンボル反転復号化モード及び非反転復号化モードのうち１つの復号化方式を選択することができる。
結果として、階層的ピクチャ復号化部２３０が、一実施形態によるシンボル復号化方式によって、復号化したシンボルが、階層的構造のデータ単位によって階層的構造の形態であってもよい。
また、階層的ピクチャ復号化部２３０が一実施形態によるシンボル復号化方式によって、復号化した階層的構造のシンボルで、所定レベルのデータ単位に係わる同種シンボルで高い相関度のパターンが生じもする。また、階層的ピクチャ復号化部２３０が、一実施形態によるシンボル復号化方式によって、復号化した階層的構造の所定異種シンボル間に高い関連性が発見される。また、階層的ピクチャ復号化部２３０が、一実施形態によるシンボル復号化方式によって、復号化限界層的構造のシンボルで、全体レベルで所定パターンが生じもする。
階層的ピクチャ復号化部２３０は、シンボル復号化方式によって、シンボルを復号化し、シンボルが示す情報を読み取ることができる。例えば、階層的ピクチャ復号化部２３０は、シンボルから、ピクチャの復号化過程で利用される符号化モード、符号化方式などを示す復号化情報を読み取ることができる。例えば、予測モード情報及び予測方向情報、データ単位の構造情報、符号化パターン情報などがシンボルから読み取られる。
符号化モードに係わる情報に基づいて決定された各種復号化方式によって、符号化されたピクチャについて、エントロピ復号化、逆量子化、逆変換、インター予測／補償、イントラ予測／補償などの各種復号化動作を遂行することにより、画素値を復元して、現在ピクチャを復元することができる。
一実施形態によるビデオ復号化装置２００の復号化の基になる階層的構造のデータ単位は、一実施形態によるツリー構造による符号化単位、ツリー構造による変換単位、ツリー構造による符号化単位の予測単位及びパーティションを含んでもよい。その場合、階層的シンボル／データ抽出部２２０は、パージングされたビットストリームから、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、ピクチャの符号化データ及び符号化深度及び符号化モードに係わる情報を示すシンボルを抽出することができる。
これにより、階層的ピクチャ復号化部２３０は、最大符号化単位ごとにシンボル復号化方式を決定し、ツリー構造による符号化単位、ツリー構造による変換単位及びパーティションに係わる符号化深度、並びに符号化モードに係わる情報を読み取ることができる。階層的ピクチャ復号化部２３０は、符号化深度及び符号化モードに係わる情報を利用して、ツリー構造による符号化単位、ツリー構造による変換単位及びパーティションに基づいて符号化されたデータを復号化し、ピクチャを復元することができる。
以上、ツリー構造による符号化単位及びツリー構造による変換単位、予測単位及びパーティションの決定方式は、以後、図１５ないし図２７を参照して説明する。
以下、図３ないし図１２を参照し、一実施形態によるビデオ符号化装置１００が利用することができる階層的構造のシンボルのためのシンボル符号化方式、及び一実施形態によるビデオ復号化装置２００が利用することができる階層的構造のシンボルのためのシンボル復号化方式について説明する。
一実施形態によるビデオ符号化装置１００は、シンボル階層的符号化モードと、末端レベル符号化モードとのうち、１つのシンボル符号化方式を選択し、シンボルを符号化することができる。すなわち、ビデオ符号化装置１００は、シンボル階層的符号化モードによって、階層的構造のデータ単位別に決定されたシンボルを階層的構造のデータ単位によっていずれも符号化したり、あるいは末端レベル符号化モードによって、末端レベルのデータ単位に係わるシンボルのみを符号化することができる。
図３は、一実施形態による階層的構造の変換単位と、これによる階層的構造の変換単位分割情報とを図示している。
一実施形態による階層的構造のデータ単位の一例である階層的構造の変換単位がある。最上位レベルであるレベル０の変換単位３０が、１段階下位レベルであるレベル１の変換単位３１ａ，３１ｂ，３１ｃ，３１ｄに分割され、レベル１の一部変換単位３１ａ，３１ｄは、それぞれさらに１段階下位レベルであるレベル２の変換単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに分割される。
このような変換単位の階層的構造を示すための符号化情報として、それぞれの変換単位が、１段階下位レベルの変換単位に分割されるか否かを示す変換単位分割情報が利用される。例えば、現在変換単位に係わる変換単位分割情報が１であるならば、現在変換単位が下位レベルの変換単位に分割されるということを示し、０であるならば、それ以上分割されないということを示すことができる。
レベル０の変換単位３０から分割された変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈが、階層的構造を形成することによって、それぞれの変換単位に係わる変換単位分割情報も、階層的構造を形成することができる。すなわち、階層的構造の変換単位分割情報３３は、最上位レベル０の変換単位分割情報、レベル１の変換単位分割情報３５ａ，３５ｂ，３５ｃ，３５ｄ、レベル２の変換単位分割情報３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，３６ｇ，３６ｈを含む。
階層的構造の変換単位分割情報３３において、レベル０の変換単位分割情報は、最上位レベル０の変換単位３０が分割されるということを示すことができる。類似した方式で、レベル１の一部変換単位分割情報３５ａ，３５ｄは、それぞれレベル１の変換単位３１ａ，３１ｄが、レベル２の変換単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに分割されるということを示すことができる。
レベル１の一部変換単位分割情報３５ｂ，３５ｃは、レベル１の変換単位３１ａ，３１ｄがそれ以上分割されず、末端レベルの変換単位であるということを示すことができる。同様に、レベル２の変換単位分割情報３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，３６ｇ，３６ｈは、レベル２の変換単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈがそれ以上分割されず、末端レベルの変換単位であるということを示すことができる。
また、階層的構造の変換単位の符号化方式を示すための符号化情報として、変換単位が０ではない変換係数を含むか否かを示す変換単位符号化パターン情報ｃｂｆが利用される。例えば、現在変換単位に係わる変換単位符号化パターン情報が１であるならば、現在変換単位が０ではない変換係数を含むということを示し、０であるならば、０である変換係数のみを含むということを示すことができる。
＜シンボル階層的符号化／復号化モード及び末端レベル符号化／復号化モード＞
一実施形態によるビデオ復号化装置２００は、シンボル階層的復号化モードと、末端レベル復号化モードとのうち、一つに選択的に決定されたシンボル復号化方式によって、シンボルを復号化することができる。すなわち、ビデオ復号化装置２００は、シンボル階層的復号化モードによって、抽出されたシンボルコードから、階層的構造のデータ単位別に決定されたシンボルを、階層的構造のデータ単位によっていずれも読み取り、復号化したり、あるいは末端レベル符号化モードによって、抽出された末端レベルのデータ単位に係わるシンボルのみを読み取った後、復号化された末端レベルのシンボルを基に、残りのシンボルを読み取って復号化することができる。
図４及び図５は、それぞれ一実施形態によるシンボル階層的符号化モード、及びこれによって符号化されるシンボルを図示している。図４及び図５で、階層的構造のデータ単位として変換単位が例示され、シンボルとして、変換単位符号化パターン情報が例示される。図４及び図５を参照し、一実施形態による階層的構造の変換単位に係わる変換単位符号化パターン情報のシンボル符号化方式及び復号化方式について以下で説明する。
図３で例示された変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈの階層的構造に起因して、変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈについて、変換単位符号化パターン情報も、階層的構造４０によって構成される。
一実施形態によるビデオ符号化装置１００は、シンボル階層的符号化モードによって、全てのレベルの変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位符号化パターン情報ｃｂｆ，ｃｂｆ１ａ，ｃｂｆ１ｂ，ｃｂｆ１ｃ，ｃｂｆ１ｄ，ｃｂｆ２ａ，ｃｂｆ２ｂ，ｃｂｆ２ｃ，ｃｂｆ２ｄ，ｃｂｆ２ｅ，ｃｂｆ２ｆ，ｃｂｆ２ｇ，ｃｂｆ２ｈをいずれも符号化することができる。
一実施形態によるビデオ符号化装置１００は、末端レベル符号化モードによって、末端レベルの変換単位３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位符号化パターン情報ｃｂｆ１ｂ，ｃｂｆ１ｃ，ｃｂｆ２ａ，ｃｂｆ２ｂ，ｃｂｆ２ｃ，ｃｂｆ２ｄ，ｃｂｆ２ｅ，ｃｂｆ２ｆ，ｃｂｆ２ｇ，ｃｂｆ２ｈのみを符号化することができる。
一実施形態によるビデオ復号化装置２００は、シンボル階層的復号化モードによって、全てのレベルの変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位符号化パターン情報ｃｂｆ，ｃｂｆ１ａ，ｃｂｆ１ｂ，ｃｂｆ１ｃ，ｃｂｆ１ｄ，ｃｂｆ２ａ，ｃｂｆ２ｂ，ｃｂｆ２ｃ，ｃｂｆ２ｄ，ｃｂｆ２ｅ，ｃｂｆ２ｆ，ｃｂｆ２ｇ，ｃｂｆ２ｈをいずれも抽出して読み取ることにより、階層的構造の変換単位符号化パターン情報を復元することができる。
一実施形態によるビデオ復号化装置２００は、末端レベル符号化モードによって、末端レベルの変換単位３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位符号化パターン情報ｃｂｆ１ｂ，ｃｂｆ１ｃ，ｃｂｆ２ａ，ｃｂｆ２ｂ，ｃｂｆ２ｃ，ｃｂｆ２ｄ，ｃｂｆ２ｅ，ｃｂｆ２ｆ，ｃｂｆ２ｇ，ｃｂｆ２ｈのみを抽出することができる。次に、ビデオ復号化装置２００は、抽出して読み取られた末端レベルの変換単位符号化パターン情報ｃｂｆ１ｂ，ｃｂｆ１ｃ，ｃｂｆ２ａ，ｃｂｆ２ｂ，ｃｂｆ２ｃ，ｃｂｆ２ｄ，ｃｂｆ２ｅ，ｃｂｆ２ｆ，ｃｂｆ２ｇ，ｃｂｆ２ｈを基に、残りの変換単位符号化パターン情報ｃｂｆ０，ｃｂｆ１ａ，ｃｂｆ１ｂ，ｃｂｆ１ｃ，ｃｂｆ１ｄを読み取ることにより、階層的構造の変換単位符号化パターン情報をいずれも復元することができる。
一実施形態による階層的構造のシンボルのうち、シンボル値が０であるシンボルの比率（シンボル分布）に基づいて、シンボル階層的符号化モード、または末端レベル符号化モードのシンボル符号化方式が決定される。
図６及び図７は、一実施形態によるシンボル階層的符号化モード、及び末端レベル符号化モードのうち一つが選択されるそれぞれの実施形態を図示している。
例えば、階層的構造のシンボルのうち、末端レベルのシンボルにおいて、シンボル値が０であるシンボルの比率に基づいて、シンボル階層的符号化モードまたは末端レベル符号化モードのシンボル符号化方式が決定される。
第１階層的構造の変換単位符号化パターン情報６５において、レベル０の変換単位符号化パターン情報６０によって、レベル０の変換単位が０ではない変換係数を含まないということが分かる。これにより、レベル１及びレベル２の変換単位符号化パターン情報６１ａ，６１ｂ，６１ｃ，６１ｄ，６２ａ，６２ｂ，６２ｃ，６２ｄ，６２ｅ，６２ｆ，６２ｇ，６２ｈが示すレベル１及びレベル２の変換単位も、０ではない変換係数を含まないということが推定される。
従って、第１階層的構造の変換単位符号化パターン情報６５が、シンボル階層的符号化モードによって符号化される場合、レベル０の変換単位符号化パターン情報６０だけが符号化される。従って、シンボル階層的符号化モードによって出力される変換単位符号化パターン情報６５のビット列は、「０」である。
これに対し、第１階層的構造の変換単位符号化パターン情報６５が、末端レベル符号化モードによって符号化される場合、末端レベルの変換単位符号化パターン情報６１ｂ，６１ｃ，６２ａ，６２ｂ，６２ｃ，６２ｄ，６２ｅ，６２ｆ，６２ｇ，６２ｈが符号化される。符号化された変換単位符号化パターン情報の出力順序は、変換単位符号化パターン情報の階層的構造において、同一レベルの水平方向よりは、上下レベルの垂直方向に沿った出力手順が優先される。このような出力手順によれば、上位レベルの変換単位符号化パターン情報の手順によるので、末端レベル符号化モードによって出力される変換単位符号化パターン情報６５のビット列は、「００００ ０ ０ ００００」である。
従って、第１階層的構造の変換単位符号化パターン情報６５のように、末端レベルの変換単位符号化パターン情報６１ｂ，６１ｃ，６２ａ，６２ｂ，６２ｃ，６２ｄ，６２ｅ，６２ｆ，６２ｇ，６２ｈのシンボル分布が稠密ではない場合、すなわち、シンボル値が０であるシンボルの比率が高い場合には、末端レベル符号化モードに比べて、シンボル階層的符号化モードによる符号化効率が相対的に高い。
また、第２階層的構造の変換単位符号化パターン情報７５が、シンボル階層的符号化モードによって符号化される場合、レベル０、レベル１及びレベル２の変換単位符号化パターン情報７０，７１ａ，７１ｂ，７１ｃ，７１ｄ，７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅ，７２ｆ，７２ｇ，７２ｈがいずれも符号化される。従って、シンボル階層的符号化モードによって符号化された変換単位符号化パターン情報７５は、出力ビット列が「１ １ １０１１ ０ １ １ １１１０」である。
これに対し、第２階層的構造の変換単位符号化パターン情報７５が、末端レベル符号化モードによって符号化される場合、末端レベルの変換単位符号化パターン情報７１ｂ，７１ｃ，７２ａ，７２ｂ，７２ｃ，７２ｄ，７２ｅ，７２ｆ，７２ｇ，７２ｈが符号化される。従って、末端レベル符号化モードによって符号化された変換単位符号化パターン情報７５の出力ビット列は、「１０１１ ０ １ １１１０」である。
従って、第２階層的構造の変換単位符号化パターン情報７５のように、末端レベルの変換単位符号化パターン情報６１ｂ，６１ｃ，６２ａ，６２ｂ，６２ｃ，６２ｄ，６２ｅ，６２ｆ，６２ｇ，６２ｈのシンボル分布が稠密である場合、すなわち、シンボル値が０ではないシンボルの比率が高い場合には、シンボル階層的符号化モードに比べて、末端レベル符号化モードによる符号化効率が高い。
すなわち、一実施形態による階層的構造のデータ単位によって決定される階層的構造のシンボルのうち、シンボル値が０であるシンボルの比率が高い場合、すなわち、シンボル分布が稠密ではない場合には、末端レベル符号化モードに比べて、シンボル階層的符号化モードによる符号化効率が高い。これに対し、シンボル値が０であるシンボルの比率が低い場合、すなわち、シンボル分布が稠密である場合には、末端レベル符号化モードによる符号化効率が高い。
従って、ビデオ符号化装置１００が、シンボル分布のようなシンボル特性を考慮して、シンボル符号化方式を決定することにより、現在階層的構造のシンボルのための最適化された符号化方式を決定することができる。
ビデオ符号化装置１００は、シンボルのデータ単位の符号化特性に基づいて、シンボル階層的符号化モード、及び末端レベル符号化モードのうち１つのシンボル符号化方式を決定することもできる。
図８は、一実施形態によって、符号化特性に基づいて、シンボル階層的符号化モード、及び末端レベル符号化モードのうち一つが選択されるそれぞれの実施形態を図示している。
階層的構造のデータ単位である変換単位８３に係わる階層的構造のシンボルの一例である変換単位符号化パターン情報８５のために、シンボル階層的符号化モード、及び末端レベル符号化モードの選択基準になる符号化特性について以下で説明する。
階層的構造のデータ単位である変換単位８３に係わる階層的構造の変換単位符号化パターン情報８５は、レベル０、レベル１及びレベル２の変換単位についてそれぞれ決定されたレベル０、レベル１及びレベル２の変換単位符号化パターン情報８０，８１ａ，８１ｂ，８１ｃ，８１ｄ，８２ａ，８２ｂ，８２ｃ，８２ｄ，８２ｅ，８２ｆ，８２ｇ，８２ｈを含んでもよい。
変換単位８３の予測モードによって、シンボル値が０であるシンボルの比率が特徴づけられる。例えば、変換単位８３の予測モードがインターモードである場合、シンボル値が０であるシンボルの比率が高く、イントラモードである場合、シンボル値が０であるシンボルの比率が低い。
これにより、ビデオ符号化装置１００及びビデオ復号化装置２００は、変換単位８３の予測モードがイントラモードである場合、末端レベル符号化モード及び末端レベル復号化モードをそれぞれ採択することができる。すなわち、末端レベル符号化モードによって、階層的構造の変換単位符号化パターン情報８５において送受信される変換単位符号化パターン情報８７は、末端レベルの変換単位符号化パターン情報８１ｂ，８１ｃ，８２ａ，８２ｂ，８２ｃ，８２ｄ，８２ｅ，８２ｆ，８２ｇ，８２ｈのみを含む。
また、これにより、ビデオ符号化装置１００及びビデオ復号化装置２００は、変換単位８３の予測モードがインターモードである場合、シンボル階層的符号化モード及びシンボル階層的復号化モードをそれぞれ採択することができる。すなわち、シンボル階層的符号化モードによって、階層的構造の変換単位符号化パターン情報８５において送受信される変換単位符号化パターン情報８９は、階層的構造によって、変換単位符号化パターン情報８０，８１ａ，８１ｂ，８１ｃ，８１ｄ，８２ａ，８２ｂ，８２ｃ，８２ｄを含む。
ビデオ符号化装置１００によって選択されたシンボル符号化方式によって、階層的構造の変換単位符号化パターン情報８５において、一部変換単位符号化パターン情報８７，８９のみが符号化されて伝送され、ビデオ復号化装置２００によって受信されても、これに相応するシンボル復号化方式によって、一部変換単位符号化パターン情報８７，８９から、階層的構造の変換単位符号化パターン情報８５が全部復元されるということは、前述の通りである。
同様に、変換単位８３のカラー成分によって、シンボル値が０である変換単位符号化パターン情報の比率が特徴づけられる。例えば、変換単位８３のカラー成分がクロマ成分である場合、シンボル値が０である変換単位符号化パターン情報の比率が高く、ルマ成分であるの場合、シンボル値が０である変換単位符号化パターン情報の比率が低い。これにより、ビデオ符号化装置１００及びビデオ復号化装置２００は、変換単位８３のカラー成分がルマ成分である場合、末端レベル符号化モード及び末端レベル復号化モードをそれぞれ採択し、カラー成分がクロマ成分である場合、シンボル階層的符号化モード及びシンボル階層的復号化モードをそれぞれ採択することができる。
他の例として、変換単位８３の予測モード及びカラー成分の組み合わせによる符号化特性によって、シンボル値が０である変換単位符号化パターン情報の比率が特徴づけられる。例えば、変換単位８３の予測モード及びカラー成分の組み合わせがイントラモード及びルマ成分の組み合わせである場合、シンボル値が０である変換単位符号化パターン情報の比率が最も低く、残りの組み合わせでは、シンボル値が０である変換単位符号化パターン情報の比率が高い。これにより、ビデオ符号化装置１００及びビデオ復号化装置２００は、変換単位８３の予測モード及びカラー成分の組み合わせが、イントラモード及びルマ成分の組み合わせである場合、末端レベル符号化モード及び末端レベル復号化モードをそれぞれ採択し、残りの予測モード及びカラー成分の組み合わせである場合、シンボル階層的符号化モード及びシンボル階層的復号化モードをそれぞれ採択することができる。
＜同種シンボルグループ符号化／復号化モード＞
一実施形態によるビデオ符号化装置１００は、同種シンボルグループ符号化モードと、同種シンボル個別符号化モードとのうち、１つのシンボル符号化方式を選択し、シンボルを符号化することができる。すなわち、ビデオ符号化装置１００は、同種シンボルグループ符号化モードによって、階層的構造による同種シンボルのシンボル値のうち、相互相関度が高いシンボル値をグループ化して符号化したり、あるいは同種シンボル個別符号化モードによって同種シンボルのシンボル値の相関度に係わりなく、シンボルを個別的に符号化することができる。
一実施形態によるビデオ復号化装置２００は、同種シンボルグループ復号化モードと、同種シンボル個別符号化モードとのうち、一つに選択的に決定されたシンボル復号化方式によって、シンボルを復号化することができる。すなわち、ビデオ復号化装置２００は、同種シンボルグループ復号化モードによって、抽出されたシンボルコードから、同種シンボルのシンボルパターンによるシンボルグループを読み取ることにより、階層的構造のシンボルをいずれも読み取って復号化することができる。また、ビデオ復号化装置２００は、同種シンボル個別復号化モードによって、抽出されたシンボルコードから、シンボルのシンボル値を個別的に抽出し、今後階層的構造のシンボルを読み取って復号化することができる。
図９は、一実施形態による同種シンボルグループ符号化モードによって符号化されるシンボルを図示している。
一実施形態による階層的構造のシンボル９５において、同じレベルの４個のシンボルのシンボル値が「１，１，１，１」を有する場合のように、同種シンボルのシンボル値間に一定パターンが生じもする。また、シンボル値のパターンにおいて、所定パターンの発生頻度が特に高い。従って、一実施形態によるビデオ符号化装置１００は、相互相関度が高い同種シンボルのシンボル値間のパターンに基づいて、当該シンボルに係わるシンボルコード・テーブルを決定することができる。
一実施形態による同種シンボルグループ符号化方式に従ったシンボル符号化のために、シンボル値のパターン及びその頻度に基づいて、パターンごとに固有シンボルコードが割り当てられる。パターンの発生頻度が高いほど、短いシンボルコードが割り当てられる。下記表１は、一実施形態による階層的構造の同種シンボルのグループ符号化のためのグループテーブルを例示している。
Figure 2013539313
 表１で例示されたグループテーブルによれば、４個の同種シンボルについて、シンボル値のパターンが「１，１，１，１」の発生頻度が最も高ければ、パターン「１，１，１，１」に最小長さのシンボルコード「１」が割り当てられる。残りのシンボル値のパターンについては、相対的に長いシンボルコードが割り当てられる。
一実施形態によるスキップモード情報は、現在データ単位に係わるイントラ／インター予測情報を省略したまま、以前に符号化された周辺データ単位の情報を借用する符号化モードを示す。一実施形態によるスキップモード情報も、階層的構造のデータ単位によって、階層的に決定される。従って、同種シンボルグループ符号化モードによって、スキップモード情報を符号化するためのシンボルコード・テーブルで、スキップモード情報のシンボル値のパターンにおいて、発生頻度が最も高いパターン「１，１，１，０」に、最短のシンボルコードが割り当てられる。
一実施形態による符号化単位分割情報は、上位レベルの符号化単位が、下位レベルの符号化単位に分割されるか否かを示す。一実施形態による符号化単位分割情報も、階層的構造のデータ単位によって階層的に決定される。従って、同種シンボルグループ符号化モードによって、符号化単位分割情報を符号化するためのシンボルコード・テーブルで、符号化単位分割情報のシンボル値のパターンにおいて、発生頻度が最も高いパターン「０，０，０，１」に最短のシンボルコードが割り当てられる。
また、一実施形態による予測モード及びカラー成分組み合わせによる変換単位符号化パターン情報も、階層的構造の変換単位によって階層的に決定される。
例えば、イントラルマモードの変換単位に係わる変換単位符号化パターン情報を、同種シンボルグループ符号化モードによって符号化するためのシンボルコード・テーブルでは、変換単位符号化パターン情報のシンボル値のパターンにおいて、発生頻度が最も高いパターン「１，１，１，１」に最短のシンボルコードが割り当てられる。
例えば、インタークロマモードの変換単位に係わる変換単位符号化パターン情報を、同種シンボルグループ符号化モードによって符号化するためのシンボルコード・テーブルでは、変換単位符号化パターン情報のシンボル値のパターンにおいて、発生頻度が最も高いパターン「０，０，０，０」に最短のシンボルコードが割り当てられる。
ビデオ復号化装置２００は、同種シンボルグループ復号化モードによって決定されたシンボルコード・テーブルを基に、抽出されたシンボルコードに対応するシンボル値のパターンを読み取ることにより、階層的構造のシンボルをいずれも読み取って復号化することができる。
以下記、表２、表３、表４は、それぞれインターモードの変換単位符号化パターン情報（Inter ｃｂｆ）、イントラモードの変換単位符号化パターン情報（Intra ｃｂｆ）、及びイントラ方向情報（Intra direction）の同種シンボルグループ符号化（復号化）モードによるシンボル符号化（復号化）のためのシンボルコード・テーブルを例示している。
Figure 2013539313
 ＜異種シンボルグループ符号化／復号化モード＞
一実施形態によるビデオ符号化装置１００は、異種シンボルグループ符号化モードと、異種シンボル個別符号化モードとのうち、１つのシンボル符号化方式を選択し、異種シンボルを共に符号化することができる。すなわち、ビデオ符号化装置１００は、異種シンボルグループ符号化モードによって、階層的構造による相互相関度が高い異種シンボルをグループ化して符号化したり、あるいは異種シンボル個別符号化モードによって、異種シンボル間の相関度に係わりなく、異種シンボルを個別的に符号化することができる。
一実施形態によるビデオ復号化装置２００は、異種シンボルグループ復号化モードと、異種シンボル個別符号化モードとのうち、一つに選択的に決定されたシンボル復号化方式によって、シンボルを復号化することができる。すなわち、ビデオ復号化装置２００は、異種シンボルグループ復号化モードによって、抽出されたシンボルコードから異種シンボルのグループを読み取ることにより、今後階層的構造の異種シンボルをそれぞれ復号化することができる。また、ビデオ復号化装置２００は、異種シンボル個別復号化モードによって、個別的に抽出された異種シンボルのシンボルコードから、階層的構造の異種シンボルをそれぞれ読み取って復号化することができる。
一実施形態による異種シンボルグループ符号化モード及び異種シンボルグループ復号化モードで考慮される異種シンボル間の相関度は、異種シンボルが示す符号化特性の機能的類似性、依存性、連続性などを含んでもよい。
一実施形態によるビデオ符号化装置１００は、階層的構造のデータ単位を基にした符号化過程で、異種シンボルが示すそれぞれ特定機能が相互類似しているならば、異種シンボル間の相関度が高いと見て、異種シンボルをグループ化して符号化することができる。一実施形態によるビデオ符号化装置１００は、相互類似した機能の異種シンボルのコンテクストモデルを共有させ、共有コンテクストを使用して、異種シンボルを符号化することができる。
図１０は、一実施形態による異種シンボルグループ符号化モードが選択される実施形態を図示している。
最大符号化単位１０１，１０２，１０３で、濃い境界のブロックは、符号化単位を示し、薄色の境界のブロックは、変換単位を示す。変換単位は、当該符号化単位より大きくはない。
階層的構造の符号化単位分割情報によって、最大符号化単位１０１，１０２，１０３が、それぞれ最上位レベル０であるならば、最大符号化単位１０１，１０２，１０３は、符号化単位Ｃｕ１のようなレベル１の符号化単位に分割され、レベル１の符号化単位は、符号化単位Ｃｕ２ａ，Ｃｕ２ｂ，Ｃｕ２ｃ，Ｃｕ２ｄ，Ｃｕ３ｂ，Ｃｕ３ｃ，Ｃｕ３ｄのようなレベル２の符号化単位に分割される。レベル２の符号化単位は、符号化単位Ｃｕ３ａａ，Ｃｕ３ａｄのようなレベル３の符号化単位に分割される。
例えば、符号化単位分割情報は、階層的構造の符号化単位に基づいた符号化過程で、現在符号化単位を、下位レベルの符号化単位に分割する機能を示す。また、変換単位分割情報は、階層的構造の符号化単位に基づいた符号化過程で、現在符号化単位内の現在変換単位を、下位レベルの変換単位に分割する機能を示す。
従って、一実施形態によって、それぞれ階層的構造として決定される符号化単位分割情報及び変換単位分割情報は、互いに符号化過程で、上位レベルのデータ単位を分割するという機能で、機能的に類似している。
例えば、異種シンボル個別符号化モードによれば、現在領域に係わる符号化単位分割情報は、以前に符号化された周辺符号化単位の深度（レベル）を参照して決定されたコンテクストを使用して、シンボル符号化される。現在領域に係わる変換単位分割情報は、現在変換単位の変換深度（レベル）を参照して決定されたコンテクストを使用して、シンボル符号化される。
しかし、所定データ単位が、符号化単位分割情報及び変換単位分割情報によって決定されても、符号化単位分割情報のコンテクストの基になる周辺符号化単位の深度、または変換単位分割情報のコンテクストの基になる現在変換単位の深度と係わりなく、特異である。
例えば、周辺符号化単位の深度が深く（下位レベル）、現在変換単位の深度が深くない（上位レベル）場合、現在符号化単位の深度が深くないとしても、現在変換単位の深度は深い。同一の場合、現在符号化単位の深度が深ければ、現在変換単位の深度が深くなければならない。
他の例として、周辺符号化単位の深度が深くなく（上位レベル）、現在変換単位の深度が深い（下位レベル）場合、現在符号化単位の深度も深ければ、現在変換単位の深度は深くなってしまう。同一の場合、現在符号化単位の深度が深くなければ、現在変換単位の深度は深い。
一実施形態による符号化単位分割情報及び変換単位分割情報が、現在領域を決定するための類似した機能を示し、同時に利用される。これにより、前記既存コンテクストと係わりなく特異な場合をいずれも反映させるためには、一実施形態によるビデオ符号化装置１００は、一実施形態による符号化単位分割情報及び変換単位分割情報を符号化するために、符号化単位分割情報及び変換単位分割情報間に共有されたコンテクストを使用することができる。
すなわち、符号化単位分割情報によるコンテクスト、及び変換単位分割情報によるコンテクストが別個に使用されるのではなく、符号化単位分割情報と変換単位分割情報との組み合わせによる共有コンテクストが使用されることにより、符号化単位分割情報及び変換単位分割情報がグループ化して符号化／復号化される。
一例による異種シンボルグループ符号化モードによれば、符号化単位分割情報及び変換単位分割情報が、いずれも周辺符号化単位の深度、及び現在変換単位の変換深度に基づいたコンテクストを使用して符号化されたり復号化される。
他の例による異種シンボルグループ符号化モードによれば、符号化単位分割情報は、周辺符号化単位の深度に基づいたコンテクストを使用して符号化されるが、変換単位分割情報は、周辺符号化単位の深度、及び現在変換単位の変換深度に基づいたコンテクストを使用して符号化されたり復号化される。
さらに他の例による異種シンボルグループ符号化モードによれば、変換単位分割情報は、現在変換単位の深度に基づいたコンテクストを使用して符号化されるが、符号化単位分割情報は、周辺符号化単位の深度、及び現在変換単位の変換深度に基づいたコンテクストを使用して符号化されたり復号化される。
一実施形態によって、異種シンボル間の機能的類似性に基づいて共有されたコンテクストを利用することにより、グループ符号化またはグループ復号化が決定される異種シンボルの組み合わせは、符号化単位分割情報と変換単位分割情報との組み合わせだけではなく、変換単位分割情報と符号化パターン情報との組み合わせ、符号化単位の予測モードと予測方式情報との組み合わせ、符号化単位の分割情報とスキップ情報との組み合わせ、２以上のカラー成分別符号化パターン情報の組み合わせ、２以上のカラー成分別符号化パターン情報と変換単位分割情報との組み合わせのうち少なくとも一つを含んでもよい。
これにより、一実施形態によるビデオ復号化装置２００も、相互類似した機能の異種シンボル間に共有されたコンテクストを使用して、異種シンボルをそれぞれ復号化することができる。
また、一実施形態によるビデオ符号化装置１００は、異種シンボルグループ符号化モードによってシンボルを符号化する場合、先行するシンボルによって、後続するシンボルが決定される相互依存性が高い異種シンボルをグループ化して符号化することができる。すなわち、依存的に決定される異種シンボルのシンボル値の組み合わせの確率分布に基づいて、シンボル値の組み合わせに係わるシンボルコードが割り当てられる。
一実施形態によるビデオ符号化装置１００は、所定レベルの変換単位分割情報について、変換単位分割情報のシンボル値によって、特定の変換単位符号化パターン情報を利用することができる。
一例として、ルマ成分の変換単位について、変換単位分割情報のシンボル値が０であるならば、変換単位符号化パターン情報が、０または１に決定される。その場合、階層的構造の変換深度において、現在許容された最終レベルより１段階上位レベルの変換単位については、変換単位分割情報のシンボル値が１であり、変換単位符号化パターン情報は、「００００」ないし「１１１１」のシンボル値を有することができる。
従って、一実施形態によるビデオ符号化装置１００は、最終レベルより１段階上位レベルであるルマ成分の変換単位の場合、変換単位分割情報と変換単位符号化パターン情報とのシンボル値の確率分布に基づいて、変換単位分割情報と変換単位符号化パターン情報との組み合わせごとに、１つのシンボルコードを割り当てることにより、両シンボルをグループ化して符号化することができる。
表５は、最終レベルより１段階上位レベルであるルマ成分の変換単位に係わる変換単位分割情報（ＴｒＳｕｂＤｉｖ）と、変換単位符号化パターン情報ｃｂｆとのグループ符号化のためのシンボルコード・テーブルを例示している。変換単位分割情報（ＴｒＳｕｂＤｉｖ）のシンボル値が「１」であり、変換単位符号化パターン情報ｃｂｆのシンボルパターンが「１，１，１，１」である組み合わせの発生確率が最も高い。
Figure 2013539313
 同一の場合、変換深度において、最上位レベルまたは中間レベルの変換単位については、変換単位分割情報のシンボル値が１であるならば、変換単位符号化パターン情報は、符号化されないこともある。
従って、一実施形態によるビデオ符号化装置１００は、最上位レベルまたは中間レベルであるルマ成分の変換単位の場合にも、変換単位分割情報と変換単位符号化パターン情報とのシンボル値の確率分布に基づいて、変換単位分割情報と変換単位符号化パターン情報との組み合わせにシンボルコードを割り当てることにより、両シンボルをグループ化して符号化することができる。
表６は、最上位レベルまたは中間レベルであるルマ成分の変換単位に係わる変換単位分割情報（ＴｒＳｕｂＤｉｖ）と、変換単位符号化パターン情報ｃｂｆとのグループ符号化のためのシンボルコード・テーブルを例示している。変換単位分割情報（ＴｒＳｕｂＤｉｖ）のシンボル値が「０」であり、変換単位符号化パターン情報ｃｂｆのシンボルパターンが「０」である組み合わせの発生確率が最も高い。
Figure 2013539313
 一実施形態によるビデオ符号化装置１００は、符号化単位分割情報のシンボル値によって、スキップモード情報を利用することができる。
一例として、それ以上分割されるということのない最終レベルの符号化単位であるか、あるいは符号化単位分割情報のシンボル値が０である符号化単位について、スキップモード情報が符号化される。
従って、一実施形態によるビデオ符号化装置１００は、符号化単位分割情報とスキップモード情報とのシンボル値の確率分布に基づいて、符号化単位分割情報とスキップモード情報との組み合わせごとに、１つのシンボルコードを割り当てることにより、両シンボルをグループ化して符号化することができる。
表７は、符号化単位に係わる符号化単位分割情報（Split）とスキップモード情報（Skip）とのグループ符号化のためのシンボルコード・テーブルを例示している。また、符号化単位分割情報とスキップモード情報とのシンボル値の確率分布は、現在スライスタイプ（Ｐスライス、Ｂスライス）によって異なるので、現在スライスタイプによって、異なるコードテーブルが設定される。
Figure 2013539313
 一実施形態によるビデオ符号化装置１００は、符号化単位の予測モードによって、予測方式情報が可変的に決定することができる。
一実施形態による符号化単位の予測モードは、少なくとも１つのスキップモード、少なくとも１つのイントラモード、少なくとも１つのインターモードを含んでもよい。例えば、スキップ０モード、スキップ１モードのような多数のスキップモード、イントラ０モード、イントラ１モードのような多数のイントラモード、インター０モード、インター１モードのような多数のインターモードなどが予測モードとして利用される。
一実施形態による多数のスキップモードは、一般スキップモード、併合モード、ダイレクトモードのような多数の予測情報符号化方式を示すことができる。一実施形態による多数のイントラモードは、ＤＣ（direct current）モード、垂直モード、水平モードのような多数のイントラ予測方向を示すことができる。一実施形態による多数のインターモードは、前方向（forward-direction）、後方向（backward-direction）、両方向（bi-direction）、ダイレクト方向（direct-direction）のような多数のインター予測方向を示すことができる。
符号化単位の予測モードが、スキップモード、イントラモード、インターモードであるか否かによって、それぞれ予測情報符号化方式、イントラ予測方向、インター予測方向を示す細部予測方式情報が符号化される。
従って、一実施形態によるビデオ符号化装置１００は、符号化単位の予測モード及び細部予測方式情報のシンボル値の確率分布によって、符号化単位の予測モード及び細部予測方式情報の組み合わせごとに、１つのシンボルコードを割り当てることにより、両シンボルをグループ化して符号化することができる。また、現在スライスタイプによって、可能な予測モードが特定されるので、現在スライスタイプによって、異なるシンボルコードが決定される。
表８は、スライスタイプによって、符号化単位に係わる予測モード情報及び細部予測方式情報のグループ符号化のためのシンボルコード・テーブルを例示している。
Figure 2013539313
 例えば、階層的シンボル符号化部１３０は、異種シンボルグループ符号化モードによって、シンボルを符号化する場合、連続して決定される異種シンボル間に発生する異種シンボルのシンボル値の組み合わせに係わるシンボルコードを割り当てることができる。階層的シンボル符号化部１３０は、異種シンボルのシンボル値の組み合わせについて、割り当てられたシンボルコードを出力することができる。
また、一実施形態によるビデオ符号化装置１００は、異種シンボルグループ符号化モードによって、シンボルを符号化する場合、連続して決定される異種シンボルをグループ化して符号化することができる。すなわち、連続して決定される異種シンボルのシンボル値の組み合わせに係わるシンボルコードが割り当てられる。
ビデオ符号化装置１００及びビデオ復号化装置２００で、現在フレームの予測符号化のために、参照フレームインデックスを示す参照フレームインデックス情報と、動きベクトル推定子（ＭＶＰ：motion vector predictor）のインデックス情報とが利用される。参照フレームインデックス情報と動きベクトル推定子は、一実施形態によるビデオ符号化装置１００によって連続して符号化され、一実施形態によるビデオ復号化装置２００によって連続して抽出されて復号化される。
一実施形態による異種シンボルグループ符号化方式によるシンボル符号化のために、参照フレームインデックス情報と、動きベクトル推定子インデックス情報とのシンボル値の可能な組み合わせごとに、それぞれの新たなシンボル値が割り当てられる。表９、表１０、表１１は、参照フレームインデックス情報（ＲｅｆＦｒｍＩｄｘ）と、動きベクトル推定子インデックス情報（ＭＶＰＩｄｘ）とのグループ符号化のためのシンボルテーブルをそれぞれ例示している。
Figure 2013539313
 参照フレームインデックス情報（ＲｅｆＦｒｍＩｄｘ）と動きベクトル推定子インデックス情報（ＭＶＰＩｄｘ）との組み合わせに新たに割り当てられたシンボル値は、シンボルコードとして出力される。
また、ルマ成分の変換単位符号化パターン情報、及びクロマ成分の変換単位符号化パターン情報Ｙ−ｃｂｆ，Ｃｂ−ｃｂｆ，Ｃｒ−ｃｂｆのように、変換単位符号化パターン情報の単一シンボルであるが、異なる用途に使用される異種シンボルについて、一実施形態による異種シンボルグループ符号化（復号化）モードによるシンボル符号化（復号化）が可能である。
ビデオ復号化装置２００は、異種シンボルグループ復号化モードによって、異種シンボルの組み合わせに割り当てられたシンボルコードに基づいて、ビットストリームから抽出されたシンボルコードに対応する異種シンボルの組み合わせを読み取ることにより、階層的構造の異種シンボルをそれぞれ復号化することができる。
＜シンボル反転符号化／復号化モード＞
一実施形態によるビデオ符号化装置１００は、シンボル反転符号化モードと非反転符号化モードとのうち１つのシンボル符号化方式を選択し、階層的構造のシンボルを符号化することができる。すなわち、ビデオ符号化装置１００は、シンボル反転符号化モードによって、階層的構造の異種シンボルのうち、所定レベルのシンボルのシンボル値０，１を反転させて符号化したり、あるいは非反転符号化モードによって、シンボル値の反転なしにシンボルを符号化することができる。
一実施形態によるビデオ復号化装置２００は、シンボル反転復号化モードと非反転復号化モードとのうち、一つに選択的に決定されたシンボル復号化方式によって、シンボルを復号化することができる。すなわち、ビデオ復号化装置２００は、シンボル反転復号化モードによって、抽出された所定レベルのシンボルコードを反転させてシンボルを読み取り、反転して読み取られたシンボルを基に、残りのシンボルを読み取って復号化することができる。また、ビデオ復号化装置２００は、非反転復号化モードによって、抽出されたシンボルのシンボルコードの反転なしにシンボルを読み取って復号化することができる。
図１１は、一実施形態によるシンボル反転符号化モードによって符号化されるシンボルを図示している。
一実施形態による階層的構造のデータ単位によって決定される階層的構造のシンボル１１５が、シンボル階層的符号化モードによって符号化される場合、レベル０、レベル１及びレベル２の変換単位符号化パターン情報１１０，１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ，１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ，１１２ｆ，１１２ｇ，１１２ｈがいずれも符号化される。従って、シンボル階層的符号化モードによって符号化されたシンボル１１５の出力ビット列は、「１ １ １１１１ ０ １ １ １１１１」である。
一実施形態によるビデオ符号化装置１００は、シンボル反転符号化モードによって、階層的構造のシンボル１１５において、末端レベルのシンボル１１１ｂ，１１１ｃ，１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ，１１２ｆ，１１２ｇ，１１２ｈのシンボル値を反転させて符号化することができる。
すなわち、末端レベルのシンボル１１１ｂ，１１１ｃ，１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ，１１２ｆ，１１２ｇ，１１２ｈのシンボル値の反転結果、シンボル１１６ｂ，１１６ｃ，１１７ａ，１１７ｂ，１１７ｃ，１１７ｄ，１１７ｆ，１１７ｇ，１１７ｈが符号化され、レベル２の反転されたシンボル１１７ａ，１１７ｂ，１１７ｃ，１１７ｄ，１１７ｆ，１１７ｇ，１１７ｈによって、上位レベル１のシンボル１１６ａ，１１６ｄも、原本シンボル１１１ａ，１１１ｄから反転される。
シンボル値の反転結果、階層的構造のシンボル１１９の出力ビット列は、「１０１００」である。
従って、階層的構造のシンボル１１５において、シンボル値が０ではないシンボルの比率が高い場合、すなわち、シンボル分布が稠密である場合には、末端レベルのシンボルのシンボル値０，１を反転すれば、稠密ではないシンボル分布が稠密ではないように変更される。稠密ではないシンボル分布のシンボルについては、階層的符号化モードによるシンボル符号化の効率が高くなる。
従って、ビデオ符号化装置１００が、シンボル分布のようなシンボル特性を考慮して、末端レベルのシンボルのシンボル値を反転させて符号化するか否かを決定することにより、現在階層的構造のシンボルのための最適化された符号化方式を決定することができる。
図１２は、一実施形態によるシンボル反転符号化モードによるシンボルの符号化過程及び復号化過程を図示している。
原本変換単位１２１，１２２，１２３，１２４に係わる原本変換単位符号化パターン情報テーブル１２００によれば、原本変換単位１２１，１２２，１２３，１２４に係わるそれぞれの変換単位符号化パターン情報１２０１，１２０２，１２０３，１２０４は、０ではないシンボル値の比率が高くてシンボル分布がコンパクトである。
一実施形態によるシンボル反転符号化モードによって、変換単位符号化パターン情報１２０１，１２０２，１２０３，１２０４のうち、末端レベルのシンボル値を反転すれば、変換単位符号化パターン情報１２９５，１２９６，１２９７，１２９８の末端レベルのシンボル値に変更される。特に、シンボル値反転後の変換単位符号化パターン情報１２９６，１２９８の末端レベルのシンボル値は、いずれも０になるので、これにより、上位変換深度１の変換単位符号化パターン情報も、０に反転される。
従って、シンボル値反転後の変換単位１２５，１２６，１２７，１２８に係わる変換単位符号化パターン情報テーブル１２９０によれば、シンボル値反転前に比べて、符号化するコード長が短くなるということを確認することができる。
以上、図３ないし図１２を参照し、一実施形態による階層的構造のシンボルのためのシンボル符号化方式及びシンボル復号化方式について説明した。説明の便宜のために、特定シンボルを利用して記述されたが、本発明で説明したシンボル符号化方式及びシンボル復号化方式が適用可能なシンボルは、図３ないし図１２で例示されたシンボルに限定されず、階層的構造を構成することができる各種シンボルに適用可能であるということが、当業者に容易に理解されるであろう。
また、前掲の表１ないし表１１で例示されたシンボル符号化のためのコードテーブルも、説明の便宜のための例示であるので、本発明によって提案されたそれぞれの実施形態によるシンボル符号化モード及びシンボル復号化モードのためのコードテーブルは、表１ないし表１１に限定されて解釈されるものではなく、同一のシンボルパターンとシンボルコードとが他の形態にマッピングされるコードテーブルも可能であるということは、当業者に容易に理解されるであろう。
図１３は、一実施形態による階層的構造のシンボルを符号化するビデオ符号化方法のフローチャートを図示している。段階１３１で、階層的構造のデータ単位を基に、入力ビデオのピクチャが符号化される。段階１３２では、段階１３１で符号化されたピクチャに係わるシンボルが、階層的構造のデータ単位を基に決定される。段階１３３では、段階１３２で、階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、シンボルの符号化方式が決定される。
一実施形態によって、階層的構造のデータ単位別に決定されたシンボルを、階層的構造のデータ単位によって符号化するシンボル階層的符号化モード、及び末端レベルのデータ単位に係わるシンボルを符号化する末端レベル符号化モードのうち、シンボル符号化方式が選択的に決定される。シンボルのデータ単位の予測モード情報及びカラー成分のうち少なくとも一つを含む符号化特性に基づいて、シンボル階層的符号化モード、及び末端レベル符号化モードのうち１つのシンボル符号化方式が決定される。
一実施形態によって、階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、同種シンボルをグループ化して符号化する同種シンボルグループ符号化モード、及び同種シンボルを個別的に符号化する同種シンボル個別符号化モードのうち、１つのシンボル符号化方式が選択的に決定される。一実施形態によって、シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分、符号化深度及び変換深度のうち少なくとも一つを含む符号化特性に基づいて、同種シンボルグループ符号化モード、及び前記独立的符号化モードのうち１つのシンボル符号化方式が決定される。
一実施形態によって、階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、異種シンボルをグループ化して符号化する異種シンボルグループ符号化モード、及び異種シンボルを個別的に符号化する異種シンボル個別符号化モードのうち、１つのシンボル符号化方式が選択的に決定される。一実施形態によって、階層的構造の異種シンボルが示す機能の相関度、依存的符号化いかん、連続的符号化いかんのうち少なくとも一つによって異種シンボルグループ符号化が決定される。
一実施形態によって、階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて符号化するシンボル反転符号化モード、及び末端レベルのデータ単位に係わるシンボルのシンボル値を反転なしに符号化する非反転符号化モードのうち、１つのシンボル符号化方式が選択的に決定される。シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分、符号化深度及び変換深度のうち少なくとも一つを含むデータ単位の符号化特性に基づいて、シンボル反転符号化モードが選択的に決定される。
ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、シンボルの符号化方式が決定され、１つのデータ区間ごとに、シンボルの符号化方式を示すシンボル符号化方式情報が符号化される。
段階１３４で、段階１３３で決定された符号化方式によって、シンボルが符号化されて出力される。
一実施形態によるシンボル階層的符号化モードによって、階層的構造のデータ単位別に決定されたシンボルが、階層的構造のデータ単位によって符号化されて出力される。一実施形態による末端レベル符号化モードによって、階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルだけ符号化されて出力される。
一実施形態による同種シンボルグループ符号化モードによって、同種シンボルのシンボル値のパターンの頻度に基づいて、シンボルコード・テーブルが決定され、シンボルコード・テーブルに基づいて、データ単位に係わる同種シンボルのパターンに対応するシンボルコードが出力される。
一実施形態による異種シンボルグループ符号化モードによって、異種シンボルが共有するコンテクストが決定され、共有コンテクストに基づいて、データ単位に係わる異種シンボルがそれぞれ符号化されて出力される。一実施形態による異種シンボルグループ符号化モードによって、相互依存的に決定されたり、連続して決定される異種シンボルのシンボル値の組み合わせについて、割り当てられたシンボルコードに基づいて、データ単位に係わる異種シンボルに係わるシンボルコードが出力される。
一実施形態によるシンボル反転符号化モードによって、末端レベルのデータ単位に係わるシンボル値が反転され、これにより、シンボルが符号化されて出力される。
図１４は、一実施形態による階層的構造のシンボルを復号化するビデオ復号化方法のフローチャートを図示している。段階１４１で、ビデオの符号化されたピクチャを含むビットストリームが受信される。段階１４２では、ビットストリームをパージングし、ビットストリームから、階層的構造のデータ単位に基づいて決定されたシンボルと、符号化されたピクチャとが抽出される。
段階１４３では、階層的構造のデータ単位に基づいて決定されたシンボルの特性に基づいて、シンボルの復号化方式が決定されて、復号化方式によってシンボルが復号化され、シンボルを利用した符号化されたピクチャの復号化が行われる。
一実施形態による階層的構造のシンボルを、階層的構造のデータ単位によって復号化するシンボル階層的復号化モード、及び階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを復号化する末端レベル復号化モードのうち、１つのシンボル復号化方式が選択的に決定される。
一実施形態によるシンボル階層的復号化モードによって、階層的構造のデータ単位別に決定されたシンボルが階層的構造のデータ単位によって読み取られて復号化される。
一実施形態による末端レベル復号化モードによって、末端レベルのデータ単位に係わるシンボルだけが読み取られ、読み取られた末端レベルがデータ単位に係わるシンボルに基づいて、残りのデータ単位に係わるシンボルが読み取られる。
一実施形態による階層的構造の同種シンボルのシンボル値間に発生する相関度を基に、同種シンボルをグループ化し、復号化する同種シンボルグループ復号化モード、及び同種シンボルを個別的に復号化する同種シンボル個別復号化モードのうち、１つのシンボル復号化方式が選択的に決定される。一実施形態による同種シンボルグループ復号化モードによって、同種シンボルのシンボル値がパターンの頻度に基づくシンボルコード・テーブルに基づいて、データ単位に係わる同種シンボルのシンボルコードから、同種シンボルのシンボル値のパターン及び同種シンボルが読み取られる。
一実施形態による階層的構造の異種シンボルの相関度を基に、異種シンボルをグループ化して復号化する異種シンボルグループ復号化モード、及び異種シンボルを個別的に復号化する異種シンボル個別復号化モードのうち、１つのシンボル復号化方式が選択的に決定される。
一実施形態による異種シンボルグループ復号化モードによって、異種シンボルが共有するように決定されたコンテクストに基づいて、データ単位に係わる異種シンボルがそれぞれ読み取られる。一実施形態による異種シンボルグループ復号化モードによって、相互依存的に決定される異種シンボル間に発生する異種シンボルのシンボル値の組み合わせについて、割り当てられたシンボルコードに基づいて、ビットストリームから抽出されたシンボルコードから、異種シンボルのシンボル値の組み合わせが読み取られ、それぞれの異種シンボルが読み取られる。
一実施形態による階層的構造のシンボル値のうち、末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて復号化するシンボル反転復号化モード、及びデータ単位に係わるシンボルのシンボル値を、反転なしに復号化する非反転復号化モードのうち、１つのシンボル復号化方式が選択的に決定される。一実施形態によるシンボル反転復号化モードによって、抽出されたシンボル値のうち、末端レベルのデータ単位に係わるシンボルのシンボル値が反転され、反転されたシンボル値に基づいて、上位レベルのデータ単位に係わるシンボルが復号化される。
ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、シンボルの復号化方式を示すシンボル復号化方式情報が抽出され、シンボル復号化方式情報に基づいて、データ区間ごとに利用するシンボルの復号化方式が決定されもする。
一実施形態によるシンボル符号化及びシンボル復号化によって、階層的構造によるデータ単位による符号化過程で決定される階層的構造の符号化シンボルのシンボル特性によって、最適シンボル符号化方式が決定されるので、シンボルが効率的に符号化される。また、階層的構造によるデータ単位による符号化過程で決定される階層構造の符号化シンボルのうち一部シンボルだけが受信されても、シンボル復号化方式によって、残りのシンボルをいずれも復元することができるので、シンボルが効率的に復号化される。
従って、ビデオ符号化過程では、ピクチャを階層的構造によるデータ単位に基づいてビデオが符号化されるので、ビデオの正確なビデオ復号化のために、符号化方式、符号化モードなどに係わる符号化情報が符号化される。階層的構造の符号化情報は、シンボルとして符号化され、シンボルコードの形態で出力される。ビデオ復号化過程では、復元されたシンボルから、階層的構造によるデータ単位に基づいて符号化されたピクチャに係わる符号化情報が読み取られるので、符号化情報を利用して、ピクチャ、ピクチャシーケンスが復元されることにより、ビデオが復元される。
＜ツリー構造による符号化単位、変換単位によるシンボル符号化／復号化＞
以下図１５ないし図２７を参照し、一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいたツリー構造のシンボルを符号化するビデオ符号化装置、及び前記シンボルを復号化するビデオ復号化装置、そしてそれに相応するビデオ符号化方法、及びビデオ復号化方法の実施形態について説明する。
本実施形態によるビデオ符号化装置１００は、一実施形態によるツリー構造による符号化単位及び変換単位に基づいてビデオを符号化することができる。
ビデオの現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャが区画される。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位であってもよい。本実施形態によるピクチャ階層的符号化部１２０は、少なくとも１つの最大符号化単位別に、ピクチャデータを符号化することができる。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは、減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
本実施形態によるピクチャ階層的符号化部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、ピクチャ階層的符号化部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。
ピクチャ階層的符号化部１２０は、最大符号化単位別に決定された符号化深度の符号化単位で符号化された映像データを出力することができる。また、ピクチャ階層的符号化部１２０は、決定された符号化深度に係わる情報を、階層的シンボル符号化部１３０に伝達し、符号化深度に係わる情報が符号化情報として符号化されるようにすることができる。
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態によるピクチャ階層的符号化部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別に、データ単位が変更されもする。
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、さらにそれ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるさらにそれ以上分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。
前述のように、符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、ピクチャ階層的符号化部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割されたパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
また、ピクチャ階層的符号化部１２０は、最大符号化単位または現在符号化単位ごとに、あらかじめ限定的に設定された変換単位の最多分割レベルに基づいて、符号化単位に係わる符号化過程で、ツリー構造の変換単位を利用して変換を行うことができる。
深度別符号化単位ごとに、符号化単位を同じであるか、あるいはそれより小サイズの基礎変換単位は、段階的に、下位変換深度の変換単位に分割される。一実施例によるツリー構造の変換単位は、現在許容される最大サイズの変換単位である基礎変換単位から、符号化単位に許容される最多分割レベルまでの下位レベルの変換単位を含んでもよい。
ピクチャ階層的符号化部１２０は、現在符号化単位内で、変換深度によるレベル別変換を行った結果、周辺領域の変換単位とは独立しており、同一領域の変換深度別変換単位間では、階層的な構造を形成するツリー構造による変換単位を決定することができる。
すなわち、符号化単位ごとに、多様な大きさの変換単位を利用して変換を行い、変換結果を比べることにより、ツリー構造による変換単位が決定される。符号化単位の決定過程において、符号化単位の変換のための変換単位が決定される。一つ以上の深度の深度別符号化単位、及びそれぞれの深度別符号化ごとに、内部に含まれる一つ以上の変換深度の変換深度別変換単位が変換に利用される。
符号化単位ごとに、符号化誤差が最小である変換単位が決定されなければならない。変換単位の最小符号化誤差を発生させる変換深度が決定されるために、全ての変換深度別変換単位ごとに、符号化誤差が測定されて比較される。一実施形態による変換単位は、符号化単位の変換による誤差を最小化するデータ単位で決定されもする。
従って、深度別符号化単位と変換単位との組み合わせのうち、最も符号化誤差の小さい組み合わせが決定され、最大符号化単位内の領域ごとに、個別的に組み合わせが決定されるので、ツリー構造の符号化単位と、ツリー構造の変換単位とが決定される。
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティション、ツリー構造による変換単位の決定方式については、図１５ないし図２５を参照し、詳しく説明する。
ピクチャ階層的符号化部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（Rate-DistortionOptimization）を利用して測定することができる。
ビデオ符号化装置１００は、ピクチャ階層的符号化部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データと、階層的シンボル符号化部１３０によって符号化された、深度別符号化モードについての情報とを、共に含んだビットストリーム形態で出力することができる。
一実施形態によるツリー構造の符号化単位、予測単位、変換単位などに基づいて、ピクチャが符号化されることによって決定された、符号化深度の符号化単位の符号化モードについての情報は、ビットストリームのヘッダ、ＳＰＳ、ＰＰＳなどに含まれる。
符号化された映像データは、映像の残差データの符号化結果であってもよい。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みることになるので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
１つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて符号化深度及び符号化モードについての情報が設定される。
従って、一実施形態による階層的シンボル符号化部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。
例えば、階層的シンボル符号化部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
ピクチャ、スライス、またはＧＯＰ別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどに挿入される。
また、現在ビデオを符号化するために利用されたシンボル符号化方式、または復号化するために必要なシンボル復号化方式に係わる情報が、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどを介して出力される。
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して、決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などに符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増加させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。
階層的シンボル符号化部１３０は、ツリー構造の符号化単位、ツリー構造の変換単位に基づいて、ビデオが符号化するのに使われた符号化方式についての情報を示す符号化情報を符号化して出力することができる。一実施形態による符号化情報は、符号化深度の符号化単位に係わる各種符号化モードに係わる情報、及び符号化深度に係わる情報を含んでもよい。
また、一実施形態によるツリー構造の符号化単位、ツリー構造の変換単位に基づいてビデオが符号化されることによって、一実施形態による符号化情報も、ツリー構造の符号化単位、ツリー構造の変換単位によって、ツリー構造として決定される。
階層的シンボル符号化部１３０は、ツリー構造の符号化情報を、シンボルとして符号化することができる。図１ないし図１４を参照して説明したところによって、階層的シンボル符号化部１３０は、ツリー構造の符号化モードに係わる情報のシンボル特性に基づいて、選択的にシンボル符号化方式を決定することができる。決定されたシンボル符号化方式に基づいて、ツリー構造の符号化モードに係わる情報が符号化される。また、シンボル符号化方式に係わる情報も、符号化され、符号化情報と共に出力される。
これにより、ビデオ符号化装置１００の階層的シンボル符号化部１３０は、最大符号化単位ごとに、ツリー構造による符号化単位の符号化情報及びシンボル符号化方式情報を出力することができる。これにより、ビデオ符号化装置１００が符号化して出力するビットストリームは、ツリー構造による符号化単位別に符号化されたピクチャの符号化データ、符号化情報、及びシンボル符号化方式情報が含まれる。
本実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、ビデオ符号化装置１００を参照して説明した通りである。
ビデオ復号化装置２００は、符号化されたビデオに係わるビットストリームを受信する。階層的シンボル／データ抽出部２２０は、受信されたビットストリームをパージングする。階層的シンボル／データ抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化されたピクチャデータを抽出し、階層的ピクチャ復号化部２３０に出力する。階層的シンボル／データ抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
また、階層的シンボル／データ抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。符号化情報から、符号化深度に係わる情報及び符号化モードについての情報が抽出される。抽出された符号化深度及び符号化モードについての情報は、階層的ピクチャ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、階層的ピクチャ復号化部２３０が、最大符号化単位ごとに映像データを復号化する。
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
階層的シンボル／データ抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させることにより、決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。
階層的シンボル／データ抽出部２２０は、ビットストリームから、図１ないし図１４を参照して説明したツリー構造のシンボルを復号化するために必要なシンボル復号化方式情報も、抽出することができる。抽出されたシンボル復号化方式情報は、ビデオ符号化装置１００によって伝送されたシンボル符号化方法情報と相応する。
また、階層的シンボル／データ抽出部２２０は、現在受信したビデオストリームを復号化するために必要な符号化情報を、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから抽出することができる。抽出された階層的シンボル／データ抽出部２２０は、シンボル復号化方式情報を、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから抽出することもできる。符号化情報とシンボル復号化方式情報とが、ピクチャ、スライスだけではなく、最大符号化単位または符号化単位ごとに抽出されもする。
階層的ピクチャ復号化部２３０は、シンボル復号化方式情報によって決定されたシンボル復号化方式に基づいて、抽出された符号化情報から、ツリー構造の符号化情報を復号化して読み取ることができる。ツリー構造の符号化情報のうち一部だけが受信されても、シンボル復号化方式によるシンボル復号化を介して、ツリー構造の符号化単位に係わるツリー構造の符号化情報をいずれも復元して読み取ることができる。これにより、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて符号化されたピクチャデータを復号化するのに必要な符号化深度及び符号化モードに係わる情報が読み取られる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、階層的シンボル／データ抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。
階層的ピクチャ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、階層的ピクチャ復号化部２３０は、現在最大符号化単位の符号化されたピクチャデータについても、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、階層的ピクチャ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。
階層的ピクチャ復号化部２３０は、最大符号化単位ごとに、前記読み取られた符号化深度及び符号化モードに基づいて、それぞれの最大符号化単位の符号化されたピクチャデータを復号化し、現在ピクチャを復元することができる。最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、符号化モードとして、パーティションタイプ、予測モード、変換単位構造などが読み取られる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含んでもよい。
階層的ピクチャ復号化部２３０は、ツリー構造の符号化単位の予測単位のパーティションタイプ及び予測モードに基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、階層的ピクチャ復号化部２３０は、ツリー構造の変換単位構造を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。
ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多くの映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図１５は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１５に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から２回分割され、深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から１回分割され、深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から３回分割され、深度が３階層深くなり、長軸サイズが３２，１６、８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能力が向上する。
図１６は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。
一実施形態による映像符号化部４００は、ビデオ符号化装置１００のピクチャ階層的符号化部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わければならない。
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
図１７は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。
空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
ビデオ復号化装置２００の階層的シンボル復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わければならない。
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
図１８は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であって最下位深度の符号化単位であり、当該予測単位もサイズ４ｘ４のパーティション６５０だけで設定される。
一実施形態によるビデオ符号化装置１００のピクチャ階層的符号化部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わければならない。
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
図１９は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化する。符号化過程中、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図２０は、本発明の一実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置１００の階層的シンボル符号化部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるか否かが設定される。
また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。
図２１は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復的に符号化を行い、最小符号化誤差を検索していくことができる。
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２になるまで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさである正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用される。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度と把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
図２２、図２３及び図２４は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位１０７０において、一部パーティション（１０５２）の映像データについては、符号化単位に比べて小サイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
これにより、最大符号化単位ごとに領域別に、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表０は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
Figure 2013539313
 一実施形態によるビデオ符号化装置１００の階層的シンボル符号化部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の階層的シンボル／データ抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、その深度がそれ以上下位符号化単位に分割されない符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ＮＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が周辺符号化単位を参照し、予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図２５は、表０の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
図２５を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラッグだが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加して変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さくなることはないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位、すなわち、基礎変換単位RootＴｕの大きさを「RootＴｕSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、次の数式（１）のように定義される。
ＣｕｒｒＭｉｎＴｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比べ、基礎変換単位サイズである「RootＴｕSize」は、システム上、採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、基礎変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、これらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」である。
一実施形態による基礎変換単位サイズRootＴｕSizeは、予測モードによって変わりもする。
例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、次の数式（２）によって決定される。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。
RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の、変換単位である基礎変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードが、予測モードがイントラモードであるならば、「RootＴｕSize」は、次の数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意しなければならない。
図２６は、本発明の一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいたツリー構造のシンボルを符号化するビデオ符号化方法のフローチャートを図示している。
段階２６１０で、現在ピクチャは、少なくとも１つの最大符号化単位に分割される。また、可能な全分割回数を示す最大深度があらかじめ設定されもする。
最大符号化単位の領域が１つの以上が深度によって分割された少なくとも１つの分割領域がそれぞれ符号化される。ここで、深度別に分割領域の符号化結果を比べ、少なくとも１つの分割領域別に最終符号化結果が出力される分割深度が決定され、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。ツリー構造の符号化単位と同様に、ツリー構造による変換単位が決定される。すなわち、ピクチャの符号化結果として、決定されたツリー構造の符号化単位と同様に、ツリー構造による変換単位の符号化結果がピクチャの符号化されたデータとして出力される。
段階２６２０で、段階２６１０で符号化されたピクチャに係わるシンボルが、階層的構造のデータ単位を基に決定される。最大符号化単位ごとに、少なくとも１つの分割領域別に、最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが決定される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位階層構造情報などを含んでもよい。符号化された符号化モードについての情報は、符号化された映像データのように復号化端に伝送される。
段階２６３０で、ツリー構造のテイド単位のシンボル特性を考慮して、シンボル符号化方法を選択的に決定することができる。一実施形態によって、階層的構造のデータ単位別に決定されたシンボルを、階層的構造のデータ単位によって符号化するシンボル階層的符号化モード、及び末端レベルのデータ単位に係わるシンボルを符号化する末端レベル符号化モードのうち、シンボル符号化方式が選択的に決定される。
一実施形態によって、階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、同種シンボルをグループ化して符号化する同種シンボルグループ符号化モード、及び同種シンボルを個別的に符号化する同種シンボル個別符号化モードのうち、１つのシンボル符号化方式が選択的に決定される。
一実施形態によって、階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、異種シンボルをグループ化して符号化する異種シンボルグループ符号化モード、及び異種シンボルを個別的に符号化する異種シンボル個別符号化モードのうち、１つのシンボル符号化方式が選択的に決定される。一実施形態によって、階層的構造の異種シンボルが示す機能の相関度、依存的符号化いかん、連続的符号化いかんのうち少なくとも一つによって異種シンボルグループ符号化が決定される。
一実施形態によって、階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて符号化するシンボル反転符号化モード、及び末端レベルのデータ単位に係わるシンボルのシンボル値を反転なしに符号化する非反転符号化モードのうち、１つのシンボル符号化方式が選択的に決定される。
ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、シンボルの符号化方式が決定され、１つのデータ区間ごとに、シンボルの符号化方式を示すシンボル符号化方式情報が符号化される。
段階２６４０で、段階２６３０で決定された符号化方式によって、シンボルが符号化されて出力される。
一実施形態によるシンボル階層的符号化モードによって、階層的構造のデータ単位別に決定されたシンボルが、階層的構造のデータ単位によって符号化されて出力される。一実施形態による末端レベル符号化モードによって、階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルだけ符号化されて出力される。
一実施形態による同種シンボルグループ符号化モードによって、同種シンボルのシンボル値のパターンの頻度に基づいて、シンボルコード・テーブルが決定され、シンボルコード・テーブルと、データ単位に係わる同種シンボルのパターンとに基づいて、同種シンボルに係わるシンボルコードが出力される。
一実施形態による異種シンボルグループ符号化モードによって、異種シンボルの共有するコンテクストが決定され、共有コンテクストに基づいて、データ単位に係わる異種シンボルがそれぞれ符号化されて出力される。
一実施形態による異種シンボルグループ符号化モードによって、相互依存的に決定されたり、連続して決定される異種シンボルのシンボル値の組み合わせについて、割り当てられたシンボルコードに基づいて、データ単位に係わる異種シンボルに係わるシンボルコードが出力される。
一実施形態によるシンボル反転符号化モードによって、末端レベルのデータ単位に係わるシンボル値が反転され、これにより、シンボルが符号化されて出力される。
図２７は、本発明の一実施形態によって、ツリー構造による符号化単位及びツリー構造の変換単位に基づいたツリー構造のシンボルを復号化するビデオ復号化方法のフローチャートを図示している。
段階２７１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階２７２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、最大符号化単位別符号化深度及び符号化モードについての情報が抽出される。ツリー構造のシンボルに係わるシンボル復号化方式情報が抽出されもする。
段階２７３０で、抽出された、ツリー構造のシンボルは、シンボル特徴に基づいて、シンボル復号化方式が選択的に決定される。ツリー構造によって、全てのレベルのシンボルが復号化されたり、あるいは特定位置のシンボルだけが復号化されたり、あるいはシンボルの組み合わせが復号化される。
一実施形態によるシンボル階層的復号化モード、または末端レベル復号化モードのシンボル復号化方式によって、階層的構造のシンボルが復号化される。また、一実施形態による同種シンボルグループ復号化モードのシンボル復号化方式によって、階層的構造のシンボルが復号化される。また、一実施形態による異種シンボルグループ復号化モードのシンボル復号化方式によって、階層的構造のシンボルが復号化される。また、一実施形態によるシンボル反転復号化モードのシンボル復号化方式によって、階層的構造のシンボルが復号化される。
ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、シンボルの復号化方式を示すシンボル復号化方式情報が抽出され、シンボル復号化方式情報に基づいて、データ区間ごとに利用するシンボルの復号化方式が決定されもする。
一実施形態によって、シンボルが復号化されることによって、一実施形態による符号化深度及び符号化モードについての情報が読み取られる。一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位が、ツリー構造による符号化単位に分割される。また、抽出された情報のうち、変換単位階層構造情報によれば、符号化単位内のツリー構造による変換深度の変換単位が決定される。
段階２７４０で、最大符号化単位別符号化深度及び符号化モードについての情報を利用して、ツリー構造の符号化単位、これに係わる予測単位、これに係わるツリー構造の変換単位に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化深度及び符号化モードについての情報に基づいて、現在符号化単位について復号化が行われながら、ツリー構造の変換単位のうち決定された変換単位を利用して、現在符号化単位について逆変換が行われる。
符号化単位ごとに、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、あるいは記録媒体に保存されたり、あるいはネットワークを介して伝送される。
一実施形態によるシンボル符号化及びシンボル復号化によって、ツリー構造による符号化単位と、ツリー構造による変換単位とによる符号化過程で決定されるツリー構造の符号化シンボルのシンボル特性によって、適するシンボル符号化方式が決定されるので、シンボルが効率的に符号化される。また、ツリー構造による符号化単位と、ツリー構造による変換単位とによる符号化過程で決定されるツリー構造の符号化シンボルのうち、一部シンボルだけが受信されても、シンボル復号化方式によって、残りのシンボルをいずれも復元することができるので、シンボルが効率的に復号化される。
従って、ビデオ符号化過程では、ピクチャをツリー構造の符号化単位、及びツリー構造の変換単位、予測単位に基づいてビデオが符号化されるので、ビデオの正確なビデオ復号化のために、符号化方式、符号化モードなどに係わる符号化情報が符号化される。符号化情報は、シンボルとして符号化され、シンボルコードの形態で出力される。ビデオ復号化過程では、復元されたシンボルから、ツリー構造の符号化単位、及びツリー構造の変換単位、予測単位に基づいて符号化されたピクチャに係わる符号化情報が読み取られるので、符号化情報を利用して、ピクチャ、ピクチャシーケンスが復元されることにより、ビデオが復元される。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。

Claims (15)

  1. ビデオを符号化する方法において、
    階層的構造のデータ単位を基に、前記ビデオのピクチャを符号化する段階と、
    前記符号化されたピクチャに係わるシンボルを、前記階層的構造のデータ単位を基に決定する段階と、
    前記階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、前記シンボルの符号化方式を決定する段階と、
    前記決定された符号化方式によって、前記シンボルを符号化して出力する段階と、を含むことを特徴とする階層的構造のシンボルを符号化するビデオ符号化方法。
  2. 前記シンボルの符号化方式決定段階は、
    前記階層的構造のデータ単位別に決定されたシンボルを、前記階層的構造のデータ単位によって符号化するシンボル階層的符号化モード、及び前記階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを符号化する末端レベル符号化モードのうち１つのシンボル符号化方式を、前記シンボルのデータ単位に係わる符号化のために利用される前記データ単位の符号化特性に基づいて、選択的に決定する段階を含むことを特徴とする請求項１に記載の階層的構造のシンボルを符号化するビデオ符号化方法。
  3. 前記シンボルの符号化方式を選択的に決定する段階は、
    前記階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、前記同種シンボルをグループ化して符号化する同種シンボルグループ符号化モード、及び前記同種シンボルを個別的に符号化する同種シンボル個別符号化モードのうち１つのシンボル符号化方式を、前記シンボルのデータ単位に係わる符号化のために利用される前記データ単位の符号化特性に基づいて、選択的に決定する段階を含み、
    前記同種シンボルのシンボル値間の相関度に基づいて、グループ符号化いかんが決定されるシンボルの種類は、スキップモード情報、符号化単位の分割情報、変換単位の分割情報、及び符号化パターン情報のうち少なくとも一つを含むことを特徴とする請求項１に記載の階層的構造のシンボルを符号化するビデオ符号化方法。
  4. 前記シンボルの符号化方式を決定する段階は、
    前記階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、前記異種シンボルをグループ化して符号化する異種シンボルグループ符号化モード、及び前記異種シンボルを個別的に符号化する異種シンボル個別符号化モードのうち、１つのシンボル符号化方式を選択的に決定する段階を含み、
    前記異種シンボル間の相関度に基づいて、グループ符号化いかんが決定される異種シンボルの組み合わせは、符号化単位分割情報と変換単位分割情報との組み合わせ、変換単位分割情報と符号化パターン情報との組み合わせ、符号化単位の予測モードと予測方式情報との組み合わせ、符号化単位の分割情報とスキップ情報との組み合わせ、２以上のカラー成分別符号化パターン情報の組み合わせ、２以上のカラー成分別符号化パターン情報と変換単位分割情報との組み合わせのうち少なくとも一つを含み、
    前記カラー成分別符号化パターン情報は、ルマ成分の符号化パターン情報、クロマ成分の符号化パターン情報、第１クロマ成分の符号化パターン情報及び第２クロマ成分の符号化パターン情報のうち少なくとも一つを含むことを特徴とする請求項１に記載の階層的構造のシンボルを符号化するビデオ符号化方法。
  5. 前記シンボルの符号化方式を決定する段階は、
    前記階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、前記末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて符号化するシンボル反転符号化モード、及び前記末端レベルのデータ単位に係わるシンボルのシンボル値を反転なしに符号化する非反転符号化モードのうち、１つのシンボル符号化方式を選択的に決定する段階を含むことを特徴とする請求項１に記載の階層的構造のシンボルを符号化するビデオ符号化方法。
  6. 前記シンボルの符号化方式を選択的に決定する段階は、
    前記シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分、符号化単位の分割レベル、及び変換単位の分割レベルのうち少なくとも一つを含む前記データ単位の符号化特性に基づいて、前記シンボルの符号化方式を選択的に決定する段階と、
    前記ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、前記シンボルの符号化方式を決定する段階と、を含み、
    前記ビデオ符号化方法は、前記１つのデータ区間ごとに、前記シンボルの符号化方式を示すシンボル符号化方式情報を符号化して出力する段階をさらに含むことを特徴とする請求項１に記載の階層的構造のシンボルを符号化するビデオ符号化方法。
  7. ビデオを復号化する方法において、
    前記ビデオの符号化されたピクチャを含むビットストリームを受信する段階と、
    前記ビットストリームをパージングし、前記ビットストリームから、前記階層的構造のデータ単位に基づいて決定されたシンボルと、前記符号化されたピクチャとを抽出する段階と、
    前記階層的構造のデータ単位に基づいて決定されたシンボルの特性に基づいて、前記シンボルの復号化方式を決定し、前記復号化方式によって、前記シンボルを復号化し、前記シンボルを利用して、前記符号化されたピクチャを復号化する段階と、を含むことを特徴とする階層的構造のシンボルを復号化するビデオ復号化方法。
  8. 前記復号化段階は、
    前記階層的構造のデータ単位別に決定されたシンボルを、前記階層的構造のデータ単位によって復号化するシンボル階層的復号化モード、及び前記階層的構造のデータ単位のうち、末端レベルのデータ単位に係わるシンボルを復号化する末端レベル復号化モードのうち１つのシンボル復号化方式を、前記シンボルのデータ単位に係わる復号化のために利用される前記データ単位の符号化特性に基づいて、選択的に決定する段階を含むことを特徴とする請求項７に記載の階層的構造のシンボルを復号化するビデオ復号化方法。
  9. 前記復号化段階は、
    前記階層的構造のデータ単位別に決定された同種シンボルのシンボル値間に発生する相関度を基に、前記同種シンボルをグループ化して復号化する同種シンボルグループ復号化モード、及び前記同種シンボルを個別的に復号化する同種シンボル個別復号化モードのうち１つのシンボル復号化方式を、前記シンボルのデータ単位に係わる復号化のために利用される前記データ単位の符号化特性に基づいて、選択的に決定する段階を含み、
    前記同種シンボルグループ復号化モードによって復号化されるシンボルの種類は、スキップモード情報、符号化単位の分割情報、変換単位の分割情報、及び符号化パターン情報のうち少なくとも一つを含むことを特徴とする請求項７に記載の階層的構造のシンボルを復号化するビデオ復号化方法。
  10. 前記復号化段階は、
    前記階層的構造のデータ単位別に決定された異種シンボルの相関度を基に、前記異種シンボルをグループ化して復号化する異種シンボルグループ復号化モード、及び前記異種シンボルを個別的に復号化する異種シンボル個別復号化モードのうち、１つのシンボル復号化方式を選択的に決定する段階を含み、
    前記異種シンボルグループ符号化モードによって復号化される異種シンボルの組み合わせは、符号化単位分割情報と変換単位分割情報との組み合わせ、変換単位分割情報と符号化パターン情報との組み合わせ、符号化単位の予測モードと予測方式情報との組み合わせ、符号化単位の分割情報とスキップ情報との組み合わせ、２以上のカラー成分別符号化パターン情報の組み合わせ、２以上のカラー成分別符号化パターン情報と変換単位分割情報との組み合わせのうち少なくとも一つを含み、
    前記カラー成分別符号化パターン情報は、ルマ成分の符号化パターン情報、クロマ成分の符号化パターン情報、第１クロマ成分の符号化パターン情報及び第２クロマ成分の符号化パターン情報のうち少なくとも一つを含むことを特徴とする請求項７に記載の階層的構造のシンボルを復号化するビデオ復号化方法。
  11. 前記復号化段階は、
    前記階層的構造のデータ単位に係わるシンボル値のうち、０であるシンボル値の比率を基に、前記末端レベルのデータ単位に係わるシンボルのシンボル値を反転させて復号化するシンボル反転復号化モード、及び前記データ単位に係わるシンボルのシンボル値を、反転なしに復号化する非反転復号化モードのうち、１つのシンボル復号化方式を選択的に決定する段階を含むことを特徴とする請求項７に記載の階層的構造のシンボルを復号化するビデオ復号化方法。
  12. 前記抽出段階は、前記ビデオのスライス、ピクチャ、シーケンス及び最大符号化単位のうち１つのデータ区間ごとに、前記シンボルの復号化方式を示すシンボル復号化方式情報を抽出する段階を含み、
    前記復号化段階は、前記抽出されたシンボル復号化方式情報に基づいて、前記データ区間ごとに利用する前記シンボルの復号化方式を決定する段階と、前記シンボルのデータ単位の予測モード情報、スライスタイプ、カラー成分、符号化単位の分割レベル及び変換単位の分割レベルのうち少なくとも一つを含む前記データ単位の符号化特性に基づいて、前記シンボルの復号化方式を選択する段階と、を含むことを特徴とする請求項７に記載の階層的構造のシンボルを復号化するビデオ復号化方法。
  13. ビデオ符号化装置において、
    階層的構造のデータ単位を基に、前記ビデオのピクチャを符号化するピクチャ階層的符号化部と、
    前記符号化されたピクチャに係わるシンボルを、前記階層的構造のデータ単位を基に決定し、前記階層的構造のデータ単位を基に決定されたシンボルの特性に基づいて、前記シンボルの符号化方式を決定し、前記決定された符号化方式によって、前記シンボルを符号化して出力する階層的シンボル符号化部と、を含むことを特徴とする階層的構造のシンボルを符号化するビデオ符号化装置。
  14. ビデオ復号化装置において、
    前記ビデオの符号化されたピクチャを含むビットストリームを受信し、前記ビットストリームをパージングし、前記階層的構造のデータ単位に基づいて決定されたシンボルと、前記符号化されたピクチャとを抽出する階層的シンボル／データ抽出部と、
    前記階層的構造のデータ単位に基づいて決定されたシンボルの特性に基づいて、前記シンボルの復号化方式を決定し、前記復号化方式によって、前記シンボルを復号化し、前記シンボルを利用して、前記符号化されたピクチャを復号化する階層的ピクチャ復号化部と、を含むことを特徴とする階層的構造のシンボルを復号化するビデオ復号化装置。
  15. 請求項１または７に記載の方法を電算的に具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
JP2013531497A 2010-09-30 2011-09-30 階層的構造のシンボルを符号化するビデオ符号化方法及びその装置、階層的構造のシンボルを復号化するビデオ復号化方法及びその装置 Expired - Fee Related JP5624218B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38823210P 2010-09-30 2010-09-30
US61/388,232 2010-09-30
PCT/KR2011/007218 WO2012044104A2 (ko) 2010-09-30 2011-09-30 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
JP2013539313A true JP2013539313A (ja) 2013-10-17
JP5624218B2 JP5624218B2 (ja) 2014-11-12

Family

ID=45893682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013531497A Expired - Fee Related JP5624218B2 (ja) 2010-09-30 2011-09-30 階層的構造のシンボルを符号化するビデオ符号化方法及びその装置、階層的構造のシンボルを復号化するビデオ復号化方法及びその装置

Country Status (14)

Country Link
US (1) US9300957B2 (ja)
EP (2) EP3404918A1 (ja)
JP (1) JP5624218B2 (ja)
KR (4) KR102027473B1 (ja)
CN (1) CN103238321B (ja)
AU (1) AU2011308154B2 (ja)
BR (1) BR112013007205A2 (ja)
CA (1) CA2812949C (ja)
MX (1) MX2013003691A (ja)
MY (1) MY177645A (ja)
RU (1) RU2543550C2 (ja)
SG (3) SG10201808631PA (ja)
WO (1) WO2012044104A2 (ja)
ZA (1) ZA201303006B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014522603A (ja) * 2011-06-03 2014-09-04 クゥアルコム・インコーポレイテッド メモリ効率的コンテキストモデリング
JP2015167393A (ja) * 2009-08-14 2015-09-24 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びビデオ復号化装置
US9936201B2 (en) 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411970B2 (en) * 2010-03-16 2013-04-02 Pixia Corp. Method and system for determining statistical data for image pixels having a higher bit depth per band
EP2636219A1 (en) * 2010-11-01 2013-09-11 Qualcomm Incorporated(1/3) Joint coding of syntax elements for video coding
US9749645B2 (en) * 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
DK3361734T3 (da) 2012-07-02 2020-01-02 Samsung Electronics Co Ltd Entropikodning af en video og entropiafkodning af en video
KR101420718B1 (ko) * 2012-12-21 2014-07-23 성균관대학교산학협력단 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치
KR20160005027A (ko) * 2013-04-17 2016-01-13 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
US11509917B2 (en) * 2017-07-19 2022-11-22 Nec Corporation Data delivery device, system, method, and recording medium
EP3721633A1 (en) * 2017-12-06 2020-10-14 V-Nova International Limited Hierarchical data structure
WO2019111010A1 (en) * 2017-12-06 2019-06-13 V-Nova International Ltd Methods and apparatuses for encoding and decoding a bytestream
EP3496403A1 (en) * 2017-12-06 2019-06-12 V-Nova International Limited Hierarchical data structure
CN111727463A (zh) * 2018-01-19 2020-09-29 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN111837387A (zh) * 2018-03-12 2020-10-27 三星电子株式会社 编码方法及其装置以及解码方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518992A (ja) * 2005-12-12 2009-05-07 サムスン エレクトロニクス カンパニー リミテッド ビデオ信号をグループ別にエンコーディングおよびデコーディングする方法および装置
JP2009523349A (ja) * 2006-01-12 2009-06-18 サムスン エレクトロニクス カンパニー リミテッド フラッグ符号化方法、フラッグ復号化方法、および前記方法を利用した装置
JP2011523321A (ja) * 2008-06-13 2011-08-04 サムスン エレクトロニクス カンパニー リミテッド 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2011526770A (ja) * 2008-07-02 2011-10-13 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及び装置、並びにその復号化方法及び装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4947447A (en) * 1986-04-24 1990-08-07 Hitachi, Ltd. Method for data coding
US5563661A (en) 1993-04-05 1996-10-08 Canon Kabushiki Kaisha Image processing apparatus
US5446806A (en) * 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
KR960706267A (ko) * 1993-11-15 1996-11-08 존 엠. 클락 3세 쿼드트리 구조형 월시(walsh) 변환 코딩(quadtree-structured walsh transform conding)
US5706059A (en) * 1994-11-30 1998-01-06 National Semiconductor Corp. Motion estimation using a hierarchical search
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US6005981A (en) * 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
JP3213561B2 (ja) * 1997-02-05 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
US6356665B1 (en) * 1998-12-09 2002-03-12 Sharp Laboratories Of America, Inc. Quad-tree embedded image compression and decompression method and apparatus
CN1213611C (zh) 2000-04-04 2005-08-03 皇家菲利浦电子有限公司 利用小波变换的视频编码方法
KR20020026254A (ko) 2000-06-14 2002-04-06 요트.게.아. 롤페즈 컬러 비디오 인코딩 및 디코딩 방법
BR0107329A (pt) 2000-10-17 2002-08-27 Koninkl Philips Electronics Nv Processo de codificação para codificar um elemento de descrição de uma instância de um esquema tipo xml, processo de decodificação para decodificar um fragmento compreendendo um conteúdo e uma sequência de informação de identificação, codificador para codificar um elemento de descrição de uma instância de um esquema tipo xml, decodificador para decodificar um fragmento compreendendo um conteúdo e uma sequência de informação de identificação, sistema de transmissão, sinal para transmissão através de uma rede de transmissão, e, tabela destinada a ser usada em um codificador
KR100973216B1 (ko) * 2002-04-23 2010-07-30 노키아 코포레이션 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치
US7302006B2 (en) 2002-04-30 2007-11-27 Hewlett-Packard Development Company, L.P. Compression of images and image sequences through adaptive partitioning
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP2007509525A (ja) 2003-10-20 2007-04-12 サムスン エレクトロニクス カンパニー リミテッド 視覚的画質を均一にするビットレートコントロール方法及び装置
AU2004310915B2 (en) * 2003-12-01 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
US7782233B2 (en) 2004-10-13 2010-08-24 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding point sequences on laser binary representation
KR100664936B1 (ko) 2005-04-13 2007-01-04 삼성전자주식회사 코딩 효율이 향상된 컨텍스트 기반 적응적 산술 코딩 및디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오 코딩및 디코딩 방법과 이를 위한 장치
US7602984B2 (en) * 2005-09-28 2009-10-13 Novell, Inc. Adaptive method and system for encoding digital images for the internet
FR2896117A1 (fr) 2006-01-06 2007-07-13 France Telecom Procedes de codage et de decodage d'une sequence d'images, dispositifs , programmes d'ordinateur, et signal correspondants
EP2187644A3 (en) * 2007-07-18 2012-10-24 Humax Co., Ltd. Adaptive bit-precision entropy coding
US8406307B2 (en) * 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
EP2164176A1 (en) * 2008-09-12 2010-03-17 Thomson Licensing Method for lossless compressing prefix-suffix-codes, method for decompressing a bit sequence representing integers or symbols encoded in compressed prefix-suffix-codes and storage medium or signal carrying compressed prefix-suffix-codes
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8514107B2 (en) * 2009-04-09 2013-08-20 Thomson Licensing Method and device for encoding and decoding of symbol sequences wherein each symbol may have one out of three or more possible symbol values
WO2010144497A2 (en) * 2009-06-09 2010-12-16 Sony Corporation Design trees for adaptive coding of images and videos using set partitioning in generalized hierarchical trees having directionality
AU2011241283B2 (en) 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
KR101387467B1 (ko) * 2010-06-07 2014-04-22 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2012023061A1 (en) * 2010-07-06 2012-02-23 Nokia Corporation Method and apparatus for determining mapping between a syntax element and a code word for variable length coding
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
US9172963B2 (en) * 2010-11-01 2015-10-27 Qualcomm Incorporated Joint coding of syntax elements for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518992A (ja) * 2005-12-12 2009-05-07 サムスン エレクトロニクス カンパニー リミテッド ビデオ信号をグループ別にエンコーディングおよびデコーディングする方法および装置
JP2009523349A (ja) * 2006-01-12 2009-06-18 サムスン エレクトロニクス カンパニー リミテッド フラッグ符号化方法、フラッグ復号化方法、および前記方法を利用した装置
JP2011523321A (ja) * 2008-06-13 2011-08-04 サムスン エレクトロニクス カンパニー リミテッド 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2011526770A (ja) * 2008-07-02 2011-10-13 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及び装置、並びにその復号化方法及び装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167393A (ja) * 2009-08-14 2015-09-24 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びビデオ復号化装置
US9426484B2 (en) 2009-08-14 2016-08-23 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus, based on transformation index information
US9451273B2 (en) 2009-08-14 2016-09-20 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus, based on transformation index information
US9467711B2 (en) 2009-08-14 2016-10-11 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus, based on hierarchical coded block pattern information and transformation index information
US9521421B2 (en) 2009-08-14 2016-12-13 Samsung Electronics Co., Ltd. Video decoding method based on hierarchical coded block pattern information
JP2017060180A (ja) * 2009-08-14 2017-03-23 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びビデオ復号化装置
JP2014522603A (ja) * 2011-06-03 2014-09-04 クゥアルコム・インコーポレイテッド メモリ効率的コンテキストモデリング
US9936201B2 (en) 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units
US10298930B2 (en) 2015-01-27 2019-05-21 Qualcomm Incorporated Contexts for large coding tree units

Also Published As

Publication number Publication date
KR102224452B1 (ko) 2021-03-08
CN103238321B (zh) 2016-11-02
MX2013003691A (es) 2013-04-24
MY177645A (en) 2020-09-23
KR20120038365A (ko) 2012-04-23
SG189135A1 (en) 2013-05-31
AU2011308154A1 (en) 2013-05-02
ZA201303006B (en) 2018-12-19
KR20190111878A (ko) 2019-10-02
KR102174438B1 (ko) 2020-11-04
RU2543550C2 (ru) 2015-03-10
EP2624557A2 (en) 2013-08-07
AU2011308154B2 (en) 2015-10-08
US9300957B2 (en) 2016-03-29
KR102071583B1 (ko) 2020-01-30
KR20200126957A (ko) 2020-11-09
BR112013007205A2 (pt) 2020-10-06
CN103238321A (zh) 2013-08-07
JP5624218B2 (ja) 2014-11-12
US20130195202A1 (en) 2013-08-01
CA2812949C (en) 2017-04-18
WO2012044104A2 (ko) 2012-04-05
EP2624557A4 (en) 2016-02-24
EP3404918A1 (en) 2018-11-21
RU2013119943A (ru) 2014-11-10
KR102027473B1 (ko) 2019-10-02
SG10201401116TA (en) 2014-10-30
SG10201808631PA (en) 2018-11-29
WO2012044104A3 (ko) 2012-05-31
CA2812949A1 (en) 2012-04-05
KR20200011528A (ko) 2020-02-03
EP2624557B1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
KR102071583B1 (ko) 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치
JP6402234B2 (ja) ビデオ復号化方法及び装置とビデオ符号化方法及び装置
JP5894314B2 (ja) 映像復号化方法及び装置
JP5832519B2 (ja) ツリー構造による符号化単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP5969081B2 (ja) 復号化方法及び復号化装置
JP5891327B2 (ja) ビデオ復号化方法及び装置
JP6076415B2 (ja) 映像の符号化方法及び装置、並びに映像の復号化方法及び装置
KR102169608B1 (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
JP2013524676A (ja) ツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法及びその装置、並びに復号化方法及びその装置
KR101465977B1 (ko) 병렬 처리를 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140630

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140925

R150 Certificate of patent or registration of utility model

Ref document number: 5624218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees