JP2013017167A

JP2013017167A - ピクチャをコーディングする方法

Info

Publication number: JP2013017167A
Application number: JP2012134380A
Authority: JP
Inventors: A Cohen Robert; ロバート・エイ・コーエン; Vetro Anthony; アンソニー・ヴェトロ
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2011-07-01
Filing date: 2012-06-14
Publication date: 2013-01-24
Anticipated expiration: 2032-06-14
Also published as: JP5863571B2; US20130003828A1; US8929455B2

Abstract

【課題】イントラ予測及びインター予測について、モードと変換タイプとの間マッピングをいつ変更すべきか示す方法を提供する。
【解決手段】ビットストリームは、関連付けられたＴＵのためのデータ及び変換木を生成するためのデータ、コーディング単位（ＣＵ）の、予測単位（ＰＵ）への分割、各ＰＵと関連付けられた予測モード又は予測方向を得るためのデータを取得するようにコーディングされたピクチャを含む。１つ又は複数のマッピングテーブルが規定され、各テーブルの各行は、インデックスと、ＴＵ内のデータに逆変換を適用するのに用いられる変換タイプの第１のセットとを有する。インデックスに従って変換タイプの第１のセットが選択され、次に、逆変換として、変換タイプの第２のセットがデータに適用される。変換タイプの第２のセットは、変換タイプの第１のセット及びトグル変換フラグ（ｔｔｆ）に従って求められ、再構成された予測残差が得られる。
【選択図】図１

Description

本発明は、包括的にはピクチャ（画像）をコーディングすることに関し、より詳細には、ピクチャの符号化及び復号化に関連して、選択された変換を用いてピクチャをコーディングする方法に関する。

ＩＳＯ及びＩＴＵ標準化機構によって現在検討されている高効率ビデオコーディング（ＨＥＶＣ）標準規格の場合、離散コサイン変換（ＤＣＴ）及び／又は離散サイン変換（ＤＳＴ）が４×４のデータブロックに適用される。水平方向及び垂直方向にいずれの変換タイプを適用するかに関する決定は、インデックス付けされたイントラ予測方向を水平変換タイプ及び垂直変換タイプにマッピングするルックアップテーブル（図２Ａを参照）によって規定されている。このマッピングは、非特許文献１において記載されている。

コーディング層
提案されている標準規格において規定されている階層的コーディング層は、ビデオシーケンス層、ピクチャ層、スライス層、及び木ブロック（treeblock）層を含む。上位層は下位層を包含する。

木ブロック（Treeblock）
提案されている標準規格によれば、ピクチャはスライスに分割され、各スライスは、ラスター走査において連続して順序付けされた一連の木ブロック（ＴＢ）に分割される。ピクチャ及びＴＢは、Ｈ．２６４／ＡＶＣ等の従来のビデオコーディング標準規格におけるフレーム及びマクロブロックにそれぞれ広義で類似している。ＴＢの最大許容サイズは、６４×６４ピクセルのルーマ（輝度）及び彩度（色）のサンプルである。

コーディング単位
コーディング単位（ＣＵ）は、イントラ予測及びインター予測に用いられる分割の基本単位である。イントラ予測は単一のピクチャの空間領域において動作する一方、インター予測は、予測されるピクチャと以前に復号化されたピクチャのセットとの間の時間領域において動作する。ＣＵは常に正方形であり、１２８×ｌ２８（ＬＣＵ）ピクセル、６４×６４ピクセル、３２×３２ピクセル、１６×１６ピクセル、及び８×８ピクセルとすることができる。ＣＵは、ＴＢから開始して、サイズが等しい４つのブロックへの再帰的な分割を可能にする。このプロセスによって、ＴＢと同じだけの大きさか、又は小さい場合で８×８ピクセルの大きさとすることができるＣＵブロックで構成されるコンテンツ適応コーディング木構造が得られる。

予測単位（ＰＵ）
予測単位（ＰＵ）は、予測プロセスに関する情報（データ）を保有するのに用いられる基本単位である。概して、ＰＵ内に含まれるデータは、以前に復号化されたＰＵからのデータを用いて予測される。各ＣＵは１つ又は複数のＰＵを含むことができる。

変換単位（ＴＵ）
ＴＵは、変換プロセス及び量子化プロセスにおいて用いられる基本単位である。イントラコーディングされたブロックの場合、ＴＵはＰＵよりも大きくすることができない。また、ＴＵはＣＵのサイズを超えない。複数のＴＵを木構造（以後、変換木）に配列することができる。各ＣＵは１つ又は複数のＴＵを含むことができ、ここで複数のＴＵを木構造に配列することができる。各ＴＵは関連付けられたコーディング済みブロックフラグ（ＣＢＦ）を有し、ＣＢＦは、ＴＵ内の変換及び量子化された係数のうちのいずれかが非ゼロであるか否かを示す。或るＴＵについてＣＢＦが０である場合、該ＴＵ内の全ての係数は０であり、したがって逆変換を実行する必要がない。ＣＢＦが１のとき、逆変換が実行される。

変換の適用
復号化器は、データブロックを、又はより詳細には、ビットストリームからのイントラ予測残差を、復号化及び逆量子化した後、そのブロックに対応するＴＵ内のデータに２次元変換を適用する。分離可能な変換の場合、逆変換プロセスは、垂直方向に適用される１次元変換又は１次元逆変換のセット、及び水平方向に適用される１次元変換又は１次元逆変換のセットとして実施される。

イントラ予測
イントラ予測は、以前に復号化されたブロックを、現在のブロックの予測因子として機能するように用いるプロセスである。現在のブロックと予測ブロックとの間の差は、予測残差として知られている。現在のブロックにおける１つ又は複数のピクセルが、以前に復号化された近傍ピクセルによって、イントラ予測モードに基づいて予測される。イントラ予測モードは予測の方向又は角度を示す。例えば、イントラ予測モード０は垂直予測モードであり、垂直予測モードでは、現在のブロック内のピクセルは、以前に復号化されたブロック内の真上に位置するピクセルから予測される。イントラ予測モード１は水平予測モードであり、水平予測モードでは、現在のブロック内のピクセルは、以前に復号化された近傍ブロック内の直接左に位置するピクセルから予測される。標準規格の現在の草案では、１つのイントラ予測方向は各ＰＵと関連付けられる。

イントラ予測モードの変換タイプへのマッピング
従来技術は、各イントラ予測モードを特定の水平変換タイプ及び垂直変換タイプにマッピングするテーブル２００を規定している。このテーブルは、予測残差の符号化及び復号化の双方に用いられる。非特許文献１の表１を参照されたい。例えば、イントラ予測モード０を用いるブロックを復号化するとき、ＤＳＴが垂直方向に適用され、ＤＣＴが水平方向に適用される。イントラ予測モード１を用いるブロックを復号化するとき、ＤＣＴが垂直方向に適用され、ＤＳＴが水平方向に適用される。

ＨＥＶＣ作業草案（HEVC Working Draft）において固定マッピングテーブルが規定されている。現在のところ、マッピングテーブルは４×４の変換にしか適用されない。図２Ａは、従来技術のマッピングテーブル２００の一部を示している。テーブル内の列は、インデックス２０１、イントラ予測モード２０２、垂直変換２０３、及び水平変換２０４を含む。行へのインデックスは０〜３３であり、モードは方向、例えばＶＥＲ、ＨＯＲ、及びＤＣ等に関し、水平変換及び垂直変換はＤＣＴ又はＤＳＴとすることができる。マッピングテーブルの設計は、画像内のピクセル相関に関する或る特定の仮定に基づいていた。

しかしながら、実際には、画像又はビデオブロック、及びそれらの残差は、標準規格草案（draft standard）において従来技術のマッピングテーブル２００を設計するために仮定されたモデルと必ずしも整合しない。

「CE7: Mode-dependent DCT or DST without 4x4 full matrix multiplication for intra prediction」, JCTVC-E125, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3, ISO/IEC JTCl/SC29/WG11, 5th Meeting:Geneva, CH, 16-23 March 2011

このため、復号化プロセス及び符号化プロセス中に、マッピングを変更する必要がある。また、イントラ予測及びインター予測について、モードと変換タイプとの間マッピングをいつ変更すべきか示す方法が必要である。

ビットストリームが、コーディングされたＣＵ、並びに該ＣＵの対応するＰＵ及びＴＵを含む。イントラコーディングされたＰＵの場合、ビットストリームは各ＰＵと関連付けられた予測モードを含む。予測モードは予測方向又は予測角としても知られる。復号化器及び符号化器において規定されたマッピングテーブルは、各予測方向を垂直変換タイプ及び水平変換タイプにマッピングする。ＰＵが或るサイズのＴＵを含み（該サイズ用のマッピングテーブルが規定されている）、かつそのサイズのＴＵのうちのいずれかについてコーディング済みブロックフラグ（ＣＢＦ）が非ゼロである場合、このＰＵについて、「トグル変換フラグ（transform-toggle flag）」（ｔｔｆ）がビットストリーム内に存在する。ｔｔｆは、変換がマッピングする方法（way）が、ＰＵ以内のそのサイズの全てのＴＵについて変更されることを示す。ｔｔｆが１に設定されているときに実行される変更の具体的なタイプは、復号器及び符号化器において事前に規定されているか、又はビットストリームにおいてシグナリングすることができるかのいずれかである。ｔｔｆは３つ以上の状態を表すことができるトグル変換値とすることもできる。

マッピングテーブルから予測モード用の変換タイプを選択し変更する方法の流れ図である。垂直方向及び水平方向に沿って、イントラ予測モードをＤＣＴ又はＤＳＴにマッピングするための、従来技術によるテーブルである。マッピングモードが逆変換にマッピングされる方法（way）を変更するためのテーブルである。

図１に示すように、本発明の実施の形態は、画像／ビデオデータを復号又は符号化する、一般に「コーデック（encoder-decoder）」１００に用いられる、変換選択プロセスを変更する方法を提供する。方法ステップは、ビデオコーデックチップにおいて実行することができ、ビデオコーデックチップは、当該技術分野において既知のように、メモリ１０１及び入出力（Ｉ／Ｏ）インターフェース１０２に接続された１つ又は複数のプロセッサを備えることができる。メモリは本明細書において説明するような１つ又は複数のマッピングテーブル２５０を格納し、Ｉ／Ｏインターフェースは入力ビットストリーム１０４を受信し、再構成された予測残差１０９を出力する。

図２Ｂに示す１つの実施の形態では、１つ又は複数のマッピングテーブル２５０が、各イントラ予測方向１０６を水平変換タイプ及び垂直変換タイプ（ＤＣＴ又はＤＳＴ）にマッピングする。提案されているＨＥＶＣ標準規格では、サイズＭ×ＭのＴＵについてマッピングテーブル２００が規定されている。すなわち、各行は各変換モードのインデックス２０１、及び変換タイプのセットを有する。

本発明の実施の形態は、他の可能なサイズのＴＵに用いるために、更なるマッピングテーブル又は同一のテーブルを提供することができる。マッピングテーブルは、各イントラ予測モードについて、モード又は方向（ＶＥＲ又はＨＯＲ又はＤＣ）、垂直逆変換（ＤＣＴ又はＤＳＴ）、及び水平逆変換（ＤＣＴ又はＤＳＴ）を含む。モード数は作業草案（working draft）において規定される。

各ＣＵ１１０について、入力ビットストリームから１つ又は複数のＰＵ１１１がパース（parse）され、変換木１７０が生成される。各ＰＵと関連付けられた「トグル処理済みフラグ（toggle-processed flag）」（ｔｐｆ）１１２が０に設定される（１２０）。ｔｐｆは、コーデックの内部に存在することができ、例えばメモリ又はレジスタ内に格納することができ、必ずしも入力ビットストリーム１０４内にはない。

ＴＵ内のデータは変換木１７０に従って復号化される。変換木は、関連米国特許出願及び標準規格草案において詳細に説明されている。

復号中、非ゼロＣＢＦを有するＭ×ＭのＴＵに初めて遭遇すると（１３０）、「トグル変換フラグ」（ｔｔｆ）１１５が復号化される。このＴＵを含むＰＵのｔｐｆが１に設定される（１４０）。ＴＵがＭ×Ｍでなく、したがって関連付けられたマッピングテーブルを有しない場合、ｔｔｆは復号化されない。この場合、ｔｔｆは設定されないままである。ｔｔｆを０に設定するか又は１に設定するかの判定は、隣接するブロックからの統計又は他のパラメーター等の、既に利用可能であるか又は復号化されたデータに基づくこともできる。この場合、ｔｔｆはビットストリームから復号化されず、既に利用可能なデータから推測される。

ＴＵのｔｔｆが１に設定されている場合、該ｔｔｆは、マッピングテーブルにおける変換タイプをＴＵに適用する方法が、そのＴＵについて変更された（１５０）ことを示す。

次に、ＴＵ木の処理が継続する。非ゼロＣＢＦを有するＭ×ＭのＴＵが次に復号化されるとき、該ＴＵの対応するＰＵのｔｐｆがチェックされる。フラグが１に設定されている場合、これは、ＰＵのｔｔｆが既に復号化されており、このため同一のｔｔｆがこのＴＵとも関連付けられていることを示す。換言すれば、ｔｔｆは、ＰＵ内に含まれる（非ゼロＣＢＦを有する）第１のＭ×ＭのＴＵのビットストリーム内のみに存在し、そのＰＵ内のＭ×ＭのＴＵの残りは同一のｔｔｆを用いる。

ＴＵ内のデータの復号中、該ＴＵ内のデータに逆垂直変換及び逆水平変換が適用され（１６０）、出力１０９が得られる。出力１０９は、各イントラ予測方向を垂直変換タイプ及び水平変換タイプにマッピングする、変更されていないか又は変更されたマッピング１０５に基づいて再構成された予測残差データ又は他の画像／ビデオ関連データとすることができる。ＴＵのｔｔｆが０に設定されている場合、変更されていないマッピングが用いられる。ＴＵのｔｔｆが１に設定されている場合、変更されたマッピングが用いられる。

実施の形態１．
本実施の形態では、上記のステップが適用され、ＴＵのｔｔｆが１である場合、マッピングテーブルにおけるＤＣＴがＤＳＴとなり、ＤＳＴがＤＣＴとなる。換言すれば、元のマッピングテーブルが、所与の予測モードについてＤＣＴが水平変換として用いられることを規定する場合において、ｔｔｆが１であるとき、ＤＳＴが用いられる。同様に、ＤＣＴがＤＳＴの代わりに用いられる。変換トグルフラグが０に設定されている場合、元のマッピングが用いられる。

実施の形態２．
本実施の形態は、実施の形態１に類似しているが、水平変換及び垂直変換の双方が異なるイントラ予測方向についてのみマッピングが変更される点が異なる。このため、ＤＣＴが双方の変換に用いられることをテーブルが指定している場合、マッピングは変更されない。水平ＤＣＴ及び垂直ＤＳＴの第１のセットが用いられることをテーブルが指定している場合、マッピングは、水平ＤＳＴ及び垂直ＤＣＴの第２のセットが用いられるように変更される。最終的な効果は、図２Ｂに示すように、第１のセットにおける変換がスワップされ（２６０）、結果として効果的に第２のセットとなることである。

実施の形態３．
本実施の形態は、実施の形態１に類似しているが、水平変換及び垂直変換の双方が同一であるイントラ予測方向についてのみ第１のセットのマッピングが第２のセットに変更される点が異なる。この実施の形態は、水平変換タイプと垂直変換タイプとが異なるいかなる２Ｄ変換も変更することなく、２ＤＤＣＴを２ＤＤＳＴにマッピングし、２ＤＤＳＴを２ＤＤＣＴにマッピングする。

実施の形態４．
本実施の形態は、上述した実施の形態のうちの任意のものを含む。加えて、マッピングはイントラ予測方向（モード）のサブセットについてのみ変更される。例えば、ほぼ垂直及びほぼ水平のイントラ予測角のマッピングは変更されないままであるが、より斜角の予測角は、第１のセットから第２のセットへのマッピングを変更することが可能になる。このため、変換を適用する方法を変更することに関する判定（decision）は、変換タイプ及び予測方向の双方に依拠する。

実施の形態５．
本実施の形態は実施の形態４と類似しており、加えて、変換タイプは、変換が適用される方法を変更するか否かを判断するためには用いられない。従って、変換が適用される方法は、イントラ予測方向に基づいて変更される。

実施の形態６．
上述の実施の形態では、マッピングは様々な要因に依拠して変更される。本実施の形態では、ｔｔｆが１であるとき、別個の、予め規定された（pre-defined)、マッピングテーブルが用いられる。このようにして、ｔｔｆはこれらの２つの独立したマッピングテーブルのうちのいずれを用いるかを選択する。

実施の形態７．
本実施の形態では、ｔｔｆは０及び１（偽又は真）以外の整数値を有することができる。この場合（In this case）、値ｎはインデックスを表し、該インデックスを用いて変換が適用される方法を変更するか、又は、該インデックスに従って他の形で規定された変換２７０、例えば、離散ウェーブレット変換（ＤＷＴ）、間引きなし（undecimated）離散ウェーブレット変換（ＵＤＷＴ）、若しくは、何らかの変換を選択する。すなわち、テーブルは、標準規格草案によって規定された変換と異なる、変換の更なる「仮想」列２５１を有すると述べることができる。

実施の形態８．
本実施の形態では、ｔｐｆはＰＵではなくＣＵと関連付けられる。このため、各ＣＵについて、１つのｔｔｆのみが復号又は推測され、ｔｔｆを用いる全てのＴＵがそのｔｐｆフラグを用いる。

実施の形態９．
本実施の形態では、ｔｔｆ及びｔｐｆは２つ以上のＭ×ＭのＴＵサイズと関連付けられる。例えば、４×４のＴＵは或るテーブルを用いることができ、８×８のＴＵは別のテーブルを用いることができる。異なるＴＵサイズがテーブルを共有することができ、マッピングを交互にすることもできる。例えば、サイズ８×８以下のＴＵは或るテーブルを用いることができ、サイズ１６×１６以上のＴＵは別のテーブルを用いることができる。

実施の形態１０．
本実施の形態は、イントラ予測されたＰＵ以外のＰＵについて、変更されたマッピングを可能にする。例えば、インター予測されたＰＵと関連付けられたデータを用いて、マッピングテーブルをインデックス付けし、水平変換タイプ及び垂直変換タイプを選択することができる。

実施の形態１１．
本実施の形態では、全てのＴＵについて、又は非ゼロＣＢＦを有する全てのＭ×ＭのＴＵについてｔｔｆが復号又は推測される。この場合、全ての関連するＴＵが該ＴＵ独自のｔｔｆと関連付けられているので、ｔｐｆは必要でない。

実施の形態１２．
本実施の形態では、いずれのマッピングテーブルを用いるかを示すインデックスが、シーケンスにつき１回、又はビットストリームの他のサブセット、例えばＧＯＰ、スライス等につき１回復号化される。

実施の形態１３．
本実施の形態では、単数又は複数のマッピングテーブルが規定され、ビットストリームから復号化される。

実施の形態１４．
本実施の形態では、変換木内のＴＵの深さも用いて、変換が適用される前にマッピングが変更されるか否かを判断する。

実施の形態１５．
本発明の１つの実施の形態は、特殊化された処理のために、ビットストリーム内でシグナリングされた、所定の特性を有する複数のＴＵを含むＣＵ又はＰＵを扱う。ＣＵ又はＰＵが所定の特性を有する複数のＴＵを含むとき、これらのＴＵをどのように処理するかのインジケーターは、その所定の特性を有する最初のＴＵのためのビットストリームにおいてのみシグナリングされる。次に、同じＰＵ又はＣＵ内の同じ所定の特性を有する後続のＴＵはそのインジケーターを用い、該インジケーターは、そのＣＵ又はＰＵの後続のＴＵのためのビットストリームにおいてシグナリングされない。所定の特性はＴＵのサイズ又は形状、イントラ予測又はインター予測、木の深さ等に関係することができる。

Claims

関連付けられたＴＵのためのデータ及び変換木を生成するためのデータ、並びにコーディング単位（ＣＵ）の、予測単位（ＰＵ）への分割、並びに各ＰＵと関連付けられた予測モード又は予測方向を得るためのデータを取得するために、ピクチャをコーディングする方法であって、
テーブルの各行が、関連付けられたインデックスと、ＴＵ内の前記データに逆変換を適用するのに用いられる変換タイプの第１のセットとを有する、マッピングテーブルを規定するステップと、
インデックスに従って前記変換タイプの第１のセットを選択するステップと、
前記逆変換として、変換タイプの第２のセットを前記データに適用するステップであって、該変換タイプの第２のセットは、前記変換タイプの第１のセット及びトグル変換フラグ（ｔｔｆ）に従って求められ、再構成された予測残差が得られる、ステップと
を含み、
前記コーディングはコーデックにおいて実行される、
ピクチャをコーディングする方法。
前記コーディングは、ビットストリームを復号化する、請求項１に記載の方法。
前記各ＰＵごとに１つのｔｔｆが存在する、請求項１に記載の方法。
前記ＴＵの可能なサイズごとにマッピングテーブルが存在する、請求項１に記載の方法。
ビットストリームから前記ｔｔｆを復号化し、トグル処理済みフラグ（ｔｐｆ）を１に設定するステップ
を更に含む、請求項１に記載の方法。
復号化されたデータに従って前記ｔｔｆを設定するステップ
を更に含む、請求項１に記載の方法。
前記ｔｔｆが０に設定されている場合、マッピングは変更されず、前記ｔｔｆが１に設定されている場合、前記マッピングは変更される、請求項１に記載の方法。
前記変換の第１のセットにおける離散コサイン変換（ＤＣＴ）及び離散サイン変換（ＤＳＴ）のマッピングは、前記ｔｔｆが１に設定されている場合に前記ＤＣＴ及び前記ＤＳＴがスワップされるように変更される、請求項１に記載の方法。
前記選択される変換タイプは、水平変換の場合と垂直変換の場合とで異なる、請求項１に記載の方法。
前記選択される変換タイプは、水平変換の場合と垂直変換の場合とで同一である、請求項１に記載の方法。
マッピングは、イントラ予測方向のサブセットについてのみ変更される、請求項１に記載の方法。
マッピングは、イントラ予測方向に基づいて変更される、請求項１に記載の方法。
複数のマッピングテーブルが存在し、該複数のマッピングテーブルのうちの１つが前記ｔｔｆに基づいて選択される、請求項１に記載の方法。
前記ｔｐｆは前記ＣＵと関連付けられる、請求項５に記載の方法。
前記マッピングテーブルはインター予測のために用いられる、請求項１に記載の方法。
前記ｔｔｆは各ＴＵと関連付けられる、請求項１に記載の方法。
前記マッピングテーブルは、ビットストリーム内で規定される、請求項１に記載の方法。
前記ｔｔｆは、３個以上の値を有する、請求項１に記載の方法。
マッピングを変更するか否かに関する判定は、前記変換木内の前記ＴＵの深さに依拠する、請求項１に記載の方法。
マッピングを変更する判定は、前記ＴＵの寸法に依拠する、請求項１に記載の方法。
前記ｔｔｆはビットストリームからパースされる、請求項１に記載の方法。
前記ｔｔｆの値は既に復号化されたデータに基づく、請求項１に記載の方法。
前記変換木内の前記ＴＵの深さも用いて、前記変換タイプの第１のセットが適用されるか、又は前記変換タイプの第２のセットが適用されるかが判断される、請求項１に記載の方法。
前記第１のセット内の前記変換タイプのマッピングは、適用される前記変換タイプの第２のセットを形成するように変更される、請求項１に記載の方法。
前記ＰＵは複数のＴＵを含み、所定の特性を有するＴＵがインジケーター、例えば任意のフラグと関連付けられ、次に、該インジケーターは前記所定の特性を有する第１のＴＵについてのみ前記ビットストリームにおいてシグナリングされ、前記所定の特性を有する後続のＴＵは前記インジケーターを用いる、請求項１に記載の方法。
前記ＣＵは複数のＴＵを含み、所定の特性を有するＴＵがインジケーター、例えば任意のフラグと関連付けられ、次に、該インジケーターは前記所定の特性を有する第１のＴＵについてのみ前記ビットストリームにおいてシグナリングされ、前記所定の特性を有する後続のＴＵは前記インジケーターを用いる、請求項１に記載の方法。