JP2014523175A - 変換を用いたビデオの符号化および復号 - Google Patents

Abstract

本発明は、ブロックの行及び列に対して作用する特殊な変換を利用しつつ、これらの変換処理をスキップするモードのセットを有するビデオの符号化又は復号化に関する方法である。本発明の方法は、行及び列を変換する工程と、行のみを変換する工程と、列のみを変換する工程と、変換を行わない工程と、を含む。これらのモードを選択した旨の情報は復号器に伝達される。変換係数は、無変換画像値を変換係数と同じレベルにもたらすために、スキップされた変換の変換ベクトルのノルムに依存する因子によってスケーリングされる。
【選択図】図１

Description

本発明は、ビデオ圧縮／復元システムに関し、特に、スケーリング、量子化、スキャンおよび信号伝送を含む変換関数および関連するツールを適応的に利用することで、予測とエントロピー符号化との間の信号表現を適応モデリングするためのフレームワークに関する。

ビデオシーケンスの伝送および記憶は、テレビ放送、インターネットのビデオストリーミングサービスおよびビデオ会議などのいくつかの用途で用いられている。

シーケンスの各秒が数十もの個別のフレームから構成されることがあり、数百または数千のピクセルを必要とする各フレームが、典型的に、少なくとも８ビット／ピクセルで表現されるため、未加工の形式のビデオシーケンスは、表現に極めて大量のデータを必要とする。伝送および記憶のコストを最小限にするために、未加工のビデオデータに対してビデオ圧縮が使用される。その目的は、可能な限り小さな容量、つまり、可能な限り少ないビット数でオリジナルの情報を表現することである。ビデオシーケンスを表現するために必要な容量を減らすと、圧縮されたシーケンスのビデオ品質、すなわち、圧縮されていないオリジナルのビデオシーケンスとの類似性に影響が及ぶ。

ＡＶＣ／Ｈ．２６４などの最先端のビデオエンコーダは、圧縮したビデオシーケンスの所望のビデオ品質レベルを実現しながら、最大限のビデオ圧縮レベルを実現するための４つの主なプロセス、すなわち、予測、変換、量子化およびエントロピー符号化を利用する。予測プロセスは、データの表現に必要な容量を大幅に減らすために、ビデオシーケンスに見られる時間的および空間的な冗長性を利用する。データ予測に使用される機構は、エンコーダおよびデコーダの両方に認識されているため、原信号を再構築するには、エラー信号、すなわち、残差信号だけをデコーダに送信しなければならない。このプロセスは、典型的に、フレーム全体ではなくデータブロック（例えば、８×８ピクセル）に対して実行される。予測は、典型的に、すでに再構築されたフレーム、または同じフレームに属する再構築されたピクセルのブロックに対して実行される。

変換プロセスは、残差信号に存在する相関性を利用することを目的としている。これは、信号のエネルギーを少数の係数に集中させることにより行われる。したがって、変換係数は、典型的に、残差のピクセルよりも表現に必要なビット数が少ない。Ｈ．２６４では、離散コサイン変換（ＤＣＴ）に基づいて、４×４および８×８の整数型変換を使用する。

変換プロセスの出力においてデータの表現に必要な容量は、依然として多くの用途において大きすぎる場合がある。さらに、圧縮信号に対して所望のレベルの容量を実現するために、変換プロセスを修正することができない。量子化プロセスは、信号の表現に必要な容量をさらに減らすことで、この問題に対処する。しかしながら、このプロセスは破壊的であること、すなわち、再構築されたシーケンスは、オリジナルとは異なって見えることに留意されたい。

エントロピー符号化プロセスは、非ゼロの量子化変換係数をすべて得て、これらの変換係数を効率的に表現されるように処理してビットストリームにする。これには、圧縮されたビデオシーケンスの表現に必要な容量を最小限にするために、特定の順序で変換係数を読み取ること、すなわち、スキャンが必要である。

上記記載は、ビデオエンコーダに当てはまり、ビデオデコーダは、上記のプロセスのすべてをほぼ逆順に実行する。特に、デコーダ側の変換プロセスには、エンコーダで使用されている変換の逆を使用することが必要となる。同様に、エントロピー符号化はエントロピー復号になり、量子化プロセスは逆スケーリングになる。予測プロセスは、典型的に、エンコーダおよびデコーダの両方でまったく同じ方法で実行される。

本発明は、符号化の変換部分に関し、したがって、変換プロセスのより徹底的な見直しが本明細書において提示される。

残差の統計的性質は、少数の係数で入力信号のエネルギーを圧縮するための変換（すなわち、ＤＣＴ）の能力に影響する。残差は、予測品質に応じて、および予測が空間的または時間的な冗長性を利用するかに応じてまったく異なる統計的性質を示す。予測の品質に影響する他の要因は、使用されるブロックのサイズおよび処理されるシーケンスの空間的／時間的特性である。

ＤＣＴは、相関性が高い一次マルコフ（Ｍａｒｋｏｖ−Ｉ）信号に対して最大エネルギー集中特性に近付くことがよく知られている。ＤＣＴのエネルギー集中特性は、信号の相関性が弱くなると低下し始める。例えば、隣接相関性の特性がより低い入力信号に対しては、離散サイン変換（ＤＳＴ）の方がＤＣＴより優れた性能を発揮しうることを示すことが可能である。

画像とビデオ符号化におけるＤＣＴおよびＤＳＴは、通常、ブロック、すなわち、２Ｄ信号に対して使用される。すなわち、まず、一方向（例えば、水平方向）に一次元変換が実行され、次に、他方向に一次元変換が実行される。上述したように、変換のエネルギー集中能力は、入力信号の統計に依存する。変換への二次元信号入力が縦軸および横軸の２つの軸に沿って異なる統計的性質を示す可能性があり、実際、ある状況下において一般的である。この場合、各軸で最良の性能を示す変換を選択することが望ましい。策定段階にあるＩＳＯおよびＩＴＵによる動画像符号化の新規格、高効率動画像符号化（ＨＥＶＣ：Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）において、同様のアプローチがすでに試みられている。策定中のＨＥＶＣ規格では、特に、ＤＣＴ様（ＤＣＴ−ｌｉｋｅ）［２］およびＤＳＴ［３］などの２つの分離可能な一次元変換の組み合わせが使用されてきた。

ＤＣＴ系の前述した符号化規格では、二次元変換（２Ｄ ＤＣＴ）を使用するが、新しい解決策では、イントラ予測ブロック、すなわち、空間的に予測されるブロックに対してＤＣＴおよびＤＳＴの組み合わせを適用する。方向予測が垂直方向よりも水平方向により近い方向からのものである場合、行の変換にはＤＣＴよりもＤＳＴを選択する方が良好であり、同様に、方向予測が垂直方向により近い場合、列の変換にはＤＳＴを選択する方が良好である。残りの方向（例えば、列にＤＳＴが適用される場合の行）には、ＤＣＴが使用される。

ビデオ符号化における実施目的では、ＤＣＴおよびＤＳＴの整数近似を使用することが一般的であり、本明細書の以下の記載において、ＤＣＴおよびＤＳＴの整数近似を単にＤＣＴおよびＤＳＴと呼ぶ。整数ＤＣＴ様変換の解決策の１つは、１６ビット中間データ表現を使用し、部分バタフライ（ｐａｒｔｉａｌ ｂｕｔｔｅｒｆｌｙ）として知られている。この主な特性は、ＤＣＴのものと同じ（反）対称性であり、ほぼ直交の基底ベクトル、各変換段階の前後の１６ビットデータ表現、すべての内積に対して１６ビット乗数であり、および（逆）量子化中に基底ベクトルの異なるノルムの補正が不要であることである。

一態様において、本発明は、画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用してビデオを符号化する方法であって、行変換および列変換の一方または両方がスキップされるスキップモードを含む変換モードのセットを確立するステップと、前記モードの一方を選択するステップと、変換がスキップされる任意のブロックに対して、無変換画像値を変換係数と同じレベルにもたらすためにスキップされた変換の変換ベクトルのノルムに依存するスケーリング因子を、ブロックの対応する画像値に適用するステップと、選択されたモードの指示をデコーダに与えるステップとを含む方法にある。

本発明はまた、画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用して符号化されたビデオを復号する方法であって、行変換および列変換の一方または両方がスキップされる変換スキップモードの指示を受けるステップと、モードに従って逆変換を適用し、スキップされた変換の変換ベクトルのノルムに依存するスケーリング因子である逆スケーリングを任意の変換されていない画像値に適用するステップとを含む方法にある。

同じスケーリング因子が、スケーリングされた行または列のすべての係数に対して使用されてもよい。

別の態様において、本発明は、画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用してビデオを符号化する方法であって、行変換および列変換の一方または両方がスキップされるスキップモードを含む変換モードのセットを確立するステップと、前記モードの一方を選択するステップと、変換がスキップされる任意のブロックに対して、スキップされた変換に従って量子化ステージを適応し、選択されたモードの指示をデコーダに与えるステップとを含む方法にある。

この態様において、本発明はまた、画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用して符号化されたビデオを復号する方法であって、行変換および列変換の一方または両方がスキップされる変換スキップモードの指示を受けるステップと、モードに従って逆変換を適用し、スキップされた変換に従って適応された逆量子化を適用するステップとを含む方法にある。

好ましくは、各列に同じ値を有する量子化行列が、列に動作する変換がスキップされると適用され、各行に同じ値を有する量子化行列が、行に動作する変換がスキップされると適用される。

さらなる別の態様において、本発明は、ブロックの行および列に動作する空間変換を利用してビデオを符号化する方法であって、変換スキップモードのセットを確立するステップと、前記モードの１つを選択するステップと、選択されたモードの指示をデコーダに与えるステップとを含み、ブロック内の符号化／復号される最初および最後の係数の位置がデコーダに信号で送られ、前記最初および最後の係数の間で係数のスキャンが実行される方法にある。
この態様において、本発明はまた、変換スキップモードのセットで、ブロックの行および列に動作する空間的変換を利用して符号化されたビデオを復号する方法であって、変換スキップモードの指示を受けるステップと、モードに従って逆変換を適用するステップと、符号化されるブロック内の最初および最後の係数の位置の指示を受け、前記最初および最後の係数の間の係数をスキャンするステップとを含む方法にある。

変換係数のブロックが係数のサブブロックで表され、各サブブロックがサブブロックレベルのスキャンに入り、各サブブロック内でスキャンが使用される二重スキャンが実行されてもよい。

以下の好ましい特徴は、上記に示す本発明の態様の各々に関連する。

変換スキップモードのセットは、行および列の変換と、無変換との２つのモードを含んでもよい。あるいは、変換スキップモードのセットは、行および列の変換と、行のみの変換と、列のみの変換と、無変換との４つのモードを含んでもよい。

モード選択が、各モードに符号語を割り当ててデコーダに信号伝送されてもよい。同じ変換スキップモードが、ＹＵＶブロックのすべての成分（輝度−Ｙ、色差−ＵおよびＹ）に使用されてもよい。変換スキップモードは、１つのブロック群の全成分ＹＵＶに対して信号伝送されてもよく、他のブロック群の各成分に対して別に信号伝送される。このように、ＨＥＶＣにおいて、インター符号化ブロックに対して信号伝送する共同のＹＵＶモードと、イントラ符号化ブロックの各成分に対して別のＴＳＭモードとを有することが有用な場合がある。

変換スキップモードは、ゼロ値係数のみを有するブロックに対する信号伝送が不要な場合がある。輝度成分がゼロ値のみを有するときは信号伝送が不要な場合があり、この場合、色度成分に２Ｄ変換が使用される。変換スキップモードは、輝度成分の非ゼロ値係数のみがブロックの左上隅（ＤＣ成分）であるときは信号伝送が不要な場合があり、この場合、色度成分に２Ｄ変換が使用される。変換スキップモードは、所定の他のモード（例えば、他のフレームからのみ予測される）を有するブロックに対してのみ信号伝送されてもよい。

いくつかの例において、ブロック内の係数がエントロピー符号化段階でスキャンされる順番は、変換スキップモードに従って適応されてもよい。したがって、行変換がスキップされ、列変換が維持される行ごとのスキャンが用いられてもよく、列変換がスキップされ、行の変換が維持される列ごとのスキャンが用いられてもよい。

以下、添付の図面を参照しながら、一例として本発明を説明する。

本発明の実施形態によるエンコーダの特徴を示すブロック図である。 本発明の実施形態によるデコーダの特徴を示すブロック図である。 既知のジグザグスキャン手法の代替を示す図である。 さらなる別のスキャン手法を示す図である。 本発明のさらなる実施形態によるエンコーダの特徴を示すブロック図である。 本発明の実施形態によるデコーダの特徴を示すブロック図である。 本発明のさらなる実施形態によるデコーダの特徴を示すブロック図である。

本発明は、変換プロセスを実行するモードである変換スキップモード（ＴＳＭ）を提示する。上述したように、ビデオ符号化において使用される最も一般的な変換は、ＤＣＴである。ＤＣＴのエネルギー集中特性は、残差の相関性に依存する。また、二次元ＤＣＴの効率を低くする残差の非相関性の強さの可能性、または残渣の一方向への相関性の可能性についても記述してきた。エンコーダが、レート歪みの観点でこのような判定を行う場合、変換プロセスをスキップすることが提案される。選択された変換モードは、デコーダに信号伝送される必要があり、デコーダは、その場合信号伝送において規定されたように変換／スキップ変換の組み合わせを実行する。

２つのモード、すなわち、２Ｄ変換（行変換および列変換を含む）を有する第１のモードと、無変換の第２のモードでの動作が可能である。

以下の記述のほとんどにおいて、これらのモードには、行変換のみ、または列変換のみをスキップすることで形成される追加のモードが補足される。したがって、表１に示すように、４つの変換モードが定義される。

ＴＳ０モードは、２Ｄ変換、すなわち、２Ｄ ＤＣＴに相当する。ＴＳ１モードの定義では、一次元の水平方向のＤＣＴを適用した後、直交方向における変換がスキップされ、すなわち、列の変換がスキップされる。ＴＳ２の定義では、水平方向の変換はスキップされるが、列のみが変換される。最後に、ＴＳ３モードでは、両方の軸の変換が完全にスキップされ、すなわち、入力信号へは変換が適用されない。

図１および図２は、それぞれ、エンコーダおよびデコーダのコア変換スキップモードのブロック図を示す。各変換スキップモードは、対応する対（Ｔｆ０，Ｔｆ１）のフラグが、ＴＳ０：（１，１）、ＴＳ１：（１，０）、ＴＳ２：（０，１）およびＴＳ３：（０，０）になるように選択される。

適応オプションを可能にする圧縮ビットストリームからの任意の他の追加ビットに関して、変換スキップモードの信号伝送にはコストがかかりうる。したがって、符号化の効率を最大化するための、いくつかの方針が考えられる。

４つのＴＳＭオプションは、慎重に設計した符号語を用いて信号伝送されうる。これらの符号語は、各ブロックに送信される必要はないが、必要なビットレートを保存するためにいくつかの他の方法が用いられうる。

信号伝送コストを下げるためのいくつかの可能性を以下に挙げる。ここで、各オプションは、エンコーダおよびデコーダの変換関連の部品に影響するものである。

１．ＹＵＶブロックのすべての成分（輝度−Ｙ、色差−ＵおよびＹ）に使用され、すなわち、Ｙ、ＵおよびＶのコロケートブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）に対して、ＴＳＭの選択肢のみが送信される、同一変換モード。

２．すべての量子化されたブロック（Ｙ、ＵおよびＶ）にゼロ値を有する係数しかない場合、信号伝送されないＴＳＭ。

３．Ｙブロックがゼロ値係数のみを有し、Ｕ成分およびＶ成分に２Ｄ ＤＣＴが用いられる場合、ブロックに対して信号伝送されないＴＳＭ。

４．ある他のモード（例えば、双方向予測）を用いたブロックに対してのみ信号伝送されるが、その他の場合、２Ｄ ＤＣＴが適用される、ＴＳＭ。

５．ブロックセットに信号伝送されるＴＳＭの適用（「オン」であれば、セットから各ブロックに対して信号伝送されるＴＳモード）。

６．ブロックセットに信号伝送されるＴＳＭ（例えば、すべてのサブブロックが同一のＴＳＭを共有）。

７．他のある特定のブロック特性が存在すれば信号伝送されるＴＳＭ。例えば、Ｙブロックが１つのみの非ゼロ値を有し、その値がブロックの左上隅（ＤＣ成分）にある場合に信号伝送されないＴＳＭ。この場合、すべての成分に対して２Ｄ−ＤＣＴが用いられる。

４つのＴＳＭモード（２Ｄ変換、２つの１Ｄブロック変換およびブロックでのスキップ変換）が、さまざまな符号語、例えば、単純な２ビット語、またはより高いビット（すなわち、単進（ｕｎａｒｙ）符号）で定義されうる。

算術符号化が使用されれば、符号語の各２進数が、現行ブロックサイズおよびＱＰ値に応じて、異なる確率モデル（すなわち、各スライスの初期コンテキスト状態）で符号化されうる。

一方で、可変長符号化が使用されれば、ＴＳＭ符号語は、信号伝送オーバーヘッドを低減するために、他の構文要素から独立して符号化され、または他の構文要素と合成されうる。

いくつかの手法において、ブロックは常に一度で変換されるわけではなく、ブロックを区画に分けてより小さなサブユニットにするオプションが適用され、各サブユニットに変換が適用される。このような変換構造の代表的な方法が、残差四分木（ＲＱＴ：Ｒｅｓｉｄｕａｌ ＱｕａｄＴｒｅｅ）方法である。より小さなユニットにさらに分割されていないブロックにＴＳＭを適用することがこれまで想定されていたが、ＴＳＭは、このような多分割変換構造にも適用されうる。いくつかのオプションが、以下のように特定される。

１．ＴＳＭは、ブロックレベルで決定され、各サブユニットには同一の変換選択肢が適用される。

２．ＴＳＭは、変換構造のルートレベルでのみ使用可能であり、すなわち、多分割構造を使用可能であるときにブロックがより小さなユニットにさらに区画分けされない場合に使用可能であり、ブロックがより小さなユニットに分割されれば、各ユニットは２Ｄ変換を用いて変換される。

３．ＴＳＭは、各サブユニットに対して、深さとは関係なく決定され信号伝送される。

４．ＴＳＭは、サブユニットに対して、ユニットの特定の深さ（サイズ）まで決定され信号伝送され、より低いサブユニットに対して、ＴＳＢが信号伝送されない場合、２Ｄ変換が使用される。

ブロック内の係数は、一方向または両方向に変換が実行されない場合、異なる特性を有しうる。したがって、所与の係数をより良好に圧縮するために、変換スキップモードに応じて異なる符号化の方針が適用されうる。

ブロックに２Ｄ変換が適用されると、結果的に得られる係数は、ブロックの左上隅へグループ化される場合が多く、すなわち、低周波成分である。したがって、従来のスキャン、例えば、ジグザグスキャンは、このような信号を符号化するための良好な選択肢である。

１Ｄ変換のみが適用されれば（ＴＳ１またはＴＳ２）、適応スキャンが使用されうる。例えば、適応された変換が、より低い周波数の方へ係数を集中させることが期待されるので、ＴＳ２およびＴＳ１の場合のそれぞれに対して、行ごとまたは列ごとのスキャンが使用されうる。

任意の方向に変換が適用されないＴＳ３の場合、従来のスキャン（２Ｄ変換されたブロックに対して使用される）スキャンが使用されてもよい。

あるいは、非ゼロ係数が均一に分布していない確率（無変換を行う判定において暗黙的）を考慮する異なるスキャンパターンが採用されてもよい。例えば、係数はゼロ係数の「海（ｓｅａ）」によって取り囲まれた「島（ｉｓｌａｎｄ）」にグループ化されてもよい。

このように、１つの新しい配置では、ブロック内での最初および最後の有意係数の位置がビットストリームに送信され、ブロック内で係数の従来のスキャンが実行されうる。これは図３に示されており、同図において、白色の正方形は、符号化されず、ゼロ値を有する係数を表し、灰色の正方形は、これから符号化され、すなわち、有意（非ゼロ）係数）を含み、最初の符号化係数には「Ｆ」が付され、最後の符号化係数には「Ｌ」が付される。最初および最後の係数によって規定される領域に属する行および列にのみスキャンが実行される。このスキャン方法において、第１の係数のｘ座標およびｙ座標は、最後の有意係数のｘ座標およびｙ座標と同一またはより小さいものでなければならない。

この配置により、非ゼロ係数がまとまりになっている場合、符号化の効率が高くなるが、ブロック内での最初および最後の有意係数の位置を判定するエンコーダの複雑性がさらに増すとともに、これらの位置をデコーダに信号伝送する必要がある。

他の形態において、図４に示すように、変換係数のブロックが係数のサブブロックで表される二重ジグザグスキャンが使用される。各サブブロックは、サブブロックレベルのジグザグスキャンに入り、各ブロック内において、ジグザグスキャン（または任意の他のスキャン）が使用される。これにより、空間的に近い傾向にある非ゼロ係数をより良好にグループ化できる。

１Ｄ変換の一方または両方をスキップする判定が行われる場合、（１つまたは複数の）スキップされた変換に対応するプロセスの他の要素を変更する必要性を最小限に抑え、または取り除くことが望ましい。

ここで、適応変換段階の２つの実施方針が特定される。
１）行／列の選択された変換をスキップし、量子化段階を修正する。
２）必要に応じて、適切なスケーリングステップによって行／列の選択された変換を置換し、量子化ステップを適応する。

第１の方針は、図１および図２に適切に提示されており、スケーリングを採用した第２の方針は、図５および図６に示されている。スケーリングが実行される主な理由の１つは、変換ブロック間で信号レベルを高い支持精度で維持することである。これは、図５および図６の点線で示されている。

スケーリングは、対応する変換ベクトルの２−ノルムから導き出される因子で各入力ピクセル値をスケーリングすることによって行われる（これは、変換が選択されていれば、行／列の同じ位置で変換係数値を得るために使用される）。いくつかの変換は、各ベクトルの正規直交性質に近い性質を有し、この性質は、変換がスキップされる全行／列を適切にスケーリングするために単一の値が使用されうるので、スケーリング設計をさらに単純化しうる。

以下、１６ビット中間データ表現を用いる整数ＤＣＴ変換との関連で、スケーリング方針について論じる。しかしながら、これは一例にすぎないことを認識されたい。

ＨＥＶＣにおいて使用される変換はノルム（ＴＮ_Ｎ）を有し、Ｎは、以下の数字に近い変換のサイズである。
− ４点変換：ＴＮ_４＝１２８＝２^７；ＴＮＳ_４＝７、
− ８点変換：ＴＮ_８＝１８１＝２^７．５；ＴＮＳ_８＝７．５、
− １６点変換：ＴＮ_１６＝２５６＝２^８；ＴＮＳ_１６＝８、
− ３２点変換：ＴＮ_３２＝３６２＝２^８．５；ＴＮＳ_３２＝８．５、

ここで、ＴＮＳは、対応する変換ノルムシフト（Ｔｒａｎｓｆｏｒｍ Ｎｏｒｍ Ｓｈｉｆｔ）パラメータである（左ビットシフトで表される２の累乗）。ＨＥＶＣにおいて、各変換ベクトルのノルムはわずかに異なるものであってもよいが、これらの数字は、実用的な実装のための良好な近似値であることに留意されたい。また、この事実は、１６ビット中間データ表現を保つための量子化の設計、および変換レベルの調節において反映される。例えば、ＨＥＶＣデコーダの設計において、１６ビット値が逆変換に入れられる。列（第１段逆）変換および行（第２段逆）変換の間で１６ビット精度を達成し、行変換後、９＋ＤＢ精度を達成するために、以下の信号レベルビットシフトが起こる（Ｎ×Ｎブロックサイズを考慮）。

ＳＨＩＦＴ＝ＴＮＳ_Ｎ−ＳＨＩＦＴ＿ＩＮＶ＿１ＳＴ＋ＴＮＳ_Ｎ−（ＳＨＩＦＴ＿ＩＮＶ＿２ＮＤ−ＤＢ）、
ここで、規格によって、ＳＨＩＦＴ＿ＩＮＶ＿１ＳＴ＝７およびＳＨＩＦＴ＿ＩＮＶ＿２ＮＤ＝１２であり、ＤＢは処理のためのビット深度増分（例えば、０または２）である。内部処理ビット深度は、Ｂ＝８＋ＤＢである。したがって、ＳＨＩＦＴは、以下のようになる。
ＳＨＩＦＴ＝２・ＴＮＳ_Ｎ−１９＋ＤＢ＝２・ＴＮＳ_Ｎ−２７＋Ｂ

これは、ＨＥＶＣ量子化において使用されるパラメータ変換シフトに相当する。これにより、４×４ブロックが考慮される例（ＴＮＳ_４＝７）に対して、
−ＳＨＩＦＴ_４＝１３−Ｂ
であり、すなわち、１３−Ｂ右シフトされる。

この例は、ＴＳ３に対する信号レベルの調節に対処するために使用されてもよいが、一方向にしか変換が適用されない場合、いくつかの追加事項を考慮に入れる必要がある。その理由は、ＴＮＳ_Ｎが常に整数ではなく、したがって、ビットシフトがレベル調節用の唯一のオプションではないためである。このような組み合わせに対して統一した設計を取り扱うための他のオプションは、以下の記載において扱う。

変換がスケーリングに置き換えられる場合、適応変換段階は、１６ビット中間データ表現を用いる整数ＤＣＴ変換内においてインタリーブ可能なように、すなわち、変換の部分のいくつかを置き換え、元の２Ｄ変換をサポートするコーデックの残りと適合するようにすることを目的に設計される。例えば、列に適用される２Ｄ変換の部分と適合可能なままであるように、行に変換を適用しないこともありうる。これは、２Ｄ変換に適用される量子化が、適応変換の選択とともに使用されうることを意味する。

順変換スキップは、行および列に対して別々に定義される。

行のサンプルｘに、変換スキップが以下のように適用される。
ｙ＝Ｓビット右シフトされた（ｘ・スケール＋オフセット） （ａ）
式中、
Ｓ＝Ｍ−１＋ＤＢ
オフセット＝（Ｓ−１）ビット左シフトされた１
ＤＢ＝Ｂ−８ビット処理用の深度増分
Ｍ＝ｌｏｇ２（Ｎ）であり、式中、Ｎはピクセル数の行／列サイズであり、スケールは符号なし整数乗数である。
列に、変換スキップは（ａ）のように適用され、ｘは列のサンプルであるが、
Ｓ＝Ｍ＋６
オフセット＝（Ｓ−１）ビット左シフトされた１
である。このように、２Ｄ変換のように、各変換段階の後に１６ビット幅が確保される。

ここでも、スケール因子は、関連する変換ベクトル（スケール_Ｎ ^２＝ＴＮ_Ｎ ^２＝Ｎ・６４^２）の２−ノルムの近くになるように、および整数になるように設計される。列のサンプルｘに、逆変換スキップが以下のように適用される。
ｙ＝Ｓビット右シフトされた（ｘ・スケール＋オフセット）
式中、
Ｓ＝７
オフセット＝（Ｓ−１）ビット左シフトされた１
であり、スケールは、順スキップと同じである。
行に、同じ変換スキップ演算が適用されるが、
Ｓ＝１２−ＤＢ
であり、ＤＢは順変換スキップと同じである。

不要なピクセル処理を省くために、一方または両方の１Ｄ変換がスキップされる場合、スケーリングが量子化に移行されうる。さらに（例えば）、垂直変換のみが維持される場合、最大１６ビットのピクセル表現を確保するために、スケーリングが適応されうる。これにより、利用可能なビット幅をすべて使用することができる。したがって、量子化スケーリングは、スケーリングがスキップされた変換に関係するためだけでなく、変換内の新しいスケーリングに関係するために適応される必要がある。

ＴＳＭ＝ＴＳ０（２Ｄ変換）
通常の２Ｄ変換および対応する量子化が使用される。

ＴＳＭ−ＴＳ１（１Ｄ行変換）およびＴＳ２（１Ｄ列変換）
両方の場合において、順変換は、行の元の変換に相当する。
ｙ＝Ｓビット右シフトされた（ｘ＋オフセット） （ｂ）
式中、
ｘは、残差ブロックの元の値である。
Ｓ＝Ｍ−１＋ＤＢ
オフセット＝（Ｓ−１）ビット左シフトされた１
であり、ＭおよびＤＢは（ａ）と同じである。
これにより、１６ビット中間データ精度が確保される。
量子化は適応され、現在の信号レベルを考慮する。

ＴＳＭ＝ＴＳ３（無変換）
残差ピクセルは、信号レベルが、２Ｄ変換および量子化される量子化係数レベルに相当するように、フラットマトリクスを用いて直接量子化される。

以下、図７を参照しながら、変換がスキップされる場合の信号レベルの調節方法の別の例が提示される。この例では、所望の性能を実現するために要求される演算数を低減することが目的である。この意味で、変換または変換の部分がスキップされ、または置き換えられうる場合、この技術は、以下のような１つ以上の基本演算の組み合わせを使用する。

１．変換段階におけるビットシフトへの変更、
２．２未満の因子による信号のスケーリングに相当する量子化の調節、
３．量子化外のスカラーによる変換または変換の部分の置き換え。

信号の各スケーリングは、因子２^Ｎによるスケーリングによって表され（Ｎは正の整数）、２より小さい因子Ｍによるスケーリングによって表されうる。この場合、Ｎは前述した例のような変換サイズであることに留意されたい）。本発明において、演算１により、因子２^Ｎ（ビットシフト）による信号スケーリングが可能になり、演算２により、Ｍによるスケーリングが可能になる。Ｍの選択肢は、典型的に限られ、量子化設計に依存する。ビデオ符号化における１Ｄ変換の典型的な成分は、ビットシフトである。したがって、ここで適用される演算１により、因子２^Ｎにより信号レベルを容易に調節できる。両方の変換がスキップされる場合、演算３に相当する、図７からの「スケーリング」ブロックにおいて信号レベルの調節が実行されうる。いずれにせよ、２未満の因子、量子化パラメータオフセット、または量子化スケーリング因子による信号の調節は、要求された信号レベル調節を実行するために適切に選択されうる。例えば、高効率動画像符号化（ＨＥＶＣ）において、３のオフセットを量子化パラメータに追加することは、ｓｑｒｔ（２）（２の平方根）による信号レベルの調節と同等である。

本発明は例示的目的のみによって記述され、添付の特許請求の範囲に示される本発明の範囲から逸脱することなくさまざまな修正形態が可能であることを理解されたい。ある組み合わせにおいて本明細書に記述される特徴は、具体的に記載したもの以外の他の組み合わせでも有用な応用を見出すこともあり、単独で使用される場合もある。例えば、ビデオ符号化または復号におけるスキャン手法が、

ブロック内で符号化／復号される最初および最後の係数の位置がデコーダに信号伝送され、前記最初および最後の係数の間で係数のスキャンが実行される場合、または、

変換係数のブロックが係数のサブブロックで表される場合に二重スキャンが実行され、各サブブロックがサブブロックレベルのジグザグスキャンに入り、各サブブロック内において追加のスキャンパターンが使用される場合、
変換スキップモードの場合より有用なこともある。

本発明の態様を４つの変換スキップモードを用いて説明してきたが、上述したように、応用によっては、これらのモードの２つのみで動作することも可能である。

Claims (24)

1. 画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、前記画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用してビデオを符号化する方法であって、
   前記行変換および前記列変換の一方または両方がスキップされるスキップモードを含む変換モードのセットを確立するステップと、
   前記モードの一方を選択するステップと、
   変換がスキップされる任意のブロックに対して、無変換画像値を変換係数と同じレベルにもたらすために前記スキップされた変換の変換ベクトルのノルムに依存するスケーリング因子を、前記ブロックの対応する画像値に適用するステップと、
   前記選択されたモードの指示をデコーダに与えるステップと
   を含む方法。
2. 画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、前記画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用して符号化されたビデオを復号する方法であって、
   前記行変換および前記列変換の一方または両方がスキップされる変換スキップモードの指示を受けるステップと、
   前記モードに従って逆変換を適用し、前記スキップされた変換の前記変換ベクトルのノルムに依存するスケーリング因子である逆スケーリングを任意の変換されていない画像値に適用するステップと
   を含む方法。
3. 同じスケーリング因子が、スケーリングされた行または列のすべての係数に対して使用される、請求項１または２に記載の方法。
4. 画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、前記画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用してビデオを符号化する方法であって、
   前記行変換および前記列変換の一方または両方がスキップされるスキップモードを含む変換モードのセットを確立するステップと、
   前記モードの一方を選択するステップと、
   変換がスキップされる任意のブロックに対して、前記スキップされた変換に従って量子化ステージを適応し、前記選択されたモードの指示をデコーダに与えるステップと
   を含む方法。
5. 画像値ブロックの行に動作し、行変換ベクトルを有する行変換と、前記画像値ブロックの列に動作し、列変換ベクトルを有する列変換とを利用して符号化されたビデオを復号する方法であって、
   前記行変換および前記列変換の一方または両方がスキップされる変換スキップモードの指示を受けるステップと、
   前記モードに従って逆変換を適用し、前記スキップされた変換に従って適応された逆量子化を適用するステップと
   を含む方法。
6. 各列に同じ値を有する量子化行列が、列に動作する変換がスキップされると適用され、各行に同じ値を有する量子化行列が、行に動作する変換がスキップされると適用される、請求項１から５のいずれか一項に記載の方法。
7. ブロックの行および列に動作する空間変換を利用してビデオを符号化する方法であって、
   変換スキップモードのセットを確立するステップと、
   前記モードの１つを選択するステップと、
   前記選択されたモードの指示をデコーダに与えるステップと
   を含み、ブロック内で符号化／復号される最初および最後の係数の位置が前記デコーダに信号伝送され、前記最初および最後の係数の間で係数のスキャンが実行される方法。
8. 変換スキップモードのセットで、ブロックの行および列に動作する空間的変換を利用して符号化されたビデオを復号する方法であって、
   前記変換スキップモードの指示を受けるステップと、
   前記モードに従って逆変換を適用するステップと、
   復号化される、ブロック内の前記最初および最後の係数の位置の指示を受け、前記最初および最後の係数の間の係数をスキャンするステップと、
   を含む方法。
9. 変換係数のブロックが係数のサブブロックで表され、各サブブロックがサブブロックレベルのスキャンに入り、各サブブロック内でスキャンが使用される二重スキャンが実行される、請求項１から８のいずれか一項に記載の方法。
10. 変換スキップモードのセットが、
    行および列の変換と、
    無変換と
    を含む、請求項１から９のいずれか一項に記載の方法。
11. 変換スキップモードのセットが、
    行および列の変換と、
    行のみの変換と、
    列のみの変換と、
    無変換と
    を含む、請求項１から１０のいずれか一項に記載の方法。
12. モード選択が、各モードに符号語を割り当ててデコーダに信号伝送される、請求項１から１１のいずれか一項に記載の方法。
13. ブロック内の係数がエントロピー符号化段階でスキャンされる順番が、前記変換スキップモードに従って適応される、請求項１から１２のいずれか一項に記載の方法。
14. 前記行変換がスキップされ、前記列変換が維持される、行ごとのスキャンが用いられ、前記列変換がスキップされ、前記行の変換が維持される、列ごとのスキャンが用いられる、請求項１３に記載の方法。
15. 変換スキップモードが、１つのブロック群の全成分ＹＵＶに対して信号伝送され、他のブロック群の各成分に対して別に信号伝送される、請求項１から１４のいずれか一項に記載の方法。
16. 同じ変換スキップモードが、ＹＵＶブロックのすべての成分（輝度−Ｙ、色差−ＵおよびＹ）に使用される、請求項１から１５のいずれか一項に記載の方法。
17. 変換スキップモードが、ゼロ値係数のみを有するブロックに対して信号伝送されない、請求項１から１６のいずれか一項に記載の方法。
18. 変換スキップモードが、輝度成分がゼロ値のみを有するときは信号伝送されず、この場合、色度成分に２Ｄ変換が使用される、請求項１６に記載の方法。
19. 変換スキップモードが、前記輝度成分の非ゼロ値係数のみがブロックの左上隅（ＤＣ成分）であるときは信号伝送されず、この場合、前記色度成分に２Ｄ変換が使用される、請求項１６に記載の方法。
20. 変換スキップモードが、所定の他のモード（例えば、他のフレームからのみ予測される）を有するブロックに対してのみ信号伝送される、請求項１から１９のいずれか一項に記載の方法。
21. 変換スキップモードが、ブロックセットに信号伝送される、請求項１から２０のいずれか一項に記載の方法。
22. 請求項１から２１のいずれか一項に記載の方法をプログラム可能手段に実行させる命令を含むコンピュータプログラム製品。
23. 請求項１、４および７のいずれか一項に従って動作するように適応および構成されたビデオエンコーダ。
24. 請求項２、５および８のいずれか一項に記載の方法に従って動作するように適応および構成されたビデオデコーダ。

Images