JP2010538575A - 代替え的エントロピー符号化方法 - Google Patents

Abstract

本発明は、或る理由で予測用画素が入手出来ず、そして入手可能な予測データ用の統計に基づくＶＬＣコードが不便な程長い時の、量子化された変換係数のエントロピー符号化の方法を提供する。本発明に依れば、予測値の画素の入手可能でない状況が起こるかどうかが決定される。もし起これば、残差ブロックを得るための予測ブロックの値として使われる画素ブロックに固定値が挿入され、該残差ブロックは今度は変換され、量子化される。続くエントロピー符号化では、特殊目的のＶＬＣが該量子化された変換係数の低周波係数を表現するため使われる。
【選択図】 図１

Description

本発明はビデオ圧縮システムに於ける変換係数データのエントロピー符号化に関する。

例えば、ビデオ会議、ネット会合、テレビ放送及びビデオ電話通信の様な幾つかの応用では動画の実時間伝送が使われる。

しかしながら、動画の表現は、デジタルビデオが典型的に８ビット（１バイト）で画像内各画素を表現することにより記述されるので、大量の情報を要する。この様な非圧縮ビデオデータは大きなビット容量に帰着し、従来の通信ネットワーク及び伝送ライン上では、限られたバンド幅のために、実時間では転送出来ない。

かくして、実時間ビデオ伝送を可能にするには高度のデータ圧縮を要する。しかしながら、データ圧縮は画質との妥協である。それ故、バンド幅の限定されたデータ接続線上での高画質ビデオの実時間伝送を可能にする圧縮技術を開発するために大きな努力が払われて来た。

ビデオ圧縮システムでは、主な目標は出来るだけ小容量でビデオ情報を表現することである。容量は定量値としてか又はビット／時間単位としてか、何れかでビットで規定される。両者共、主な目標はビット数を減らすことである。

過去数年に亘り多くのビデオ圧縮標準が開発されて来た。それらの方法の多くはＩＳＯ（国際標準化組織）又はＩＴＵ（国際通信連合）を通して標準化された。その上、多数の他の専有化された方法が開発されて来た。主な標準化方法は下記である：
ＩＴＵ：Ｈ．２６１，Ｈ．２６２，Ｈ．２６３，Ｈ．２６４
ＩＳＯ：ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４（ＡＶＣ）

これらの標準に依る符号化過程の第１ステップは画像を画素の正方形ブロック、例えば１６×１６又は８×８画素に分けることである。これは輝度情報のみならずクロミナンス情報についても行われる。

次の予測過程は転送されるべきビデオシーケンス内の各画像に要するビット量を著しく減じる。該過程は該シーケンスの或る部分が該シーケンスの他の部分と類似していることを利用し、そのブロック内の画素用の予測値を作る。これは既に符号化された／復号化された画像の画素に基づく（フレーム間予測と呼ばれる）か、又は同じ画像内の既に符号化された／復号化された画素に基づいて（フレーム内予測と呼ばれる）もよい。該予測は主に動きを表すベクトルに基づく。

予測部分は符号化器及び復号化器の両者に知られているので、その差のみが転送されればよい。この差は典型的にその表現用に遙かに少ない容量しか要しない。符号化されるべき画素と予測される画素の間の差は残差と呼ばれることが多い。

データのブロック（例えば４×４画素）として表される該残差はなお内部相関を有する。これを利用する公知の方法は２次元ブロック変換を行うことである。Ｈ．２６３では、８×８離散余弦変換｛デーシーテー（ＤＣＴ）｝が使われるが、Ｈ．２６４は４×４整数型変換を使う。これは４×４画素を４×４変換係数に変換し、それらは通常は画素表現より少ないビットにより表現され得る。内部相関を有する画素の４×４配列の変換は、恐ら
くは元の４×４画素ブロックより遙かに少ない非ゼロ値を有する変換係数の４×４ブロックに帰着する。

変換係数の直接表現は多くの応用でなお余りにコスト高である。該データ表現の更に進んだ削減用に量子化過程が行われる。従って、変換係数は量子化を受ける。量子化の簡単な版はパラメーターを或る数で割り、より少ないビットで表されるより小さい数に帰着する。これはビット生産と再生画質とを制御する主なツールである。この量子化過程が、結果として、再生ビデオシーケンスが圧縮されないシーケンスと幾分異なることは述べられるべきである。この現象は“非可逆的符号化”と呼ばれる。

最後に、該２次元変換係数データをデータの１次元セットへのいわゆる走査が行われ、該１次元セットは更にエントロピー符号化枠組みにより更に変換される。エントロピー符号化は量子化された変換係数の可逆的表現を意味する。

上記ステップは符号化器用の自然な順序でリスト化されている。復号化器は該操作を逆の順序で或る程度行い、変換の代わりの逆変換そして量子化の代わりの脱量子化として“逆”操作を行う。

上記操作は図１で画かれる。エントロピー過程は下記でより詳細に説明される。

変換係数は上左隅に位置付けられた低周波係数（又は直流係数）で従来画かれている。その時、水平及び垂直の空間的周波数は右の方へそして下方へと増加する。図１で示された走査は低から高への空間周波数係数の走査であり、該走査は普通ジグザグ走査と呼ばれる。該エントロピー符号化では、該係数は前進走査と呼ばれる、矢印で示す方向の走査を受けるが、他の場合では、“逆走査”（高から低周波へ）が使われるならばエントロピー符号化はより効率的である。

量子化後、該変換係数は符号付き整数として表される。これらの数は変型せずに復号化器へ運ばれる。これは可逆的表現又は可逆的符号化と呼ばれる。

同時に該変換係数を表すモデルは出来るだけ少いビットの使用に帰着すべきである。かくして、エントロピー符号化は、イベントの発生の期待周波数に基づく最適表現を行うため使われる。これは正常の画像内容から得られる統計に基づく。

該統計は、符号化に使われるべき可変長さコード表（ＶＬＣ）を設計するため使われる。基本的アイデアは頻繁なイベントに短いコード語を割り当てることであり、全ては統計に従って行われる。

これは符号化されるべきデータが下地となる統計に合理的に良く適合する限り、低ビットの使用に帰着する。反対の場合に、非常に非典型的なデータが符号化されるべき時は、ビットの使用は余りに高くなるかも知れない。符号化されるべきデータが“正常な”統計への適合に失敗する状況では、大きなビット数により表される出来事はもっと頻繁になろう。これは、ビデオ画像が取り込まれる環境での急激で継続する光変化に於ける状況である。これは符号化／復号化される画像の質を害するが、それは該符号化過程が、長コード語の頻繁な発生に適合するよう量子化間隔を自動的に調整するからである。

本発明の目的は、低複雑性を高性能とバランスさせる従来技術と比較して、改良されたエントロピー符号化方法を提供することである。一緒に含まれる独立請求項で規定された特徴は本方法を特徴付ける。

特に、本発明は、対応する現在のブロックの画素値と予測ブロックの値との差として得られる残差ブロックの画素値を表現する量子化された低周波及び高周波変換係数を、発生を期待される係数値に調整された第１ＶＬＣに依り低周波変換係数及び高周波変換係数を表現するエントロピー符号化／復号化手順により、符号化／復号化する方法であり、該予測ブロックの値が存在するか、又は１つ以上の予め規定された規則に依り得られるかを決定する過程と、もし該予測ブロックの値が存在しない、又は得られない、ならば、該予測ブロックの値に固定値を挿入する過程と、そして該予測ブロックの値が前記低周波係数の表現に固定される時、発生を期待される係数値に特に調整された第２ＶＬＣを使う過程と、を具備する該符号化／復号化する方法を提供する。

本発明をより容易に理解可能ならしめるために、下記論議は付随図面を参照する。
従来技術の符号化過程の主要ステップを図解するブロック線図を示す。 フレーム内予測用画素が入手可能でない画像の左上隅部のブロックを示す。 本発明の例示実施例に依るＰＲＥＤモードで使われるＶＬＣの表である。 本発明の例示実施例に依るＮＯＰＲＥＤモードで使われるＶＬＣの表である。

本発明の詳細な説明

本発明は、或る理由で予測用画素が入手可能でなく、入手可能な予測データ用統計に基づくＶＬＣコードが不便な程長い時に、量子化された変換係数のエントロピー符号化の方法を提供する。下記説明は符号化器側に基づくが、本発明は復号化器側にも同様に適用される。

予測用に入手可能な画素がない状況は幾つかの理由で起こる。前の関連する（フレーム間又はフレーム内）画素データが予測用に入手可能でないかも知れない。

他方、例えフレーム間の画素データが入手可能であっても、もし何等かの理由でフレーム内予測しか考えられないなら、予測用に入手可能な画素はなお欠けており、そしてブロックの上又は左に画素はない。この状況は図２の画像の上左ブロックを有する例で画かれている。

同じ状況は、例えば、誤り回復目的で、予測用ブロックの外の画素を使用しないことが望ましい場合に起こるであろう。

情報を含む予測がないこれらの場合、最大値の中央値へ予測画素を設定するのが通常である。８ビット（０−２５５）画素表現の場合、全ブロック用の予測画素は１２８に設定される。これは通常より高い残差値に帰着するので、量子化され低周波変換された係数、そして特に直流係数も通常期待されるより高い。結果はエントロピー符号化モデルが必要なより多いビットを生じることになる。

本発明の１実施例に依れば、符号化器は“予測なし”の状況があるか否かを連続的にモニターする。２つのモニターされる状況の１つは、合理的な予測が可能である、又は該エントロピー符号化が、正常なエントロピー符号化手順で合理的に成功し得る時、に起こる。この状況はＰＲＥＤとラベル付けされる。

もう１つの状況は合理的に良い予測が行われ得ぬ時起こり、これは不合理に多いビットを要するイベントの符号化へ導く。この状況はＮＯＰＲＥＤとラベル付けされる。

復号化器から見られるＮＯＰＲＥＤ状況の或る例が下記で開示される。

該復号化器は最初にブロック用に使われるべき予測手順の情報を受けるのが典型的である。これは典型的に下記の１つとなり得る。
１）直ぐ上、直ぐ左の該再生画素の平均を取り、これを予測として使う。
２）ブロック内の全画素を予測するために直ぐ上の該再生画素を使う。
３）ブロック内の全画素を予測するために直ぐ左の該再生画素を使う。
４）伝送誤りが予期される状況では、指示は復号化された画素を予測用に使わせられないとなり得る。−利用可能か或いは否か。

直ぐ上、直ぐ左の該再生画素は種々の理由で予測用に利用可能でない。
ａ）該画素が画像の外側にあり従って利用可能でない。
ｂ）該画像が符号化用にスライスに分割される。該スライスの外側の画素は予測用に使われない規則がある。従って、予測されるべきブロックがスライスの境界線上にあるなら、該画素は予測用に利用可能でない。
ｃ）直ぐ左の画素は利用可能でなく、何故ならば該左のブロックは本ブロックと平行に処理され、該ブロックから該左のブロックへの再生画素は従って予測用に使われる用意はされてない。

見られる様に、１−４とａ）−ｂ）の種々の組み合わせは、画素のブロックの符号化が何れの復号化された画素も参照することなく行われねばならない状況へ導く。

本発明の本実施例に依れば、ＮＯＰＲＥＤが検出された時、或る特殊目的の過程が行われる。

ＮＯＰＲＥＤ状況では何よりも最初に、予測は固定値にセットされる。８ビット表現では、これは上記に示す様に、典型的に１２８である。

“真の”予測データが無いにも拘わらず、符号化器は予測／符号化モードにセットされるので、該符号化器／復号化器は予測データがなお入手可能であると取るであろう。

その時、符号化器／復号化器は異なるエントロピー符号化戦略へ切り替えるが、そこでは低周波係数の１つ又は２，３はこの状況用に設計されたＶＬＣ表とは別に符号化される。残りの係数はなお正常エントロピー符号化手順で符号化されるが、直流係数はゼロにセットされる。該直流係数はその結果、特殊直流符号化で規定され、全ての他の係数は正常な符号化により規定される。

しかしながら、ＰＲＥＤ状況がモニターされる時は、全ての係数は正常な手順に依り符号化される。

ＰＲＥＤ状況に於いては、予測は合理的に良好であると取られ、従って符号化されるべき残差は小さい。符号化されるべき量子化された値は整数であり、多くの小さな数が符号化される。この状況では、或る短いコード語を有するコード表が好ましい。他方、大きな数も時々起こり、ＶＬＣ表はこれらの数も符号化出来る可能性を有さねばならない。その時これらの状況は多くのビットを要するが、それらは稀なので、それはなおビットで余りに多いコストは掛からない。この様な状況で使われるべき１つの可能なＶＬＣが図３で示され、該図では左列に係数を有し、右列にコードを有する。

これは平均すると最良の解であり、正常な状況、従ってＰＲＥＤ状況、で普通に使われるＶＬＣコードの特徴を典型的に有する。通常非常に小さい数が符号化される。他方、４０の様な大きな数は符号化されるべき４０ビットを要する。

ここでＮＯＰＲＥＤ状況に移ると、前記の様に、主に直流係数の符号化が考慮される。利用可能な良い予測がないので、平均値である１２８が画素予測用に使われる。この状況で直流係数用に符号化されるべき残差は、ＰＲＥＤ状況に於けるより遙かに大きい広がりを有すると予期される。これは符号化されるべき数が典型的に大きく、非常に頻繁に起こると期待される数が無いことを意味する。かくして、特定のイベント用の短いコード語はビット効率上で必要とされない（そして有用でない）。この状況で、より適切なＶＬＣが図４に示される。

この様なＶＬＣでは、最短コード語は４ビットである。他方、数４０は８ビットを要する。この表は結果的により大きい広がりを有する数のセットを符号化するのに全体として少ないビットを使う。

本発明は画素ブロックを予測する画素が入手可能でない場合が頻繁に起こる状況で有用である。この状況は伝送ビット誤りの影響を最小化するよう符号化が行われる時、起こるのが典型的である。この様な状況では該方法はビット使用の良好な節約に帰着する。同時に該方法の実施コストは最小である。

Claims (4)

1. 対応する現在のブロックの画素値と予測ブロックの値との差として得られる残差ブロックの画素値を表現する量子化された低周波及び高周波変換係数を、発生を期待される係数値に調整された第１ＶＬＣに依り低周波変換係数及び高周波変換係数を表現するエントロピー符号化／復号化手順に依って、符号化／復号化する方法において、
   該予測ブロックの値が存在するか、又は１つ以上の予め規定された規則に依り得られるかを決定する過程と、もし該予測ブロックの値が存在しないならば、
   該予測ブロックの値に固定値を挿入する過程と、
   該予測ブロックの値が前記低周波係数の表現に固定される時、発生を期待される係数値に特に調整された第２ＶＬＣを使用する過程と、
   を具備することを特徴とする符号化／復号化する方法。
2. 第２ＶＬＣを使用する該過程が、
   該低周波及び高周波変換係数を第１及び第２セットの係数で表現する過程を更に備えており、該第１セットの係数の低周波変換係数が前記第２ＶＬＣにより表現され、該第１セットの係数の高周波変換係数がゼロに等しく、該第２セットの係数の低周波変換係数がゼロに等しく、該第２セットの係数の高周波変換係数が前記第１ＶＬＣにより表現されることを特徴とする請求項１記載の方法。
3. 前記固定値が、起こり得る最大係数値の中央値であることを特徴とする請求項１又は２記載の方法。
4. 前記１つ以上の予め規定された規則が、下記の規則のセット、すなわち
   該予測ブロックの値が該ブロックの空間的に直ぐ上の再生画素により計算されること、
   該予測ブロックの値が該ブロックの空間的に直ぐ左の再生画素により計算されること、
   該予測ブロックの値が該ブロックの空間的に直ぐ上及び直ぐ左の再生画素を平均化することにより計算されること、
   伝送誤りが予期される時は復号化された画素を予測用に使わせないこと、
   の１つ以上であることを特徴とする請求項１〜３のいずれか１つに記載の方法。

Images