JP2005333622A - イメージおよびビデオの予測可逆符号化 - Google Patents

Abstract

【課題】 予測可逆符号化により、イメージおよびビデオメディアの写真およびグラフィックスのコンテントの両方の効果的な可逆圧縮を提供すること。
【解決手段】 予測可逆符号化は、既存のイメージおよびビデオコーデックと互換性をもつためにマクロブロックベースで処理することができる。予測可逆符号化により、多重化された利用可能な差分パルス符号変調（ＤＰＣＭ）のモードのひとつを選択し、個々のマクロブロックに適用することによって、ＲＬＧＲ（ｒｕｎ−ｌｅｎｇｔｈ Ｇｏｌｏｍｂ Ｒｉｃｅ）のエントロピー符号化用の最適な分布により近い分布を有するＤＰＣＭの残差を生成することができる。本発明により、写真およびグラフィックスのコンテントの異なる特性にもかかわらず、効果的なエントロピー符号化を行うことができる。
【選択図】 図５

Description

本発明は、イメージおよびビデオの可逆符号化に関する。

可逆符号化には、高解像度デジタル写真、映画、グラフィックスなどを含む、非常に多くの異なった重要なアプリケーションがある。また、可逆符号化を、プロフェッショナル向けのビデオ符号化に適用して、できる限り高い品質の設定で、すなわち可逆的であるように、ビデオフレームのエンコードを行う。アプリケーションのイメージは、さまざまな独自の特徴をもつ傾向があるので、一般的に異なるアプリケーションに適用できるイメージコーデックの設計は、難しい問題となる。例えば、グラフィックスのイメージは、通常、先鋭なエッジまたは色の変わり目（例えば、文字と背景色との間、および隣接する形状の境目の部分）があるのに対して、写真イメージは、一般に、連続階調である（すなわち、色が連続的に（例えば、グラデーションとして）イメージの端から端まで変化するものである）。

イメージの特徴が異なるので、最も一般的なイメージコーデックは、写真イメージを圧縮するか（例えば、ＪＰＥＧ）それともグラフィックスイメージを圧縮する（例えば、ＧＩＦ）ために設計される。写真イメージの圧縮は、通例、ＤＣＴやウェーブレットのような無相関化をする（ｄｅ−ｃｏｒｒｅｌａｔｉｎｇ）変換を用いるのに対して、グラフィックスイメージの圧縮は、通常、ＬＺ７７やＬＺ７８のような記号列に基づくコーデックを用いる。一般に、写真のコーデックは、グラフィックスにうまく作用しない。なぜならば、局所的な滑らかさ、または変換方法の根底にあるＤＣバイアスの基本的な前提は、通例、グラフィックスでは成り立たないからである。反対に、グラフィックスのコーデックは、写真イメージでは不完全である。なぜならば、アルファベットが長すぎて、満足できる辞書を作成できないからである。結果として、写真イメージ用の既存のイメージコーデックは、イメージコーデックおよびビデオコーデックでの容易な相互使用のために設計されず、グラフィックスのコンテントを効率的に処理できない。

例えば、ＣＡＬＩＣ（非特許文献１参照）、ＪＰＥＧ−ＬＳ（非特許文献２参照）、およびＳＰＩＨＴ（非特許文献３参照）は、現時点での最新の写真イメージ用の可逆イメージコーデックである。しかしながら、これらのコーデックは、イメージコーデックおよびビデオコーデックでの容易な相互使用のために設計されず、またグラフィックスのコンテントを効率的に処理することができない。他方、ＧＩＦは、現時点での最新のグラフィックス用の可逆イメージコーデックである。しかし、写真のコンテントを十分に処理できず、またビデオコーデックに組み入れるも容易ではない。ＰＴＣ（非特許文献４参照）は、マクロブロックを基礎とするコーデックであり、イメージコーデックおよび／またはビデオコーデックにまとめられる。しかしながら、グラフィックスのコンテントをうまく処理できない。さらに、ＢＴＰＣ（非特許文献５参照）が設計され、写真イメージおよびグラフィックスイメージを処理して、統一された設計であり、処理速度の最適な設計である。しかし、圧縮としては決して十分ではない。

X. Wu, N. Memon and K. Sayood,尿 Context-Based Adaptive Lossless/Nearly-Lossless Coding Scheme For Continuous-Tone Images,"ISO, 1995 M. J. Weinberger and G. Seroussi，乃he LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS,祢EEE Trans. Image Processing, Vol.9, pp.1309-1324, August 2000 Said and W. A. Pearlman,尿 New Fast And Efficient Image Codec Based On Set Partitioning In Hierarchical Trees,祢EEE Trans. On Circuits and Systems for Video Technology, Vol.6, No.6, pp.243-250, June 1996 H. S. Malvar,"Fast Progressive Image Coding Without Wavelets,廃p.243-252, DCC 2000 J. A. Robinson,"Efficient General-Purpose Image Compression With Binary Tree Predictive Coding,"IEEE Transactions on Image Processing, Vol.6, No.4, April 1997 J. A. Robinson,忍fficient General-Purpose Image Compression With Binary Tree Predictive Coding,"IEEE Transactions on Image Processing, Vo.6, No4, April 1997 X. Wu, N. Memon and K.Sayood,尿 Context-Based Adaptive Lossless/Nearly-Lossless Coding Scheme For Continuous-Tone Images,祢SO, 1995 H. S. Malvar and G. J. Sullivan,悩CoCg-R: A Color Space With RGB Reversibility and Low Dynamic Range,寧oint Video Team of ISO/IEC MPEG&ITU-T VCEG Doc.JVT-1014, July, 2003 H. Malvar,認ast Progressive wavelet coding,捻roc. IEEE Data Compression Conference, Snowbird, UT, pp.336-343, March-April 1999

予測可逆符号化（ＰＬＣ）により、上で論じた問題に取り組み、一般的に、非常に多くの異なったイメージおよびビデオに適用できる可逆画像圧縮を提供する。ＰＬＣの実装を本明細書の中で例示すると、可逆画像圧縮は、非常に多くの異なった写真コンテント（イメージ、ビデオおよびグラフィックスも同様）に関して、圧縮効率が既存の可逆画像圧縮にひけをとらずに、たいていの可逆画像圧縮よりも速い実行時間で複雑さを処理できる。

予測可逆符号化に関するさまざまな実装を本明細書の中で説明して、その結果として、以下の点を少なくともいくつか結合することによって、これらの結果を達成することができる。

１ ＹＣｏＣｇ色空間に作用する。ＹＣｏＣｇ色空間は、写真イメージコンテントおよびグラフィックスイメージコンテントに関して符号化効率を改善する。さらに、高速な全整数のプロシージャを用いることにより、色空間を、広く行き渡ったＲＧＢ（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ）色表現に／から変換することができる。

２ マクロブロックに作用する。マクロブロックにより、容易に予測可逆符号化を既存のイメージコーデックおよびビデオコーデックにまとめることができるようになる。ならびに、予測可逆符号化は、例えば、スライスを用いることにより、空間スケーラブル／時間スケーラブルをハードウェアおよびソフトウェアに実装することの助けとなる。

３ マクロブロックレベルで、局所的に、差分パルス符号変調（ＤＰＣＭ）による予測の豊富なセットを用いる。豊富なセットを設計して、イメージデータを、写真のソースからだけでなくグラフィックスのソースからも、極力、無相関化して、変則的なサンプリングに頼らず、イメージの再スキャンもしない（非特許文献６および非特許文献７参照）。ＤＰＣＭを設計して、ゼロバイアスで、２方向のラプラスの分布（ｔｗｏ−ｓｉｄｅｄ Ｌａｐｌａｃｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）をもつ残差を生成する。なぜならば、ＤＰＣＭは、ＲＬＧＲ（ｒｕｎ−ｌｅｎｇｔｈ Ｇｏｌｏｍｂ Ｒｉｃｅ）のエントロピー符号化法による最良のコーデックである。

４ ＲＬＧＲのエントロピー符号化法をさまざまなシンボルの分布に用いる。

上記の点を結合して用いるひとつの実装において、予測可逆符号化は、すべての写真コンテント（イメージ、ビデオ、およびグラフィックスも同様）を可逆圧縮できる。その結果、ＣＡＬＩＣの圧縮と等しくないだけでなく、ＪＰＥＧ−ＬＳ、ＰＴＣ、ＢＴＰＣ、その他を含む他の既存のフォーマットより優れている。しかし、予測可逆符号化は、たいていのグラフィックスのコンテントに対する圧縮を、他の写真向けのコーデックと比較して、２倍の圧縮率かあるいはより効率のよい圧縮となる。ならびに、予測可逆符号化は、最も進んだ最新の写真向けのコーデックよりも、２倍またはそれ以上の速さの実行時間で複雑さを処理できる。

以下に実施形態の詳細に記述し、添付図面に関して記述を続けると、本発明の特徴と利点が明らかになるであろう。

以下の記述は、予測可逆符号化の実装に向けられる。その結果、ＲＬＧＲのエントロピーエンコーディング、多重ＤＰＣＭモード、ＹＣｏＣｇ色空間、およびマクロブロック（ＭＢ）の符号化構造のいくつかをあるいはすべてを混ぜ合わせて結合して、効率的で速いコーデックを、写真（連続階調）、グラフィックス、およびビデオを含む、非常に多くの異なったイメージコンテントに適用できる。

（１．ＰＬＣエンコーダ）
図１を参照すると、予測可逆符号化（ＰＬＣ）に基づくイメージエンコーダ１００の実例は、イメージデータ１０５のエンコーディングまたは圧縮を実行する。ＰＬＣエンコーダに入力されたイメージデータは、さまざまな非圧縮のイメージデータフォーマットのいずれでもよい。例えば、図解付きイメージエンコーダによって処理された共通フォーマットは、写真イメージまたはグラフィックイメージ、ビデオフレーム、その他向けなどの、ＲＧＢイメージデータである。このＲＧＢイメージデータは、一般に、画素（ピクセル）の２次元配列としての構造をもつ。ここで、各々のピクセルはイメージのＲＧＢ色のサンプルとして表される。代替のイメージエンコーダの実装は、他の入力イメージデータのフォーマットを用いることができる。さらに、予測可逆符号化を用いることにより、ビデオシーケンス内のフレームのエンコードを行うためのビデオエンコーダに、このエンコーダを組み込むことができることを認めるべきであろう。

ＰＬＣのイメージエンコーダ１００は、色空間コンバータ１１０、マクロブロックスプリッタ１２０、ＤＰＣＭモジュレータ１３０、およびＲＬＧＲエントロピーエンコーダ１４０を含む、プロセスのセットを介して、このイメージデータを処理する。色空間コンバータ１１０は、表示可能な色空間の表現からＹＣｏＣｇ色空間へ入力イメージデータのピクセルを変換する。その結果、符号化効率を改善する。マクロブロックスプリッタ１２０は、イメージをマクロブロックに分割して、マクロブロックならびにスライスに基づくイメージコーデックおよびビデオコーデックとの互換性があるようにしておく。ＤＰＣＭエンコーダ１３０は、利用可能なＤＰＣＭの予測モードのセットのうちのひとつを選択し、選択したモードを、ＲＧＲのエントロピー符号化に適した分布を有する、予測の残差を生成する、各々個々のマクロブロックに適用する。ＲＬＧＲエントロピーエンコーダ１４０は、マクロブロックの予測の残差に対してエンコードを行う。その結果、イメージデータのＰＬＣエンコードによる表現を生成する。

（１．１ ＹＣｏＣｇ色空間コンバータ）
より具体的には、色空間コンバータ１１０は、入力イメージデータの色フォーマットをＹＣｏＣｇ色空間に変換する。入力イメージデータのピクセルは、通常、ＲＧＢ色空間などの、簡易表示可能な色空間のフォーマットに表現される。ＹＣｏＣｇ色空間は、空間効率のよいイメージ符号化により適している。ＹＣｏＣｇ色空間は、写真イメージとグラフィックイメージの両方にうまく作用することが知られており、符号化利得に関して、他の色変換より性能がよい。より具体的には、ＹＣｏＣｇの可逆の色空間は、ＰＬＣエンコーディングにおけるＲＧＢ色空間と比較して、〜１５％の改善を与えた。

ＲＧＢ色空間からＹＣｏＣｇ色空間への変換は、ＲＧＢフォーマットの入力イメージデータのあらゆるエンコーディングより前に行われる。ＰＬＣのイメージエンコーダ１００に関する実装の本説明の中で、色空間コンバータ１１０は、ＲＧＢからＹＣｏＣｇへの変換プロセスに用いられる。より詳細な記述は、非特許文献８にあり、これは、ＲＧＢ色空間からＹＣｏＣｇ色空間へ可逆的に無相関化する方法を提供する。ＲＧＢ色空間からＹＣｏＣｇ色空間への変換を、以下の式（１）で定義される順変換によって行うことができる。

図６に示すデコーダ６００は、ＲＧＢ色空間への逆変換を含むことができる。この変換は、式（２）で定義される逆演算を用いる。

リフティングステップを用いることにより、順変換と逆変換の両方を取得することができ、その結果、高速な全整数のプロシージャになる。順方向のリフティングステップは、以下により与えられる。
Ｃｏ＝Ｒ−Ｂ；
ｘ＝Ｂ＋（Ｃｏ／２）；
Ｃｇ＝Ｇ−ｘ；
Ｙ＝ｘ＋（Ｃｇ／２）；
逆方向のリフティングステップは、以下により与えられる。
ｘ＝Ｙ−（Ｃｇ／２）；
Ｇ＝ｘ＋Ｃｇ；
Ｂ＝ｘ−（Ｃｏ／２）；
Ｒ＝Ｃｏ＋Ｂ；
これらのリフティングステップを、全整数の加算、減算およびビットシフトで実装できることが理解できるので、これらの処理は非常に高速である。

（１．２ マクロブロックのコーデック）
マクロブロックスプリッタ１２０は、図２に表されるように、イメージを複数のマクロブロック（ＭＢ）に分割する。イメージエンコーダ１００の実装のひとつにおいて、各々のＭＢは１６×１６ピクセルのサイズである。代替の実装は、マクロブロックの他のサイズを用いることができる。このマクロブロックの構造は、ビデオコーデックの場合と同様に、ＰＬＣに基づくイメージエンコーダを一般イメージに差し込むことを、実用的にかつ容易にする。スライス符号化を容易に用いることにより、ハードウェアおよびソフトウェアの実装を可能にする。ここで、エンコードされるビットストリームをスライスにパケット化する。スライスは、通常、複数のＭＢの行のある整数である。これにより、柔軟なメモリのフットプリントに寄与し、および（例えば、並列または多重スレッドの（ｍｕｌｔｉ−ｔｈｒｅａｄｅｄ）実行ユニットを用いることにより、）それ自身に、容易に空間／時間拡張性を与えることができる。

マクロブロックスプリッタは、ＹＣｏＣｇ色空間の各平面を複数のＭＢに分割して、別個に複数のＭＢをエンコードする。各々個々のＭＢに関して、ＰＬＣのイメージエンコーダ１００は、次の配列要素、ＤＰＣＭモード、ＭＢモードおよびＤＰＣＭの残差をエンコードする。

ＤＰＣＭモードの要素は、ＤＰＣＭモジュレータ１３０により選択されたＤＰＣＭモードを識別して、このＭＢのデータを無相関化する。この実装において、ＤＰＣＭモジュレータは、８つの可能性のあるＤＰＣＭモードから選択する。しかし、より少なくまたはより多くのＤＰＣＭモードを代替のＰＬＣエンコーダの実装に用いることができる。マクロブロックスプリッタを別個のＲＬＧＲコンテキストに用いて、ＭＢに関してＤＰＣＭモードをエンコードする。

ＭＢモードの要素について、マクロブロックスプリッタは、別個の専用のＲＬＧＲ符号化のコンテキストに関して、２つのアルファベット記号を用いる。ＭＢモードは、次の２つのイベントのうち１つを信号で伝え、ａ）ＭＢはＤＰＣＭの値をエンコードする、または、ｂ）ＭＢは「フラット」であり、その結果、スキップされる。後者の場合、イベントを、ＤＰＣＭの残差と同じぐらい早くＭＢのピクセルのエンコーディング／デコーディングから抜けるよう扱う。その理由は、ＤＰＣＭモードの要素があれば十分にすべてのピクセル値を再生成（ｒｅ−ｇｅｎｅｒａｔｅ）できるからである。このフラットなマクロブロックモードの符号化を、以下で詳細に説明する。

最後に、ＭＢがスキップされない場合は、ＤＰＣＭの残差をＰＬＣでエンコードされた出力ストリームとしてのＭＢのセグメントにエンコードする。

（１．３ ＤＰＣＭモード）
ＤＰＣＭのモジュレータ１３０は、現在のＭＢに関して、より最適にＭＢを無相関化するＤＰＣＭモードを選択し適用することによって、ＲＬＧＲのエントロピー符号化を用いた、より圧縮されたＤＰＣＭの残差を生成する。ＲＬＧＲのエントロピー符号化は、その入力値がゼロバイアスで、２方向のラプラスの分布をもつ場合、最適な符号化性能を達成する。例えば、図に示したＰＬＣに基づくエンコーダのＤＰＣＭモジュレータ１３０は、８つの異なるＤＰＣＭモード間で切り換えることにより、各ＭＢを無相関化する。代替の実装として、より少なくまたはより多くのＤＰＣＭモードを含むことができる。これらの様々に異なるＤＰＣＭモードが設計されることにより、様々に異なるＭＢのピクセルのパターンに関して、この最適な分布を有する残差を生成することができる。これにより、ＭＢの内部に入れることができる、異なる最有力なエッジ方向を効率的に符号化することができる。

図３を参照すると、様々なＤＰＣＭは、どのピクセルの近傍３００を用いてピクセル値を予測するのかを指定する。より具体的に言うと、マクロブロックの各ピクセル３１０の値を、近傍のピクセル３２０から３２３までのうちの１つまたは複数のある結合から予測する。ピクセルの実値をピクセルの予測値から引き算をして得られる差分は、そのピクセルのＤＰＣＭの予測残差である。図に示すＤＰＣＭモジュレータ１３０における８つのＤＰＣＭモードは、近傍の左ピクセル３２０、左上ピクセル３２１、上ピクセル３２２、および右上ピクセル３２３に基づく予測を用いる。これにより、ＤＰＣＭモードを単一の一方向のパスもくしはＭＢによる読み出しに適用することができる（すなわち、ピクセルの各行を左から右へ（ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ）、ＭＢの行の上から下へスキャンすることである）。

図４は、図に示したＤＰＣＭモジュレータ１３０に用いられる、８つのＤＰＣＭの予測モードを表す。８つのモードを設計することにより、様々の共通なピクセルのパターンを、ＲＬＧＲのエントロピー符号化よりも適したシンボルの分布を有する残差のセットへ無相関化する。より具体的に言うと、これらのＤＰＣＭの予測モードは、以下のとおりである。
モード０：モード０は、「未処理（ｒａｗ）」すなわちＤＰＣＭモードではない。ここで、個々のピクセルを、あらゆる引き算なしに直接、エンコードをする。このモードは、ＭＢのすみからすみまで一貫してよい予測器がない場合に、ランダムまたは「斑点（ｓｐｅｃｋｌｅ）」型の複数のＭＢに有用である。
モード１：このＤＰＣＭモードにおいて、ピクセル値は、エンコードする前の、すぐ左の近傍から引き算をされる。このモードは、長いほうのエッジが水平方向に沿ってある場合に有用である。
モード２：このＤＰＣＭモードにおいて、ピクセル値は、すぐ上の近傍から引き算をされる。このモードは、長いほうのエッジが垂直方向に沿ってある場合に有用である。
モード３：このＤＰＣＭモードにおいて、ピクセル値は、左上の近傍の最小値からか、あるいはまた左上の近傍の最大値から引き算をされる。このＤＰＣＭモードは、現在のピクセルの位置を通り抜けた、傾斜した対角線のエッジに有用である。
モード４：このＤＰＣＭモードにおいて、ピクセル値は、上の近傍と右上の近傍の平均値から引き算をされる。このＤＰＣＭモードは、異なる方向の場合に斜めのランプエッジに有用である。
モード５：このＤＰＣＭモードにおいて、ピクセル値は、左上の近傍から引き算をされる。このＤＰＣＭモードは、例えばグラフィックのコンテントにおける、対角線のバンドに有用である。
モード６：このＤＰＣＭモードにおいて、モジュレータ１３０は、上の近傍と左上の近傍との間の差と同じ値を左の近傍から引き算する。このＤＰＣＭモードは、縞模様の水平方向のランプに有用である。
モード７：このＤＰＣＭモードにおいて、モジュレータ１３０は、左の近傍と上の近傍の平均値を引き算する。このＤＰＣＭモードは、対角線のエッジがＭＢの中を支配している場合に有用である。

ＤＰＣＭのモジュレータは、どのＤＰＣＭモードがより圧縮率のよいＤＰＣＭの残差を生成するかを選択するために、ＤＰＣＭの予測のモード１からモード７の（すなわち、ＤＰＣＭモードではない、モード０以外である）各々を試験する。ＤＰＣＭモジュレータは、対応するＤＰＣＭモードを適用し、適用した結果としての残差のシンボルの分布を検査する。ＤＰＣＭモジュレータは、どの予測モードが生成した残差が、ＲＬＧＲのエントロピー符号化をするための理想的な分布に最も近い分布を有するのかを検査する。ＤＰＣＭモジュレータは、さらに、最も近い分布が、理想的なゼロバイアスで、２方向のラプラスの分布に十分近いかどうかを検査する。ＤＰＣＭモジュレータは、十分大きなしきい値を満たさない場合を除いて、マクロブロックに対して、理想に最も近い（ｃｌｏｓｅｓｔ−ｔｏ−ｉｄｅａｌ）分布を有する、ＤＰＣＭモードを選択する。さもなければ、理想に最も近い分布を有するＤＰＣＭの予測モードが十分大きなしきい値を満たさない場合には、ＤＰＣＭモジュレータは、デフォルトとしてＤＰＣＭモードではない（モード０）を選択する。

（１．４ フラットなＭＢモードの符号化）
上述のとおり、ＰＬＣに基づくエンコーダ１００は、フラットなＭＢモードのＭＢをエンコードすることもできる。ＭＢにＤＰＣＭモードを適用した結果、ＤＰＣＭの残差がすべてゼロになる場合に、フラットなＭＢモードを用いる。ＤＰＣＭモードを試験することにより、ＭＢに用いるためのＤＰＣＭモードを選択する場合、ＤＰＣＭモジュレータは、現在試験しているＤＰＣＭモードが、ＭＢに対してすべてゼロであるＤＰＣＭの残差を生成するかどうかを検査する。ＤＰＣＭモードが、ＭＢに対してすべてゼロであるＤＰＣＭの残差を生成することを決定する場合、ＰＬＣに基づくエンコーダ１００は、フラットなＭＢモードのＭＢをエンコードするが、さらに先のＤＰＣＭモードを試験する必要はない。フラットなＭＢモードでエンコードする場合、ＰＬＣに基づくエンコーダ１００は、ＭＢモードおよびＤＰＣＭモードとしてのみ、出力ビットストリームのＭＢをエンコードすることができる（すなわち、ＤＰＣＭの残差のエンコードをスキップすることである）。出力ビットストリームのＭＢに対する、ＭＢモードおよびＤＰＣＭモードの符号化は、十分にＭＢのピクセルの値をデコードする。ＤＰＣＭの残差をエンコードしないので、フラットなＭＢモードは、ＭＢのエンコードに対して、より大きな圧縮効率をもたらす。

（１．５ 多重化されたＲＬＧＲのコンテキスト）
図１を参照すると、ＤＰＣＭモジュレータ１３０が生成する、ＭＢモード、ＤＰＣＭモードおよびＤＰＣＭの残差を、ＲＬＧＲエントロピーエンコーダ１４０のＲＬＧＲ符号化を用いてエントロピーエンコードをする。図に示したＰＬＣに基づくエンコーダ１００のＲＬＧＲエントロピーエンコーダは、ＲＬＧＲの符号化プロセスを用いる（非特許文献９参照）。このＲＬＧＲの符号化プロセスは、正確には、適応的な算術符号化器などの、一般的なエントロピー符号化器ではない。ＲＬＧＲのコーデックは、最もありそうなシンボルがゼロであるという仮定を設ける。最もありそうなシンボルがゼロではない一連の数がＲＬＧＲに供給された場合、ＲＬＧＲ符号化は符号化性能が落ちるであろう。ＲＬＧＲへの入力がラプラスのシンボルの分布に近いソースから来る場合、ＲＬＧＲの符号化プロセスはデータを非常に上手く、まったくエントロピー近くにエンコードするであろう。多くの場合、ＲＬＧＲの符号化プロセスは、適応的な算術符号化よりもよい働きをするであろう。ＰＬＣに基づくエンコーダ１００において、ＤＰＣＭの予測モードを設計することにより、ＲＬＧＲが最もよく作用する、写真およびグラフィックのイメージコンテントに共通の（写真イメージとグラフィックイメージの両方のために）符号付整数に関する、ゼロバイアスで２方向のラプラスの分布を生成する。

図に示したＰＬＣに基づくエンコーダのＲＬＧＲエントロピーエンコーダ１４０を用いることにより、ＲＬＧＲのコンテキストを、ａ）ＭＢモード（フラットすなわちＭＢモードではない）、ｂ）ＤＰＣＭモード、ｃ）ＤＰＣＭの残差の値（整数のゼロバイアスで２方向のラプラスの分布）の各々の場合について分ける。各々のコンテキストにおいて、ＲＬＧＲエントロピーエンコーダは、別個のコンテキストにより符号化されたシンボルから来る有効ビットにより構成されるバイナリー列、例えば、ＤＰＣＭの残差の値のコンテキストについてのＤＰＣＭの残差の、適応的なＲＬＧＲのバイナリーエンコードを行う。多重化されたＲＬＧＲのコンテキストを異なるシンボルの分布の符号化に用いることにより、エントロピー符号化の符号化性能を改善する。これば、各々個々の分布および分布に特有のゆがみに適応することが大変重要であるからである。例えば、ＭＢモードは、よりすべてがフラットではないようである。したがって、ＭＢモードの分布は、フラットな場合から離れてゆがんでいるようである。しかし、ＭＢモードの分布は、コンテントが写真よりもむしろグラフィックである場合に、好転することができる。専用の特定なＲＬＧＲのコンテキストにより、ＰＬＣに基づくエンコーダ１００のＲＬＧＲエントロピーエンコーダが、より大きな効率を有する単峰性な（ｕｎｉｍｏｄａｌ）分布に適応することができる。ＰＬＣに基づくエンコーダの代替の実装において、より多くのまたはより少ないＲＬＧＲのコンテキストを用いることができる。代替の実装におけるＤＰＣＭの残差をエンコードするために、追加された別個のＲＬＧＲのコンテキストを用いることにより、より大きなエントロピー符号化の符号化利得を提供することができ、コンテキストの希薄化を防ぐことができる。しかし、実用のために、図に示した実装において、３つの別個のコンテンツを用いる。

ＲＬＧＲのエントロピーエンコーダによるエントロピーエンコードの後に、ビットストリームマルチプレクサ１５０は、ＭＢに対してＲＬＧＲエンコードされたデータを出力ビットストリーム１９５にアセンブルする。スライス符号化を用いた実装において、ビットストリームマルチプレクサはエンコードされたＭＢをスライスに、アセンブルまたはパケット化する。

（１．６ 擬似符号（Ｐｓｅｄｏ−Ｃｏｄｅ）のリスト出力）
上述したＰＬＣに基づくエンコーダ１００において、行われるＰＬＣの符号化を、図５に示す擬似符号のリスト出力５００に要約する。擬似符号のリスト出力において、“ＩｍａｇｅＢａｎｄ”の入力パラメータは、色空間の座標、すなわち、Ｙ、Ｃｏ、またはＣｇのひとつからのイメージデータを表す。イメージをＹＣｏＣｇ色空間に色空間変換した後に、ＰＬＣの符号化プロセスを呼び出す。

（２．ＰＬＣデコーダ）
図６を参照すると、ＰＬＣに基づくイメージデコーダ６００は、ＰＬＣに基づくエンコーダ１００によるＰＬＣのコーデックから生成される出力ビットストリーム１９５のデコードを行う。ＰＬＣに基づくイメージデコーダ６００において、ビットストリームデマルチプレクサ６１０は、第一に、ビットストリームの個々のエンコードされたＭＢ、およびそのＭＢに対するエンコードされたＭＢモード、ＤＰＣＭモードおよびＤＰＣＭの残差を分離して識別する。ビットストリームデマルチプレクサは、分離したデータをＲＬＧＲデコーダ６２０に供給する。

ＲＬＧＲデコーダ６２０は、各ＭＢに対するＲＬＧＲエンコードされたＭＢモード、ＤＰＣＭモード、およびＤＰＣＭの残差をデコードする。ＲＬＧＲデコーダ６２０は、ＲＬＧＲのデコードプロセスを用いる（非特許文献９参照）。ＲＬＧＲデコーダ６２０は、デコードされたデータをＤＰＣＭデモジュレータ６３０に供給する。

ＤＰＣＭデモジュレータ６３０は、ＭＢに対して用いられたＤＰＣＭの予測モードについてのＤＰＣＭの残差に逆のプロセスを行い、ＭＢデータを復元する。フラットなＭＢモードにエンコードされたＭＢについて、ＤＰＣＭデモジュレータ６３０は、デコードされたＤＰＣＭの予測モードに関してすべてがゼロである残差に対する逆のプロセスを行う。

逆のＤＰＣＭの予測を適用した後に、イメージリコンストラクタ６４０は、ＭＢをリアセンブルして、イメージを再構成する。次いで、色空間コンバータ６５０は、ＹＣｏＣｇ色空間変換の逆の変換を行うことにより、イメージデータをＲＧＢイメージに戻す変換をする。ある実装では、ＹＣｏＣｇ色空間変換の逆の変換を省略して、ＹＣｏＣｇ色空間のフォーマットのままにしておくことができる。

（３．コンピュータ処理環境）
上述したＰＬＣに基づくエンコーダ１００および／またはデコーダ６００（ＰＬＣコーデック）は、ごく一般的な例として、コンピュータの異なった種類の形態因子（パーソナル、ワークステーション、サーバ、ハンドヘルド、ラップトップ、タブレット、または他のモバイル）、分布コンピュータ処理のネットワークおよびＷｅｂサービス、ならびにイメージおよびビデオのレコーダ／プレーヤ／レシーバ／ビューアを含む、あらゆる異なった種類のイメージおよびビデオ処理装置ならびにコンピュータ処理装置に実装することができる。ＰＬＣに基づくコーデックを、図７に示すような、コンピュータまたは他のコンピュータ処理環境内で実行されるコーデックソフトウェア７８０にだけでなく、ハードウェア回路に実装できる。

図７は、説明した技術を実装することができる、コンピュータ処理環境７００の中の（例えば、コンピュータの）適したイメージ／ビデオ処理装置の一般化された例を図示する。本発明を、様々な一般的な目的または特定目的のイメージ／ビデオ処理環境に実装できるので、コンピュータ処理環境７００は、本発明の使用または機能の範囲について、あらゆる限定を仮定することを意図しない。

図７を参照すると、コンピュータ処理環境７００は、少なくとも１つの処理ユニット７１０およびメモリ７２０を含む。図７において、この最も基本的な構成７３０は、破線の内側に含まれている。処理ユニット７１０は、コンピュータ実行可能命令を実行し、実プロセッサまたは仮想プロセッサでよい。マルチプロセッシングシステムでは、処理能力を高めるため、複数の処理ユニットがコンピュータ実行可能命令を実行する。メモリ７２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ＲＡＭなど）、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなど）、またはこれら２つのある組合せとすることができる。メモリ７２０は、ＰＬＣに基づくコーデックを実装するソフトウェア７８０を格納する。

コンピューティング環境には、機能を追加することができる。例えば、コンピュータ処理環境７００は、記憶装置７４０、１つまたは複数の入力デバイス７５０、１つまたは複数の出力デバイス７６０、および１つまたは複数の通信接続７７０を含む。バス、コントローラ、またはネットワークなどの相互接続のメカニズム（図に示されていない）は、コンピュータ処理環境７００のコンポーネントを相互接続する。通常、オペレーティングシステムのソフトウェア（図に示されていない）は、コンピュータ処理環境７００の中で他のソフトウェアを実行するためのオペレーティング環境を提供し、コンピュータ処理環境７００のコンポーネントの活動を調整する。

記憶装置７４０は、取り外し可能であるかまたは固定であり、磁気ディスク、磁気テープもしくはカセット、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、または情報を格納するために使用することができ、コンピュータ処理環境７００内でアクセスできる他の媒体を含むことができる。記憶装置７４０は、ＰＬＣに基づくコーデックのソフトウェア７８０に対する命令を格納する。

入力デバイス（群）７５０（例えば、デバイス接続アーキテクチャの中のコントロールポイントとして動作するデバイスに対する）は、キーボード、マウス、ペン、もしくはトラックボールなどのタッチ式の入力デバイス、音声入力デバイス、スキャニングデバイス、またはコンピュータ処理環境７００に入力を行う別の装置とすることができる。オーディオについては、入力デバイス（群）７５０は、サウンドカードまたは、アナログまたはデジタル形式のオーディオ入力を受け入れる類似のデバイス、またはコンピュータ処理環境にオーディオサンプルを供給するＣＤ−ＲＯＭリーダとすることができる。出力デバイス（群）７６０は、表示装置、プリンタ、スピーカ、ＣＤライタ、またはコンピュータ処理環境７００からの出力を供給する別のデバイスとすることができる。

通信接続（群）７７０では、通信媒体を介して、別のコンピュータ処理エンティティ（ｅｎｔｉｔｙ）と通信することが可能である。通信媒体は、コンピュータ実行可能命令、音声／ビデオまたはメディア情報、または他のデータなどの情報を変調されたデータ信号で伝達する。変調されたデータ信号は、信号内の情報をエンコードする方法によりその特性のうち１つまたは複数が設定または変更された信号である。例えば、限定はしないが、通信媒体は、電気的搬送波、光学的搬送波、ＲＦ搬送波、赤外線搬送波、音響搬送波、または他の搬送波により実装された、有線もしくは無線技術を含む。

本発明のＰＬＣに基づくコーデック手法は、コンピュータ読み取り可能な媒体の一般的な文脈において説明することができる。コンピュータ読み取り可能な媒体は、コンピュータ処理環境内でアクセスできる利用可能な媒体である。例えば、限定はしないが、コンピュータ処理環境７００では、コンピュータ読み取り可能な媒体は、メモリ７２０、記憶装置７４０、通信媒体、およびこれらのどれかの組合せを含む。

本発明の技術を、ターゲットの実プロセッサまたは仮想プロセッサ上のコンピュータ処理環境で実行される、プログラムモジュールに含まれるような、コンピュータ実行可能命令の一般的な文脈において説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象データ型を実装する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などを含む。プログラムモジュールの機能は、様々な実施形態で要求されているように、組み合わせたりまたは複数のプログラムモジュールに分割させたりすることができる。プログラムモジュールのコンピュータ実行可能命令は、ローカルまたは分布コンピュータ処理環境の内部で実行することができる。

説明のため、詳細な説明では、「決定する」、「生成する」、「調整する」、および「適用する」などのような用語を使用することによって、コンピュータ処理環境におけるコンピュータの動作を説明する。これらの用語は、コンピュータにより実行されるオペレーションを高水準に抽象化したものであり、人間が実行する行為と混同すべきではない。これらの用語に対応する実際のコンピュータオペレーションは、実装に応じて異なる。

本発明の原理を適用できる多くの可能な実施形態の観点から、発明者は請求項およびその均等の範囲および精神の範囲内に収まりうるすべての実施形態を本発明として請求する。

予測可逆符号化を利用するイメージエンコーダのブロック図である。 図１のエンコーダにおいて利用される予測可逆符号化のマクロブロックおよびスライス構造を表す図である。 図１のエンコーダにおいてＤＰＣＭの予測の際に基にするマクロブロックのピクセルに関する近傍を示す図である。 図１のエンコーダにおいて利用される予測可逆符号化に用いられるＤＰＣＭの予測モードを表す図である。 図１のエンコーダを利用した予測可逆符号化に関するエンコードの処理手順の擬似符号のリスト出力を示す図である。 予測可逆符号化を利用するイメージデコーダのブロック図である。 図１および６のＰＬＣのコーデックを実装するために適したコンピュータ処理環境のブロック図である。

Claims (21)

1. イメージおよびビデオメディアの可逆符号化の方法であって、
   入力イメージデータをブロック部分に分割することと、
   前記ブロック部分の個々のひとつに対して、利用可能な差分パルス符号変調（ＤＰＣＭ）予測モードからエントロピーエンコーダの最適なシンボルにより近いシンボルをもたらす、前記ブロック部分に適用するための多重化された利用可能なＤＰＣＭ予測モードのひとつを選択することと、
   前記ブロック部分に前記選択されたＤＰＣＭ予測モードを適用することと、
   前記ブロック部分のＤＰＣＭ残差にエントロピーのエンコードを行うことと
   を備えたことを特徴とする方法。
2. 前記入力イメージデータをＹＣｏＣｇ色空間のフォーマットに変換することをさらに備えたことを特徴とする請求項１に記載の方法。
3. 前記エントロピーエンコードはＲＬＧＲ（ｒｕｎ−ｌｅｎｇｔｈ，Ｇｏｌｏｍｂ−Ｒｉｃｅ）符号化であることを特徴とする請求項１に記載の方法。
4. 前記ＲＬＧＲ符号化を用いてブロック部分に対して選択された前記ＤＰＣＭ予測モードにエンコードを行うことをさらに備えたことを特徴とする請求項１に記載の方法。
5. 前記別個のＲＬＧＲ符号化のコンテキストにより前記ＤＰＣＭ予測モードおよびＤＰＣＭの残差にエンコードを行うことをさらに備えたことを特徴とする請求項１に記載の方法。
6. 前記ブロック部分への前記選択されたＤＰＣＭ予測モードの適用が、すべてゼロの値をとるＤＰＣＭの残差を生成するかどうかを決定することと、
   前記ブロック部分のＤＰＣＭの残差にエントロピーエンコードを行う代わりに、前記ブロック部分がフラットであることの指示のエンコードを行うことと
   をさらに備えたことを特徴とする請求項１に記載の方法。
7. 前記ＤＰＣＭ予測モードを選択することは、
   前記エントロピー符号化に対して最適なシンボルの分布により近い分布をもたらす前記ＤＰＣＭ予測モードが、前記エントロピー符号化に対して最適なシンボルの分布に十分近いかどうかを決定することと、
   十分に近くない場合には、前記エントロピーのエンコードを行う前に前記マクロブロックにＤＰＣＭを適用しないことと
   を含むことを特徴とする請求項１に記載の方法。
8. 前記ＤＰＣＭ予測モードは、イメージコンテントが主に水平方向に長いエッジ、垂直方向に長いエッジ、傾斜した対角線のエッジ、バンド、および縞模様の水平方向のランプである、ブロック部分のエントロピー符号化に対する最適な分布を生成するために設計されたモードを含むことを特徴とする請求項１に記載の方法。
9. 前記ＤＰＣＭ予測モードは、
   ピクセル値が前記ピクセルの左の近傍のピクセルから引き算をされる第１のモードと、
   ピクセル値が前記ピクセルの上の近傍のピクセルから引き算をされる第２のモードと、
   ピクセル値が前記ピクセルの左上の近傍のピクセルの最小値または最大値から引き算をされる第３のモードと、
   ピクセル値が前記ピクセルの上および右上の近傍のピクセルの平均値から引き算をされる第４のモードと、
   ピクセル値が前記ピクセルの左上の近傍のピクセルから引き算をされる第５のモードと、
   ピクセルの上および左上の近傍のピクセルとの間の差が前記ピクセルの左の近傍のピクセルから引き算をされる第６のモードと、
   ピクセル値が前記ピクセルの左および上の近傍のピクセルの平均値から引き算をされる第７のモードと
   を備えたことを特徴とする請求項１に記載の方法。
10. イメージまたはビデオメディアの予測可逆符号化を提供するメディアシステムであって、
    入力イメージデータをマクロブロックに分けるマクロブロックの分割処理と、
    前記入力イメージデータの個々のマクロブロックに作用して、複数のＤＰＣＭ予測モードのひとつを選択するマルチモードＤＰＣＭ処理であって、前記複数のＤＰＣＭ予測モードのひとつは、最適なＲＬＧＲエントロピー符号化の分布により密に調和するための前記マクロブロックの残差分布を生成し、前記マクロブロックに対して前記選択されたＤＰＣＭ予測モードを適用するマルチモードＤＰＣＭ処理と、
    前記マクロブロックのＤＰＣＭの残差にＲＬＧＲ符号化を行うエントロピー符号化処理と
    を備えたことを特徴とするメディアシステム。
11. 符号化の前にＹＣｏＣｇ色空間のフォーマットの前の前記入力イメージデータを変換する色空間変換処理をさらに備えたことを特徴とする請求項１０に記載のメディアシステム。
12. 前記ＤＰＣＭ予測モードは、イメージコンテントが主に水平方向に長いエッジ、垂直方向に長いエッジ、傾斜した対角線のエッジ、バンド、および縞模様の水平方向のランプである、前記マクロブロックに対するＲＬＧＲのエントロピー符号化に近い分布を生成するために設計されたモードを備えたことを特徴とする請求項１０に記載のメディアシステム。
13. 前記ＤＰＣＭ予測モードは、
    ピクセル値が前記ピクセルの左の近傍のピクセルから引き算をされる第１のモードと、
    ピクセル値が前記ピクセルの上の近傍のピクセルから引き算をされる第２のモードと、
    ピクセル値が前記ピクセルの左上の近傍のピクセルの最小値または最大値から引き算をされる第３のモードと、
    ピクセル値が前記ピクセルの上および右上の近傍のピクセルの平均値から引き算をされる第４のモードと、
    ピクセル値が前記ピクセルの左上の近傍のピクセルから引き算をされる第５のモードと、
    ピクセルの上および左上の近傍のピクセルとの間の差が前記ピクセルの左の近傍のピクセルから引き算をされる第６のモードと、
    ピクセル値が前記ピクセルの左および上の近傍のピクセルの平均値から引き算をされる第７のモードと
    を備えたことを特徴とする請求項１０に記載のメディアシステム。
14. イメージまたはビデオデータをエンコードする方法を実行するためのコンピュータメディア処理システムにおける、処理の実行のために動作可能なコンピュータ実行可能なプログラム命令を記憶しているコンピュータ読み取り可能な記憶媒体であって、前記方法は、
    イメージデータをＹＣｏＣｇ色空間のフォーマットに変換することと、
    前記イメージデータをマクロブロックに分割することと、
    前記イメージデータのマクロブロックに対して、どの利用可能なＤＰＣＭ予測モードのグループからＲＬＧＲ符号化に最適な分布に最も近い残差を生成するかを決定することと、
    そのように決定されたＤＰＣＭ予測モードが前記最適な分布に十分近い分布を有する残差を生成する場合に、前記ＤＰＣＭ予測モードを前記マクロブロックに適用することと、
    前記マクロブロックの残差にＲＬＧＲのエントロピーエンコードを行うことと
    を備えたことを特徴とするコンピュータ読み取り可能な記憶媒体。
15. 前記方法は、
    前記マクロブロックへの前記決定されたＤＰＣＭ予測モードの適用が、フラットな残差を生成するかどうかを決定することと、
    前記マクロブロックへの前記決定されたＤＰＣＭ予測モードの適用が、フラットな残差を生成する場合に、そのようなフラットなマクロブロックの残差に前記ＲＬＧＲエントロピーエンコードを行わずに、そのようなフラットなマクロブロックのモードの指示としてマクロブロックのエンコードを行うことと
    をさらに備えたことを特徴とする請求項１４に記載のコンピュータ読み取り可能な記憶媒体。
16. 前記方法は、前記残差にＲＬＧＲのエントロピーのエンコードを行うよりも別個のＲＬＧＲ符号化のコンテキストを用いる前記マクロブロックのモードの指示にＲＬＧＲのエントロピーのエンコードを行うことをさらに備えたことを特徴とする請求項１５に記載のコンピュータ読み取り可能な記憶媒体。
17. 前記方法は、
    前記最適な分布に最も近い残差分布を生成する前記ＤＰＣＭ予測モードが、前記最適な分布に十分近い残差分布を生成するかどうかを決定することと、
    十分に近くない場合には、前記マクロブロックに前記ＤＰＣＭ予測モードを適用せずに、前記マクロブロックにＲＬＧＲのエントロピーのエンコードを行うことと
    を備えたことを特徴とする請求項１５に記載のコンピュータ読み取り可能な記憶媒体。
18. 予測を用いて可逆的にコーデックされたイメージまたはビデオのデータをデコードする方法であって、
    別個のＲＬＧＲ符号化のコンテキストを用いて、複数のマクロブロックの各々に対して、マクロブロックモード、ＤＰＣＭ予測モードおよびＤＰＣＭ残差にＲＬＧＲエントロピーデコードを行うことと、
    マクロブロックの前記マクロブロックのモードがフラットなマクロブロックのモードである場合に、すべてゼロである残差の前記ＲＬＧＲデコードが行われたＤＰＣＭ予測モードの逆であるＤＰＣＭのデモジュレーションを用いて、前記マクロブロックのピクセルにデコードを行うことと、
    マクロブロックの前記マクロブロックのモードがフラットなマクロブロックのモードではない場合で、さらに前記マクロブロックの前記ＤＰＣＭ予測モードがＤＰＣＭ予測モードではない場合に、ＤＰＣＭのデモジュレーションなしに、前記マクロブロックのピクセルにデコードを行うことと、
    マクロブロックの前記マクロブロックのモードがフラットなマクロブロックのモードではない場合で、さらに前記マクロブロックの前記ＤＰＣＭ予測モードがＤＰＣＭ予測モードである場合に、前記ＲＬＧＲのデコードが行われたＤＰＣＭ予測モードの逆であるＤＰＣＭのデモジュレーションを用いて、前記ＲＬＧＲのデコードが行われたＤＰＣＭの残差にデモジュレートを行うことと、
    デコードされたイメージデータを構成するために前記マクロブロックにアセンブルを行うことと
    を備えたことを特徴とする方法。
19. 前記デコードされたイメージデータをＹＣｏＣｇ色空間のフォーマットからディスプレイ表示可能な色空間のフォーマットに変換することを備えたことを特徴とする請求項１８に記載の方法。
20. マクロブロックのＲＬＧＲのエンコードが行われたＤＰＣＭの残差およびＤＰＣＭ予測モードにデコードを行うために動作する、ＲＬＧＲのエントロピーのデコーダと、
    前記ＤＰＣＭ予測モードの逆を前記ＤＰＣＭの残差に適用する、ＤＰＣＭのデモジュレータと、
    再構成されたイメージのデータを構成するために他のデコードされたマクロブロックとともに前記マクロブロックのアセンブルを行うマクロブロックリアセンブラと
    を備えたことを特徴とする予測可逆符号化イメージまたはビデオのデコータ。
21. 前記再構成されたイメージをＹＣｏＣｇ色空間から前記イメージの表示をするのに適した色空間に変換する、逆ＹＣｏＣｇ色空間コンバータを備えたことを特徴とする請求項２０に記載の予測可逆符号化イメージまたはビデオのデコーダ。
    

Images