JP2005027309A - Ｊｐｅｇ２０００圧縮画像をトランスコードするための方法 - Google Patents

Abstract

【課題】ＪＰＥＧ圧縮画像は、最初のＪＰＥＧ２０００画像を伸張する必要なく、低ビットレート、低解像度又はそれら両方に対してトランスコードされ、次いで、低ビットレート及び／又は低解像度に対して再圧縮される。
【解決手段】トランスコード画像を生成するためにレート歪最適化を実行する前に、算術復号化は、所望の解像度まで、最も近く且つ高いビットレートのレイヤのみに対して実行される。
【選択図】図１

Description

本発明は、画像圧縮の分野に関し、特に、ＪＰＥＧ２０００圧縮画像のトランスコーディングに関する。

２０００年１２月に、国際標準化機構（ＩＳＯ）は、“情報技術−ＪＰＥＧ２０００画像符合化システム、ＩＳＯ／ＩＥＣ国際標準１５４４４−１、ＩＴＵ勧告Ｔ．８００”に記載されているように、ＪＰＥＧ２０００画像圧縮規格として知られている新しい画像圧縮規格を承認した。ＪＰＥＧ２０００規格はＴａｕｂｍａｎ（文献、Ｄａｖｉｄ Ｔａｕｂｍａｎ，“Ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＥＢＣＯＴ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ９（７），ｐｐ．１１５８−１１７０，Ｊｕｌｙ ２０００）により記載されたＥＢＣＯＴアルゴリズムに基づいている。ＪＰＥＧ２０００規格は、古いＪＰＥＧ規格からのパラダイムシフトを示している。ＰＤＡ及び径庭電話のような機器の浸透に伴って、画像サーバに記憶される高解像度のＪＰＥＧ２０００圧縮画像は、解像度と画像品質とに対する異なるニーズをもつ様々なクライアントによりアクセスされることが可能である。ＪＰＥＧ規格の重要な特性の１つは、逆量子化及び再量子化を実行する必要がない高品質画像及び／又は低解像度を抜き出すためにＪＰＥＧ２０００ビットストリームを解析することが可能であることである。場合によっては、算術復号化さえ必要とされない。

トランスコーディングは、典型的には、低ビットレート及び／又は解像度における、ＪＰＥＧ２０００圧縮画像の他のＪＰＥＧ２０００圧縮画像への変換に関係する。現在、市販されているＤａｖｉｄ Ｔａｕｂｍａｎ（ｈｔｔｐ：／／ｗｗｗ．ｋａｋａｂｕｓｏｆｔｗａｒｅ．ｃｏｍ）により開発された“ｋａｋａｂｕソフトウェア”は、基礎トランスコーディング能力を提供する。ＪＰＥＧ２０００ビットストリームは、複数の高品質レイヤを有するように構成されることができ、ここで、各々の付加的レイヤは圧縮画像の品質を改善する。Ｋａｋａｂｕにおけるトランスコーダの性能は、それが最近接のビットレートレイヤの境界から非常に遠いレートに対して既存のＪＰＥＧ２０００ビットストリームをトランスコードするために用いられる場合、非常に低い。同時係属中の同一出願人による、“Ｐｒｏｄｕｃｉｎｇ ａｎｄ Ｅｎｃｏｄｉｎｇ Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ａｌｌｏｗｉｎｇ Ｏｐｔｉｃａｌ Ｔｒａｎｓｃｏｄｉｎｇ ｏｆ Ｃｏｍｐｒｅｓｓｅｄ Ｄｉｇｉｔａｌ Ｉｍａｇｅ”と題され、２００２年３月３日に出願された、米国特許出願公開第１０／１０８，１５１号明細書において、ＪｏｓｈｉとＤｅｅｖｅｒは最適なトランスコーディングを実行するための方法を提供したが、彼等の方法は、ＪＰＥＧ２０００符号化器は又、トランスコーディングを容易にするためのレート歪情報を記憶した、初期のＪＰＲＧ２０００圧縮画像を生成したことを要求する。

実際には、レート歪情報が記憶されなかったＪＰＥＧ２０００圧縮画像をトランスコードすることが必要とされることとなる。そのような場合、低いビットレートにトランスコードされた画像の品質は、その低いビットレートに直接圧縮されたＪＰＥＧ２０００画像にできるだけ近いことが望ましい。
Ｄａｖｉｄ Ｔａｕｂｍａｎ，"Ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＥＢＣＯＴ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ９（７），ｐｐ．１１５８−１１７０，Ｊｕｌｙ ２０００

従って、本発明の目的は、低いビットレート、低い解像度又はそれら両方にＪＰＥＧ２０００圧縮ビットストリームをトランスコードするための方法を提供することである。

本発明は、上記の１つ又はそれ以上の問題点を克服することに導く。本発明の１つの側面に従って、簡潔に要約するに、本発明は、各々のサブバンドのコードブロックに分割されたサブバンド係数の圧縮ビットストリームに１つ又はそれ以上の符合化パスにおいて符合化されたサブバンドの収集から構成されるＪＰＥＧ２０００圧縮画像をトランスコードするための方法であって：
（ａ）ヘッダ情報及びパケットを抜き出すためにＪＰＥＧ２０００圧縮画像を解析する段階；
（ｂ）レイヤバイトカウントテーブルを生成するためにユーザ指定所望解像度において各々のレイヤに関連するバイト数を演算する段階；
（ｃ）ユーザ指定所望ビットレートに対してトランスコードするためのユーザ指定所望解像度まで復号化される必要があるＪＰＥＧ２０００圧縮画像のレイヤ数を推定する段階；
（ｄ）段階（ｃ）において決定されたような復号化されるレイヤからユーザ指定所望解像度までの解像度に属すパケットを抜き出し、パケットに寄与する各々のコードブロックに対応する圧縮データを抜き出す段階；
（ｅ）各々のコードブロックに対して圧縮コードブロックビットストリームを生成するために、段階（ｄ）において抜き出された、各々のコードブロックに対応する圧縮データを連結させる段階；
（ｆ）各々の復号化された符合化パスに対応する圧縮データ長の予測値を有する符合化パス長テーブルと各々のサブバンド係数に対する量子化器指数とを生成するために、各々のコードブロックに対応する圧縮コードブロックビットストリームを算術復号化する段階；
（ｇ）段階（ｆ）において生成された符合化パス長と量子化器指数とから各々のコードブロックに対する演算レート歪テーブルを生成する段階；
（ｈ）段階（ｇ）において生成された演算レート歪テーブルと所望のビットレートと複数のユーザ指定視覚重み付けとを用いて、トランスコードビットストリームに含まれる必要がある符合化パスを表す符合化パス含有情報を生成する段階；
（ｉ）段階（ｅ）において生成された圧縮コードブロックビットストリームと段階（ａ）において抜き出されたヘッダ情報と段階（ｈ）において生成された符合化パス含有情報とからトランスコード化ＪＰＥＧ２０００ビットストリームを生成する段階；
を有する方法に属す。

本発明の他の側面において、各々のコードブロックに対してトランスコードビットストリームに含まれる必要がある符合化パスを表す、符合化パス含有情報を生成するために段階（ｆ）において生成された符合化パス長ターブルと段階（ｃ）からの所望ビットレートを用いるレート制御関数が提供される。それ故、トランスコード化ＪＰＥＧ２０００ビットストリームは、段階（ｅ）において生成された圧縮コードブロックビットストリームと、段階（ａ）において抜き出されたヘッダ情報と、上記において生成された符合化パス含有情報とから生成される。本発明のこの特徴に従って、トランスコードビットストリームにおいて符合化パスを含むかどうかの決定は歪に依存せず、それ故、演算レート歪テーブルを生成することは必要ない。

本発明は、低ビットレート、低解像度又はそれら両方に対してＪＰＥＧ２０００圧縮画像をトランスコードするための方法を提供する。この方法の優位性は、初期のＪＰＥＧ画像を伸長することは必要がなく、それ故、低いビットレート及び／又は解像度にそれを再圧縮する必要がないことである。トランスコード画像を生成するためにレート歪の最適化を実行する前に、所望解像度まで、最も近い、高いビットレートのレイヤのみに対して算術復号化を実行することが必要である。

本発明の他の優位性は、トランスコード化画像の品質が低ビットレート及び／又は解像度に対する直接的なＪＰＥＧ２０００圧縮により得られる画像の品質に非常に近いことである。

本発明の、これらの及び他の側面、目的、特徴及び優位性は、同時提出の請求の範囲及び以下の好適な実施形態の詳細な説明を精査することにより、そして添付図面を参照することにより、更に明確に理解されることであろう。

本発明は、デジタル画像の圧縮に関する。当該技術分野において周知の他の技術が存在するが、本発明は、ＪＰＥＧ画像圧縮規格において記載されている技術に関して説明することとする。本発明の説明は、特に、本発明に従ったアルゴリズムとより直接的に協働する又はその一部を構成する属性に導くものである。個々で具体的に図示する又は説明することのない属性は、“情報技術−ＪＰＥＧ２０００画像符合化システム、ＩＳＯ／ＩＥＣ国際標準１５４４４−１、ＩＴＵ勧告Ｔ．８００” 記載されている属性又は当該技術分野において知られている他の属性から選択されることが可能である。以下の説明において、本発明の好適な実施形態は、通常は、ソフトウェアプログラムとして実施されるが、当業者は、そのようなソフトウェアに相当するものは又、ハードウェアにおいて構成されることが可能であることを容易に理解することができるであろう。以下の内容において説明する方法論及びシステムを与える場合、本発明の実行に対して必要なそのようなソフトウェアの実施全ては好都合であり、そのような技術分野において通常の技能の範囲内にある。本発明がコンピュータプログラムとして実施される場合、プログラムは従来のコンピュータにより読み取り可能な記録媒体であって、例えば、光ディスク（フロッピー（登録商標）ディスク又は磁気テープのような磁気記憶媒体、光ディスク、光テープ又は機会により読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）のような固体電子記憶素子、又は、コンピュータプログラムを記憶するために使用されるいずれの他の物理素子を有する、コンピュータにより読み取り可能な記録媒体に記憶することが可能である。

ＪＰＥＧ２０００圧縮アルゴリズム及びＪＰＥＧ２０００圧縮ビットストリームの構文
について、ここで要約することする。更に詳細な説明については、上記のＩＳＯ／ＩＥＣ国際規格１５４４４−１において得ることができる。図１は、ＪＰＥＧ２０００符号化器（１０）と復号化器（１２）の簡単化したブロック図を示している。ＪＰＥＧ２０００符号化器において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）ユニット（１４）は入力画像をサブバンドに分解する。ＪＰＥＧ２０００は又、画像を多数の矩形タイルにタイリングすることを可能にする。タイリングが使用される場合、ＤＷＴは各々の画像タイルに独立して適用される。結果的に得られたサブバンド又はウェーブレット係数は不感帯量子化器（１６）を用いて量子化を行う。量子化係数は、プリーシンクト（ｐｒｅｃｉｎｃｔ）とコードブロックとにグループ分けされる。各々のコードブロックは、コードブロックに対応する圧縮ビットストリームを生成するために、エントロピー符号化器（１８）により独立に符合化される。パケット生成及びビットストリーム編成ユニット（２０）は圧縮コードブロックビットストリームをレイヤに分割し、異なるコードブロックからパケットに適切なレイヤを集約する。パケット生成及びビットストリーム編成ユニット（２０）は、パケットが圧縮ビットストリームに現れるべき順序を決定する。ＪＰＥＧ２０００復号化器（１２）において、ビットストリームパーサーユニット（２２）はパケット情報を読み取り、パケットを抜き出す。ビットストリームパーサーユニット（２２）は又、パケットヘッダを復号化し、各々のコードブロックに対応する圧縮データ全てを連結する。エントロピー復号化器（２４）は、各々のウェーブレット係数に対応する量子化器指数を得るために圧縮データを復号化する。逆量子化ユニット（２６）はそれぞれの量子化器指数からウェーブレット係数を再構成する。再構成されたウェーブレット係数は、再構成画像を生成するために、逆ＤＷＴユニット（２８）において逆ＤＷＴを実行する。

ＪＰＥＧ２０００は、入力画像をサブバンドの収集に変換するために２次元（２−Ｄ）離散ウェーブレット変換（ＤＷＴ）を使用する。図２は、３つのレベルの二次元ＤＷＴと各々のサブバンドに対する対応ラベリングを示している。例えば、サブバンドレベルｋＨＬは、水平ハイパス（Ｈ）フィルタがローに適用され、それに続いて、ｋ番目のレベルのＤＷＴ分解の間に、カラムに垂直ローパス（Ｌ）フィルタが適用されることを示している。慣例として、オリジナルの画像（又は、画像タイル）をサブバンド０ＬＬはという。

ＤＷＴ分解は自然多重解像度表現を提供する。画像を再構成することができる最も低い解像度は解像度０という。例えば、図２を参照するに、３ＬＬサブバンドは、３つのレベルの分解に対する解像度０に対応する。Ｎ_ＬレベルのＤＷＴ分解に対して、画像はＮ_Ｌ＋１解像度において再構成することができる。一般に、解像度ｒ（ｒ＞０）において再構成するために、サブバンド（Ｎ_Ｌ−ｒ＋１）ＨＬ、（Ｎ_Ｌ−ｒ＋１）ＬＨ及び（Ｎ_Ｌ−ｒ＋１）ＨＨは、解像度（ｒ−１）において画像と結合されることが必要である。これらのサブバンドは解像度ｒに属すという。解像度０は、Ｎ_ＬＬＬバンドのみから成る。サブバンドが独立して符合化される場合、画像は、その解像度及びより低い解像度全てに対応するサブバンドを含むコードストリームの部分を単純に復号化することにより、いずれの解像度レベルにおいて再構成されることができる。例えば、図２を参照するに、画像は、解像度１の画像と２ＨＬ、２ＬＨ及び２ＨＨとラベリングされた３つのサブバンドとを結合することにより、解像度２において再構成されることができる。

各々のウェーブレット係数は、量子化係数の指数のサインマグニチュード表現を生成するために、一様な不感帯量子化器（１６）を用いて量子化される。この量子化器についての決定閾値（３０）及び再構成レベル（３２）は、例えば図３において、量子化ステップサイズΔに対して示されている。ＪＰＥＧ２０００規格は、所定のサブバンドにおける係数全てのための単一な量子化器のステップサイズの使用を指定している。しかし、そのステップサイズをサブバンドからサブバンドに変化させることができる。サブバンドに対するステップサイズをΔ_ｂとすることとする。不感帯は、他の量子化ビンより大きい、０を中心とした量子化ビンという。ＪＰＥＧ２０００のパート１は、最適な組み込まれた構成のためにステップサイズの２倍に等しい不感帯に採用される。手短に説明すれば、このことは、ステップサイズΔ_ｂから得られるＭ_ｂビット量子化器指数が、最も重要なビット（ＭＳＢ）から始めて、最も重要でないビット（ＬＳＢ）まで進むように、徐々に送信される場合、Ｎｂビットのみを復号化した後に結果的に得られた指数は、ステップサイズ

外１

を有する類似する量子化器を用いることにより得られる指数に等しい、ことを意味する。この特性は、復号化器がコードストリームにおけるいずれの切り捨てポイントにおいて復号化を中止することができ、切り捨てられるコードストリームに対応するビットレートにおいて符合化される同じ画像を正確に尚も生成することができることを、最適な意味で、意味する信号対ノイズ比（ＳＮＲ）のスケーラビリティを可能にする。

量子化サブバンド係数はコードブロックに分割される。コードブロックはウェーブレット係数のタイリングであると考えることができる。各々のコードブロックからの量子化ウェーブレット係数は、エントロピー符号化器（１８）により独立して符合化される。ＪＰＥＧ２０００において、ＭＱ算術符号化器はエントロピー符号化器として使用される。エントロピー符号化器は、ビットプレーンとしてコードブロック係数のサインマグニチュード表現を符合化する。処理されるコードブロックはサブバンドｂからからのものであることを想定する。それ故、コードブロックからのサンプルは、上記のように、ステップサイズΔｂを有する不感帯スカラ量子化器を用いて量子化される。サブバンドｂにおける量子化係数の指数の大きさはＭ_ｂビットの一定精度により表されることを想定する。ビットは、１、２、．．．、Ｍ_ｂのように指数付けされ、ここで、指数１は最も大きい重要なビット（ＭＳＢ）に対応し、Ｍ_ｂは最も小さい重要度のビット（ＬＳＢ）に対応する。コードブロックについてのｋ番目のビットプレーンは、そのコードブロックからの量子化係数の指数全部の大きさ表示からのｋ番目のビットから成る。エントロピー符合化の目的で、コードブロックのためのビットプレーンは、前のいずれのビットプレーンが重要である又はビットプレーンが少なくとも１つの非０ビットを有する場合、重要であると言われる。初期的に、多数のコードブロックビットプレーンの重要度が小さい場合、その情報は個別に信号化される。一般性を失った場合、最上位ビットプレーンは少なくとも１つの非０ビットを有することを仮定する。ＭＱ符号化器は、浄化パスとして知られている単一の符合化パスを用いてコードブロックの最上位ビットプレーンを符合化する。残りのビットプレーンは、３つの符合化パス、即ち、ｓｉｇｎｉｆｉｃａｎｃｅ ｐａｓｓ、ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ及びｃｌｅａｎｕｐ ｐａｓｓを用いてＭＱ符合化される。量子化モードブロック係数のマグニチュード表現がＭ_ｂ上位ビットプレーンを有する場合、ビットプレーン全部を符合化するために必要な符合化パスの総数は（３＊（Ｍ_ｂ−１）＋１）である。

ＪＰＥＧ２０００は圧縮ビットプレーンの編成において重要なフレキシビリティを提供する。このフレキシビリティは、成分、タイル、サブバンド、解像度レベル及びコードブロックにより部分的に達成される。これらの構成は、画像データを、１）カラーチャネル（成分による）、２）空間領域（タイルによる）、３）周波数領域（サブバンド及び解像度レベルによる）及び４）空間周波数領域（コードブロックによる）に分割する。ＪＰＥＧ２０００は又、プリーシンクト（ｐｒｅｃｉｎｃｔ）として知られている中間的空間周波数構成を提供する。プリーシンクトは特定の解像度レベルにおけるサブバンド全部からの空間的に連続したコードブロックの収集である。

これらの構成に加えて、ＪＰＥＧ２０００は、パケット及びレイヤとして知られる単位にコードブロックからの圧縮データを編成する。各々のプリーシンクトに対して、プリーシンクトにおけるコードブロックのための圧縮データは、先ず、１つ又はそれ以上のパケットに編成される。パケットは、簡単には、プリーシンクトにおける各々のコードブロックのための多数のビットプレーン符合化パスから成る圧縮コードストリームにおける連続的セグメントである。符合化パスの数はコードブロックからコードブロック（０の符合化パスを含む）へと変化することができる。タイルの解像度レベル全部におけるプリーシンクトからのパケットは、次いで、レイヤを形成するために結合される。図４は、７６８ｘ５１２画像の３つのレベルの分解に対するプリーシンクト分割を示しており、ここで、コードブロック境界（４０）はコードブロックを明確にし、プリーシンクト境界（４２）は
プリーシンクトを明確にする。解像度０乃至３においては以来とされたプリーシンクトは、オリジナルの画像における同じ２５６ｘ２５６領域に略対応する。

各々のコードブロックのための圧縮ビットストリームは、圧縮ビットストリームにおける１つ又はそれ以上のレイヤに亘って分配される。サブバンド全てからのコードブロック全てとタイルの成分は各々のレイヤに圧縮データで寄与する。各々のコードブロックに対して、数多くの連続的符合化パス（０を含む）はレイヤに含まれる。各々のレイヤは品質インクリメントを表す。特定のレイヤに含まれる符合化パスの数は、一のコードブロックから他のコードブロックに変化することができ、代表的には、下で説明するように、圧縮後レート歪の結果として、符号化器により決定される。

特定のタイル、成分、解像度、レイヤ及びプリーシンクトに属す圧縮データはパケットに統合される。パケットにおける圧縮データはコードストリームにおいて連続的である必要がある。プリーシンクトは、２つ以上のサブバンドからのデータを含む場合、ＨＬ、ＬＨそしてＨＨの順で現れる。各々のサブバンドにおいて、コードブロックからの寄与はラスタの順序で現れる。図４は、プリーシンクトに属すコードブロックの例を示している。コードブロックの番号付けは、コードブロックからの符合化データがパケットにおいて現れる順序を表す。各々のパケットはパケットヘッダを伴って開始する。パケットヘッダは、パケットにおける各々のコードブロックのための符合化パスの数に関する情報を含む。パケットヘッダは又、各々のコードブロックのための圧縮データの長さを含む。パケットヘッダの第１ビットは、そのパケットがデータを含むか又は空であるかを示す。パケットが非０である場合、コードブロック含有情報はパケットにおける各々のコードブロックのために信号化される。この情報は、パケットにおいてコードブロックからのいずれの圧縮データが含まれるかどうかを示す。コードブロックデータが第１の時間に含まれる場合、全体的に０である最上位ビットプレーンの数は又、信号化される。この後、コードブロックのための符合化パスの数と対応する圧縮データの長さは信号化される。ビットプレーンの算術的符合化は段階１符合化と呼ばれ、圧縮データのパケット化及びパケットヘッダ情報の符合化は段階２符合化として知られる。

ＪＰＥＧ２０００ビットストリームの一般的編成は次のようになる。ＪＰＥＧ２０００尾とストリームは、一連のタイルストリームにより後継されるメインヘッダから成る。メインヘッダは、画像サイズ、タイルサイズ、成分の数に浮いての情報、分解レベル、レイヤ、量子化器ステップサイズ等のような、全体のビットストリームの分解のために必要なグローバル情報から成る。各々のタイルストリームはタイルに属すタイルヘッダとパケットとを含む。上記のように、各々のパケットはパケットヘッダと圧縮コードデータとから成る。

レート制御は、目標のファイルサイズ（ビットレート）のために最適な画像を生成するプロセスをいう。最適化の基準は、オリジナル画像と再構成された画像との間の最小二乗誤差（ＭＳＥ）、視覚歪又は他のいずれの基準に基づくことができる。ＪＰＥＧ２０００の組み込まれたブロック符合化スキームとそのフレキシブルなコードストリーム構文は、所定のファ椅子サイズに対してレート−歪（Ｒ−Ｄ）最適化コードストリームの生成を可能にする。Ｔａｕｂｍａｎ（文献、Ｄａｖｉｄ Ｔａｕｂｍａｎ，“Ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｓｃａｌａｂｌｅ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＥＢＣＯＴ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ９（７），ｐｐ．１１５８−１１７０，Ｊｕｌｙ ２０００）は、最小歪をこの信号相互作用において望ましいレートを達成するＥＢＣＯＴ圧縮アルゴリズムのための効率的なレート制御方法を提示した。この方法は又、幾つかの有効な変化を伴うＪＰＥＧ２０００符号化器により使用されることができる。

基本的方法において、各々のサブバンドは、先ず、非常に細かいステップサイズを用いて、量子化され、結果として得られるコードブロックのビットプレーンはエントロピー符合化される。このことは、代表的には、各々のコードブロックに対して、結局は最終的ビットストリームに含まれるより多い符合化パスを生成する。量子化器のステップサイズが十分小さいように選択される場合、アルゴリズムのＲ−Ｄ性能はステップサイズの初期選択に依存しない。次いで、望ましいビットレートを達成するために最終的な圧縮ビットストリームに含まれる必要がある各々のコードブロックからの符合化パスの数を決定するために、ラグランジュのＲ−Ｄ最適化が実行される。１つのレイヤより多いレイヤが所望される場合、このプロセスは、次のレイヤに含まれる必要がある各々のコードブロックからの追加の符合化パスの数を決定するために各々のレイヤの終わりにおいて繰り返されることができる。

ラグランジュのＲ−Ｄ最適化は次のような方法において機能する。各々のコードブロックからの圧縮ビットストリームは、各々の符合化パスの終わりにおいて得られる非常に多くのポテンシャル切り捨てポイントを含む。サブバンドｂのコードブロックに含まれるウェーブレット係数はステップサイズΔｂを用いて初期的に量子化され、各々の係数のためにＭ_ｂビット量子化器指数を結果的に生じる。特定のウェーブレット係数のためにＮ_ｂビットのみが復号化されるように、コードブロックビットストリームが切り捨てられる場合、その係数のための効果的量子化器ステップサイズは

外２

である。圧縮ビットストリームにおいて各々の追加のビットプレーンを含むことにより、有効量子化器ステップサイズは２分の１に減少する。各々のコードブロックに対して及び各々の追加の符合化パスに対して、ビットストリームにおけるその符合化パスを含むことから発生する歪の減少率とビットレートの増加率とが演算され、演算レート歪テーブルとして知られるテーブルに記憶される。コードブロックに亘る付加的ないずれの一般歪測定を用いることができるが、選択される歪測定は、通常は、ＭＳＥであり、又は、実質的に重み付けされたＭＳＥである。全体的画像のためのコードブロックの総数をＰとし、その画像におけるコードブロックをＢ_ｉにより表し、ここで１≦ｉ≦Ｐとする。コードブロックＢ_ｉにおける所定の切り捨てポイントに対して、関連する重み付け歪Ｄ_ｉ ^ｔは次式により与えられ、

ここで、ｕとｖはコードブロックＢ_ｉにおいて含まれる係数ロー及びカラム指数を表し、

外３

は切り捨てポイントｔに対する量子化係数値であり、ｗ_ｉ［ｕ，ｖ］は係数ｘ_ｉ［ｕ，ｖ］に対する重み付け係数であり、α_ｂはサブバンドｂに対応する合成基準関数のＬ_２ノルムである。量子化ノイズについてのある仮定の下で、この歪はコードブロックに亘って付加的である。所定の切り捨てポイントｔにおいて、コードブロックＢ_ｉに対する関連圧縮ビットストリーム（即ち、レート）のサイズは決定され、

外４

により表される。

圧縮ビットストリームに対するＲバイトの総ビットバジェットを与える場合、ＥＢＣＯＴレート制御アルゴリズムは、総歪Ｄを最小化する各々のコードブロックのための切り捨てポイントを見つける。これは、コードブロック

外５

の全てに対する最適なビット割り当てを見つけることに相当し、ここで、１≦ｉ≦Ｐであって、次のようになる。

文献ＪＰＥＧ２０００において、このようなレート制御アルゴリズムは又、圧縮後のＲ−Ｄ最適化と呼ばれる。重み付け係数ｗ_ｉ［ｕ，ｖ］が全てのサブバンド係数に対して１に設定される場合、歪基準は最小二乗誤差まで減少する。

我々の目的は、低いビットレート及び／又は解像度において他のＪＰＥＧ２０００に既存のＪＰＥＧ２０００画像をトランスコードすることである。上記で説明したように、最適なレート制御を実行するために、各々のコードブロックに対する演算レート歪テーブルが必要である。しかし、もはや、我々はオリジナルの画像へのアクセスを有しないため、歪情報は、永久に失われる。レート情報は利用可能であるが、パケットを復号化し、圧縮コードブロック符合化パスのＭＱ復号化を実行することが必要である。本発明はこれらの問題点を克服する。本発明の現在好適な実施形態に対して、ここで、基準を詳細に作成し、その例を添付図に示している。上記のように、本発明は、低いビットレート、低い解像度又はそれら両方にＪＰＥＧ２０００圧縮画像をトランスコードするための方法を提供する。本発明は好適な実施形態と関連して説明することとする一方、その好適な実施形態に本発明を限定することを意図しないことは理解されるであろう。それとは対照的に、同時提出の請求の範囲に規定している本発明の範囲及び主旨に含まれることが可能であるような、全ての代替、修正及び相当内容をカバーすることを意図するものである。

本発明に従った画像トランスコーダについてのフロー図を図５に示す。ＪＰＥＧ２０００圧縮画像（１０１）はＪＰＥＧ２０００ビットストリーム解析ユニット（１０２）により解析される。ＪＰＥＧビットストリーム解析ユニット（１０２）は、種々のＪＰＥＧ２０００マーカセグメントに含まれるヘッダ情報（１０３）を抜き出し、異なる解像度に対応するパケット（１０４）を分離する。解像度レイヤバイトカウンタ（１０５）は、ユーザ指定所望解像度（１０６）に対するレイヤバイトカウントテーブル（１０８）を生成する。ＪＰＥＧ２０００圧縮画像は０、１、．．．、Ｌ−１により表されるＬレイヤを有し、ユーザ指定解像度はｕであることを考慮されたい。それ故、レイヤｘに対応するレイヤバイトカウントテーブル（１０８）入力は、レイヤ０、１、．．．、ｘ及び解像度０、１、．．．、ｕに属すパケットの累積サイズを表す。トランスコード画像のためのユーザ指定所望ビットレート（１０７）はレイヤ予測ユニット（１０９）に入力される。好適な実施形態において、所望ビットレートは、バイトで表されるトランスコード画像のサイズに関して指定される。レイヤ予測ユニット（１０９）は、レイヤバイトカウントテーブル（１０８）を用いることにより所望ビットレート（１０７）を実現するためにユーザ指定所望解像度まで復号化される必要があるレイヤ数を決定する。図６は、４つの解像度及び３つのレイヤを有するＪＰＥＧ２０００圧縮画像の各々の解像度のためのレイヤバイトカウントテーブルについて説明するための例を示している。従って、ユーザ指定所望解像度が２であり、ユーザ指定所望ビットレートが１６３８４バイトである場合、レイヤ０及び１は、解像度２まで復号化されることが必要である。

図５を参照するに、パケット復号化器（１１１）は、ユーザ指定所望解像度まで、レイヤ予測ユニットにより決定されるように復号化されるレイヤに対応するパケットを復号化する。パケット復号化器は又、パケットに寄与した各々のコードブロックに対応する圧縮コードブロックビットストリームを抜き出す。連結ユニット（１１２）は、各々のコードブロックのために圧縮コードブロックビットストリーム（１１３）に各々のコードブロックのための圧縮データを連結する。算術復号化器（１１４）は、量子化サブバンド係数指数（１１５）と復号化パス長テーブル（１１６）とを生成するために各々の圧縮コードブロックビットストリーム（１１３）において算術復号化を実行する。レート歪テーブル予測ユニット（１１７）は、各々の復号化された符合化パスに対応する圧縮データの長さの予測を有する符合化パス長テーブル（１１６）と量子化係数指数（１１５）からの演算レート歪テーブル（１１８）とを生成する。Ｒ−Ｄ最適化ユニット（１１９）は、演算レート歪ターブル（１１８）と所望ビットレート（１０７）とユーザ指定視覚重み付け（１２１）とを用いて、トランスコードビットストリームに含まれる必要がある符合化パスを表す符号化パス含有情報（１２０）を生成するために圧縮後Ｒ−Ｄ最適化を実行する。圧縮後Ｒ−Ｄ最適化は、冒頭で述べたようなＪＰＥＧ２０００符号化器により実行される最適化と同様である。ユーザ指定視覚重み付け（１２１）は、圧縮後Ｒ−Ｄ最適化を実行する間に、式（１）におけるｗ_ｉ［ｕ，ｖ］についての値を提供する。ＪＰＥＧ２０００ビットストリーム生成ユニット（１２２）は、トランスコードＪＰＥＧ２０００ビットストリーム（１２３）を生成するために、符合化パス含有情報（１２０）と圧縮コードブロックビットストリーム（１１３）とヘッダ情報（１０３）とを用いる。

算術復号化器ユニット（１１４）は 量子化サブバンド係数指数（１１５）を生成する。演算レート歪テーブル（１１８）を決定する目的で逆ＤＷＴを実行し、サブバンド係数を明示的に再構成することは必要ない。これは、トランスコーディングプロセスが量子化のために同じ基本的量子化ステップサイズを用いるためである。それ故、量子化器指数が２３（２進数化における１０１１１）であり、ステップサイズがΔ_ｂであり、３つのＬＳＢが廃棄された、ウェーブレット係数を考慮されたい。その場合、中間点の再構成に対して、再構成係数は２３．５ｘ８Δ_ｂである。２進表記法と１０進表記法とを混合して、これを（１０１１１１００_ｂ）Δ_ｂと書くことができる。ＪＰＥＧ２０００規格のパートＩのみにおいて用いられるフィルタは完全な再構成であるため、逆ＤＷＴを実行することは必要ない。このことは、逆ＤＷＴを実行し、その後、制限されない精度を有するＤＷＴを実行する場合、全く同様な係数を、再度、得ることとなる。再構成された係数がステップサイズΔ_ｂを有して、再び、量子化されるとき、２進数かにおいて結果的に得られる量子化器指数は１０１１１１００_ｂである。それ故、各々の量子化係数に対して、復号化された最下位ビットの後の２進数化に１を添えた後、量子化係数指数（１１５）から、再符合化コードブロックデータのための演算レート歪テーブル（１１８）を、直接、予測することは適切である。

当業者は、複数のレイヤがトランスコードビットストリームにおいて望ましい場合、Ｒ−Ｄ最適化段階（１１９）が複数回であって、各々の望ましいレイヤビットレートに対して１回、実行されることができる、ことを理解するであろう。

上記のトランスコーディング方法は、トランスコーディングの時に適用される必要がある正確な資格重み付けを知っているとき、又は、視覚重み付けが用いられる必要がないとき、非常によく機能する。しかし、ときどき、ＪＰＥＧ２０００符号化器により決定されるような異なるコードブロックの相対視覚重要性を保つことが望ましい。例として、同じサブバンドに属す２つのコードブロックを考慮されたい。ＪＰＥＧ２０００規格仕様に従って、それら２つのコードブロックは、同じ量子化器ステップサイズを用いて量子化される必要がある。しかし、第１コードブロックが視覚的に更に重要であることを決定する場合、符号化器は、レイヤ０における第２コードブロックから更に符合化パスを有することが可能である。説明するための例として、ＪＰＥＧ２０００符号化器は、第１コードブロックからは１２個の符合化パスを有するが、レイヤ０における第２コードブロックからは４つの符合化パスのみを有することが可能である。このことは、ＪＰＥＧ２０００符号化器は第１コードブロックに大きい視覚重み付けを割り当てたことを意味する。しかし、このような視覚重み付けは、トランスコーダにより補われることはできない。トランスコーダは量子化ステップサイズのみを利用し、この場合、視覚重み付け自体は、レイヤ０に含まれる異なる符合化パスの数としてのみとなっている。画像が低いレートにトランスコードされるとき、ＪＰＥＧ２０００により用いられる視覚重み付けをまねすることが好ましいこととなる。図７は、この目的を達成する、本発明の他の実施形態を示している。

ＪＰＥＧ２０００圧縮画像（２０１）はＪＰＥＧ２０００ビットストリーム解析ユニット（２０２）により解析される。ＪＰＥＧ２０００ビットストリーム解析ユニット（２０２）は、種々のＪＰＥＧ２０００マーカセグメントに含まれるヘッダ情報を抜き出し、異なる解像度に対応するパケット（２０４）を分離する。解像度レイヤバイトカウンタ（２０５）は、ユーザ指定所望解像度（２０６）のためのレイヤバイトカウントテーブル（２０８）を生成する。レイヤバイトカウントテーブル（２０８）に含まれる情報は、好適な実施形態からの例やバイトカウントテーブル（１０８）における情報と同様である。トランスコードされた画像に対するユーザ指定所望ビットレート（２０７）はレイヤ予測ユニット（２０９）に入力される。レイヤ予測ユニット（２０９）は、レイヤバイトカウントテーブル（２０８）を用いることにより所望のビットレート（２０７）を達成するために、ユーザ指定所望解像度まで復号化される必要があるレイヤ数を決定する。パケット復号化器（２１１）は、ユーザ指定所望解像度まで、レイヤ予測ユニットにより決定された通りに復号化される必要がある、レイヤに対応するパケットを復号化する。連結ユニット（２１２）は、各々のコードブロックのために圧縮コードブロックビットストリーム（２１３）を生成するために、各々のコードブロックのために圧縮データを連結する。算術復号化器（２１４）は、符合化パス長テーブル（２１５）を生成するために、各々の圧縮コードブロックビットストリーム（２１３）において算術復号化を実行する。レート制御ユニット（２１６）は、符合化パス長テーブル（２１５）と所望ビットレート（２０７）に基づいて、符合化パス含有情報（２１７）を生成する。ＪＰＥＧ２０００ビットストリーム生成ユニット（２１８）は、トランスコードＪＰＥＧ２０００ビットストリーム（２１９）を生成するために、符合化パス含有情報（２１７）と圧縮コードブロックビットストリーム（２１３）とヘッダ情報（２０３）とを用いる。

この実施形態と好適な実施形態との間の主な違いは、この実施形態においては、トランスコードビットストリームにおける符合化パスを有するかどうかの決定は歪に依存しないことである。それ故、演算レート歪テーブルは生成されない。それに代えて、次の原理がレート制御ユニットにより用いられる。レイヤ予測ユニット（２０９）により決定されるように、復号化されるレイヤ数をｗとする。それ故、レイヤ０、１、．．．、（ｗ−２）は、トランスコードビットストリームにおけるそれら全体に含まれる。レイヤｗ又はそれより高いレイヤからの符合化パスはトランスコードビットストリームに含まれず、レイヤ（ｗ−１）からの一部の符合化パスのみがトランスコードビットストリームに含まれる。
レイヤ（ｗ−１）に属すコードブロックＢのための符合化パスの数は

外６

により表されるとする。各々のコードブロックに対して、レート制御ユニットは、トランスコードビットストリームに含まれるレイヤ（ｗ−１）からの符合化パスの割合に等しくするようにする。以下、レート制御ユニット（２１６）について、更に詳細に説明することとする。

図８は、レート制御ユニット（２１６）のフロー図を示している。レイヤ（ｗ−２）及び（ｗ−１）に対応する全体的なビットレートは、Ｒ_{（ｗ−２）}及びＲ_{（ｗ−１）}それぞれにより表されるとする。又、所望ビットレート（２０７）はＲ_{ｄｅｓｉｒｅｄ}により表されるとする。初期化段階（３０１）において、Ｒ_ｍｉｎ及びＲ_ｍａｘは、Ｒ_{（ｗ−２）}及びＲ_{（ｗ−１）}それぞれに設定される。同様に、ｆ_ｍｉｎ及びｆ_ｍａｘは、０及び１それぞれに設定される。次いで、比較段階（３０２）において、（ｆ_ｍａｘ−ｆ_ｍｉｎ）は‘閾値’に対して比較される。（ｆ_ｍａｘ−ｆ_ｍｉｎ）が閾値に等しいかそれより小さい場合、符合化パス含有決定段階（３０３）において、各々のコードブロックに対して、トランスコードビットストリームに含まれるレイヤ（ｗ−１）からの符合化パスの数、

外７

は、

外８

として演算される。この情報は、符合化パス含有情報（２１７）として出力される。（ｆ_ｍａｘ−ｆ_ｍｉｎ）が閾値より大きい場合、更新段階（３０４）において、値ｆはｆ_ｍａｘ及びｆ_ｍｉｎの平均値に更新される。レート決定段階（３０５）は、各々のコードブロックＢに対して、レイヤ（ｗ−１）からの

外９

個の符合化パスが圧縮ビットストリームに含まれる場合、全体的なレートＲ（ｆ）を決定する。次いで、他の比較段階（３０６）において、全体的なレートＲ（ｆ）はＲ_{ｄｅｓｉｒｅｄ}と比較される。Ｒ（ｆ）がＲ_{ｄｅｓｉｒｅｄ}に等しいかそれより小さい場合、Ｒ_ｍｉｎはＲ（ｆ）に設定され、ｆ_ｍｉｎは他の更新段階（３０７）においてｆに設定される。そうでない場合、Ｒ_ｍａｘはＲ（ｆ）に設定され、ｆ_ｍａｘはｆ（３０８）に設定され、フロー制御は段階（３０２）に戻る。この実施形態において、段階（３０２）における閾値は０．０１であるように選択されるが、当業者は、いずれの他の小さい値を選択することが可能であることを理解するであろう。

以上の方法で生成される符合化パス含有情報は、ユーザ指定所望ビットレートより小さい全体的なビットレートにつながることが可能であることを、当業者は理解するであろう。その場合、他の符合化パスを含むことにより大きいユーザ指定所望ビットレートが結果的に生じるポイントまで、各々のコードブロックから１つの符合化パスの追加を開始することが可能である。好適な実施形態において、追加の符合化パスを含むことに対するコードブロックは低解像度から高解像度への順序となる。解像度の範囲内で、プリーシンクトはラスタスキャンにおいて横断される。プリーシンクトの範囲内で、コードブロックは、図４において示した順序で横断される。

ＪＰＥＧ２０００符号化器及び復号化器の簡単化したブロック図である。 ３つのレベルの２次元ＤＷＴを示す図である。 ステップサイズΔを有する一様な不感帯量子化器を示す図である。 ７６８ｘ５１２画像の３つのレベルの分解のためのプリーシンクト分割を示す図である。 本発明に従ったトランスコーダのフロー図である。 レイヤバイトカウントテーブルの例を示す図である。 本発明の他の実施形態を示す図である。 レート制御ユニットのフロー図である。

符号の説明

１０ ＪＰＥＧ２０００符号化器
１２ ＪＰＥＧ２０００復号化器
１４ 離散ウェーブレット変換ユニット
１６ 一様な不感帯量子化器
２０ パケット生成及びビットストリーム編成ユニット
２２ ビットストリーム解析ユニット
２４ エントロピー復号化器
２６ 逆量子化ユニット
２８ 逆離散ウェーブレット変換ユニット
３０ 決定閾値
３２ 再構成レベル
４０ コードブロック境界
４２ コードブロック境界
１０１ ＪＰＥＧ２０００圧縮画像
１０２ ＪＰＥＧ２０００ビットストリーム解析ユニット
１０３ ヘッダ情報
１０４ パケット
１０５ 解像度レイヤバイトカウンタ
１０６ 所望解像度
１０７ 所望ビットレート
１０８ レイヤバイトカウントターブル
１０９ レイヤ予測ユニット
１１０ 復号化されるレイヤ数
１１１ パケット復号化器
１１２ 結合ユニット
１１３ 圧縮コードブロックビットストリーム
１１４ 算術復号化器
１１５ 量子化サブバンド係数指数
１１６ 復号化パス長テーブル
１１７ レート歪テーブル予測ユニット
１１８ 演算レート歪テーブル
１１９ Ｒ−Ｄ最適化ユニット
１２０ 符合化パス含有情報
１２１ 視覚重み付け
１２２ ＪＰＥＧ２０００ビットストリーム生成ユニット
１２３ トランスコードＪＰＥＧ２０００ビットストリーム
２０１ ＪＰＥＧ２０００圧縮画像
２０２ ＪＰＥＧ２０００ビットストリーム解析ユニット
２０３ ヘッダ情報
２０４ パケット
２０５ 解像度レイヤバイトカウンタ
２０６ 所望解像度
２０７ 所望ビットレート
２０８ レイヤバイトカウントターブル
２０９ レイヤ予測ユニット
２１０ 復号化されるレイヤ数
２１１ パケット復号化器
２１２ 結合ユニット
２１３ 圧縮コードブロックビットストリーム
２１４ 算術復号化器
２１５ 符合化パス長テーブル
２１６ レート制御ユニット
２１７ 符合化パス含有情報
２１８ ＪＰＥＧ２０００ビットストリーム生成ユニット
２１９ トランスコードＪＰＥＧ２０００ビットストリーム
３０１ 初期化段階
３０２ 比較段階
３０３ 符合化パス含有決定段階
３０４ 更新段階
３０５ レート決定段階
３０６ 比較段階
３０７ 更新段階
３０８ 設定段階

Claims (1)

1. 各々のサブバンドのコードブロックに分割され且つレイヤに集約された量子化サブバンド係数の圧縮ビットストリームに、１つ又はそれ以上の符合化パスにおいて符合化されたサブバンドの収集を有するＪＰＥＧ２０００圧縮画像をトランスコードするための方法であって：
   （ａ）ヘッダ情報とパケットとを抜き出すためにＪＰＥＧ２０００圧縮画像を解析する段階；
   （ｂ）レイヤバイトカウントテーブルを生成するためにユーザ指定所望解像度において各々のレイヤに関連するバイト数を計算する段階；
   （ｃ）ユーザ指定所望ビットレートに対してトランスコードするためのユーザ指定所望解像度まで復号化される必要があるＪＰＥＧ２０００圧縮画像のレイヤ数を予測する段階；
   （ｄ）段階（ｃ）において決定されたような復号化されるレイヤからユーザ指定所望解像度までの解像度に属すパケットを抜き出し、パケットに寄与する各々のコードブロックに対応する圧縮データを抜き出す段階；
   （ｅ）各々のコードブロックのために圧縮コードブロックビットストリームを生成するために、段階（ｄ）において抜き出された各々のコードブロックに対応する圧縮データを連結する段階；
   （ｆ）各々の復号化された符合化パスに対応する圧縮データの長さの予測値を有する符合化パス長テーブルと各々のサブバンド係数のための量子化器指数とを生成するために各々のコードブロックに対応する圧縮コードブロックビットストリームを算術復号化する段階；
   （ｇ）段階（ｆ）において生成された符合化パス長テーブルと量子化器指数とから各々のコードブロックのために演算レート歪テーブルを生成する段階；
   （ｈ）段階（ｇ）において生成された演算レート歪テーブルと所望ビットレートと複数のユーザ指定視覚重み付けとを用いて、トランスコードビットストリームに含まれる必要がある符合化パスを表す符合化パス含有情報を生成する段階；並びに
   （ｉ）段階（ｅ）において生成された圧縮コードブロックビットストリームと段階（ａ）において抜き出されたヘッダ情報と段階（ｈ）において生成された符合化パス含有情報とからトランスコード化ＪＰＥＧ２０００ビットストリームを生成する段階；
   を有することを特徴とする方法。

Images