JP2006166413A - スケーラブルな画像トランスコーディング方法 - Google Patents

Abstract

【課題】符号化入力ビットストリームの形態の画像をトランスコードする方法を得る。
【解決手段】入力ビットストリームは画質レイヤを含み、各画質レイヤは解像度レベルを含み、各解像度レベルはコンポーネントを含み、各コンポーネントはプレシンクトを含み、各プレシンクトはパケット分割位置、ヘッダ長、及び本文の長さを含む。入力ビットストリームは部分的に復号化されて、符号化入力ビットストリーム構造が得られる。画像中の関心領域の座標が指定されて、プログレッシブパラメータが規定される。部分的に復号化された入力ビットストリームは次に、構造、座標、及びプログレッシブパラメータに従って符号化され、符号化出力ビットストリームが得られる。
【選択図】図１

Description

本発明は、包括的には画像及びビデオの符号化に関し、特に関心領域を含む画像のトランスコーディングに関する。

ビデオ監視、携帯電話、デジタルカメラ、プリンタ、スキャナ、ファクシミリ、コピー機、医用画像、衛星画像、インターネット、及び複合文書により、画像及びビデオの用途に対する要求が高まった。しかし、帯域幅、記憶装置及びプロセッサのような資源には限りがあるため、高画質の画像は不可能である場合が多い。画像の画質は、画像の画素数と、各画素に割り当てられるビット数とに依存する。例えば、１画素が２４ビットで表される１０２４×１０２４画素の画像は２５Ｍｂの高画質カラー画像となり、１画素が１ビットで表される１０×１０画素の画像は１００ビットの低画質の白黒「サムネイル」画像となる。

１つの解決策は、画像中の関心領域（ＲＯＩ）を背景（ＢＧ）と区別する。ＲＯＩの符号化にはＢＧよりも多くのビットが用いられる。ＲＯＩにＢＧよりも多くのビットを割り当てることにより、符号化画像中のＲＯＩの知覚される解像度及び画質を低下させることなく、画像の符号化に用いられる総ビット数を減らすことができる。ビット数が少なくなれば必要な資源が削減される。

１つのＲＯＩ符号化方法は、ＲＯＩのウェーブレット変換係数を選択的に増大させる。Atsumi等著「階層木における集合分割法（ＳＰＩＨＴ）に基づく有損失／無損失の関心領域の画像符号化（Lossy/lossless region-of-interest image coding based on set partitioning in hierarchical trees）」IEEE Proceeding of ICIP, October 1998。ＲＯＩはまた、より高い優先度で転送される。しかし、スケーリング値によっては、ＲＯＩがＢＧに溶け込んで見える可能性がある。したがって、デコーダは、ＲＯＩをＢＧと区別するために形状情報も必要とする。

ＪＰＥＧ２０００規格は、ＲＯＩ符号化のためのｍａｘ−ｓｈｉｆｔ法を規定する。ISO/IEC 15444-1「情報技術−ＪＰＥＧ２０００画像符号化方式−パート１：基本符号化方式（Information technology - JPEG 2000 image coding system - Part 1: Core coding system）」1^st Ed., 2000。ＪＰＥＧ２０００規格は、色変換、量子化、ウェーブレット変換、プログレッシブなビットプレーン符号化、及びエントロピー符号化を用いる。符号化画像は、階層パケットストリームとして転送される。ＪＰＥＧ２０００では、符号化中に出力画像のサイズ及び画質が選択される。ｍａｘ−ｓｈｉｆｔ法は、ＲＯＩを重複のないビットプレーンにスケーリングすることによって、ＲＯＩを背景から分離する。Skodras等著「ＪＰＥＧ２０００の静止画圧縮規格（The JPEG 2000 still image compression standard）」IEEE Signal Processing Magazine, September, 2001。スケーリング値は、ＲＯＩに関連する最小係数が背景の最大係数よりも確実に大きくなるように十分に大きい。デコーダは、スケーリング値を受け取ると、ＲＯＩ係数をその大きさで識別する。ｍａｘ−ｓｈｉｆｔ法により、ＲＯＩの形状情報をデコーダに明示的に送信することなく、任意形状のＲＯＩの符号化が可能になる。しかし、ｍａｘ−ｓｈｉｆｔ符号化では、ＲＯＩの境界の画定に必要な余分な符号ブロックによりオーバーヘッドが増加する。

別の方法は、ＲＯＩの相対的な重要度に合わせてプレーン毎にビットをシフトする。Wang等著「ビットプレーン毎のシフト（ＢｂＢＳｈｉｆｔ）−ＪＰＥＧ２０００における関心領域の画像符号化に対する提案（Bitplane-by-bitplane shift (BbBShift） - A suggestion for JPEG 2000 Region of Interest image coding」IEEE Signal Processing Letters, Vol. 9, No. 5, May 2002。しかし、ＢｂＢＳｈｉｆｔ法はＪＰＥＧ２０００規格に準拠していない。

別の方法は「部分的な上位ビットプレーンシフト（partial significant bit-planes shift）」（ＰＳＢＳｈｉｆｔ）と呼ばれる。Liu等著「ＪＰＥＧ２０００における関心領域の新たな画像符号化方法：部分的な上位ビットプレーンシフト（A new JPEG 2000 region-of-interest image coding method: partial significant bitplanes shift）」IEEE Signal Processing Letters, Vol. 10, No. 2, February 2003。ＰＳＢＳｈｉｆｔ法は、ＲＯＩの高画質を維持しようとする。ＰＳＢＳｈｉｆｔ法もやはりＪＰＥＧ２０００規格に準拠していない。

上記のＲＯＩ符号化方法はすべて静的符号化を用いる。すなわち、ＲＯＩは「符号化」中に規定される。これは、ＲＯＩ情報が「復号化」中にしか利用できない場合に問題となる。例えば、閲覧者がＲＯＩを指定することを望む。これもまた、ＲＯＩ情報が外部ソースによって動的に供給される場合に問題となる。例えば、オブジェクト追跡のような外部プロセスは、画像を復号化前に解析してＲＯＩを判定する。

動的なＲＯＩ符号化方法が、Rosenbaum等著「ＪＰＥＧ２０００におけるフレキシブルで、動的で、且つコンプライアントな関心領域の符号化（Flexible, dynamic and compliant region of interest coding in JPEG 2000）」IEEE Proceeding of ICIP, Rochester, New York, September, 2002に記載されている。この方法は、インタラクティブ環境における動的なＲＯＩ情報に対処する。この方法は、ＪＰＥＧ２０００規格によって規定されるプレシンクト／レイヤ構造を用いて、各レイヤにおけるプレシンクトの優先度を決める。この方法はレイヤを動的に挿入する。ＲＯＩパケットは同じレイヤに残り、他のパケットは１つ上のレイヤにシフトされる。しかし、動的なレイヤ挿入にはパケットヘッダの再符号化が必要になる。これはレート−歪みの再計算を必要とするが、この特徴はリアルタイム画像伝送用途には望ましくない。さらに、この方法はＪＰＥＧ２０００規格に準拠している。

したがって、従来技術による符号化方法の問題のために、パケットヘッダの再符号化を回避するとともに、ＲＯＩの符号化をフレキシブルで、動的で、且つ計算の複雑度が低いものにする新たな符号化機構を提供することが望ましい。

１つの方法では、符号化入力ビットストリームの形態の画像又はビデオをトランスコードする。パケットの形態の入力ビットストリームは画質レイヤ（quality layer）を含み、各画質レイヤは解像度レベルを含み、各解像度レベルはコンポーネントを含み、各コンポーネントはプレシンクトを含み、各プレシンクトはパケット分割位置、ヘッダ長、及び本文の長さを含む。

入力ビットストリームは部分的に復号化されて、インデックス付きの符号化入力ビットストリーム構造が得られる。画像中の関心領域の座標が指定されて、プログレッシブパラメータが規定される。

部分的に復号化された入力ビットストリームは次に、構造、座標、及びプログレッシブパラメータに従って符号化され、符号化出力ビットストリームが得られる。

トランスコーディング中、入力ビットストリームの関心領域パケット及び背景パケットがプログレッシブパラメータに従って出力ビットストリームに選択的に変換される。例えば、出力ビットストリームに背景パケットは含まれないか、関心領域と、低画質レイヤからの背景パケットのみが含まれる。

本発明は、符号化ビットストリームからの画像の復元を任意数の異なる方法において任意の所望の空間解像度及び画質で可能にする。本発明によるトランスコーディングは適応的且つスケーラブルである。本発明は、関心領域の高画質及び高解像度を維持することができる。画像の残りの部分は、画質を落とすか、又は完全に削除して、所望の帯域幅を達成することができる。本発明による方法は、従来技術の方法に比べて複雑度が低く効率が高い。

従来技術と異なり、本発明はパケットの完全な復号化及び再符号化を行わない。その代わりに、本発明は、パケットを選択的に削除するか、又は、空パケットを用いて、ＲＯＩの優先度を効果的に上げる。これにより、リアルタイムでのトランスコーディング用途が可能になる。

図１は、本発明による、関心領域（ＲＯＩ）を含む画像をトランスコードするシステム及び方法を示す。ＲＯＩは画像中の矩形領域である。本発明のシステムに対する入力は、符号化ビットストリーム１０１、例えばＪＰＥＧ２０００ビットストリームである。このビットストリームはデータパケットシーケンスの形態である。画像は、有損失技法又は無損失技法を用いて圧縮することができる。

ビットストリーム１０１の符号化中、ＪＰＥＧ２０００規格においてウェーブレット変換を使用して、画像を４つのサブバンド画像として解析する。サブバンド画像は、それらの異なる空間周波数特性を記述する係数を含む。周波数の最も低いサブバンド画像をさらに４つのより小さなサブバンドに分解する。このプロセスは、所望の画像解像度に対して必要に応じて繰り返すことができる。各サブバンド画像は、「符号ブロック」と呼ばれる重複のない矩形ブロックに分割される。各符号ブロックは個別に符号化されて、最終的な符号化ビットストリーム１０１が生成される。

ビットストリームを効率的に編成するために、符号ブロックを各解像度レベル内で「プレシンクト」にグループ分けする。プレシンクト分割は、画像の特定の空間領域に対応するウェーブレット係数へのアクセスを容易にする。各プレシンクトはビットストリーム中の１パケットを生成する。ＳＮＲ−プログレッシブ精緻化を可能にするために、１つのパケットに含まれる情報を複数のレイヤに分散させる。各レイヤは検討されるプレシンクトからの一定量のデータを含む。

ビットストリーム中の各画質レイヤ及び各解像度レベルから所望のパケットを抽出するために、本発明は、符号ブロックの算術的復号化を行わずにパケットヘッダ情報を部分的に復号化するパーサ１１０を提供する。こうして、ＲＯＩトランスコーディング１２０により、最小の計算複雑度で符号化出力ビットストリーム１０４を生成することが可能になる。

図２に示すように、パーサ１１０は、タグツリーデコーダを用いて、入力ビットストリームの階層データ構造２００を得る。

ビットストリーム１０１中のパケットを部分的に復号化１１０して構造２００を得る。階層構造は画質レイヤ（Ｑレイヤｎ）２０１を含み、各レイヤは解像度レベル（Ｒレベルｍ）２０２を含み、各解像度レベルはコンポーネント２０３を含み、各コンポーネントはプレシンクト２０４を含み、各プレシンクトはパケット分割位置２０５、ヘッダ長２０６、及び本文の長さ２０７を含む。インデックス番号により、プレシンクト情報２０５〜２０７に直接アクセスすることができる。

ＪＰＥＧ２０００ビットストリームの複雑なアーキテクチャにより、全てのプレシンクトにアクセスすることは高くつく。したがって、本発明ではデータ構造２００を、インデックス番号によりランダムに直接アクセスできるように設計する。

図１に示すように、ＲＯＩ座標１１２及びプログレッシブパラメータ１１３も例えばユーザ又は外部ソースによって指定及び規定される。

構造２００、ＲＯＩ座標１１２、及びプログレッシブパラメータ１１３はトランスコーダ１２０に渡される。従来技術とは対照的に、ＲＯＩ座標１１２は、符号化中ではなくトランスコーディング中に指定される。例えば、ユーザがＲＯＩをマーク付けするか、又は、オブジェクト認識又はパターン認識等の他の技法によって座標が供給される。認識器は、画像中のオブジェクト又はパターンを見つけ、そのオブジェクトの周囲にＲＯＩを当てはめて座標を得る。

ＲＯＩ座標はプレシンクト位置と一致しない場合がある。その場合、トランスコーディング１２０は、ＲＯＩ座標を外側の最も近いプレシンクト境界に丸める。すなわち、矩形のＲＯＩを、プレシンクトによって規定される境界に合わせて大きくする。プログレッシブパラメータは、ユーザがトランスコーディングの前に規定して、背景（ＢＧ）を削除できるかを指示するか、又は、ＢＧ及びＲＯＩについてトランスコードする必要のある画質レベル数を指示することもできる。プログレッシブパラメータの使用については後述する。

トランスコーダは、構造情報２００及び座標１１２を用いて、入力ビットストリーム１０１中のＢＧパケット及びＲＯＩパケットを識別する。パケットをＲＯＩ座標１１２及びプログレッシブパラメータ１１３に従って、符号化出力ビットストリーム１０４のパケットに再編成する。最終的な符号化出力ビットストリーム１０４は、ＪＰＥＧ２０００規格に完全準拠する。

図３は、ＲＯＩ３０２と、残りの背景（ＢＧ）３０３とを含む例示的な画像３０１を示す。ＲＯＩの座標は、原点（Ｏ）並びにＸ軸及びＹ軸に対して規定される。

図４に示すように、画像３０１は、ビットストリーム１０１の５つの「画質」レイヤ４１１〜４１５からなるＢＧパケット４０１及びＲＯＩパケット４０２に符号化される。

図５は、ビットストリーム１０１の５つのレイヤ４１１〜４１５におけるＲＯＩパケット及びＢＧパケットの、いわゆる「レイヤ−解像度−コンポーネント−位置（ＬＲＣＰ）」プログレッションを用いた配置を１つの解像度レベル及び１つのコンポーネントについて示す。

図６は、３つのレベル６０１〜６０３を有する解像度マップ６００を示す。プレシンクトは、特定の解像度レベルにおける画像中の空間領域を記述する。ＪＰＥＧ２０００による分解では、各方向におけるプレシンクトのサイズは２のべき乗である。高解像度レベルの画像領域は、２で割ることでその下の解像度レベルに伝わる。この手順は解像度レベル毎に繰り返される。

図７は、ＬＲＣＰプログレッションを用いた対応するビットストリーム７００を示す。図７から、結果として得られるパケットは、所定の解像度レベルでの画像の特定の領域に関する情報を含むことが分かる。

所望のＲＯＩを抽出し、ＢＧとＲＯＩに対してスケーラブルな画質を指定するために、トランスコーダ１２０は２つのプログレッシブパラメータｍ及びｎを用いる。パラメータｍはＢＧ３０３の所望の「画質」を指定し、パラメータｎはＲＯＩ３０２の所望の画質を指定する。パラメータｍ及びｎは以下の制約を有する。
ＲＯＩの場合、
０≦ｍ＜ｎ≦最大画質とし、さもなければ、
背景の場合、
０≦ｍ≦最大画質とし、
背景なしの場合、
ｍ＝０とする。

最後の制約の下では、背景全体が空パケットに変換され、ＲＯＩパケットのみがトランスコードされる。１つの空パケットは１バイトのパケットヘッダを有し、１番目のビットがゼロに設定され、ペイロードがなくなる。この場合、トランスコードされた出力ビットストリームに対する帯域幅要件が大幅に削減される。

ＲＯＩパケットの場合、トランスコーダ１２０は、入力ビットストリームから、最も低い画質レイヤ１から画質レイヤｎまでのＲＯＩパケットのみを抽出し、これらのパケットを符号化して出力ビットストリームを生成する。ｎより高いレイヤからのＲＯＩパケットは、符号化出力ビットストリームにおいて空パケットに変換される。

ＢＧパケットの場合、ｍ＝０であれば、全てのＢＧパケットを空パケットに変換する。ｍ＞０であれば、トランスコーダ１２０が入力ビットストリームの最も低い画質レイヤ１から画質レイヤｍまでのＢＧパケットを抽出し、これらのパケットを符号化して出力ビットストリームを生成する。ｍより高いレイヤのＢＧパケットは全て、出力ビットストリームにおいて空パケットに変換される。

パラメータｍ及びｎの組み合わせを変えることで、ＲＯＩ及びＢＧについてさまざまな画質のプログレッシブな結果を得ることができる。ユーザは、この特徴を利用して、視覚要件と通信帯域容量の間で調整を行うことができる。

図８は、プログレッシブパラメータをｍ＝１及びｎ＝４としてトランスコードする例示的な画像８００を示す。画像８００は、空パケット８０１と、ＲＯＩパケット８０２と、ＢＧパケット８０３とを有する。

図９は、対応する出力ビットストリーム９００のパケットを示す。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内でさまざまな他の適応及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更をすべて網羅することである。

本発明による、画像をトランスコードするシステム及び方法のブロック図である。 本発明による階層ビットストリームの構造のブロック図である。 本発明による、関心領域を含む画像のブロック図である。 本発明による、トランスコードする階層パケットのブロック図である。 本発明による入力ビットストリームのブロック図である。 本発明による解像度レベルのブロック図である。 図６の解像度レベルに対応するビットストリームのブロック図である。 本発明による、トランスコードする画像のブロック図である。 本発明による出力ビットストリームのブロック図である。

Claims (19)

1. 画像の符号化入力ビットストリームを部分的に復号化して、前記符号化入力ビットストリームの構造を得ること、
   前記画像の関心領域の座標を指定すること、
   プログレッシブパラメータを規定すること、
   及び
   部分的に復号化された入力ビットストリームを前記構造、前記座標、及び前記プログレッシブパラメータに従って、符号化出力ビットストリームとして符号化すること
   を含む、スケーラブルな画像トランスコーディング方法。
2. 前記符号化入力ビットストリーム及び前記符号化出力ビットストリームは、ともにＪＰＥＧ２０００ビットストリームである
   請求項１記載の方法。
3. 前記符号化入力ビットストリームは、複数の画質レイヤを含み、各画質レイヤは複数の解像度レベルを含み、各解像度レベルは複数のコンポーネントを含み、各コンポーネントは複数のプレシンクトを含み、各プレシンクトはパケット分割位置、ヘッダ長、及び本文の長さを含む
   請求項１記載の方法。
4. インデックス番号を用いて前記プレシンクトをインデックス付けすることをさらに含む
   請求項３記載の方法。
5. 符号化中に前記インデックス番号を用いて前記構造にランダムにアクセスすることをさらに含む
   請求項４記載の方法。
6. 符号化中に前記インデックス番号を用いて前記構造に直接アクセスすることをさらに含む
   請求項４記載の方法。
7. トランスコーディング中にユーザによって前記座標を規定することをさらに含む
   請求項１記載の方法。
8. トランスコーディング中に外部ソースによって前記座標を規定することをさらに含む
   請求項１記載の方法。
9. 前記外部ソースは、オブジェクト認識を用いて前記関心領域の前記パラメータを求める
   請求項８記載の方法。
10. 前記外部ソースは、パターン認識を用いて前記関心領域の前記パラメータを求める
    請求項８記載の方法。
11. 前記パラメータを外側の、前記複数のプレシンクトの最も近い境界に丸めることをさらに含む
    請求項３記載の方法。
12. トランスコーディング中にユーザによって前記プログレッシブパラメータを指定することをさらに含む
    請求項１記載の方法。
13. プログレッシブパラメータｍが前記画像の背景の画質を指定し、パラメータｎが前記関心領域の画質を指定する
    請求項３記載の方法。
14. 前記プログレッシブパラメータｍ及びｎを、
    前記関心領域の場合、
    ０≦ｍ＜ｎ≦最大画質とし、さもなければ
    前記背景の場合、
    ０≦ｍ≦最大画質とし、
    背景なしの場合、
    ｍ＝０とする
    に従って制約することをさらに含む
    請求項１３記載の方法。
15. 前記符号化入力ビットストリームは、関心領域パケットと背景パケットを含み、
    ｍ＝０の場合に全ての背景パケットを前記符号化出力ビットストリームにおいて空パケットに変換することをさらに含み、１つの空パケットは１バイトのパケットヘッダを有し、１番目のビットがゼロに設定され、ペイロードがなくなる
    請求項１４記載の方法。
16. 前記関心領域パケットの場合に、最も低い画質レイヤ１から画質レイヤｎまでの関心領域パケットのみを抽出し、前記抽出した関心領域パケットを前記符号化出力ビットストリームにおいて符号化するとともに、他の全ての関心領域パケットを前記符号化出力ビットストリームにおいて空パケットに変換すること、
    及び、
    前記背景パケットの場合に、前記最も低い画質レイヤ１から画質レイヤｍまでの背景パケットのみを抽出し、前記抽出した背景パケットを前記符号化出力ビットストリームにおいて符号化するとともに、他の全ての背景パケットを前記符号化出力ビットストリームにおいて空パケットに変換することをさらに含む
    請求項１５記載の方法。
17. 前記符号化入力ビットストリームは、複数の画像を含むビデオであり、前記復号化するステップと、前記指定するステップと、前記規定するステップと、前記符号化するステップとは画像毎に実行される
    請求項１記載の方法。
18. 前記符号化入力ビットストリームは、複数のパケットを含み、前記復号化することは前記パケットのヘッダのみに適用される
    請求項１記載の方法。
19. 前記プログレッシブパラメータは、所望の画質及び帯域幅使用率に合わせて指定される
    請求項１記載の方法。

Images