JP2003116007A

JP2003116007A - ディジタル画像から圧縮されたビットストリームを生成するための対象内容分析を使用する方法

Info

Publication number: JP2003116007A
Application number: JP2002193791A
Authority: JP
Inventors: Rajan L Joshi; エルジョシラジャン; Jiebo Luo; ルオジエボ
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2001-07-03
Filing date: 2002-07-02
Publication date: 2003-04-18
Also published as: US6895121B2; US20030044078A1; EP1274250A3; EP1274250A2

Abstract

(57)【要約】【課題】本発明は、特定のビットレート又は圧縮比を
達成しながら、エンドユーザにより知覚される再構成さ
れた画像品質に重要な、領域の視覚品質を最大化する効
果を有するディジタル画像から圧縮されたビットストリ
ームを生成する方法を提供することを目的とする。【解決手段】ディジタル画像から圧縮されたビットス
トリームを生成する方法であって、ａ）画像内の対象及
び背景領域の重要性に関連する連続の信頼値を含む、主
対象信頼マップを発生するために、ディジタル画像を処
理するステップと、ｂ）変換係数の配列を発生するため
に、ディジタル画像に、空間−周波数変換を実行するス
テップと、ｃ）信頼マップから、各変換係数に対して、
歪み−重みファクターを得るステップと、ｄ）歪み−重
みファクターに応答する画像圧縮システムを使用して、
圧縮されたビットストリームを発生するステップと、を
有する方法により構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、損失のある画像圧
縮システムの空間的な適応量子化のための方法に関連す
る。特に、対象内容分析に基づいて、画像の異なる空間
−周波数領域に対して量子化の範囲を適応させる方法に
関連する。特定のビットレート又は圧縮比を達成しよう
とするときには、これは、エンドユーザに知覚される再
構成された画像品質のために重要でありそうである領域
の視覚品質を最大化する効果を有する。

【０００２】

【従来の技術】近年、画像のサブバンド又はウェーブレ
ット圧縮方法が提案されている。１つのそのような方法
は、Ｄ．Ｔａｕｂｍａｎによる、ＩＥＥＥ画像処理論文
集９（７）（２０００年７月）の第１１５８−１１７０
頁の”ＥＢＣＯＴを用いた高性能スケーラブル圧縮（Ｈ
ｉｇｈｐｅｒｆｏｒｍａｎｃｅｓｃａｌａｂｌｅｃ
ｏｍｐｒｅｓｓｉｏｎｗｉｔｈＥＢＣＯＴ）”に記
載されている、ＥＢＣＯＴアルゴリズムである。情報技
術―ＪＰＥＧ２０００画像符号化システム、ＩＳＯ／Ｉ
Ｅ国際規格１５４４４−１、ＩＴＵ勧告Ｔ．８００（Ｉ
ｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ−ＪＰＥ
Ｇ２０００ＩｍａｇｅＣｏｄｉｎｇＳｙｓｔｅｍ、Ｉ
ＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎ
ｄａｒｄ１５４４４−１、ＩＴＵｒｅｃｏｍｍｅｎ
ｄａｔｉｏｎＴ．８００）に記載されている、ＪＰＥ
Ｇ２０００画像圧縮規格も、ＥＢＣＯＴアルゴリズムに
基づいている。

【０００３】ＥＢＣＯＴアルゴリズムは、ウェーブレッ
ト変換を使用して、画像を分解する。結果のサブバンド
は、更に、小さなコードブロックに分割される。コード
ブロックは、量子化されそして、独立にエントロピー符
号化される。ＥＢＣＯＴアルゴリズムは、異なるコード
ブロックにビットを割当てるのに２つの異なる方法を使
用する。１つの方法では、おそらく重み付けされた、平
均２乗誤差（ＭＳＥ）が、圧縮されたビットストリーム
は各潜在的な切り捨て点で切り捨てられるとして、評価
される。そして、切捨て点は、レート−歪みのトレード
オフを分析した後に、各コードブロックに対して選択さ
れる。他の方法では、ＭＳＥは、人間の視覚系（ＨＶ
Ｓ）の視覚的マスキング特性に基づいて、特定の空間−
周波数位置で量子化雑音の視覚性を考慮するファクター
により調整される。

【０００４】上述の従来技術は、低レベル視覚特性に従
って異なる空間−周波数領域内のレート−歪みのトレー
ドオフに制限される。画像内の物体の語義に関する意味
に基づいて、そのようなトレードオフを実行する必要も
ある。より多くのビットを、比較的高い品質のために、
関心の領域（ＲＯＩ、ｒｅｇｉｏｎｓｏｆｉｎｔｅ
ｒｅｓｔ）又は前景領域に割当て、少ないビットを背景
領域に割り当てるのが望ましい。これは、エンドユーザ
により知覚される再構成される画像の品質に対して重要
でありそうな領域の視覚的品質を最大化する。従来は、
ＲＯＩは、Ｃ．Ｃｈｒｉｓｔｏｐｏｕｌｏｓ、Ｊ．Ａｓ
ｋｅｌｏｆ及び、Ｍ．Ｌａｒｓｓｏｎの、”来るべきＪ
ＰＥＧ２０００静止画符号化規格の効率的な関心の領域
の符号化技術（Ｅｆｆｉｃｉｅｎｔｒｅｇｉｏｎｓ
ｏｆｉｎｔｅｒｅｓｔｅｎｃｏｄｉｎｇｔｅｃｈ
ｎｉｑｕｅｓｉｎｔｈｅｕｐｃｏｍｉｎｇＪＰ
ＥＧ２０００ｓｔｉｌｌｉｍａｇｅｃｏｄｉｎｇ
ｓａｎｄａｒｄ）”、ＩＥＥＥ画像処理国際会議、２
０００年９月、カナダ、バンクーバー、に記載されてい
るバイナリーマスクを使用して規定される。バイナリー
ＲＯＩマスクを使用する欠点は、結果が、バイナリーマ
スクの正しさと精度に極端に敏感であり、そして、正確
なバイナリーマスクを発生する既知の強い自動化された
方法がないことである。

【０００５】

【発明が解決しようとする課題】本発明の目的は、上記
の１つ又はそれ以上の問題点を解決することである。

【０００６】

【課題を解決するための手段】簡単に要約すると、本発
明の１つの特徴に従って、ディジタル画像から圧縮され
たビットストリームを生成する方法であって、ａ）画像
内の対象及び背景領域の重要性に関連する連続の信頼値
を含む、主対象信頼マップを発生するために、ディジタ
ル画像を処理するステップと、ｂ）変換係数の配列を発
生するために、ディジタル画像に、空間−周波数変換を
実行するステップと、ｃ）信頼マップから、各変換係数
に対して、歪み−重みファクターを得るステップと、
ｄ）歪み−重みファクターに応答する画像圧縮システム
を使用して、圧縮されたビットストリームを発生するス
テップとを有する。

【０００７】ＪＰＥＧ圧縮、ＪＰＥＧ２０００圧縮又
は、ベクトル量子化を含む、種々の画像圧縮システムか
ら特定の画像圧縮システムが選択されても良い。ベクト
ル量子化の場合には、空間−周波数変換は、恒等変換で
ある。ステップａ）内の主対象信頼マップの生成は、デ
ィジタル画像から、均一の特性の流域の抽出、少なくと
も１つの構造的な突出特徴及び少なくとも１つの語義的
突出特徴の領域の各々に対する抽出及び、及び、各領域
が主対象である信頼の推定値への、見込みに基づく推論
エンジンを使用する、構造的な突出特徴と語義的突出特
徴の統合を含む。

【０００８】ウェーブレット分解のような、サブバンド
分解に関する特定の実行では、この方法は、ａ）画像内
の対象及び背景領域の重要性に関連する連続の信頼値を
含む、主対象信頼マップを発生するために、ディジタル
画像を処理するステップと、ｂ）サブバンド係数により
重み付けされた対応する合成基礎関数を加算することに
より、ディジタル画像を再構成するのに使用されること
ができる、サブバンド係数の配列を発生するために、分
析フィルタを使用して、ディジタル画像に、サブバンド
分解を実行するステップと、ｃ）各サブバンド係数に対
して、信頼マップから、歪み−重みファクターを得るス
テップと、ｄ）エラー関数を最小化するために、歪み−
重みファクターを使用して、サブバンド係数から目標サ
イズを超えない、圧縮されたビットストリームを発生す
るステップとを有する。

【０００９】本発明の優位点は、特定のビットレート又
は圧縮比を達成しながら、エンドユーザにより知覚され
る再構成された画像品質に重要でありそうな、領域の視
覚品質を最大化する効果を有する。

【００１０】本発明のこれらのそして他の観点、目的、
特徴、優位点は、添付の図面を参照して、以下の好適な
実施例の詳細な説明と添付の請求項の範囲を見れば更に
明らかに理解されよう。

【００１１】

【発明の実施の形態】本発明の好適な実施例は、提案さ
れたＪＰＥＧ２００画像圧縮規格に基づく損失のある画
像符号化器である。提案されたＪＰＥＧ２００画像圧縮
規格は、どのように、復号器が、圧縮されたビットスト
リームを翻訳するかを規定し、ＪＰＥＧ２０００符号化
器にある固有の制約がある。例えば、ＪＰＥＧ２０００
規格のパートＩには、あるウェーブレットフィルタのみ
が使用できる。エントロピー符号化器も固定されてい
る。これらの方法は、情報技術―ＪＰＥＧ２０００画像
符号化システム、ＩＳＯ／ＩＥ国際規格１５４４４−
１、ＩＴＵ勧告Ｔ．８００（Ｉｎｆｏｒｍａｔｉｏｎ
Ｔｅｃｈｎｏｌｏｇｙ−ＪＰＥＧ２０００ＩｍａｇｅＣ
ｏｄｉｎｇＳｙｓｔｅｍ、ＩＳＯ／ＩＥＣＩｎｔｅ
ｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄ１５４４４−
１、ＩＴＵｒｅｃｏｍｍｅｎｄａｔｉｏｎＴ．８０
０）に記載されている。これゆえに，本説明は、本発明
に従ったアルゴリズムの部分を構成する又はともに直接
的に協同して動作する属性に特に向けられている。ここ
で示されていない又は説明されていない属性は、情報技
術―ＪＰＥＧ２０００画像符号化システム、ＩＳＯ／Ｉ
Ｅ国際規格１５４４４−１、ＩＴＵ勧告Ｔ．８００（Ｉ
ｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ−ＪＰＥ
Ｇ２０００ＩｍａｇｅＣｏｄｉｎｇＳｙｓｔｅｍ、
ＩＳＯ／ＩＥＣＩｎｔｅｒｎａｔｉｏｎａｌＳｔａ
ｎｄａｒｄ１５４４４−１、ＩＴＵｒｅｃｏｍｍｅ
ｎｄａｔｉｏｎＴ．８００）に記載されているものか
ら選択され得る又は、従来技術で既知である。好適な実
施例は、空間−周波数変換がサブバンド分解（特にウェ
ーブレット分解の）ＪＰＥＧ２０００圧縮アルゴリズム
を使用するが、本発明は、空間−周波数変換が恒等変換
である、他の空間−周波数分解、ブロックに基づく変
換、及び、ブロックに基づくベクトル量子化のような、
他の空間−周波数変換を使用する、他の損失のある圧縮
システムにも適用できる。

【００１２】以下の説明では、本発明の好適な実施例
は、通常は、ソフトウェアプログラムの形式で実行され
るが、当業者は、そのようなソフトウェアと等価のもの
はハードで構成できることは容易く理解され得よう。以
下で説明されるシステムと方法では、本発明の実行に必
要な全てのそのようなソフトウェア実行は、従来のもの
であり、且つそのような技術の、通常の技術の範囲内で
ある。本発明が、コンピュータプログラムとして実行さ
れる場合には、プログラムは、例えば、磁気ディスク
（ハードディスク又は、フレキシブルディスク）又は磁
気テープ、光ディスクのような光蓄積媒体、光テープ、
又は、機械読出し可能なバーコード、ランダムアクセス
メモリ（ＲＡＭ）又は読出し専用メモリ（ＲＯＭ）のよ
うな固体電子蓄積装置又は、コンピュータプログラムを
蓄積するのに使用される他の物理的な装置又は、媒体を
含む、従来のコンピュータ読出し可能な媒体に蓄積され
る。

【００１３】本発明の現在好適な実施例を詳細に参照
し、存例は添付の図面に示されている。本発明は、好適
な実施例と共に説明するが、その実施例に本発明は、制
限されない。逆に、全ての変形、修正及び、等価物は、
添付の請求の範囲に定義された本発明の意図と範囲内に
含まれる。

【００１４】図１は、本発明に従ったＪＰＥＧ２０００
画像符号化器のフローチャートを示す。ディジタル画像
（１０１）は、サブバンド係数（１０３）に関して画像
表示を生じるために、分析フィルタによりサブバンド分
解（１０２）を受ける。画像が（例えば、ＲＧＢの）複
数の成分を有する場合には、サブバンド分解ステップ
（１０２）の前に、ＹＣｂＣｒ表示に変換するために輝
度−色差（ルミナンス−クロミナンス）変換が与えられ
る。しかし、この好適な実施例では、全画像よりなる単
一のタイルが使用される。好適な実施例は、サブバンド
分解を使用するが、他の空間−周波数分解も可能であ
る。サブバンド係数（１０３）は、コードブロック分割
ユニット（１０４）により、１つ又はそれ以上のコード
ブロック（１０５）を生成するために、１つ又はそれ以
上の矩形にコードブロックに分割される。各コードブロ
ックは、圧縮されたコードブロックビットストリーム
（１０７）とバイトカウントテーブル（１０８）を生成
するために、適切な量子化器ステップサイズを使用し
て、コードブロック圧縮ユニット（１０６）により、圧
縮される。ディジタル画像（１０１）は、主対象検出
（ＭＳＤ）ユニット（１１０）にも入力される。ＭＳＤ
ユニットは、信頼マップ（１１１）を発生するために、
入力ディジタル画像を分析する。歪み−重み計算ユニッ
ト（１１２）は、レート−制御アルゴリズムにより使用
される、歪み−重み（１１３）を得るために、信頼マッ
プ（１１１）を使用する。コードブロック（１０５）、
圧縮されたコードブロック（１０７）は、バイトカウン
トテーブル（１０８）、ビット予算（１０９）及び、歪
み−重み（１１３）は、レート−制御ユニット及びＪＰ
ＥＧ２０００ビットストリームオルガナイザー（１１
４）に入力され、それは、符号化されたディジタル画像
（１１５）を発生する。

【００１５】図１のブロックを詳細に説明する。ＪＰＥ
Ｇ２０００符号化器はウェーブレット分解を使用し、こ
れは、サブバンド分解（１０２）の特別な場合である。
図２は、１次元信号に対する、２−バンドフィルタバン
クを示す。入力信号ｘ[ｎ]が最初に、２つの分析フィル
タｈ_０[ｎ]とｈ_１[ｎ]により、フィルタされる。フィル
タｈ_０とｈ_１は、典型的には、それぞれ、低域通過フィ
ルタと高域通過フィルタである。フィルタの出力は、サ
ブバンド信号ｘ_０[ｎ]とｘ_１[ｎ]を発生するために、２
でダウンサンプルされる。信号が２でダウンサンプルさ
れると、毎交互のサンプル（奇数サンプル）が捨てられ
る。フィルタリングとダウンサンプリングの動作はとも
に、分析フィルタバンクを構成する。サブバンド信号の
サンプルは、サブバンドサンプルと呼ばれる。サブバン
ド符号化システムでは、サブバンド信号は量子化され
る。しかし、しばらく量子化動作を無視する。合成側で
は、サブバンドサンプルは、２によりアップサンプルさ
れる。これは、サブバンドの毎２サンプルの間にゼロが
挿入されることを意味する。そして、アップサンプルさ
れた信号は、合成フィルタを通して送られ、ｇ_０[ｎ]と
ｇ_１[ｎ]、そして、出力信号ｙ[ｎ]を発生するために結
合される。フィルタバンクは、量子化がない場合には、
完全な再構成特性を有するといわれ、ｙ[ｎ]＝ｘ[ｎ] である。

【００１６】オクターブ分解では、低域通過フィルタリ
ングにより発生されたサブバンド、ｘ_０[ｎ]、は、再帰
的に分割される。図３は、２レベルオクターブ分解を示
し、サブバンドｘ_０[ｎ]、ｘ_１[ｎ]及び、ｘ_２[ｎ]を生
成する。この場合には、サブバンドは、最も低い周波数
から最も高い周波数へ番号が付される。分解レベルの番
号は、低域通過サブバンドが分割された回数を示す。ウ
ェーブレット分解は、オクターブ分解であり、分析と合
成フィルタは、Ｇ．Ｓｔｒａｎｇ及びＴ．Ｎｇｕｙｅ
ｎ、ウェーブレット及びフィルタバンク（Ｗａｖｅｌｅ
ｔａｎｄｆｉｌｔｅｒｂａｎｋｓ）、Ｗｅｌｌｅ
ｓｌｅｙ−ＣａｍｂｒｉｄｇｅＰｒｅｓｓ（１９９
７）に記載されたある規則的な特性を満足する。

【００１７】１次元信号の上述のフィルタバンクは、簡
単に２次元に拡張できる。これを達成する１つの可能な
方法は、２次元信号の行と列の方向に沿って、連続して
２−バンドフィルタバンクを適用することである。これ
は、分離できる２次元フィルタバンクとして知られてい
る。この場合には１つのレベルのサブバンド分解が、４
サブバンドを発生する。ＪＰＥＧ２０００のみが、分離
できる分解を許す。

【００１８】完全な再構成フィルタバンクシステムで
は、各サブバンド係数は、合成基礎関数に関連する。同
じバンド内のサブバンド係数に対する基礎関数は、互い
にシフトされたものである。同じ配向を有する異なるサ
ブバンドからの基礎関数は、Ｇ．Ｓｔｒａｎｇ及びＴ．
Ｎｇｕｙｅｎ、ウェーブレット及びフィルタバンク（Ｗ
ａｖｅｌｅｔａｎｄｆｉｌｔｅｒｂａｎｋｓ）、
Ｗｅｌｌｅｓｌｅｙ−ＣａｍｂｒｉｄｇｅＰｒｅｓｓ
（１９９７）に記載されている、空間拡張特性により関
連されれる。入力信号ｘ[ｎ]は、合成基礎関数の線形結
合で表現される。

【００１９】

【外１】を、サブバンドｉからのｍ番目の係数ｘ_ｉ[ｍ]の基礎関
数を示すとする。

【００２０】

【数１】基礎関数を決定する最も簡単な方法は以下の様である。
係数ｘ_ｉ[ｍ]の基礎関数を決定するために、係数値が１
に設定され、そして、そのサブバンド他のサブバンドの
からの全ての他の係数は、ゼロに設定される。そして、
サブバンドを合成することにより再構成される画像は、
サブバンド係数ｘ_ｉ[ｍ]に対応する基礎関数

【００２１】

【外２】である。同じサブバンドからの他の係数に対する基礎関
数は、

【００２２】

【外３】のシフトされたものなので、この計算は各サブバンドに
対して１回のみなされる必要がある。２次元では、元の
画像は、Ｉ（ｕ，ｖ）で示され、ｕとｖは、行インデッ
クスと列インデックスをそれぞれ示すものとする。そし
て、

【００２３】

【数２】ここで、ｘ_ｉ（ｇ，ｈ）は、サブバンドｉからのサブバ
ンド係数を参照し、ｇとｈはそれぞれ、その係数の、行
と列インデックスを参照する。

【００２４】基礎関数のサポートの領域は、基礎関数が
ゼロでない値を有する全ての画素として定義される。２
次元の分離できるフィルタバンクに対しては、基礎関数
のサポートの領域は、矩形が保証される。このように、
行と列の方向のサポートの領域は、分離して決定され
る。サポートの２つの領域のデカルト積は、２次元基礎
関数に対するサポートの領域である。

【００２５】コードブロック分割ユニット（１０４）は
各サブバンドを１つ又はそれ以上の矩形のコードブロッ
クに分割する。コードブロック圧縮ユニット（１０６）
は、図４に詳細が示されている。各コードブロックは、
量子化された係数（４０２）のインデックスの符号−大
きさ表示を発生するために、適切な量子化器ステップサ
イズ（４０５）を使用して、スカラー量子化器（４０
１）により量子化される。われわれは、デッドゾーンを
有する均一のスカラー量子化器を使用する。この量子化
器の判断しきい値と再構成レベルは、それぞれ、ステッ
プサイズΔ及び２Δに対して、図５（ａ）と図５（ｂ）
に示されている。好適な実施例では、再構成レベルは、
常に、量子化器間隔の中心である。しかし、当業者は、
これは必要ないことは理解されよう。例えば、再構成レ
ベルはゼロに向かってバイアスされても良い。サンプル
ベース量子化器ステップサイズは、所定のサブバンド内
の全てのコードブロックに対して使用される。サブバン
ドｉに対するステップサイズをΔ_ｉとする。サブバンド
分析及び合成フィルタが可逆な場合には（Ｒ．Ｃａｌｄ
ｅｒｂａｎｋ，Ｉ．Ｄａｕｂｅｃｈｉｅｓ，Ｗ．Ｓｗｅ
ｌｄｅｎｓ，及び、Ｂ．−Ｌ．Ｙｅｏ、”整数を整数に
マップするウェーブレット変換（ＷａｖｅｌｅｔＴｒ
ａｎｓｆｏｒｍｔｈａｔＭａｐｓＩｎｔｅｒｇｅ
ｒｓｔｏＩｎｔｅｒｇｅｒｓ）”、Ａｐｐｌｉｅｄ
ａｎｄＣｏｍｐｕｔａｔｉｏｎａｌＨａｒｍｏｎｉ
ｃＡｎａｌｙｓｉｓ、Ｖｏｌ．５，Ｎｏ．３、３３２
−３６９ページ、１９９８年）、量子化ステップは、全
体的に欠けている。各コードブロックからの量子化され
たウェーブレット係数は、エントロピー符号化器（４０
３）により独立に符号化される。エントロピー符号化器
（４０３）は、コードブロック係数の符号−大きさ表示
をビット面として符号化する。処理されているコードブ
ロックは、サブバンドｉからであるとする。そして、コ
ードブロックからのサンプルは、上述のように、ステッ
プサイズΔ_ｉを有するデッドゾーンスカラー量子化器で
量子化される。サブバンドｉの量子化された係数のイン
デックスの大きさは、Ａ_ｉビットの固定精度により表さ
れる。ビットは，１，２，．．．Ａ _ｉのような、インデ
ックスが付され、ここでインデックス１は最上位ビット
（ＭＳＢ）に対応しそして、Ａ_ｉは最下位ビット（ＬＳ
Ｂ）に対応する。コードブロックのｋ番目のビット面
は、そのコードブロックからの量子化された係数の全て
のインデックスの大きさ表示からのｋ番目のビットから
成る。エントロピー符号化の目的のために、コードブロ
ックに対するビット面は、どの前のビット面も重要であ
り又はビット面が少なくとも１つのゼロでないビットを
有する場合には、重要であるといわれる。同様に、最上
位ビットから再下位ビットまで進み、量子化された係数
は、第１のゼロでないビットに出くわすときに重要にな
るといわれる。

【００２６】エントロピー符号化器は、１つ又はそれ以
上の符号化パスで、コードブロックに対する各ビット面
を符号化する。例えば、最上位ビット面は、クリーンア
ップパスとして知られる、単一の符号化パスを使用し
て、符号化される。コードブロックの残りのビット面
は、シグニフィカンスプロパゲーションパス（ｓｉｇｎ
ｉｆｉｃａｎｃｅｐｒｏｐａｇａｔｉｏｎｐａｓ
ｓ）、マグニチュードリファインメントパス（ｍａｇｉ
ｔｕｄｅｒｅｆｉｎｍｅｎｔｐａｓｓ）及び、クリ
ンーンアップパス（ｃｌｅａｎｕｐｐａｓｓ）の３つ
の符号化パスを使用して、その順序で、符号化される。
コードブロックのｋ番目のビット面が符号化されるとす
る。そして、各パスで、コードブロックからの幾つかの
量子化された係数のｋ番目のビットが符号化される。特
定の係数のｋ番目のビットが符号化される符号化パス
は、その係数の重要性と、隣接の係数の重要性に依存す
る。量子化されたコードブロックの係数の大きさ表示
が、Ａ_ｉビット面を有する場合には、全てのビット面を
符号化するのに必要な符号化パスの合計数は、（３
^＊（Ａ_ｉ−１）＋１）である。テーブル発生ユニット
（４０４）は、各コードブロックに対してバイトカウン
トテーブル（１０８）を発生する。テーブル内のｐ番目
のエントリーは、圧縮されたビットストリーム内のコー
ドブロックからの最初のｐ符号化パスを含むことが必要
であるバイト数に対応する。

【００２７】Ｄ．Ｔａｕｂｍａｎによる、ＩＥＥＥ画像
処理論文集（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏ
ｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ）９（７）（２
０００年７月）の第１１５８−１１７０頁の”ＥＢＣＯ
Ｔを用いた高性能スケーラブル圧縮（Ｈｉｇｈｐｅｒ
ｆｏｒｍａｎｃｅｓｃａｌａｂｌｅｃｏｍｐｒｅｓ
ｓｉｏｎｗｉｔｈＥＢＣＯＴ）”に記載されている
ように、ＥＢＣＯＴアルゴリズムにより使用されるレー
ト−制御アルゴリズムは、次のようである。全体の画像
に対する、コードブロックの全数は、Ｐであるとする。
コードブロックはＢ_ｓで示され、

【００２８】

【数３】である。最初に、各コードブロックは、非常に精密な量
子化器ステップサイズを使用して量子化され、そして、
圧縮されたビットストリームを発生するために、独立に
エントロピー符号化される。コードブロックＢ_ｓに対応
する圧縮されたビットストリームは、Ｃ_ｓにより示され
るとする。典型的には、各コードブロックに対して、最
終ビットストリームに含まれている圧縮されたデータ
は、最初の圧縮されたビットストリームの切り捨て版で
ある。圧縮されたビットストリームＣ _ｓに対する潜在的
な切捨て点は、標準的には、符号化パスの境界である。
コードブロックＢ_ｓに対する可能な切捨て点を、Ｔ_ｓ ^Ｚ
で示し、ここで、

【００２９】

【数４】であり、Ｎ_ｓは、圧縮されたビットストリームＣ_ｓに対
する可能な切捨て点の数を示す。切捨て点Ｔ_ｓ ^Ｚに対応
する切り捨てビットストリームにサイズを、Ｒ_ｓ ^Ｚバイ
トとする。各切捨て点Ｔ_ｓ ^Ｚで、歪みＤ_ｓ ^Ｚを関連させ
ることができる。圧縮されたコードブロックがＲ_ｓ ^Ｚバ
イト後に切捨てされる場合には、歪みは、元の画像と再
構成された画像の間の誤差を定量化する。一般的には、
歪み測定が重み付けされた平均２乗誤差（ＭＳＥ）の場
合には、歪みは

【００３０】

【数５】のように規定され、ここで、総和は、コードブロックＢ
_ｓ内の全係数を亘る。元のコードブロック係数は、ｘ_ｉ
（ｇ，ｈ）で示される。ここで、ブロックＢ_ｓは、サブ
バンドｉからであるとする。

【００３１】

【外４】は、圧縮されたビットストリームＣ_ｓの最初のＲ_ｓ ^Ｚバ
イトから再構成されたコードブロック係数を参照する。

【００３２】

【外５】は、サブバンドｉからのどの係数にも関連する基礎関数
のＬ_２ノルムである。単一のサブバンドからの全係数
は、同じＬ_２ノルムを有することに注意する。

【００３３】係数ｘ_ｉ（ｇ，ｈ）に対する２乗誤差は、
歪み−重みファクターｗ_ｉ（ｇ，ｈ）により重み付けさ
れる。歪み−重みファクターは、Ｄ．Ｔａｕｂｍａｎに
よる、ＩＥＥＥ画像処理論文集９（７）（２０００年７
月）の第１１５８−１１７０頁の”ＥＢＣＯＴを用いた
高性能スケーラブル圧縮（Ｈｉｇｈｐｅｒｆｏｒｍａ
ｎｃｅｓｃａｌａｂｌｅｃｏｍｐｒｅｓｓｉｏｎ
ｗｉｔｈＥＢＣＯＴ）”により記述された、視覚マス
キングによる、その位置での量子化雑音に視覚性を表し
得る。ある家庭の元で、異なるコードブロックからの歪
みは加算的である。このように、Ｒ_Ｔバイトのビット予
算（１０９）が与えられると、レート−制御問題は、最
適な切り捨て点ｔ_ｓ ^＊、

【００３４】

【外６】を見つけるように規定され、全体の歪みは、

【００３５】

【数６】ここで、コードブロックに対するレートと歪みの両方
が、選択された切捨て点に依存するということを示す表
記を濫用した。異なるコードブロックに対して異なる切
り捨て点を選択することは、空間的に適応量子化の結果
となることに注意する。上述の問題は、良く知られた制
約された最適化問題である。この問題を解決するため
に、各コードブロックに対する動作レート−歪み曲線が
必要である。これは、符号化器は、各コードブロックに
対して、各可能な切捨て点に対応するレート及び、歪み
を追跡するために必要であることを意味する。コードブ
ロックに対する異なる切捨て点に対応する圧縮されたビ
ットストリームのサイズは、すでに、コードブロック圧
縮ユニットにより発生された、バイトカウントテーブル
（１０８）を介して有効である。上述のレート−制御問
題の解決方法は、Ｙ．Ｓｈｏｈａｍ及びＡ．Ｇｅｒｓｈ
ｏによる、ＩＥＥＥ音響、音声及び、信号処理処理論文
集（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＡｃ
ｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ、ａｎｄＳｉｇｎａｌ
Ｐｒｏｃｅｓｓｉｎｇ）３６（９）（１９８８年９
月）の第１４４５−１４５３の”量子化器の任意の組み
に対する効率的なビット割当て（Ｅｆｆｉｃｉｅｎｔ
ｂｉｔａｌｌｏｃａｔｉｏｎｆｏｒａｎａｒｂ
ｉｔｒａｒｙｓｅｔｏｆｑｕａｎｔｉｚｅｒ）”
に記載されている。

【００３６】本発明の好適な実施例では、各サブバンド
係数に対する歪み−重みファクターは、入力画像の語義
に関する意味を使用して計算される。図６は、主対象検
出（ＭＳＤ）ユニット（１１０）のフロー図を示す。Ｍ
ＳＤユニット（１１０）は、信頼値を、画像内の画素に
割当てる。ディジタル画像（１０１）が、画像分割ユニ
ット（６０１）に入力される。画像は最初に、各領域の
色又はテクスチャーの分析により、均一な領域に分割さ
れる。特徴抽出ユニット（６０２）は、有益な特徴を抽
出し、これは、画像の構造的又は語義的な特徴を含む。
信頼計算ユニット（６０３）は、信頼値を、一部には抽
出された特徴情報に基づいて画素に割当てる。同じ信頼
値が、各領域内の全画素に割当てられる。結果の情報
は、画像に対する信頼マップ（１１１）内に集められ
る。従って、信頼マップは、領域基準と各領域の位置に
関するデータにより、領域に関する画像内の全画素に対
する信頼値内のデータを含む。

【００３７】主対象検出の問題は開発され且つ、本発明
の譲受人の特許出願の主題である。第３者オブザーバー
の視点からの、民生用形式の写真画像内の主対象検出の
システムは、開発され、Ｊ．Ｌｕｏ，Ｓ．Ｅｔｚ及び、
Ａ．Ｓｉｎｇｈａｌにより、１９９８年１２月３１日に
出願された、” 民生用画像内の自動主対象決定の方法
（ＭｅｔｈｏｄｆｏｒＡｕｔｏｍａｔｉｃＤｅｔ
ｅｒｍｉｎａｔｉｏｎｏｆＭａｉｎＳｕｂｊｅｃｔ
ｓｉｎＣｏｎｓｕｍｅｒＩｍａｇｅｓ）”の米国
特許出願番号０９／２２３，８６０に開示されている。
米国特許出願番号０９／２２３，８６０の内容は参照に
よりここに込みこまれる。

【００３８】主対象検出は、画像内で異なる対象に関連
する異なる領域に対する、特徴の測定値又は、相対的な
重要性を提供する。これは、画像内の画素に割当てられ
る前述の連続する信頼値である。どのように人間の観測
者は主対象検出とクロッピングのようなタスクを実行す
るかを反映する、コンピュータビジョンの分野の従来の
知識は、認識された対象に従って、対象認識及びシーン
内容決定を介して、問題解決パスを必要とする。

【００３９】本発明と前述の米国特許出願番号０９／２
２３，８６０に関して、主対象検出システムは、いつで
も利用できるときに統合された語義に関する情報を伴な
う、最も低レベルの視覚特性で構築される。この主対象
検出システムは、領域のセグメント化、知覚的グルーピ
ング、特徴抽出及び、見込みに基づく推論を含む、幾つ
かのサブタスクを有する。特に、多数の特徴が、広範囲
な視覚の突出特徴を表すために、画像内の各セグメント
化された領域に対して、抽出され、そして、連続の値を
含む信頼マップを発生するために、調整できる、拡張可
能な確立ネットワークに入力される。

【００４０】主対象検出を使用し、主対象領域に属する
領域は、一般的には、画像内の背景クラッターから区別
される。このように、主対象の選択的な強調又は背景の
逆強調が、可能である。自動対象強調は、ある程度のシ
ーンの理解無しに均一の背景を含む必要のない、未制約
画像には不可能と考えられる、重要な動作である。内容
駆動対象強調無しでは、従来のシステムは、主対象を外
形化するためにマスクを手動で生成することに頼る。こ
の手動手順は、面倒であり、且つ映画，製作スタジオで
使用されている。しかし、民生用の商用大量現像で、手
動手順を使用することは現実的でない。

【００４１】再び、図６を参照すると、入力画像は、色
とテクスチャーのような均一の特性の幾つかの領域にセ
グメント化される。その領域は、構造的特徴と語義的特
徴の、２つの独立したしかし相補的な特徴形式に関す
る、特徴に関して評価される。例えば、人間の肌又は顔
の認識は、語義的であり、一般的にどの部分が目立つか
は、構造的として分類される。構造的な特徴に関して、
低レベル視覚特徴の組と幾何学的特徴の組が抽出され
る。語義的な特徴に関して、写真画像内で頻繁に見られ
るキーの対象事項が検出される。両形式の特徴からの証
明は、主対象の最終信頼マップを生じるために、ベイズ
（Ｂａｙｅｓ）ネットに基づく推論エンジンを使用して
統合される。ベイズ（Ｂａｙｅｓ）ネットに関しては、
Ｊ．Ｐｅａｒｌ、ＰｒｏｂａｂｉｌｉｓｔｉｃＲｅａ
ｓｏｎｉｎｇｉｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓ
ｔｅｍ、１９８８年、ＣＡ，サンフランシスコ、Ｍｏｒ
ｇａｎＫａｕｆｍａｎｎを参照し、内容は参照によりこ
こに組み込まれる。

【００４２】１つの構造的な特徴は、中心性である。位
置に関して、主対象は、画像の周辺よりも、中心付近に
配置される傾向にあり、従って、高度の中心性は領域
が、画像の主対象であることを示す。しかし、中心性
は、領域が画像の中心に、直接あることを意味する必要
はない。実際に、職業写真家は、主対象を線に沿って及
び、画像を、いわゆる黄金分割位置又は３の法則と呼ば
れる、３つに分ける線の交点に配置する傾向にある。

【００４３】領域の中心のみでは、領域のサイズと形状
の指示無しには、全体画像に関して、領域の位置を示す
のに十分でないことは理解されるべきである。中心性測
定は、所定の領域のエリアをわたり、確立密度関数（Ｐ
ＤＦ）の積分を計算することにより定義される。ＰＤＦ
は、主対象領域が、１の値により、手動でアウトライン
化され且つマークされ、そして、背景領域がゼロの値に
よりマークされ、全体のトレーニングセットをわたり、
グランドツルースマップを総和することにより、”検証
（ｇｒｏｕｎｄｔｒｕｔｈ、グランドツルース）”デ
ータから得られる。本質において、ＰＤＦは、位置に関
する、主対象の分布を示す。中心性測定は、正確に中心
でない、所定の領域の各画素が、変化する度合いはその
位置に依存する、領域の中心性（ｃｅｎｔｒａｌｉｔ
ｙ）測定値に貢献するように、工夫される。中心性測定
値は、

【００４４】

【数７】に定義され、ここで、（ｘ，ｙ）は、領域Ｒ内の画素を
示し、Ｎ_Ｒは領域Ｒ内の画素の番号を示す。

【００４５】配向が未知である場合には、垂直と水平の
両方向に画像の中心に関してＰＤＦは対称であり、これ
は、配向−独立な中心性測定値となる。配向が既知であ
る場合には、水平の向に画像の中心に関してＰＤＦは対
称であり、しかし垂直の方向には対称でなく、これは、
配向−従属な中心性測定値となる。

【００４６】他の構造的な特徴は、境界状態である。多
くの背景領域は、１つ又はそれ以上の画像境界に接して
いる傾向にある。従って、画像境界上に大きな両の輪郭
を有する領域は、背景にそして主対象に属する可能性が
ある。２つの測定値が、領域の境界状態を特徴化するの
に使用される。それらは、領域が交差する幾つかの画像
境界（以後”境界状態１（ｂｏｒｄｅｒｎｅｓｓ１）”
と呼ぶ）及び、画像境界に沿った領域の周囲の割合（以
後”境界状態２（ｂｏｒｄｅｒｎｅｓｓ２）”と呼ぶ）
を含む。

【００４７】配向が未知の場合には、所定の領域を６つ
のカテゴリーのうちの１つに置くのに、境界状態１が使
用される。これは、番号と領域が接している画像境界の
構成により決定される。領域は、領域内の少なくとも１
つの画素が画像の境界の固定の距離内にあるときに、境
界と接している。距離は、画像の短い寸法の分数として
表現される。境界状態１の６つのカテゴリーは、領域が
接する、なし、１境界、２境界、２の面している境界、
３又は４境界である。境界との接触領域が多くなると、
主対象でない確立が増加する。

【００４８】画像配向が既知の場合には、境界状態特徴
は、ボトムの境界に接する領域よりも、トップの境界に
接する領域が背景領域でありそうであるという事実を考
慮して、再度定義される。この結果は、領域が接触して
いる画像境界の数と構成により決定される境界状態１に
対する１２のカテゴリーとなる。上述から”接触してい
る”の定義を使用し、画像が、直立するシーン内の物体
に向けられるときに、画像の４つの境界が、それらの位
置に従って、”トップ”、”ボトム”、”左”、”右”
とラベル付けされる。

【００４９】第２の境界状態特徴、境界状態２（ｂｏｒ
ｄｅｒｎｅｓｓ２）は、画像境界上の領域周囲の部分と
して定義される。この部分は、真に、半分を超えること
はできず、そのようにすることは、領域は負のエリアを
有し又は、領域の一部が画像エリアの外側に位置し、こ
れは、任意の画像に対して未知であることを、意味する
ためである。そのような部分は、半分を超えることがで
きないので、以下の定義は、特徴値をゼロから１の範囲
に正規化するのに使用される。

【００５０】

【数８】１つの語義的な特徴は人間の肌である。２０００画像を
超える写真画像データベースの検討により、写真画像の
７０％以上が、人間が写り、そして約同数の画像が、か
なり大きい顔を有する。

【００５１】肌色のトーンは、画像で共通である。確か
に、写真では、人は単一の最も重要な主題である。従っ
て、肌色トーンを効果的に検出できるアルゴリズムは、
画像の主対象を識別するのに有益である。

【００５２】本発明では、肌色検出アルゴリズムは、カ
ラー画像セグメンテーションと特定のクロミナンス空間
内の予め定められた肌色分布、Ｐ（ｓｋｉｎ｜ｃｈｒｏ
ｍｉｎａｎｃｅ）を使用する。異なる人種間の大きな変
化は輝度方向に沿っっており及び、照明源の影響も主
に、輝度方向に沿っっていることは、当業者には知られ
ている。このように、所定の領域が定義されたクロミナ
ンス空間内に落ちる場合には、輝度のレベルに関わら
ず、確率は肌である。参考のために、Ｌｅｅの”物理学
及び精神物理学に基づくカラー画像の量子化（Ｃｏｌｏ
ｒｉｍａｇｅｑｕａｎｔｉｚａｔｉｏｎｂａｓｅ
ｄｏｎｐｈｙｓｉｃｓａｎｄｐｓｙｃｈｏｐｈ
ｙｓｉｃｓ）”、ＪｏｕｎａｌｏｆＳｏｃｉｅｔｙ
ｏｆＰｈｏｔｏｇｒａｐｈｉｃＳｃｉｅｎｃｅ
ａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＪａｐａｎ、Ｖｏ
ｌ．５９、Ｎｏ．１、２１２−２２５ページ、１９９６
年を参照し、参照によりここに組み込まれる。肌色領域
の分類は、所定のクロミナンス空間内にあるかに関し
て、セグメント化された領域の平均色に従った最大の確
率に基づいている。しかしながら、領域が肌であるか否
かに関する判断は、主にバイナリー１である。連続の肌
色信頼値を使用することが、ある程度、肌を識別し且つ
より高信頼値を割当てる目的に、矛盾する。この問題を
防ぐために、肌色確率は、Ｓ字状の信頼性関数を介して
信頼出力にマップされ、”ソフト”しきい値化演算子と
して働く。Ｓ字状の信頼性関数は、当業者には理解され
る。

【００５３】所定の領域が主対象かどうかの決定に関
し、タスクは、事後確率、Ｐ（ｍａｉｎｓｕｂｊｅｃ
ｔｄｅｔｅｃｔｉｏｎ｜ｆｅａｔｕｒｅ）に基づい
て、画像の所定領域が主対象である確率を決定すること
である。

【００５４】本発明の例示の実施例では、画像内の各領
域に対して活性化された、１つのベイズ（Ｂａｙｓｅ）
ネットがある。従って、見込みに基づく推論は、（画像
ごとの代わりに）領域基準で実行される。

【００５５】例示の実施例では、主対象検出アルゴリズ
ムの出力は、各々が主対象である確率（又は、信頼）の
降順にランク付けされた、セグメント化された領域のリ
ストである。このリストは、容易く、各領域が配置され
且つ領域の主対象信頼性に比例する信頼値が割当てられ
た、信頼性マップに変換される。従って、このマップ
は、主対象信頼マップと呼ばれる。信頼マップ内に採用
されている連続の信頼値のために、信頼マップは、決定
された主対象の位置を示すのみのバイナリーマップ以上
のものである。関連する確率も、各領域に添付され、そ
れにより、大きな値を有する領域は、主対象の一部であ
る、高信頼性又は信頼を有する領域に対応する。

【００５６】異なる観測者は、どれが主対象かに関し
て、異なる観測者は、ある対象に同意せず、一方、他の
対象に同意するので、ある程度、この、信頼マップは、
主対象検出としてのタスクを実行する人間に関する固有
の不確かさを反映する。これは、バイナリー主対象決定
の問題を示す。各観測者の主観的知覚が、主対象検出ア
ルゴリズムに影響する。従って、正しいものが各観測者
の意見のみで保持され、その意見は、各観測者で変わる
ので、主対象を正確に正しく検出することは不可能であ
る。しかしながら、バイナリー判断は、望まれるとき
に、容易く、信頼マップに適切なしきい値を使用するこ
とにより、得られ、しきい値以上の信頼値を有する領域
は、主対象と任意に定義され、そして、しきい値以下の
信頼値を有する領域は、背景領域と任意に定義される。

【００５７】本発明の好適な実施例では、主対象強調を
決定するために、連続の信頼値を有する主対象信頼マッ
プが、バイナリーマップの代わりに使用される。バイナ
リーマップが使用される場合には、主対象からの領域
が、背景領域と間違って分類された場合には、非常に少
ないビットを割当て、それにより、大きな歪みを起こ
す。従って、再構成された画像の視覚品質は、主対象検
出プロセスの強さに、非常に依存する。これは、主対象
検出に、完全に自動化され且つ強いシステムを設計する
ことが難しいので、危険である。また、主対象の決定は
観測者毎に変わる。逆に、連続の信頼値を有する主対象
信頼マップを使用するときに、主対象上に置かれた強調
は、即ち、高信頼値を有する領域に比較的大きな数のビ
ットを割当てる処理は、徐徐である。これは、ある観測
者に視覚的に不快な不可逆な判断をすることを避ける優
位点がある。

【００５８】画像圧縮の観点から、高信頼値を有する画
素内の再構成された誤差は、低信頼値を有する画素内の
同様な大きさの誤差よりも、更に不快であると仮定する
のが合理的である。これは、高信頼値を有する領域内の
歪みは、更に重く重み付けされるべきであることを暗示
する。これを達成する１つの方法は、式３内の歪み-重
みファクターｗ_ｉ（ｇ，ｈ）を、主対象信頼マップに基
づいて、変更することである。１つの明かな難しさは、
歪み-重みファクターｗ_ｉ（ｇ，ｈ）はサブバンド領域
内の係数に対して視覚的重みを決定し、一方、主対象信
頼マップは画像領域内にあることである。歪み−重み計
算ユニット（１１２）は、各サブバンド係数に対する、
歪み-重みファクターｗ_ｉ（ｇ，ｈ）を、入力画像に対
する主対象信頼マップから得る。

【００５９】前に、特定のサブバンド係数に対応する基
礎関数をどのように計算するかを説明した。基礎関数
は、そのサブバンド係数に対する歪み重みを得るのに使
用できる。前のように、

【００６０】

【外７】は、サブバンドｉからの、サブバンド係数ｘ_ｉ（ｇ，
ｈ）に対応する基礎関数を示す。サブバンド係数は、量
子化され、そして、再構成された値を、

【００６１】

【外８】とする。そして、再構成された値は、元の係数と量子化
誤差ｅ_ｉ（ｇ，ｈ）の和として表すことができる。

【００６２】

【数９】設計動作は線形であるので、サブバンド係数ｘ_ｉ（ｊ，
ｋ）内の量子化誤差ｅ _ｉ（ｇ，ｈ）による、再構成され
た画像内の歪みは、

【００６３】

【数１０】である。

【００６４】特定の画素位置（ｕ，ｖ）での知覚された
歪みが、その画素位置の主対象信頼値の関数である場合
には、サブバンド係数ｘ_ｉ（ｊ，ｋ）の量子化による、
再構成された画像内の知覚される歪みは、

【００６５】

【数１１】であり、ここで、ｐ（ｕ，ｖ）は、主対象信頼マップ値
を示し、Ｇは、特定の位置での信頼値であり、そして、
和は、基礎関数

【００６６】

【外９】のサポート領域をわたる。このように、サブバンド係数
ｘ_ｉ（ｇ，ｈ）に対する歪み−重みファクターは、

【００６７】

【数１２】である。一旦、各サブバンド係数に対する、歪み−重み
（１１３）は、計算され、そして、Ｙ．Ｓｈｏｈａｍ及
びＡ．Ｇｅｒｓｈｏによる、ＩＥＥＥ音響、音声及び、
信号処理処理論文集３６（９）（１９８８年９月）の第
１４４５−１４５３頁の”量子化器の任意の組みに対す
る効率的なビット割当て（Ｅｆｆｉｃｉｅｎｔｂｉｔ
ａｌｌｏｃａｔｉｏｎｆｏｒａｎａｒｂｉｔｒ
ａｒｙｓｅｔｏｆｑｕａｎｔｉｚｅｒ）”に記載
されたレート−歪み最適化アルゴリズムは、各コードブ
ロックに対する切捨て点を決定するのに使用される。入
力画像が、カラー画像（マルチコンポーネント）である
場合にでも、単一の主対象信頼マップが計算されそし
て、各（おそらく変換された）コンポーネント画像の歪
み−重みを計算するのに使用される。

【００６８】数式６から、各係数に対して歪み−重みフ
ァクターを計算するために、その係数に対応する基礎関
数のサポートする領域をわたり、総和の項が評価される
必要がある。分解の各レベルに対して、サポートの領域
が、約、合成フィルタの長さだけ広がる。従って、歪み
−重みファクターの計算の複雑さは、非常に速く成長す
る。計算の複雑さを減少させるいくつかの技術は以下の
様である。

【００６９】同じサブバンドからの異なる係数に対応す
る基礎関数は、互いにシフトされたものであるので、基
礎関数は、各サブバンドに対して１回のみ正確に計算さ
れる必要がある。更に、基礎関数の２乗

【００７０】

【外１０】は、予め計算されそして、蓄積されている。また、基礎
関数は、典型的には、サポートの領域の中心から離れる
と急速に減衰する。これは、

【００７１】

【外１１】の小さな値をゼロに設定することにより利用される。こ
れは、大量の計算を節約する。

【００７２】本発明の他の実施例では、各サブバンド係
数に対して、その係数に対応する基礎関数のサポートの
領域が識別される。そして、サポートの領域からの全信
頼値の平均が、その係数に対する、主対象信頼値と呼ば
れる。サブバンド係数に対する歪み−重みは、この平均
値の関数である。好適な実施例では、歪み重みは、平均
信頼値の２乗に設定される。当業者は、他の選択も可能
であることは理解される。例えば、３乗関数又は、ルー
ト関数も使用されうる。選択された関数は、主対象領域
上に置かれた強調に作用する。本発明の他の実施例で
は、サブバンド係数に対する主対象信頼値は、その係数
に対応する基礎関数のサポートの領域からの信頼値のメ
ジアン（又は、固定の百分位数）に設定される。上述の
ように、サブバンド係数に対する歪み−重みは、メジア
ン値の関数である。

【００７３】他の実施例では、各コードブロックに対し
て、単一の歪み−重みファクターが計算される。これ
は、つぎのように達成される。第１に、各コードブロッ
ク内の各サブバンドに対するサポートの領域が決定され
る。そして、コードブロックに対するサポートの領域
は、これはそのコードブロックに属する全サブバンド係
数のサポートの領域の結合であるように定義され、決定
される。全体のコードブロックに対する主対象信頼値
は、そのコードブロックに対するサポートの領域からの
主対象信頼値の平均に等しいように設定される。コード
ブロックに対する歪み−重みファクターは、主対象信頼
値の関数に設定される。前述のように、平均を計算する
代わりに、メジアン又は、特定の百分位数画計算され得
る。同様に、関数は、そのコードブロックに対する主対
象信頼値の２乗に選択されるが、しかし、ルート又は３
乗のような他の選択も可能である。

【００７４】ＪＰＥＧ２０００圧縮前に、元の画像にプ
リフィルタリングを適用するのも望ましい。背景領域は
低ビットレートで符号化されるので、背景領域内で見ら
れる典型的な圧縮歪みは、大きなしみである。背景は、
圧縮された画像内で大きな滑らかな背景領域の間に時々
鋭い構造を有し、均一な低い画像品質を有するように
は、見えない。背景領域の劣化を更に優雅にするため
に、画像を予め平滑化することが可能である。好適な実
施例では、これは次のように達成される。元の画像内の
各画素が、空間的に変化する低域通過フィルタでフィル
タされる。低域通過フィルタの遮断周波数は、主対象信
頼値に依存する。信頼値が、１．０である場合には、フ
ィルタはオールパスフィルタであり、一方、信頼値が、
０に近い場合には、大きな空間的範囲を有し、且つ非常
に低遮断周波数である。予め平滑化することの利益は、
背景領域を圧縮するのに使うビットを更に節約し、且
つ、背景を更に均一に見えるようにすることである。

【００７５】前述のように、本発明は、他の圧縮システ
ムにも適用できる。例えば、符号化器では、ウェーブレ
ット又はサブバンド分解が、ある程度の空間的なローカ
リティを提供する他の空間−周波数分解で代理される。
また、変換符号化器のようなブロックに基づく符号化器
にも適用できる。図７は、ＩＳＯ／ＩＥＣ国際規格１０
９１８−３に記載されたＪＰＥＧ規格への拡張に基づく
変換符号化器を示し、その内容は、参照によりここに組
み込まれる。符号化器は、空間的な適応量子化のため
に、主対象信頼マップを使用する。ＪＰＥＧ規格への拡
張は各画像成分に対する量子化マトリクスの仕様を、
Ｗ．Ｂ．Ｐｅｎｎｅｂａｋｅｒ及びＪｏａｎＬ．Ｍｉｔ
ｃｈｅｌｌの、ＪＰＥＧＳｔｉｌｌＩｍａｇｅＤ
ａｔａＣｏｍｐｒｅｓｓｉｏｎＳｔａｎｄａｒｄ
（ＪＰＥＧ静止画データ圧縮規格）、ＶａｎＮｏｓｔ
ｒａｎｄＲｅｉｎｈｏｌｄ、ニューヨーク１９９３
年、に記載のように許す。更に加えて、各８ｘ８ブロッ
クに対し、拡張は、量子化マトリクスをスケーリングす
る乗数の仕様を許す。本発明の他の実施例では、各８ｘ
８ブロックに対する乗算器は、図７に示されたブロック
に対する主対象信頼値の平均に依存して変わる。

【００７６】図７を詳細に参照すると、ディジタル画像
（７０１）は、分割ユニット（７０２）により、８ｘ８
ブロックに分割される。ディジタル画像は、主対象検出
ユニット（７０３）にも入力される。ＭＳＤユニット
（７０３）は、その画像に対する、主対象信頼値の信頼
マップ（７０４）を発生する。信頼マップ（７０４）
は、乗数計算ユニット（７０５）に送られ、これは、各
８ｘ８ブロックに対する主対象信頼値の平均を計算し且
つ、その平均値を各８ｘ８ブロックに対する乗数（７０
６）を決定するのに使用する。ＪＰＥＧ−拡張は、乗数
値に対して、（線形又は非線形の）２つの予め定められ
たテーブルを許す。好適な実施例では、線形テーブル
が、使用される。線形テーブルに対しては、エントリー
は、（１／１６）で増加する、（１／１６）から（３１
／１６）の範囲である。８ｘ８ブロックに対する平均信
頼値は、０と１の間であるので、好適な実施例では、乗
数（ｍｕｌｔｉｐｌｉｅｒ）は、

【００７７】

【数１３】のように決定され、ここで、ａｖｅｒａｇｅは８ｘ８ブ
ロックの平均信頼値を示し、そして、

【００７８】

【外１２】は、ｘより小さいか又は等しい最大の整数を示す。結果
の乗数値は、範囲[１／１６，３１／１６]にクリップさ
れる。予想されるように、低い平均信頼値を有する乗数
は高く、粗い量子化となる。当業者は、より低い平均信
頼値が、より高い乗算ファクターにマップされる限り、
他のマッピングも可能であることは、認識する。ＤＣＴ
ユニット（７０７）は、２次元離散コサイン変換（２−
ＤＤＣＴ）を使用して、変換された８ｘ８ブロック
（７０８）を発生するために、各８ｘ８ブロックを変換
する。量子化ユニット（７０９）は、量子化された係数
（７１０）を発生するために、適切な量子化マトリクス
と乗数計算ユニット（７０５）により供給される乗数
（７０６）を使用して、ＤＣＴ係数を量子化する。そし
て、エントロピー符号化及びシンタックス発生ユニット
（７１１）は、ＪＰＥＧ規格にへの拡張に互換の圧縮さ
れたビットストリーム（７１２）を発生する。

【００７９】前の例では、ＪＰＥＧ拡張に対するビット
ストリームシンタックスは、各８ｘ８ブロックに対する
乗数を変化させるための規定を有する。当業者には、異
なるブロックに基づく符号化器が使用されている場合に
は、主対象信頼マップに基づく、各ブロックに対する量
子化の範囲の変更は、サイド情報の形式で復号器に送ら
れることは、認識される。例えば、各ブロックを符号化
するのにベクトル量子化を使用する、ブロックに基づく
符号化器を考える。ベクトル量子化のコードブックのサ
イズは、そのブロックの主対象信頼値の平均に基づき変
わりうる。この、情報はサイド情報として復号器に送ら
れ、それにより、復号器は適切なサイズを有するコード
ブックを使用して、量子化器インデックスを復号でき
る。

【００８０】本発明の主題は、ディジタル画像理解技術
に関連し、これは、人間の理解可能な物体、属性又は状
態を、認識し且つそれにより有益な意味を割当て、そし
て、ディジタル画像の更なる処理内で得られた結果を使
用する、ディジタル画像をディジタル的に処理する技術
を意味する理解される。

【００８１】

【発明の効果】上述のように、対象内容分析に基づい
て、画像の異なる空間−周波数領域に対して量子化の範
囲を適応させる方法により、特定のビットレート又は圧
縮比を達成しようとするときには、エンドユーザに知覚
される再構成された画像品質のために重要でありそうで
ある領域の視覚品質を最大化することができる。

【図面の簡単な説明】

【図１】本発明に従ったＪＰＥＧ２０００符号化器のブ
ロック図である。

【図２】１−Ｄ信号に対する２−バンドフィルタバンク
を示す図である。

【図３】２−レベルオクターブ分解を示す図である。

【図４】コードブロック圧縮ユニットのブロック図を示
す図である。

【図５ａ】均一デッドゾーンスカラー量子化器に対す
る、Δと２Δそれぞれのステップサイズに対する、判断
しきい値と再構成レベルのグラフを示す図である。

【図５ｂ】均一デッドゾーンスカラー量子化器に対す
る、Δと２Δそれぞれのステップサイズに対する、判断
しきい値と再構成レベルのグラフを示す図である。

【図６】主対象検出（ＭＳＤ）ユニットのブロック図を
示す図である。

【図７】主対象信頼マップを使用するＪＰＥＧ拡張に基
づく符号化器のブロックを示す図である。

【符号の説明】

１０１ディジタル画像１０２サブバンド分解１０３サブバンド係数１０４コードブロック分割ユニット１０５コードブロック１０６コードブロック圧縮ユニット１０７圧縮されたコードブロックビットストリーム１０８バイトカウントテーブル１０９ビット予算１１０主対象検出（ＭＳＤ）ユニット１１１信頼マップ１１２歪み−重み計算ユニット１１３歪み−重み１１４レート−制御ユニット及びＪＰＥＧ２０００ビ
ットストリームオルガナイザー１１５符号化されたディジタル画像４０１スカラー量子化器４０２量子化された係数４０３エントロピー符号化器４０４テーブル発生ユニット４０５量子化器ステップサイズ６０１画像分割ユニット６０２特徴抽出ユニット６０３信頼計算ユニット７０１ディジタル画像７０２分割ユニット７０３主対象検出（ＭＳＤ）ユニット７０４信頼マップ７０５乗数計算ユニット７０６乗数７０７ＤＣＴユニット７０８変換された８ｘ８ブロック７０９量子化ユニット７１０量子化された係数７１１エントロピー符号化及びシンタックス発生ユニ
ット７１２符号化されたディジタル画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者ジエボルオアメリカ合衆国ニューヨーク 14620 ロチェスターユニヴァーシティ・パーク 805 Ｆターム(参考） 5C059 KK02 MA00 MA24 MB06 MC16 PP01 PP29 UA02 UA15 UA39 5C078 BA53 CA21 DA01 5J064 AA01 BA16 BC11 BC15 BC16 BC21 BC28 BD04

Claims

【特許請求の範囲】

【請求項１】ディジタル画像から圧縮されたビットス
トリームを生成する方法であって、ａ）画像内の対象及び背景領域の重要性に関連する連続
の信頼値を含む、主対象信頼マップを発生するために、
ディジタル画像を処理するステップと、ｂ）変換係数の配列を発生するために、ディジタル画像
に、空間−周波数変換を実行するステップと、ｃ）信頼マップから、各変換係数に対して、歪み−重み
ファクターを得るステップと、ｄ）歪み−重みファクターに応答する画像圧縮システム
を使用して、圧縮されたビットストリームを発生するス
テップと、を有する方法。
【請求項２】ステップｄ）の画像圧縮システムは、エ
ラー関数を最小化する歪み−重みファクターを使用し
て、目標サイズを超えない圧縮されたビットストリーム
を発生する、請求項１に記載の方法。
【請求項３】画像圧縮システムは、ＪＰＥＧ圧縮であ
る、請求項１に記載の方法。
【請求項４】画像圧縮システムは、ＪＰＥＧ２０００
圧縮である、請求項１に記載の方法。