JP2013507084A - 画像処理のための方法およびシステム - Google Patents

Abstract

本発明の一態様により、離散的入力画像を、縮小サイズの離散的出力画像に処理するための方法およびシステムが提供される。いくつかの実施形態によれば、システムは、インタフェース、品質パラメーターコントローラーおよびイントラ予測エンコーダーを含み得る。品質コントローラーは、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連している。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーはその符号化品質パラメーターに従って構成される。
【選択図】図４

Description

関連出願の相互参照
本願は、２００９年１０月５日に出願された米国仮出願第６１／２４８，５２１号、および２００９年１０月２２日に出願された米国仮出願第６１／２５３，８７２号、および２０１０年２月８日に出願された米国仮出願第６１／３０２，１９３号からの優先権を主張し、その開示内容全体が参照により本明細書に組み込まれる。

本発明は、画像処理の分野に関連する。より詳細には、本発明は、非可逆画像処理の分野に関する。

参考文献一覧
以下の参考文献は、本発明の背景理解の目的のために適切であると考えられる：

［１］Ｓ．Ｃｈｏ、Ｚ．Ｂｏｊｋｏｖｉｃ、Ｄ．Ｍｉｌｏｖａｎｏｖｉｃ、Ｊ．Ｌｅｅ、およびＪ．Ｈｗａｎｇ、「Ｉｍａｇｅ ｑｕａｌｉｔｙ ｅｖａｌｕａｔｉｏｎ：ＪＰＥＧ２０００ ｖｅｒｓｕｓ Ｉｎｔｒａ−ｏｎｌｙ Ｈ．２６４／ＡＶＣ Ｈｉｇｈ Ｐｒｏｆｉｌｅ」、ＦＡＣＴＡ ＵＮＩＶＥＲＳＩＴＡＴＩＳ Ｅｌｅｃ．Ｅｎｅｒｇ．、ｖｏｌ．２０、ｎｏ．１，７１〜８３（２００７年４月）

［２］Ｆ．Ｄｅ Ｓｉｍｏｎｅ、Ｍ．Ｏｕａｒｅｔ、Ｆ．Ｄｕｆａｕｘ、Ａ．Ｇ．Ｔｅｓｃｈｅｒ、およびＴ．Ｅｂｒａｈｉｍｉ、「Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ ＪＰＥＧ ２０００，ＡＶＣ／Ｈ．２６４，ａｎｄ ＨＤ Ｐｈｏｔｏ」、Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＸＸＸ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ、ｖｏｌ．６６９６、Ｓａｎ Ｄｉｅｇｏ，ＣＡ ＵＳＡ，２８〜３０、２００７年８月。

［３］Ｉｓｍａｉｌ Ｄａｌｇｉｃ、Ｆｏｕａｄ Ａ．Ｔｏｂａｇｉ、「Ｃｏｎｓｔａｎｔ Ｑｕａｌｉｔｙ Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ」、Ｐｒｏｃ．ｏｆ ＩＥＥＥＥ ＩＣＣ‘９５、Ｓｅａｔｔｌｅ，Ｗａｓｈｉｎｔｏｎ、１９９５年６月。

［４］Ｉ．Ｍａｔｓｕｄａ、Ｙ．Ｎｏｍｏｔｏ、Ｋ．ＷａｋａｂａｙａｓｈｉおよびＳ．Ｉｔｏｈ、「Ｌｏｓｓｌｅｓｓ Ｒｅ−ｅｎｃｏｄｉｎｇ ｏｆ ＪＰＥＧ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｂｌｏｃｋ−Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ」Ｐｒｏｃ．ｏｆ １６ｔｈ Ｅｕｒｏｐｅａｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ（ＥＵＳＩＰＣＯ ２００８）、Ｌａｕｓａｎｎｅ，Ｓｗｉｔｚｅｒｌａｎｄ、Ｌ３〜６、２００８年８月２５日〜２９日。

［５］Ａｎｔｈｏｎｙ Ｊ Ｍａｅｄｅｒ、Ｂｉｒｇｉｔ Ｍ Ｐｌａｎｉｔｚ、「Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｗａｔｅｒｍａｒｋｉｎｇ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｍｏｄａｌｉｔｉｅｓ」、ａｉｐｒ，ｐｐ．１５８〜１６５、３４ｔｈ Ａｐｐｌｉｅｄ Ｉｍａｇｅｒｙ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｉｐ（ＡＩＰＲ‘０５）、２００５年。

［６］Ｚ．Ｗａｎｇ、Ａ．Ｃ．Ｂｏｖｉｋ、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ｅ．Ｐ．Ｓｉｍｏｎｃｅｌｌｉ、「Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ：Ｆｒｏｍ Ｅｒｒｏｒ Ｖｉｓｉｂｉｌｉｔｙ ｔｏ Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．１３、Ｎｏ．４、ｐｐ．６００〜６１２、２００４年４月。

［７］Ｍ．Ｍａｒｔｉｎｅｚ−Ｒａｃｈ、Ｏ．Ｌｏｐｅｚ、Ｐ．Ｐｉｎｏｌ、Ｍ．Ｐ．ＭａｌｕｍｂｒｅｓおよびＪ．Ｏｌｉｖｅｒ、「Ａ Ｓｔｕｄｙ ｏｆ Ｏｂｊｅｃｔｉｖｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｒｉｃｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｄｅｓｉｇｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｕｌｔｉｍｅｄｉａ、ｐｐ．５１７〜５２４、２００６年１２月（ＩＳＭ‘０６）

Ｃｈｏら［１］は、イントラのみのＨ．２６４／ＡＶＣ Ｈｉｇｈ Ｐｒｏｆｉｌｅ（ＨＰ）規格対ＪＰＥＧ２０００規格に対する画像品質評価を開示する。特に、主観的および客観的評価との関連で、２つの規格の構造および符号化アルゴリズムが提供される。また、モノクロおよびカラー画像のテストセットについて実行されたシミュレーションも開示されている。Ｃｈｏらは、Ｈ．２６４／ＡＶＣの主観的および客観的な画像品質が、画像全体の変換ではなくブロック変換から構成されるため、内在するブロッキングアーチファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を除き、ＪＰＥＧ２０００よりも優れているという観測に基づいて判断する。

Ｓｉｍｏｎｅら［２］は、ＪＰＥＧ ２０００、ＡＶＣ／Ｈ．２６４ Ｈｉｇｈ ４：４：４イントラおよびＨＤ Ｐｈｏｔｏ間のレート歪み性能を評価する研究を報告する。評価用に、異なる空間分解能を有する１０個の高解像度カラー画像の組が使用されている。ＰＳＮＲおよび知覚的ＭＳＳＩＭ指標の両方が、歪みの測定基準と見なされた。Ｓｉｍｏｎｅらによると、実験の実行に使用された材料について、全体的な性能は、圧縮効率の観点から、３つの符号化方式について全く同程度であり、ビットレート変動において±１０％の平均範囲内で従来型ＪＰＥＧより効率が良いということが、結果から示されている。

Ｍａｔｓｕｄａら［３］は、既存のＪＰＥＧファイルを、品質を損なうことなく圧縮するトランスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）方式を提案する。この方式では、ＪＰＥＧファイルに格納されている量子化されたＤＣＴ係数のブロック間相関関係を利用するために、Ｈ．２６４のようなブロック適応イントラ予測が採用されている。この予測は、８×８画素から構成される各ブロックの空間領域で実行されるが、元の係数の可逆復元を確実にするため、対応する予測残差がＤＣＴ領域で計算される。さらに、予測残差の確率密度関数（ＰＤＦ）の正確なモデリングを可能するために、ブロックベースの分類が実行される。マルチシンボル算術符号器が、各ＤＣＴ係数の予測残差のエントロピー符号化のために、ＰＤＦモデルと共に使用される。

ＤａｌｇｉｃおよびＴｏｂａｇｉ［４］は、符号化ビデオの品質を一定レベルで維持するビデオ符号化方式を提案する。この方式は、定量的ビデオ品質尺度に基づいており、エンコーダーのパラメーターを制御するためにフィードバック制御機構を使用する。

本発明の一態様により、離散的入力画像を、縮小サイズの離散的出力画像に処理するための方法およびシステムが提供される。いくつかの実施形態によれば、システムは、インタフェース、品質パラメーターコントローラーおよびイントラ予測エンコーダーを含み得る。品質コントローラーは、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連している。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーは符号化品質パラメーターによって構成される。

いくつかの実施形態によれば、目標とする定量的類似性尺度は、出力画像と入力画像との間の許容差を表す。別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の最小限の類似性要件を表す。

いくつかの実施形態では、符号化品質パラメーターは、固定の事前定義値によって設定される。別の実施形態では、符号化品質パラメーターは、事前定義した公式によって計算される。さらに別の実施形態では、符号化品質パラメーターは、事前生成したルックアップテーブルから選択される。さらにまた別の実施形態では、符号化品質パラメーターは、事前定義した検索基準に基づく事前定義した反復検索プロセスによって決定される。

いくつかの実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の類似性に対する最小閾値を表す最小類似値によって示される。別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の差異に対する最大閾値を表す最大差分値によって示される。さらに別の実施形態では、目標とする定量的類似性尺度は、それぞれ差異または類似性の範囲をもたらす、最小差分値または最大類似値によっても示される。

いくつかの実施形態では、最小類似値および／または最大差分値は、知覚的に同一の定量的類似性（または定量的差異）を示す。別の実施形態では、最小類似値（または最大差分値）は、特定の構造的類似性（ＳＳＩＭ）指標値および関連するパラメーターの特定値によって示される。さらに別の実施形態では、最小類似値（または最大差分値）は、以下のパラメーターをもつ約０．９５の構造的類似性（ＳＳＩＭ）指標値に対応するか、または実質的に等しい：つまり、シグマ＝１．５の１１×１１ガウシアンフィルター、およびＳＳＩＭ定数のデフォルト値−［０．０１，０．０３］。本発明のさらにまた別の実施形態では、品質パラメーターコントローラーは、以下のパラメーターまたはその相当物をもつ０．９５以上のＳＳＩＭ指標値を提供し、入力画像に対して実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成される。

さらに別の実施形態では、最小類似値（または最大差分値）は、修正されたＳＳＩＭ品質尺度を用いて決定される。ＳＳＩＭ品質尺度は、画像の特定領域にペナルティを適用することにより適合され、修正されたＳＳＩＭ品質尺度を生じる。これらの領域に対して計算されたＳＳＩＭスコアは、それぞれのペナルティに従ってペナルティを科される。一例では、ペナルティは、例えば、滑らかな領域で取得したＳＳＩＭ値の二乗を含み得る。さらに例として、滑らかな領域は、元の画像で局所的画像変動を計算し、その変動が閾値を下回る領域を滑らかと分類することにより、識別される。他のペナルティは、各領域に対するＳＳＩＭ値について、異なる方法で使用および適用され得る。領域ペナルティ手順（ｒｅｇｉｏｎａｌ ｐｅｎａｌｔｙ ｐｒｏｃｅｄｕｒｅ）は、ＳＳＩＭスコアリングプロセスと統合され得るか、またはＳＳＩＭスコアリングプロセスが完了した後に実施される追加のステップとして実施され得る。その上、他の種類の領域が存在し得、その識別は、局所的画像変動に加えて、さらなる技術を含み得る。

さらにまた別の実施形態では、ＳＳＩＭ品質尺度が修正され、局所的ＳＳＩＭスコア全てを平均化する代わりに、事前定義した閾値によって決定された最小ＳＳＩＭをもつ領域に対して平均化が実行されるようになる。さらに別の実施形態では、画像がブロックに分割され、ＳＳＩＭ品質尺度が、各ブロックについて別々に計算された後、ブロックスコアに基づき全体の品質スコアが計算され、システムによって使用される最小類似値が、ブロック単位全体品質スコア（ｂｌｏｃｋ−ｗｉｓｅ ｇｌｏｂａｌ ｑｕａｌｉｔｙ ｓｃｏｒｅ）に対応する。

別の実施形態では、ＳＳＩＭ品質尺度の計算は、その計算を画像全体に対して実行する代わりに、入力画像の選択部分のピクセルおよび出力画像の対応するピクセルに対して実行することにより最適化され得る。

別の実施形態では、最小類似値（または最大差分値）は、特定のピーク信号対雑音比（ＰＳＮＲ）指標値および関連するパラメーターの特定値によって示される。本発明のさらに別の実施形態では、品質パラメーターコントローラーは、約４５ｄＢのピーク信号対雑音比値に等しい符号化品質パラメーターを提供するように構成される。

別の実施形態では、最小類似値（または最大差分値）は、入力画像に対して出力画像のブロッキネスの有無を定量化するブロッキネス尺度、出力画像と入力画像との間のテクスチャ類似性を定量化するテクスチャ尺度、および出力画像と入力画像との間の局所類似性を定量化する局所類似性尺度を含む品質尺度によって示される。かかる品質尺度のさらなる詳細については、２０１０年１月６日に出願された「Ｒｅｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ ａ Ｒｏｂｕｓｔ Ｍｅａｓｕｒｅ ｏｆ Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｌｉｔｙ Ｉｎｃｌｕｄｉｎｇ Ｉｍｐｒｏｖｅｄ Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ Ｃｏｍｐｕｔａｔｉｏｎ」という名称の同時係属の米国仮出願第６１／２９２，６２２号に記載されており、その内容が「付録Ａ」として本願に組み込まれる。

本発明の別の実施形態では、最小類似値（または最大差分値）は、特定の視覚情報忠実度（ＶＩＦ：ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｄｅｌｉｔｙ）値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定の画質評価尺度（ＰＱＳ：ｐｉｃｔｕｒｅ ｑｕａｌｉｔｙ ｓｃａｌｅ）指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定のビデオ品質メトリック（ＶＱＭ：ｖｉｄｅｏ ｑｕａｌｉｔｙ ｍｅｔｒｉｃ）指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定の視覚的品質の知覚評価（ＰＥＶＱ：ｐｅｒｃｅｐｔｕａｌ ｅｖａｌｕａｔｉｏｎ ｏｆ ｖｉｓｕａｌ ｑｕａｌｉｔｙ）指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定のモスクワ大学（ＭＳＵ：Ｍｏｓｃｏｗ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ）ブロッキネス指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定のモスクワ大学（ＭＳＵ）ぼかし（ｂｌｕｒｉｎｅｓｓ）指標値および関連するパラメーターの特定値によって示される。

いくつかの実施形態では、品質パラメーターコントローラーは、入力画像の定量的尺度に関連する入力画像品質パラメーターを取得するように構成される。品質パラメーターコントローラーは、入力画像の品質を特徴付けるために入力画像品質パラメーターを使用し得る。いくつかの実施形態では、入力画像品質パラメーターには、次のうちの１つまたは複数が含まれ得る：つまり、ビット／ピクセル、画像の品質表示、解像度、ファイルサイズ、および／または最小非ゼロＤＣＴ係数である。いくつかの実施形態によれば、より高品質の入力画像に対して知覚的に可逆な圧縮を獲得するため、実質的により低値の符号化品質パラメーターが提供され得る。さらに別の実施形態では、入力画像品質パラメーターは、符号化品質パラメーター検索の一部として使用され得る。さらに別の実施形態では、入力画像品質パラメーターは、反復符号化品質パラメーター検索プロセスの初期化に使用され得る。さらにまた別の実施形態では、入力画像品質パラメーターは、符号化プロセスがそもそも実行されるべきか否かを判断するために使用され得る。

別の実施形態では、品質コントローラーは、既に高度に圧縮されている入力画像を識別し、それらを再圧縮しないように構成され得る。いくつかの実施形態では、入力画像は、高度に圧縮されているか否かを識別するために分析され、高度に圧縮されている場合、符号化プロセスが個別の画像に対して無効にされる。別の実施形態では、入力画像が高度に圧縮されているか否かの識別は、逆量子化後に入力画像のＤＣＴ係数値を分析し、最小非ゼロＤＣＴ係数値を決定することにより実行される。さらに別の実施形態では、最小非ゼロＤＣＴ係数値が閾値と比較される。いくつかの実施形態では、閾値は、再圧縮率が低い（例えば、１０％未満）全て（または一部）の再圧縮画像を評価し、それらの非ゼロＤＣＴ値の統計値を調べることにより決定される。例えば、後述するように、輝度（Ｌｕｍａ）に対して閾値の３が使用され得る。いくつかの実施形態では、かかる分析が、画像の輝度および色差（Ｃｈｒｏｍａ）成分について別々に実行される。別の実施形態では、最小非ゼロＤＣＴ係数が閾値より大きい場合、符号化プロセスは、個別の画像に対して実行されない。さらに別の実施形態では、閾値が輝度成分と色差成分とで異なり、最終的な決定は、輝度および色差成分の閾値の組み合わせによって決まる。前述のとおり、ここでも、閾値は、再圧縮率が非常に低い画像におけるＤＣＴ値の統計値を評価することにより、経験的に決定され得る。いくつかの実施形態では、輝度成分の最小非ゼロＤＣＴ成分に対する閾値は３である。

本発明のいくつかの実施形態では、品質コントローラーは、目標とする定量的類似性尺度により、出力画像と入力画像との間の類似性を維持しながら、離散的出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。別の実施形態では、品質コントローラーが、出力画像と入力画像との間の類似性を最小類似値以上に維持しながら、離散的出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。さらに別の実施形態では、品質コントローラーが、出力画像と入力画像との間の差異を最大差分値以上に維持しながら、離散的出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。

別の実施形態では、品質コントローラーは、出力画像と入力画像との間の類似性（または差異）を事前定義した類似性（または差異）の範囲内に維持しながら、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成される。

いくつかの実施形態によれば、品質コントローラーは、類似性評価モジュールを含み得る。類似性評価モジュールは、イントラ予測エンコーダーと連携して、符号化品質パラメーターの反復検索を実施するように構成され得、検索の各繰返しにおいて、収束基準が満足されるまで、符号化品質パラメーターが増分（減少）される。別の実施形態によれば、収束基準は、１つまたは複数の以前の符号化品質パラメーターに関連するサイズ縮小と比較した現在の符号化品質パラメーターに関連するサイズ縮小の観点から、改善に関連する。別の実施形態では、収束基準は、１つまたは複数の以前の符号化品質パラメーターに関連するサイズ縮小と比較した現在の符号化品質パラメーターに関連するサイズ縮小の観点から、改善率に関連する。さらに別の実施形態では、符号化品質パラメーターの検索は、出力画像と入力画像との間の最小類似閾値（または最大差分閾値）によって制約される。

別の実施形態によれば、類似性評価モジュールは、イントラ予測エンコーダーと連携して、反復符号化品質パラメーター検索を実施するように構成され得、各繰返しにおいて、入力画像の少なくとも１つのセグメントが、現在の繰返しに対して提供されている暫定符号化品質パラメーターを用いて圧縮された後、結果として生じた暫定圧縮出力画像と入力画像との間の類似性が評価される。いくつかの実施形態では、暫定圧縮出力画像と入力画像との間の類似性が基準を満足していると判断される場合、品質コントローラーは、出力として現在の暫定出力画像を提供するようにエンコーダーに指示し得る。いくつかの実施形態では、暫定圧縮出力画像と入力画像との間の類似性が類似性基準を満足していないと判断される場合、類似性評価モジュールは、調整された暫定符号化品質パラメーターを用いて入力画像の再圧縮を繰り返した後に、結果として生じた暫定圧縮出力画像と入力画像との間の類似性が評価されるように構成され得る。暫定符号化品質パラメーターの調整およびその調整済み暫定パラメーターを用いた入力画像の再圧縮の評価は、暫定圧縮出力画像と入力画像との間の類似性が類似性基準を満足するまで繰り返され得る。さらに別の実施形態では、検索基準も、暫定符号化品質パラメーターによって可能になるサイズ縮小に関連し得る。

いくつかの実施形態では、暫定符号化品質パラメーターは、符号化品質パラメーターの制限範囲について２等分を実行することにより更新される。別の実施形態では、暫定符号化品質パラメーターの範囲は、ルックアップテーブルに指定されている符号化品質パラメーターの各値について２等分を実行することにより更新される。

いくつかの実施形態では、暫定符号化品質パラメーターは、繰返し回数および目標とする類似性尺度からの距離によって決まる適応ステップ幅を用いて更新される。かかる一更新スキームは、例えば、

（公式ｆ１）
であり得、式中、ＱＰｎｅｗ、ＱＰｏｌｄは、それぞれ、次の繰返しおよび最後の繰返しに対する符号化品質パラメーター値であり、Δｓｉｍｉｌａｒｉｔｙは、公式ｆ２に見られるとおりで、ｓｔｅｐ_{ｎｕｍＩｔｅｒ}は、ルックアップテーブルから取得したステップ幅であって、繰返しカウントに応じて減少し、Ｃ_１はある定数で、恐らく２００であり、また、

（公式ｆ２）
である。

式中、ｃｕｒｒＳｉｍｉｌａｒｉｔｙは、最後の繰返しで作成された画像で評価された類似性であり、ＴｈｒｅｓｈｏｌｄＳｉｍｉｌａｒｉｔｙは、目標とする類似性尺度であり、Δｓｉｍｉｌａｒｉｔｙはそれらの間の差異である。

いくつかの実施形態によれば、システムは、少なくとも一部は入力画像の解像度に基づき出力画像の解像度を制御するように構成されている解像度制御モジュールをさらに含み得る。別の実施形態では、解像度制御モジュールは、入力画像の解像度に関連するパラメーターを取得するように構成され得る。入力画像の解像度は、第１画素数に対する第２画素数によって示され得る。本発明の別の実施形態では、解像度制御モジュールは、入力画像の解像度と実質的に等しい解像度を有する画像を出力として提供するようにエンコーダーを構成するように構成され得る。

本発明のいくつかの実施形態では、エンコーダーは、１つもしくはかなり少数の画素行および／または列を出力画像に埋め込むか、または出力画像から取り去るように構成される。エンコーダーは、出力画像と入力画像のピクセル寸法間のパリティを達成するために比較的少ない画素数を追加し得る。別の実施形態では、イントラ予測エンコーダーは、入力画像の解像度パラメーターによって、出力画像の埋め込み（出力画像からの取り去り）が必要か否か、ならびに埋め込む行数および／もしくは列数（または取り去る行数および／もしくは列数）を決定し得る。本発明のさらに別の実施形態では、入力画像が奇数の画素行および／または奇数の画素列を有する場合、イントラ画像予測エンコーダーは、奇数の画素行および／または画素列を、出力画像に埋め込むか、または出力画像から取り去り、その結果、出力画像の画素行数および／または画素列数を偶数にするように構成され得る。

別の実施形態では、イントラ予測エンコーダーは、出力画像の解像度を、入力画像の解像度とはかなり異なる数に設定するように構成され得る。さらに別の実施形態では、イントラ予測エンコーダーは、出力画像の解像度を、入力画像の解像度に一部基づき、また、入力画像の解像度とは無関係の追加のパラメーターに基づき、設定するように構成され得る。さらに別の実施形態では、イントラ予測エンコーダーは、出力画像の解像度を、入力画像の解像度とは無関係に設定するように構成され得る。

別の実施形態によれば、イントラ予測エンコーダーは、出力画像を複数（２つ以上）のサブ画像に分割するように構成され得、前記サブ画像の各々の解像度は、Ｈ．２６４規格でサポートされる最大解像度以下である。さらに別の実施形態では、サブ画像は、出力画像を長方形領域に分割することによって作成され得る。各サブ画像に関連付けられた領域の順序は、サブ画像の事前定義した順序によって示され得るか、またはサブ画像内に指定されるか、もしくはサブ画像に関連付けられ得る。例えば、各サブ画像の座標または列行位置を示すメタタグが、エンコーダーにより、各サブ画像に埋め込まれ得る。さらに別の実施形態では、サブ画像は、単一のＨ．２６４ストリーム内の別個のフレームとして、単一のＭＰ４ファイル内の別個のＨ．２６４トラックとして、または別個のＨ．２６４ファイルとして格納され得る。サブ画像は、元の出力画像を再作成するためにデコーダーによって再構築され得る。いくつかの実施形態では、複数のサブ画像の結合は、各サブ画像内に埋め込まれているか、もしくは各サブ画像に関連付けられている順序付け情報によるか、または事前定義した順序スキームによる、サブ画像の順序付けを伴い得る。

さらに別の実施形態では、サブ画像は、出力画像のダウンサンプリング、例えば、出力画像でＮ個毎に１個の画素を選択して出力画像をＮ個の画像に分割することにより作成され得る。ダウンサンプリングされたサブ画像は、単一のＨ．２６４ストリーム内の別個のフレームとして、単一のＭＰ４ファイル内の別個のＨ．２６４トラックとして、または別個のＨ．２６４ファイルとして格納され得る。元の出力画像でダウンサンプリングされた画像での画素位置は、事前定義したダウンサンプリングスキームによって決定され得るか、またはサブ画像内に指定されるかもしくは関連付けられ得る。例えば、各サブ画像の元の出力画像のエッジに対するピクセル単位のオフセットを示すメタタグが、エンコーダーによって各サブ画像に埋め込まれ得る。元の出力画像を再構築するために、デコーダーはダウンサンプリングされた画像のピクセルを読み取り、（元の出力画像と同じサイズをもつ）再構築された出力画像の、それら（ピクセル）が元の出力画像で配置されていた位置に、それらを書き込む。

いくつかの実施形態によれば、エンコーダーは、入力画像の再符号化の一部として、量子化操作を実施するように構成される。別の実施形態では、量子化操作は、符号化品質パラメーターによって構成される。さらに別の実施形態では、エンコーダーは、符号化品質パラメーターによって量子化操作を構成するように構成される。さらに別の実施形態では、符号化品質パラメーターは、量子化操作の一部として使用される量子化パラメーターである。さらにまた別の実施形態では、量子化パラメーターは、約１５〜２５の間である。さらに別の実施形態では、量子化パラメーターは、約１４〜３２の間である。量子化操作は、エンコーダーの一部として実施されている専用量子化モジュールによって実行され得る。

本発明のいくつかの実施形態によれば、入力画像の再符号化は、イントラ画像予測に基づく残差表現の計算を含む。残差画像の計算は、エンコーダーの一部として実施されている専用残差計算モジュールによって実行され得る。

別の実施形態では、入力画像の再符号化は、ブロックの残差表現から周波数領域表現への変換をさらに含む。ブロックの残差表現から周波数領域表現への変換は、エンコーダーの一部として実施されている専用変換モジュールによって実行され得る。さらに別の実施形態では、変換モジュールは、整数変換モジュールであり、その変換は、整数変換である。

さらに別の実施形態では、入力画像の再符号化は、符号化品質パラメーターによる周波数領域表現行列の量子化をさらに含む。

さらにまた別の実施形態では、入力画像の再符号化は、可変長符号化または算術符号化を用いる、量子化された周波数領域表現行列の並べ替えおよび符号化をさらに含む。量子化された周波数領域表現行列の並べ替えおよび符号化は、エンコーダーの一部として実施されている専用エントロピー符号化モジュールによって実行され得る。

別の実施形態によれば、入力画像の再符号化は、入力画像色空間のＲＧＢからＹＣｂＣｒへの変換をさらに含む。さらに別の実施形態によれば、入力画像の再符号化は、ＣｂおよびＣｒ成分の空間分解能の減少をさらに含む。入力画像色空間の変換および変換された入力画像の特定色成分の空間分解能の減少は、エンコーダーの一部として実施されている専用フォーマット変換モジュールによって実行され得る。別の実施形態では、専用フォーマット変換モジュールは、デコーダーの外部で実施され得、エンコーダーへの入力の前処理を実施し得る。

いくつかの実施形態では、入力画像は、標準的ＪＰＥＧ画像である。さらに別の実施形態では、入力画像は、各撮像装置によってキャプチャーされたｒａｗ（生の）データの圧縮バージョンである標準的ＪＰＥＧ画像である。さらに別の実施形態では、入力画像は、高品質ＪＰＥＧ画像である。本発明のさらに別の実施形態によれば、入力画像の解像度は、２メガピクセルより大きい。

別の実施形態では、エンコーダーは、標準的Ｈ．２６４または標準的ＭＰＥＧ−４ ｐａｒｔ １０エンコーダーである。さらに別の実施形態では、エンコーダーは、インターフレーム（またはインター画像）予測を無効にし、符号化品質パラメーターによって量子化操作を実施するように構成される。さらにまた別の実施形態では、標準的Ｈ．２６４またはＭＰＥＧ−４ ｐａｒｔ １０エンコーダーは、インループ非ブロック化フィルター（ｉｎ−ｌｏｏｐ ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）を無効にするように構成される。いくつかの実施形態では、エンコーダーは、インループ非ブロック化フィルターを有効にするように構成され得る。また別の実施形態では、エンコーダーは、入力画像の品質に関連するパラメーターによって、インループ非ブロック化フィルターを有効にするかまたは無効にするかを決定し得る。また別の実施形態では、エンコーダーは、品質パラメーターコントローラーで提供される符号化品質パラメーターによって、インループ非ブロック化フィルターを有効にするかまたは無効にするかを決定し得る。例えば、エンコーダーは、比較的低品質によって特徴付けられる入力画像に対して、インループ非ブロック化フィルターを有効にするように構成され得る。

いくつかの実施形態によれば、エンコーダーは、離散的出力画像を含む標準的Ｈ．２６４またはＭＰＥＧ−４ ｐａｒｔ １０ストリームを出力として提供するように構成される。さらに別の実施形態では、エンコーダーは、複数の離散的画像を含む標準的Ｈ．２６４またはＭＰＥＧ−４ ｐａｒｔ １０ストリームを出力として提供するように構成される。さらにまた別の実施形態では、エンコーダーは、ＭＰＥＧ−４ファイルフォーマットに従ってフォーマットされた標準的ＭＰ４ファイルを出力として提供するように構成される。

別の実施形態によれば、システムは、ビットストリームパッキングモジュールを含み得る。ビットストリームパッキングモジュールは、イントラ予測エンコーダーで提供された符号化周波数領域表現を事前定義した出力フォーマットにパックするように構成され得る。ビットストリームパッキングモジュールは、事前定義したフォーマットに符号化されている離散的出力画像を出力として提供するように構成される。さらに別の実施形態では、ビットストリームパッキングモジュールは、イントラ予測エンコーダーで提供された符号化周波数領域表現を入力画像の元のフォーマットにパックするように構成され得る。さらに別の実施形態では、ビットストリームパッキングモジュールは、入力画像に対応する離散的画像を含む標準的ＪＰＥＧファイルを出力として提供するように構成される。

本発明のさらに別の態様によれば、離散的入力画像を、縮小サイズの離散的出力画像に処理するためのシステムは、インタフェース、品質パラメーターコントローラーおよびエンコーダーを含み得、そのインタフェースは、可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットによって圧縮された離散的入力画像を受信するように構成される。品質コントローラーは、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーは、符号化品質パラメーターによって構成される。

本発明の別の実施形態によれば、入力画像は標準的ＪＰＥＧ ２０００である。

本発明のさらにまた別の態様によれば、離散的入力画像を、縮小サイズの離散的出力画像に処理するためのシステムは、インタフェース、品質パラメーターコントローラーおよびエンコーダーを含み得、そのインタフェースは、入力画像の１つまたは複数のセグメントについて周波数領域変換を利用する圧縮フォーマットによって圧縮された離散的入力画像を受信するように構成される。品質コントローラーは、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する。エンコーダーは、符号化品質パラメーターによって実施されるイントラ画像予測を使用する入力画像を再符号化するように構成される。

本発明のさらに別の態様によれば、離散的入力画像を縮小サイズの離散的出力画像に処理するための方法が提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信することと、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像との間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、入力画像を再符号化することであって、その再符号化がイントラ画像予測、および符号化品質パラメーターによって構成されている量子化ステップを含む、再符号化することとを含む。

本発明のさらに別の態様によれば、離散的入力画像を縮小サイズの離散的出力画像に処理するための方法が提供され、その方法は、可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信することと、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像との間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、入力画像を再符号化することであって、その再符号化がイントラ画像予測、および符号化品質パラメーターによって構成されている量子化ステップを含む、再符号化することとを含む。

本発明の別の態様によれば、離散的入力画像を縮小サイズの離散的出力画像に処理するための方法が提供され、その方法は、イントラ予測符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信することと、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、出力画像と入力画像との間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、入力画像を再符号化することであって、その再符号化がイントラ画像予測、および符号化品質パラメーターによって構成されている量子化ステップを含む、再符号化することとを含む。

本発明のさらにまた別の実施形態によれば、複数の入力画像を処理して、それぞれ複数の縮小サイズの出力画像を提供するシステムが提供され、そのシステムは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信するように構成されたインタフェースと、その複数の入力画像の各々に対して、各離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供するように構成された品質パラメーターコントローラーと、複数の入力画像の各々を再符号化するように構成されたイントラ予測符号化コントローラーであって、再符号化がイントラ画像予測を含み、エンコーダーが、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されている、イントラ予測符号化コントローラーとを含む。

いくつかの実施形態によれば、システムは、前記品質パラメーターコントローラーで制御された複数の品質パラメーター制御インスタンスをさらに含み得、その複数の品質パラメーター制御インスタンスの各々が複数の入力画像の１つまたは複数に割り当てられ、それらに割り当てられた入力画像の各々に対して、各離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する。

いくつかの実施形態によれば、そのシステムは、イントラ予測エンコーダーの複数のインスタンスをさらに含み得、イントラ予測エンコーダーの複数のインスタンスの各々が、複数の入力画像の１つまたは複数に割り当てられ、それらに割り当てられた入力画像の各々を再符号化し、その再符号化がイントラ画像予測を含み、そのエンコーダーは、そのエンコーダーのインスタンスに割り当てられた入力画像の各々に対して提供される各符号化品質パラメーターによって構成されている。

本発明のさらに別の態様によれば、複数の入力画像を処理するためのシステムが提供され、そのシステムは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信するように構成されたインタフェースと、その複数の入力画像の各々に対して、各離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供するように構成された品質コントローラーと、複数の入力画像の各々を再符号化するように構成されたイントラ予測エンコーダーであって、その再符号化がイントラ画像予測を含み、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されているエンコーダーと、複数の入力画像に対して単一の出力ファイルを提供するように構成されているビットストリームパッキングモジュールであって、出力ファイルが、複数の離散的入力画像に対応する複数のインデックス付き離散的オブジェクトを含む、ビットストリームパッキングモジュールとを含む。

いくつかの実施形態によれば、各オブジェクトは、複数の離散的入力画像のそれぞれ１つに対応する離散的画像を含む。別の実施形態によれば、出力ファイルは、ＭＰ４ファイルである。

本発明のさらに別の態様によれば、複数の入力画像を処理して、それぞれ複数の縮小サイズの出力画像を提供する方法が提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信することと、その複数の入力画像の各々に対して、各離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、複数の入力画像の各々を再符号化することであって、その再符号化がイントラ画像予測を含み、量子化ステップが、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されている、再符号化することとを含む。いくつかの実施形態では、複数の入力画像の中の少なくともいくつかの画像が、連続して処理される。さらに別の実施形態では、複数の入力画像の１つに対する最初の符号化品質パラメーターが、以前の画像の符号化品質パラメーター値によって順番に設定される。さらに別の実施形態では、入力画像に対する最初の符号化品質パラメーターが、以前の画像に対する符号化品質パラメーター値が順番に収束された符号化品質パラメーターによって設定される。

本発明のさらに別の態様によれば、複数の入力画像を処理する方法が提供され、その方法は、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮されたか、またはイントラ予測符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信することと、その複数の入力画像の各々に対して、各離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターであって、各出力画像と入力画像対間の目標とする定量的類似性尺度に関連するパラメーターを提供することと、複数の入力画像の各々を再符号化することであって、再符号化がイントラ画像予測を含み、量子化ステップが、複数の入力画像の各々に対して提供された各符号化品質パラメーターによって構成されている、再符号化することと、複数の入力画像に対して、複数の離散的入力画像に対応する複数のインデックス付き離散的オブジェクトを含む、単一の出力ファイルを提供することとを含む。

本発明を理解し、それが実際にどのように実行され得るかを理解するために、好ましい実施形態が、限定されない例として、以下に示す添付の図を参照しながら、ここで説明される。

本発明のいくつかの実施形態による、画像処理システムの高レベルブロック図である。 本発明のいくつかの実施形態による、離散的入力画像を処理するための方法の流れ図である。 本発明のいくつかの実施形態の一部として実施され得る反復符号化品質パラメーター検索プロセスの一例の流れ図である。 本発明のいくつかの実施形態による、図１のシステムをさらに詳細に示すブロック図である。 本発明のいくつかの実施形態による、離散的入力画像の再符号化プロセスの一部として実施されるＨ．２６４規格のイントラ画像予測および残差画像計算プロセスの特定態様を説明する一連の画像である。 本発明のいくつかの実施形態による、ＪＰＥＧ ２０００画像の処理に適した画像処理システムのブロック図である。 本発明のいくつかの実施形態による、複数の入力画像の処理に適した画像処理システムのブロック図である。 本発明のいくつかの実施形態による、複数の入力画像処理、および複数の入力画像の、複数の離散的セグメントを含む離散的出力ファイルへの再圧縮に適した画像処理システムのブロック図である。

図を単純かつ明瞭にするため、図に示す要素は、必ずしも正確な縮尺で描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするため、他の要素に比較して拡大され得る。さらに、適切と考えられる場合には、対応する要素または類似した要素を示すために、各図間で参照数字が繰り返され得る。

以下の詳細な説明で、本発明の完全な理解を提供するために、多数の具体的詳細が説明される。しかし、当業者には、本発明は、これらの具体的詳細がなくても実施し得ることが理解されよう。他の例では、本発明を分かり難くしないように、周知の方法、手順およびコンポーネントは、詳細に説明されていない。

特に断りのない限り、以下の説明から明らかなように、本明細書の説明の全体に渡り、「処理（ｐｒｏｃｅｓｓｉｎｇ）」、「演算（ｃｏｍｐｕｔｉｎｇ）」、「計算（ｃａｌｃｕｌａｔｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」、「生成（ｇｅｎｅｒａｔｉｎｇ）」、「割当て（ａｓｓｉｇｎｉｎｇ）」、「符号化（ｅｎｃｏｄｉｎｇ）」、「復号（ｄｅｃｏｄｉｎｇ）」、「圧縮（ｃｏｍｐｒｅｓｓｉｎｇ）」または同様の用語などの使用は、コンピューティングシステムのレジスタおよび／またはメモリ内の物理的（例えば、電子的）量として表現されるデータを、コンピューティングシステムのメモリ、レジスタまたは他のかかる情報ストレージ、送信もしくは表示装置内の物理量として同様に表現される他のデータに操作および／または転送する、コンピューターもしくはコンピューティングシステム、または同様の電子コンピューティング装置の動作および／または処理を指すことを理解されたい。

本発明の実施形態は、本明細書での操作を実行するための装置を含み得る。この装置は、所望の目的専用に構成され得るか、またはコンピューター内に格納されているコンピュータープログラムによって選択的に起動もしくは再構成される汎用コンピューターを含み得る。かかるコンピュータープログラムは、フロッピィディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、磁気もしくは光カード、または電子命令の格納に適し、コンピューターシステムバスに結合可能な他の任意の種類の媒体を含む任意の種類のディスクなどを含むがそれらに限定されない、コンピューター可読記憶媒体に格納され得る。

本明細書で提示されるプロセスおよび表示は、どの特定のコンピューターまたは他の装置にも本質的に関連していない。様々な汎用システムが、本明細書の教示内容に従って、プログラムと共に使用され得るか、または所望の方法を実行するために、より特殊化した装置を構築するのが便利であると分かり得る。これら種々のシステムに対する所望の構成は、後述の説明に現れるであろう。さらに、本発明の実施形態は、いずれか特定のプログラミング言語に関連して説明されない。本明細書で説明のとおり、様々なプログラミング言語が、本発明の教示内容を実施するために使用され得る。

本発明の説明の全体に渡って、用語「Ｈ．２６４」または用語「Ｈ．２６４規格」、および「Ｈ．２６４」または「Ｈ．２６４規格」を指す同様の用語への参照が行われる。当技術分野に精通した者であれば、本明細書で使用されている「Ｈ．２６４」または「Ｈ．２６４規格」は、ビデオ圧縮用の規格でもあるＭＰＥＧ−４ ｐａｒｔ １０に相当することが理解されるであろう。さらに、用語「アドバンスドビデオコーディング」または略語の「ＡＶＣ」もＨ．２６４およびＭＰＥＧ−４ ｐａｒｔ １０と置き換え可能な用語であり、用語Ｈ．２６４、ＭＰＥＧ−４ ｐａｒｔ １０、ＡＶＣまたは同様な用語に対して本明細書で行われるどの参照も、他の対応する用語のいずれか１つと置き換え可能である。

本発明の一態様に従って、離散的入力画像を縮小サイズの離散的出力画像に処理するための方法およびシステムが提供される。いくつかの実施形態によれば、そのシステムは、インタフェース、品質パラメーターコントローラーおよびイントラ予測エンコーダーを含み得る。そのインタフェースは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信するように構成される。品質コントローラーは、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する。イントラ予測エンコーダーは、入力画像を再符号化するように構成され、再符号化はイントラ画像予測を含み、エンコーダーは、符号化品質パラメーターによって構成される。

ここで図１を参照すると、これは、本発明のいくつかの実施形態による、離散的入力画像処理システムの高レベルブロック図である。便宜上、図１に示す実施形態、および本明細書で提供するその説明では、参照は、ＪＰＥＧ画像の再圧縮に対して行われる。いくつかの実施形態では、システム１０は、入力インタフェース２０、品質パラメーターコントローラー３０およびＨ．２６４エンコーダー４０を含み得る。

さらに図２を参照すると、これは、本発明のいくつかの実施形態による、離散的入力画像の処理方法の流れ図である。プロセスは、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された離散的入力画像の受信から始まる。インタフェース２０は、図１に例として示すような、ＪＰＥＧ規格に従って圧縮された離散的ＪＰＥＧ画像１２などの、素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信する（ブロック２１０）ように構成される。いくつかの実施形態では、離散的入力画像は高品質ＪＰＥＧ画像である。

入力画像に対して可能な種々のソースには、デジタルカメラ５１、パーソナルコンピューター５２、モバイル通信装置５４またはデータセンター５６など、システム１０にネットワーク５０を介して接続されているリモート装置、およびローカルの記憶装置５８（例えば、ハードドライブディスク）などのローカル装置が含まれるが、それらに限定されない。

いくつかの実施形態では、インタフェース２０は、離散的入力画像をＲＡＷ画像フォーマットまたは可逆画像フォーマットに復号する（ブロック２２０）ように構成されたデコーダーを含み得る。例えば、デコーダーは、圧縮画像を次のフォーマットのいずれか１つ：すなわち、ＹＵＶ、ＲＧＢ、ＢＭＰ、ＰＮＧおよびＴＩＦＦに復号し得る。図１に示す実施形態では、デコーダーは、入力ＪＰＥＧ画像をＲＡＷ画像に復号するように構成されているＪＰＥＧデコーダー２２である。別の実施形態では、デコーダーは、入力画像の部分復号を実行するように構成され得、圧縮画像をピクセル領域での表現に変換し得る。さらに別の実施形態では、デコーダーは、入力画像の部分復号を実行するように構成され得、圧縮画像を周波数領域での表現に変換し得る。さらにまた別の実施形態では、デコーダーは、前述のとおりＪＰＥＧデコーダー２２であり、ＪＰＥＧデコーダー２２は、入力ＪＰＥＧ画像の部分復号を実行するように構成される。さらにまた別の実施形態では、ＪＰＥＧデコーダー２２は、ＪＰＥＧ復号プロセスの一部として作成されたＹＵＶ ４：２：０サンプルを直接取り出し得る。

品質パラメーターコントローラー３０は、インタフェース２０に動作可能なように接続され得る。ｒａｗ画像は、品質パラメーターコントローラー３０への入力として供給され得る。前述のとおり、品質パラメーターコントローラー３０は、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、パラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連する（ブロック２３０）。いくつかの実施形態によれば、目標とする定量的類似性尺度は、そのシステムの出力画像と入力画像との間の許容差を表す。別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の最小類似要件を表す。

いくつかの実施形態では、品質パラメーターコントローラー３０は、固定の事前定義値によって符号化品質パラメーターを設定する（ブロック２３１）ように構成され得る。別の実施形態では、品質パラメーターコントローラー３０は、事前定義した公式に従って、符号化品質パラメーターを計算する（ブロック２３２）ように構成され得る。さらに別の実施形態では、品質パラメーターコントローラー３０は、事前定義した検索基準に従って符号化品質パラメーターを選択するための事前定義した反復検索プロセスを実施し得る（ブロック２３３）。さらにまた別の実施形態では、品質パラメーターコントローラー３０は、符号化品質パラメーターを事前生成したルックアップテーブルから選択する（ブロック２３４）ように構成され得る。前述した各選択肢に関する詳細については、後述する。

図１および本発明のいくつかの実施形態によれば、例として、事前構成されたＨ．２６４エンコーダー４０は、イントラ予測エンコーダーとして使用される。いくつかの実施形態では、Ｈ．２６４エンコーダー４０は、イントラ画像予測を有効にし、インター画像（またはインターフレーム）予測を無効にする方法で事前構成され得る。

別の実施形態では、Ｈ．２６４エンコーダー４０は、インループ非ブロック化フィルターを無効にする方法で事前構成され得る。いくつかの実施形態では、Ｈ．２６４エンコーダー４０は、インループ非ブロック化フィルターを有効にする方法で事前構成され得る。さらに別の実施形態では、Ｈ．２６４エンコーダー４０は、入力画像の品質に関連するパラメーターによって、インループ非ブロック化フィルターを有効または無効のいずれにするかを判断するように構成され得る。さらにまた別の実施形態では、エンコーダーは、品質パラメーターコントローラーで提供される符号化品質パラメーターによって、インループ非ブロック化フィルターを有効または無効のいずれにするかを判断し得る。例えば、Ｈ．２６４エンコーダー４０は、比較的低品質によって特徴付けられる入力画像に対してインループ非ブロック化フィルターを有効にするように構成され得る。ある場合には、Ｈ．２６４非ブロック化の利用により、Ｈ．２６４エンコーダー４０で再符号化された出力画像の知覚品質を改善し得る一方、非ブロック化の効果により、出力画像と入力画像との間の知覚類似性が減少し得ることを理解されたい。

図２の説明に戻ると、Ｈ．２６４エンコーダー４０は、品質パラメーターコントローラー３０に動作可能なように接続され得、符号化品質パラメーターがＨ．２６４エンコーダー４０に供給され得る。Ｈ．２６４エンコーダー４０は、符号化品質パラメーターで構成され得る（ブロック２４０）。Ｈ．２６４エンコーダー４０は、インタフェース２０にも動作可能なように接続され得、ＪＰＥＧデコーダー２２などのデコーダーによって生成されるような入力画像の表現を追加の入力として受信し得る。Ｈ．２６４ ４０は、イントラ画像予測プロセスを使用して入力画像を再符号化するように構成され得、再符号化プロセスの少なくとも一部が、符号化品質パラメーターによって構成され得る（ブロック２５０）。再符号化プロセスに関する詳細について、以下で詳述する。

ここで、符号化品質パラメーターおよび品質パラメーターコントローラー３０の操作に関連する本発明の別の実施形態について説明する。いくつかの実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の類似性に対する最小閾値を表す最小類似値によって示される。別の実施形態では、目標とする定量的類似性尺度は、出力画像と入力画像との間の差異に対する最大閾値を表す最大差分値によって示される。品質パラメーターコントローラー３０は、かかる最小類似値またはかかる最大差分値により、符号化品質パラメーターを選択、計算または他の方法で決定し得る。さらにまた別の実施形態では、目標とする定量的類似性尺度は、最大および最小の類似値または差分値を含む、差異または差分範囲によっても示される。

いくつかの実施形態では、品質パラメーターコントローラー３０によって使用される最小類似値および／または最大差分値は、定量的類似性（または定量的差分）の要求レベルを示し得る。別の実施形態では、品質パラメーターコントローラー３０によって要求される定量的類似性レベルは、知覚的識別に対応する。本明細書で説明するとおり、提案されている符号化プロセスは、符号化品質パラメーターに敏感である。それ故、例えば、いくつかの実施形態では、品質パラメーターコントローラー３０は、再符号化出力画像と入力画像との間の類似性尺度が、最小目標の定量的類似性尺度、例えば、知覚的識別を表す（または可逆と認識される）最小目標の定量的類似性尺度以上になるように、符号化品質パラメーターが設定されることを必要とし得る。同じような方法で、さらに別の態様によれば、品質パラメーターコントローラー３０は、再符号化出力画像と入力画像との間の差分尺度が、最大定量的差分尺度未満になるように、符号化品質パラメーターが設定されることを必要とし得る。

いくつかの実施形態では、最小類似値または最大差分値は、品質パラメーターコントローラー３０に対してハードコードされ得る。別の実施形態では、最小類似値または最大差分値は、システム１０のオペレーターによって手動で設定され得る。

別の実施形態では、最小類似値（または最大差分値）は、特定の構造的類似性（ＳＳＩＭ）指標値および関連するパラメーターの特定値によって示される。さらに別の実施形態では、最小類似値（または最大差分値）は、以下のパラメーターをもつ約０．９５の構造的類似性（ＳＳＩＭ）指標値に対応するか、または実質的に等しい：つまり、シグマ＝１．５の１１×１１ガウシアンフィルター、およびＳＳＩＭ定数のデフォルト値−［０．０１，０．０３］。前述のパラメーターをもつ０．９５以上のＳＳＩＭ値は、知覚的に等しい画像を表す（例えば出版物［５］を参照）と認められている。それ故、いくつかの実施形態によれば、類似性の定量的尺度に関連する出力画像と入力画像の対は、パラメーターがシグマ＝１．５の１１×１１ガウシアンフィルターである場合に測定された、０．９５のＳＳＩＭ値以上であり、知覚的に可逆と考えられる。異なる組のパラメーターを使用すると、知覚的に可逆な出力画像と入力画像の対に対応する異なるＳＳＩＭ値が提供され得、本発明の別の実施形態は同等なＳＳＩＭ値および関連するパラメーターの任意のかかる組み合わせに適用できることが理解されるであろう。

当技術分野に精通した者には、ＳＳＩＭが構造的情報内の変更の検出に使用でき、従って、画像内のエッジに沿った変更に対して高度に敏感であるが、滑らかな領域における軽度の歪みに対しては、人間視覚システムよりも敏感ではないことが理解されるであろう。それ故、別の実施形態では、最小類似値（または最大差分値）は、修正されたＳＳＩＭ品質尺度を用いて決定される。ＳＳＩＭ品質尺度は、画像の特定領域にペナルティを適用することにより適合されて、修正されたＳＳＩＭ品質尺度を生じる。それらの領域用に計算されたＳＳＩＭスコアは、それぞれのペナルティに従ってペナルティを科される。一例では、ペナルティは、滑らかな領域で取得したＳＳＩＭ値の二乗を含み得る。さらに例として、滑らかな領域は元の画像で局所的画像変動を計算し、その変動が閾値未満の領域を滑らかと分類することによって識別される。さらにまた別の例として、ダイナミックレンジが［０，２５５］の画像に対する閾値が１０であり得る。さらにまた別の実施形態では、閾値は、画像毎に計算される。他のペナルティが、各領域に対するＳＳＩＭ値について、異なる方法で使用および適用され得る。領域ペナルティ手順は、ＳＳＩＭスコアリングプロセスと統合され得るか、またはＳＳＩＭスコアリングプロセスが完了した後に実施される追加のステップとして実施され得る。

その上、品質パラメーターコントローラー３０は、他の種類の領域を識別するように構成され得、かかる領域の識別は、局所的画像変動に加えて、追加の技術を伴い得る。一旦識別されると、かかる追加の種類の領域に対するＳＳＩＭスコアリングは、様々な修正を受け得る。修正は、ＳＳＩＭスコアリングプロセスの一部として、また、ＳＳＩＭスコアリングプロセスの前または後の補完的手順として実施できる。

さらにまた別の実施形態では、ＳＳＩＭ品質尺度が修正されて、局所的ＳＳＩＭスコア全てを平均化する代わりに、事前定義した閾値によって決定されたとおり（例えば、５％の最小外れ値を捨てて、次の１０％の最小スコアを平均化することにより）、最小ＳＳＩＭをもつ領域に対して平均化が実行されるようになる。別の実施形態では、恐らくは入力画像の解像度に基づいて、画像がブロックに分割され、ＳＳＩＭ品質尺度が各ブロックについて別々に計算された後、全体の品質スコアが最小ブロックＳＳＩＭ値として計算され、ブロックＳＳＩＭ値のＲＭＳ（二乗平均平方根）または最小ブロックＳＳＩＭ値とブロックＳＳＩＭ値の平均との間の平均値が使用され得る。例として、３２×３２ブロック分割が、０．２５メガピクセル未満の画像に対して実施され、６４×６４ブロック分割が、０．２５メガピクセル〜１メガピクセルの間の画像に対して実施され、１２８×１２８ブロック分割が、１メガピクセルを超える画像に対して実施される。

別の実施形態では、ＳＳＩＭ品質尺度の計算が、画像全体についてその計算を実行する代わりに、第１画像のピクセルの選択した部分および第２画像の対応するピクセルについてその計算を実行することにより適合される。別の実施形態では、対応する選択したピクセル間の差異が、それらの平均値を計算することにより、単一の差分値に結合される。別の実施形態では、対応する選択したピクセル間の差異が、それらのＲＭＳ（二乗平均平方根）を計算することにより、単一の差分値に結合される。別の実施形態では、選択したピクセルの位置が画像領域に渡って均等に分散される。さらに別の実施形態では、選択したピクセルの位置がランダムに選択される。さらにまた別の実施形態では、画像が実質的に均等な長方形領域に分割され、測定用のピクセルの相対部分が、各長方形領域からランダムに選択される。

本発明のいくつかの実施形態では、最小類似値（または最大差分値）が、特定の視覚情報忠実度（ＶＩＦ）値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定の画質評価尺度（ＰＱＳ）指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定のビデオ品質メトリック（ＶＱＭ）指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定の視覚的品質の知覚評価（ＰＥＶＱ）指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定のモスクワ大学（ＭＳＵ）ブロッキネス指標値および関連するパラメーターの特定値によって示される。本発明の別の実施形態では、最小類似値（または最大差分値）は、特定のモスクワ大学（ＭＳＵ）ぼかし指標値および関連するパラメーターの特定値によって示される。

本発明のさらにまた別の実施形態では、品質パラメーターコントローラー３０は、符号化プロセスの構成が、前述のパラメーターもしくはそれらと同等物を使用して、０．９５以上のＳＳＩＭ指標値によって入力画像に対する類似性が測定され、または入力画像に対して実質的にサイズが縮小された、出力画像を獲得できるようにする、符号化品質パラメーターを提供するように構成される。

別の実施形態では、最小類似値（または最大差分値）は、特定のピーク信号対雑音比（ＰＳＮＲ）指標値および関連するパラメーターの特定値によって示される。いくつかの実施形態では、ＰＳＮＲ品質尺度は、符号化品質パラメーターの反復検索と併せて使用される。プロセスの一部として、異なるＱＰの各繰返しが使用され、ＰＳＮＲが閾値ＰＳＮＲレベルに対して検査される。ＱＰは、結果として生じる画像がＰＳＮＲ閾値を超えるまで減らされる。本発明のさらに別の実施形態では、品質パラメーターコントローラーは、約４５ｄＢのピーク信号対雑音比値となる、符号化品質パラメーターを提供するように構成される。

本発明のさらに別の実施形態では、符号化品質パラメーターが関連する、出力画像と入力画像との間の目標とする定量的類似性尺度が、入力画像に対して出力画像のブロッキネスの有無を定量化するブロッキネス尺度、出力画像と入力画像との間のテクスチャ類似性を定量化するテクスチャ尺度、および出力画像と入力画像との間の局所類似性を定量化する局所類似性尺度に関連付けられる。品質尺度に関する詳細については、２０１０年１月６日に出願された「Ｒｅｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ ａ Ｒｏｂｕｓｔ Ｍｅａｓｕｒｅ ｏｆ Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｌｉｔｙ Ｉｎｃｌｕｄｉｎｇ Ｉｍｐｒｏｖｅｄ Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ Ｃｏｍｐｕｔａｔｉｏｎ」という名称の同時係属の米国仮出願第６１／２９２，６２２号に記載されており、その内容が「付録Ａ」として本願に組み込まれる。

本発明のいくつかの実施形態では、品質パラメーターコントローラー３０は、目標とする定量的類似性尺度に従って、出力画像と入力画像との間の類似性を維持しながら、離散的出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを決定および提供するように構成される。別の実施形態では、品質パラメーターコントローラー３０は、出力画像と入力画像との間の類似性を最小類似値以上に維持しながら、離散的出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。さらに別の実施形態では、品質パラメーターコントローラー３０は、出力画像と入力画像との間の差異を最大差分値以上に維持しながら、離散的出力画像のサイズ縮小を（入力画像に比べて）最大限にする符号化品質パラメーターを提供するように構成される。

別の実施形態では、品質パラメーターコントローラー３０は、事前定義した類似性（または差異）の範囲内で、出力画像と入力画像との間の類似性（または差異）を維持しながら、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを決定および提供するように構成される。

別の実施形態では、品質パラメーターコントローラー３０は、出力画像と入力画像との間の類似性（または差異）および離散的出力画像のサイズ縮小を最適化する符号化品質パラメーターを決定および提供するように構成される。別の実施形態では、品質パラメーターコントローラー３０は、例えば、最適化プロセスの現在の繰返しでの出力画像のサイズの差異が、１つまたは複数の以前の繰返しでの出力画像のサイズに比較して特定値未満の場合、例えば、最適化プロセスの終了条件を示す収束基準を含む、符号化品質パラメーターの最適化における他の要因を考慮に入れるように構成され得る。別の例によれば、符号化品質パラメーターの最適化は、反復の最大数によって制約され得る。反復の最大数は、収束率または最適化プロセスに関連する他のパラメーターにより、事前定義され得るか、または決定され得る。いくつかの実施形態では、符号化品質パラメーターの最適化プロセスは、出力画像と入力画像との間の類似性（または差異）の特定範囲に関して実施され得、符号化品質パラメーターは、類似性（または差異）の事前定義した範囲内で、サイズ縮小を最適化しようとする。

例えば、いくつかの実施形態によれば、品質パラメーターコントローラー３０は、類似性評価モジュール３２を含み得る。類似性評価モジュール３２は、Ｈ．２６４エンコーダー４０と連携して、符号化品質パラメーターの反復検索を実施するように構成され得る。

ここで図３を参照すると、これは、本発明のいくつかの実施形態の一部として実施され得る反復符号化品質パラメーター検索プロセスの一例の流れ図である。検索プロセスの各繰返しで、類似性評価モジュール３２は、Ｈ．２６４エンコーダー４０に対する入力として提供される（ブロック３２０）暫定符号化品質パラメーターを生成し得る（ブロック３１０）。

いくつかの実施形態によれば、初期の暫定符号化品質パラメーターが事前定義され得る。例えば、初期の暫定符号化品質パラメーターは、Ｈ．２６４量子化パラメーター値２２に対応する値に事前設定され得る。別の実施形態では、初期の暫定符号化品質パラメーターは、システム１０のオペレーターによって選択され得る。例えば、システム１０のオペレーターは、２つ以上の選択肢を提示され得、各選択肢は、類似性と圧縮との間の異なるトレードオフを表し、それに応じて、各選択肢は、異なるＨ．２６４量子化パラメーター値に関連する。別の実施形態では、ユーザーの選択肢は、１４と３２の間のＨ．２６４量子化パラメーター値に対応する範囲をカバーする。さらに別の実施形態では、初期の暫定符号化品質パラメーターは、計算され得るか、または他の方法で決定され得る。例えば、初期の暫定符号化品質パラメーターは、入力画像の品質／解像度に関連するパラメーター、外部ユーザー選択パラメーターなどに基づき決定され得る。その上、例として、初期の暫定符号化品質パラメーターに対して可能な選択肢は、例えば、１４と３２の間のＨ．２６４量子化パラメーター値に対応する値のみが考慮され得る、事前定義した範囲によって制約され得る。

いくつかの実施形態では、暫定符号化品質パラメーターは、符号化品質パラメーターの制限範囲について２等分を実行することにより更新される。別の実施形態では、暫定符号化品質パラメーターの範囲は、ルックアップテーブルに指定されている符号化品質パラメーターの各値について２等分を実行することにより更新される。

いくつかの実施形態では、暫定符号化品質パラメーターは、繰返し回数および目標とする類似性尺度からの距離によって決まる適応ステップ幅を用いて更新され得る。かかる一更新スキームは、例えば、

（公式ｆ１）
であり得、式中、ＱＰｎｅｗ、ＱＰｏｌｄは、それぞれ、次の繰返しおよび最後の繰返しに対する符号化品質パラメーター値であり、Δｓｉｍｉｌａｒｉｔｙは、公式ｆ２に見られるとおりで、ｓｔｅｐ_{ｎｕｍＩｔｅｒ}は、ルックアップテーブルから取得したステップ幅であって、繰返しカウントに応じて減少し、Ｃ_１はある定数で、恐らく２００であり、また、

（公式ｆ２）
であり、式中、ｃｕｒｒＳｉｍｉｌａｒｉｔｙは、最後の繰返しで作成された画像で評価された類似性であり、ＴｈｒｅｓｈｏｌｄＳｉｍｉｌａｒｉｔｙは、目標とする類似性尺度であり、Δｓｉｍｉｌａｒｉｔｙはそれらの間の差異である。

Ｈ．２６４エンコーダー４０は、暫定符号化品質パラメーターを用いて符号化プロセスを構成するための暫定符号化品質パラメーターの受信（ブロック３３０）、および入力画像（ＪＰＥＧデコーダー２２によって生成されたとおり）の復号表現を符号化するための符号化品質パラメーターにより構成された再符号化プロセスの開始に応答し得、その再符号化プロセスはイントラ画像予測ステップを含み、暫定出力画像を生じる（ブロック３４０）。

いくつかの実施形態では、一例として、Ｈ．２６４エンコーダー４０は、統合デコーダー４５を含み得、従って、そのエンコーダーは、暫定出力画像を復号する（ブロック３５０）ように構成され得る。いくつかの実施形態では、暫定出力画像に対応する、復号されたＨ．２６４ビットストリームは、ＹＣｂＣｒからのフォーマット変換モジュール６０によって、出力画像のＹＣｂＣｒ表現からＲＡＷへのフォーマット変換を受け得る。フォーマット変換モジュール６０は、動作可能なように評価モジュール３２に接続され得、復号およびフォーマット変換されたビットストリームを入力として評価モジュール３２に供給し得る（ブロック３６０）。

評価モジュール３２は、Ｈ．２６４エンコーダー４０によって生成された暫定出力画像が検索終了基準を満足する（ブロック３７０）か否かを判断するために、検索プロセスの現在の繰返しの結果を評価し得る。本発明のいくつかの実施形態によれば、終了基準は、暫定出力画像と入力画像との間の類似性に少なくとも関連し得る。例えば、検索終了基準の実施の一部として、評価モジュール３２は、現在の暫定出力画像と入力画像との間の類似性の定量的尺度を計算し得る。例として、評価モジュール３２は、現在の暫定出力画像と入力画像との間の類似性を表すＳＳＩＭ値を計算し得る。さらに例として、評価モジュール３２は、以下のパラメーターをもつＳＳＩＭ値を計算し得る：つまり、シグマ＝１．５の１１×１１ガウシアンフィルター、およびＳＳＩＭ定数のデフォルト値−［０．０１，０．０３］。

さらに例として、評価モジュール３２は、例えば、滑らかな領域において、取得した値を二乗することにより、ＳＳＩＭ品質尺度にペナルティを科し得る。さらにまた別の例として、滑らかな領域は、元の画像で局所的画像変動を計算し、その変動が閾値未満の領域を滑らかと分類することによって識別され得る。さらに例として、評価モジュール３２は、［０，２５５］のダイナミックレンジが１０までの画像に対して変動閾値を設定し得る。

さらに例として、評価モジュール３２は、局所的ＳＳＩＭスコア全てを平均化する代わりに、最小ＳＳＩＭをもつ領域に対して平均化が実行されている、修正されたＳＳＩＭ品質尺度を、例えば、５％の最小外れ値を捨てて、次の１０％の最小スコアを平均化することにより、計算し得る。別の実施形態では、評価モジュール３２は、恐らくは入力画像の解像度に基づいて、画像をブロックに分割し得、評価モジュール３２は、各ブロックについて別々にＳＳＩＭスコアを計算し得、その後、全体の品質スコアを最小ブロックＳＳＩＭ値、ブロックＳＳＩＭ値のＲＭＳ（二乗平均平方根）または最小ブロックＳＳＩＭ値とブロックＳＳＩＭ値の平均との間の平均値として計算し得る。例として、３２×３２ブロック分割が、０．２５メガピクセル未満の画像に対して実施され、６４×６４ブロック分割が、０．２５メガピクセル〜１メガピクセルの間の画像に対して実施され、１２８×１２８ブロック分割が、１メガピクセルを超える画像に対して実施される。

さらに例として、評価モジュール３２は、ＳＳＩＭ品質尺度の計算を、画像全体について実行する代わりに、第１画像のピクセルの選択した部分および第２画像の対応するピクセルについて実行することにより適合し得る。さらに例として、評価モジュール３２は、対応する選択したピクセル間の差異を、それらの平均値を計算することにより、単一の差分値に結合し得る。さらに例として、評価モジュール３２は、対応する選択したピクセル間の差異を、それらのＲＭＳ（二乗平均平方根）を計算することにより、単一の差分値に結合し得る。さらに例として、評価モジュール３２は、選択したピクセルの位置を画像領域に渡って均等に分散し得る。さらに例として、評価モジュール３２は、選択したピクセルの位置をランダムに選択し得る。さらに例として、評価モジュール３２は、画像を実質的に均等な長方形領域に分割し、測定用のピクセルの相対部分を、各長方形領域からランダムに選択し得る。

構造的類似性（ＳＳＩＭ）指標方法についての詳細は、出版物［６］に記載されており、また、画像間の類似性を測定するためのＳＳＩＭの信頼性の比較分析については出版物［７］に記載されている。出版物［６］は、その内容全体が本明細書に組み込まれる。

いくつかの実施形態では、検索終了基準は、最適化基準を含み得る。別の実施形態では、最適化基準に従い、暫定出力画像が、出力画像と入力画像との間の類似性（または差異）および離散的出力画像のサイズ縮小を最適化する場合に、評価モジュール３２は、符号化品質パラメーター検索を終了するように構成され得る。

別の実施形態では、例として、最適化基準は収束基準を考慮に入れ得、最適な出力画像は、その収束基準に従って、検索の現在の繰返しでの出力画像サイズの、１つまたは複数の以前の繰返しでの出力画像サイズとの比較による差異にも関連する。さらに例として、評価モジュール３２によって実施される収束基準は、１つまたは複数の以前の暫定符号化品質パラメーターに関連するサイズ縮小と比較した現在の暫定符号化品質パラメーターに関連するサイズ縮小の観点から、改善率に関連する。さらに別の実施形態では、符号化品質パラメーターの検索は、出力画像と入力画像との間の最小類似閾値によって（または最大差分閾値によって）制約され得る。

いくつかの実施形態によれば、現在の暫定出力画像が検索終了基準を満足すると判断される場合、類似性評価モジュール３２は、Ｈ．２６４エンコーダー４０に、現在の暫定出力画像に対応するＨ．２６４ビットストリームを再符号化プロセスの出力として提供するように指示し得る（ブロック３８０）。

前述の説明では、符号化品質パラメーターに対する提案した検索が、複数の再符号化暫定出力画像の各１つに関して実施される。ここで、符号化品質パラメーターの検索プロセスの代替実施態様が提供されるが、それは、本発明のいくつかの実施形態により、画像のセグメント化およびその画像のセグメント（および、恐らくは各セグメント）での符号化品質パラメーターの実施に基づく。

いくつかの実施形態では、現在の暫定出力画像が検索終了基準を満足しないと判断される場合、類似性評価モジュール３２は、調整した暫定符号化品質パラメーターを用いて入力画像の再圧縮を繰り返した（ブロック３１０〜３７０）後、結果として生じた暫定圧縮出力画像と入力画像との間の類似性を評価するように構成され得る。暫定符号化品質パラメーターの調整および調整した暫定パラメーターを用いた入力画像の再圧縮の評価は、暫定圧縮出力画像と入力画像との間の類似性が類似性基準を満足するまで繰り返され得る。

いくつかの実施形態では、符号化品質パラメーターの検索を含む、符号化品質パラメーター評価プロセスは、符号化プロセスと統合され得る。エンコーダー統合品質評価プロセスの一部として、符号化されている画像の一部について符号化品質が評価され得、画像の評価された部分に対して局所的符号化品質パラメーターを適合させるために、目標とする定量的類似性尺度からの距離が使用され得る。別の実施形態によれば、符号化プロセスの一部として、各画像がセグメント化され得、各セグメントに対して符号化品質が評価され得、そして、符号化セグメントが目標（例えば、目標とする定量的類似性尺度）を満足していない場合は、符号化プロセスの追加の繰返しが、各セグメントに関して更新した符号化品質パラメーターを用いて開始され得る。さらに例として、符号化プロセスの追加の繰返しが、符号化品質が目標とする閾値を著しく上回っている符号化セグメントに対して開始され得、従って、目標とする閾値を超えることなく各セグメントをさらに圧縮することができ得る。さらに例として、画像が、実質的に同じサイズの長方形のブロックにセグメント化され得、そのブロックサイズは入力画像の解像度によって決まり得る。さらに例として、画像が（例えば、入力画像のテクスチャまたはエッジに基づき）関心領域にセグメント化され得、その場合、各領域のブロックのサブセットのみが符号化品質パラメーターに対して評価されて、その領域の残りのブロックに対する符号化品質パラメーターは、ブロックのサブセットでの符号化品質パラメーターと同じ値に設定される。

別の実施形態では、符号化品質評価モジュールは、セグメント毎の検索プロセス中に見つかった定数の（画像全体に対して）符号化品質パラメーターを用いて画像全体を符号化するため、画像についてイントラ予測エンコーダーの追加パスを開始するように構成され得る。画像全体の符号化に使用され得る定数の符号化品質パラメーターは、次の、限定されず、包括的でないリストからの１つまたは複数に対応し得る：つまり、平均符号化品質パラメーター、または検索アルゴリズムが収束された最終値である。

符号化品質パラメーターの初期化および適合が、基本的に前述と同じ方法で、または反復符号化品質検索プロセスに全般的に関連して後述する方法で実行される。しかし、いくつかの実施形態によれば、セグメント検索は、１マクロブロック毎またはＮマクロブロック毎（ここで、Ｎは、固定値である得るか、または、例えば、画像幅もしくは画像全体サイズに従って設定され得る）など、画像符号化における所定の評価ポイントでより頻繁に実行され得、そして、例えば、ＱＰ適応アルゴリズム（本明細書では反復符号化品質パラメーター検索プロセスとも呼ぶ）の収束率に従って変更され得ることを理解されたい。また、いくつかの実施形態では、品質パラメーターコントローラーは、イントラ予測エンコーダーと完全に統合され得、符号化品質評価プロセスは、画像符号化プロセスの一部として直接実施され得ることも理解されたい。

反復符号化品質パラメーター検索プロセスに関する本発明の様々な実施態様および実施形態について長々と説明してきたが、ここで、出力画像の符号化に使用される符号化品質パラメーターを決定するか、または決定を容易にするために使用され得る、本発明の追加の実施形態および実施態様について説明する。これら追加の実施形態および実施態様は、符号化品質パラメーター検索プロセスに対する追加または代替として使用され得る。

別の実施形態によれば、品質パラメーターコントローラー３０は、入力画像のある特性に関連するパラメーターにより、符号化品質パラメーター（または暫定符号化品質パラメーター）を提供し得る１つまたは複数のルックアップテーブル（ＬＵＴ）を含み得る。例として、ＬＵＴは、様々なＨ．２６４量子化パラメーター係数（この例では、符号化品質パラメーター）を次の１つまたは複数に従って提供し得る：つまり、ビット／ピクセル、解像度およびＪＰＥＧ品質係数である。例えば、以下の表ｔ１では、所与のＪＰＥＧ品質係数に対して、対応するＨ．２６４量子化パラメーターが提供される：

前述のとおり、前述のルックアップテーブルの提案された実施態様案のいずれも、いくつかの実施形態では、例えば、初期の暫定符号化品質パラメーターを決定するために、符号化品質パラメーター選択のための検索プロセスの一部として、使用され得る。別の実施形態では、前述の実施態様に対する追加または代替として、提案されたルックアップテーブルは、所与の画像に対して検討されるべき符号化品質パラメーターの範囲を決定または絞り込むために使用され得、そして、その符号化品質パラメーターの範囲内から、特定の１つの符号化品質パラメーターが、例えば、反復検索を用いて、選択され得る。以下に、例として、ＬＵＴ（表ｔ２）を示すが、これは、入力画像のビット／ピクセルパラメーターにより、符号化品質パラメーター範囲および推奨ＱＰを提供するＬＵＴの一例である：

別の実施形態では、品質パラメーターコントローラー３０は、公式を用いて符号化品質パラメーター（または、暫定符号化品質パラメーター）を計算するための、１つまたは複数の公式を実施するように構成され得る。いくつかの実施形態によれば、公式は、入力画像のある特性に関連するパラメーターによって、符号化品質パラメーターを提供し得る。例として、公式は、様々なＨ．２６４量子化パラメーター係数を、次の１つまたは複数に従って返し得る：つまり、ビット／ピクセル、解像度およびＪＰＥＧ品質係数である。例えば、以下の公式ｆ３では、所与のＪＰＥＧ品質係数に対して、対応するＨ．２６４量子化パラメーターが提供される：
ＱＦ＜８７に対してＱＰ＝２７；

に対してＱＰ＝ｒｏｕｎｄ（−０．６８１ＱＦ＋８６．４５）；
（公式ｆ３）
式中、ＱＦはＪＰＥＧ品質係数であり、ＱＰはＨ．２６４量子化パラメーターである。

ｆ３はここでは一例として提供されることを理解されたい。その上、前述のとおり、公式は、例えば、初期の暫定符号化品質パラメーターを決定するために、符号化品質パラメーター選択のための検索プロセスの一部として、使用され得る。別の実施形態では、前述の実施態様に対する追加または代替として、公式は、所与の画像に対して検討されるべき符号化品質パラメーターの範囲を決定または絞り込むために使用され得、そして、その符号化品質パラメーターの範囲内から、特定の１つの符号化品質パラメーターが、例えば、反復検索を用いて、選択され得る。

さらに別の実施形態では、品質パラメーターコントローラー３０は、固定の符号化品質パラメーターで事前プログラムされ得る。その固定の符号化品質パラメーターは、最小閾値の定量的類似性を超える類似性を達成しながら、入力画像と比較して、出力画像の実質的なサイズ縮小を達成するのに適し得る。事前プログラムされた固定の符号化品質パラメーターは、事前定義した入力画像モデルまたはプロファイルに従い、かつ、所望のサイズ縮小に関連して事前定義したパラメーターに従って、選択され得る。入力画像モデルまたはプロファイルは、以下のパラメーターの１つまたは複数に対する値を含み得る：つまり、入力画像の定量的品質尺度、入力画像の解像度、入力画像の圧縮レベル、入力画像の品質レベル表示（例えば、ＪＰＥＧ品質値）、入力画像の最小非ゼロＤＣＴ値、入力画像のビット／ピクセル、入力画像のサイズなどである。いくつかの実施形態によれば、固定の符号化品質パラメーターは、約１５〜２５の範囲内の量子化パラメーターに対応し得る。さらにまた別の実施形態では、固定の符号化品質パラメーターは、約１４〜３２の範囲内の量子化パラメーターに対応し得る。量子化および量子化パラメーターの使用については、以下で詳細に説明する。

別の実施形態では、既に高度に圧縮されている入力画像を識別して、それらを再圧縮しないようにするために、予備プロセスが実施され得る。高度に圧縮されている入力画像を再圧縮しようとすると、出力画像ファイルでのわずかなサイズ縮小、および／または出力画像の低い知覚品質という結果になり得ることを理解されたい。いくつかの実施形態では、入力画像は、それが高度に圧縮されているか否かを識別するために分析され得、高度に圧縮されている場合は、符号化プロセスが個別の画像に対して無効にされ得る。別の実施形態では、入力画像が高度に圧縮されているか否かの識別は、逆量子化の後に、入力画像のＤＣＴ係数値を分析して、最小非ゼロＤＣＴ係数を決定することにより実行される。さらに別の実施形態では、最小非ゼロＤＣＴ係数は、閾値と比較される。いくつかの実施形態では、閾値は、再圧縮率が低い（例えば、１０％未満）全ての（または一部の）再圧縮画像を評価し、それらの非ゼロＤＣＴ値の統計値を検査することにより、決定される。例えば、輝度に対する閾値３は、以下のように使用され得る。いくつかの実施形態では、かかる分析は、画像の輝度および色差成分について、別々に実行される。別の実施形態では、最小非ゼロＤＣＴ係数が閾値より大きい場合、符号化プロセスは、その個別の画像に対して実行されない。さらにまた別の実施形態では、閾値は、輝度成分および色差成分で異なっており、最終決定は、輝度および色差成分の閾値の組み合わせによる。前述のとおり、ここでもまた、閾値は、再圧縮率が非常に低い画像におけるＤＣＴ値の統計値を評価することにより、経験的に決定され得る。いくつかの実施形態では、輝度成分の最小非ゼロＤＣＴ成分に対する閾値は３である。別の実施形態では、最小非ゼロＤＣＴ係数が閾値より大きい場合、符号化プロセスは、その個別の画像に対して実行されない。さらにまた別の実施形態では、閾値は、輝度成分および色差成分で異なっており、最終決定は、輝度および色差成分の閾値の組み合わせによる。

図１および図２の説明を続けると、いくつかの実施形態によれば、インタフェース２０は、任意で解像度制御モジュール２４を含み得る。離散的入力画像（図１の場合はＪＰＥＧ画像）を受信すると、解像度制御モジュール２４は、入力画像の解像度に関連するパラメーターを取得する（ブロック２１５）ように構成され得る。例えば、解像度制御モジュール２４は、入力画像の解像度を、離散的入力画像の一部として保管されているか、またはそれに関連して含められている特定のメタデータから取り出すように構成され得る。ＪＰＥＧ入力画像１２（および他のサポートフォーマット）の場合、解像度情報は通常、ＪＰＥＧ入力画像内に埋め込まれているＥｘｉｆ（ｅｘｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）メタデータから入手可能である。入力画像の解像度は、第１画素数に対する第２画素数によって示され得る。別の実施形態では、インタフェース２０は、入力画像に関連する追加のメタデータ情報を取得するように構成され得、これらの情報には、例えば、ビット／ピクセル、画像品質表示（例えば、ＪＰＥＧ品質値）、ファイルサイズなどが含まれるが、これらに限定されない。

いくつかの実施形態によれば、解像度制御モジュール２４は、Ｈ．２６４エンコーダー４０に入力画像解像度パラメーターを提供するように構成され得る。Ｈ．２６４エンコーダー４０は、少なくとも一部は入力画像解像度パラメーターに基づき出力画像の解像度を制御する（ブロック２３５）ように構成され得る。いくつかの実施形態では、Ｈ．２６４エンコーダー４０は、入力画像の解像度と実質的に等しい解像度を有する画像を出力として提供するように構成され得る。

いくつかの実施形態では、Ｈ．２６４エンコーダー４０は、出力画像を（入力画像の行および列解像度と比較して）１またはかなり小さい数の画素行および／もしくは画素列でパディングするように構成され得るか、かつ／または、Ｈ．２６４エンコーダー４０は、出力画像から（入力画像の行および列解像度と比較して）１またはかなり小さい数の画素行および／もしくは画素列を取り去るように構成され得る（この操作は、時々、画像の「トリミング」と呼ばれる）。別の実施形態では、イントラ予測エンコーダー４０は、入力画像解像度パラメーターにより、出力画像のパディング（またはトリミング）が必要か否か、ならびにパディングする行および／もしくは列（または取り去る行および／もしくは列）の数を判断し得る。

当技術分野に精通した者には、Ｈ．２６４規格に従って、偶数にするために（画素数は、行および列で必ずしも等しい必要はないが）その画素行および列の数が必要であることが、理解されるであろう。いくつかの実施形態によれば、奇数の画素行および／または奇数の画素列を有する入力画像の場合、イントラ予測エンコーダー４０は、出力画像での画素行および列の数が偶数になるように、画素行および／または画素列の追加または削除を行い得る。

別の実施形態では、イントラ予測エンコーダー４０は、出力画像の解像度を決定するように別の方法で構成され得、出力画像の解像度を入力画像の解像度とかなり異なる数に設定し得る。出力画像の解像度は、少なくとも一部は、入力画像の解像度と関連し得るが、入力画像の解像度とかなり異なり得る。さらに別の実施形態では、イントラ予測エンコーダー４０は、出力画像の解像度を、入力画像の解像度とは無関係に設定するように構成され得る。例えば、出力画像の解像度は、ユーザーにより手動で設定され得るか、またはストレージシステムの要件もしくはシステム１０が関連するソフトウェアアプリケーションの要件に従って、自動的に構成され得る。

いくつかの実施形態では、Ｈ．２６４エンコーダー４０は、出力画像を複数（２つ以上）のサブ画像に分割するように構成され得、サブ画像の各々の解像度は、Ｈ．２６４規格でサポートされる最大解像度以下である。さらに別の実施形態では、Ｈ．２６４エンコーダー４０は、出力画像を長方形領域に分割することによってサブ画像を作成し得る。サブ画像の各々に関連付けられた領域の順序は、サブ画像の事前定義した順序によって示され得るか、またはサブ画像内に指定され得るか、またはサブ画像に関連して指定され得る。例えば、各サブ画像の座標または列行位置を示すメタタグが、エンコーダーにより、各サブ画像に埋め込まれ得る。さらに別の実施形態では、サブ画像は、単一のＨ．２６４ストリーム内の別個のフレームとして、単一のＭＰ４ファイル内の別個のＨ．２６４トラックとして、または別個のＨ．２６４ファイルとして格納され得る。サブ画像は、元の出力画像を再作成するためにデコーダーによって再構築され得る。いくつかの実施形態では、複数のサブ画像の結合は、各サブ画像内に埋め込まれているか、もしくは各サブ画像に関連付けられている順序付け情報によるか、または事前定義した順序スキームによる、サブ画像の順序付けを伴い得る。

さらに別の実施形態では、サブ画像は、出力画像のダウンサンプリング、例えば、出力画像でＮ個毎に１個の画素を選択してＮ個の画像に分割することにより作成され得る。ダウンサンプリングされたサブ画像は、単一のＨ．２６４ストリーム内の別個のフレームとして、単一のＭＰ４ファイル内の別個のＨ．２６４トラックとして、または別個のＨ．２６４ファイルとして格納され得る。元の出力画像でダウンサンプリングされた画像での画素位置は、事前定義したダウンサンプリングスキームに従って決定され得るか、またはサブ画像内に指定されるかもしくは関連付けられ得る。例えば、各サブ画像の元の出力画像のエッジに対するピクセル単位のオフセットを示すメタタグが、エンコーダーによって各サブ画像に埋め込まれ得る。元の出力画像を再構築するために、デコーダーはダウンサンプリングされた画像のピクセルを読み取り、（元の出力画像と同じサイズをもつ）出力画像を再構築するために、それら（ピクセル）が元の出力画像で配置されていた位置に、それらを書き込む。

当技術分野に精通した者には、Ｈ．２６４フォーマットでサポートされる画像の最大解像度が（例えば、９．４メガピクセルに）制限されることを理解されるであろう。いくつかの実施形態によれば、Ｈ．２６４フォーマットでサポートされる最大解像度を超える解像度を有する入力画像の場合、イントラ予測エンコーダー４０は、出力画像を、解像度がＨ．２６４フォーマットでサポートされる最大解像度以下である２つ以上のサブ画像に分割し得る。

ここで、図４を参照すると、これは、本発明のいくつかの実施形態による、図１のシステムをさらに詳細に示すブロック図である。前述のとおり、本発明のいくつかの実施形態では、イントラ予測エンコーダーは、Ｈ．２６４（またはＭＰＥＧ−４ ｐａｒｔ １０）エンコーダー４４０であり得る。いくつかの実施形態よれば、Ｈ．２６４エンコーダー４４０は、システム４００で受信した入力画像（または入力画像の表現）の再符号化の開始および再符号化された再圧縮出力画像の提供のため、品質パラメーターコントローラー３０からの（暫定符号化品質パラメーターを含む）符号化品質パラメーターの受信に応答し得る。

前述のとおり、Ｈ．２６４エンコーダー４４０で実施される再符号化プロセスは、品質パラメーターコントローラー３０によって提供された符号化品質パラメーターに従って構成される。また、前述したように、Ｈ．２６４エンコーダー４４０で実施される再符号化プロセスは、イントラ画像予測ステップを含む。ここで、Ｈ．２６４エンコーダー４４０で実施され得る再符号化プロセスの一可能な実施態様例が提供される。

品質パラメーターコントローラー３０から受信した符号化品質パラメーターに加えて、Ｈ．２６４エンコーダー４４０は、再符号化される入力画像（またはその表現）を受信し得る。例えば、Ｈ．２６４エンコーダー４４０は、ＪＰＥＧデコーダー２２からの入力画像を、その入力画像のＲＡＷフォーマット表現として受信し得る。

いくつかの実施形態では、ＪＰＥＧデコーダー２２は、入力ＪＰＥＧ画像を、その入力画像のＲＡＷフォーマット表現に復号し得る。画像処理システム４１０は、ＪＰＥＧデコーダー２２によって提供されたＲＡＷフォーマット表現をＹＣｂＣｒフォーマット表現に変換するように構成され得る、ＹＣｂＣｒへのフォーマット変換モジュール４４１を含み得る。さらに別の実施形態によれば、ＹＣｂＣｒへのフォーマット変換モジュール４４１は、Ｃｂ成分およびＣｒ成分の空間分解能を修正するようにも構成され得る。例として、ＹＣｂＣｒへのフォーマット変換モジュール４４１は、Ｃｂ成分およびＣｒ成分の空間分解能を水平および垂直方向に２の倍数で縮小するために、４：２：０の色差サンプリングスキームを実施し得る。他の色差サンプリングスキームが、本発明の別の実施形態の一部として使用され得ることが理解されるであろう。ＪＰＥＧビットストリームのＹＣｂＣｒへのフォーマット変換は、標準ＪＰＥＧ復号に欠かせないプロセスであり、従って、ＹＣｂＣｒへのフォーマット変換モジュールは任意選択で、ＹＣｂＣｒ表現がＪＰＥＧデコーダーから直接取得され得ることが理解されよう。

Ｈ．２６４エンコーダー４４０は、Ｈ．２６４イントラ予測機能を有効にし、インター予測機能を無効にするように構成され得る。Ｈ．２６４エンコーダー４４０は、ダウンサンプリングされたＹＣｂＣｒ値をイントラ画像予測モジュール４４２への入力として提供し得る。いくつかの実施形態によれば、イントラ画像予測モジュール４４２は、入力画像の変換表現を複数のマクロブロックに分割するように構成され得る。Ｈ．２６４の場合、マクロブロック分割は、規格によって定められる。Ｈ．２６４規格によれば、入力画像の変換表現は、１６×１６マクロブロックに分割される。

しかし、本発明の別の実施形態では、イントラ予測エンコーダーによって実施されるマクロブロック分割方法は、標準的Ｈ．２６４分割方法から離れ得るか、または異なり得る。例えば、イントラ画像エンコーダーは、Ｈ．２６４規格のイントラ予測と同様であるが８×８ブロックに適合されている概念を使用するイントラ予測で、ＪＰＥＧ画像を８×８ブロックに分割するように構成され得る。例として、この構成は、適切なエンコーダー（Ｈ．２６４規格に準拠していない）によって達成され得る。

図４の説明を続けると、イントラ画像予測モジュール４４２は、入力画像の変換表現内の１つまたは複数の１６×１６マクロブロックを、現在のマクロブロックを囲むマクロブロックの隣接するサンプルから予測するように構成され得る。Ｈ．２６４規格によれば、１６×１６マクロブロックが、予測されるブロックの左側および／または上側にある既に符号化されたマクロブロックの隣接するサンプルから予測できる。さらにＨ．２６４規格によれば、予測がブロック全体について実行され得るか、または予測が各４×４ブロックについて別々に実行され得る。

他のブロックサイズの分割スキームを実施および使用し、異なるパターンに従ってブロックまたはサブブロックを予測する（例えば、現在のマクロブロック／ブロックの左側または上側にあるマクロブロック／ブロックからの予測に限定されない）イントラ予測エンコーダーの考案および実施が可能であることが理解されよう。

いくつかの実施形態によれば、イントラブロック予測に基づいてイントラ予測画像が決定され得、Ｈ．２６４エンコーダー４４０の一部として実施されている、残差計算モジュール４４３が、イントラ予測画像および入力画像（またはエンコーダーで受信された入力画像の表現）に基づいて残差画像を計算するように構成され得る。

ここで図５を参照すると、これは、本発明のいくつかの実施形態による、離散的入力画像を再符号化プロセスの一部として実施されるＨ．２６４規格イントラ画像予測および残差画像計算プロセスの特定態様を説明する一連の画像である。図５では、元の画像５１０、イントラ予測画像５２０および残差画像５３０が、本発明のいくつかの実施形態の一部として示されている。

元の画像５１０は、再圧縮のためにシステムへの入力として提供された離散的ＪＰＥＧ入力画像である。イントラ予測画像５２０は、隣接するマクロブロックからマクロブロックまたはサブブロックを予測する（この場合は、Ｈ．２６４規格イントラ画像予測に従って）ことにより入力画像５１０から生成された画像データの表現である。元の入力画像５１０からイントラ予測画像５２０を取り去ることにより、結果の、「差分」または残差画像５１０が生成される。理解できるように、予測の高精度により、特に高解像度画像に関して、イントラ予測画像５２０は、元の入力画像５１０と極めて良く似ており、それ故、残差画像５３０は比較的サイズがコンパクトである。

図４の説明を続けると、予測および残差画像計算に続いて、Ｈ．２６４エンコーダー４４０内に実施されている整数変換モジュール４４４は、残差画像のピクセルの各４×４ブロックの各色成分を周波数領域に変換するために利用される。いくつかの実施形態によれば、Ｈ．２６４規格に従って、整数変換モジュール４４４が、整数変換を実施するように構成され得る。他の変換技術を実施および使用するイントラ予測エンコーダーの考案および実施が可能であることが理解されよう。

変換された残差画像はその後、Ｈ．２６４エンコーダー４４０の一部として統合されている量子化モジュール４４６に渡される。本発明のいくつかの実施形態によれば、量子化モジュール４４６は、品質パラメーターコントローラー３０によって提供された符号化品質パラメーターに従い、Ｈ．２６４エンコーダー４４０によって構成され得る。いくつかの実施形態によれば、Ｈ．２６４エンコーダー４４０は、品質パラメーターコントローラー３０によって提供された符号化品質パラメーターに従い、量子化モジュール４４６によって使用される量子化パラメーター指標値を構成し得る。従って、量子化モジュール４４６は、品質パラメーターコントローラー３０によって提供された符号化品質パラメーターに従い、残差データを量子化するように構成され得る。

量子化周波数領域表現行列が、エントロピー符号化モジュール４４８に供給され得る。エントロピー符号化モジュール４４８は、量子化変換係数を順序付けるよう構成され得る。例えば、量子化変換係数の行列について、ジグザグ走査が実行され得る。一度順序付けられると、エントロピー符号化モジュール４４８は、エントロピー符号化を実行するように構成され得る。例として、エントロピー符号化モジュール４４８は、Ｈ．２６４規格によって規定されるエントロピー符号化技術の１つを実施するように構成され得る：つまり、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）またはコンテキスト適応型２進算術符号化（ＣＡＢＡＣ）である。

いくつかの実施形態によれば、Ｈ．２６４エンコーダー４４０によって生成された出力画像の符号化ビットストリーム表現は、離散的入力画像に関して知覚的に可逆な再圧縮された離散的出力画像を提供するために使用され得る。

いくつかの実施形態によれば、Ｈ．２６４エンコーダー４４０は、バッファー４５１を含み得る。バッファー４５１は、揮発性記憶装置または不揮発性記憶装置を含み得、大体は、符号化Ｈ．２６４ビットストリームの一時的な保管のために利用され得る。例として、バッファー４５１は、符号化品質パラメーターの反復検索の一部として生成される暫定出力画像の符号化ビットストリーム表現をＨ．２６４エンコーダー４４０内に一時的に保管するために使用され得る。いくつかの実施形態では、符号化品質パラメーター検索プロセスの各繰返しで、バッファー４５１が更新され得、現在の暫定出力画像の符号化ビットストリーム表現がその中に保管され得る。恐らく、検索プロセスの各繰返しで、以前の暫定出力画像が、現在の暫定出力画像を表現する符号化ビットストリームで上書きされ得る。別の実施形態では、検索終了基準が満足されたという指示が（例えば、品質評価モジュール３２から）受信されると、Ｈ．２６４エンコーダー４４０は、現在の暫定出力画像の符号化ビットストリーム表現（満足される検索終了基準となる）をバッファー４５１から引出し得る。Ｈ．２６４エンコーダー４４０は、その後、引き出された符号化ビットストリーム表現を離散的出力画像として提供し得る。

前述のとおり、いくつかの実施形態によれば、Ｈ．２６４エンコーダー４４０は、出力として、出力画像の（エントロピー符号化の後）符号化ビットストリーム表現を提供し得る。別の実施形態では、出力画像の符号化ビットストリーム表現は、ソースの入力画像と関連して、出力画像の表現として格納される。入力画像と出力画像のビットストリーム表現との間の関連は、様々な方法および技術を用いて維持され得る。一例では、入力画像もしくは入力画像の識別子と実質的に一意に関連付けられた実質的に一意のＧＵＩＤ文字列またはハッシュ値、およびＧＵＩＤ文字列またはハッシュ値が、出力画像のビットストリーム表現に関連して順序付けられ得る。

いくつかの実施形態によれば、出力画像を引き出す依頼を受信すると、例えば、入力画像の識別子を参照することにより、出力画像のビットストリーム表現がパッキングおよび形成プロセスを経て、離散的出力画像のファイルが返され得る。いくつかの実施形態では、そのファイルはＨ．２６４規格に準拠し得る。別の実施形態では、そのファイルは、ＪＰＥＧ規格に準拠し得る。Ｈ．２６４符号化ビットストリームのＨ．２６４互換ファイルへのパッキング、およびＨ．２６４符号化ビットストリームのＪＰＥＧ互換ファイルへのパッキングについて、以下で詳細に説明する。

別の実施形態によれば、Ｈ．２６４ファイルまたはＨ．２６４規格に準拠した他のフォーマットの他のファイルとしての再符号化画像のパッキングは、再符号化プロセスの不可欠な部分であり得、Ｈ．２６４エンコーダー４４０は、出力としてＨ．２６４互換ファイルを提供し得る。

いくつかの実施形態によれば、Ｈ．２６４エンコーダー４４０は、ビットストリームパッキングモジュール４４９を含み得る。ビットストリームパッキングモジュール４４９は、入力として、エントロピー符号化モジュール４４８によって提供された符号化ビットストリームを受信するように構成される。ビットストリームパッキングモジュール４４９は、符号化ビットストリームをＨ．２６４互換ファイルにパックし得る。いくつかの実施形態では、ビットストリームパッキングモジュール４４９は、再符号化された離散的出力画像の様々なパラメーターおよび／またはプロパティに関連する、特定のメタデータ情報および／またはヘッダーを追加するように構成され得る。例として、ビットストリームパッキングモジュール４４９は、出力画像の解像度、出力画像のファイル拡張子などに関する情報を追加するように構成され得る。別の実施形態によれば、ビットストリームパッキングモジュール４４９は、符号化ビットストリームに、入力画像の属性またはメタデータに関連する特定メタデータ（このデータも出力画像に関連し得る）を追加するように構成され得る。例えば、ビットストリームパッキングモジュール４４９は、入力画像の元の解像度（例えば、パディング、トリミング前の解像度）、入力画像のビット／ピクセル値、入力画像の品質係数などに関するメタデータを追加するように構成され得る。

複数のファイルフォーマットがサポートし、次のファイルフォーマットおよびファイル拡張子を含むが、それらに限定されることなく、Ｈ．２６４ビットストリームと互換性があることが理解されよう：つまり、ＭＰＥＧ−４（．ｍｐ４）、Ａｕｄｉｏ／Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅｄ（．ａｖｉ）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（．ｗｍｖ）、Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ（．ａｓｆ）、Ａｐｐｌｅ ＱｕｉｃｋＴｉｍｅ（．ｍｏｖ）、Ａｄｏｂｅ Ｆｌａｓｈ（．ｆｌｖ）である。

パックＨ．２６４互換ファイルは、画像処理システム４１０の出力として提供され得る。本発明のいくつかの実施形態によれば、再符号化および再圧縮された出力画像がＨ．２６４互換ファイルとして提供されるため、その出力画像は任意のＨ．２６４互換デコーダーによって復号できることが理解されよう。今日、広く使用されている人気のあるソフトウェアアプリケーションには、Ｈ．２６４互換デコーダーまたは（例えば、適切なソフトウェアまたはプラグイン拡張を介した）Ｈ．２６４サポートが組み込まれており、それ故、いかなる修正または追加のソフトウェアなしで、再符号化および再圧縮された出力画像を表示できることがさらに理解されよう。例として、Ｈ．２６４互換デコーダーを組み込んでいるソフトウェアアプリケーションには、次が含まれ得る：つまり、Ａｐｐｌｅ Ｉｎｃ．（米国カリフォルニア州クパチーノ）によるＡｐｐｌｅ Ｑｕｉｃｋ−ｔｉｍｅマルチメディアフレームワークおよびＳａｆａｒｉウェブブラウザー、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ（米国ワシントン州レッドモンド）によるＩｎｔｅｒｎｅｔ ＥｘｐｌｏｒｅｒウェブブラウザーおよびＭｅｄｉａ Ｐｌａｙｅｒマルチメディアフレームワーク、Ａｄｏｂｅ Ｓｙｓｔｅｍｓ Ｉｎｃ．（米国カリフォルニア州サンノゼ）によるＡｄｏｂｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、Ａｍｅｒｉｃａ Ｏｎｌｉｎｅ ＬＬＣ（米国ニューヨーク州ニューヨーク市）によるＷｉｍＡｍｐおよびＭｏｚｉｌｌａ Ｃｏｒｐｏｒａｔｉｏｎ（米国カリフォルニア州マウンテンビュー）によるＦｉｒｅＦｏｘウェブブラウザーである。

本発明の考案者は、Ｈ．２６４再符号化プロセスの構成のために適切な量子化パラメーターを使用すると、離散的ＪＰＥＧ入力画像に基づいている符号化Ｈ．２６４ビットストリームの生成、およびそのＨ．２６４ビットストリームに基づき、離散的ＪＰＥＧ入力画像に比べて知覚的に可逆（または知覚的に同一）な離散的出力画像の（例えば、Ｈ．２６４互換ファイルを介した）提供が可能であり、そして、離散的出力画像は、離散的ＪＰＥＧ入力画像に比べて実質的に縮小されたフットプリントによってさらに特徴付けられることが分かった。

ここで、入力ＪＰＥＧ画像の再圧縮および再符号化のための本発明のいくつかの実施形態により、システムを利用して達成され得る効果の一部のリストを提供する。以下のリストは、完全に網羅されておらず、拘束力がないこと、および本発明の別の実施形態で、以下の１つもしくは複数を達成しうるか、またはそのいずれも達成し得ず、以下に挙げられていない考えられる他の利点が、本発明の特定の実施形態を通じて達成され得ることが理解されよう：

ユーザーが自分の写真をオンライン写真共有サイトにより速くアップロードできるようにする。

ユーザーが写真をウェブ（例えば、オンライン写真共有サイト）からより速くダウンロードできるようにする。

オンライン情報源（例えば、写真共有サイト）によって使用される帯域幅量を削減する。

ユーザーがもっと多くの写真を自分の電子メールメッセージに添付できるようにする（現在のところ、場合によっては最大メッセージサイズ制限のために、ユーザーは通常、２~３のフル解像度の写真のみの添付に制限される）。

ユーザー間で送信される電子メールのサイズを削減し、その結果として、インターネット上の様々なノードにおける電子メールのトラフィック量を削減する。

ウェブページのロード時間を削減する。

ウェブサイトによって使用される帯域幅を削減する。

カメラのメモリーカード上、または任意の他の記憶装置、特に携帯型記憶装置上に保管できる写真の数を増加する。

写真をカメラからユーザーのＰＣに転送するのに必要な時間を削減する。

ユーザーの写真のバックアップに必要な時間を削減する。

ユーザーの写真をオンラインフォトおよびアルバムプリントサービスに転送するのに必要な時間を削減する。

本発明のいくつかの実施形態によれば、システム４１０は、ＪＰＥＧエンコーダー（図示せず）をさらに含み得る。別の実施形態では、ＪＰＥＧエンコーダーは、Ｈ．２６４エンコーダー４４０に動作可能なように接続され得、Ｈ．２６４エンコーダー４４０は、ＪＰＥＧエンコーダーに離散的出力画像を表すＲＡＷフォーマットビットストリームを供給するように構成され得る。前述のとおり、Ｈ．２６４エンコーダー４４０は、統合デコーダー４５を含み、従って、エンコーダー４４０は、復号されたＲＡＷフォーマットビットストリームを出力として提供することができ得る。

いくつかの実施形態によれば、ＪＰＥＧエンコーダーは、離散的出力画像のｒａｗフォーマット表現を受信し得る。ＪＰＥＧエンコーダーは、ＪＰＥＧ符号化プロセスの実施のため、離散的出力画像に相当するｒａｗデータの受信に対応し得、それ自体公知であるが、それにより、離散的出力画像を表す符号化Ｈ．２６４ビットストリームのＪＰＥＧフォーマット表現を生じる。

本発明の考案者は、Ｈ．２６４再符号化プロセスの構成のために適切な量子化パラメーターを使用すると、符号化Ｈ．２６４ビットストリームの生成が可能であり、それは、元のＪＰＥＧフォーマットに符号化して戻された場合に、離散的ＪＰＥＧ入力画像に比べて知覚的に可逆（または知覚的に同一）な離散的ＪＰＥＧ出力画像を提供し、そして、離散的ＪＰＥＧ出力画像は、離散的ＪＰＥＧ入力画像に比べて実質的に縮小されたフットプリントによってさらに特徴付けられることが分かった。

図１〜図５に示す実施形態および本明細書で提供されている説明で、ＪＰＥＧ画像の再圧縮について言及されている。図１〜図５および本明細書での説明では、提案されたシステムの一実施態様例を提供することを理解されたい。本発明の別の実施形態がＪＰＥＧ画像の再圧縮に限定されず、図１〜図５に示すシステムに類似したシステムが、ＪＰＥＧ以外のフォーマット、および、特に、素ブロックの独立符号化を利用する圧縮フォーマットを用いて符号化された入力画像を再圧縮するため、当技術分野に精通した者によって容易に考案され得ることをさらに理解されたい。

その上、図１〜図５に示すいくつかの実施形態および本明細書で提供されている説明で、Ｈ．２６４エンコーダーを使用する離散的入力画像の再圧縮について言及されている。図１〜図５および本明細書で提供されている説明では、提案されたシステムの一実施態様例を提供することを理解されたい。本発明の別の実施形態がＨ．２６４フォーマット（または、ＭＰＥＧ−４ ｐａｒｔ １０フォーマット）を使用する離散的入力画像の再圧縮に限定されず、図１〜図５に示すシステムに類似したシステムが、Ｈ．２６４以外のフォーマット、および、特に、イントラ画像予測および制御可能な量子化プロセスを利用する圧縮フォーマットに基づくイントラ予測エンコーダーを用いて入力画像を再圧縮するため、当技術分野に精通した者によって容易に考案され得ることをさらに理解されたい。

本発明のさらに別の態様によれば、離散的入力画像を縮小サイズの離散的出力画像に処理するためのシステムは、インタフェース、品質パラメーターコントローラーおよびエンコーダーを含み得、そのインタフェースは、ウェーブレット変換を利用する圧縮フォーマットによって圧縮された離散的入力画像を受信するように構成され得る。品質コントローラーは、離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、そのパラメーターは、出力画像と入力画像との間の目標とする定量的類似性尺度に関連している。エンコーダーは、符号化品質パラメーターに従って実施されているイントラ画像予測を用いて、入力画像を再符号化するように構成されている。

ここで図６を参照すると、これは、本発明のいくつかの実施形態による、ＪＰＥＧ ２０００画像の処理に適した画像処理システムのブロック図である。図６に示すシステム６１０は、図４に示すシステムといくつか類似したコンポーネントを共有する。ＪＰＥＧ入力画像に関して実施される再符号化プロセス（図４に関して前述）は、ＪＰＥＧ ２０００など、ウェーブレット変換を利用する圧縮フォーマットを用いて符号化された離散的入力画像に関して同様の方法で実施され得ることを理解されたい。

図６に示すように、本発明のいくつかの実施形態によれば、離散的ＪＰＥＧ ２０００入力画像は、画像処理システム６１０で受信され得る。ＪＰＥＧ ２０００入力画像は、処理システム６１０のインタフェース６２０コンポーネントを介して受信され得る。インタフェース６２０は、離散的入力画像をＲＡＷ画像フォーマットまたは事前定義した可逆画像フォーマットに復号するように構成されるＪＰＥＧ ２０００デコーダー６２２を含み得る。一旦、ＲＡＷフォーマットに変換されると、画像データは、品質パラメーターコントローラー３０、および図１〜図５に関して前述したのと同様の方法で処理されるイントラ予測エンコーダー４０に供給できる。当技術分野に精通した者には、ＲＡＷ画像データを処理する場合、ＲＡＷ画像が生成された元の符号化フォーマットは、実際には重要でないことを理解されたい。

いくつかの実施形態によれば、図６に示す画像処理システム６１０は、出力として、出力画像の（エントロピー符号化の後）符号化ビットストリーム表現、入力画像の符号化ビットストリーム表現を含むＨ．２６４互換ファイル、および出力画像のＨ．２６４のＲＡＷデータ表現に基づいて（または出力画像の符号化ビットストリーム表現に基づいて）符号化されるＪＰＥＧ ２０００画像ファイルを提供し得る。

本発明の考案者は、Ｈ．２６４再符号化プロセスの構成のために適切な量子化パラメーターを使用すると、離散的ＪＰＥＧ ２０００入力画像に基づいている符号化Ｈ．２６４ビットストリームの生成、およびそのＨ．２６４ビットストリームに基づき、離散的ＪＰＥＧ ２０００入力画像に比べて知覚的に可逆（または知覚的に同一）な離散的出力画像の（例えば、Ｈ．２６４互換ファイルを介した）提供が可能であり、そして、離散的出力画像は、離散的ＪＰＥＧ ２０００入力画像に比べて実質的に縮小されたフットプリントによってさらに特徴付けられることが分かった。

本発明の考案者は、Ｈ．２６４再符号化プロセスの構成のために適切な量子化パラメーターを使用すると、離散的ＪＰＥＧ ２０００入力画像に基づいている符号化Ｈ．２６４ビットストリームの生成が可能であり、Ｈ．２６４ビットストリームは、ＪＰＥＧ ２０００フォーマットに符号化して戻された場合に、離散的ＪＰＥＧ ２０００入力画像に比べて知覚的に可逆（または知覚的に同一）な離散的ＪＰＥＧ ２０００出力画像を提供し、その離散的ＪＰＥＧ ２０００出力画像は、離散的ＪＰＥＧ ２０００入力画像に比べて実質的に縮小されたフットプリントによってさらに特徴付けられることが分かった。

本発明の別の実施形態がＪＰＥＧ ２０００画像の再圧縮に限定されず、図６に示すシステムに類似したシステムが、ＪＰＥＧ ２０００以外のフォーマット、および、特に、ウェーブレット変換を利用する圧縮フォーマットを用いて符号化された入力画像を再圧縮するため、当技術分野に精通した者によって容易に考案され得ることを理解されたい。

離散的入力画像処理に関連し、出力が離散的出力画像である本発明の特定態様について説明してきたが、ここで、複数の入力画像の処理に関連する本発明のさらに別の態様について説明する。ここで図７を参照すると、これは、本発明のいくつかの実施形態による、複数の入力画像の処理に適した画像処理システムのブロック図である。

いくつかの実施形態によれば、画像処理システム７１０は、複数の画像が格納されている大容量記憶システム（図示せず）に動作可能なように接続され得る。いくつかの実施形態によれば、大容量記憶システムからの複数の画像が、画像処理システム７１０への入力として提供され得る。いくつかの実施形態によれば、複数の入力画像は圧縮画像であり得る。入力画像の圧縮／符号化に使用される圧縮／符号化フォーマットは、イントラ予測を含まない非可逆圧縮フォーマットであり得る。例えば、入力画像は、素ブロックの独立符号化を用いて圧縮された画像および／またはウェーブレット変換を用いて圧縮された画像および／またはイントラ予測符号化を用いて圧縮された画像を含み得る。さらに例として、入力画像は、ＪＰＥＧ画像および／またはＪＰＥＧ ２０００画像および／またはＨ．２６４画像を含み得る。

図７に示すシステム７１０は、図４および図６に示すシステムといくつか類似したコンポーネントを共有する。離散的ＪＰＥＧ入力画像に関して実施される再符号化プロセスおよび離散的ＪＰＥＧ ２０００入力画像に関して実施される再符号化プロセス（図４および図６に関して前述）は、複数の入力画像のバッチ処理と同様の方法で実施され得ることを理解されたい。

図７に示すとおり、本発明のいくつかの実施形態によれば、複数のＪＰＥＧおよび／またはＪＰＥＧ ２０００入力画像は、画像処理システム７１０で受信され得る。いくつかの実施形態によれば、複数の入力画像を処理するためのシステム７１０のインタフェース７２０は、システムコンポーネントのいずれかが処理のために追加の画像の受信ができないか、または受信を拒否する場合に備えて、システム７１０の内部で負荷のバランスを取るために使用され得るバッファー７２１を含み得る。

図７および本発明のいくつかの実施形態によれば、品質パラメーターコントローラー７３５は、複数の品質パラメーター制御インスタンス７３０を起動および制御するように構成されているマルチスレッド管理モジュールとして実施され得る。いくつかの実施形態によれば、各品質パラメーター制御インスタンス７３０は、図１および図４に示す品質パラメーターコントローラー３０に機能的に類似している。いくつかの実施形態によれば、品質パラメーターコントローラー７３５は、品質パラメーターコントローラー７３５内の負荷を内部で制御するために品質パラメーターコントローラー７３５によって使用され得る品質パラメーターコントローラーバッファー７３６を含み得る。

図７および本発明のいくつかの実施形態によれば、システム７１０は、イントラ予測符号化コントローラー７７０を含み得る。イントラ予測符号化コントローラー７７０は、イントラ予測エンコーダー７４０の複数のインスタンスを起動および制御するように構成されているマルチスレッド管理モジュールとして実施され得る。いくつかの実施形態によれば、イントラ予測エンコーダー７４０の各インスタンスは、図４に示しかつ前述したイントラ予測エンコーダー４４０に機能的に類似している。いくつかの実施形態によれば、イントラ予測符号化コントローラー７７０は、エンコーダー上の負荷を内部で制御するためにイントラ予測符号化コントローラー７７０によって使用され得る符号化待ち行列バッファー７７２を含み得る。

ＹＣｂＣｒからのフォーマット変換モジュール７６０は、ＹＣｂＣｒからのフォーマット変換モジュール７６０の各スレッドが、イントラ予測エンコーダー７４０の複数のインスタンスによって提供された復号Ｈ．２６４ビットストリームをＲＡＷ画像データに変換するために使用され得るマルチスレッドモジュールまたはプロセスとしても実施される。変換モジュール７６０は、内部負荷分散に使用され得るバッファー７６２を含み得る。

いくつかの実施形態では、インタフェース７２０は、品質パラメーターコントローラー７３５およびイントラ予測符号化コントローラー７７０の各々に動作可能なように接続され得、システム７１０のコンポーネントの操作パラメーターをモニタリングし得る。いくつかの実施形態では、インタフェース７２０は、品質パラメーターコントローラー７３５およびイントラ予測符号化コントローラー７７０の各々内で、ならびに恐らくは、任意選択の変換モジュール７６０内でも、負荷状態をモニタリングし得る。別の実施形態では、インタフェース７２０は、１つまたは複数の品質パラメーターコントローラー７３５およびイントラ予測符号化コントローラー７７０の負荷状態、ならびに恐らくは、任意選択の変換モジュール７６０にも従って、インタフェースバッファー７２１を制御し得る。

いくつかの実施形態によれば、図７に示す画像処理システム７１０は、出力として複数の出力画像を提供し得、複数の出力画像の各々が、画像処理システム７１０で受信された複数の入力画像からの各入力画像に対応する。いくつかの実施形態によれば、１つまたは複数の出力画像は、（エントロピー符号化の後に）符号化されたＨ．２６４ビットストリーム表現として提供され得る。別の実施形態では、１つまたは複数の出力画像は、出力画像の符号化ビットストリーム表現を含むＨ．２６４互換ファイルである。さらに別の実施形態では、１つまたは複数の入力画像は、出力画像のＨ．２６４のＲＡＷデータ表現に基づき（または出力画像の符号化ビットストリーム表現に基づき）符号化されるＪＰＥＧまたはＪＰＥＧ ２０００画像ファイルである。

本発明のいくつかの実施形態では、複数の再符号化および再圧縮された画像は、それらが受信された元の大容量記憶システムに返され得、複数の再符号化および再圧縮された画像は、複数の入力画像として使用された元の画像の置換として格納され得る。

本発明の考案者は、Ｈ．２６４再符号化プロセスの構成のために適切な量子化パラメーターを使用すると、各ＪＰＥＧまたはＪＰＥＧ ２０００入力画像に基づいている符号化Ｈ．２６４ビットストリームの生成、およびそのＨ．２６４ビットストリームに基づき、各ＪＰＥＧまたはＪＰＥＧ ２０００入力画像に比べて知覚的に可逆（または知覚的に同一）な複数の離散的出力画像の（例えば、Ｈ．２６４互換ファイルを介した）提供が可能であり、そして、複数の出力画像は、複数のＪＰＥＧまたはＪＰＥＧ ２０００入力画像に比べて実質的に縮小されたフットプリントによってさらに特徴付けられることが分かった。

当技術分野に精通した者には、図７に示すシステム７１０の多数の機能コンポーネントが、分散コンポーネントとして実施され得ることを理解されたい。例えば、品質パラメーター制御インスタンス７３０は、複数のコンピューター上で分散および実施され得る。品質パラメーターコントローラー７３５は、各リモート品質パラメーター制御インスタンス７３０の操作を制御する中央制御装置として実施され得る。品質パラメーターコントローラー７３５は、リモート品質パラメーター制御インスタンス７３０上に実施される抽象化レイヤーを提供し得、複数のリモート品質パラメーター制御インスタンス７３０の制御および構成を中央位置から可能にし得る。同様の方法で、インタフェース７２０およびそのサブコンポーネントならびにイントラ予測符号化コントローラー７７０およびそのサブコンポーネントが分散され得る。

複数の入力画像を処理して対応する複数の再圧縮出力画像を提供するためのシステムについて説明してきたが、ここで、本発明のさらに別の態様の説明を提供し、それは、複数の入力画像を処理するためのシステムに関連する。ここで、図８を参照すると、これは、本発明のいくつかの実施形態による、複数の入力画像の処理、および複数の入力画像の、複数の離散的セグメントを含む離散的出力ファイルへの再圧縮に適した画像処理システムのブロック図である。

いくつかの実施形態によれば、複数の入力画像は圧縮画像であり得る。入力画像の圧縮／符号化に使用される圧縮／符号化フォーマットは、イントラ予測を含まない非可逆圧縮フォーマットであり得る。例えば、入力画像は、素ブロックの独立符号化を用いて圧縮された画像および／またはウェーブレット変換を用いて圧縮された画像および／またはイントラ予測符号化を用いて圧縮された画像を含み得る。さらに例として、入力画像は、ＪＰＥＧ画像および／またはＪＰＥＧ ２０００画像および／またはＨ．２６４画像を含み得る。

図８に示すシステム８１０は、図７に示すシステム７１０といくつか類似したコンポーネントを共有する。いくつかの実施形態では、図７に関して前述した、複数のＪＰＥＧまたはＪＰＥＧ ２０００入力画像に関して実施される再符号化プロセスは、図８に示すシステム８１０によって同様の方法で実施され得ることを理解されたい。しかし、図８に示すシステム８１０の１つまたは複数のコンポーネントは、図７に示すシステム７１０と異なり得、図８に示すシステム８１０によって提供される出力は、図７に示すシステム７１０の出力と異なり得る。

いくつかの実施形態によれば、インタフェース７２０は、例えば、ＪＰＥＧまたはＪＰＥＧ ２０００入力画像など、複数の入力画像を受信し得る。品質パラメーターコントローラー７３５は、複数の入力画像の各々に対して符号化品質パラメーターを提供し得る。いくつかの実施形態では、品質パラメーターコントローラー７３５は、例えば、複数の入力画像の各々に対して実施された符号化品質パラメーターの反復検索結果に基づき、複数の入力画像の各々に対して特定の符号化品質パラメーターを提供し得る。反復検索については、詳細に前述されている。

入力画像の各々に対して、入力画像の対応するＲＡＷ表現がイントラ予測エンコーダー７４０に供給され得る。イントラ予測エンコーダー７４０は、１つの入力画像に対してそれぞれの符号化品質パラメーターも受信し得る。イントラ予測エンコーダー７４０は、複数の画像の各々を符号化するように構成され得る。イントラ予測エンコーダー７４０は、各符号化品質パラメーターにより、複数の画像の各々の符号化プロセスを構成し得る。複数の画像の各々の符号化プロセスは、イントラ画像予測を含み得る。

いくつかの実施形態によれば、イントラ予測符号化コントローラー７７０は、イントラ予測エンコーダー７４０の操作の制御に使用され得る。イントラ予測符号化コントローラー７７０は、複数の入力画像に対して単一の出力ファイルを生成するように構成され得る。別の実施形態では、複数の画像の各々の符号化プロセスは、それぞれの符号化ビットストリームを生じ得、イントラ予測符号化コントローラー７７０は、入力画像の各符号化ビットストリームに基づき複数の入力画像の各々に対する単一の出力ファイル内でオブジェクトを生成し得る。

いくつかの実施形態では、入力画像は、マルチスレッドエンコーダー７４０によって同時に符号化され得、単一の出力ファイルがオンザフライで生成され得る。代替として、本発明の別の実施形態によれば、１つまたは複数の入力画像が、連続して符号化され得、複数の入力画像の１つに対して符号化ビットストリームが生成されるとすぐに、その符号化ビットストリームまたはその符号化ビットストリームに基づいて生成された出力ファイルオブジェクトが、出力バッファー８７４内に一時的に格納される。

いくつかの実施形態によれば、一旦、複数の入力画像の１つに対して符号化ビットストリームが生成されると、ビットストリームパッキングモジュール８４９が、複数の離散的オブジェクトを含む単一のファイルを生成するよう構成され得、複数の離散的オブジェクトの各々が、複数の入力画像の各１つに関連する。より詳細には、複数の離散的オブジェクトの各々が、各入力画像に対して生成された符号化ビットストリームに基づき作成される。いくつかの実施形態では、単一の出力ファイル内の各オブジェクトが、複数の入力画像の各１つに対応する離散的画像を含む。

いくつかの実施形態によれば、ビットストリームパッキングモジュール８４９は、出力画像に対応する各オブジェクトにインデックスを付けるように構成され得る。メディアオブジェクトは、ファイル内の特定オブジェクトへの迅速なアクセスを可能にするため、ファイルの先頭にインデックスが付けられる。インデックスは、離散的画像をマルチオブジェクトファイルから引き出すために使用され得る。ビットストリームパッキングモジュール８４９は、出力ファイルのヘッダー内にインデックスを含み得、従って、出力ファイルに含まれているオブジェクトの各々に素早くランダムにアクセス可能であり得る。

当技術分野に精通した者には、例えば、ＭＰ４ファイルフォーマットなどの拡張メディアファイルフォーマットは、単一ファイル内への複数の異なるメディアオブジェクトの包含を可能にすることを理解されたい。単一ファイル内の各オブジェクトは、一意のメディア特性（サイズ、解像度、コーデックなど）を持ち得、そのメディア特性を指定するメタデータを含み得る。出力ファイル内のオブジェクトの特性は、インタフェース７２０によって提供され得、各入力画像の特性に対応し得る。追加または代替として、出力ファイル内のオブジェクトの特性は、品質パラメーターコントローラー７３５によって提供され得、品質パラメーターコントローラー７３５によって提供された符号化品質パラメーターに対応し得る。さらに追加または代替として、出力ファイル内のオブジェクトの特性は、イントラ予測エンコーダー７４０によって提供され得、入力画像（または、入力画像の表現）の符号化と関連し得る。

いくつかの実施形態によれば、図８に示す画像処理システム８１０は、出力として、複数の（マルチメディア）オブジェクトを含む単一の出力ファイルを提供し得、各オブジェクトが出力画像を含み、各出力画像は複数の入力画像の１つに対応する。別の実施形態によれば、各オブジェクトは、各入力画像に対して生成された再圧縮ビットストリームに対応する。さらに別の実施形態では、単一の出力ファイルはＭＰ４マルチメディアファイルである。

当技術分野に精通した者には、本発明のいくつかの実施形態によれば、複数画像の単一ファイル（例えば、ユーザーのフォトアルバム全体）へのクラスタリングは、少なくとも特定の状況下では、有利であり得ることを理解されよう。以下は、前述した単一出力ファイルの実施態様のいくつかの利点を記述する包括的でないリストである：

管理されるファイル数が大幅に削減され得るため、画像のマッピングがより簡略および容易になり得る。

一旦、ファイルが引き出されてオープンされると、記憶媒体に再度アクセスすることなく、後続の画像がアクセスされ得るため、個々の画像へのアクセス時間が短縮され得る。

複数の画像に対するメタデータが削減され得る。画像に対して別個のファイルを割り当てると、各画像に対して大きなメタデータオーバーヘッドを作成するが、それは非効率であり、複数の画像の処理を伴う様々な操作およびシステムに悪影響を及ぼす。例えば、メタデータの入出力操作でボトルネックが生じる。複数の画像を含む単一ファイルから一旦メタデータを読み取ると、画像毎の入出力操作が著しく減少し得、より効率的であり得る。

しかし、図８に示し、本明細書で前述した画像処理システム８１０の他に、システム８１０を操作する方法（これについても前述）も、単一の入力画像について、変更すべきところは変更して実施し得ることも理解されたい。従って、画像処理システム８１０は、単一画像の再符号化および再圧縮ため、ならびに入力画像に対応するマルチメディアオブジェクトを含む単一の出力ファイル内への再符号化画像のパッキングのために使用され得る。別の実施形態によれば、各オブジェクトは、各入力画像に対して生成された再圧縮ビットストリームに対応する。さらに別の実施形態では、単一の出力ファイルはＭＰ４マルチメディアファイルである。

本明細書で本発明の特定機能を例示および説明してきたが、当業者には、多数の修正、置換、変更、および相当物に気が付くであろう。それ故、添付の特許請求の範囲は、かかる全ての修正および変更が本発明の本当の範囲内に含まれるよう及ぶことを意図する。

Claims (21)

1. 離散的入力画像を縮小サイズの離散的出力画像に処理するためのシステムであって、
   素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信するように構成されたインタフェースと、
   前記離散的出力画像の実質的なサイズ縮小を可能にし、前記出力画像と前記入力画像との間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供するように構成された品質パラメーターコントローラーと、
   前記入力画像を再符号化するように構成されたイントラ予測エンコーダーであって、再符号化がイントラ画像予測を含み、前記符号化品質パラメーターに従って構成されているエンコーダーとを備えるシステム。
2. 前記離散的入力画像が標準的ＪＰＥＧ画像である、請求項１に記載のシステム。
3. 前記出力画像が標準的Ｈ．２６４フォーマットで提供される、請求項１に記載のシステム。
4. 離散的入力画像を縮小サイズの離散的出力画像に処理するためのシステムであって、
   可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信するように構成されたインタフェースと、
   前記離散的出力画像の実質的なサイズ縮小を可能にし、前記出力画像と前記入力画像との間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供するように構成された品質パラメーターコントローラーと、
   前記入力画像を再符号化するように構成されたイントラ予測エンコーダーであって、再符号化がイントラ画像予測を含み、前記符号化品質パラメーターに従って構成されているエンコーダーとを備えるシステム。
5. 前記離散的入力画像が標準的ＪＰＥＧ ２０００画像である、請求項４に記載のシステム。
6. 前記出力画像が標準的Ｈ．２６４フォーマットで提供される、請求項４に記載のシステム。
7. 離散的入力画像を縮小サイズの離散的出力画像に処理するための方法であって、
   素ブロックの独立符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信することと、
   前記離散的出力画像の実質的なサイズ縮小を可能にし、前記出力画像と前記入力画像との間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供することと、
   前記入力画像を再符号化することであって、再符号化がイントラ画像予測、および前記符号化品質パラメーターに従って構成されている量子化ステップを含む、再符号化することとを含む方法。
8. 離散的入力画像を縮小サイズの離散的出力画像に処理するための方法であって、
   可逆または非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信することと、
   前記離散的出力画像の実質的なサイズ縮小を可能にし、前記出力画像と前記入力画像との間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供することと、
   前記入力画像を再符号化することであって、再符号化がイントラ画像予測、および前記符号化品質パラメーターに従って構成されている量子化ステップを含む、再符号化することとを含む方法。
9. 複数の入力画像を処理してそれぞれ複数の縮小サイズの出力画像を提供するためのシステムであって、
   素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信するように構成されたインタフェースと、
   前記複数の入力画像の各々に対して、前記各離散的出力画像の実質的なサイズ縮小を可能にし、前記各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供するように構成された品質パラメーターコントローラーと、
   前記複数の入力画像の各々を再符号化するように構成されたイントラ予測符号化コントローラーであって、再符号化がイントラ画像予測を含み、前記エンコーダーが前記複数の入力画像の各々に対して提供された前記各符号化品質パラメーターに従って構成されている、イントラ予測符号化コントローラーとを備えるシステム。
10. 前記品質パラメーターコントローラーの制御下にある複数の品質パラメーター制御インスタンスをさらに備え、前記複数の品質パラメーター制御インスタンスの各々が、前記複数の入力画像の１つまたは複数に割り当てられ、それに割り当てられた前記入力画像の各々に対して、前記各離散的出力画像の実質的なサイズ縮小を可能にする符号化品質パラメーターを提供するように構成され、前記パラメーターが前記各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する、請求項９のシステム。
11. イントラ予測エンコーダーの複数のインスタンスをさらに含み、前記イントラ予測エンコーダーの前記複数のインスタンスの各々が前記複数の入力画像の１つまたは複数に割り当てられて、それに割り当てられた前記入力画像の各々を再符号化し、再符号化がイントラ画像予測を含み、前記エンコーダーが、前記エンコーダーインスタンスに割り当てられた前記入力画像の各々に対して提供された前記各符号化品質パラメーターに従って構成されている、請求項９のシステム。
12. 複数の入力画像を処理するためのシステムであって、
    素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信するように構成されたインタフェースと、
    前記複数の入力画像の各々に対して、前記各離散的出力画像の実質的なサイズ縮小を可能にし、前記各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供するように構成された品質コントローラーと、
    前記複数の入力画像の各々を再符号化するように構成されているイントラ予測エンコーダーであって、再符号化がイントラ画像予測を含み、前記複数の入力画像の各々に対して提供された前記各符号化品質パラメーターに従って構成されているエンコーダーと、
    前記複数の入力画像に対して単一の出力ファイルを提供するように構成されたビットストリームパッキングモジュールであって、前記出力ファイルが、前記複数の離散的入力画像に対応する複数のインデックス付き離散的オブジェクトを含む、ビットストリームパッキングモジュールとを備えるシステム。
13. 前記オブジェクトの各々が、前記複数の離散的入力画像の各１つに対応する離散的画像を含む、請求項１２に記載のシステム。
14. 前記出力ファイルがＭＰ４ファイルである、請求項１２に記載のシステム。
15. 複数の入力画像を処理してそれぞれ複数の縮小サイズの出力画像を提供するための方法であって、
    素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信することと、
    前記複数の入力画像の各々に対して、前記各離散的出力画像の実質的なサイズ縮小を可能にし、前記各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供することと、
    前記複数の入力画像の各々を再符号化することであって、再符号化がイントラ画像予測を含み、量子化ステップが前記複数の入力画像の各々に対して提供された前記各符号化品質パラメーターに従って構成されている、再符号化することとを含む方法。
16. 複数の入力画像を処理するための方法であって、
    素ブロックの独立符号化を利用する圧縮フォーマットで圧縮されたか、または可逆もしくは非可逆量子化を有するウェーブレットおよびブロック毎のビットプレーンエントロピー符号化を利用する圧縮フォーマットで圧縮された、複数の離散的入力画像を受信することと、
    前記複数の入力画像の各々に対して、前記各離散的出力画像の実質的なサイズ縮小を可能にし、前記各出力画像と入力画像対間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供することと、
    前記複数の入力画像の各々を再符号化することであって、再符号化がイントラ画像予測を含み、量子化ステップが、前記複数の入力画像の各々に対して提供された前記各符号化品質パラメーターに従って構成されている、再符号化することと、
    前記複数の入力画像に対して、前記複数の離散的入力画像に対応する複数のインデックス付き離散的オブジェクトを含む、単一の出力ファイルを提供することとを含む方法。
17. 離散的入力画像を縮小サイズの離散的出力画像に処理するためのシステムであって、
    イントラ予測符号化を利用する圧縮フォーマットで圧縮された離散的入力画像を受信するように構成されたインタフェースと、
    前記離散的出力画像の実質的なサイズ縮小を可能にし、前記出力画像と前記入力画像との間の目標とする定量的類似性尺度に関連する、符号化品質パラメーターを提供するように構成された品質パラメーターコントローラーと、
    前記入力画像を再符号化するように構成されたイントラ予測エンコーダーであって、再符号化がイントラ画像予測を含み、前記符号化品質パラメーターに従って構成されているエンコーダーとを備えるシステム。
18. 前記離散的入力画像が標準的Ｈ．２６４フォーマットで提供される、請求項１７に記載のシステム。
19. 前記出力画像が標準的Ｈ．２６４フォーマットで提供される、請求項１７に記載のシステム。
20. 前記出力画像が２つ以上のサブ画像に分割され、前記サブ画像の各々の前記解像度が、前記Ｈ．２６４フォーマットでサポートされる最大画像解像度以下である、請求項３に記載のシステム。
21. 前記出力画像が２つ以上のサブ画像に分割され、前記サブ画像の各々の前記解像度が、前記Ｈ．２６４フォーマットでサポートされる最大画像解像度以下である、請求項６に記載のシステム。

Images