JP2017085603A - 領域ベースの画像圧縮 - Google Patents

Abstract

【課題】望ましくない画像の人工的効果（例えば、高周波ノイズ）をもたらしにくい。画像品質の良い圧縮方法を提供する。
【解決手段】画像を圧縮する方法は、画像を１つ以上の領域に分解することを含む。画像の領域は、評価されるために選択される。選択された領域は、領域が所定の圧縮合否基準を満たさない場合に、変換及び量子化される。所定の圧縮合否基準は、特定ビットレート、特定画像品質又はこれらの組み合わせを含む。領域が変換及び量子化された後、領域が所定の圧縮合否基準を満たしていない場合に、変換及び量子化設定が調整され、領域は、調整された設定を使用して変換及び量子化される。所定の圧縮合否基準を満たす場合に、領域はエンコードされる。エンコードは、追加の圧縮段階を含み得る。
【選択図】図２

Description

（関連出願の相互参照）
本出願は、２０１１年１０月１４日に出願された米国仮出願第６１／５４７，６４８号と、２０１２年１０月１２日に出願された米国出願第１３／６５１，０２０号との利益を主張し、これらの内容は本明細書中に十分に明記されているものとして、これらを参照することによって本明細書に組み込まれる。

本発明は、概して、画像圧縮を対象としており、特に、領域ベースの画像圧縮のための方法を対象とする。

損失の多い圧縮技法は、著しい画像品質の犠牲なしで、より低いビットレートにおいて効果的に画像をエンコードするための方法を必要とする。固定レート圧縮スキームは、画素当たり４ビットを著しく下回るレートにおいて、概して貧弱な画像品質を有する。いくつかの既存の可変レート圧縮技法（例えばＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）等）は、いくつかの形式の変換及び量子化を適用する。

圧縮後に記憶されるデータの量を削減するいくつかの方法は、まばらな方法でデータを記憶することと、結果を補間すること（ｉｎｔｅｒｐｏｌａｔｉｎｇ）とを伴い得る。既存の方法は、概して、良いレベルの画像品質を提供しておらず、いくつかのケースでは、望ましくない画像の人工的効果（例えば、高周波ノイズ）も潜在的にもたらし得る。

ローカル領域ごとの変換及び量子化ステップを圧縮ステップの前に加えることは、圧縮されるデータの量を削減し、これにより、高レベルの画像品質を維持するのに要求される必要なビットレートを削減し得る。解凍中、再構築変換が適用されて画素値を生成する。全体的には、領域ごとの変換及び量子化を実施することは、高品質画像を伴う低ビットレートを達成することにおいて、画像デコードに対して管理不能な複雑性を追加することなく、より良いトレードオフがなされることを許可する。

画像を圧縮する方法は、画像を１つ以上の領域に分解することを含む。画像の領域は、評価されるために選択される。選択された領域は、所定の圧縮合否基準を満たさない場合に、変換され、量子化される。所定の圧縮合否基準は、特定ビットレート、特定画像品質、又はこれらの組み合わせを含み得る。領域が変換及び量子化された後に、当該領域が所定の圧縮合否基準を満たさない場合には、変換及び量子化設定が調整され、当該領域は、調整された設定を用いて変換及び量子化される。この領域は、所定の圧縮合否基準を満たす場合に、エンコードされる。

画像を圧縮する方法は、画像を１つ以上の領域に分解することを含む。画像の領域は、評価されるために選択される。選択された領域はサブ領域に分解される。サブ領域は、所定の圧縮合否基準を満たさない場合に、変換及び量子化される。サブ領域が、サブ領域分割、変換及び量子化の組み合わせに基づく所定の圧縮合否基準を満たさない場合には、サブ領域分割が調整され、調整されたサブ領域が変換及び量子化される。サブ領域は、所定の圧縮合否基準を満たす場合に、エンコードされる。

１つ以上の領域を含む画像の解凍方法は、デコードする画像の領域を選択することを含む。選択された領域と、選択された領域に関連するメタデータとがデコードされる。選択された領域に対して再構築変換が適用される。メタデータは、再構築変換に関する情報を含む。

１つ以上のサブ領域をそれぞれ含む１つ以上の領域を有する画像の解凍方法が提供される。画像の領域は、解凍のために選択される。選択された領域と、選択された領域に関連するメタデータとがデコードされる。選択された領域内の各サブ領域に対して再構築変換が適用される。メタデータは、再構築変換に関する情報を含む。

画像を圧縮するシステムは、エンコーダを含む。エンコーダは、画像を１つ以上の領域に分解し、評価する画像の領域を選択し、選択した領域が所定の圧縮合否基準を満たさない場合に当該を変換し、量子化するように構成されている。エンコーダは、領域が変換及び量子化された後に、当該領域が所定の圧縮合否基準を満たさない場合には、変換及び量子化設定を調整し、調整された設定を用いて当該領域を変換及び量子化するように構成されている。領域は、所定の圧縮合否基準を満たす場合に、エンコードされる。

１つ以上の領域を含む画像を解凍するシステムは、デコーダを含む。デコーダは、デコードする画像の領域を選択し、選択された領域と、選択された領域に関連するメタデータとをデコードし、選択された領域に対して再構築変換を適用するように構成されている。メタデータは、再構築変換に関する情報を含む。

画像を圧縮するための汎用コンピュータによって実行される命令セットを記憶するコンピュータ可読記憶媒体であって、命令セットは、コードセグメントを分解することと、コードセグメントを選択することと、コードセグメントを変換及び量子化することと、コードセグメントを調整することと、コードセグメントをエンコードすることと、を含む。コードセグメントを分解することは、画像を１つ以上の領域に分解することである。コードセグメントを選択することは、評価するための画像の領域を選択することである。コードセグメントの変換及び量子化は、領域が所定の圧縮合否性基準を満たさない場合に、当該領域を変換及び量子化することである。コードセグメントを調整することは、領域が変換及び量子化された後に当該領域が所定の圧縮合否基準を満たさない場合に、変換及び量子化設定を調整することである。コードセグメントをエンコードすることは、所定の圧縮合否基準を満たす場合に、領域をエンコードすることである。

画像を圧縮する方法は、画像を１つ以上の領域に分解することを含む。領域が選択され、１つ以上のサブ領域に分割される。サブ領域と、複数の変換のうち１つの変換と、複数の量子化器のうち１つ量子化器とが選択される。選択されたサブ領域分割、変換及び量子化器は、所定の圧縮合否基準に照らして評価される。サブ領域、小領域分割、変換及び量子化器の各々は、所定の圧縮合否基準に関して最良のサブ領域分割、変換及び量子化器を判定するために、繰り返し選択される。全てのサブ領域は、所定の圧縮合否基準を満たす場合に、最良のサブ領域分割、変換及び量子化器を用いてエンコードされる。

画像を圧縮する方法は、画像を１つ以上の領域に分解することを含む。画像の領域は、評価されるために選択される。選択された領域は圧縮され、圧縮された領域は、所定の圧縮合否基準を満たさない場合に、変換及び量子化される。変換及び量子化された後の領域が所定の圧縮合否基準を満たさない場合には、変換及び量子化設定が調整される。圧縮された領域は、調整された設定を用いて変換及び量子化される。変換及び量子化された領域は、所定の圧縮合否基準を満たす場合に、エンコードされる。

添付図面と併せて与えられた例により、以下の記述からより詳細な理解が得られるであろう。

１つ以上の開示された実施形態が実装され得る装置例のブロック図である。 画像を圧縮する方法のフロー図である。 画像を圧縮する方法の代替方法のフロー図である。 画像の領域を解凍する方法のフロー図である。 変換及び量子化器の組み合わせを評価する画像圧縮方法のフロー図である。

固定レートブロックベースの圧縮技法は、画像品質を著しく犠牲にすることなく、低ビットレートで画像を効果的にエンコードする方法を必要とする。任意のエンコード及び／又は圧縮ステップの前に、ローカルな領域ごとの変換及び量子化ステップを加えることは、画像品質を保持するためにエンコード及び／又は圧縮されるデータの量を削減する一方で、望ましい目標ビットレートを達成する。領域を解凍するためには、圧縮されたデータは、最初に、基礎的な圧縮スキーム（実装に依存する）に従って完全又は部分的に解凍され得る。次に、再構築変換が適用され、元の非圧縮データに対する近似値が生成される。量子化中に係数が廃棄された場合には、係数は、再構築変換の目的のために、ゼロと想定される。

図１は、装置例１００のブロック図であって、１つ以上の開示実施形態が実装され得る。装置１００は、例えば、コンピュータ、ゲーム装置、携帯型装置、セットトップボックス、テレビ、携帯電話又はタブレットコンピュータを含み得る。装置１００は、プロセッサ１０２と、メモリ１０４と、記憶装置１０６と、１つ以上の入力装置１０８と、１つ以上の出力装置１１０とを含む。装置１００は、入力ドライバ１１２と、出力ドライバ１１４とを、任意に含み得る。装置１００は、図１に示されていない追加の構成要素を含み得ることを理解されたい。

プロセッサ１０２は、中央処理ユニット（ＣＰＵ）、図形処理ユニット（ＧＰＵ）、同一ダイ上に配置されたＣＰＵ及びＧＰＵ、又は１つ以上のプロセッサコア（ＣＰＵ若しくはＧＰＵであってよい）を含み得る。メモリ１０４は、プロセッサ１０２と同一のダイ上に配置されてもよいし、プロセッサ１０２とは別に配置されてもよい。メモリ１０４は、揮発性又は非揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ若しくはキャッシュ）を含み得る。

記憶装置１０６は、固定又は取り外し可能な記憶装置（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク若しくはフラッシュドライブ）を含んでもよい。入力装置１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出装置、マイクロフォン、加速度計、ジャイロスコープ、生体測定スキャナ又はネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含み得る。出力装置１１０は、表示装置、スピーカ、プリンタ、触覚フィードバック装置、１つ以上のライト、アンテナ又はネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含み得る。

入力ドライバ１１２は、プロセッサ１０２及び入力装置１０８と通信を行い、プロセッサ１０２が入力装置１０８から入力を受信することを許可する。出力ドライバ１１４は、プロセッサ１０２及び出力装置１１０と通信し、プロセッサ１０２が出力装置１１０に出力を送信することを許可する。入力ドライバ１１２及び出力ドライバ１１４は、任意の構成要素であり、装置１００は、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合には、同じ方法で動作することに留意されたい。

図２は、画像を圧縮する方法２００のフロー図である。エンコードされる画像が選択され（ステップ２０２）、選択された画像は、所定の方法に従って、いくつかの領域に分解される（ステップ２０４）。領域は、固定サイズであってもよいし、可変サイズであってもよい。分解方法は、階層的であってよい。画像を領域に分解するために用いられる特定の方法は、方法２００の全体的動作には影響しないことに留意されたい。

評価のために領域が選択され（ステップ２０６）、当該領域が、所定の圧縮合否基準を満たすかどうか調べられる（ステップ２０８）。所定の圧縮合否基準は、特定ビットレート、特定画像品質又はこれらの組み合わせを含み得るが、それらに限定されない。領域をエンコードして、基礎的な圧縮システムを用いて所定の圧縮合否基準を満たすことは可能であり得る。このケースでは、追加の変換及び量子化ステップが必要なく、領域をエンコード段階で直接処理可能である。これは、変換が同一性変換である特殊ケースとして見られ得る。

領域が所定の圧縮合否基準を満たさない場合には（ステップ２０８）、いくつかの改良を実施し得る。領域は、変換され、量子化される（ステップ２１０）。方法は、領域が所定の圧縮合否基準を満たすために変換及び量子化が必要であると判定した場合に、所定のセットから変換及び量子化を選択する。１つの実施形態においては、セットは、線形変換（例えば、円滑化カーネルによるフィルタリング、ウェーブレット変換、カーブレット変換、Ｇａｂｏｒウェーブレット変換等）のみを含んでもよい。別の実施形態においては、セットは、非線形変換を含んでもよい。

最適化手順の一部として、エンコーダは、変換及び量子化の多数の潜在的な組み合わせを評価してもよく、所定の圧縮合否基準において最高品質を達成する組み合わせを選ぶ。エンコーダは、エンコード性能に対する全体的な圧縮品質のトレードオフのために、この段階での最適化ステップの範囲を制御するためのパラメータを有してもよい。これらの制御は、最適な変換及び量子化の探索の範囲を限定してもよく、閾値を提供してもよく、一定の目標を達成したときに早期に抜けるための技法を許可する。

量子化は、変換から係数出力を取得し、係数出力を、値の所定のセットに丸めることによって実行される。所定のセットは、係数ごとに異なってもよい。いくつかの実施形態においては、いくつかの係数に対応する値のセットは、ゼロの単一値で構成されてもよく、このことは、対応する係数が廃棄される（例えばダウンサンプリングにおいて等）ことを意味する。量子化後、残りの係数がエンコードされる。

次に、領域が、変換及び量子化の組み合わせに基づく所定の圧縮合否基準を満たすかどうかが判定される（ステップ２１２）。領域が所定の圧縮合否基準を満たさない場合には、変換及び量子化設定が調整されてもよく（ステップ２１４）、調整された領域は、調整された設定で変換及び量子化される（ステップ２１０）。

変換及び量子化を最適化した後に領域が所定の圧縮合否基準を満たした場合、又は、全候補設定が評価され、最良の設定が選択された場合（ステップ２０８又は２１２）に、領域がエンコードされる（ステップ２１６）。エンコードは、いくつかの基礎的な圧縮を組み込んでもよい。領域ごとに、出力データ形式は、領域と共に記憶及び／又は送信されるいくつかのメタデータを含む。メタデータは、その領域に適用される変換及び量子化と、デコードのために必要とされ得る他の情報とを指標する。さらに、エンコードされた領域は、送信され得る（図２に示されない）。画像の全ての領域が調べられていない場合には（ステップ２１８）、評価のために別の領域を選択することによって方法が継続する（ステップ２０６）。画像の全ての領域が調べられると（ステップ２１８）、方法は終了する。

方法２００の特定の実装において（図示されない）、ステップ２１０における変換及び量子化は、縮小動作として構成されてもよい。領域内の合計画素数を削減する一方で、可能な限り多くの情報を保持するために、圧縮される領域が評価され、当該領域は、圧縮の前に、選択された縦横比（変換及び量子化を包含する）で縮小される。縮小を実施することは、エンコード前のデータの量を削減し、エンコード（追加の圧縮ステップを含み得る）が所与のビットレートに関してより高い正確性で発生することを許可する。異なる縦横比のセットの１つを、領域の縮小のために選択し得る。現在の領域に関するエラー計量（例えば、ピーク信号対ノイズ比）に対する可能性の比率に量子化した結果を評価することにより、選択された縦横比は、選択されたエラー計量に従って最良の結果を提供する。

１つの実施形態においては、目標ビットレートが既知であり（例えば、固定レート圧縮スキーム）、そして、その目標ビットレートにおいて利用可能なスペースの量が計算可能である。この情報により、領域を拡縮して、利用可能スペースに合わせるための多数の方法が存在し得る。縮小中、高周波画像情報のいくつかは破棄され、領域を効果的ににじませる。元の領域の内容に依存して、拡縮縦横比の選択は、画像品質の保存に対して著しい衝撃を有し得る。非均一拡縮を元データに適用することにより、元画像内のより多くの重要情報を保存可能である。領域ごとに異なるレベルの拡縮を有することにより、圧縮は、異なる領域に関する画像内容におけるローカル特性に対応可能である。この実装は、所定の圧縮合否基準を最適化するために、画像内の領域ごとに変換及び量子化の多数の可能な選択肢を潜在的に調べ得る。

図３は、画像を圧縮する方法の代替方法３００のフロー図である。エンコードされる画像が選択され（ステップ３０２）、選択された画像は、所定の方法に従っていくつかの領域に分解される（ステップ３０４）。領域は、固定サイズであってもよいし、可変サイズであってもよい。分解方法は、階層的であってもよい。画像を複数の領域に分解するために用いられる特定の方法は、方法３００の全体的動作に影響しないことに留意されたい。

領域が評価のために選択され（ステップ３０６）、そして、その領域が所定の圧縮合否基準を満たすかどうかを判定するために調べられる（ステップ３０８）。所定の圧縮合否基準は、特定ビットレート、特定画像品質又はこれらの組み合わせを含み得るが、それらに限定されない。基礎的な圧縮システムを使用して、領域を所定の圧縮合否基準を満たすようにエンコードすることが可能である。このケースでは、変換及び量子化ステップが必要なく、領域を基礎的な圧縮スキームによって処理可能である。このことは、変換が同一性変換である特殊ケースとして見られる。

領域が所定の圧縮合否基準を満たさない場合には（ステップ３０８）、いくつかの改良が実施され得る。領域はサブ領域に分割され（ステップ３１０）、そしてサブ領域に対して変換及び量子化が行われる（ステップ３１２）。所定の圧縮合否基準を満たすために領域の分割、変換及び量子化が必要であるとエンコーダが判定した場合には、エンコーダは、所定の分割、変換及び量子化のセットから、分割、変換及び量子化を選択する。１つの実施形態においては、セットは、線形変換（例えば、円滑化カーネル、ウェーブレット変換、カーブレット変換、Ｇａｂｏｒウェーブレット変換等によるフィルタリング）のみを含んでもよい。別の実施形態においては、セットは、非線形変換を含んでもよい。

最適化手順の一部として、エンコーダは、領域分割（領域がどのようにしてサブ領域に分割されるか）、変換及び量子化の多数の潜在的な組み合わせを評価してもよく、所定の圧縮合否基準を満たす最も高い品質を達成する組み合わせを選択する。エンコーダは、全体的な圧縮品質とエンコード性能とのトレードオフのために、この段階で任意の最適化ステップの範囲を制御するためのパラメータを有し得る。この制御は、最適領域、サブ領域分割、変換及び量子化の探索の範囲を限定してもよく、閾値を提供してもよく、一定目標に達したときにこの技法が早期に抜けることを許可する。

次に、領域が、分割、変換及び量子化の組み合わせに基づく所定の圧縮合否基準を満たすかどうかが判定される（ステップ３１４）。領域が所定の圧縮合否基準を満たさない場合には、分割（領域がどのようにしてサブ領域に分割されるか）、変換及び／又は量子化が調整されてもよく（ステップ３１６）、そして、調整されたサブ領域が、この調整に基づいて、変換及び量子化される（ステップ３１２）。分割が調整された場合には（ステップ３１６）、所定の圧縮合否基準の達成に帰結し得る代替の領域分割を生成するために、異なる分割技法が使用され得る。

領域分割、変換及び量子化を最適化し、領域が所定の圧縮合否基準及び／又はこの処理に対する他の終了条件を満たした後に（ステップ３０８又は３１４）、当該領域はエンコードされる（ステップ３１８）。エンコーダは、いくつかの基礎的な圧縮を組み込み得る。領域ごとに、出力データ形式は、領域と共に記憶及び／又は送信されるいくつかのメタデータを含む。メタデータは、領域に適用される領域分割、変換、量子化、及び、デコードのために必要となり得る他の情報を指標する。さらに、エンコードされた領域は、送信され得る（図３には示されていない）。画像の全ての領域が調べられていない場合には（ステップ３２０）、方法は、評価する別の領域を選択して継続する（ステップ３０６）。画像の全ての領域が調べられたら（ステップ３２０）、方法は終了する。

図４は、画像の領域を解凍する方法４００のフロー図である。画像の領域がデコードのために選択され（ステップ４０２）、そして、選択された領域と、当該領域の関連メタデータとがデコードされる（ステップ４０４）。再構築変換が、メタデータに含まれる情報を使用して、その領域に適用される（ステップ４０６）。画像を表示する前に、領域に対する追加処理が必要に応じて実施される（ステップ４０８）。追加処理の例は、例えば、テクスチャ写像操作等を含み得る。

方法４００の代替の実施形態において（図示されない）、領域をサブ領域に分割してもよい。サブ領域は、単一の変換及び量子化（領域全体について指定される）を共有してもよく、それぞれ個別の変換及び量子化が指定されてもよい。

方法４００の代替の実施形態において（図示されない）、ステップ４０６では、領域がエンコード中に縮小された場合には、拡大操作が行われてもよい。データは、領域に対する基礎的な圧縮方法に従って拡張される。次に、領域は、その後、縮小のために用いられる縦横比を記述するメタデータに含まれる情報を使用して、拡大される（ステップ４０６）。拡大は、任意の適用可能フィルタを使用してもよいが、エンコーダは、画像品質を保存するために、どのフィルタがデコーダによって使用されるかを知る必要がある。これは、圧縮品質をより精密に調律することを可能とするからである。ハードウェア実装においては、拡大フィルタは双線型であってよく、なぜならばこのフィルタは簡潔であり、実装が安価であるからである。方法４００の動作を著しく変更することなく、他の型式の拡大フィルタを使用してもよい。さらに、拡大のために使用されるフィルタの型式は、画像全体にわたって均一であってもよいし、画像の領域ごとに独立して選択されてもよい。

この実施形態の１つの実装において、エンコーダは、所与の領域サイズ（例えば、８×８）を用いた固定レート、領域ベースの圧縮スキームを使用する。各領域は、独立して圧縮される。必要なビットレートで領域内の各画素を明示的にエンコードするのが可能でない場合には、その領域は、圧縮前に、所定のレートによって縮小される。例えば、８×８領域は、８×６のサイズに削減されてもよく、このことは、記憶される必要のある画素情報の量を２５％削減する。情報削減のレベルは、所望の圧縮合否基準で領域がエンコードされることを可能とするように選択される。縮小は、任意の適切な方法によって遂行することができ、より有益な情報を保持するために、より高品質な方法が使用される。

最終情報の所定の量に関して、類似量だけ記憶される必要のある情報量を削減するために、領域の拡縮のいくつかの異なる方法が存在し得る。例えば、８×６、７×７及び６×８の画素セットの全ては、エンコードするために、最終データとほぼ同じの量を必要とする。エンコーダは、領域ごとに異なるレートを試みてもよく、所定の圧縮合否基準（多数の異なる量子化から選択）に関して最良の画像品質を提供するレートを使用する。

画像のいくつかの領域において、本方法が、より高いレベル（例えば、８×５、８×４、６×５等）の縮小を使用することを選択し、それらのレートを、より低い圧縮レートを有するバックエンド圧縮スキームを使用して、エンコーダと併せて評価し得ることに留意されたい。記憶される必要のあるユニークな画素の数を削減することにより、同一の所定の圧縮合否基準を達成する一方で、残りの画素は、より高い正確性（すなわち、より低い圧縮率）でエンコードされ得る。画像の円滑な領域においては、最終画素をより高い精密性でエンコードする一方で、より高いレベルの縮小を使用することは有利であり得る。反対に、いくつかの領域においては（例えば、より高周波内容の領域）、拡縮（量子化）の使用を最小とする又はまったく使用しないで、代りにバックエンド圧縮のより高い率を使用することは、画像品質の点においてより適切であり得る。

この実施形態の１つの拡張は、選択されたベクトル方向に沿って情報を低解像度処理し、領域内のより多くの画像品質を保存することである（Ｘ及びＹ軸に整合して低解像度処理により達成された近似値ではなく、可変縦横比で）。このケースでは、量子化は前述のものと同一であり得るが、変換が異なる。この拡張は、高周波内容が対角線に近づくように整合された画像の領域における詳細のより良好な保存を可能とし得る。例えば、画像内の動き（もしあれば）の方向を知って当該画像が縮小可能であるならば、動き方向に垂直な高周波情報を保持可能であり、その一方で、他の情報を廃棄し得る。

この実施形態に対する第２の拡張は、元の領域をさらにサブ領域に細分し、各サブ領域を独立して拡縮し（サブセットごとに異なる変換及び量子化を選択）、領域の特性をより良く一致させて、より高い画像品質を提供する。

図５は、画像を圧縮する方法５００のフロー図であって、領域、サブ領域、変換及び量子化器の組み合わせを評価する。エンコードされる画像が選択され（ステップ５０２）、選択された画像は領域に分解される（ステップ５０４）。画像の領域が選択される（ステップ５０６）。画像の選択された領域を評価するために、選択された領域はサブ領域に分割され（ステップ５０８）、サブ領域が選択され（ステップ５１０）、変換が選択され（ステップ５１２）、そして量子化器が選択される（ステップ５１４）。選択されたサブ領域、変換及び量子化器に基づいて、画像の選択されたサブ領域が処理され、評価され、所定の圧縮合否基準を満たすかどうか判定する（ステップ５１６）。分割（ステップ５０８）、変換（ステップ５１２）及び量子化（ステップ５１４）の選択は、方法５００の全体的動作に影響することなく、任意の順番で実施し得ることに留意されたい。任意に、選択されたサブ領域分割、変換及び量子化器によって判定される圧縮合否基準は、以降の比較のために記憶され得る。

選択された領域について、分割、変換及び量子化器の最良の可能な組み合わせを確保するため、分割、変換及び量子化器の全てが評価される。最適化された実施形態においては、方法は、領域分割、サブ領域分割、変換及び量子化器の全ての組み合わせを余すことなく列挙しておらず、同一又は類似結果を生成するために最適化された探索アプローチを使用し得ることが理解されるべきである。

量子化器の全てが評価されていない、又は、閾値圧縮合否基準を満たしていない場合には（ステップ５１８）、別の量子化器が選択され（ステップ５１４）、そして処理は、前述のように継続する。量子化器の全てが評価され、又は、閾値圧縮合否基準を満たした場合には（ステップ５１８）、変換の全てが評価されたか、又は、閾値圧縮合否基準を満たしたかについて判定が行われる（ステップ５２０）。

変換の全てが評価されていない、又は、閾値圧縮合否基準を満たしていない場合には（ステップ５２０）、別の変換が選択され（ステップ５１２）、そして処理は、前述のように継続する。変換の全てが評価され、又は、閾値圧縮合否基準を満たした場合には（ステップ５２０）、全てのサブ領域が評価されたかどうかが判定される（ステップ５２２）。

領域の全てのサブ領域が評価されていない場合は（ステップ５２２）、領域の別のサブ領域が選択され（ステップ５１０）、処理は前述のように継続する。サブ領域の全てが評価された場合には（ステップ５２２）、サブ領域分割の全てが評価されたか、又は、閾値圧縮合否基準を満たしたかについて判定が行われる（ステップ５２４）。

サブ領域分割の全てが評価されておらず、そして閾値圧縮合否基準を満たしていない場合には（ステップ５２４）、領域は異なるサブ領域に分割され（ステップ５０８）、処理は前述のように、継続する。代替の実施形態において（示されていない）は、ステップ５１８、５２０、５２４において定義された閾値圧縮合否基準が使用されなくてもよい。

分割、変換及び量子化の全ての組み合わせが評価された、又は、選択された領域に関する閾値圧縮合否基準を満たした後に、最良の分割、変換及び量子化器が選択される（ステップ５２６）。最良のサブ領域分割、変換及び量子化器を使用して、領域の全てのサブ領域がエンコードされる（ステップ５２８）。１つの実装においては、ステップ５２８におけるエンコードは、追加の圧縮を含み得る。領域ごとに、出力データ形式は、領域と共に記憶され及び／又は送信されるいくつかのメタデータを含む。メタデータは、領域について適用されるサブ領域分割、変換、量子化器、及び、デコードのために必要とされ得る他の情報を指標する。

次に、画像の全ての領域が調べられたかについて判定が行われる（ステップ５３０）。画像の全ての領域が調べられていない場合には、画像の別の領域が選択され（ステップ５０６）、処理は前述のように続く。画像の全ての領域が調べられている場合には（ステップ５３０）、方法は終了する。

変換及び量子化が最終エンコードと緊密に連結され、さらにデコードの実装とも連結された、他の実施形態が可能である。以下の２つの例に加え、他の実施形態が可能である。

第１の実施形態例では、テクスチャのフィルタ操作が、デコードされるデータについて実施され、拡大フィルタは、追加の専用アップスケーラを実装するのではなく、テクスチャフィルタ処理ハードウェアを操作することによって実装され得る。

第２の実施形態例においては、基礎的な圧縮（エンコード）は、色を選択するために使用される指標係数を生成する。このケースでは、変換及び量子化は、元の色データについてではなく、基礎的なエンコーダによって生成される指標係数に実施され得る。この実施形態においては、領域は、変換及び量子化される前に、圧縮される。

本明細書中の開示に基づき、多くのバリエーションが可能であることを理解されたい。特徴及び要素が特定の組み合わせにおいて上述されたが、各特徴又は要素は、他の特徴及び要素なしで単独で使用されてもよいし、他の特徴及び要素と共に又は無しで様々な組み合わせにおいて使用され得る。

提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実装され得る。適切なプロセッサは、例示的であるが、汎用プロセッサ、特殊目的プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ（ＡＳＩＣｓ）、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ（ＦＰＧＡｓ）回路、他の任意の型式の集積回路（ＩＣ）、及び／又は状態機械を含む。そのようなプロセッサは、処理済ハードウェア記述言語（ＨＤＬ）命令及びネットリストを含む他の中間データ（コンピュータ可読記憶媒体上に記憶可能な命令）の結果を使用して、製造プロセスを構成することによって製造され得る。そのような処理の結果は、マスクワークであってもよく、それらは次に、本発明の態様を実装するプロセッサを製造するために、半導体製造プロセス内で使用される。

本明細書中に提供される方法又はフロー図は、汎用コンピュータ又はプロセッサによって実行されるためにコンピュータ可読記憶媒体内に組み込まれる、コンピュータプログラム、ソフトウェア又はファームウェアにおいて実装され得る。コンピュータ可読記憶媒体の例は、読み取り専用メモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、レジスタと、キャッシュメモリと、半導体メモリ装置と、例えば内部ハードディスク及び取り外し可能ディスク等の磁気媒体と、光磁気媒体と、例えばＣＤ−ＲＯＭディスク及びデジタル汎用ディスク（ＤＶＤ）等の光媒体とを含む。

Claims (23)

1. 画像を圧縮する方法であって、
   前記画像を１つ以上の領域に分解することと、
   評価する前記画像の領域を選択することと、
   前記選択された領域をサブ領域に分解することと、
   前記領域が所定の圧縮合否基準を満たさない場合に、変換及び量子化設定に基づいて前記サブ領域を変換及び量子化することと、
   前記サブ領域の分割、変換及び量子化の組み合わせに基づいて、前記領域が前記所定の圧縮合否基準を満たさない場合には、前記サブ領域の分割を調整し、前記変換及び量子化設定を用いて前記調整されたサブ領域を変換及び量子化することと、
   前記所定の圧縮合否基準を満たす場合に前記領域をエンコードすることと、
   を含む、方法。
2. 前記１つ以上の領域の各々は、固定のサイズ及び形状を有する、請求項１に記載の方法。
3. 前記１つ以上の領域の各々は、可変のサイズ及び形状を有する、請求項１に記載の方法。
4. 前記変換は、選択された縦横比で前記領域の縮小操作を実行する、請求項１に記載の方法。
5. 固定又は可変ビットレート圧縮スキームを使用して、縮小後に各領域を圧縮することをさらに含む、請求項４に記載の方法。
6. 前記圧縮することは、領域ごとに、利用可能な圧縮方法のセットから圧縮方法を選択することを含み、各圧縮方法は、特定の圧縮合否基準を満たす拡縮可能な縦横比のセットに関連する、請求項５に記載の方法。
7. 前記エンコードすることは、追加の圧縮を適用することを含む、請求項１に記載の方法。
8. 前記エンコードすることは、前記エンコードされた領域と、メタデータとを記憶することを含み、前記メタデータは、前記領域に適用された前記変換及び量子化設定を指標する、請求項１に記載の方法。
9. 前記変換は、線形変換又は非線形変換を含む、請求項１に記載の方法。
10. 画像を圧縮する方法であって、
    前記画像を１つ以上の領域に分解することと、
    評価する前記画像の領域を選択することと、
    前記領域が所定の圧縮合否基準を満たさない場合に、変換及び量子化設定に基づいて前記領域を変換及び量子化することと、
    前記領域が変換及び量子化された後に前記領域が前記所定の圧縮合否基準を満たさない場合に、前記変換及び量子化設定を調整し、調整された前記変換及び量子化設定を用いて前記領域を変換及び量子化することと、
    前記所定の圧縮合否基準を満たす場合に前記領域をエンコードすることと、
    を含む、方法。
11. 前記１つ以上の領域の各々は、固定のサイズ及び形状を有する、請求項１０に記載の方法。
12. 前記１つ以上の領域の各々は、可変のサイズ及び形状を有する、請求項１０に記載の方法。
13. 前記変換及び量子化は、選択された縦横比で前記領域の縮小操作を実行する、請求項１０に記載の方法。
14. 固定又は可変ビットレート圧縮スキームを使用して、縮小後に各領域を圧縮することを含む、請求項１３に記載の方法。
15. 前記圧縮することは、領域ごとに、利用可能な圧縮方法のセットから圧縮方法を選択することを含み、各圧縮方法は、特定の圧縮合否基準を満たす拡縮可能な縦横比のセットに関連する、請求項１４に記載の方法。
16. 前記エンコードすることは、追加の圧縮を適用することを含む、請求項１０に記載の方法。
17. 前記エンコードすることは、前記エンコードされた領域と、メタデータとを記憶することを含み、前記メタデータは、前記領域に適用された前記変換及び量子化を指標する、請求項１０に記載の方法。
18. 前記変換は、線形変換又は非線形変換を含む、請求項１０に記載の方法。
19. 画像を圧縮する汎用コンピュータによって実行される命令セットを記憶するコンピュータ可読記憶媒体であって、
    前記命令セットは、
    前記画像を１つ以上の領域に分解するための分解コードセグメントと、
    評価する前記画像の領域を選択するための選択コードセグメントと、
    前記領域が所定の圧縮合否基準を満たさない場合に、変換及び量子化設定に基づいて前記領域を変換及び量子化するための第１の変換及び量子化コードセグメントと、
    前記領域が変換及び量子化された後に前記領域が前記所定の圧縮合否基準を満たさない場合に、前記変換及び量子化設定を調整するための調整コードセグメントと、
    調整された前記変換及び量子化設定を用いて前記領域を変換及び量子化するための第２の変換及び量子化コードセグメントと、
    前記所定の圧縮合否基準を満たす場合に前記領域をエンコードするためのエンコードコードセグメントと、
    を含む、コンピュータ可読記憶媒体。
20. 前記命令は、装置の製造のために使用されるハードウェア記述言語（ＨＤＬ）命令である、請求項１９に記載のコンピュータ可読記憶媒体。
21. 画像を圧縮する方法であって、
    前記画像を１つ以上の領域に分解することと、
    領域を選択することと、
    前記選択された領域を１つ以上のサブ領域に分割することと、
    サブ領域を選択することと、
    複数の変換のうち１つの変換を選択することと、
    複数の量子化器のうち１つの量子化器を選択することと、
    所定の圧縮合否基準に照らして、前記選択されたサブ領域分割、変換及び量子化器を評価することと、
    前記所定の圧縮合否基準に関して最良のサブ領域分割、変換及び量子化器を判定するために、前記サブ領域、前記サブ領域分割、前記変換及び前記量子化器の各々を繰り返し選択することと、
    前記所定の圧縮合否基準を満たす場合に、前記最良のサブ領域分割、変換及び量子化器を使用して、前記サブ領域の全てをエンコードすることと、
    を含む、方法。
22. 閾値圧縮合否基準を満たす場合に、前記繰り返し選択を早期に終結し、
    前記閾値圧縮合否基準を満たす場合に選択された前記サブ領域分割、変換及び量子化器が、前記サブ領域の全てをエンコードするために使用される、請求項２１に記載の方法。
23. 画像を圧縮する方法であって、
    前記画像を１つ以上の領域に分解することと、
    評価する前記画像の領域を選択することと、
    前記選択された領域を圧縮することと、
    前記圧縮された領域が所定の圧縮合否基準を満たさない場合に、前記圧縮された領域を、変換及び量子化設定に基づいて変換及び量子化することと、
    変換及び量子化の後に、前記変換及び量子化された領域が前記所定の圧縮合否基準を満たさない場合に、前記変換及び量子化設定を調整することと、調整された前記変換及び量子化設定を用いて、前記圧縮された領域を変換及び量子化することと、を含み、
    前記所定の圧縮合否基準を満たす場合に前記変換及び量子化された領域をエンコードすることと、
    を含む、方法。

Images