JP2006121669A - 可逆の色変換を用いてモザイク状画像データをエンコードするためのシステムおよび方法 - Google Patents

Abstract

【課題】 モザイク状サンプリングパターン（ベイヤーカラーフィルタアレイによって生成されたものなど）中の画像ピクセル値を、矩形サンプリングパターンに対応する４つの色チャネルにマップする新しい色空間を提供する。
【解決手段】 これらの新しいチャネルは、矩形サンプリンググリッドに対応するので、圧縮などの処理ステップにはるかに順応する。一実施形態では、元のモザイクパターンピクセルから新しい４チャネル色空間への変換を、整数演算で可逆にすることができる。これにより、モザイク状（例えば未加工、または未加工の電荷結合素子ＣＣＤ）画像のための効率的なロスレス画像圧縮システムの実装が可能になる。
【選択図】 図５Ａ

Description

本発明は、カラー画像データのエンコーディングおよびデコーディングのためのシステムおよび方法を対象とする。より詳細には、本発明は、可逆の色変換を利用して、モザイク状サンプリングパターン（ｍｏｓａｉｃｅｄ ｓａｍｐｌｉｎｇ ｐａｔｔｅｒｎ）でフォーマット化された画像データを圧縮するためのシステムおよび方法を対象とする。

通常のデジタルカメラは、単一の感光センサとカラーフィルタアレイを使用している。カラーフィルタアレイ中の各ピクセルエレメントは、単一の色成分（通常は赤、緑、または青）の強度情報を記録する。ほとんどのアプリケーションでは、取り込まれたデータはフルカラー画像に補間され、次いで圧縮される。好ましいカラーフィルタアレイとして、ベイヤー（Ｂａｙｅｒ）パターンのカラーフィルタアレイがしばしば使用される。このタイプのフィルタでは、緑のフィルタに赤と青のフィルタがインターレースされる。

しかし、圧縮後ではなく圧縮前に色補間が行われると、よりよい画質およびより高い圧縮率を達成できることがわかっている。通常、画像圧縮の目標は、高画質を維持しながら圧縮データの圧縮率を高めることである。

しかし、データ圧縮前に補間するシステムであっても、既知の画像圧縮システムには様々な問題がある。例えば、カラーフィルタアレイデータをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮で直接圧縮すると、品質の劣る画像が得られる。しかし、ベイヤーパターンのカラーフィルタアレイデータを３つの主成分（赤、緑、青）に分離した場合、赤および青の成分はコンパクトな矩形アレイにダウンサンプリングすることができ、直接圧縮することができる。これを行うには、ベイヤーフォーマットに特徴的な五点形（ｑｕｉｎｃｕｎｘ）の緑のピクセルについて、圧縮に適した形態への変換を見つける必要がある。ＬｅｅおよびＯｒｔｅｇａ［３］は、ベイヤーパターンのカラーフィルタアレイから別のレンジにピクセル情報をマップする可逆変換を使用している。このマッピングは、元のインターレースされたアレイを、データを一緒にパックして菱形（ｒｈｏｍｂｕｓ）に回転させる。しかし、変換後に圧縮されることになるデータの形状は矩形ではなく、したがって通常のＪＰＥＧ圧縮には適さない。ＴｏｉおよびＯｈｉｔａ［２］は、サブバンド分解を適用して、五点形の緑のアレイを処理するために、非分離型（ｎｏｎ−ｓｅｐａｒａｂｌｅ）２次元ダイヤモンドフィルタを使用してカラーフィルタアレイデータを圧縮する。次いで、サブバンドは最適なレート歪みについてエンコードされる。画像データの再構築は、データをデコードし、合成し、補間して、結果としてのフルカラー画像を得ることによって行われる。この方法は、計算的にいくぶん高価でもあり、また、整数演算（ｉｎｔｅｇｅｒ ａｒｉｔｈｍｅｔｉｃ）において正確な可逆性（ｉｎｖｅｒｔｉｂｉｌｉｔｙ）を可能にしないのでロスレス圧縮に適さない。Ｋｏｈ、Ｍｕｋｈｅｒｊｅｅ、Ｍｉｔｒａ［４］も、フルカラー補間の前にカラーフィルタアレイデータを圧縮する方法を考案した。このシステムでは、画像の内容が圧縮および補間アルゴリズムの性能に影響を及ぼし、時として画質にも悪影響を及ぼした。

一般に、圧縮には、ロッシーとロスレスの２つのタイプがある。ロスレス圧縮（ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）では、圧縮および圧縮解除の後に正確な元のデータを復元することができ、ロッシー圧縮（ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎ）では、圧縮および圧縮解除の後、データを元のデータとはわずかに異なるように復元される。ロッシー圧縮は一般にロスレス圧縮よりもよい圧縮率を提供し、ロスレス圧縮は圧縮解除後によりよい画質を提供するという点で、この２つのタイプの圧縮の間にはトレードオフがある。

本明細書の残りの部分において、本記述は、括弧内の数字指示によって識別される様々な個別の刊行物を参照していることに留意されたい。例えば、このような参照は、「参考文献［１］」または単に「［１］」を引用することによって識別することができる。各指示に対応する刊行物のリストは、詳細な説明のセクションの終わりに見つけることができる。

本発明のシステムおよび方法は、ベイヤーデータフォーマットに特徴的なモザイクパターンのピクセルを、通常パターンに対応する４つの色チャネルにマップすることによって、以前の画像圧縮スキームについての前述の制限を克服する。本発明のいくつかの実施形態では、整数の大きさを有する正および逆変換行列（ｄｉｒｅｃｔ ａｎｄ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｃｅｓ）を利用する。これにより、計算複雑度が低減され、ロスレス圧縮を容易に達成することができる。そして、これらの可逆の色変換と、各色チャネルのロスレスコーデックとを使用して、デジタルカメラからの未加工（ｒａｗ）の電荷結合素子（ＣＣＤ）データのためのロスレス圧縮システムを構築することができる。

本発明は、モザイク状サンプリングパターン（ベイヤーカラーフィルタアレイ［１］によって生成されたものなど）中の画像ピクセル値を、矩形サンプリングパターンに対応する４つの色チャネルにマップする新しい色空間を備える。これらの新しいチャネルは、矩形サンプリンググリッドに対応するので、圧縮などの処理ステップにはるかに順応する。

本発明の追加の一態様では、元のモザイクパターン化されたピクセルから新しい４チャネル色空間への変換を、整数演算で可逆（ｒｅｖｅｒｓｉｂｌｅ）にすることができる。これにより、モザイク状（例えば未加工、または未加工のＣＣＤ）画像のための効率的なロスレス画像圧縮システムの実装が可能になる。本発明のシステムおよび方法の実動の一実施形態では、この変換をＰＴＣ（Ｐｒｏｇｒｅｓｓｉｖｅ Ｔｒａｎｓｆｏｒｍ Ｃｏｄｅｃ）［７］で使用したところ、ピクセル値予測（ＰＮＧ「ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ」など）に基づくシステムよりもよい圧縮結果および低い計算複雑度が得られた。ただし、この変換は、どのような従来のコーデックにも適用することができる。

ロスレス圧縮が必要でないとき、本発明の一実施形態は、ロッシー結果も提供する。この場合、本発明の４チャネル変換を、任意のロッシー画像コーデックと結合して、整数可逆（ｉｎｔｅｇｅｒ−ｒｅｖｅｒｓｉｂｌｅ）か、または複雑度の低減された形態のいずれかで使用することができる。

本発明のシステムおよび方法は、相対的に低い計算複雑度で未加工のＣＣＤカメラデータの効率的な圧縮を可能にし、したがってこれはカメラ製造業者にとって魅力的である。本発明のシステムおよび方法はまた、より高い画質を提供し、データを他の場所に転送するための帯域幅要件の低減と、画像データを記憶媒体に保存するための記憶要件の低減とを提供する。

本発明のシステムおよび方法によってまた、ロスレス圧縮とロッシー圧縮（ＰＴＣなど）の両方をサポートするコーデックをモザイク状センサのデジタルカメラで使用して、高圧縮（ロッシー）フォーマットと最大忠実度の未加工（ロスレス）フォーマットの両方をサポートすることができるようになる。これは、ロッシー圧縮とロスレス圧縮について別個のコーデックが採用され、ファームウェアサイズまたはチップゲートカウントが増大する未加工モードをサポートする現行のデジタルカメラに勝る利点である。

上述した利益に加えて、本発明の他の利点も、添付の図面と共に後続の詳細な説明から明らかになるであろう。

本特許出願の対応米国特許出願は、少なくとも１つのカラー図面を含んでいる。カラー図面付きのこの特許出願のコピーは、請求および必要な料金を支払いにより、米国特許商標庁から提供されるであろう。

本発明の具体的な特徴、態様、利点は、以下の説明、添付の特許請求の範囲、添付の図面に関してよりよく理解されよう。

本発明の好ましい実施形態に関する以下の説明では、本明細書の一部をなす添付の図面を参照する。図面には、例示として、本発明を実施することのできる具体的な実施形態を示す。本発明の範囲を逸脱することなく、他の実施形態を利用することもでき、また構造上の変更を加えることもできることを理解されたい。

１．０ 例示的な動作環境
図１に、本発明を実施することのできる適したコンピューティングシステム環境１００の一例を示す。コンピューティングシステム環境１００は、適したコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲についていかなる限定を意図するものでもない。またコンピューティング環境１００は、この例示的な動作環境１００に示すコンポーネントの任意の１つまたは組合せに関していかなる依存や要件を有するものとも解釈すべきではない。

本発明は、その他多くの汎用または専用のコンピューティングシステム環境または構成でも機能する。本発明と共に使用するのに適するであろう周知のコンピューティングシステム、環境、および／または構成の例には、限定しないがパーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータや、これらのシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれる。

本発明は、プログラムモジュールなど、コンピュータによって実行されるコンピュータ実行可能命令の一般的なコンテキストで記述することができる。一般に、プログラムモジュールは、特定のタスクを行うか、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本発明は分散コンピューティング環境で実施することもでき、その場合、タスクは通信ネットワークを介してリンクされたリモート処理デバイスによって実行される。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルおよびリモートの両方のコンピュータ記憶媒体に位置することができる。

図１を参照すると、本発明を実施するための例示的なシステムは、コンピュータ１１０の形態の汎用コンピューティングデバイスを含む。コンピュータ１１０のコンポーネントには、限定しないが処理ユニット１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステムコンポーネントを処理ユニット１２０に結合するシステムバス１２１を含むことができる。システムバス１２１は、メモリバスまたはメモリコントローラ、周辺バス、様々なバスアーキテクチャのいずれかを用いたローカルバスを含め、いくつかのタイプのバス構造のいずれかとすることができる。限定ではなく例として、このようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス（メザニンバスとも呼ばれる）が含まれる。

コンピュータ１１０は通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０からアクセスできる任意の利用可能な媒体とすることができ、揮発性および不揮発性の媒体、リムーバブルおよび非リムーバブルの媒体の両方が含まれる。限定ではなく例として、コンピュータ可読媒体には、コンピュータ記憶媒体および通信媒体を含めることができる。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータなどの情報を格納するための任意の方法または技術で実現された、揮発性および不揮発性、リムーバブルおよび非リムーバブルの両方の媒体が含まれる。コンピュータ記憶媒体には、限定しないがＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイスが含まれ、あるいは、所望の情報を格納するのに使用できコンピュータ１１０からアクセスできるその他の任意の媒体が含まれる。通信媒体は通常、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを、搬送波やその他のトランスポート機構などの変調データ信号に具体化し、任意の情報送達媒体がこれに含まれる。用語「変調データ信号」は、情報を信号にエンコードするような形でその１つまたは複数の特性を設定または変更した信号を意味する。限定ではなく例として、通信媒体には、有線ネットワークや直接配線接続などのワイヤ媒体と、音響、無線周波数、赤外線などのワイヤレス媒体およびその他のワイヤレス媒体とが含まれる。以上の任意の組合せもコンピュータ可読媒体の範囲に含まれるべきである。

システムメモリ１３０は、読取り専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。起動中などにコンピュータ１１０内の要素間で情報を転送するのを助ける基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）１３３は、通常ＲＯＭ１３１に格納されている。ＲＡＭ１３２は通常、処理ユニット１２０によってすぐにアクセス可能そして／または現在操作されているデータおよび／またはプログラムモジュールを収容する。限定ではなく例として、図１に、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、プログラムデータ１３７を示す。

コンピュータ１１０は、その他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。例にすぎないが、図１には、非リムーバブルな不揮発性の磁気媒体に対して読み書きするハードディスクドライブ１４１と、リムーバブルな不揮発性の磁気ディスク１５２に対して読み書きをする磁気ディスクドライブ１５１と、ＣＤ ＲＯＭやその他の光媒体などリムーバブルな不揮発性の光ディスク１５６に対して読み書きをする光ディスクドライブ１５５を示す。この例示的な動作環境で使用できるその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピュータ記憶媒体には、限定しないが磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれる。ハードディスクドライブ１４１は通常、インターフェース１４０などの非リムーバブルメモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は通常、インターフェース１５０などのリムーバブルメモリインターフェースでシステムバス１２１に接続される。

以上に論じ、図１に示したドライブおよびそれらに関連するコンピュータ記憶媒体は、コンピュータ１１０のためのコンピュータ可読命令、データ構造、プログラムモジュール、その他のデータのストレージを提供する。例えば、図１には、ハードディスクドライブ１４１がオペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、プログラムデータ１４７を格納しているものとして示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、プログラムデータ１３７と同じものとすることもでき、異なるものとすることもできることに留意されたい。ここでは、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、プログラムデータ１４７が少なくとも異なるコピーであることを示すために、異なる番号を付けてある。ユーザは、キーボード１６２、マウスやトラックボールやタッチパッドと一般に呼ばれるポインティングデバイス１６１などの入力デバイスを介して、コンピュータ１１０にコマンドおよび情報を入力することができる。その他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星受信アンテナ、スキャナなどを含むことができる。これらおよびその他の入力デバイスは、システムバス１２１に結合されたユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されることが多いが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など、その他のインターフェースおよびバス構造で接続されてもよい。モニタ１９１または他のタイプの表示デバイスも、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。モニタに加えて、コンピュータは通常、スピーカ１９７やプリンタ１９６など、その他の周辺出力デバイスを備えることもでき、これらは出力周辺インターフェース１９５を介して接続することができる。本発明に特に重要なこととして、一連の画像１６４を取り込むことのできるカメラ１６３（デジタル／電子スチルまたはビデオカメラ、あるいはフィルム／写真スキャナなど）も、パーソナルコンピュータ１１０への入力デバイスとして含めることができる。さらに、１つのカメラだけを示しているが、複数のカメラをパーソナルコンピュータ１１０への入力デバイスとして含めることもできる。１つまたは複数のカメラからの画像１６４は、適切なカメラインターフェース１６５を介してコンピュータ１１０に入力される。このインターフェース１６５はシステムバス１２１に接続され、それにより、画像がＲＡＭ１３２に、またはコンピュータ１１０に関連するその他のデータ記憶デバイスの１つにルートされ、格納されるようにすることができる。ただし画像データは、カメラ１６３の使用を必要とせずに、前述のコンピュータ可読媒体のいずれかからコンピュータ１１０に入力されることもあることに留意されたい。

コンピュータ１１０は、リモートコンピュータ１８０など、１つまたは複数のリモートコンピュータへの論理接続を用いて、ネットワーク化された環境で動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の一般的なネットワークノードとすることができ、通常はコンピュータ１１０に関して上述した要素の多くまたはすべてを含むが、図１にはメモリ記憶デバイス１８１だけを示している。図１に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３を含むが、その他のネットワークを含むこともある。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、インターネットでよくみられる。

ＬＡＮネットワーキング環境で使用されるときは、コンピュータ１１０は、ネットワークインターフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用されるときは、コンピュータ１１０は通常、インターネットなどのＷＡＮ１７３を介した通信を確立するためのモデム１７２またはその他の手段を備える。モデム１７２は内蔵でも外付けでもよく、ユーザ入力インターフェース１６０またはその他の適切な機構を介してシステムバス１２１に接続することができる。ネットワーク化された環境では、コンピュータ１１０に関して示したプログラムモジュールまたはその一部をリモートのメモリ記憶デバイスに格納することができる。限定ではなく例として、図１には、リモートアプリケーションプログラム１８５がメモリデバイス１８１上にあるものとして示されている。図示のネットワーク接続は例示的なものであり、コンピュータ間で通信リンクを確立するための他の手段を使用してもよいことは理解されるであろう。

例示的な動作環境について論じたが、本説明セクションの残りの部分は、本発明を具体化するプログラムモジュールの説明に充てる。

２．０ 可逆の色変換を利用してモザイク状画像データをエンコードするためのシステムおよび方法
以下のセクションで、本発明によるシステムおよび方法について詳細に述べる。

２．１ 本発明の全体的な説明
本発明は、モザイク状サンプリングパターン（ベイヤーカラーフィルタアレイ［１］によって生成されるものなど）の画像ピクセル値を、矩形サンプリングパターンに対応する４つの色チャネルにマップする新しい色空間を備える。これらの新しいチャネルは、矩形サンプリンググリッドに対応するので、圧縮などの処理ステップにはるかに順応する。

本発明の追加の一態様では、元のモザイクパターンピクセルから新しい４チャネル色空間への変換を、整数演算で可逆とすることができる。これにより、モザイク状（例えば未加工、または未加工の電荷結合素子（ＣＣＤ））画像のための効率的なロスレス画像圧縮システムの実装が可能になる。この変換をＰＴＣコーデック［７］中で使用したところ、ピクセル値予測（ＰＮＧ「ｐｏｒｔａｂｌｅ ｎｅｔｗｏｒｋ ｇｒａｐｈｉｃｓ」など）に基づくシステムよりもよい圧縮結果および低い計算複雑度が得られた。ただし、本発明のシステムおよび方法は、ロスレスおよびロッシーの両方の圧縮に使用することができる。

図２に、単一ＣＣＤデジタルカメラからのピクセル値２０２の典型的なパターンを示す。様々なカメラにより様々なパターンを使用することがあるが、ほぼすべてのカメラは、緑（Ｇ）ピクセルの数が赤（Ｒ）および青（Ｂ）ピクセルの２倍であるベイヤー設計に従い、緑のピクセル同士および赤と青の各ペアが対角線上で隣接している（五点形パターン）。

ピクセルが図２のようにパターン化されている画像を圧縮したい場合、ピクセル値を単一チャネル（例えばグレースケール）画像用に設計された標準的な圧縮器に単純に供給することはできない。値のジャンプ（隣接するピクセル同士が同じ色でないため）が、圧縮データのサイズを大幅に増大する高周波数成分を生み出す。

本発明は、図２のようなパターン化された画像を、元のサイズの４分の１である４つの画像にマップする。４つの画像のそれぞれは、独立した色チャネルと見なすことができ、これは独立して圧縮される。４つの画像は、そのピクセルが４つのチャネルのそれぞれにおいて通常のサンプリングパターンに対応するので、平滑である。それゆえ、どのようなロスレス画像圧縮器でも、よく圧縮される。

本発明は、図２のようなモザイクパターンピクセルを、通常パターンに対応する４つの色チャネルにマップする方法である。基本的な考え方は、図２のようなベイヤーサンプリンググリッドが２×２ブロックのピクセルごとに規則的であるという観察からくる。この２×２ピクセルブロックを「マクロピクセル」と呼ぶ。したがって、元のモザイク状画像の各２×２マクロピクセルにつき、そのＧ１、Ｇ２、Ｒ、Ｂ値を、４つのチャネルＹ、Ｄｇ、Ｃｏ、Ｃｇに対応する４つの新しいピクセルにマップする。このようにして、これらチャネルのそれぞれは、図３に示すように規則的にサンプルされた新しい画像を生成する。より具体的には、元の３チャネルのベイヤーモザイク状画像３０２は、元の４分の１のサイズである４つの通常画像３０４、３０６、３０８、３１０にマップされ、それぞれがチャネル｛Ｙ，Ｄｇ，Ｃｏ，Ｃｇ｝の１つに対する。元のモザイク状画像がＮ×Ｎピクセルを有する場合、色チャネル画像のそれぞれはＮ／２×Ｎ／２ピクセルを有する。

マクロピクセルＧ１、Ｇ２、Ｒ、Ｂ値のセットから、４つの変換後の色チャネルの４つのピクセル値Ｙ、Ｄｇ、Ｃｏ、Ｃｇへのマッピングは、次式によって与えられる。

逆変換は次式によって与えられることが簡単にわかる。

ＹＤｇＣｏＣｇ色空間は、以下のとおり、いくつかの興味深いプロパティを有する。
・ Ｙチャネルは、マクロピクセル中の元の４つの値すべてのまさに平均であり、緑の貢献は５０％、ＲおよびＢの貢献は２５％である。したがって、Ｙはルミナンスチャネル（ｌｕｍｉｎａｎｃｅ ｃｈａｎｎｅｌ）と見なすことができる。つまり、Ｙは画像のグレースケール情報を含む。Ｙのダイナミックレンジは、元のＧ１、Ｇ２、Ｒ、Ｂピクセルのそれぞれのダイナミックレンジと同じである。
・ Ｄｇ、Ｃｏ、Ｃｇはすべて色チャネルである。マクロピクセルが値Ｇ１＝Ｇ２＝Ｒ＝Ｂを有する場合、このマクロピクセルはまさにグレーレベルであり、Ｄｇ＝Ｃｏ＝Ｃｇ＝０である。
・ Ｄｇは「差分緑（ｄｉｆｆｅｒｅｎｃｅ ｇｒｅｅｎ）」チャネルである。元画像のピクセル値が平滑であるほど、望まれるように、Ｄｇピクセルの値は小さい。
・ 以前のＹＣｏＣｇ色空間設計［９］と同様、Ｃｇは「過剰緑（ｅｘｃｅｓｓ ｇｒｅｅｎ）」チャネルである。式２でわかるように、元の緑の値は、ルミナンスＹ、差分緑Ｄｇ、過剰緑Ｃｇだけから再構築することができる。Ｃｏは、オレンジのチャネルのようなものである（完全にそうではないが）。というのは、入力ピクセルがＲ＝最大値およびＢ＝最小値を有するときに値Ｃｏは最大であり、中間点がオレンジである赤と黄色の間の色相（ｃｏｌｏｒ ｈｕｅ）（緑の値によって決まる）に対応するためである。

式（１）および（２）中の正および逆変換行列の興味深い特徴の１つは、それらのエントリが０、１／４、１／２、または１に等しい大きさを有することである。ピクセル値が整数の場合、これらのファクタによる乗算は右シフト演算子によって実装することができるので、これは計算複雑度の低減につながる。

通常、ベイヤーモザイク状（未加工）画像は、ベイヤーパターンを考慮しながら以前にエンコードした近傍値に基づいて未加工の画像中の特定ピクセルの値を予測する非線形プレディクタ（ｎｏｎｌｉｎｅａｒ ｐｒｅｄｉｃｔｏｒｓ）によってエンコードされる。いくつかの刊行物では、ベイヤーモザイク状｛Ｒ，Ｇ１，Ｇ２，Ｂ｝データをルミナンスおよびクロミナンスチャネルにマップするために色空間変換の使用を検討している［３］［４］が、これらは２つのルミナンスチャネルおよび２つの色チャネルを使用しており、本発明によるシステムおよび方法の４チャネル空間よりも高いエントロピー表現につながる（本発明はルミナンスチャネルが１つだけなので）。さらに、［３］［４］の変換行列は、それらのエントリが分数なので、式（１）（２）の変換行列よりも複雑度が高い。最後に、［３］［４］の構成は、整数演算での正確な可逆性（ｉｎｖｅｒｔｉｂｉｌｉｔｙ）を可能にせず、したがってロスレス圧縮などの用途には適さない。

図４に、本発明によるシステムおよび方法で色空間変換を使用する例を示す。左上の画像４０２は、フル解像度の元のカラー画像であり、ピクセル位置ごとに３つの色（ＲＧＢ）がある。右上の画像４０４は、図２のサンプリングパターンに従って、元画像のベイヤーモザイク状バージョンである。これは、単一ＣＣＤカメラの出力を模擬している。左下の画像４０６は、ベイヤーモザイク状画像のズームであり、Ｒ、Ｇ、Ｂの位置のそれぞれからのジャンプ強度をはっきりと見ることができる。右下の画像４０８は、本発明のＹＤｇＣｏＣｇ変換によって形成された４つのサブ画像を示す（左上から時計回りにＹ、Ｄｇ、Ｃｇ、Ｃｏ）。ベイヤーモザイク状画像中のピクセル値の不連続性は明白であり、そのため、この画像を単一チャネルの圧縮器に直接供給すべきではない。本発明の４チャネル色空間変換によって生成された４つのサブ画像はかなり平滑であり、したがって圧縮しやすい。さらに、ほとんどの情報はＹ（ルミナンスチャネル）中にあることがわかる。Ｄｇ画像は、緑の階調度が最大であるところのまさに詳細を示し、ＣｏおよびＣｇ画像は、色情報しか含まないため非常にソフトである。それゆえ、Ｄｇ、Ｃｏ、Ｃｇのサブ画像は通常、それぞれＹのサブ画像の圧縮バージョンよりもかなり小さいサイズに圧縮することができる。

２．２ 整数演算の正確な逆（ｉｎｖｅｒｓｉｏｎ）
本発明の新しい４チャネル色空間変換の主要なアプリケーションの１つは、未加工（ベイヤーモザイク状）画像のロスレス圧縮である。このためには、元の｛Ｒ，Ｇ１，Ｇ２，Ｂ｝ピクセルを圧縮のために変換後の｛Ｙ，Ｄｇ，Ｃｏ，Ｃｇ｝ピクセルにマップできる必要があるだけでなく、圧縮後に、デコードされた｛Ｙ，Ｄｇ，Ｃｏ，Ｃｇ｝ピクセルを元の｛Ｒ，Ｇ１，Ｇ２，Ｂ｝値に正確にマップし直す必要がある。

ほぼすべてのデジタルカメラで使用されるアナログ／デジタルコンバータは整数値の出力を生成するので、ほとんどの場合、元のピクセルＧ１、Ｇ２、Ｒ、Ｂの値は整数である。通常、変換したピクセル値Ｙ、Ｄｇ、Ｃｏ、Ｃｇも整数値であることが望まれ、特に、これらの値をロスレス圧縮器に供給したい場合はそうである。整数演算を使用する場合、式（１）および（２）中の１／４または１／２に等しいファクタによる乗算は、小さい打切り誤差につながる（例えば、整数演算では１／２×３３３＝３３３＞＞１＝１６６に対し、正確な値は１６６．５であろう）。これらの誤差は、小さいものの、変換後の整数Ｙ、Ｄｇ、Ｃｏ、Ｃｇ値から元のＧ１、Ｇ２、Ｒ、Ｂ値を正確に再構築するのを妨げることになる。したがって、式（２）が実数に対する数学的に正確な逆を表すものであっても、この逆は整数演算では正確ではない。

しかし、本発明は、整数演算による正確な逆が達成されるようにし、式（１）および（２）中の正および逆変換を計算する方法も備える。これにより、例えば、図５Ａおよび５Ｂのブロック図により、未加工ＣＣＤ（モザイク状）画像のためのロスレス画像圧縮システムの実装が可能になる。

図５Ａに、本発明の１つのロスレスの実施形態のエンコーダ５０２を示す。このエンコーダは、チャネルスプリッタ５０４と、４チャネル正色変換モジュール５０６と、４つのロスレスエンコーダ５０８ａ、５０８ｂ、５０８ｃ、５０８ｄと、マルチプレクサ５１０とを含む。図６Ａに、エンコーディングプロセスの例示的なフローチャートを示す。図６Ａのプロセス動作６０２に示すように、未加工ＣＣＤデータがチャネルスプリッタに入力される。チャネルスプリッタは、プロセス動作６０４に示すように、未加工ＣＣＤデータ（ベイヤーフォーマットのもの）をマクロピクセルベースで（例えばベイヤーフォーマットの隣接ピクセルＲ、Ｇ１、Ｇ２、Ｂのセットごとに）４つのチャネルＲ、Ｇ１、Ｇ２、Ｂに分割する。次いで、４チャネル正色変換が、Ｒ、Ｇ１、Ｇ２、ＢチャネルをＹ、Ｄｇ、Ｃｏ、Ｃｇ色空間またはＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに変換する（プロセス動作６０６）。この結果、Ｙ、Ｄｇ、Ｃｏ、Ｃｇ成分について、それぞれが元の入力データの４分の１のサイズである４つのサブ画像が得られる。４つのサブ画像は、それぞれロスレスエンコーダに入力される（プロセス動作６０８）。４つのエンコードチャネル（各サブ画像につき１つ）は、次いで組み合わされて（プロセス動作６１０）、エンコードファイルまたはビットストリームが得られる。

図５Ｂに、デコーダ５１４を示す。このデコーダは、デマルチプレクサ５１６と、４つのロスレスデコーダ５１８ａ、５１８ｂ、５１８ｃ、５１８ｄと、４チャネル逆色変換５２０と、チャネルコンバイナ５２２とを含む。図６Ｂに、デコーディングプロセスの例示的なフローチャートを示す。図６Ｂのプロセス動作６１２に示すように、エンコードファイルまたはビットストリームがデマルチプレクサに入力され、デマルチプレクサは、エンコードファイルまたはビットストリームを別個のエンコードチャネルに分離する（プロセス動作６１４）。別個のエンコードチャネルは、それぞれロスレスデコーダに入力され、ロスレスデコーダは、各エンコードチャネルをＹ、Ｄｇ、Ｃｏ、Ｃｇ成分にデコードする（プロセス動作６１６）。次いで、４チャネル逆色変換が、Ｙ、Ｄｇ、Ｃｏ、Ｃｇ成分をＲ、Ｇ１、Ｇ２、Ｂチャネルに変換する（プロセス動作６１８）。次いで、プロセス動作６２０に示すように、チャネルコンバイナが、Ｒ、Ｇ１、Ｇ２、ＢチャネルをデコードＣＣＤデータ（ベイヤーフォーマットのもの）に組み合わせる。

式（１）および（２）中の正変換／逆変換のペアを整数可逆（ｉｎｔｅｇｅｒ−ｒｅｖｅｒｓｉｂｌｅ）に実装するための鍵は、１／２および１／４による乗算において打切り誤差のシーケンスを正確に制御することである。一実装形態では、この構成は、［７］［９］の可逆２×２ラダー構造に基づく。

２．３ ＹＤｇＣｏＣｇ−Ｒ正変換および間接変換
ＰＴＣコーデック［７］［９］で使用されるＹＣｏＣｇ−Ｒ変換と同様、本発明の整数可逆の４チャネル色変換を、ＹＤｇＣｏＣｇ−Ｒ変換と呼ぶ。すべての元のピクセル値と変換ピクセル値が整数であることを考えると、正および逆ＹＤｇＣｏＣｇ−Ｒ変換は、次の擬似コードによって指定される。

ＹＤｇＣｏＣｇ−Ｒ正変換：
Ｃｏ＝Ｒ−Ｂ；
Ｄｇ＝Ｇ２−Ｇ１；
ｕ＝Ｂ＋（Ｃｏ＞＞１）； （３）
ｖ＝Ｇ１＋（Ｄｇ＞＞１）；
Ｃｇ＝ｖ−ｕ；
Ｙ＝ｕ＋（Ｃｇ＞＞１）；
ＹＤｇＣｏＣｇ−Ｒ逆変換：
ｕ＝Ｙ−（Ｃｇ＞＞１）；
ｖ＝ｕ＋Ｃｇ；
Ｇ１＝ｖ−（Ｄｇ＞＞１）； （４）
Ｂ＝ｕ−（Ｃｏ＞＞１）；
Ｇ２＝Ｇ１＋Ｄｇ；
Ｒ＝Ｂ＋Ｃｏ；

式（４）中の逆変換が式（３）中の正変換の正確な逆であることがわかるために、逆変換が同じ中間値を復元し、それらから元の値を復元することに留意する。これは、各式の逆（ｒｅｖｅｒｓｅ）を、正確に逆の順序で行うからである。そのため、逆変換式中の打切り誤差は、正変換式のそれと同一だが、逆の符号を有する。したがって、打切り誤差は相殺される。

式（３）（４）中の計算は、図７の流れ図によって表すことができる。正および逆変換は、単純な２入力２出力のラダー演算子を繰返し適用することによって計算されることがわかる。このラダー演算子では、２つの入力ｘおよびｙが２つの出力（ｘ＋ｙ）／２およびｘ−ｙにマップされる。この２×２ラダー変換は「平均／差分ラダー」と呼ばれる［１０］。平均出力（ｘ＋ｙ）／２は小さい打切り誤差を有し、これは逆ラダーによって相殺される。このラダー構成は、可逆ブロック変換［６］［７］および可逆ウェーブレット変換［８］を含む可逆変換の多くの技法の基礎になっている。

このように、新しい可逆ＹＤｇＣｏＣｇ−Ｒ色空間変換は、以前のＹＣｏＣｇ−Ｒ可逆変換［９］の拡張である。ＹＣｏＣｇ−Ｒは、フル解像度｛Ｒ，Ｇ，Ｂ｝データをルミナンス／クロミナンスチャネルに可逆的にマップするのに有用だが、ＹＤｇＣｏＣｇ−Ｒは、ベイヤーモザイク状｛Ｒ，Ｇ，Ｂ｝データを平滑なルミナンス／クロミナンスチャネルに可逆的にマップするのに有用である。

２．４ スケールされた変換
いくつかのアプリケーションでは、整数演算で正確な可逆性を維持する必要はないが、それでもやはり、ベイヤーモザイク状画像と、等価な４色チャネル表現との間で効率的なマッピングを望む場合がある。一例はロッシー圧縮である。つまり、図５Ａおよび５Ｂと同様だが、エンコーダおよびデコーダがロッシーなシステムである。このようなシステムは、デジタルカメラ中でベイヤーモザイク状ＣＣＤセンサによって生成された画像のロッシー圧縮を行う効率的な方法となる可能性がある。これは、最初にモザイク除去（ｄｅｍｏｓａｉｃｉｎｇ）（補間）フィルタを適用して、得られた３チャネルＲＧＢ画像をＪＰＥＧなどのロッシー圧縮器でエンコードする従来のアプローチよりもよい結果につながる可能性がある。

整数演算で正確な可逆性を必要としない場合、単に正変換の行および逆変換の列を適切にスケールすることによって、正および逆変換行列を単純化することができる。例えば、Ｃｏ、Ｃｇ、Ｄｇチャネルを２分の１にスケールすることができ、それゆえ正変換の計算は次のようになる。

この場合、逆変換は次式によって与えられる。

この形態では、逆変換は非常に単純である。これは加算と減算だけで、乗算もシフトも伴わない。したがって、上の形態は、デコーダの複雑度がエンコーダの複雑度よりも重要なアプリケーションで魅力的である。

同様に、正変換の計算をより単純にする仕方で行列をスケールすることができる。最も単純な形態は以下のとおりである。

この場合、逆変換は次式によって与えられる。

式（１）および（２）における元の公式化は、正変換と逆変換の計算複雑度が同じであるという点で、バランスのとれた実装形態につながる。加えて、前に示したように、整数演算で正確な可逆性が可能になる（ロスレス変換）。式（５）−（６）および（７）−（８）のスケールされたバージョンでは、より単純な逆変換またはより単純な正変換が、それぞれ可能になる。

式（１）−（２）中のスケーリングは、ロスレス変換を生み出すことのできる唯一のものではないことに留意されたい。図７のラダー型回路網に適切な修正を加えることで、その他のスケーリングもロスレス変換を生み出すことができる。このような変形形態は本発明の些細な拡張であり、したがってこれらすべてを明示的に述べる必要はない。

未加工ＣＣＤ（モザイク状）画像のためのロッシー圧縮システムの一実装形態の概略を、図８Ａおよび８Ｂのブロック図で示す。このような実装形態については、エンコーダまたはデコーダのどちらがより低い複雑度を有するかに応じて、前述のＹＤｇＣｏＣｇ正変換と逆変換のスケールされたバージョンの１つを使用することができる。

図８Ａに、本発明によるロッシー圧縮システムのためのエンコーダ８０２を示す。このエンコーダは、チャネルスプリッタ８０４と、４チャネル正色変換８０６と、４つのロッシーエンコーダ８０８ａ、８０８ｂ、８０８ｃ、８０８ｄと、マルチプレクサ８１０とを含む。図９Ａに、例示的なフローチャートを示す。図９Ａのプロセス動作９０２に示すように、未加工ＣＣＤデータがチャネルスプリッタに入力される。チャネルスプリッタは、プロセス動作９０４に示すように、未加工ＣＣＤデータ（ベイヤーフォーマットのもの）をマクロピクセルベースで４つのチャネルＲ、Ｇ１、Ｇ２、Ｂに分割する。次いで、４チャネル正色変換が、Ｒ、Ｇ１、Ｇ２、ＢをＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに変換する（プロセス動作９０６）。この結果、Ｙ、Ｄｇ、Ｃｏ、Ｃｇ成分について、それぞれが元の入力データの４分の１のサイズである４つのサブ画像が得られる。４つのサブ画像は、それぞれロッシーエンコーダに入力される（プロセス動作９０８）。４つのエンコードチャネル（各サブ画像につき１つ）は、次いで組み合わされて（プロセス動作９１０）、エンコードファイルまたはビットストリームを生じる。

図８Ｂに、デコーダ８１４を示す。このデコーダは、デマルチプレクサ８１６と、４つのロッシーデコーダ８１８ａ、８１８ｂ、８１８ｃ、８１８ｄと、４チャネル逆色変換８２０と、チャネルコンバイナ８２２とを含む。図９Ｂに、例示的なフローチャートを示す。図９Ｂのプロセス動作９１２に示すように、エンコードファイルまたはビットストリームがデマルチプレクサに入力され、デマルチプレクサは、エンコードファイルまたはビットストリームを別個のエンコードチャネルに分離する（プロセス動作９１４）。別個のエンコードチャネルはそれぞれロッシーデコーダに入力され、ロッシーデコーダは、各エンコードチャネルをＹ、Ｄｇ、Ｃｏ、Ｃｇ成分にデコードする（プロセス動作９１６）。次いで、４チャネル逆色変換が、Ｙ、Ｄｇ、Ｃｏ、Ｃｇ成分をＲ、Ｇ１、Ｇ２、Ｂチャネルに変換する（プロセス動作９１８）。次いで、プロセス動作９２０に示すように、チャネルコンバイナが、Ｒ、Ｇ１、Ｇ２、ＢチャネルをデコードＣＣＤデータ（ベイヤーフォーマットのもの）に組み合わせる。

本発明の以上の説明は、例示および説明のために提示したものである。これは、網羅的でもなく、開示した厳密な形態に本発明を限定するものでもない。前述の教示に照らして、多くの修正および変形が可能である。本発明の範囲は、この詳細な記述によってではなく、本明細書に添付された特許請求の範囲によって限定されるであろう。

（参考文献）
[1] R. Kimmel, ”Demosaicing: image reconstruction from color CCD samples,” IEEE Trans. on Image Processing, vol. 8, pp. 12211228, Sept. 1999.
[2] T. Toi and M. Ohita, ”A subband coding technique for image compression in single CCD cameras with Bayer color filter arrays,” IEEE Trans. Consumer Electronics, vol. 45, pp. 176180, Feb. 1999.
[3] S.Y. Lee and A. Ortega, ”A novel approach of image compression in digital cameras with a Bayer color filter array,” IEEE Int. Conf. Image Processing, Thessaloniki, Greece, vol. 3, pp. 482485, Oct 2001.
[4] C. C. Koh, J. Mukherjee, and S. K. Mitra, ”New efficient methods of image compression in digital cameras with color filter array,” IEEE Trans. Consumer Electronics, vol. 49, pp. 14481456, Nov. 2003.
[5] P. Lux, ”A novel set of closed orthogonal functions for picture coding,” Arch. Elek. Uebertragung, vol. 31, pp. 267274, 1977.
[6] F. A. M. K. Bruekers and A. W. M. van den Enden, ”New networks for perfect inversion and perfect reconstruction,” IEEE J. Selected Areas Commun., vol. 10, pp. 130136, Jan. 1992.
[7] H. S. Malvar, ”A system and method for progressively transform coding digital data,” U.S. Patent No. 6,771,828 issued August 3, 2004.
[8] R. C. Calderbank, I. Daubechies, W. Sweldens, and B.-L.Yeo, ”Wavelet transforms that map integers to integers,” Appl. Comput. Harmon. Anal., vol. 5, no. 3, pp. 332369, 1998.
[9] H. S. Malvar and G. Sullivan, ”YCoCg-R: a color space with RGB reversibility and low dynamic range,” Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, Doc. No. JVT-I014, Trondheim, Norway, July 2003.
[10] P. Lux, ”A novel set of closed orthogonal functions for picture coding,” Arch. Elek. Uebertragung, vol. 31, pp. 267274, 1977.

本発明を実施するための例示的なシステムを構成する汎用コンピューティングデバイスを示す図である。 単一ＣＣＤデジタルカメラに取り込まれるカラー画像の典型的なベイヤーモザイクの図であり、赤（Ｒ）および青（Ｂ）ピクセルの２倍の数の緑（Ｇ）ピクセルがある。 図２に示したような典型的な３チャネルのベイヤーモザイク状カラー画像について、元の４分の１のサイズである４つの通常画像へのマッピングを示し、それぞれがチャネル｛Ｙ，Ｄｇ，Ｃｏ，Ｃｇ｝の１つに対する図である。 本発明のシステムおよび方法による色変換の例を示す図である。左上：フル解像度の元のカラー画像であり、ピクセル位置ごとに３つの色（ＲＧＢ）がある。右上：図２のサンプリングパターンによる元画像のベイヤーモザイク状バージョンである。左下：ベイヤーモザイク状画像のズームであり、Ｒ、Ｇ、Ｂ位置のそれぞれからのジャンプ強度をはっきりと見ることができる。右下：本発明のＹＤｇＣｏＣｇ変換によって形成された４つのサブ画像である（左上から時計回りにＹ、Ｄｇ、Ｃｇ、Ｃｏ）。 本発明のシステムおよび方法のＹＤｇＣｏＣｇ可逆変換を使用する、未加工ＣＣＤ画像のための例示的な圧縮システムを示す図であり、図５Ａはエンコーダを示す。使用できるロスレス画像コーデックの１つはＰＴＣコーデック［７］である。ただし、本発明のシステムおよび方法の可逆変換は、どんなロスレス圧縮システムでも使用することができる。 本発明のシステムおよび方法のＹＤｇＣｏＣｇ可逆変換を使用する、未加工ＣＣＤ画像のための例示的な圧縮システムを示す図であり、図５Ｂは対応するデコーダを示す。使用できるロスレス画像コーデックの１つはＰＴＣコーデック［７］である。ただし、本発明のシステムおよび方法の可逆変換は、どんなロスレス圧縮システムでも使用することができる。 本発明の一実施形態によるロスレスエンコーディングプロセスのフローチャートである。 本発明の一実施形態によるロスレスデコーディングプロセスのフローチャートである。 本発明のシステムおよび方法による、ラダー演算子を介した整数可逆のＹＤｇＣｏＣｇ−Ｒ色空間変換の実装例を示す図である。上：２×２の基本的な正ラダー演算子および逆ラダー演算子である。中：正ＹＤｇＣｏＣｇ−Ｒ変換である。下：逆変換である。 本発明のシステムおよび方法のＹＤｇＣｏＣｇ可逆変換を使用する、未加工ＣＣＤ画像のための例示的なロッシー圧縮システムを示す図である。本発明によるシステムおよび方法で様々なロッシー圧縮器を使用して、望むなら、より高い圧縮率を得ることができる。図８Ａはエンコーダを示す。 本発明のシステムおよび方法のＹＤｇＣｏＣｇ可逆変換を使用する、未加工ＣＣＤ画像のための例示的なロッシー圧縮システムを示す図である。本発明によるシステムおよび方法で様々なロッシー圧縮器を使用して、望むなら、より高い圧縮率を得ることができる。図８Ｂは対応するデコーダを示す。 本発明の一実施形態によるロッシーエンコーディングプロセスのフローチャートである。 本発明の一実施形態によるロッシーデコーディングプロセスのフローチャートである。

符号の説明

１００ コンピューティングシステム環境
１１０ コンピュータ
１２０ 処理ユニット
１２１ システムバス
１３０ システムメモリ
１３１ ＲＯＭ
１３２ ＲＡＭ
１３３ ＢＩＯＳ
１３４ オペレーティングシステム
１３５ アプリケーションプログラム
１３６ その他のプログラムモジュール
１３７ プログラムデータ
１４０ 非リムーバブル不揮発性メモリインターフェース
１４１ ハードディスクドライブ
１４４ オペレーティングシステム
１４５ アプリケーションプログラム
１４６ その他のプログラムモジュール
１４７ プログラムデータ
１５０ リムーバブル不揮発性メモリインターフェース
１５１ 磁気ディスクドライブ
１５２ リムーバブルな不揮発性の磁気ディスク
１５５ 光ディスクドライブ
１５６ リムーバブルな不揮発性の光ディスク
１６０ ユーザ入力インターフェース
１６１ マウス
１６２ キーボード
１６３ カメラ
１６４ 画像
１６５ カメラ／マイクロフォンインターフェース
１６８ マイクロフォン
１７０ ネットワークインターフェース
１７１ ローカルエリアネットワーク
１７２ モデム
１７３ ワイドエリアネットワーク
１８０ リモートコンピュータ
１８１ メモリ記憶デバイス
１８５ リモートアプリケーションプログラム
１９０ ビデオインターフェース
１９１ モニタ
１９５ 出力周辺インターフェース
１９６ プリンタ
１９７ スピーカ
２０２ ピクセル値
３０２ ベイヤーモザイク状画像
５０２ エンコーダ
５０４ チャネルスプリッタ
５０６ ４チャネルダイレクト色変換
５０８ ロスレスエンコーダ
５１０ マルチプレクサ
５１４ デコーダ
５１６ デマルチプレクサ
５１８ ロスレスデコーダ
５２０ ４チャネルインバース色変換
５２２ チャネルコンバイナ
８０２ エンコーダ
８０４ チャネルスプリッタ
８０６ ４チャネルダイレクト色変換
８０８ ロッシーエンコーダ
８１０ マルチプレクサ
８１４ デコーダ
８１６ デマルチプレクサ
８１８ ロッシーデコーダ
８２０ ４チャネルインバース色変換
８２２ チャネルコンバイナ

Claims (36)

1. モザイク状画像データをエンコードするための方法であって、
   未加工の電荷結合素子（ＣＣＤ）画像データを入力するプロセス動作と、
   前記未加工ＣＣＤデータを、マクロピクセルベースで赤（Ｒ）、第１の緑（Ｇ１）、第２の緑（Ｇ２）、青（Ｂ）チャネルに分割するプロセス動作であって、各マクロピクセルは、対角線上で隣接する第１の緑および第２の緑のピクセルと、対角線上で隣接する赤と青のペアのピクセルＲ、Ｂとのセットを備えるプロセス動作と、
   前記赤、第１の緑、第２の緑、青チャネルを、Ｙ、Ｄｇ、Ｃｏ、Ｃｇ色空間チャネルに変換するプロセス動作であって、それぞれが前記元画像の４分の１のサイズの画像を表し、各マクロピクセルにつき、前記Ｙチャネルはルミナンスを表し、Ｄｇは前記第１の緑ピクセルと前記第２の緑ピクセルとの差分を表し、前記ＣｏおよびＣｇチャネルは色チャネルであるプロセス動作と、
   前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれをエンコーダで別個にエンコードするプロセス動作と
   を備えることを特徴とする方法。
2. エンコーディング後に前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルを組み合わせるプロセス動作をさらに備えることを特徴とする請求項１に記載の方法。
3. 前記組み合わされたＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルを記憶ファイルに出力するプロセス動作をさらに備えることを特徴とする請求項２に記載の方法。
4. 前記組み合わされたＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルをビットストリームとして出力するプロセス動作をさらに備えることを特徴とする請求項２に記載の方法。
5. 前記赤、第１の緑、第２の緑、青チャネルは、変換
   

   

   を使用してＹ、Ｄｇ、Ｃｏ、Ｃｇ色空間チャネルに変換されることを特徴とする請求項１に記載の方法。
6. 前記変換は、整数演算による正確な逆が達成されるように計算されることを特徴とする請求項１に記載の方法。
7. 前記変換は、各マクロピクセルにつき、
   前記赤ピクセル引く前記青ピクセルとしてＣｏを計算するプロセス動作と、
   前記第２の緑ピクセル引く前記第１の緑ピクセルとしてＤｇを計算するプロセス動作と、
   前記青ピクセル足すＣｏとして第１の中間変数ｕを計算するプロセス動作と、
   前記第１の緑ピクセル足すＤｇとして第２の中間変数ｖを計算するプロセス動作と、
   前記第２の中間変数ｖ引く前記第１の中間変数ｕとしてＣｇを計算するプロセス動作と、
   前記第１の中間ピクセルｕ足すＣｇとしてＹを計算するプロセス動作と
   によって計算されることを特徴とする請求項６に記載の方法。
8. モザイク状画像データをデコードするための方法であって、
   組み合わされたＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルを入力するプロセス動作と、
   前記組み合わされたチャネルを別個のＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに分割するプロセス動作と、
   前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれをデコーダでデコードするプロセス動作と、
   前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルを赤、第１の緑、第２の緑、青チャネルに変換するプロセス動作と、
   前記赤、第１の緑、第２の緑、青チャネルを組み合わせてモザイク状カラー画像に出力するプロセス動作と
   を備えることを特徴とする方法。
9. 前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルは、変換
   

   

   を使用することによって変換されることを特徴とする請求項８に記載の方法。
10. 前記変換は、各マクロピクセルにつき、
    Ｙ引くＣｇとして第１の中間変数ｕを計算するプロセス動作と、
    前記第１の中間変数ｕ足すＣｇとして第２の中間変数ｖを計算するプロセス動作と、
    前記第２の中間変数ｖ引くＤｇとして第１の緑ピクセルを計算するプロセス動作と、
    前記第１の中間変数ｕ引くＣｏとして青ピクセルを計算するプロセス動作と、
    前記第１の緑ピクセル足すＤｇとして第２の緑ピクセルを計算するプロセス動作と、
    前記青ピクセル足すＣｏとして赤ピクセルを計算するプロセス動作と
    によって計算されることを特徴とする請求項８に記載の方法。
11. ３色空間の画像を４色空間に変換するための方法であって、
    緑（Ｇ）ピクセルの数が赤（Ｒ）および青（Ｂ）ピクセルの２倍であり、緑ピクセル同士、および赤と青の各ペアが対角線上で隣接する３色空間の画像を入力することと、
    前記３色空間の画像をマクロピクセルに分割することであって、各マクロピクセルは、対角線上で隣接する第１の緑および第２の緑のピクセルＧ１、Ｇ２と、対角線上で隣接する赤と青のペアのピクセルＲ、Ｂとのセットを含むことと、
    各マクロピクセルにつき、前記Ｒ、Ｇ１、Ｇ２、Ｂピクセルを４色空間Ｙ、Ｄｇ、Ｃｏ、Ｃｇにマップして４つのサブ画像を得ることであって、それぞれが専らＹ、Ｄｇ、Ｃｏ、Ｃｇピクセルだけでそれぞれ構成され、Ｙはルミナンスを表し、Ｄｇは前記Ｇ１とＧ２ピクセルとの差分を表し、ＣｏおよびＣｇは色を表すことと、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇサブ画像のそれぞれを別個に圧縮することと、
    前記圧縮されたサブ画像を組み合わせることと
    を備えることを特徴とする方法。
12. 前記サブ画像のそれぞれはロスレスエンコーダで圧縮されることを特徴とする請求項１１に記載の方法。
13. 前記Ｒ、Ｇ１、Ｇ２、Ｂピクセルは、
    

    

    の倍数によってＹ、Ｄｇ、Ｃｏ、Ｃｇ色空間にマップされることを特徴とする請求項１１に記載の方法。
14. 前記Ｒ、Ｇ１、Ｇ２、Ｂピクセルは、
    

    

    によってＹ、Ｄｇ、Ｃｏ、Ｃｇ色空間にマップされることを特徴とする請求項１１に記載の方法。
15. 前記Ｇ１、Ｇ２、Ｒ、Ｂピクセルは、前記変換を単純化するために、変換
    

    

    を使用してＹ、Ｄｇ、Ｃｏ、Ｃｇ色空間にマップされることを特徴とする請求項１１に記載の方法。
16. 前記組み合わされた圧縮サブ画像をファイルに保存するプロセス動作をさらに備えることを特徴とする請求項１１に記載の方法。
17. 前記組み合わされた圧縮サブ画像をビットストリームに出力するプロセス動作をさらに備えることを特徴とする請求項１１に記載の方法。
18. 請求項１１に記載の方法を実行するためのコンピュータ実行可能命令を有することを特徴とするコンピュータ可読媒体。
19. ４色空間の画像を３色空間に変換するための方法であって、
    Ｙ、Ｄｇ、Ｃｏ、Ｃｇ色空間の画像を入力することと、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇ色空間の画像をＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに分割することと、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれをデコードすることと、
    前記デコードされたＹ、Ｄｇ、Ｃｏ、ＣｇチャネルをＲ、Ｇ１、Ｇ２、Ｂチャネルに変換することと、
    前記Ｒ、Ｇ１、Ｇ２、Ｂチャネルを組み合わせてカラー画像を得ることと
    を備えることを特徴とする方法。
20. 前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇピクセルは、変換
    

    

    を使用してデコードされることを特徴とする請求項１９に記載の方法。
21. 前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇピクセルは、前記デコーディングを単純化するために、変換
    

    

    を使用してデコードされることを特徴とする請求項２０に記載の方法。
22. 前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇピクセルは、変換
    

    

    を使用してデコードされることを特徴とする請求項２１に記載の方法。
23. カラー画像をデコードする方法であって、前記カラー画像は、
    未加工の電荷結合素子（ＣＣＤ）画像データを入力するプロセス動作と、
    前記未加工ＣＣＤデータを、マクロピクセルベースで赤（Ｒ）、第１の緑（Ｇ１）、第２の緑（Ｇ２）、青（Ｂ）チャネルに分割するプロセス動作であって、各マクロピクセルは、対角線上で隣接する第１の緑および第２の緑のピクセルと、対角線上で隣接する赤と青のペアのピクセルＲ、Ｂとのセットを備えるプロセス動作と、
    前記赤、第１の緑、第２の緑、青チャネルを、Ｙ、Ｄｇ、Ｃｏ、Ｃｇ色空間チャネルに変換するプロセス動作であって、それぞれが前記元の画像の４分の１のサイズの画像を表し、各マクロピクセルにつき、前記Ｙチャネルはルミナンスを表し、Ｄｇは前記第１の緑ピクセルと前記第２の緑ピクセルとの差分を表し、前記ＣｏおよびＣｇチャネルは色チャネルであるプロセス動作と、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれをエンコーダで別個にエンコードし、前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルを組み合わせるプロセス動作と
    によってエンコードされ、
    前記方法は、
    Ｙ、Ｄｇ、Ｃｏ、Ｃｇ色空間の画像を入力するプロセス動作と、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇの画像をＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに分割するプロセス動作と、
    前記使用されたエンコードの逆を使用して前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれを別個にデコードするプロセス動作と、
    前記デコードされたＹ、Ｄｇ、Ｃｏ、ＣｇチャネルをＲ、Ｇ１、Ｇ２、Ｂチャネルに変換するプロセス動作と、
    前記Ｒ、Ｇ１、Ｇ２、Ｂチャネルを組み合わせてカラー画像を得るプロセス動作と
    を備えることを特徴とする方法。
24. 前記画像は、変換
    

    

    を使用してＲ、Ｇ１、Ｇ２、ＢからＹ、Ｄｇ、Ｃｏ、Ｃｇに変換されており、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルは、
    

    

    を使用してＲ、Ｇ１、Ｇ２、Ｂチャネルに変換されることを特徴とする請求項２３に記載の方法。
25. 変換行列の列をスケールしてデコーディング計算を単純化することを特徴とする請求項２３に記載の方法。
26. 前記画像は、変換
    

    

    を使用してＲ、Ｇ１、Ｇ２、ＢからＹ、Ｄｇ、Ｃｏ、Ｃｇに変換されており、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルは、
    

    

    を使用してＲ、Ｇ１、Ｇ２、Ｂチャネルに変換されることを特徴とする請求項２３に記載の方法。
27. 変換行列の行をスケールしてエンコーディング計算を単純化することを特徴とする請求項２３に記載の方法。
28. 前記画像は、変換
    

    

    を使用してＲ、Ｇ１、Ｇ２、ＢからＹ、Ｄｇ、Ｃｏ、Ｃｇに変換され、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルは、変換
    

    

    を使用してＲ、Ｇ１、Ｇ２、Ｂチャネルに変換されることを特徴とする請求項２３に記載の方法。
29. 未加工ベイヤー画像をエンコードするためのシステムであって、
    未加工ベイヤー画像データを入力することと、
    前記未加工ベイヤー画像データを、マクロピクセルベースで赤（Ｒ）、第１の緑（Ｇ１）、第２の緑（Ｇ２）、青（Ｂ）チャネルに分割することであって、各マクロピクセルは、対角線上で隣接する第１の緑および第２の緑のピクセルと、対角線上で隣接する赤と青のペアのピクセルＲ、Ｂとのセットを備えることと、
    前記赤、第１の緑、第２の緑、青チャネルを、Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルに変換することであって、各チャネルは前記元の画像の４分の１のサイズの画像を表し、Ｙはルミナンスであり、Ｄｇは前記第１の緑ピクセルと前記第２の緑ピクセルとの差分であり、前記ＣｏおよびＣｇチャネルは色チャネルであることと、
    前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれをエンコードすることと
    を備えることを特徴とするシステム。
30. 前記赤、第１の緑、第２の緑、青チャネルは、変換
    

    

    を使用してＹ、Ｄｇ、Ｃｏ、Ｃｇ色空間チャネルに変換されることを特徴とする請求項２９に記載のシステム。
31. 前記Ｒ、Ｇ１、Ｇ２、Ｂチャネルは、各マクロピクセルにつき、
    前記赤ピクセル引く前記青ピクセルとしてＣｏを計算することと、
    前記第２の緑ピクセル引く前記第１の緑ピクセルとしてＤｇを計算することと、
    前記青ピクセル足すＣｏとして第１の中間変数ｕを計算することと、
    前記第１の緑ピクセル足すＤｇとして第２の中間変数ｖを計算することと、
    前記第２の中間変数ｖ引く前記第１の中間変数ｕとしてＣｇを計算することと、
    前記第１の中間ピクセルｕ足すＣｇとしてＹを計算することと
    によって、Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルに変換されることを特徴とする請求項２９に記載のシステム。
32. 前記チャネルは、２つの入力ｘおよびｙが２つの出力（ｘ＋ｙ）／２およびｘ−ｙにマップされる２入力２出力のラダー演算子の繰返しの適用を用いて変換されることを特徴とする請求項３１に記載のシステム。
33. 未加工ベイヤー画像をデコードするためのシステムであって、
    Ｙ、Ｄｇ、Ｃｏ、Ｃｇの画像を入力することと、
    前記画像をＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに分割することと、
    エンコードプロセスの逆を使用して前記Ｙ、Ｄｇ、Ｃｏ、Ｃｇチャネルのそれぞれをデコードすることと、
    前記デコードされたＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルを赤、第１の緑、第２の緑、青チャネルに変換することと、
    前記赤、第１の緑、第２の緑、青チャネルを組み合わせてカラー画像を得ることと
    を備えることを特徴とするシステム。
34. 前記デコードされたＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルに適用される前記変換は、
    

    

    を備えることを特徴とする請求項３３に記載のシステム。
35. 前記デコードされたＹ、Ｄｇ、Ｃｏ、Ｃｇチャネルは、各マクロピクセルにつき、
    Ｙ引くＣｇとして第１の中間変数ｕを計算することと、
    前記第１の中間変数ｕ足すＣｇとして第２の中間変数ｖを計算することと、
    前記第２の中間変数ｖ引くＤｇとして第１の緑ピクセルを計算することと、
    前記第１の中間変数ｕ引くＣｏとして青ピクセルを計算することと、
    前記第１の緑ピクセル足すＤｇとして第２の緑ピクセルを計算することと、
    前記青ピクセル足すＣｏとして赤ピクセルを計算することと
    によって、Ｒ、Ｇ１、Ｇ２、Ｂチャネルに変換されることを特徴とする請求項３３に記載のシステム。
36. 前記チャネルは、２つの入力ｘおよびｙが２つの出力（ｘ＋ｙ）／２およびｘ−ｙにマップされる２入力２出力のラダー演算子の繰返しの適用を用いて変換されることを特徴とする請求項３５に記載のシステム。
    

Images