JP2011514750A - 補間システムおよび方法 - Google Patents

Abstract

補間システムおよび方法を開示する。特定の実施形態では、画像データを受け取る入力部を含むシステムを開示する。また、システムはデモザイクモジュールを含み、画像データに応答する画像処理システムを含む。デモザイクモジュールは、適応型バイキュービックスプライン補間を使用するように構成されている。システムは、画像処理システムに応答して出力データを提供するように適応された出力部をさらに含む。

Description

本開示は、一般に補間システムおよび方法に関する。

技術が進歩した結果、より小型でより強力な計算装置が開発された。例えば現在、小型軽量で利用者が容易に運ぶことができる携帯無線電話機、携帯情報端末（ＰＤＡ）およびページング装置などのワイアレスコンピューティング機器を含む、様々な携帯用パーソナルコンピューティング機器が存在する。より具体的には、携帯電話やＩＰ電話などの携帯無線電話機は、無線ネットワークを介して音声およびデータパケットを通信することができる。さらに、そのような無線電話機の多くはそこに組み込まれた他の種類の機器を含んでいる。例えば、無線電話機はディジタルスチルカメラ、ディジタルビデオカメラ、ディジタルレコーダおよびオーディオファイルプレーヤも含むことができる。また、そのような無線電話機はウェブブラウザアプリケーションなど、インターネットにアクセスするために使用できるソフトウェアアプリケーションを含む実行可能な命令を処理することができる。そのため、これらの無線電話機は優れた計算能力を含むことができる。

ディジタル信号プロセッサ（ＤＳＰ）、画像処理プロセッサおよび他の処理デバイスは多くの場合、ディジタルカメラを含むか、またはディジタルカメラで取り込まれた画像またはビデオデータを表示する携帯用パーソナルコンピューティング機器で使用される。そのような処理デバイスを利用すると、ビデオおよびオーディオの機能を提供したり、画像データなどの受信データを処理したり、または他の機能を行うことができる。

デモザイクは、そのような処理デバイスによって実行できる機能の一例である。スチルカメラおよびビデオカメラを含むディジタルカメラは多くの場合、色情報を取り込むために赤、緑および青の色フィルタのモザイクで覆われているシングルチップの画像センサを使用する。各画素位置では、３つのカラー値(color value)のうち１つだけを識別することができる。一般的に、デモザイクとは赤、緑および青のカラーチャネルを推定するために、１つまたは複数の画素位置で欠けているカラー値を補間することを指している。

特定の実施形態では、色フィルタアレイ画像で欠けている緑画素の値を補間する方法を開示する。未知の緑画素の値の１次推定値を取得するには、高速な補間アルゴリズムが使用される。緑チャネルの最初の推定は、空間的に適応可能な非線形フィルタを介して精度が上げられる。本明細書では、これを適応型バイキュービックスプライン補間器と呼ぶ。緑チャネルが推定された後で、差（またはクロミナンス）チャネルの補間を使用して赤および青画素が推測される。デモザイクの性能は、広範囲に及ぶテスト画像において主観的および客観的な画質の基準を使用して評価されてきた。実験結果は、他のデモザイク方法を大きく上回る画質を示している。

他の特定の実施形態では、画像データを受け取る入力部を含むシステムを開示する。また、システムはデモザイクモジュールを含み、画像データに応答する画像処理システムを含む。デモザイクモジュールは、適応型バイキュービックスプライン補間を使用するように構成されている。システムは、画像処理システムに応答して出力データを提供するのに適した出力部をさらに含む。

他の特定の実施形態では、第１の色データを受け取るように構成され、回転重みグリッド（rotated weighting grid）を使用して補間処理を行うように構成された適応型バイキュービックスプライン補間ロジックを含む補間フィルタを有する補間システムを開示する。第１の色データは、入力画像データの第１の色を表す。入力画像データは、第２の色を表す第２の色データおよび第３の色を表す第３の色データをさらに含む。第１の色は、第２の色および第３の色より頻繁に入力画像データに現れる。

他の特定の実施形態では、第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含む画像データを受け取ることを含む方法を開示する。画像データは、第２の色データおよび第３の色データより第１の色データを多く含む。また、この方法は補間された第２の色データを第１の色データから減じることによって第４の色を表す第４の色データを生成することを含む。この方法は、第４の色データを補間して補間された第４の色データを生成することを含む。この方法は、第２の色データに加算された補間された第４の色データを使用して補間された第１の色データを生成することをさらに含む。

他の特定の実施形態では、プロセッサ命令を格納するプロセッサで読み取り可能な媒体を開示する。プロセッサ命令は、第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含む画像データを受け取るために、プロセッサによって実行可能な命令を含む。また、プロセッサ命令は補間された第２の色データを生成するためにプロセッサによって実行可能な命令を含む。また、プロセッサ命令は、補間された第２の色データを第１の色データから減じて第４の色を表す第４の色データを生成するプロセッサによって実行可能な命令を含む。プロセッサ命令は、適応型バイキュービックスプライン補間操作を使用して補間された第４の色データを生成するために、第４の色データを補間するためのプロセッサによって実行可能な命令を含む。プロセッサ命令は、補間された第１の色データを作り出し、補間された第１の色データをメモリに格納するために、第２の色データを補間された第４の色データに加算するためにプロセッサによって実行可能な命令をさらに含む。

本補間システムおよび方法の実施形態によって提供される特定の利点の１つは、処理リソースに制限のある無線機器で実行できる画像データのデモザイク処理が改善されることである。

本開示の他の態様、利点および特徴は、次の節を含む出願全体を見ることによって明白になるであろう：図面の簡単な説明、発明を実施するための形態および特許請求の範囲。

システムの特定の例示的実施形態を示すブロック図であり、適応型バイキュービックスプラインを有するデモザイクモジュールを持つ画像処理システムを含むブロック図。 システムの特定の例示的実施形態を示すブロック図であり、適応型バイキュービックスプライン補間ロジックを用いるデモザイクモジュールを含むブロック図。 システムの第１の特定の例示的実施形態を示すブロック図であり、適応型バイキュービックスプライン補間ロジックを用いる補間フィルタを含むブロック図。 システムの第２の特定の例示的実施形態を示す、適応型バイキュービックスプライン補間ロジックを用いる補間フィルタを含むブロック図。 特定の実施形態に従ったベイヤ型モザイク画像データの補間を示す一般的な図。 補間方法の第１の特定の例示的実施形態を示すフローチャート。 補間方法の第２の特定の例示的実施形態を示すフローチャート。 適応型バイキュービックスプライン補間を使用するデモザイク処理を含む携帯機器のブロック図。 デモザイクシステムの特定の例示的実施形態を示すブロック図。 適応型バイキュービックスプライン補間器を使用して欠けている緑の画素を補間するための局所的な画素の近隣の特定の実施形態を示す一般的な図。 適応型バイキュービックスプライン補間器で使用できる画素類似性関数の特定の実施形態を示す図。 適応型バイキュービックスプライン補間器を使用した結果を含むデモザイク結果の第１の特定の実施形態を示す図。 適応型バイキュービックスプライン補間器を使用した結果を含むデモザイク結果の第２の特定の実施形態を示す図。

図１を参照すると、適応型バイキュービックスプラインを有するデモザイクモジュールを持つ画像処理システムを含むシステムの特定の例示的実施形態が描かれており、全体が１００と記されている。システム１００は、画像処理システム１３０に結合された画像キャプチャデバイス１０１を含む。画像処理システム１３０は、画像格納装置１４０に結合されている。画像処理システム１３０は、画像データ１０９を画像キャプチャデバイス１０１から受け取り、画像データ１０９の個々の画素から欠けている色データを補間するデモザイキング処理を行うように構成されている。一般に、システム１００は比較的制限された処理リソースを使用してリアルタイム画像処理を行うように構成された携帯型電子デバイスに実装することができる。

特定の実施形態では、画像キャプチャデバイス１０１はビデオカメラまたはスチルカメラなどのカメラである。画像キャプチャデバイス１０１は、焦点モジュール１０４および露光モジュール１０６に応答するレンズ１０２を含む。センサ１０８は、レンズ１０２経由で光を受け取り、レンズ１０２経由で受け取った画像に応じて画像データ１０９を生成するように結合されている。焦点モジュール１０４は、センサ１０８に応答することができ、またレンズ１０２の焦点を自動的に制御するように適応させることができる。また、露光モジュール１０６もセンサ１０８に応答することができ、画像の露光を制御するように適応させることができる。特定の実施形態では、センサ１０８は隣接した検波器が異なる色の光を検出するように配列された複数の検波器を含むことができる。例えば、各検波器が赤、緑、または青の入射光を受け取るように、受信光をフィルタすることができる。

画像キャプチャデバイス１０１は、画像データ１０９を画像処理システム１３０の入力１３１に提供するように結合される。画像処理システム１３０は、画像データ１０９に応答し、また適応型バイキュービックスプライン補間を使用するように構成されたデモザイクモジュール１１０を含む。また、画像処理システム１３０は、適応型バイキュービックスプライン補間を使用するように構成されたデモザイクモジュール１１０から受け取ったデータ１１１からガンマ補正されたデータを生成するためのガンマモジュール１１２を含む。色校正モジュール１１６は、ガンマ補正されたデータに対して校正を行うために結合されている。色空間変換モジュール１１８は、色校正モジュール１１６の出力を色空間に変換するために結合されている。圧縮格納モジュール１２０は、色空間変換モジュール１１８の出力を受け取り、圧縮した出力データ１２１を画像格納デバイス１４０に格納するために結合されている。画像処理システム１３０に応答する出力１３２は、出力データ１２１を画像格納デバイス１４０に提供するように適応されている。

画像格納デバイス１４０は出力１３２に結合され、出力データ１２１を格納するように適応されている。画像格納デバイス１４０は、１つまたは複数の表示バッファ、レジスタ、キャッシュ、フラッシュメモリ素子、ハードディスク、他の記憶デバイス、またはそれらの組み合わせなど、任意の種類の記憶媒体を含むことができる。

処理中に適応型バイキュービックスプライン補間を使用するように構成されたデモザイクモジュール１１０は、入力画像データ１０９のデモザイクを効率的に行うことができる。後に詳細に記述するように、適応型バイキュービックスプライン補間を使用するデモザイクでは、画像に関連するカラーチャネルの正確な再構築が可能になり、携帯用処理デバイスではエイリアシングまたは他の高周波アーティファクトが比較的少ない。

図２を参照する。適応型バイキュービックスプライン補間ロジックを用いるデモザイクモジュールを含むシステムの特定の例示的実施形態が描かれており、全体が２００と記されている。デモザイクモジュール２０３は、画像データ２０１を受け取り、再構築された画像データを作り出すように結合されている。特定の実施形態では、デモザイクモジュール２０３は図１に描かれている適応型バイキュービックスプライン補間を使用するように構成されたデモザイクモジュール１１０に対応することができる。

特定の実施形態では、画像データ２０１は、第１の色を表す第１の色データ２０８、第２の色を表す第２の色データ２０４および第３の色を表す第３の色データ２０６を含むモザイク画像データ２０２を含む。第１の色データ２０８は、モザイク画像データ２０２の１つおきの画素に第１の色の強度を示す画素値を保持することができる。第２の色データ２０４は、モザイク画像データ２０２の奇数の列の残りの画素に第２の色の強度を示す画素値を保持することができ、第３の色データ２０６は、モザイク画像データ２０２の偶数の列の残りの画素に第３の色の強度を示す画素値を保持することができる。既に述べたように、第１の色は第２の色および第３の色より頻繁に入力画像データ２０１に現れる。特定の実施形態では、モザイク画像データ２０２は第１の色は緑、第２の色は赤、第３の色は青であるベイヤモザイクパターンに対応し、モザイク画像データ２０２の２画素×２画素の各部分は、２つの緑画素、１つの赤画素および１つの青画素を含む。

デモザイクモジュール２０３は、入力画像データ２０１を受け取り、補間された第１の色データ２２０を含むフィルタされたデータを出力するように構成された補間フィルタ２１４を持つ補間モジュール２０５を含む。特定の実施形態では、図３に関して記述しているように、補間フィルタ２１４は第４の色を表す第４の色データの適応型バイキュービックスプライン補間を行うために、適応型バイキュービックスプライン補間ロジック２１５を使用するように適応されている。また、補間モジュール２０５は入力画像データ２０１を処理し、代表的な画像特徴２０７など、画像データの検出可能要素(detectable elements)に対応する特徴データ２１７を生成するように適応された特徴抽出モジュール２１６を含む。特徴抽出モジュール２１６は、特徴データ２１７に基づいて画像特徴２０７の分類を決定するために、特徴データ２１７に応答する分類モジュール２１８に特徴データ２１７を提供する。例えば、分類モジュール２１８は画素毎に画像特徴２０７が一般に水平、垂直、または他の向きのいずれかを判断し、画像特徴２０７の向きに関連する分類出力２１９を生成することができる。補間フィルタ２１４は、分類出力２１９に基づいて特定の画素およびその近接する画素の重要性、またはそれらの間の類似性を一般的に決定することによって、近接する画素の値を使用して特定の画素の値を適応的に補間するために分類出力２１９を使用するように構成され得る。

デモザイクモジュール２０３は、補間された第１の色データ２２０を補間フィルタ２１４から受け取るために結合され、第２の色に対応する第１の差チャネル出力データ２５２を提供するように構成された第１の差チャネル２４０を含む。第１の差チャネル２４０は、補間された第１の色データ２２０を第２の色データ２０４から減じるように構成された加算器２４２を含む。特に、加算器２４２は対応する画素値を有する第２の色に対応する各画素値を補間された第１の色データ２２０から減じて、第１の差データ２４４を生成することができる。例えば、第１の色が緑で、第２の色が赤の場合には、差はＲ−Ｇとして表される。補間モジュール２４６は、第１の差データ２４４の欠けている画素値（つまり第２の色に対応していない画素の値）を補間して、補間された第１の差データ２４８を生成する。加算器２５０は、補間された第１のデータ２２０を補間された第１の差データ２４８に加算して、第１の差チャネル出力データ２５２を生成する。

また、デモザイクモジュール２０３は補間された第１の色データ２２０を補間フィルタ２１４から受け取るために結合され、第３の色に対応する第２の差チャネル出力データ２７２を提供するように構成された第２の差チャネル２６０を含む。第２の差チャネル２６０は、補間された第１の色データ２２０を第３の色データ２０６から減じるように構成された加算器２６２を含む。特に、加算器２６２は対応する画素値を有する第３の色に対応する各画素値を補間された第１の色データ２２０から減じて、第２の差データ２６４を生成することができる。例えば、第１の色が緑で、第３の色が青の場合には、差はＢ−Ｇとして表される。補間モジュール２６６は、第２の差データ２６４の欠けている画素値（つまり第３の色に対応していない画素の値）を補間して、補間された第２の差データ２６８を生成する。加算器２７０は、補間された第１のデータ２２０を補間された第２の差データ２６８に加算して、第２の差チャネル出力データ２７２を生成する。

デモザイクモジュール２０３は、補間された第１の色データ２２０を補間された第１の色出力データ２２２として出力する。補間された第１の色出力データ２２２は、第１の差チャネル出力データ２５２および第２の差チャネル出力データ２７２に加算され、入力画像データ２０１に対するデモザイキング処理の結果として、デモザイクモジュール２０３によって提供される。

補間モジュール２０５は適応型バイキュービックスプライン補間ロジック２１５を使用するが、特定の実施形態では差チャネル補間モジュール２４６および２６６は適応型バイキュービックスプライン補間を使用せず、その代わりに線形補間または双線形補間など、より少ない計算を使用する補間アルゴリズムを実装することができる。差チャネル２４０および２６０は、個別の構成要素を含むように描かれているが、１つまたは複数の構成要素が差チャネル２４０および２６０で共通していてもよい。例えば、制限を目的とせずに例を挙げると、補間モジュール２４６および２６６は第１の差データ２４４および第２の差データ２６４の両方に対して補間を行うように構成された単一の回路類構成要素、ファームウェア構成要素、またはプロセッサの動作として実装することができる。任意の３色のモザイクデータを使用することができる。例えば、モザイク画像データ２０２がベイヤモザイクパターンに対応し、第１の色は緑であり、第２の色は赤（または青）であり、第３の色は青（または赤）である場合、補間フィルタ２１４によって使用される第４の色は黄またはシアンでもよい。別の例としては、シアン−マゼンタ−黄（ＣＭＹ）モザイクパターンにおいて、第１の色は黄であり、第２の色はマゼンタ（またはシアン）であり、第３の色はシアン（またはマゼンタ）である場合、第４の色は赤または青でもよい。説明を目的として３色を使用して記述したが、他の実施形態ではシステム２００は任意の数の色または無色の成分を含む画像データに対してデモザイクを行うことができる。システム２００で処理できる４色のモザイク画像データシステムの例としては、制限を目的とせずに例を挙げると、赤−緑−青−エメラルド（ＲＧＢＥ）、シアン−黄−緑−マゼンタ（ＣＹＧＭ）および赤−緑−青−白（または輝度もしくは全整色）（ＲＧＢＷ）などが挙げられる。

図３を参照する。適応型バイキュービックスプライン補間ロジックを用いる補間フィルタを含むシステムの第１の特定の例示的実施形態が描かれていて、全体が３００と記されている。補間フィルタ３１４および特徴抽出モジュール３１６は、それぞれ画像データ３０１を受け取るように構成されている。分類モジュール３１８は、特徴データ３１７を特徴抽出モジュール３１６から受け取り、分類出力３１２を補間フィルタ３１４に提供するように適応されている。補間フィルタ３１４は、画像データ３０１に基づいて、適応型バイキュービックスプライン補間を有する分類出力３１２を使用して、補間された第１の色データ３２０を含む出力３１５を生成するように構成されている。

特定の実施形態では、補間フィルタ３１４、特徴抽出モジュール３１６および分類モジュール３１８は、図１に描かれている適応型バイキュービックスプライン補間を使用するように構成されたデモザイクモジュール１１０に実装することができる。他の実施形態では、システム３００のエレメントは図２に描かれているデモザイクモジュール２０３に組み込むことができる。例えば、補間フィルタ３１４は補間フィルタ２１４に対応することができ、特徴抽出モジュール３１６は特徴抽出モジュール２１６に対応することができ、分類モジュール３１８は分類モジュール２１８に対応することができ、またはそれらを任意に組み合わせることができる。

図に示すように、画像データ３０１は第１の色を表す第１の色データ３０８、第２の色を表す第２の色データ３０４および第３の色を表す第３の色データ３０６に分離可能なモザイク画像データ３０２を含む。第１の色は、第２の色および第３の色より頻繁に画像データ３０１に現れてもよい。例えば、モザイク画像データ３０２は、図２に関して記述したようにベイヤモザイクデータを含むことができる。第２の色データ３０４は、補間フィルタ３１４の第１の入力３１０において提供することができ、第１の色データは、補間フィルタ３１４の第２の入力３１１において提供することができる。

補間フィルタ３１４では、第２の色データ３０４は補間された第２の色画像データ３７２を生成するために第２の色データ３０４を補間するロジックを含む第２の色補間器３７０の入力３５０で受け取られる。第２の色画像データ３７２は、否定入力３５２において第４の色データ作成ロジック３７４に提供される。また、第４の色データ作成ロジック３７４は、第１の色データ３０８を入力３５４で受け取る。第４の色データ作成ロジック３７４は、第４の色画像データ３７６を生成するために、補間された第２の色画像データ３７２を第１の色データ３０８から減じるように構成されている。例示的実施形態では、第１の色は緑であり、第２の色は赤であり、第３の色は青である場合、第４の色は黄である。他の例示的実施形態では、第１の色は緑であり、第２の色は青であり、第３の色は赤である場合、第４の色はシアンである。他の例示的実施形態では、第１の色は黄であり、第２の色はマゼンタであり、第３の色はシアンである場合、第４の色は赤である。さらに他の例示的実施形態では、第１の色は黄であり、第２の色はシアンであり、第３の色はマゼンタである場合、第４の色は青である。

第４の色画像データ３７６は、回転重みグリッドを使用する適応型バイキュービックスプライン補間ロジック３７８など、第４の色画像データ３７６を受け取り、補間された第４の色画像データ３８４を生成するように構成された、適応型バイキュービックスプライン補間ロジックに提供される。

特定の実施形態では、補間された第４の色画像データ３８４は補間された第１の色データ作成ロジック３８６の第１の入力３８８に提供される。第２の色データ３０４は、補間された第１の色データ作成ロジック３８６の第２の入力３６０に提供される。補間された第１の色データ作成ロジック３８６は、補間された第１の色データ３２０を作成するために第２の色データ３０４を補間された第４の色画像データ３８４に加算するように構成されている。

特徴抽出モジュール３１６は、入力画像データ３０１に関連する導関数演算(derivative operations)を行うように構成されている。例えば、特徴抽出モジュール３１６は入力画像データ３０１を受け取り、入力画像データ３０１の方向性導関数(directional derivative)に関係する特徴データ３１７を出力するように構成されている。特徴データ３１７は、局所的な方向性導関数を含む多次元の特徴ベクトルを含むことができる。例えば、特定の実施形態では特徴データ３１７は３つの方向性導関数演算(directional derivative operations)の値を持つ３次元データ３２４を含む。他の特定の実施形態では、特徴データ３１７は２７の方向性導関数演算の値を持つ２７次元データ３２６を含む。

特定の実施形態では、分類モジュール３１８は特徴データ３１７を受け取り、入力画像データ３０１の画像特徴の向き(orientation)に関連する分類出力３１２を生成するように構成され得る。分類モジュール３１８は、エイダブースト(Ada boost))モジュール３２８またはガウシアン混合モデルモジュール３３０を使用するなど、１つまたは複数の分類アルゴリズムを実装するように構成され得る。例えば、特徴データ３１７が多次元の特徴ベクトルを含む場合、分類モジュール３１８はガウシアン混合モデルタイプのアルゴリズムまたはエイダブーストタイプのアルゴリズムにおいて、多次元の特徴ベクトルを使用するように適応され得る。制限を目的とせずに例を挙げると、分類モジュール３１８は特徴データ３１７が３次元データ３２４を含むときには、ガウシアン混合モデルタイプのアルゴリズムを使用して、または特徴データ３１７が２７次元データ３２６を含むときには、エイダブーストタイプのアルゴリズムを使用して、分類出力３１２を選択的に決定するように構成され得る。

特定の実施形態では、適応型バイキュービックスプライン補間ロジック３７８は分類出力３１２を入力３５６で受け取るように構成されている。適応型バイキュービックスプライン補間ロジック３７８は、分類出力３１２を使用して補間された第４の色データ３８４の初期値を生成するように構成された初期値推定モジュール３８０を含む。初期値推定モジュール３８０は、分類出力３１２を特定の位置に近接する位置の値に適用することによって、入力画像データの特定の位置の初期値を推定するように構成され得る。例えば、特定の画素で画像が垂直の特徴を持っていることを分類出力３１２が示している場合、その特定の画素で、またはその画素の近くで、画像は垂直方向にゆっくりと変動しているが、水平方向に高速に変動していると仮定することができる。このため、その特定の画素の最初の推定値は、水平に近接する画素の値より強く１つまたは複数の垂直に近接する画素の値に基づいている場合がある。

適応型バイキュービックスプライン補間ロジック３７８は、初期値および適応的重み関数モジュール３８２を使用して第４の色データ３７６を補間するように構成されている。適応的重み関数モジュール３８２は、近くの位置の値と初期値との差に重み関数を適用することによって、近くの位置の差し引き値(discounted value)を使用して特定の位置で補間された値を生成するように適応され得る。特定の実施形態では、重み関数は近くの位置の値と初期値との差の４乗までの累乗を含む。

特定の実施形態では、適応型バイキュービックスプライン補間ロジック３７８は、画素Ｙ_i,jと示される、補間された第４の色画像データ３８４の画素の値を決定する。

Ｙ_i,jの最初の推定値は、以下のように決定され得る。

ここで、αは分類出力３１２の値である。

図に示すように、補間された第１の色データ３２０は第３の色データ３０６の画素の補間された値を含んでおらず、補間された第１の色データ３２０に白い四角形として示されている。しかし、他の実施形態では第３の色データ３０６の画素に対応する第１の色データ３２０の値は、例えば補間された第１の色データ３２０の最隣接の平均値を使用することによって、補間された第１の色データ作成ロジック３８６において生成され得る。これは、補間された第１の色データ３２０の他の画素ほど正確ではない場合がある。しかし、そのような精度の低下はカメラ画像のプレビューまたは表示解像度が低い無線機器のビューファインダなどの用途および高速な処理速度が望ましい場合など、多くの用途で十分な場合がある。第２の色データおよび第３の色データの両方を使用することによって、より正確な補間された第１の色データを生成するシステムの他の実施形態が図４に描かれている。

図４を参照する。適応型バイキュービックスプライン補間ロジックを用いる補間フィルタを含むシステムの第２の特定の例示的実施形態が描かれていて、全体が４００と記されている。一般的に、システム４００は図３に描かれているシステム３００に対応し、第１、第２および第３の色データを使用して補間された第１の色データを生成するために変更されている。補間フィルタ４１４および特徴抽出モジュール４１６は、それぞれ画像データ４０１を受け取るように構成されている。分類モジュール４１８は、特徴データ４１７を特徴抽出モジュール４１６から受け取り、分類出力４１２を補間フィルタ４１４に提供するように適応されている。補間フィルタ４１４は、画像データ４０１に基づいて、かつ適応型バイキュービックスプライン補間を有する分類出力４１２を使用して、補間された第１の色データ４２０を含む出力４１５を生成するように構成されている。

図に示すように、画像データ４０１は第１の色を表す第１の色データ４０８、第２の色を表す第２の色データ４０４および第３の色を表す第３の色データ４０６へと分離可能なモザイク画像データ４０２を含む。第１の色は、第２の色および第３の色より頻繁に画像データ４０１に現れてもよい。例えば、モザイク画像データ４０２は図２に関して記述したように、ベイヤモザイクデータを含むことができる。

第２の色データ４０４および第３の色データ４０６は、補間フィルタ４１４の色補間器４８８で受け取られる。特定の実施形態では、色補間器４８８は補間された第２の色画像データ４７２を生成するために第２の色データ４０４を補間するロジックを含む第２の色補間器４７０を含む。また、色補間器４８８は補間された第３の色画像データ４７３を生成するために第３の色データ４０６を補間するロジックを含む第３の色補間器４７１を含むことができる。

補間された第２の色画像データ４７２は、ネゲート入力４５２において色データ作成ロジック４９０に提供される。補間された第３の色画像データ４７３は、ネゲート入力４５３で色データ作成ロジック４９０に提供される。また、色データ作成ロジック４９０は入力４５４において第１の色データ４０８を受け取る。色データ作成ロジック４９０は、第４の色画像データ４７６を生成するために、補間された第２の色画像データ４７２を第１の色データ４０８から減じるように構成された第４の色データ作成ロジック４７４を含むことができる。また、色データ作成ロジック４９０は、第５の色画像データ４７７を生成するために、補間された第３の色画像データ４７３を第１の色データ４０８から減じるように構成された第５の色データ作成ロジック４７５を含むことができる。

第４の色画像データ４７６および第５の色画像データ４７７は、回転重みグリッドを使用する適応型バイキュービックスプライン補間ロジック４７８など、第４の色画像データ４７６を受け取り、補間された第４の色画像データ４８４を生成するように構成され、かつ第５の色画像データ４７７を受け取り、補間された第５の色画像データ４８５を生成するように構成された適応型バイキュービックスプライン補間ロジックに提供される。

特定の実施形態では、補間された第４の色画像データ４８４は第１の入力４５８に提供され、補間された第５の色画像データ４８５は補間された第１の色データ作成ロジック４８６の第２の入力４５９に提供される。第２の色データ４０４は第３の入力４６１に提供され、第３の色データ４０６は補間された第１の色データ作成ロジック４８６の第４の入力４６０に提供される。補間された第１の色データ作成ロジック４８６は、第２の色データ４０４に関連する位置で補間された第１の色データ４２０を作成するために、第２の色データ４０４を補間された第４の色画像データ４８４に加算するように構成されている。また、補間された第１の色データ作成ロジック４８６は第３の色データ４０６に関連する位置で補間された第１の色データ４２０を作成するために、第３の色データ４０６を補間された第５の色データ４８５に加算するように構成されている。

特徴抽出モジュール４１６は、入力画像データ４０１に関連する導関数演算を行うように構成されている。例えば、特徴抽出モジュール４１６は入力画像データ４０１を受け取り、入力画像データの方向性導関数に関係する特徴データ４１７を出力するように構成され得る。特徴データ４１７は、局所的な方向性導関数を備えた多次元の特徴ベクトルを含むことができる。例えば、特定の実施形態では特徴データ４１７は３つの方向性導関数演算の値を持つ３次元データ４２４を含む。他の特定の実施形態では、特徴データ４１７は２７の方向性導関数演算の値を持つ２７次元データ４２６を含む。

特定の実施形態では、分類モジュール４１８は特徴データ４１７を受け取り、入力画像データ４０１に関連する画像特徴の向きに関連する分類出力４１２を生成するように構成され得る。分類モジュール４１８は、エイダブーストモジュール４２８またはガウシアン混合モデルモジュール４３０を使用するなど、１つまたは複数の分類アルゴリズムを実装するように構成され得る。例えば、特徴データ４１７が多次元の特徴ベクトルを含む場合、分類モジュール４１８はガウシアン混合モデルタイプのアルゴリズムまたはエイダブーストタイプのアルゴリズムにおいて、多次元の特徴ベクトルを使用するように適応され得る。制限を目的とせずに例を挙げると、分類モジュール４１８は特徴データ４１７が３次元データ４２４を含むときには、ガウシアン混合モデルタイプのアルゴリズムを使用して、または特徴データ４１７が２７次元データ４２６を含むときには、エイダブーストタイプのアルゴリズムを使用して、分類出力４１２を選択的に決定するように構成され得る。

特定の実施形態では、適応型バイキュービックスプライン補間ロジック４７８は分類出力４１２を入力４５６において受け取るように構成されている。適応型バイキュービックスプライン補間ロジック４７８は、分類出力４１２を使用して補間された第４の色画像データ４８４の初期値および補間された第５の色画像データ４８５の初期値を生成するように構成された初期値推定モジュール４８０を含む。初期値推定モジュール４８０は、分類出力４１２を特定の位置に近接する位置の値に適用することによって、入力画像データの特定の位置の初期値を推定するように構成され得る。例えば、特定の画素で画像が垂直の特徴を持っていることを分類出力４１２が示している場合、その特定の画素で、またはその画素の近くで、画像は垂直方向にゆっくりと変動しているが、水平方向に高速に変動していると仮定することができる。このため、その特定の画素の最初の推定値は、水平に近接する画素の値より強く１つまたは複数の垂直に近接する画素の値に基づいている場合がある。

適応型バイキュービックスプライン補間ロジック４７８は、補間された第４の色データ４８４の初期値および適応的重み関数モジュール４８２を使用して、第４の色画像データ４７６を補間するように構成されている。また、適応型バイキュービックスプライン補間ロジック４７８は、補間された第５の色画像データ４８５の初期値および適応的重み関数モジュール４８２を使用して、第５の色画像データ４７７を補間するように構成されている。適応的重み関数モジュール４８２は、図３に関して記述したように、近くの位置の値と初期値との差に重み関数を適用することによって、近くの位置の差し引き値を使用して特定の位置で補間された値を生成するように適応され得る。特定の実施形態では、図３に関して記述したように重み関数は近くの位置の値と初期値との差の４乗までの累乗を含む。

特定の実施形態では、補間された第１の色データ４２０は第１および第２の色画素を交互に持つモザイク画像データ４０２の列で画素値を補間するために第２の色データ４０４を使用して、かつ第１および第３の色画素を交互に持つモザイク入力データ４０２の列で画素値を補間するために第３の色データ４０６を使用して生成される。このため、一般的に補間された第１の色データ４２０は、図３に描かれた補間された第１の色データ３２０より正確になる場合がある。システム４００は、任意のモザイク画像データに対して作動することができる。例えば、モザイク画像データ４０２は第１の色は緑であり、第２の色は赤であり、第３の色は青であり、第４の色は黄であり、第５の色はシアンであるベイヤモザイクパターンに対応することができる。別の例としては、モザイク画像データ４０２は第１の色は緑であり、第２の色は青であり、第３の色は赤であり、第４の色はシアンであり、第５の色はマゼンタであるベイヤモザイクパターンに対応することができる。別の例としては、モザイク画像データ４０２は第１の色は黄であり、第２の色はマゼンタであり、第３の色はシアンであり、第４の色は赤であり、第５の色は青であるシアン−マゼンタ−黄（ＣＭＹ）のモザイクパターンに対応することができる。さらに別の例としては、モザイク画像データ４０２は第１の色は黄であり、第２の色はシアンであり、第３の色はマゼンタであり、第４の色は青であり、第５の色は赤であるシアン−マゼンタ−黄（ＣＭＹ）のモザイクパターンに対応することができる。説明を目的として３色を使用して記述したが、他の実施形態ではシステム４００は任意の数の色または無色の構成要素を含む画像データに対してデモザイクを行うことができる。システム４００を使用してデモザイクできる４構成要素のモザイク画像データの例としては、制限を目的とせずに例を挙げると、赤−緑−青−エメラルド（ＲＧＢＥ）、シアン−黄−緑−マゼンタ（ＣＹＧＭ）および赤−緑−青−白（または輝度もしくは全整色）（ＲＧＢＷ）などが挙げられる。

図５を参照する。特定の実施形態に従ってベイヤモザイク画像データの補間を示す一般的な図が描かれていて、全体が５００と記されている。特定の実施形態では、補間５００は図１の適応型バイキュービックスプライン１１０を使って、図２の補間モジュール２０５で、図３の補間フィルタ３１４で、図４の補間フィルタ４１４で、またはそれらを任意に組み合わせて、デモザイクモジュールで行われ得る。

５０２では、ベイヤモザイク画像データは長方形のグリッドとして描かれていて、奇数列は、（ｊ−４）番目、（ｊ−２）番目、ｊ番目、（ｊ＋２）番目および（ｊ＋４）番目の列を含み、赤画素および緑画素を交互に持ち、偶数列は（ｊ−３）番目、（ｊ−１）番目、（ｊ＋１）番目および（ｊ＋３）番目の列を含み、青画素および緑画素を交互に持つ。特定の画素５０９は、ｉ番目の行とｊ番目の列とが交差するところで強調されている。赤画素は、強調されている画素５０９に位置する。

画素５０９の１６個の最隣接および回転重みグリッドを５１０に示す。画素５０９の１６個の最隣接のそれぞれは、緑画素である。回転重みグリッドは、画像データの行および列に対して約４５度の角度で整列されている８本の重み線５１１〜５１８を含み、画像データに対して４５度の角度で同様に回転するグリッドを形成する。各重み線５１１〜５１８は、第１の重み「ａ」または第２の重み「ｂ」に対応付けられている。１６個の最隣接は、第１の組の重み線５１１〜５１４と第２の組の重み線５１５〜５１８との交差に一致する。

１６個の最隣接はそれぞれ、その画素位置で交差する重み線５１１〜５１８の重みの積に等しい重みが割り当てられる。例えば、重み線５１１（重み「ｂ」を持つ）と重み線５１５（重み「ｂ」を持つ）との交差にある画素は、ｂ＊ｂ（ここで「＊」は乗算を示す）、または「ｂ²」（上付きの「２」は２乗を示す）に対応する重みを割り当てられる。別の例として、重み線５１１（重み「ｂ」を持つ）と重み線５１６（重み「ａ」を持つ）との交差にある画素は、ａ＊ｂまたは「ａｂ」に対応する重みが割り当てられる。別の例として、重み線５１２（重み「ａ」を持つ）と重み線５１７（重み「ａ」を持つ）との交差にある画素は、ａ＊ａまたは「ａ²」（上付きの「２」は２乗を示す）に対応する重みが割り当てられる。

５２０に描かれているように、１６個ある最隣接の緑画素はそれぞれ赤画素のそれぞれの組に隣接し、それらの間に位置している。１６個ある最隣接の緑画素のそれぞれに対応する赤の値は、赤画素のそれぞれの組の赤の値の平均（算術平均）として補間され得る。例えば、画素位置５３１の補間された赤の値は、画素位置５３１の上および下の隣接画素の赤の値の平均でもよい。別の例として、画素位置５３２の補間された赤の値は、画素位置５３２の左および右の隣接画素の赤の値の平均でもよい。

５４０に描かれているように、第４の色に対応する差値を生成するために、画素５０９に対する１６個の最隣接のそれぞれに対して、補間された赤の値（５３０に示す）を緑の値（５１０に示す）から減じることができる。

５５０に描かれているように、画素５０９の第４の色の補間された値は、１６個の最隣接画素（画素位置に「Ｓ」組として記す）で第４のカラー値を使用して計算し、第１の組の重み線５５１と第２の組の重み線５５２との交差（例えば交差５５３）に従って割り当てられた重みによって調節することができる。

このため、回転重みグリッドを１６個の近くの位置の値に適用することによる１６個の近くの位置の重みの値、第１の重み係数の２乗の１つを示す回転重みグリッド、第２の重み係数の２乗および第１の重み係数と第２の重み係数との積を使用して特定の位置で補間された値。

例として図３のシステム３００を使用すると、第２の色補間器３７０は補間された第２の色画像データ３７２を生成するために５３０で示された補間を行うことができる。これは、現在の例では画素位置５３１および５３２の補間された赤の値を含む。第４の色データ作成ロジック３７４は、５４０に示す差データを含む第４の色画像データ３７６を生成することができる。適応型バイキュービックスプライン補間ロジック３７８は、画素５０９の第４の色の初期値を推定することができる（図３のシステム３００は、分類出力３１２を使用して第４の色の初期値を推定するが、他の実施形態ではその代わりに、初期値は他の方法またはテクニックを使用して決定され得る）。適応型バイキュービックスプライン補間ロジック３７８は、画素５０９で第４の色の値を補間するために、画素類似性重み関数とともに重み線５５１および５５２によって形成された回転重みグリッドを使用することができる。

図６を参照する。補間方法の第１の特定の例示的実施形態のフローチャートが描かれている。一般的に、補間方法は図１、２および４に描かれているシステムの１つまたは複数によって実行され得る。補間方法の一部は、図３に描かれているシステムによって実行され得る。補間方法は、他の画像処理システムもしくは機器、またはそれらを任意に組み合わせて実行され得る。

６０２では、第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含む画像データを受け取る。画像データは、第２の色データおよび第３の色データより第１の色データを多く含む。６０４に進むと、補間された第２の色データを第１の色データから減じることによって、第４の色を表す第４の色データが生成される。

６０６に進むと、補間された第４の色データを生成するために第４の色データが補間される。特定の実施形態では、第４の色データの補間は１６個の最隣接を使用して適応型バイキュービックスプライン補間操作を行うことを含むことができる。適応型バイキュービックスプライン補間操作は、初期値と近傍値との差の４乗までの累乗に基づいて補間値を調節することができる。

６０８に進むと、特定の実施形態では、補間された第５の色データを第１の色データから減じることによって、第５の色を表す第５の色データが生成される。６１０に進むと、特定の実施形態では、第５の色データは、補間された第５の色データを生成するために補間される。特定の実施形態では、第５の色データの補間は１６個の最隣接を使用して適応型バイキュービックスプライン補間操作を行うことを含むことができる。

６１２に進むと、補間された第１の色データは第２の色データに加算された補間された第４の色データを使用して、かつ第３の色データに加算された補間された第５の色データを使用して生成される。

図７を参照する。補間方法の第２の特定の例示的実施形態のフローチャートが描かれている。一般的に、補間方法は図１〜４に描かれているシステムの１つまたは複数、他の画像処理システムもしくは機器、またはそれらの任意の組み合わせによって実行され得る。。例えば、カメラを搭載している携帯型電子デバイスは、カメラによって生成される画像データをデモザイクする補間方法を実行するために、携帯型電子デバイスのプロセッサによって実行可能な命令が格納されるメモリなど、プロセッサで読み取り可能な媒体を含むことができる。 ７０２では、第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含む画像データが受け取られる。例えば、第１の色は緑でもよく、第２の色は赤でもよく、第３の色は青でもよい。７０４に進むと、近くの画素の値を複写または平均するなどによって、補間された第２の色データが生成される。７０６に進むと、第４の色を表す第４の色データを生成するために、補間された第２の色データが第１の色データから減じられる。例えば、第４の色は黄に対応することができる。

７０８に進むと、第４の色データは適応型バイキュービックスプライン補間操作を使用して、補間された第４の色データを生成するために補間される。特定の実施形態では、第４の色データの補間は回転重みグリッドを使用して行われる。例えば、適応型バイキュービックスプライン補間操作は、特定の位置に関連する所定位置で第４の色データの値を調節するために回転重みグリッドを適用することができる。例を示すと、図５に描かれているように所定位置は１６個の最隣接のＳ組に対応することができ、回転重みグリッドは重み線５１１〜５１８によって形成される回転重みグリッドに対応することができる。

特定の実施形態では、適応型バイキュービックスプライン補間操作は、特定の位置の初期値と所定位置の第４の色の値との差によって、所定位置で第４の色の各値を割る。この差は４乗されている。

７１０に進むと、第２の色データは補間された第１の色データを作成するために補間された第４の色データに加算される。補間された第１の色データは、７１２でメモリに保存される。

図８を参照する。適応型バイキュービックスプライン補間を使用したデモザイキング処理を含む携帯機器の特定の例示的実施形態が描かれていて、全体が８００と記されている。機器８００は一般的なプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、または画像処理プロセッサなどのプロセッサ８１０を含み、このプロセッサはメモリ８３２に結合され、かつ適応型バイキュービックスプライン補間を使用するデモザイキング処理モジュール８６４に結合されている。説明のために例を示すと、適応型バイキュービックスプライン補間を使用するデモザイキング処理モジュール８６４はメモリ８３２に格納され、プロセッサ８１０によって実行可能なプログラム命令８８２を使用して実行され得る。他の実施形態では、適応型バイキュービックスプライン補間を使用するデモザイキング処理モジュール８６４はハードウェア、ファームウェア、またはそれらの任意の組み合わせに実装され得、図１〜４に描かれている１つまたは複数のシステムを含むことができ、または図６および図７に描かれている方法の１つまたは複数に従って作動することができる。

カメラ８７２は、カメラコントローラ８７０経由でプロセッサ８１０に結合されている。カメラ８７２はスチルカメラ、ビデオカメラ、またはそれらの任意の組み合わせを含むことができる。カメラコントローラ８７０は、取り込まれた画像データ８８０をメモリ８３２に格納するなど、カメラ８７０の操作を制御するために適応されている。

また、図８はプロセッサ８１０およびディスプレイ８２８に結合されたディスプレイコントローラ８２６を示している。また、コーダ／デコーダ（コーデック）８３４をプロセッサ８１０に結合することもできる。スピーカ８３６およびマイクロフォン８３８は、コーデック８３４に結合され得る。

また、図８は無線トランシーバ８４０をプロセッサ８１０および無線アンテナ８４２に結合できることを示している。特定の実施形態では、プロセッサ８１０、ディスプレイコントローラ８２６、メモリ８３２、コーデック８３４、無線トランシーバ８４０、カメラコントローラ８７０および適応型バイキュービックスプライン補間を使用するデモザイキング処理モジュール８６４は、システムインパッケージまたはシステムオンチップデバイス８２２に含まれる。特定の実施形態では、入力デバイス８３０および電源８４４が、システムオンチップデバイス８２２に結合されている。さらに、特定の実施形態では、図８に示すようにディスプレイ８２８、入力デバイス８３０、スピーカ８３６、マイクロフォン８３８、無線アンテナ８４２、カメラ８７２および電源８４４は、システムオンチップデバイス８２２の外部にある。しかし、ディスプレイ８２８、入力デバイス８３０、スピーカ８３６、マイクロフォン８３８、無線アンテナ８４２、カメラ８７２および電源８４４のそれぞれは、インタフェースまたはコントローラなど、システムオンチップデバイス８２２の構成要素に結合することができる。

図９を参照する。デモザイクシステムの特定の例示的実施形態が描かれていて、全体が９００と記されている。ディジタルカラー画像は３色のサンプル、すなわち赤（Ｒ）、緑（Ｇ）および青（Ｂ）を各画素位置に含むことができる。しかし、ディジタルカメラに各画素位置でＲ、ＧおよびＢという３つのカラー値を測定するために３つの個別の色センサを使用すると、費用が非常に高くなる場合がある。このため、ディジタルカメラはシングルチップの画像センサを用いることができる。この場合、画像センサの各画素は色情報を取り込むためにＲ、Ｇ、またはＢの色フィルタで覆われている。シングルチップの画像センサの画素を覆う小さな色フィルタのモザイクは、色フィルタアレイ（ＣＦＡ）と呼ばれている。最も一般的に使用されているＣＦＡは、２×２のサブモザイクの反復によって形成されるベイヤモザイク９０２であり、各サブモザイクは２つの緑、１つの青および１つの赤フィルタを含む。ディジタルカメラによって取り込まれたＣＦＡサンプルから完全なＲＧＢカラー画像を再構築するプロセスは、多くの場合、デモザイクと呼ばれる。

デモザイクで活用できる知見の１つは、観察されたＲ、Ｇ、またはＢのカラー値と比較して、色差（Ｒ−ＧまたはＢ−Ｇ）または色彩比（Ｒ／ＧまたはＢ／Ｇ）は、画像のオブジェクト内で比較的一定の状態を維持することである。色差（クロミナンス）または色彩比（色相）チャネルの高周波成分は、このように大幅に減じられるため、そのようなチャネルの補間がかなり容易になる。

一定のクロミナンスまたは一定の色相の仮定に基づいたデモザイクは、欠けているＧ画素の補間から始めることができる。エッジセンシング（edge-sensing）または他のフレームワークに基づいた非線形の補間技術は、Ｇチャネルを補間するために使用され得る。Ｇチャネルの補間が完了した後で、わずかな差（Ｒ−ＧおよびＢ−Ｇ）または比（Ｒ／ＧおよびＢ／Ｇ）のチャネルが形成され、これはバイ線形補間またはバイキュービック補間などの比較的より単純な補間技術を使用して補間され得る。最後に、補間された差（または比）チャネルの画素にＧの画素値を加算（または乗算）することによって、欠けているＲおよびＢの画素値を決定することができる。図２のシステム２００は、そのような一定のクロミナンスの仮定に基づいてアルゴリズムを実装することができる。

特定の実施形態では、デモザイクアルゴリズムは図２に示す輝度(luminance)／色度（chrominance）分解のフレームワークを使用することによって、Ｒ、ＧおよびＢのカラープレーン内の相関を活用することができる。これには、Ｇカラープレーンを補間するための補間モジュール２０５、ならびにＲチャネルおよびＢチャネルをそれぞれ補間するための第１および第２の差チャネル２４０および２６０が含まれている。Ｇチャネルを補間するために、空間適応型(spatially adaptive)非線形フィルタ（以下、適応型バイキュービックスプライン補間器と呼ぶ）を使用することができる。補間カーネルの空間適応係数(spatially adaptive coefficients)は、単調減少する画素類似性測定関数(pixel-similarity measure function)を利用して選択される。フィルタの重みを決定する際の画素類似性測定(pixel-similarity measure)の役割は、その強度が補間対象の未知の画素の値から大きく離れていると予想される近接画素からの影響を減らすことを含む。高速な補間アルゴリズムによって決定される未知の画素の１次推定は、現在欠けている画素の補間を決定する際に、局所的な近隣においてどの画素をアウトライアと考えるべきかを定量化するために使用される。Ｇチャネルが完全に推定されたら、どの欠けているＲおよびＢの画素値が推定されたかに基づいて、差チャネルＲ−ＧおよびＢ−Ｇはバイ線形補間を使用して補間される。

デモザイクアルゴリズム
Ｒ_s、Ｇ_sおよびＢ_sに、２Ｄの長方形サンプリンググリッドの位置ｓ＝（ｓ₁，ｓ₂）に位置する赤、緑および青画素の値をそれぞれ示させる。ベイヤのＣＦＡ画像では、Ｒ_s、Ｇ_s、またはＢ_sという３つカラー値のうち１つだけが画素位置ｓで識別される。残りの２つのカラー値は推定しなければならない。

I_s ^Cに、ベイヤのＣＦＡ画像の画素位置ｓで観察された色がＣのときに１に等しくなり、そうでない場合は０に等しくなるインジケータ機能を示させる。次に、ベイヤモザイクＸ_Sは

として表すことができる。デモザイクアルゴリズムの目的の１つは、未知のカラー値Ｒ_s、Ｇ_s、またはＢ_sをベイヤモザイクデータが与えられた各画素位置で推定することである。

緑チャネルの補間
特定の実施形態では、デモザイクアルゴリズムはベイヤモザイクにおいてＲまたはＢチャネルの一方より２倍の密度でサンプリングされ、したがって補間するのがより簡単であるＧチャネルを最初に補間することによって機能する。Ｇチャネルの補間に使用されるアルゴリズムに基づくＧチャネル補間器システムのブロック図を図９に示す。最初に、空間的特徴ベクトル

は、ベイヤＣＦＡ画像Ｘ９０２の局所的な画素を使用して特徴抽出モジュール９０４で抽出される。次に、空間的特徴ベクトル分類器９０６を使用して、ローカルウィンドウのエッジの強さおよび向きを特徴づけるパラメータβ９０７を推定する。最後に、空間的に適応可能な非線形のフィルタ９０８を使用して、欠けている緑の画素値を推定する。補間するカーネルが従う一般的な規則は、欠けている緑の画素値を推定するために、エッジに沿ってはより強く、そしてエッジを横切ってはより弱く、画素に重み付けをすることである。

図９に示すＧチャネル補間器のフレームワークは、エッジ有向デモザイクアルゴリズム(edge-directed demosaic algorithm)に類似してもよい。特徴ベクトルおよび分類器の決定基準の特定の選択のために、フレームワークは均一性有向補間アルゴリズム(homogeneity-directed interpolation algorithm)も包含する。特定の実施形態に従ったデモザイクパフォーマンスの向上は、主に図９において適応型バイキュービックスプライン補間器９０８と名前が付けられている非線形のフィルタリング手順によるものである。

特徴ベクトル
特徴ベクトル９０５は２次元であり、そこでは特徴ベクトル９０５の個々の構成要素は水平方向または垂直方向に計算された１次および２次空間的導関数の絶対和として決定される。この特徴ベクトル９０５は、エッジ有向補間(edge-directed interpolation)に適切な場合がある。

ｈ＝（−１，０，１）^Tおよびｇ＝（−１，０，２，０，−１）^Tをそれぞれ１次および２次導関数推定カーネルとして定義すると、現在の画素位置ｓの４つの水平および垂直の方向性導関数は、以下の方程式の組を使用して計算される。

ここで、＊は１Ｄ畳込み演算処理を示し、ｈ^Tはｈの転置を示す。

分類器の決定基準
特徴ベクトル

が計算されたら、補間方向を決定するための分類器の決定基準β９０７が特徴ベクトルの個々の構成要素のリニア結合として計算され、範囲が０〜１に制限される。特に、分類器の決定基準β９０７は以下の式で得られる。

ここで、β＝１は垂直エッジの存在を示し、β＝０は水平エッジの存在を示す。分類器の決定基準は、次の副節に記述するように、非線形の空間的に適応可能な補間カーネルの重みを導き出すために使用される。ｆ₁＜ｆ₂の場合はβ＝０、そうでない場合はβ＝１など、他の可能な決定基準と比較すると、（２）の決定基準は範囲０から１まで円滑に達するため、誤分類によるアーティファクトの害を減らすのに役立つ。

適応型バイキュービックスプライン補間器
画像のＲ、ＧおよびＢカラーチャネルの低周波成分は大きく相違している場合があるが、３つのカラーチャネルの高周波成分は相互に強く関連している場合がある。このため、３つのチャネルの１つを補間している間に、高周波情報を残りの２つのチャネルから抽出することができ、また高域情報を使用して補間しているチャネルの推定を改善することができる。この方法は、補間中にエイリアシングアーティファクトを抑制するのに特に有効である場合がある。

ベイヤＣＦＡサンプリンググリッドにおいて、未知のＧ画素は、ＲまたはＢの画素値のいずれかが識別されている位置にある。欠けているＧ画素が、Ｒサンプルが識別されている位置で推定される場合、高域周波数成分を局所的なＲ画素から抽出し、高域フィルタしたＲ値を近接するＧ画素から取得した低域周波数成分に加算することによって、補間を行うことができる。これに対して、既知のＢ画素の位置で欠けているＧ画素値を補間する間に、高域周波数成分は近接するＲ画素の代わりに、近接するＢ画素から取得することができる。

図９のＧチャネル補間器は非線形かつ空間的に適応可能であり、前の段落で記述したものと同じように機能する。特に、赤の画素値Ｒ_sが識別されている２Ｄグリッドの位置をｓが示していると仮定すると、Ｇ_sの値は以下のように決定される。

ここで、ｒ∈η_s ^Gはｓの画素隣接を示し、α_r,sは低域の適応型バイキュービックスプライン補間器の係数を示す。高域情報は、欠けているＧ画素値を推定する際に近接するＲ画素からのみ使用される。

この段落および後続の段落について記述するために、図１０を参照する。ここでは、適応型バイキュービックスプライン補間器を使用して、欠けている緑画素を補間する局所的な画素の近隣の特定の実施形態が描かれており、全体が１０００と記されている。（ａ）１００２では、欠けている緑画素は、ベイヤモザイクの位置ｓ＝（s₁，s₂）にあり、ここでは、赤の画素値Ｒ_sが識別されている。（ｂ）１００４では、Ｇ_sの推定に使用する４×４の４５°回転されたグリッドに既知の近接する緑画素位置η_s ^G
の組が描かれている。（ｃ）１００６では、画素ｓの近隣に既知の赤画素の組が描かれている。（ｄ）１００８では、赤の画素値は画素位置ｒ∈η_s ^G
で推定される。（ｅ）１０１０では、補間された赤の画素値を既知の緑の画素値から減じることによって、差（クロミナンス）チャネルＹが形成される。（ｆ）１０１２では、Ｙ_sの評価中に適応型バイキュービックスプライン補間器の空間的構成要素によって近接するＹ画素に割り当てられた重みが描かれている。

（３）の平均化操作が実行される局所的な空間的近隣η_s ^G
は、現在の画素ｓを中心とする４×４の４５°回転された長方形のグリッドに配置された１６個の画素を含む。局所的な空間的近隣η_s ^Gを含む画素位置ｒは、Ｇ画素値だけが観察される位置である。つまり、Ｘ_r＝Ｇ_rである。したがって、（３）の値Ｇ_rは識別されているが、値Ｒは未知であり、推定する必要がある。Ｒ_rの値は、画素位置ｒに空間的に最も近い、垂直または水平に整列された２つの既知のＲ画素値の中央値として計算することができる。

帯域制限された差チャネル（Ｇ−Ｒ）を表すために第４の色である黄またはＹを使用すると、（３）のＧ_sの推定は以下のように記述することができる。

ここで、

は、適応型バイキュービックスプライン補間器フィルタ係数α_r,sによって計算されたｓにおける黄画素の推定値を示す。フィルタ係数α_r,sは、以下のように計算することができる。

（５）および（６）において、ｈ_r,sは適応型バイキュービックスプライン補間器の空間的構成要素を表し、ｇ(x)はｘの単調減少であるのに対して、

係数ｈ_r,sは空間的に不変かつ対称であるため、ｈ_r,s＝ｈ_r-s＝ｈ_s-rと記述することができる。近接する画素と中央画素との間の空間的距離（｜ｓ−ｒ｜）の増加にともなって、係数ｈ_s-rは減少する。関数ｇ(x)は、近接する画素と中央画素とのグレイスケール値の類似点の基準を計算し、グレイスケール値（Ｙ_r）が中央画素

の事前推定値とは大きく異なる、それらの画素隣接ｒからの影響を減らすために使用される。

（５）および（６）から、適応型バイキュービックスプライン補間器は、双方向フィルタに類似している場合があるが、画像雑音除去ではなく画像補間に適応されていると言うことができる。

図１０の（ｅ）１０１０および（ｆ）１０１２に示すように、適応型バイキュービックスプライン補間器の空間的構成要素は、近接する画素と中央画素との間の空間的距離｜ｓ−ｒ｜によって決定された３つのユニークな値の１つだけ、つまりｈ_r-s∈｛ａ²，ａｂ，ｂ²｝を想定している。特定の実施形態では、ａの値には経験的に０．４が選択されるのに対して、ｂの値には０．１が選択される。

特定の実施形態では、また画素類似性測定関数ｇ(x)は観察された主観的および客観的なデモザイク性能に基づいて経験的に選択される。ｇ(x)の関数形式は、以下から得られる。

ｇ(x)のグラフは、図１１に描かれている画素類似性測定関数の特定の例示的実施形態１１００に曲線１１０２として示されている。

Ｙ_sの初期値は、垂直および水平方向に向けられた画素の凸平均を使用して推定することができる。特に次のようになる。

ここで、βは前の副節に記述した分類器の決定基準を示す。

最後に、ここまで記述した方法はＲ画素値が識別されている位置にある欠けているＧ画素だけの推定について説明している。Ｂ画素値が識別されている位置にある、欠けているＧ画素の残りの半分の推定は、（３）のＲ画素値をＢ画素値に置き換えて、それに応じて後の記述を変更することによって計算され得る。

赤および青画素の補間
特定の実施形態では、Ｇチャネルが補間されるとサブサンプリングされた差チャネル（Ｒ−Ｇ）および（Ｂ−Ｇ）が形成される。ここで、画素差はＲまたはＢの画素値が識別されている位置のみで計算され得る。その後、サブサンプリングされた差チャネルは、バイ線形補間アルゴリズムを使用して、各方角（垂直および水平）に２倍だけ補間され得る。Ｇ画素値を補間された（Ｒ−Ｇ）および（Ｂ−Ｇ）クロミナンスプレーンに加算して戻すと、ＲチャネルおよびＢチャネルの補間が行われる。

実験結果
特定の実施形態では、図９〜１１（「適応型バイキュービックスプライン補間器」）に関して記述した実施形態を含むデモザイクアルゴリズムの性能は、２４の７６８×５１２（または５１２×７６８）のコダックカラー画像の組に対して評価される。最初に、カラー画像はベイヤＣＦＡモザイクをシミュレートするために使用され、次に異なるデモザイクアルゴリズムを使って処理されてオリジナルの３チャネルカラー画像の推定値が取得される。

この節では、（１）バイ線形補間、（２）エッジ有向補間、（３）均一性有向補間、（４）適応型バイキュービックスプライン補間器、という４種類の異なるデモザイクアルゴリズムを性能比較に使用する。

除算を避け、必要な乗算の数を減らすために、（７）の画素類似性測定関数ｇ(x)は、６４の１０ビットサイズの整数値を用いたルックアップテーブル（ＬＵＴ）を使用して実装される。適応型バイキュービックスプライン補間器係数の正規化に関連する除算は、５１２の１０ビットサイズの整数値のＬＵＴを使用して実装される。

図１２および１３に、特定のデモザイク結果を示す。図１２は、適応型バイキュービックスプライン補間器の一実施形態を使用した結果を含むデモザイク結果の第１の特定の実施形態を描いている。結果は、画像１２０２、１２０４、１２０６、１２０８および１２１０として描かれている。図１３は、適応型バイキュービックスプライン補間器の一実施形態を使用した結果を含むデモザイク結果の第２の特定の実施形態を描いている。結果は画像１３０２、１３０４、１３０６、１３０８および１３１０として描かれている。

画像１２０２および１３０２は、オリジナルのコダック画像の異なる部分をズームインしたビューを示している。画像１２０４および１３０４は、双線形補間を使用したデモザイクされた画像である。画像１２０４および１３０４は、双線形補間は効率的ではあるが、デモザイクされた画像において深刻なジッパアーティファクトおよびエイリアシングアーティファクトが生じることを示している。ジッパアーティファクトは、デモザイクされた画像１２０６および１３０６、ならびに１２０８および１３０８で大幅に減っている。これらは、それぞれエッジ有向補間アルゴリズムおよび均一性有向補間アルゴリズムを使用して生成されたものである。適応型バイキュービックスプライン補間器の一実施形態を使用して生成されたデモザイクされた画像を画像１２１０および１３１０として示す。画像１２１０と画像１２０４〜１２０８との比較および画像１３１０と１３０４〜１３０８との比較は、適応型バイキュービックスプライン補間器が考えられる他のデモザイクソリューションのどれよりも画質において大きな改善を提供できることを示している。

表１は、適応型バイキュービックスプライン補間器を含むデモザイクアルゴリズムの比較の特定の例示的実施形態を描いている。

表１：異なるデモザイクアルゴリズムを使用して２４画像の組に対して計算された画像忠実度の測定基準を視覚的に重み付けしたＰＳＮＲおよびＹＣｘＣｘ／Ｌａｂの平均値。

表１では、様々なデモザイクアルゴリズムの平均性能がピーク信号対雑音比（ＰＳＮＲ）およびＹＣｘＣｚ／ＬａｂΔ誤りという異なる２つの客観的な画質測定を使用して、２４のコダック画像のテストセットに対して比較されている。ＹＣｘＣｚ／Ｌａｂ品質測定基準は、ＣＩＥ−Ｌ＊ａ＊ｂ＊の色差に基づいているが、人間の視覚システムのコントラスト感度のローパス特性も根拠にしている。適応型バイキュービックスプライン補間器は、均一性有向補間アルゴリズムと比べて約２ｄＢの大きな性能改善を提供することができる。後者のアルゴリズムは、他のデモザイク方法より性能が優れている場合がある。また、適応型バイキュービックスプライン補間器ではＹＣｘＣｚ／Ｌａｂ ΔＥ誤りが最も低い。

結論
特定の実施形態では、シングルチップディジタルカメラによって取り込まれた色フィルタアレイデータの欠けている画素を推定するための補間アルゴリズムを開示する。シミュレートしたベイヤ色フィルタアレイモザイクは、当該補間アルゴリズムが他のデモザイクソリューションより大幅に優れた３チャネルの色再構築を提供できることを示している。また、画質の客観的に測定は当該補間アルゴリズムが他のデモザイク方法より性能が優れていることを示している。

本明細書に開示した実施形態に関して記述された、様々な実例となる論理ブロック、構成、モジュール、回路およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装できることは当業者には自明であろう。これを明白に示すために、ハードウェアおよびソフトウェア、様々な実例となる構成要素、ブロック、構成、モジュール、回路およびステップの互換性については、一般的にそれらの機能の点から上述した。そのような機能をハードウェアまたはソフトウェアのいずれとして実装するかは、全体的なシステムに課された特定の用途および設計制約に依存している。当業者であれば、各特定用途に対して、記述した機能を様々な方法で実装できるが、そのような実装の決定は、本開示の範囲から逸脱するものと解釈するべきではない。

本明細書に開示した実施形態に関して記述した方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または２つの組み合わせにおいて直接的に実現することができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取り外し可能ディスク、コンパクトディスクを使った読み出し専用メモリ（ＣＤ−ＲＯＭ）、または当業者に知られている既知の他の形式の記憶媒体に収容することができる。代表的な記憶媒体は、プロセッサが記憶媒体から情報を読み込んだり、情報を書き込んだりできるように、プロセッサに結合される。代替案では、記憶媒体はプロセッサに内蔵される。プロセッサおよび記憶媒体は、特定用途向けＩＣ（ＡＳＩＣ）に収容することができる。ＡＳＩＣは、計算デバイスまたはユーザー端末に収容することができる。代替案では、プロセッサおよび記憶媒体は、個別部品として計算デバイスまたはユーザー端末に収容することができる。

開示した実施形態に関する前の記述は、任意の当業者が開示された実施形態を構成または使用できるように提供するものである。これらの実施形態に様々な変更が可能なことは当業者には明白であり、また、本明細書に定義した原理は、本開示の範囲から逸脱することなく他の実施形態に適用することができる。したがって、本開示は本明細書に示した実施形態に制限することを意図するものではなく、付記の特許請求の範囲に定義した原理および新規な特徴に矛盾しない最大限の範囲を認めるものである。

Claims (32)

1. 画像データを受け取る入力部と、
   適応型バイキュービックスプライン補間を使用するように構成されたデモザイクモジュールを含み、前記画像データに応答する画像処理システムと、
   前記画像処理システムに応答して出力データを提供するように適応された出力部と、
   を備えたシステム。
2. 前記デモザイクモジュールは、第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含む入力画像データを受け取るように構成され、前記デモザイクモジュールは、前記入力画像データを受け取り、補間された第１の色データを含むフィルタされたデータを出力するように構成された補間フィルタを含み、前記補間フィルタは、第４の色を表す第４の色データの適応型バイキュービックスプライン補間を行うように適応されている請求項１に記載のシステム。
3. 前記デモザイクモジュールは、
   前記入力画像データを処理し、画像特徴に対応する特徴データを生成する特徴抽出モジュールと、
   前記特徴データに応答して前記画像特徴の向きに関連する分類出力を提供する分類モジュールと、
   をさらに含む請求項２に記載のシステム。
4. 前記補間フィルタは、
   前記第２の色データを補間して補間された第２の色データを生成するロジックと、
   前記補間された第２の色データを前記第１の色データから減じて前記第４の色データを生成するロジックと、
   前記第４の色データを受け取り、補間された第４の色データを生成するように構成された適応型バイキュービックスプライン補間ロジックと、
   前記第２の色データを前記補間された第４の色データに加算して前記第２の色データに関連する位置で補間された第１の色データ作成するロジックと
   を含む請求項３に記載のシステム。
5. 前記第１の色は緑であり、前記第２の色は赤または青であり、前記第４の色は黄またはシアンである請求項４に記載のシステム。
6. 前記第１の色は黄であり、前記第２の色はマゼンタまたはシアンであり、前記第４の色は赤または青である請求項４に記載のシステム。
7. 前記特徴抽出モジュールは、前記入力画像データに関連する導関数演算を行うように構成され、前記特徴データは、３つの方向性導関数演算の値を持つ３次元データ、または２７の方向性導関数演算の値を持つ２７次元データを含む請求項４に記載のシステム。
8. 前記分類モジュールは、前記特徴データが３次元データを含むときには、ガウシアン混合モデルタイプのアルゴリズムを使用し、または前記特徴データが２７次元データを含むときには、エイダブーストタイプのアルゴリズムを使用して、前記分類出力を選択的に決定するように構成された請求項７に記載のシステム。
9. 前記適応型バイキュービックスプライン補間ロジックは、前記分類出力を使用して前記補間された第４の色データの初期値を生成し、前記初期値および適応的重み関数を使用して前記第４の色データを補間するように構成された請求項４に記載のシステム。
10. 前記補間フィルタは、
    前記第３の色データを補間して補間された第３の色データを生成するロジックと、
    前記補間された第３の色データを前記第１の色データから減じて第５の色データを生成するロジックと、
    ここで、前記適応型バイキュービックスプライン補間ロジックは、前記第５の色データを受け取り、補間された第５の色データを生成するようにさらに構成され、
    前記第３の色データを前記補間された第５の色データに加算して前記第３の色データに関連する位置で補間された第１の色データを生成するロジックと、
    を含む請求項４に記載のシステム。
11. 前記第１の色は緑であり、前記第２の色は赤であり、前記第３の色は青であり、前記第４の色は黄であり、前記第５の色はシアンである請求項１０に記載のシステム。
12. 前記第１の色は黄であり、前記第２の色はマゼンタであり、前記第３の色はシアンであり、前記第４の色は赤であり、前記第５の色は青である請求項１０に記載のシステム。
13. 前記適応型バイキュービックスプライン補間ロジックは、前記分類出力を使用して前記補間された第４の色データの初期値を生成し、前記補間された第４の色データの初期値および適応的重み関数を使用して前記第４の色データを補間するように構成され、前記適応型バイキュービックスプライン補間ロジックは、前記分類出力を使用して前記補間された第５の色データの初期値を生成し、前記補間された第５の色データの初期値および前記適応的重み関数を使用して前記第５の色データを補間するように構成される請求項１０に記載のシステム。
14. 前記画像処理システムは、
    前記デモザイクモジュールから受け取ったデータからガンマ補正されたデータを生成するガンマモジュールと、
    前記ガンマ補正されたデータに対して校正を行う色校正モジュールと、
    前記色校正モジュールの出力を色空間に変換するために結合された色空間変換モジュールと、
    前記色空間変換モジュールの出力を受け取り、圧縮された出力データを画像格納デバイスに格納する圧縮格納モジュールと
    を含む請求項１に記載のシステム。
15. 第１の色データを受け取るように構成され、回転重みグリッドを使用して補間操作を行うように構成された適応型バイキュービックスプライン補間ロジックを含む補間フィルタを備え、
    前記第１の色データは、入力画像データの第１の色を表し、前記入力画像データは、第２の色を表す第２の色データと第３の色を表す第３の色データとをさらに含み、前記第１の色は、前記第２の色および前記第３の色より頻繁に前記入力画像データに現れる補間システム。
16. 前記入力画像データを受け取り、前記入力画像データの方向性導関数に関連する特徴データを出力するように構成された特徴抽出モジュールと、
    前記特徴データを受け取り、前記入力画像データに関連する画像特徴の向きに関連する分類出力を生成するように構成された分類モジュールと、をさらに備え、
    前記補間フィルタは、前記分類出力を使用して補間された第１の色データを生成するように構成される請求項１５に記載の補間システム。
17. 前記適応型バイキュービックスプライン補間ロジックは、前記分類出力を特定の位置に近接する位置の値に適用することによって前記入力画像データの前記特定の位置の初期値を推定するように構成された初期値推定モジュールを含む請求項１６に記載の補間システム。
18. 前記適応型バイキュービックスプライン補間ロジックは、近くの位置の値と初期値との差に重み関数を適用することによって前記近くの位置の差し引き値を使用して前記特定の位置で補間された値を生成する適応的重み関数モジュールをさらに含む請求項１７に記載の補間システム。
19. 前記重み関数は、前記近くの位置の値と前記初期値との差の４乗までの累乗を含む請求項１８に記載の補間システム。
20. 前記適応型バイキュービックスプライン補間ロジックは、１６個の近くの位置の値に前記回転重みグリッドを適用することによって前記１６個の近くの位置の重み付けられた値を使用して特定の位置における補間された値を生成するように構成され、前記回転重みグリッドは、第１の重み係数の２乗、第２の重み係数の２乗および前記第１の重み係数と前記第２の重み係数との積をの１つを示す請求項１５に記載の補間システム。
21. 前記補間フィルタは、
    第２の補間された色データを前記第１の色データから減じることによって第４の色データを生成するように構成され、前記第４の色データを前記適応型バイキュービックスプライン補間ロジックに提供して補間された第４の色データを作成するように構成された第４の色作成ロジックと、
    前記補間された第４の色データを前記適応型バイキュービックスプライン補間ロジックから受け取り、前記第２の色データを加算して補間された第１の色データを生成するように構成された補間された第１の色データ作成ロジックと、
    をさらに含む請求項１５に記載の補間システム。
22. 前記補間フィルタは、第３の補間された色データを前記第１の色データから減じることによって第５の色データを生成するように構成され、前記第５の色データを前記適応型バイキュービックスプライン補間ロジックに提供して補間された第５の色データを作成するためにように構成された第５の色作成ロジックをさらに含み、前記補間された第１の色データ作成ロジックは、前記補間された第５の色データを前記適応型バイキュービックスプライン補間ロジックから受け取り、前記第３の色データに加算して前記第３の色に対応する位置における補間された第１の色データを生成するようにさらに構成された請求項２１に記載の補間システム。
23. 前記入力画像データはベイヤモザイクデータを含み、
    補間された第１の色データを補間フィルタから受け取るために結合され、前記第２の色に対応する第１の差チャネル出力データを提供するように構成された第１の差チャネルと、
    前記補間された第１の色データを前記補間フィルタから受け取るために結合され、前記第３の色に対応する第２の差チャネル出力データを提供するように構成された第２の差チャネルと、をさらに備え、
    前記補間された第１の色データ、前記第１の差チャネル出力データおよび前記第２の差チャネル出力データは、前記入力画像データに対するデモザイキング処理の結果を提供する請求項１５に記載の補間システム。
24. 第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含み、前記第２の色データおよび前記第３の色データより前記第１色データを多く含む画像データを受け取ることと、
    補間された第２の色データを前記第１の色データから減じることによって第４の色を表す第４の色データを生成することと、
    前記第４の色データを補間して補間された第４の色データを生成することと、
    前記第２の色データに加算された前記補間された第４の色データを使用して補間された第１の色データを生成することと、を含む方法。
25. 前記第４の色は、黄、シアン、赤、または青である請求項２４に記載の方法。
26. 補間された第５の色データを前記第１の色データから減じることによって第５の色を表す第５の色データを生成することと、
    前記第５の色データを補間して補間された第５の色データを生成することと、
    前記第３の色データに加算された前記補間された第５の色データを使用して補間された第１の色データを生成することと、
    をさらに備える請求項２４に記載の方法。
27. 前記第４の色データの補間は、１６個の最隣接を使用して適応型バイキュービックスプライン補間操作を行うことを含む請求項２４に記載の方法。
28. 前記適応型バイキュービックスプライン補間操作は、初期値と近傍値との差の４乗までの累乗に基づいて補間値を調節する請求項２７に記載の方法。
29. 第１の色を表す第１の色データ、第２の色を表す第２の色データおよび第３の色を表す第３の色データを含む画像データを受け取り、
    補間された第２の色データを生成し、
    前記補間された第２の色データを前記第１の色データから減じて第４の色を表す第４の色データを生成し、
    適応型バイキュービックスプライン補間操作を使用して前記第４の色データを補間し、補間された第４の色データを生成し、
    前記第２の色データを前記補間された第４の色データに加算して補間された第１の色データを作成し、かつ
    前記補間された第１の色データをメモリに格納するためのプロセッサにより実行可能なプロセッサ命令を格納するプロセッサで読み取り可能な媒体。
30. 前記プロセッサ命令は、
    前記第１の色が緑であり、かつ前記第２の色が赤であるときに、前記適応型バイキュービックスプライン補間操作を使用して補間された黄のデータを生成し、
    前記第１の色が緑であり、かつ前記第２の色が青であるときに、前記適応型バイキュービックスプライン補間操作を使用して補間されたシアンのデータを生成し、
    前記第１の色が黄であり、かつ前記第２の色がマゼンタであるときに、前記適応型バイキュービックスプライン補間操作を使用して補間された赤のデータを生成し、
    かつ
    前記第１の色が黄であり、かつ前記第２の色がシアンであるときに、前記適応型バイキュービックスプライン補間操作を使用して補間された青のデータを生成するための
    前記プロセッサによって実行可能な命令をさらに含む請求項２９に記載のプロセッサで読み取り可能な媒体。
31. 前記適応型バイキュービックスプライン補間操作は、回転重みグリッドを適用して特定の位置に関連する所定位置で前記第４の色データの値を調節する請求項３０に記載のプロセッサで読み取り可能な媒体。
32. 前記適応型バイキュービックスプライン補間操作は、前記特定の位置の初期値と前記所定位置の前記第４の色の値との差によって前記所定位置で前記第４の色の各値を割り、前記差は４乗されている請求項３１に記載のプロセッサで読み取り可能な媒体。

Images