JP2008530863A - 適応型色彩補間 - Google Patents

Abstract

色彩補間方法は、色彩補間の対象とする画素に関する第１の欠落した色彩サブピクセル値を取得するために第１の補間関数（Ｆ１）を用い、色彩補間の対象とする画素に関する第２の欠落した色彩サブピクセル値を取得するために第２の補間関数（Ｆ２）を用いる。第１の方向（Ｄ１）において拡張するエッジを表す第１のメトリック（Ｖ）が取得される。第２の方向（Ｄ２）において拡張するエッジを表す第２のメトリック（Ｈ）が取得される。該二つのメトリックは、第１と第２の重み付け係数（ｋ１、ｋ２）を生成するために用いられる。該複数の重み付け係数の決定において、一のメトリックについて他のメトリックと比較してより多くの強調を置くために確信係数値が用いられ得る。一実施例においては、補完されるサブピクセル値は、該第１の欠落した色彩サブピクセル値を乗じた該第１の重み付け係数と該第２の欠落した色彩サブピクセル値を乗じた該第２の重み付け係数とを加算した重み付けられた合計である。

Description

開示された実施例は、一般に色彩補間に関する。

デジタル画像をキャプチャーする能力を持つデジタルカメラやセル電話のようなデジタル画像キャプチャー装置は画像センサーを含む。画像センサーは複数のセンサーの２次元配列を含む。各センサーは一の「画素位置（pixel location）」に位置付けられていると言われる。各センサーは、光の一の色彩の強度を検出する。典型的には、緑色に関するセンサー、赤色に関するセンサー、青色に関するセンサーが存在する。

図１（先行技術）は、その複数のセンサーがベイヤー・パターンと呼ばれるポピュラーなパターンで配置された画像センサーのブロック図である。人間が色彩と影像を視覚化する方法に起因して、緑色の標本化に関連して赤色と青色をサブサンプルすることは該画像センサーにとってしばしば有利である。複数のセンサーの一番上の行は緑色と赤色のセンサーを交互に含むことに注意されたい。センサーの次の行は緑色と青色のセンサーを交互に含む。該画像センサーの複数の行を垂直に下る方向に向かって、複数のセンサーのこの配列は一行毎に生起する。従って、図１の該画像センサーは、赤色センサーと青色センサーを有するよりも多くの緑色センサーを有する。従って、赤色と青色はサブサンプルされると言われる。該画像センサー上の各々の画素位置において一つだけの色彩の標本値が取られる。例えば、色彩の標本値の各々は８ビット値であることが可能である。

図２は、図１の画像センサーを用いてキャプチャされた画像を描画するのに利用可能なディスプレイの簡略化されたブロック図である。図１の各々のセンサーについて、図２のディスプレイ上に表示される三つのサブピクセル値が存在する。緑色のサブピクセル値と赤色のサブピクセル値と青色のサブピクセル値がある。各々のサブピクセルの色彩値は、例えば８ビット値であることが可能である。ベイヤー・パターンの画像センサー内の各々の画素位置においては一つだけの色彩が標本化されるので、各々の画素位置において三つのサブピクセル値の全てを持つために、二つの追加的なサブピクセルの色彩値が各々の画素位置に関して決定される必要がある。決定される必要のあるサブピクセル値は「欠落した」サブピクセル値であると言われる。欠落した色彩のサブピクセル値を再生する処理は「デモザイキング」または「色彩補間」と呼ばれる。

図３（先行技術）はある簡単な陳腐な色彩補間の方法を図解している。現在の画素位置は位置Ｒ３３であると仮定する。位置Ｒ３３において、ベイヤー・パターンの画像センサーは赤色の標本値をキャプチャするのみであるので、緑色に関するサブピクセル値がＲ３３に関して決定されることになっていると仮定する。画素位置Ｒ３３のすぐ上、位置Ｒ３３のすぐ下、Ｒ３３のすぐ左、及びＲ３３のすぐ右は、緑色のサブピクセルの標本値を有する画素位置である。画素位置Ｒ３３に関する緑色のサブピクセル値を決定するために、隣接する緑色のサブピクセルの標本値Ｇ２３、Ｇ３２、Ｇ３４、およびＧ４３が平均される。その結果は、赤色の画素位置Ｒ３３において該緑色のサブピクセル値が何であるべきかの推定である。

図４（先行技術）は、画素位置Ｒ３３に関する青色のサブピクセル値がどのように決定されるかを図解している。図１から、隣接する対角の画素位置Ｂ２２、Ｂ２４、Ｂ４２、Ｂ４４において、ベイヤー・パターンの画像センサーは青色のサブピクセルの標本値を生成する。赤色の画素位置Ｒ３３において該青色のサブピクセル値が何であるべきかの推定を得るために、これらの隣接する対角の青色のサブピクセル標本値は平均される。

図５（先行技術）は、図３および図４の色彩補間の方法についての問題を図解している。表示される画像は1個の赤一色の物体１を含む。物体１は青一色の背景の上に配置されている。従って物体１は、画素位置Ｒ３３の領域を横切って走る対角エッジ２を生成する。エッジ２の上と左には青一色が存在する。エッジ２の下と右には赤一色が存在する。もしも、位置Ｒ３３における欠落した青色のサブピクセル値を補間するために、図４において上述したように最も近い隣接する四つの対角の青色ピクセル値が単純に平均されるならば、エッジ２のどちらの側の色彩値も平均されるであろう。このことは、該エッジの一方の側の大きな青色の値を該エッジの他の側の小さい青色の値と混合するという結果をもたらすであろう。この混合を用いた色彩補間を実行することはエッジの鋭さを減少させるだろう。

この問題を改善するために、一の画素位置に存在する垂直エッジの量と一の画素位置に存在する水平エッジの量に関するメトリックを取得することが一般的である。一のエッジが存在すると判定された場合、該エッジの方向を推定するために該メトリックは使われる。該エッジの方向の推定が一旦行われたならば、該エッジを横切る望ましくない混合という結果にならないような適切な補間関数が選択される。

例えば、垂直の次元においてどれだけのエッジが存在するかについて一のメトリックが取得され、水平の次元においてどれだけのエッジが存在するかについてもう一つ別のメトリックが取得されると仮定する。水平エッジよりも多くの垂直エッジが存在することを該複数のメトリックが表すならば、水平の次元においては画素の値を平均しない一の補間関数が適用される。従って、垂直に延びるエッジを横切って平均することは、小さくなる傾向にある。同様に、垂直エッジよりも多くの水平エッジが存在することを該複数のメトリックが表すならば、垂直の次元においては画素の値を平均しない一の補間関数が適用される。従って、水平に延びるエッジを横切って平均することは小さくなる傾向にある。適切な補間関数を選択するために該複数のメトリックを使用することにより、最終的な画像におけるエッジの鋭さが維持される。

異なるタイプのメトリックが利用されることが可能である。一のメトリックの一つの実例は１次のグラジエントである。１次の水平グラジエントの一つの実例は、隣接する右側の画素の画素値から左の画素値を減算することを含むことが可能であろう。この差異値がゼロであった場合、該二つの画素位置の間では、水平の次元において、水平グラジエントは全く検出されない。該値が大きい場合、大きな水平グラジエントが検出される。そのような１次のグラジエントは、一の方向に延びる画素値の列の中における画素値の変化を検出する。従って、エッジを検出するためのメトリックとして１次のグラジエントは利用可能である。垂直の次元に関する１次のグラジエントが得られることが可能であり、水平の次元に関する１次のグラジエントが得られることが可能である。エッジが存在するか否か、そして存在するなら該エッジの方向はどちらであるかの決定を行うために、これらの二つの１次のグラジエントは、その後用いられる。

一のメトリックのもう一つ別の実例は２次のグラジエントである。２次のグラジエントは、一の方向における画素値の変化を検出することではなく、むしろ、画素値の変化がどのように変化しているかを検出することを含む。一の方向に延びながら連続する複数の画素の間の差異が取られる。これらの連続する複数の差異値の大きさが変化しないならば、該方向における２次のグラジエントはゼロである。他方でもしも、該複数の差異値の大きさが変化するならば、該方向において２次のグラジエントが存在する。２次のグラジエントは、例えば、エッジが存在するか否かの決定から一定の変化を除去するために用いられることが可能である。

上記の１次と２次のグラジエントに加えて、他の垂直メトリックと水平メトリックも陳腐な色彩補間において用いられる。しかし、メトリックのタイプに関わらず、メトリックは一般的に単一の最良の補間関数を選択するために用いられる。この事はある状況においては望ましくない。何故なら、他の補間関数は選択された補間関数と殆ど同じくらい良いかも知れないからである。例えば、垂直の次元において一のメトリック１０が得られ、水平の次元において一のメトリック９が得られるような状況を考える。該二つのメトリックはお互いに近いが、しかし垂直補間関数は水平補間関数よりも良いと判定されるので、垂直補間関数のみが用いられる。

他の技法は、補間されるべき一の画素を囲む一の領域における指向性エネルギーの支配的な一の方向を決定することを伴う。米国特許番号6,404,918は画素の近隣が考慮されるような方法を記載している。補間される画素の値は重み付けられた合計であり、ここで近隣の各々の画素が、それ自身の重み付け係数によって乗算される。一の近隣の画素に対するベクトルと該支配的な方向ベクトルとのベクトルの内積を取ることによって各々の重み付け係数は決定される。ベクトルの内積の計算を実行することは、一般に乗算を実行することを伴う。単に一つの補間される画素の値を計算するために、多くの乗算の演算が必要とされる。従って、あるアプリケーションにおいては、支配的な方向ベクトルの方法は望ましくない。計算の複雑性は、例えば、必要な全ての計算が利用可能な量の時間内で実行されるために追加のハードウェアを必要とする。更に、多くの計算を実行することは、些細でない量のエネルギーを消費する可能性がある。セル電話のような電池駆動のコンシューマー装置においては、電池の寿命を延ばし、複雑性とコストを低減することはしばしば主要な関心事である。一つの解決法が望まれる。

[発明の概要]
一の色彩補間方法は、色彩補間の対象とする画素に関する第１の欠落した色彩サブピクセル値を得るための第１の色彩補間関数Ｆ１を用いることを伴う。この第１の色彩補間関数は、例えば、色彩補間の対象とする画素を通って第１の方向Ｄ１に延びる第１の線Ｌ１に沿って配置された複数の画素の情報を利用する垂直補間関数であることが可能である。第１の方向Ｄ１は垂直方向であることができる。第１の色彩補間関数Ｆ１は、該第１の線に沿って配置された複数の画素について実質的に一定の色彩の差分が存在するような第１の欠落した色彩のサブピクセル値を決定する色彩差分関数であることができる。

第２の色彩補間関数Ｆ２は、色彩補間の対象とする画素の第２の欠落した色彩サブピクセル値を得るために利用される。この第２の色彩補間関数は、例えば、色彩補間の対象とする画素を通って第２の方向Ｄ２に延びる第２の線Ｌ２に沿って配置された複数の画素の情報を用いる水平補間関数であることが可能である。第２の方向Ｄ２は水平方向であることができる。第２の色彩補間関数Ｆ２は、該第２の線に沿って配置された複数の画素について実質的に一定の色彩差分が存在するような第２の欠落した色彩サブピクセル値を決定する色彩差分関数であることができる。

第１の方向Ｄ１に延びる一のエッジの（色彩補間の対象とする画素における）存在を表す第１のメトリックＶが取得される。

第２の方向Ｄ２に延びる一のエッジの（色彩補間の対象とする画素における）存在を表す第２のメトリックＨが取得される。

最初の観点において、該二つのメトリックＶとＨは第１と第２の重み付け係数ｋ１とｋ２を生成するために用いられる。他のメトリックと比較して、一のメトリックにより多くの強調が置かれるような重み付け係数の決定において、確信係数の値が用いられることが可能である。補間される欠落した色彩サブピクセル値は、第１の欠落した色彩サブピクセル値により乗算された第１の重み付け係数ｋ１に第２の欠落した色彩サブピクセル値により乗算された第２の重み付け係数ｋ２を加えた重み付けられた合計である。従って、色彩補完関数を実行し、欠落した色彩サブピクセル値を生成するために、およそ２個か３個くらいの比較的少ない数の完全な（ｆｕｌｌ）乗算演算だけが必要とされる。

第２の観点においては、二つの重み付け係数は計算されないが、それでもなお、全く同一の欠落した色彩サブピクセル値が決定される。例えば、第１の欠落した色彩サブピクセル値と第２の欠落した色彩サブピクセル値の差分がある値によって乗算される。その値は第１と第２のメトリックの関数である。この乗算の結果は第１の積である。第１の欠落した色彩サブピクセル値と第２の欠落した色彩サブピクセル値の合計値が取得される。半個の演算により簡単な乗算を実行するために、この合計値に単純なシフトが実行される。該シフト演算の結果は第２の積である。そして、欠落した色彩サブピクセル値を得るために第１と第２の積は合計される。この第２の側面に基づいて色彩補間関数を実行するために、1個だけの完全な（ｆｕｌｌ）乗算演算が必要とされる。シフト演算は完全な（ｆｕｌｌ）乗算であるとはみなされない。何故なら、それは２の累乗で乗算又は除算することができるだけだからである。しかしながら、完全な（ｆｕｌｌ）ハードウェア乗算器を伴う完全な（ｆｕｌｌ）乗算と比較して、シフト演算は、ビット列をシフトすることにより、ハードウェアで簡単に実装されることが可能である。

欠落した色彩サブピクセル値の計算が二つの異なる重み付け係数を決定することを伴うか否かに関わらず、該計算は重み付けられた合計値と実質的に等しい値を生成することを伴う。ここで、該重み付けられた合計値は第１の欠落した色彩サブピクセル値の成分と第２の欠落した色彩サブピクセル値の成分を有し、そして第２の欠落した色彩サブピクセル値の成分に対する第１の欠落した色彩サブピクセル値の成分の相対的な比率は、第１と第２のメトリックの関数である。例えば、第１のメトリックが第２のメトリックに対して優位である場合、第１の欠落した色彩サブピクセル値の成分は第２の欠落した色彩サブピクセル値の成分に対して（補間された欠落した色彩サブピクセル値において）優位である。

欠落した色彩サブピクセル値を決定する上述した補間方法は画素位置のベイヤー形式配列の全ての赤色及び全ての青色の画素位置に対して適用される。その結果、ベイヤー形式配列の各々の画素位置について緑色のサブピクセル値が決定される。緑色の画素位置においては、緑色のサブピクセル値は既に既知である。何故なら、それはベイヤー配列データからの緑色のサブピクセル値であるからである。赤色と青色の画素位置においては、緑色のサブピクセル値を計算するために補間方法が用いられる。全ての画素位置について緑色のサブピクセル値が一旦既知となったならば、補間されるべき他の赤色と青色の欠落した色彩サブピクセル値は、該既知の緑色のサブピクセル値を用いて計算されることができる。

他の観点においては、欠落した赤色と欠落した青色のサブピクセル値の計算が開始する前には、該配列の各々の画素位置について緑色のサブピクセル値は計算されない。赤色又は青色の欠落した色彩サブピクセル値の計算は、色彩補間の対象とする画素位置に直接隣接する領域における緑色のサブピクセル値だけを要求する。従って、緑色のサブピクセル値の計算は、（緑色のサブピクセル値を計算する目的のための）色彩補間の対象とする画素が、画素位置の該配列を通過するように発生する。赤色と青色のサブピクセル値の計算は、画素位置の該配列を通って移動する（赤色と青色のサブピクセル値を計算する目的のための）色彩補間の対象とする画素と同様の態様で発生する。しかしながら、赤色と青色のサブピクセル値を計算する目的のための色彩補間の対象とする画素は、緑色のサブピクセル値を計算する目的のための色彩補間の対象とする画素よりも遅れる。結果として、先に生成された緑色のサブピクセル値はバッファーされ、後続する赤色と青色のサブピクセル値の計算における使用のために利用可能にされる。

以下の詳細な説明ではソフトウェアとハードウェアの両方の実施例が記載される。この発明の概要は該発明を定義するとは主張しない。該発明は請求項によって定義される。

[発明の詳細な説明]
図６は、その複数のセンサーがベイヤー・パターンで配置された画像センサーの簡単化されたブロック図である。該画像センサーは、行と列に配置された色センサーの２次元配列を伴う。各々の色センサーは一の画素位置において一の色彩を検出する。本実例においては、各々の色センサーは８ビットの色彩サブピクセル値を生成する。図６において一つの色彩サブピクセル値を指定するために、Ｇｎｍ表記が用いられる。該表記において、先頭の大文字の字は感知されている色を表す。該文字が“Ｒ”ならば、感知されている色は赤である。該文字が“Ｇ”ならば、感知されている色は緑である。該文字が“Ｂ”ならば、感知されている色は青である。該表記において二つの数字“ｎｍ”がこの最初の文字に続いている。該表記における最初の数字“ｎ”はサブピクセル値の行を指定する。該表記における第２の数字“ｍ”はサブピクセル値の列を指定する。

図７は、記載された新しい色彩補間方法によって生成されるべきサブピクセル値を図解する簡単化されたブロック図である。各々の画素位置に関して、三つの色彩サブピクセル値が必要とされる。即ち、赤色のサブピクセル値、緑色のサブピクセル値、青色のサブピクセル値である。各々の画素位置において、図６に図解された画像センサーによって色彩サブピクセル値の一つが出力される。他の二つの色彩サブピクセル値は該新しい方法に基づいて決定されることになる。決定されることになる色彩サブピクセル値は「欠落した色彩サブピクセル値」と呼ばれる。図７における三つの色彩サブピクセル値と図６における対応する画素位置との関係を明らかにするために、赤色、緑色、および青色のサブピクセル値は図７においては特定の方法で配置されているけれども、該複数の色彩サブピクセル値は、異なる方法で共にパックされることが可能であることが理解される。典型的なディスプレイ装置においては、図７のサブピクセル値に対応する色彩サブピクセルは、典型的には、該ディスプレイの解像度を増大させるため、可能な限り共にパックされる。

図６の複数の画素のベイヤー・パターンにおいては、四つの異なる画素位置のタイプが存在する。第１に、赤色が感知される画素位置が存在する。画素位置Ｒ３３はそのような画素位置の実例である。第２に、青色が感知される画素位置が存在する。画素位置Ｂ４４はそのような画素位置の実例である。第３に、緑色が感知されるが、右と左に隣接する画素位置においては赤色が感知される画素位置が存在する。画素位置Ｇ３４はそのような画素位置の実例である。第４に、緑色が感知されるが、右と左の画素位置において青色が感知される画素位置が存在する。画素位置Ｇ４３はそのような画素位置の実例である。画素位置の該四つのタイプの各々について三つの色彩サブピクセル値の全て（赤色、緑色、および青色）がどのように決定されるかは以下に述べられる。

[赤色の画素位置]
赤色の色彩補間の対象とする画素位置においては、赤色のサブピクセル値は、該色彩補間の対象とする画素位置において画像センサーにより出力された赤色のサブピクセル値である。説明の目的のために、赤色の色彩補間の対象とする画素位置は画素位置Ｒ３３である。該色彩補間の対象とする画素位置に関する緑色のサブピクセル値Ｇ３３は以下のように決定される。

第１のステップにおいて、該色彩補間の対象とする画素位置に関する第１の欠落した色彩サブピクセル値Ｇ３３_１を得るために、第１の方向の色彩補間関数Ｆ１が適用される。主として第１の線Ｌ１に沿って配置されている画素情報を用いて、該第１の方向の色彩補間関数は該第１の欠落した色彩サブピクセル値を取得する。第１の線Ｌ１は該色彩補間の対象とする画素位置を通って第１の方向Ｄ１に延びる。

図８は、第１の線Ｌ１を一の太線の双方向矢印として図解している。本実例においては該第１の方向Ｄ１は垂直の方向である。従って、該矢印は、色彩補間の対象とする画素位置Ｇ３３を通って垂直の方向に延びる。該第１の方向の色彩補間関数Ｆ１は式（１）において以下のように説明される。

第２のステップにおいて、該色彩補間の対象とする画素位置に関して第２の欠落した色彩サブピクセル値Ｇ３３_２を得るために第２の方向の色彩補間関数Ｆ２が適用される。主として第２の線Ｌ２に沿って配置されている画素情報を用いて、該第２の方向の色彩補間関数Ｆ２は該第２の欠落した色彩サブピクセル値を取得する。第２の線Ｌ２は、該色彩補間の対象とする画素位置を通って第２の方向Ｄ２に延びる。

図９は、第２の線Ｌ２を一の太線の双方向矢印として図解している。本実例においては該第２の方向Ｄ２は水平の方向である。従って、該矢印は、色彩補間の対象とする画素位置Ｇ３３を通って水平の方向に延びる。該第２の方向の色彩補間関数Ｆ２は式（２）において以下のように説明される。

第３のステップにおいては、第１の方向Ｄ１に延びている一のエッジの存在を表す第１のメトリックＶが取得される。該メトリックの大きさは、エッジが存在するのか存在しないのかをその大きさが表すという意味での二値的な区別を表すのではなく、むしろ、エッジが存在するということの尤度（likelihood）の測定値または確信の度合いを該メトリックの大きさは表す。本実例においては、第１の方向Ｄ１は垂直の方向である。本実例においては、該第１のメトリックＶは式（３）によって与えられる。和のＧ２３−Ｇ４３の部分は１次のグラジエントの成分である。何故ならそれは、該色彩補間の対象とする画素位置の一方の側のサブピクセル値と該色彩補間の対象とする画素位置の他方の側のサブピクセル値との差分だからである。和の２・Ｒ３３−Ｒ１３−Ｒ５３の部分は２次のグラジエントの成分である。それは複数の１次のグラジエントの差分である。それは、（Ｒ１３−Ｒ３３）と（Ｒ３３−Ｒ５３）の間の差分である。

第４のステップにおいて、第２の方向Ｄ２に延びているエッジの存在を表す第２のメトリックＨが取得される。本実例においては、第２の方向Ｄ２は水平の方向である。本実例においては該第２のメトリックＨは式（４）により与えられる。

第５のステップにおいて、第１の重み付け係数ｋ１と第２の重み付け係数ｋ２を生成するために該第１のメトリックＶと該第２のメトリックＨが用いられる。本実例においては該第１の重み付け係数ｋ１は、式（５）に基づいて得られる。

式（５）において、αは定数である。最初に、ゼロと（α・（Ｈ−Ｖ）＋０．５）の内の最大値が取られる。最小のこの値はゼロである。次に、この値と１の内の最小値が取られる。最大のこの結果は１である。従って、式（５）は該第１の重み付け係数ｋ１に最小値として０、最大値として１を持つように強制するものであることが理解される。もしも、（α・（Ｈ−Ｖ）＋０．５）が０と１の間であれば、ｋ１はその値に等しい。

図１０は、式（５）の演算を図解している。図１０において、水平の次元は入力の値（Ｈ−Ｖ）を表す。図１０において、垂直の次元は（α・（Ｈ−Ｖ）＋０．５）の値を表す。出力値ｍｉｎ（ｍａｘ（０，（α・（Ｈ−Ｖ）＋０．５）），１）の最大値は１で終端され、該出力値の最小値はゼロで終端されていることに注意されたい。定数αは、ゼロである最小終端値と１である最大終端値の間の線の傾斜を決定する。

０．５の値は（α・（Ｈ−Ｖ））に加算される確信係数の値である。該確信係数の値が０．５よりも小さければ、ｋ１のミッドレンジの値は減少される。該確信係数の値が０．５よりも大きければ、ｋ１のミッドレンジの値は増加される。０．５の確信係数値は中立的である。もしもＨがＶと等しいならば、該第１の重み付け係数ｋ１は０．５のミッドレンジの値である。従って、該確信係数の値はバイアスとして振舞う。式（２）からの水平の補間推定と比較して、式（１）からの垂直の補間推定の方が理想的な補間された値により近い旨のより大きな確信が存在する場合には、該確信係数の値は中立的な値である０．５よりも大きくされるべきである。

該第２の重み付け係数ｋ２は、該第１の重み付け係数ｋ１から式（６）に基づいて得られる。

そして、最終的な欠落した色彩サブピクセル値Ｇ３３は式（７）に基づいて決定される。

該第１と第２の欠落した色彩サブピクセル値の決定、および該第１と第２のメトリックの決定は上記において特定の順序で説明されたが、これらの決定は他の順序で実行されることが可能である。

該色彩補間の対象とする画素位置における欠落した青色の色彩サブピクセル値Ｂ３３は以下の式（８）によって与えられる。

従って、該三つの色彩サブピクセル値Ｒ３３、Ｇ３３、およびＢ３３を取得することに伴う完全な（ｆｕｌｌ）乗算演算の数は比較的小さいことが理解される。該第１の重み付け係数ｋ１の決定において、αと（Ｈ−Ｖ）の完全な（ｆｕｌｌ）乗算が実行される。Ｇ３３の決定においては、ｋ１はＧ３３_１によって乗算され、ｋ２はＧ３３_２によって乗算される。除算と他の乗算は２の因数による単純な除算と乗算である。２の因数により除算すること及び乗算することは比較的単純なシフト演算を必要とし、従って、完全な乗算演算であるとはみなされない。

[青色の画素位置]
次に、色彩補間の対象とする画素位置が青色の画素位置であるような状況を考える。この色彩補間の対象とする画素位置に関する青色の色彩サブピクセル値は単に、該画素位置に関して画像センサーにより出力された青色のサブピクセル値である。説明の目的のために、興味ある青色の画素位置は画素位置Ｂ４４である。該色彩補間の対象とする画素位置に関する緑色の色彩サブピクセル値Ｇ４４は以下のように決定される。

第１のステップにおいて、該色彩補間の対象とする画素位置に関する第１の欠落した色彩サブピクセル値を得るために、第１の方向の色彩補間関数Ｆ１が適用される。主として第１の線Ｌ１に沿って配置されている画素情報を用いて、該第１の方向の色彩補間関数は該第１の欠落した色彩サブピクセル値を取得する。第１の線Ｌ１は該色彩補間の対象とする画素位置を通って第１の方向Ｄ１に延びる。本実例においては、該第１の方向の色彩補間関数Ｆ１は式（９）において以下のように説明される。

第２のステップにおいて、該色彩補間の対象とする画素位置に関して第２の欠落した色彩サブピクセル値を得るために第２の方向の色彩補間関数Ｆ２が適用される。主として第２の線Ｌ２に沿って配置されている画素情報を用いて、該第２の方向の色彩補間関数Ｆ２は該第２の欠落した色彩サブピクセル値を取得する。第２の線Ｌ２は、該色彩補間の対象とする画素位置を通って第２の方向Ｄ２に延びる。本実例においては、該第２の方向の色彩補間関数Ｆ２は式（１０）において以下のように説明される。

第３のステップにおいては、第１の方向に延びている一のエッジの存在を表す第１のメトリックＶが取得される。本実例においては、第１の方向Ｄ１は垂直の方向である。本実例においては、該第１のメトリックＶは式（１１）によって与えられる。

第４のステップにおいて、第２の方向Ｄ２に延びているエッジの存在を表す第２のメトリックＨが取得される。本実例においては、第２の方向Ｄ２は水平の方向である。本実例においては該第２のメトリックＨは式（１２）により与えられる。

第５のステップにおいて、第１の重み付け係数ｋ１と第２の重み付け係数ｋ２を生成するために該第１と第２のメトリックが用いられる。本実例においては該第１の重み付け係数ｋ１は、式（１３）に基づいて得られる。

式（１３）において、αは定数である。最初に、ゼロと（α・（Ｈ−Ｖ）＋０．５）の内の最大値が取られる。最小のこの値はゼロである。次に、この値と１の内の最小値が取られる。最大のこの結果は１である。従って、式（１３）は該第１の重み付け係数ｋ１に最小値として０、最大値として１を持つように強制するものであることが理解される。もしも、（α・（Ｈ−Ｖ）＋０．５）が０と１の間であれば、ｋ１はその値に等しい。図１０は式（１３）の演算を図解している。

該第２の重み付け係数ｋ２は、該第１の重み付け係数ｋ１から式（１４）に基づいて得られる。

そして、最終的な欠落した色彩サブピクセル値Ｇ４４は式（１５）に基づいて決定される。

該色彩補間の対象とする画素位置における欠落した赤色の色彩サブピクセル値Ｒ４４は以下の式（１６）により与えられる。

[赤色の画素位置の間にある緑色の画素位置]
次に、該色彩補間の対象とする画素位置が、該色彩補間の対象とする画素位置の右と左に赤色の画素位置が存在する緑色の画素位置であるような状況を考える。例示の目的のために、該色彩補間の対象とする画素位置がＧ３４である実例を考える。欠落した赤色の色彩サブピクセル値Ｒ３４は以下の式（１７）に基づいて赤色と緑色の画素値を用いて決定される。

該色彩補間の対象とする画素位置における欠落した青色の色彩サブピクセル値Ｂ３４は以下の式（１８）によって与えられる。

[青色の画素位置の間の緑色の画素位置]
次に、該色彩補間の対象とする画素位置が、該色彩補間の対象とする画素位置の右と左に青色の画素位置が存在する緑色の画素位置であるような状況を考える。例示の目的のために、該色彩補間の対象とする画素位置がＧ４３である実例を考える。欠落した赤色の色彩サブピクセル値Ｒ４３は以下の式（１９）に基づいて赤色と緑色の画素値を用いて決定される。

該色彩補間の対象とする画素位置における欠落した青色の色彩サブピクセル値Ｂ３４は以下の式（２０）により与えられる。

上述した赤色、緑色および青色のサブピクセル値を決定する方法において、指向性の色彩補間関数は指向性の色彩差分関数である。例えば、以下の式（２１）の関数を考える。

分子の左側の項は画素位置Ｇ２３における緑色と赤色の間の色彩の差分の測定値である。画素位置Ｇ２３における緑色の色彩サブピクセル値はＧ２３である。しかし、画素位置Ｇ２３には、赤色のサブピクセル値は存在しない。結果的に、隣接する赤色の色彩サブピクセル値Ｒ１３とＲ３３の平均が用いられる。

分子の右側の項は画素位置Ｇ４３における緑色と赤色の間の色彩の差分の測定値である。画素位置Ｇ４３における緑色の色彩サブピクセル値はＧ４３である。しかし、画素位置Ｇ４３には、赤色のサブピクセル値は存在しない。結果的に、隣接する赤色の色彩サブピクセル値Ｒ３３とＲ５３の平均が用いられる。

画素位置Ｇ２３とＧ４３は色彩補間の対象とする画素Ｇ３３の上と下に位置付けられている。分子の中の二つの項（色彩の差分）は平均される。その結果は、色彩補間の対象とする画素Ｇ３３の上と下の色彩の差分の平均である。該色彩の差分の平均は色彩補間の対象とする画素位置Ｇ３３における緑色と赤色の間の色彩の差分Ｇ３３−Ｒ３３に等しくあるべきである。式（２１）においてＲ３３の項は該式の左側から該式の右側へと移動されている。従って、式（２１）は画素位置Ｇ２３、Ｒ３３、及びＧ４３における緑色と赤色の間の色彩の差分が同一であるようなＧ３３を選択する。該三つの画素位置Ｇ２３、Ｒ３３、及びＧ４３は垂直方向の線に沿って延び、色彩補間の対象とする画素位置Ｇ３３を通って延びる。

色彩サブピクセルＢ３３の決定において用いられる式（８）は緑色のサブピクセル値Ｇ２２、Ｇ２４、Ｇ４２、及びＧ４４を使用する。しかしながら、対応する四つの画素位置Ｂ２２、Ｂ２４、Ｂ４２及びＢ４４は、ベイヤー形式データが緑色のサブピクセル値を全く含まない青色の画素位置である。同様に、色彩サブピクセルＲ４４の決定において用いられる式（１６）は緑色のサブピクセル値Ｇ３３、Ｇ３５、Ｇ５３、及びＧ５５を使用する。しかしながら、対応する四つの画素位置Ｒ３３、Ｒ３５、Ｒ５３、及びＲ５５は、ベイヤー形式データが緑色のサブピクセル値を全く含まない赤色の画素位置である。色彩サブピクセルＲ３４の決定において用いられる式（１７）は、緑色のサブピクセル値Ｇ３３とＧ３５を使用する。しかしながら、対応する二つの画素位置Ｒ３３とＲ３５は、ベイヤー形式データが緑色のサブピクセル値を全く含まない赤色の画素位置である。色彩サブピクセルＢ３４の決定において用いられる式（１８）は、緑色のサブピクセル値Ｇ２４とＧ４４を使用する。しかしながら、対応する二つの画素位置Ｂ２４とＢ４４は、ベイヤー形式データが緑色のサブピクセル値を全く含まない青色の画素位置である。色彩サブピクセルＲ４３の決定において用いられる式（１９）は、緑色のサブピクセル値Ｇ３３とＧ５３を使用する。しかしながら、対応する二つの画素位置Ｒ３３とＲ５３は、ベイヤー形式データが緑色のサブピクセル値を全く含まない赤色の画素位置である。色彩サブピクセルＢ４３の決定において用いられる式（２０）は、緑色のサブピクセル値Ｇ４２とＧ４４を使用する。しかしながら、対応する二つの画素位置Ｂ４２とＢ４４は、ベイヤー形式データが緑色のサブピクセル値を全く含まない青色の画素位置である。

従って第１のステップにおいて図６の全体の配列における全ての青色と赤色の画素位置に関して緑色のサブピクセル値が計算されることが可能である。そして、各々の画素位置に関して緑色のサブピクセル値が一旦既知となったならば、上記の式（８）、（１６）、（１７）、（１８）、（１９）及び（２０）を用いて他の欠落した赤色と青色のサブピクセル値を決定するために、それらの緑色のサブピクセル値が使用される。

代替的に、欠落した赤色と欠落した青色のサブピクセル値の計算が始まる前には、該全体の配列の全ての青色と赤色の画素位置に関して緑色のサブピクセル値は計算されない。赤色又は青色の欠落した色彩サブピクセル値の計算は、計算されるべき該欠落した色彩サブピクセルに隣接している近傍の領域における緑色のサブピクセル値だけを必要とする。従って、緑色のサブピクセル値の計算は、（緑色のサブピクセル値の計算の目的のための）色彩補間の対象とする画素が画素位置の配列を通過するように発生する。画素位置の配列を通って移動する（赤色と青色のサブピクセル値を計算する目的のための）色彩補間の対象とする画素と同様の態様で、赤色と青色のサブピクセル値の計算は発生する。しかしながら、赤色と青色のサブピクセル値を計算する目的のための色彩補間の対象とする画素は、緑色のサブピクセル値を計算する目的のための色彩補間の対象とする画素よりも遅れる。結果として、先に生成された緑色のサブピクセル値はバッファーされ、後続する赤色と青色のサブピクセル値の計算における使用のために利用可能にされる。

図１１は欠落した緑色のサブピクセル値Ｇ＿ｃを出力するハードウェア装置１０のブロック図である。この実例における欠落した緑色のサブピクセル値は図１２のベイヤー・パターンの第３行と第３列の交差点における画素位置に関する欠落した緑色のサブピクセル値である。

図１２は一のベイヤー・パターンの中に組織された２次元配列の複数のセンサーのブロック図である。各センサーは一の画素位置に位置付けられている。“＿ｃ”、“＿ｌ”、“＿ｒ”、“＿ｕ”、“＿ｄ”、“＿ｕｌ”、“＿ｕｒ”、“＿ｌｌ”、及び“＿ｌｒ”の表記は各々、中央、左、右、上、下、左上、右上、左下、右下を表す。これらの相対的な位置は、色彩補間の対象とする画素、すなわち第３行と第３列におけるＲ＿ｃに対して相対的な位置である。該ベイヤー形式画像センサーは、画像をキャプチャーし、画素値をバッファメモリーに出力する。該センサーは、図１２の画素位置の各々に関して一つのサブピクセル値を出力する。バッファメモリーは今度は、図１１の左端に沿ったラベルによって表されるサブピクセル値を図１１のハードウェア装置に供給する。図１１の左端のサブピクセル値の各々は図１１のハードウェア装置に対して同時に並列の形で供給される。

図１１の左端にはサブピクセル値ではない二つの値がある。これらの値は、第１のメトリック値Ｈと第２のメトリック値Ｖである。第１のメトリックＨは水平の次元において延びるエッジの存在を表す値である。第２のメトリックＶは、垂直の次元において延びるエッジの存在を表す値である。

ハードウェア装置１０は第１の回路１１、第２の回路１２、第３の回路１３を含む。第１の回路１１は式（１）を実装し、垂直の補間を実行し、そして第１の欠落した色彩サブピクセル値Ｇ３３_１を生成する。第２の回路１２は式（２）を実装し、水平の補間を実行し、そして第２の欠落した色彩サブピクセル値Ｇ３３_２を生成する。第３の回路１３は、Ｇ３３_１、Ｇ３３_２、第１のメトリックＨ、及び第２のメトリックＶを受け取り、色彩補間の対象とする画素位置に関する欠落した緑色の色彩サブピクセル値Ｇ＿ｃを生成する。

図１３は、第３の回路を更に詳細に図解している。図１３において、プラス符号を含む円形シンボルはハードウェア加算器に関するシンボルである。幾つかの箇所では、矢印の先端が加算器シンボルに延びているようなバスの矢印の先端の傍に負符号が現れる。この負符号は、入って来るバス上の値の負のバージョンを表す。従って、該加算器は負の値を加算しており、従って減算の演算を行っている。図１３において“Ｘ”を含む円形シンボルはハードウェア乗算器に関するシンボルである。図１３において、“＞＞１”とラベル付けされたブロックは一ビット位置の右へのシフトを表す。これは、入って来る値を運ぶバスのビット列を一ビット位置シフトすることにより達成される。このような右シフトの効果は２による除算の演算である。図１３において、“＜＜（ｓｌｏｐｅ＿ｓｈｉｆｔ）”とラベル付けされたブロックは左シフトの演算を実行し、ここで、実行されるシフトの数は所定の変数“ｓｌｏｐｅ＿ｓｈｉｆｔ”によって決定される。この変数は例えば、図１１および１３の回路の中のレジスター（図示なし）に書き込むことによって設定される。値αは２を“ｓｌｏｐｅ＿ｓｈｉｆｔ”乗したものに等しい。図１３において、“クリップ”とラベル付けされたブロック１４は“Ｈ＿ＧＲＡＤ”と呼ばれる出力値の大きさを−０．５と０．５の間にクリップする演算を行う。値“Ｈ＿ＧＲＡＤ”は差分（ｋ１−０．５）に等しく、ここでｋ１は第１の重み付け係数である。

図１３において、円形の乗算器シンボルは一つだけしかないことに注意されたい。それは値Ｈ＿ＧＲＡＤを（Ｇ３３_１−Ｇ３３_２）で乗算する完全な（ｆｕｌｌ）乗算器回路１５である。第１の重み付け係数をＧ３３_１で乗算し、更に第２の重み付け係数をＧ３３_２で乗算し、そしてＧ３３を得るために該二つの積を加算するよりもむしろ、図１１と１３の回路は、（簡単なビットシフトを行う回路の他に）一個だけの完全な（ｆｕｌｌ）乗算器回路でＧ３３を有利に計算する。Ｇ３３を得るために実行される計算は、下記の式（２２）により与えられる。

式（２２）は下記の式のフローにより導出される。

ｋ２に（１−ｋ１）を代入すると下記の式（２４）をもたらす。

式（２４）を再整理すると下記の式（２５）をもたらす。

ｋ１に（Ｈ＿ＧＲＡＤ＋０．５）を代入すると下記の式（２６）をもたらす。

式（２６）を再整理すると上記で言及した式（２２）をもたらす。図１３の最上部の左から右へのフローにおいて、ブロック１６は値（Ｇ３３_１＋Ｇ３３_２）を１ビット分右へシフトする演算を行う。これは、式（２２）の右側の０．５による乗算の演算を実行する。図１３の中央部の左から右へのフローにおいて、（１５とラベル付けされた円形シンボルにより表わされた完全な（ｆｕｌｌ）ハードウェア乗算器を用いて）値（Ｇ３３_１−Ｇ３３_２）は値Ｈ＿ＧＲＡＤにより乗算される。完全な（ｆｕｌｌ）ハードウェア乗算器１５は、式（２２）の左側の乗算演算を実行する。図１３の上部と中央部のフローの出力は、式（２２）の合計演算を実行する加算器１７により共に合計される。

図１３の左に現れる値Ｈ１とＶ１は中間的な値である。Ｈ１は第２の回路１２の中で生成される。Ｖ１は第１の回路１１の中で生成される。

Ｈ１は合計を生成するための第１の加算器回路にＲ＿ｒとＲ＿ｌを供給することにより生成される。該合計の反対側は第２の加算器の第１の入力に供給される。値２＊Ｒ＿ｃは第２の加算器の第２の入力に供給される。第２の加算器の出力は値Ｈ１である。値Ｈ１は図１３の回路に供給される。値２＊Ｒ＿ｃは２で乗算された画素値Ｒ＿ｃを表す。値２＊Ｒ＿ｃは値Ｒ＿ｃを運ぶバスのビット列を一箇所分左へシフトすることにより得られる。

Ｖ１は合計を生成するための第１の加算器回路にＲ＿ｕとＲ＿ｄを供給することにより生成される。該合計の反対側は第２の加算器の第１の入力に供給される。値２＊Ｒ＿ｃは第２の加算器の第２の入力に供給される。第２の加算器の出力は値Ｖ１である。値Ｖ１は図１３の回路に供給される。

図１３の回路に供給される水平のメトリックＨは以下のようにバッファメモリーから受信される画素値から生成される。Ｇ＿ｒの反対側は第１の加算器の第１の入力に供給される。Ｇ＿ｌは第１の加算器の第２の入力に供給される。第１の加算器の出力は第１の絶対値回路に供給される。第１の絶対値回路の出力は第２の加算器の第１の入力に供給される。値Ｈ１は第２の絶対値回路に供給される。第２の絶対値回路の出力は第２の加算器の第２の入力に供給される。第２の加算器の出力は水平のメトリックＨである。

図１３の回路に供給される垂直のメトリックＶは以下のようにバッファメモリーから受信される画素値から生成される。Ｇ＿ｄの反対側は第１の加算器の第１の入力に供給される。Ｇ＿ｕは第１の加算器の第２の入力に供給される。第１の加算器の出力は第１の絶対値回路に供給される。第１の絶対値回路の出力は第２の加算器の第１の入力に供給される。値Ｖ１は第２の絶対値回路に供給される。第２の絶対値回路の出力は第２の加算器の第２の入力に供給される。第２の加算器の出力は垂直のメトリックＶである。

ハードウェア装置１０の一つの実例では、生成された緑色のサブピクセル値Ｇ＿ｃはフレーム・メモリー（図示なし）に書き込まれる。該フレーム・メモリーはＳＤＲＡＭ集積回路の一部である。該バッファ・メモリーと図１１、１３の回路はベースバンド・プロセッサ集積回路のデジタル画像パイプライン（ＤＩＰ）部分の一部である。該画像センサー、該ベースバンド・プロセッサ集積回路、及び該ＳＤＲＡＭフレーム・メモリーは一のセルラー電話の中に組み込まれる。該画像センサーから出力された画素値は、該画像センサーから、該ベースバンド・プロセッサ集積回路の中の該バッファ・メモリーへと通ってゆく。図１１と１３の回路は該バッファ・メモリー内の画素値について演算し、結果として生じる色彩補間されたサブピクセル値を該ＳＤＲＡＭフレーム・メモリーに書き込む。

第３行と第３列における色彩補間の対象とする画素に関する三番目と最後のサブピクセル値は青色のサブピクセル値である。この青色のサブピクセル値Ｂ３３は、式（８）を実装するハードウェア回路によって生成される。式（８）によって示されるように、青色のサブピクセル値Ｂ３３の補間は、補間された緑色の画素値を入力として必要とする。従って、必要とされる補間された緑色のサブピクセル値は、図１１と１３の回路が該フレーム・メモリーに該緑色のサブピクセル値を書き込んだ後に該フレーム・メモリーから読み戻される。該フレーム・メモリーから読み戻された補間された緑色のサブピクセル値は、その後、色彩補間の対象とする画素に関する欠落した青色のサブピクセル値Ｂ３３の生成に用いられる。

ハードウェア装置１０の他の実例では、図１１と１３の回路から出力された該補間された緑色のサブピクセル値は、該ベースバンド・プロセッサ集積回路内のライン・バッファ（図示なし）内にバッファーされる。該ライン・バッファ内の該補間された緑色のサブピクセル値は、その後、欠落した青色のサブピクセル値を生成するために用いられる。該欠落した青色のサブピクセル値の計算において、該青色のサブピクセル値の１行先または数行先の緑色のサブピクセル値が決定されることが必要とされる。全体の画像フレームの緑色のサブピクセルの全てが必要とされるのではない。従って、緑色のサブピクセル値の１行または数行のみがライン・バッファ内で該ベースバンド・プロセッサ上に格納される。該ライン・バッファ内の緑色のサブピクセルが欠落したサブピクセル値の計算において使われた後に、それらの緑色のサブピクセル値は該ベースバンド・プロセッサ集積回路から外部のＳＤＲＡＭフレーム・メモリーに転送される。従って、該ライン・バッファを通る緑色のサブピクセルのフローは、ファースト−イン−ファースト−アウト（ＦＩＦＯ）メモリーを通ってデータが流れるやり方と同じである。新たに補間された緑色のサブピクセル値は該ライン・バッファの中にプッシュされ、それにより、これ以上もはや必要とされない緑色のサブピクセル値が該ライン・バッファから出力され、外部のＳＤＲＡＭフレーム・メモリーに転送される原因となる。

色彩補間の対象とする画素位置が該実例におけるような赤色の画素位置ではなく、むしろ青色の画素位置であった場合、欠落した赤色のサブピクセル値は式（１６）の演算を実装するハードウェアによって生成されるだろう。式（１６）によって表されるように、補間された緑色のサブピクセル値は入力として要求される。必要とされる補間された緑色のサブピクセル値は、図１１と１３の回路が該補間された緑色のサブピクセル値を該フレーム・メモリーに書き込んだ後に、該フレーム・メモリーから引き出されるだろう。

必要とされる先に決定された緑色のサブピクセル値の何れかを用いて欠落した青色及び赤色のサブピクセル値が生成されるような図１２の２次元配列を通って、色彩補間の対象とする画素位置は移動する。そのように生成された青色と赤色の欠落したサブピクセル値は外部のＳＤＲＡＭフレーム・メモリーに書き込まれる。キャプチャーされた画像に関する入って来るベイヤー画素値の全ての色彩補間が実行された後に、該外部のＳＤＲＡＭフレーム・メモリーは各々の画素位置に関して三つの色彩サブピクセル値を含む。該処理は、命令のシーケンスを実行しているプロセッサによってではなく専用のハードウェア・ロジックによって実行される。図１１と１３のハードウェア装置は、色彩補間されたサブピクセル値の対応する実質的に一定なストリームが該ハードウェア装置から出力されるような回路によって、ベイヤー・パターン画素情報の実質的に一定なストリームが処理されているようなパイプラインの態様（ｆａｓｈｉｏｎ）で動作する。

パイプライン化されたハードウェア装置は、例示の目的のために上述されたが、新しい色彩補間方法はソフトウェアにおいて命令を実行しているプロセッサによって実行されることも可能である。一実施例においては、該プロセッサは、パーソナルコンピュータの中央処理装置（ＣＰＵ）である。画像センサーからの生の画素データはパーソナルコンピュータに供給される。該パーソナルコンピュータ上で実行しているアプリケーション層ソフトウェアは新しい色彩補間方法を実行し、それにより、色彩補間された画像データを生成する。該色彩補間された画像データは、例えばその後、該パーソナルコンピュータ上で走っているソフトウェア（同一のアプリケーション又は他のアプリケーション）による更なる画像処理を受ける。新しい色彩補間方法を実行するソフトウェア命令は、例えば、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）のような画像処理ソフトウェア・パッケージの中に編入されることができる。

ある特定の実施例は、教示的な目的で上述されているけれども、本願発明はこれに限定されない。幾つかの実施例では、最終的な欠落した色彩サブピクセル値は二つの補間された欠落した色彩サブピクセル値の重み付けられた合計であるが、該最終的な欠落した色彩サブピクセル値は、二つよりも多い補間された欠落した色彩サブピクセル値の重み付けられた合計であることが可能である。例えば、三つの異なる欠落した色彩サブピクセル値が一の色彩補間の対象とする画素位置に関して決定されることが可能である。三つの欠落した色彩サブピクセル値の各々は、積を得るために、それ自身の重み付け係数により乗算されることが可能である。そのような三つの積は取得され、そしてこれらの三つの積は最終的な欠落した色彩サブピクセル値を得るために合計される。より多くの確信係数の中の一つが該三つの重み付け係数の決定において適用されることが可能である。最終的な欠落した色彩サブピクセル値は、実際に重み付け係数を決定し、その上で、色彩補間の対象とする画素位置に関する対応する欠落した色彩サブピクセル値によりそれらを乗算することによっても決定され得るけれども、実際に重み付け係数を決定することなく全く同一の最終的な欠落した色彩サブピクセル値が決定されることが時には可能である。全く同一の最終的な欠落した色彩サブピクセル値は取得されるが、最終的な欠落した色彩サブピクセル値を計算するのに必要とされるステップは、重み付け係数の全てが明示的に存在することを必要とはしない。特定の実施例は、ベイヤー・パターン内に存在する入って来る画素値との関係で上述されているが、入ってくる画素は色彩補間を必要とする他のパターンの中に存在することも可能である。

一の特定の実施例は特定の第１の方向の色彩補間関数と特定の第２の方向の色彩補間関数に関連して上述されているけれども、他の第１と第２の方向の色彩補間関数が採用されることが可能である。例えば、該第１の方向の色彩補間関数が垂直の補間関数である場合、一の特定の色に関する欠落した色彩サブピクセル値は、色彩補間の対象とする画素位置のすぐ上と色彩補間の対象とする画素位置のすぐ下の画素位置におけるその特定の色に関するサブピクセル値の平均であることが可能である。該第２の方向の色彩補間関数が水平の補間関数である場合、一の特定の色に関する欠落した色彩サブピクセル値は、色彩補間の対象とする画素位置のすぐ左と色彩補間の対象とする画素位置のすぐ右の画素位置におけるその特定の色に関するサブピクセル値の平均であることが可能である。従って、上記の記載で言及した方向の色彩補間関数の実例は例示の目的にために提示される。他の第１と第２の方向の補間関数が採用されることが可能である。

一の特定の実施例は第１の方法によって決定される第１のメトリックとの関係で、および第２の方法によって決定される第２のメトリックとの関係で上述されているけれども、該第１と第２のメトリックを決定する他の方法が採用されうる。例えば、垂直の方向に延びる一のエッジの存在を表す第１のメトリックは、色彩補間の対象とする画素位置の左側で、かつ隣接する特定の色のサブピクセル値と、色彩補間の対象とする画素位置の右側で、かつ隣接する該特定の色のサブピクセル値の間の差分の絶対値であることが可能である。同様に、水平の方向に延びる一のエッジの存在を表す第２のメトリックは、色彩補間の対象とする画素位置の上側で、かつ隣接する該特定の色のサブピクセル値と、色彩補間の対象とする画素位置の下側で、かつ隣接する特定の色のサブピクセル値の間の差分の絶対値であることが可能である。従って、上記の記載で言及したメトリック関数の実例は例示的な目的のために提示される。第１と第２のメトリックを生成する他の関数が採用されることが可能である。

重み付け係数を決定するための関数は、その出力が図１０に図解されるように第１と第２のメトリックの間の差分について（０〜１の間の関数の出力範囲にわたって）線形に変化する関数との関係で上述されているけれども、重み付け係数を決定するための他の関数が採用されうる。例えば、その出力が第１と第２のメトリックの間の差分について非線形に変化する第１と第２のメトリックの関数が採用されうる。該関数の最小と最大の出力は、各々が０と１以外の値においてクリップされることが可能である。

記載された特定の実施例の様々な特徴の様々な変形、適応、および組み合わせが、請求項で述べた発明の範囲から逸脱することなく実施されることが可能である。

図１（先行技術）は、ベイヤー・パターンと呼ばれるポピュラーなパターンで複数のセンサーが配列された画像センサーのブロック図である。 図２（先行技術）は、図１の画像センサーを用いてキャプチャーされた画像を描画するために利用可能なディスプレイの簡単化されたブロック図である。 図３（先行技術）は、一つの簡単な陳腐な色彩補間方法を図解している。 図４（先行技術）は、図３の陳腐な色彩補間方法において、画素位置Ｒ３３に関する青色のサブピクセルの値がどのように決定されるかを図解している。 図５（先行技術）は、図３および４の色彩補間方法についての問題を図解している。 図６は、新しい色彩補間方法に基づいて、複数のセンサーがベイヤー・パターンで配列された画像センサーの簡単化されたブロック図である。 図７は、新しい色彩補間方法によって生成されるべきサブピクセルの値を図解する簡単化されたブロック図である。 図８は、第１の色彩補間関数の第１の線を示すブロック図である。 図９は、第２の色彩補間関数の第２の線を示すブロック図である。 図１０は、第１の重み付け係数ｋ１を決定するために利用可能な式の演算を図解している。 図１１は、新しい色彩補間方法を実行するためのハードウェア装置１０のブロック図である。該ハードウェア装置は、セル電話のような電池駆動の電子的コンシューマー装置の中に具現化されることが可能である。該ハードウェア装置は、１個だけの完全な（ｆｕｌｌ）乗算回路を有利に含む。 図１２は、図１１のハードウェア装置１０との関連で理解するためにラベル付けされたベイヤー画素位置のブロック図である。 図１３は、図１１のハードウェア装置１０の第３の回路１３の詳細なブロック図である。

符号の説明

１１…第一の回路、１２…第２の回路、１３…第３の回路、１４…クリップ、１５…ハードウェア乗算器回路、１６…値をシフトするブロック、１７…加算器

Claims (20)

1. 下記を備える、最終的な欠落した色彩サブピクセル値を色彩補間する方法、
   ここにおいて、該最終的な欠落した色彩サブピクセル値は色彩補間の対象とする画素位置に関するサブピクセル値である：
   該色彩補間の対象とする画素位置に関する第１の欠落した色彩サブピクセル値を取得するために第１の方向の色彩補間関数を用いること、ここにおいて、該第１の方向の色彩補間関数は基本的に第１の線に沿って配置された画素情報を用いて該第１の欠落した色彩サブピクセル値を取得し、該第１の線は該色彩補間の対象とする画素位置を通って第１の方向に延びている；
   該色彩補間の対象とする画素位置に関する第２の欠落した色彩サブピクセル値を取得するために第２の方向の色彩補間関数を用いること、ここにおいて、該第２の方向の色彩補間関数は基本的に第２の線に沿って配置された画素情報を用いて該第２の欠落した色彩サブピクセル値を取得し、該第２の線は該色彩補間の対象とする画素位置を通って第２の方向に延びている；
   第1の方向に延びている一のエッジの存在を表す第１のメトリックを取得すること；
   第２の方向に延びている一のエッジの存在を表す第２のメトリックを取得すること；および、
   該最終的な欠落した色彩サブピクセル値を生成するために該第１と該第２のメトリックを用いること、該最終的な欠落した色彩サブピクセル値は、該第１の欠落した色彩サブピクセル値と該第２の欠落した色彩サブピクセル値の重み付けられた合計と実質的に等しく、該重み付けられた合計は第１の欠落した色彩サブピクセル値の成分と第２の欠落した色彩サブピクセル値の成分を有し、ここにおいて、該第１の欠落した色彩サブピクセル値の成分と該第２の欠落した色彩サブピクセル値の成分の相対比率は該第１と該第２のメトリックの関数である。
2. 請求項１記載の方法、ここにおいて、該最終的な欠落した色彩サブピクセル値を生成するために該第１と該第２のメトリックを用いることは下記を備える：
   第１の重み付け係数と第２の重み付け係数を生成するために該第１と該第２のメトリックを用いること；
   第１の積を得るために該第１の重み付け係数で該第１の欠落した色彩サブピクセル値を乗算すること；
   第２の積を得るために該第２の重み付け係数で該第２の欠落した色彩サブピクセル値を乗算すること；および、
   該最終的な欠落した色彩サブピクセル値を得るために、該第１と該第２の積を一緒に合計すること。
3. 該第１の重み付け係数と該第２の重み付け係数は一緒に合計すると１になる請求項２記載の方法。
4. 請求項３記載の方法、ここにおいて、第１の重み付け係数と第２の重み付け係数を生成するために該第１と該第２のメトリックを用いることは、該第１の重み付け係数ｋ１を決定することを必要とし、ここで、該第１の重み付け係数は以下の式を充足する；
   

   

   ここで、αは定数であり、更にここで、該第２の重み付け係数ｋ２は以下の式を充足する；
   

   

   。
5. 請求項１記載の方法、
   ここにおいて、該色彩補間の対象とする画素位置に関する第１の色のサブピクセル値を画像センサーは出力し、
   更にここにおいて、該第２と該第３の欠落した色彩サブピクセル値は第２の色のものであり、
   更にここにおいて、該最終的な欠落した色彩サブピクセル値は第２の色のものである。
6. 請求項１記載の方法、
   ここにおいて、該第１の方向の色彩補間関数は色彩差分関数であり、
   更にここにおいて、該第２の方向の色彩補間関数は色彩補間関数である。
7. 請求項１記載の方法、
   ここにおいて、該第１の色彩サブピクセル値は第１の色のサブピクセル値であり、
   ここにおいて、画像センサーは該色彩補間の対象とする画素位置に関する第２の色のサブピクセル値を出力し、
   更にここにおいて、該第１の色の該第１の欠落した色彩サブピクセル値と該画像センサーによって出力される第２の色のサブピクセル値との間の色彩の差分が、該第１の線に沿って配置された画素位置に関する該第１と該第２のサブピクセル値の間の色彩の差分の平均に実質的に整合するような該第１の欠落した色彩サブピクセル値を決定することを該第１の方向の色彩補間関数は伴う。
8. 請求項１記載の方法、
   ここにおいて、該第１の欠落した色彩サブピクセル値は緑色のサブピクセル値Ｇｎｍであり、
   ここにおいて、画像センサーは該色彩補間の対象とする画素位置に関して赤色のサブピクセル値Ｒｎｍを出力し、
   ここにおいて、表記Ｇｎｍ内の最初の文字は、Ｇが緑色を表し、Ｒが赤色を表すような該サブピクセルの色彩を表し、表記Ｇｎｍ内の最初の文字に続く１番目の数字は該サブピクセルが位置付けられている画素位置の行を表し、表記Ｇｎｍ内の２番目の数字は該サブピクセル値が位置付けられている画素位置の列を表し、
   更にここにおいて、該第１の方向の色彩補間関数はＧｎｍ_１で表記され、以下の式を充足する；
   

   

   更にここにおいて、該第２の方向の色彩補間関数はＧｎｍ_２で表記され、以下の式を充足する；
   

   

   。
9. 請求項１記載の方法、
   ここにおいて、該第１の欠落した色彩サブピクセル値は緑色のサブピクセル値Ｇｎｍであり、
   ここにおいて、画像センサーは該色彩補間の対象とする画素位置に関して赤色のサブピクセル値Ｒｎｍを出力し、
   ここにおいて、表記Ｇｎｍ内の最初の文字は、Ｇが緑色を表し、Ｒが赤色を表すような該サブピクセルの色彩を表し、表記Ｇｎｍ内の最初の文字に続く１番目の数字は該サブピクセルが位置付けられている画素位置の行を表し、表記Ｇｎｍ内の２番目の数字は該サブピクセル値が位置付けられている画素位置の列を表し、
   更にここにおいて、該第１のメトリックＶは以下の式を充足する；
   

   

   更にここにおいて、該第２のメトリックＨは以下の式を充足する；
   

   

   。
10. 請求項１記載の方法、
    ここにおいて、該第１の方向の色彩補間関数は、全体的に該第１の線に沿って配置された情報を用いて該第１の欠落した色彩サブピクセル値を取得し、
    更にここにおいて、該第２の方向の色彩補間関数は、全体的に該第２の線に沿って配置された情報を用いて該第２の欠落した色彩サブピクセル値を取得する。
11. コンピュータ実行可能な命令の集合を格納するコンピュータ読み取り可能媒体、
    該コンピュータ実行可能命令の集合は、最終的な欠落した色彩サブピクセル値を色彩補間することに関し、該最終的な欠落した色彩サブピクセル値は色彩補間の対象とする画素位置であり、
    該コンピュータ実行可能命令の集合は下記に関する：
    該色彩補間の対象とする画素位置に関する第１の欠落した色彩サブピクセル値を生成するために第１の方向の色彩補間関数を用いること、ここで、該第１の方向の色彩補間関数は基本的に第１の線に沿って配置された画素情報を用いて該第１の欠落した色彩サブピクセル値を生成し、該第１の線は該色彩補間の対象とする画素位置を通って第１の方向に延びている；
    該色彩補間の対象とする画素位置に関する第２の欠落した色彩サブピクセル値を生成するために第２の方向の色彩補間関数を用いること、ここで、該第２の方向の色彩補間関数は基本的に第２の線に沿って配置された画素情報を用いて該第２の欠落した色彩サブピクセル値を生成し、該第２の線は該色彩補間の対象とする画素位置を通って第２の方向に延びている；
    第１の方向に延びている一のエッジの存在を表す第１のメトリックを生成すること；
    第２の方向に延びている一のエッジの存在を表す第２のメトリックを生成すること；および、
    該最終的な欠落した色彩サブピクセル値を生成するために該第１と該第２のメトリックを用いること、該最終的な欠落した色彩サブピクセル値は、該第１の欠落した色彩サブピクセル値と該第２の欠落した色彩サブピクセル値の重み付けられた合計と実質的に等しく、該重み付けられた合計は第１の欠落した色彩サブピクセル値の成分と第２の欠落した色彩サブピクセル値の成分を有し、ここにおいて、該第１の欠落した色彩サブピクセル値の成分と該第２の欠落した色彩サブピクセル値の成分の相対比率は該第１と該第２のメトリックの関数である。
12. 複数のセンサー画素値を受け取る装置、
    センサー画素値の各々は複数の画素位置の２次元配列の中の一の画素位置に対応し、該複数の画素位置の中の一つは色彩補間の対象とする画素位置であり、該装置は該色彩補間の対象とする画素位置に関する最終的な欠落した色彩サブピクセル値を生成し、該装置は下記を備える：
    第１の複数のセンサー画素値を受け取る第１の回路、該第１の複数のセンサー画素値は基本的に第１の線に沿って配置された画素位置に関するセンサー画素値であり、該第１の線は該色彩補間の対象とする画素位置を通って第１の方向に延びており、該第１の回路は該色彩補間の対象とする画素に関する第１の欠落した色彩サブピクセル値を出力する；
    第２の複数のセンサー画素値を受け取る第２の回路、該第２の複数のセンサー画素値は基本的に第２の線に沿って配置された画素位置に関するセンサー画素値であり、該第２の線は該色彩補間の対象とする画素位置を通って第２の方向に延びており、該第２の回路は該色彩補間の対象とする画素に関する第２の欠落した色彩サブピクセル値を出力する；
    第１のメトリックを受け取り、第２のメトリックを受け取り、該第１の回路から該第１の欠落した色彩サブピクセル値を受け取り、該第２の回路から該第２の欠落した色彩サブピクセル値を受け取る第３の回路、該第３の回路は該最終的な欠落した色彩サブピクセル値を出力し、該最終的な欠落した色彩サブピクセル値は該第１の欠落した色彩サブピクセル値と該第２の欠落した色彩サブピクセル値の重み付けられた合計に実質的に等しく、該重み付けられた合計は第１の欠落した色彩サブピクセル値の成分と第２の欠落した色彩サブピクセル値の成分を有し、ここにおいて、該第１の欠落した色彩サブピクセル値の成分と該第２の欠落した色彩サブピクセル値の成分の相対比率は該第１と該第２のメトリックの関数である。
13. 請求項１２の回路、
    ここにおいて、該第１のメトリックは該第１の方向に延びる一のエッジの存在を表し、更にここにおいて、該第２のメトリックは該第２の方向に延びる一のエッジの存在を表す。
14. 請求項１２の回路、
    ここにおいて、該第３の回路は第１の加算器と第２の加算器を備える、該第１の加算器は該第１の欠落した色彩サブピクセル値と該第２の欠落した色彩サブピクセル値の合計に等しい値を出力し、該第２の加算器は該第１の欠落した色彩サブピクセル値と該第２の欠落した色彩サブピクセル値の間の差分に等しい値を出力する。
15. 請求項１２の回路、
    ここにおいて、該第３の回路は、該第１のメトリックと該第２のメトリックの間の差分に等しい値を出力する加算器を備える。
16. 請求項１２の回路、
    ここにおいて、該第１の回路、該第２の回路、及び該第３の回路は、該第３の回路が補間された欠落した色彩サブピクセル値のストリームを出力するようなパイプラインの態様で動作する。
17. 請求項１２の回路、
    ここにおいて、該第３の回路は、該第１のメトリックと該第２のメトリックの間の差分に等しい値を生成し、更にここにおいて、該第３の回路は所定の変数で該値を乗算する。
18. 複数のセンサー画素値を受け取る装置、
    センサー画素値の各々は複数の画素位置の２次元配列の中の一の画素位置に対応し、該複数の画素位置の中の一つは色彩補間の対象とする画素位置であり、該装置は該色彩補間の対象とする画素位置に関する最終的な欠落した色彩サブピクセル値を生成し、該装置は下記を備える：
    第１の複数のセンサー画素値を受け取る第１の回路、該第１の複数のセンサー画素値は基本的に第１の線に沿って配置された画素位置に関するセンサー画素値であり、該第１の線は該色彩補間の対象とする画素位置を通って第１の方向に延びており、該第１の回路は該色彩補間の対象とする画素に関する第１の欠落した色彩サブピクセル値を出力する；
    第２の複数のセンサー画素値を受け取る第２の回路、該第２の複数のセンサー画素値は基本的に第２の線に沿って配置された画素位置に関するセンサー画素値であり、該第２の線は該色彩補間の対象とする画素位置を通って第２の方向に延びており、該第２の回路は該色彩補間の対象とする画素に関する第２の欠落した色彩サブピクセル値を出力する；および、
    第１のメトリック、第２のメトリック、該第１の欠落した色彩サブピクセル値、及び該第２の欠落した色彩サブピクセル値を受け取り、該最終的な欠落した色彩サブピクセル値を出力する手段、該最終的な欠落した色彩サブピクセル値は該第１の欠落した色彩サブピクセル値と該第２の欠落した色彩サブピクセル値の重み付けられた合計に実質的に等しく、該重み付けられた合計は第１の欠落した色彩サブピクセル値の成分と第２の欠落した色彩サブピクセル値の成分を有し、ここにおいて、該第１の欠落した色彩サブピクセル値の成分と該第２の欠落した色彩サブピクセル値の成分の相対比率は該第１と該第２のメトリックの関数である。
19. 該手段は一個だけの完全な乗算器回路を含む請求項１８記載の装置。
20. 請求項１８記載の装置、
    ここにおいて、該手段は該第１のメトリックと該第２のメトリックの間の差分に等しい値を生成し、更にここにおいて、該手段は所定の変数で該値を乗算し、更にここにおいて、該所定の変数は該手段の中のレジスターに書き込むことにより変更されることが可能である。

Images