JP2005269645A - カラー画像のデモザイク処理を行うための高品質グラディエント補正線形補間 - Google Patents

Abstract

【課題】 カラー画像のデモザイク処理を行うためのグラディエント補正線形補間の方法及びシステムを提供すること。
【解決手段】 この方法及びシステムは、任意の現在の手法（好ましくは、計算複雑度を低減する双線形補間法）を使用して補間値を計算し、補正項（所定のピクセル位置の所望色のグラディエントなど）を計算し、補間値と補正項の線形結合を作って１つのピクセル位置の欠落色の補正された高品質補間値を出力する。補正項は現在のピクセルの現在の色から計算で求められたグラディエント補正項とすることができる。このグラディエントを直接使用して、従来技術の補間法により出力される推定色値に影響を及ぼし、補正する。グラディエント補正線形補間の方法及びシステムは、さらにグラディエント補正ゲインをグラディエント補正項に適用することもできる。このグラディエント補正ゲインは、補間値に適用されるグラディエント補正の量に影響を及ぼす。
【選択図】 図４

Description

本発明は、一般に、デジタル・カラー画像の処理に関し、より詳細には、補正項と補間値との線形結合により画像内の１つのピクセルの欠落しているピクセル色の高品質の推定値を得る方法およびシステムに関する。

消費者へのデジタル・カメラの普及は着実に拡大し続けている。その理由の１つは、デジタル・カメラのコストが、下落し続け、今や平均的消費者の手の十分届く範囲になり、伝統的なフィルム写真よりもデジタル・カメラを好む消費者が増えてきていることである。コストを抑えるため、多くの一般大衆向けデジタル・カラー・カメラは、シングル・センサ・デジタル・カメラ（single-sensor digital cameras）である。その名が示すように、シングル・センサ・デジタル・カメラでは、カラー画像内の各ピクセルの色情報を取り込むために、イメージ・センサとして１つのみが使用される。イメージ・センサは、通常、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）であり、一体となってカラー画像のピクセルを表すセンサ・アレイの一部である。

それぞれのイメージ・センサは、所定のピクセルの単一の色に関する情報のみを生成することができる。しかし、カラー画像は、３つの別々の単色画像を組み合わせることにより表される。カラー画像を表示するためには、赤色、青色、および緑色（ＲＧＢ）の値すべてが各ピクセルで必要である。理想的な（そして高価な）カメラ・システムでは、センサ・アレイ内の各ピクセルは、それぞれ赤色、緑色、または青色のピクセルカラーを測定する３つのイメージ・センサを備える。しかし、シングル・センサ・デジタル・カメラでは、所定の１つのピクセルでは、単一の赤色、青色、または緑色の値のみを決定できる。他の２つの欠落している色を得るためには、画像内の周囲のピクセルから欠落している色を推定または補間するための手法を使用しなければならない。このような種類の推定および補間法は、「デモザイク処理（demosaicing）」と呼ばれる。

「デモザイク処理」の用語は、カラー・フィルタ・アレイ（color filter array）（ＣＦＡ）が、イメージ・センサの前のところに使用され、ＣＦＡがモザイク・パターンとして配の縦列される事実から派生した用語である。このモザイク・パターンは、画像内の複数のピクセルのそれぞれについて色値を１つだけ持つ。フル・カラー画像を得るには、モザイク・パターンは「デモザイク処理」されなければならない。したがって、デモザイク処理は、モザイク・パターンＣＦＡを使用して取り込まれた画像を補間により元に戻し完全なＲＧＢ値をすべてのピクセルに関連付けられるようにする手法である。

より具体的には、シングル・センサ・デジタル・カメラは、光路内でＣＦＡの後に置かれているイメージ・センサ・アレイを使用して画像を取り込む。最も一般的なモザイクＣＦＡはベイヤー・モザイク・パターン（Bayer mosaic pattern）と呼ばれる。ベイヤー・モザイク・パターン（またはベイヤー・フィルタ）は図１に示されている。ピクセルの２×２の集まり毎に、対角線で向かい合う２つのピクセルは、緑色フィルタを持ち、他の２つのピクセルは赤色と青色のフィルタを備える。緑色（Ｇ）は、人間に対して多くの輝度情報を伝達するため、そのサンプリング・レートは、赤色（Ｒ）および青色（Ｂ）の輝度の２倍である（例えば、特許文献１参照）。ベイヤー・フィルタが開示されている。

使用可能なデモザイク処理手法は多数ある。最も単純なデモザイク処理手法の１つは、双線形補間（bilinear interpolation）である。一般に、双線形補間は、３つの色平面を使用し、３つの色平面は、対称双線形補間（symmetric bilinear interpolation）を使用して独立して補間される。この補間では、補間される色と同じ色を持つ、ピクセルの最も近傍のピクセルを使用する。詳細には、図１を再び参照すると、双線形補間では、ピクセル位置（ｉ，ｊ）に対する緑色値ｇ（ｉ，ｊ）で、そこが赤色または青色ピクセルと成っている緑色値ｇ（ｉ，ｊ）は、以下の式で近隣の緑色値の平均をとることにより計算される。

式（１）は、図１の「＋」のマークの付いているピクセル（「現在ピクセル」ともいう）での緑色値を、「・」のマークの付いている観察された緑色値の平均として推定することに対応する。現在ピクセルは赤色を有し、したがって、緑色および青色の値は補間される必要があることに留意されたい。画像境界においては、その画像の範囲内に入るピクセルのみが含まれ、分数部（scaling）は調整される。

双線形補間を使用して所定のピクセルで欠落している色の補間を行う方法は、図２Ａ〜Ｈに図形で示されている。図２Ａ〜Ｈに示されているように、双線形手法では、通常、小さなサポート領域（region of support）を使用する。このサポート領域は、それらの値が所定のピクセルの補間に関して考慮される近傍ピクセルからなるサイズである。図２Ａ〜Ｈに示されているように、後述の双線形補間法に対するサポート領域は、通常、３×３ピクセルのサポート領域である。サポート領域のこの小さな部分を使用することで、メモリ使用量および計算複雑度を最小限に抑えられる。

図２Ａおよび２Ｂを参照すると、所定のピクセルで緑色値を求めるための式（１）の双線形補間法が例示されている。図２Ａで、赤色ピクセルにおける緑色値は、赤色ピクセルの近隣の緑色ピクセルを使用することにより求められる。これらの近隣緑色ピクセルは、図２Ａではマーク「１」が記されている。同様に、図２Ｂでは、青色ピクセルにおける緑色値は、青色ピクセルの近隣の緑色ピクセルを使用することにより求められる。ここでも、この緑色ピクセルはマーク「１」が記される。

欠落している赤色（Ｒ）または青色（Ｂ）を求めるために、やはり式（１）を適用する。しかし、今度は、対角線クロスパターンが使用される。ただし、除外は、緑色ピクセルとなるピクセル位置（ｉ，ｊ）については、補間された赤色値は、すぐ近くに２つの赤色ピクセルのみがあるので、２つの赤色近隣ピクセルのみの平均をとって出力されることである。青色値を求めることについても、同じことが言える。式（１）の計算が簡単になるほかに、その出力値は入力値の同じダイナミックレンジを持つことが保証され、したがって出力値に対するオーバーフロー検出および制御ロジックは必要ないことに留意されたい。

より詳細には、図２Ｃ〜Ｅは、所定のピクセルの赤色値を求めるための式（１）の双線形補間法を例示している。特に、図２Ｃでは、２つの赤色近隣ピクセルを使用することにより赤色の横行および青色の縦列の緑色ピクセルのところの赤色値が求められる。同様に、図２Ｄでは、赤色の縦列内の２つの赤色近隣ピクセルを使用することにより青色の横行および赤色の縦列の緑色ピクセルのところの赤色値が求められる。図２Ｅでは、青色ピクセルのところの赤色値は、４つの近隣赤色ピクセルを使用することにより求められる。図２Ｃ〜Ｅでは、双線形補間法で使用される近隣赤色ピクセルのそれぞれに対しマーク「１」が付けられる。

同様に、図２Ｆ〜Ｈは、所定のピクセルで青色値を求めるための式（１）の双線形補間法を例示している。特に、図２Ｆでは、２つの青色近隣ピクセルを使用することにより青色の横行および赤色の縦列の緑色ピクセルのところの青色値が求められる。図２Ｇでは、青色の縦列内の２つの赤色近隣ピクセルを使用することにより赤色の横行および青色の縦列の緑色ピクセルのところの青色値が求められる。図２Ｈでは、赤色ピクセルの青色値は、４つの近隣青色ピクセルを使用することにより求められる。図２Ｆ〜Ｈでは、双線形補間法で使用される近隣青色ピクセルのそれぞれに対しマーク「１」が付けられる。

しかし、上述の双線形補間法の問題の１つは、それらがカラー画像内に著しいアーティファクトが発生するという点にある。このことは、双線形補間ではＲＧＢ値間の統計的相関を考慮しないので、特に画像内のエッジおよびその他の高周波成分にわたって言える。例えば、図２Ｄおよび２Ｆを参照し、ピクセル強度値に急激な変化があり、したがって一番右の縦列内のすべてのピクセルが他のピクセルよりもかなり明るいと仮定する。すると、（図２Ｆの）中央のピクセルの補間された青色値は、いくぶん明るくなり、それは、右の隣接する青色が非常に明るいからである。しかし、（図２Ｄの）同じピクセルの補間された赤色値は、明るくならない、それは、２つの隣接する赤色があまり明るくないからである。したがって、この場合、補間された明るい青色ピクセルおよびそれほど明るくない補間された赤色ピクセルがあり、過剰な青色および不足する赤色は、補間されたピクセル色をシアン寄りに着色させることになり、カラーフリンジのアーティファクトを生じさせる。そのため、双線形補間法は高速で、あまり計算量を必要とせず、実装しやすいが、著しいアーティファクト（主にボケとカラーフリンジ）が発生するため出力される画像品質が低いという点で悪評が高い。

多少複雑度に成っても、ＲＧＢ値間の相関を考慮する補間法がベターである。ある一群の補間法では、改良された線形フィルタを使用することによりそのような補正を考慮している（例えば、非特許文献１参照）。他の一群の補間法では、非線形フィルタを使用することによりそのような補正を考慮している。それらの非線形フィルタは、本質的に、補間平滑化を画像のアクティビティやエッジの量（measure of image activity or edginess）に合わせて適合される（例えば、非特許文献２および非特許文献３参照）。

ＲＧＢチャネル間の相関性を利用することは、非線形補間法においてデモザイク処理のパフォーマンスを高めることの背後にある主要な考え方である。特に、輝度／クロミナンス分解では、クロミナンス成分は複数のピクセルにまたがってあまり変化がないと仮定されている。色相一定方式（例えば、特許文献２参照）では、緑色チャネルは双線形補間され、その後、Ｒ／ＧおよびＢ／Ｇの比として定義される一定の色相を維持するように、赤色および青色チャネルが補間される。しかし、Ｆｒｅｅｍａｎによるこの手法の１つの問題点は、これらの比を計算するコストをかけても、この手法は、なお目につくアーティファクトを生じさせる、ということにある。さらに、補間の計算で複雑な演算（除算および乗算など）を使用するため、計算の複雑度、処理のオーバーヘッド、および実装コストが大幅に増大する。

非線形補間法の結果を改善するには、双線形補間された緑色ピクセルから開始し、その後、中央値フィルタ（median filters）を色差Ｒ−ＧおよびＢ−Ｇの補間された値に適用する、ことによって得られる。パフォーマンスの改善は、グラディエントに基づく非線形手法（gradient-based nonlinear techniques）を使用して得ることができ、これは、通常、エッジ方向を推定し、補間式を調整して、フィルタリングが、エッジ方向を横切るのではなくそれにそって優先的に実行されるように補間する（例えば、特許文献３参照）。特許文献３のＬａｒｏｃｈｅおよびＰｒｅｓｃｏｔｔの手法は、赤色および青色の両方のチャネルを使用して、緑色チャネルを補間してエッジ方向を決定しており、緑色チャネルに対する式（１）の中の項に与える不均等な重み付けを決定している。その後、色差Ｒ−ＧおよびＢ−Ｇを補間する。ある手法では、一次と二次の両方のピクセル差を考慮することによりＬａｒｏｃｈｅおよびＰｒｅｓｃｏｔｔの手法の改善を行っている（例えば、非特許文献４参照）。しかし、これらのグラディエント手法（gradient techniques）では、単にグラディエントを計算し、これを、使用すべき補間法を選択するために使用しているだけである。

可変する数のグラディエントを使用することを考慮することによる上述の手法の改善が開示されている（例えば、非特許文献５参照）。ソフト・デシジョン・ルール（soft decision rules）を使用して水平方向および垂直方向からの補間結果を組み合わせる、さらに単純であるが、効率のよいアルゴリズムが論文に開示されている（例えば、非特許文献６参照）。

反復法であれば、青色および赤色の補間からの結果を使用して緑色の補間を補正すること、またその逆の操作を使用することで、さらに改善を行うことができる。これは論文（例えば、非特許文献７参照）で説明されている手法の基礎である。非特許文献７のＫｉｍｍｅｌの方式では、補間ステップは、色相一定法とグラディエントに基づく方法の組み合わせに基づいている。反復射影に基づく手法は、論文（例えば、非特許文献８参照）に提示されている。非特許文献８のＧｕｎｔｕｒｋの手法は、ポピュラーな標準的テスト画像群に対しこれまでで最もパフォーマンスがよい。しかし、Ｇｕｎｔｕｒｋの手法に問題の１つは、複雑度が非常に高くなるという点にある（１入力ピクセルあたり４８０回程度の演算）。

上述の非線形補間法では、通常、双線形補間法で使用されるより大きなサポート領域を使用する。例えば、５×５ピクセルのサポート領域は、これらの非線形手法では典型的なものである。５×５のサポート領域であれば、ＲＧＢ値同士の間のよい相関が得られ、高品質の画像が出力される。サポート領域が小さいほど、画質は大きく低下し、サポート領域が大きいほど、より多くのメモリを必要とし、計算の複雑度が大幅に増大する。

米国特許第３，９７１，０６５号明細書 米国特許第４，７２４，３９５号明細書 米国特許第５，３７３，３２２号明細書 米国特許第５，５０６，６１９号明細書 S. -C. PeiおよびI. -K. Tam「Effective color interpolation in CCD color filter array using signal correlation」Proc. ICIP、2000年9月、488〜491頁 P. Longere、X. Zhang、P. B. Delahunt、およびD. H. Brainard「Perceptual assessment of demosaicing algorithm performance」Proc. IEEE、vol. 90、2002年1月、123〜132頁 R. Ramanath、W. E. Snyder、およびG. L. Bilbro「Demosaicking methods for Bayer color arrays」J. Electronic Imaging、vol. 11、2002年7月、306〜315頁 J. E. Adams「Design of practical color filter array interpolation algorithms for digital cameras」Proc. SPIE, vol. 3028、1997年2月、117〜125頁 E. Chang、S. Cheung、およびD. Y. Pan「Color filter array recovery using a threshold-based variable number of gradients」Proc. SPIE、vol. 3650、1999年1月、36〜43頁 X. WuおよびN. Zhang「Primary-consistent soft-decision color demosaic for digital cameras」Proc. ICIP、vol. I、2003年9月、477〜480頁 R. Kimmel「Demosaicing: image reconstruction from color CCD samples」IEEE Trans. on Image Processing、vol. 8、1999年9月、1221〜1228頁 B. K. Gunturk、Y. Altunbasak、およびR. M. Mersereau「Color plane interpolation using alternating projections」IEEE Trans. on Image Processing、vol. 11、2002年9月、997〜1013頁

したがって、必要なのは、双線形補間法の単純さとスピードを保ったまま、非線形補間法などのより複雑度の高い手法の高品質画像を出力する、カラー画像をデモザイクする補間法である。さらに必要なのは、パフォーマンスを改善するためにＲＧＢ値の間の相関を考慮する高品質補間法である。さらに必要なのは、グラディエントを計算することによりこの補正を考慮し、この計算されたグラディエントを、補間法を選択するためだけに使用するのではなく、直接補正項として使用する補間法である。さらに必要なのは、品質改善のため双線形手法よりも広い範囲のサポート領域（このサポート領域は非線形手法で使用されているサポート領域に匹敵する）を使用する補間法である。さらに必要なのは、スピードを上げ、計算の複雑度を回避し、安価な実装を可能にするために補間を計算するときに単純数学的演算（加算など）だけがあればよい補間法である。

本明細書で開示されている本発明は、デジタル・カラー画像をデモザイクするための高品質な線形補間の方法およびシステムを含む。本発明は、実装が簡単で、コスト効率の高い高品質補間を実現することにより、現在の補間法の上述の不備を克服する。つまり、本明細書で開示されているグラディエント補正線形補間の方法およびシステムは、現在のピクセルからの色情報を使用して補正項を取得する。次に、この補正項と従来技術の補間との線形結合を作り、現在のピクセルの位置における欠落色の推定を改善する。本グラディエント補正線形補間の方法およびシステムは、優れたパフォーマンスを持ち、現在の従来技術による線形デモザイク手法よりも複雑度が低い。さらに、本グラディエント補正線形補間の方法およびシステムは、さらに大きな複雑度を持つ多くの従来技術の非線形デモザイク手法に勝るパフォーマンスを発揮する。

本グラディエント補正線形補間の方法およびシステムは、デジタル・カメラにより取り込まれたカラー画像を処理することができる。表示に先立って、この画像は、グラディエント補正線形補間の方法およびシステムを使用してデモザイク処理が行われる。それとは別に、取り込まれたデジタル・カラー画像を圧縮モザイク形式でコンピューティング・デバイスに格納することもできる。コンピューティング・デバイス上のアプリケーションからその画像にアクセスする必要がある場合、そのアプリケーションは、通常、適切なアプリケーション・プログラミング・インターフェース（ＡＰＩ）を呼び出してその圧縮解除されたデータを取得する。ほとんどのアプリケーションでは、データがＲＧＢ形式であることを予期しているため、画像データが要求側アプリケーションに送られる前にデモザイク処理が実行されなければならない。

グラディエント補正線形補間法は、補間で所望の色が使用される場合に、現在の色を持つ現在のピクセルの位置における所望の色の補間値を計算することを含む。次に、現在の色を使用して補正項が計算される。次に、この補正項と補間値との線形結合を作り、現在のピクセルの位置における所望の色の補正された補間値を得る。計算を簡素化し、計算資源をそのままで使用するために、この補間は従来技術の双線形補間（「背景技術」で説明したような補間）であるのが好ましい。しかし、この補間は、実質的に、線形補間および非線形補間を含む、使用可能な従来技術のデモザイク処理手法のいずれでもよい。

補正項は、現在のピクセルの現在の色から計算で求められたグラディエント補正項であるのが好ましい。例えば、現在のピクセルが、図２Ｃおよび２Ｄに示されているように、そのピクセルについて緑色値を決定できる、緑色ピクセルの位置における赤色値が所望される画像センサを備えるものと仮定する。グラディエント補正線形補間法では、そのピクセルの位置の緑色値および近隣の緑色ピクセルの値を使用することにより緑色ピクセルの位置のグラディエントを計算する。その後、そのグラディエント値の固定部分（ゲイン係数で制御されるのが好ましい）を、補間された赤色値（好ましくは、双線形補間赤色値）に加える。いくつかの従来技術のデモザイク処理手法ではグラディエントを計算するが、そのグラディエントは、補間の計算を制御するために使用される。他方、本明細書で開示されているグラディエント補正線形補間法では、グラディエントを補正後として直接使用する。つまり、いくつかの従来技術のデモザイク処理手法では、グラディエントを計算し、そのグラディエントをグラディエントに基づいて補間法を選択するために使用するが、一方、グラディエント補正線形補間法では、そのグラディエントを直接、従来技術のデモザイク処理手法により得られた値に直接作用させて補正するために、使用して使用する。

グラディエント補正項は、補間値に線形に結合される。グラディエント補正項を補間値に加えて、所望の色の推定値を改善するのが好ましい。グラディエントを使用する従来技術のデモザイク処理手法では、通常、非線形フィルタ、「ｉｆ」文、および除算など、グラディエントに基づく複雑な演算子を計算し、使用する。グラディエント補正線形補間法では、線形演算を使用してグラディエント補正項と補間値との線形結合を作ることにより計算を簡素化するが、その線形演算は、加算であるのが好ましい。

グラディエント補正線形補間法は、さらに、グラディエント補正ゲインをグラディエント補正項に適用することも含む。このグラディエント補正ゲインは、補間値に適用されるグラディエント補正の量に影響を及ぼす。例えば、グラディエント補正ゲインが０．８であれば、グラディエント補正の８０％のみが、補間値に線形に結合される。グラディエント補正ゲインは、いろいろな方法で選択できる。最適なグラディエント補正ゲインは、平均平方誤差を最小値にすることによって算出される。この最適値の近似は、整数演算、非除算演算、またはその両方を使っての計算を可能にする。グラディエント補正は、カラー画像センサの特性またはデジタル・カメラ・システム全体の特性に基づいて選択することもできる。さらに、グラディエント補正ゲインは、必要ならば、カラー画像の統計量に基づいて、画像内で変えることも可能である。それらの統計量は、画像の大域的統計量、画像の局所的統計量、またはその両方を含むことができる。

グラディエント補正線形補間法は、サポート領域を、現在のピクセルを直に囲むピクセル近傍のサイズとして定義することを含む。そこで、現在の色を持つ現在のピクセルに最も近いピクセルを含むようにサポート領域を選択し、そのサポート領域を使用して、補間値および補正項を計算する。サポート領域は、現在のピクセルを中心とする５×５ピクセル領域を含むのが好ましい。それとは別に、サポート領域は５×５ピクセル領域より広くてもよい。複数のサポート領域があってもよい。例えば、第１のサポート領域を使用して、補間値を計算し、第２のサポート領域を使用して、補正項を計算するようにすることができる。

グラディエント補正線形補間システムでは、上述の方法を使用して、素早く、単純で、効率のよい方法により、所定のピクセルの位置の欠落色の高品質補間値を出力する。グラディエント補正線形補間システムは、現在の色を持つ現在のピクセルを選択する現在のピクセル・セレクタ、および現在のピクセルの位置で欠落し、所望される色値の第１の補間値を計算する補間モジュールを備える。グラディエント補正線形補間システムは、さらに、補間値に対する補正項を計算する補正項モジュール、および補間値と補正項の線形結合を作り、現在のピクセル位置の所望の（または欠落している）色値を取得する線形結合モジュールも備える。

補正項計算モジュールは、さらに、適用される補正の量を選択するグラディエント補正セレクタも含む。さらに、補正項計算モジュールは、現在のピクセルを中心とするサポート領域を定義するサポート領域モジュール、および現在のピクセルを使用してグラディエント補正を計算するグラディエント補正モジュールをも含む。さらに、補正項計算モジュールは、調整されたグラディエント補正が出力されるように、計算されたグラディエント補正にゲインを適用するグラディエント補正ゲイン適用モジュールも含む。

本発明は、本発明の態様を例示する以下の図面および添付図面を参照することにより理解を深めることができる。他の特徴および利点は、本発明の原理を例により説明している、付属の図面とともに、以下の詳細な説明を読むと明らかになる。

そこで、全体として類似の参照番号が対応するパーツを表す図面を参照することにする。

本発明の以下の説明では、本発明の一部をなし、本発明を実施できる具体的実施形態が図で示されている、付属の図面を参照する。他の実施形態を利用し、本発明の範囲および精神から逸脱することなく構造上の変更を加えることができることは理解されるであろう。

Ｉ．はじめに
ほとんどすべての現在のデジタル・カメラはカラー画像内の各ピクセルに対し単一のセンサを使用する。その結果、ピクセル毎に、赤色、緑色、および青色の３色（ＲＧＢ）のうちの１つのみが取り込まれる。しかし、カラー画像を出力するには、すべてのピクセルでそれぞれのＲＧＢ色値が必要である。したがって、カメラは、「デモザイク処理」と呼ばれる手法を使用して、すべてのピクセルのところの欠落色値を生成する。

残念ながら、欠落しているＲＧＢデータを補間する手法は、複雑度と品質との間で二律背反にある。例えば、双線形補間法では、単純な計算演算、線形演算子、および小さなサポート領域（３×３サポート領域など）を使用する。これにより、双線形補間法は高速で、計算量があまり多くなく、実装しやすいものとなる。しかし、これらの双線形手法は、さらに、カラー画像に著しいアーティファクトを発生し、そのため、画質が著しく劣化する場合がある。他方では、いくつかの非線形補間法では、顕著に改善された画質が得られるが、速度が著しく低く、大きな処理能力を使用し、複雑な計算演算を使用し、また実装しにくい。

本明細書で開示されているグラディエント補正線形補間の方法およびシステムは、カラー画像のデモザイク処理を行う新しい補間法を備える。この方法およびシステムでは、現在の手法により計算された補間値を使用し、（所定のピクセルのところの所望の色のグラディエントなどの）補正項を計算し、補間値と補正項との線形に結合する。この方法およびシステムは、低負荷の演算子（加算およびシフトなど）で固定した線形演算を実行することにより、計算の複雑度を最小限度に抑える。さらに、グラディエントを単に補間方法を選択する手段としてではなく、補正項として直接使用することにより、グラディエント補正線形補間の方法およびシステムは、複雑なプログラミング（実行速度を遅くする多数の「ｉｆ」文など）の必要性を回避し、その結果として実装を簡素化する。このグラディエント補正線形補間ではＲＧＢ値間の相関を考慮するので画質は向上する。グラディエント補正線形補間の方法およびシステムは、さらに、非線形手法と同様に、より大きなサポート領域を利用して、欠落色値の推定値を改善する。

グラディエント補正線形補間の方法およびシステムを使用すると、双線形補間法と比べたときに、ピーク信号対雑音比（ＰＳＮＲ）は５．５ｄＢ以上改善され、いくつかの現在の線形補間法と比べたときには赤色（Ｒ）および青色（Ｂ）の補間値は約０．７ｄＢ改善される。グラディエント補正線形補間の方法およびシステムは、さらに、線形処理によるアーティファクトの混入もなく、および大幅な計算複雑度の低減の点で、ほとんどの非線形補間法より性能が優れている。

ＩＩ．概要
図３Ａおよび３Ｂは、本明細書で開示されているグラディエント補正線形補間のシステムおよび方法の２つの実施例を説明するブロック図である。図３Ａおよび３Ｂは、単に、グラディエント補正線形補間のシステムおよび方法を実装し、使用できるようにする複数の方法のうちの２つにすぎないことに留意されたい。

図３Ａを参照すると、第１の実施例では、グラディエント補正線形補間システム３００は、デジタル・カメラ・システム３１０内に常駐する。一般に、グラディエント補正線形補間システム３００では、グラディエント補正線形補間法を使用して、イメージ・センサ・アレイ３１５から取り出した画像データを処理し、各ピクセル３２０に対する欠落色値を出力する。より具体的には、図３Ａに示されているように、グラディエント補正線形補間システム３００は、イメージ・センサ・アレイ３１５を備えるデジタル・カメラ・システム３１０の一部である。アレイ３１５は、複数のイメージ・センサ（図３Ａでは円で示されている）からなり、それぞれのイメージ・センサは単一の色値を決定することができる。

イメージ・センサ・アレイ３１５は、センサ基板３３０、カラー・フィルタ・アレイ（ＣＦＡ）３４０、およびマイクロ・レンズ・アレイ３５０を備える。マイクロ・レンズ・アレイ３５０は、ＣＦＡ ３４０の上に配置され、さらに、図３Ａおよび３Ｂで点線により示されているように、基板３３０の上に配置される。取り込まれる画像（image）（図に示されていない）から出た光は、デジタル・カメラ・システム３１０内に入る（矢印３５５で示されているように）。マイクロ・レンズ・アレイ３５０の目的は、入射光３５５の焦点を（単一イメージ・センサで表されている）各ピクセル上に合わせることである。ＣＦＡ ３４０は、各ピクセルの色応答を変更する。センサ基板３３０は、特定の色の入射光（ＣＦＡ ３４０により示されているように）を取り込み、電気信号を発生する。このようにして、イメージ・センサ・アレイ３１５は、イメージ・センサ・アレイ３１５内に配列されている赤色、緑色、および青色のセンサにより入射光３５５のサンプリングを行う。

イメージ・センサ・アレイ３１５内の各ピクセルは、赤色、緑色、または青色センサの出力である。したがって、センサ出力は、イメージ・センサ・アレイ３１５内の各ピクセルに対する単一の色値に対応するそれぞれのセンサからの電気的信号である。出力は、生（raw）のモザイク・パターンのピクセル・データ３６０である。上述のように、フル・カラー画像を表示するために、赤色、緑色、および青色に対する色情報がピクセル毎に取得されなければならない。これは、モザイク・パターンのピクセル・データ３６０内の欠落色値を、デモザイク処理する、つまり補間することにより達成される。

グラディエント補正線形補間システム３００は、新規性のあるデモザイク処理手法を使用して、欠落色値の高品質推定値を補間する。グラディエント補正線形補間システム３００は、デジタル・カメラ・システム３１０上に配置されている処理デバイス３７０上に常駐する。後述のように、グラディエント補正線形補間システム３００は、グラディエント補正線形補間法を使用して、イメージ・センサ・アレイ３１５内の各ピクセル３２０のところの欠落色値を取得する。

そこで図３Ｂを参照すると、第２の実施例では、グラディエント補正線形補間システム３００は、コンピューティング・デバイス３８０内に常駐する。生（raw）のモザイク・パターンのピクセル・データ３６０が、デジタル・カメラ・システム３１０からコンピューティング・デバイス３８０に送られる。このピクセル・データ３６０は、通常、インターフェース接続３８５を介してコンピューティング・デバイス３８０に送られ、このインターフェースはＵＳＢインターフェース、ＩＥＥＥ １３９４インターフェース、Ｂｌｕｅｔｏｏｔｈ（Ｒ）インターフェース、またはデジタル・カメラ・システム３１０からコンピューティング・デバイス３８０に生のピクセル・データ３６０を搬送するのに適しているその他のインターフェースとすることができる。後述のように、グラディエント補正線形補間システム３００は、グラディエント補正線形補間法を使用して、各ピクセル３９０のところの欠落色値を取得し、コンピューティング・デバイス３８０により使用できるようにする。

ＩＩＩ．動作の概要
図３に示され、そこで使用されるグラディエント補正線形補間システム３００および方法の動作について説明する。図４は、図３に示されているグラディエント補正線形補間システムの一般的な動作を説明する一般的な流れ図である。グラディエント補正線形補間法は、まず、カラー画像から現在のピクセルを入力することから始まる（ボックス４００）。現在のピクセルは、関連付けられた現在の色を持つ。つまり、現在の色は、現在のピクセルのイメージ・センサがフィルタ処理されて受け取る色である。次に、現在のピクセルの所望の色について補間値が計算される（ボックス４１０）。つまり、現在のピクセルのところの欠落色は、補間されるか、または推定される。例えば、現在の色が緑色であれば、所望の色は赤色かまたは青色である。この補間は、従来技術の補間法であり、線形、双線形、非線形、双三次、およびランチョス補間法を含む、上述の補間法のいずれかを使用する。好ましい実施形態では、双線形補間法が使用される。さらに、補間値を計算するために、所望の色が使用される。所望の色の近隣ピクセルは、一般に、補間値を計算する際に使用される。

その後、補正項が計算される（ボックス４２０）。この計算は、現在のピクセルの現在の色を使用して実行される。現在のピクセルは、通常、補正項を計算する際に、現在の色を持つ現在のピクセルの近隣ピクセルとともに使用される。好ましい実施形態では、補正項はグラディエント補正であり、後述のように、現在のピクセルのグラディエントを計算することにより求められる。

グラディエント補正線形補間の方法およびシステムは、エッジに、クロミナンス成分よりもかなり強い輝度がある、新しい基準を備える。したがって、赤色ピクセルのところの緑色値の補間値を計算する場合、その場所の赤色値を捨てることはない。捨てるのではなく、本発明では、この貴重な情報を使用して補正項を計算する。対照的に、従来技術の補間法ではこの情報を捨ててしまう。本実施例では、その赤色値は、近隣の赤色値に対し従来技術の補間法を使用して補間された値と比較される。その赤色値がその推定値と異なる場合、そのピクセルのところに鋭い輝度変化があることを意味している可能性がある。そこで、本発明では、補正項の少なくとも一部を加えることにより補間された緑色値を（推定された輝度変化に対応して）補正する。そのような比較は、グラディエントに基づく補正項により暗黙のうちに実行され、したがって、「ｉｆ」文または条件付き分岐ロジックは必要ない。

最終的に、補間値と補正項との線形に結合され、現在のピクセルの所望の色の補正された補間値を得る（ボックス４３０）。好ましい実施形態では、補間値および補正項を足し合わせて、補正された補間値を得る。さらに、グラディエント補正ゲインをグラディエント補正項に適用し、補間値に線形に結合されるグラディエント補正値の量（または部分または割合）を決定することができる。後述のように、このグラディエント補正ゲインは、さまざまな手法を用いて選択できる。

従来技術の補間法と異なり、補正線形補間法で、例えば、赤色ピクセル位置での緑色値の補間値について補正項を計算する場合、その位置での赤色値は破棄されない。現在の色（赤色）は貴重な情報である。破棄するのではなく、グラディエント補正線形補間法では、その赤色値を、最も近い赤色サンプルについて補間値（または推定値）と比較する。その赤色値がその推定結果と異なる場合、現在のピクセルのところに鋭い輝度変化があることを示している可能性がある。したがって、グラディエント補正線形補間法では、補正項の少なくとも一部を補間値に線形に結合することにより、現在のピクセル（この実施例では緑色を有する）での従来技術による補間値を補正する。その場合、補正された値はこの推定された輝度を表す。

ＩＶ．動作の詳細および稼働実施例
図５は、グラディエント補正計算プロセスを例示する一般的な流れ図である。特に、グラディエント補正ゲインが決定される（ボックス５００）。後述のように、ゲインは、さまざまな方法で決定することができる。次に、サポート領域は、カラー画像内の現在のピクセルを中心に定義される（ボックス５１０）。このサポート領域は、現在のピクセルなどの、所定のピクセルに関連付けられた各計算に関して色値が考慮される近傍のピクセルから成るサイズとして定義される。これらの計算は、補間値を計算すること、および補正項（グラディエントなど）を計算することを含む。

次に、グラディエント補正が計算される（ボックス５２０）。このグラディエントは、現在のピクセル（現在の色を持つ）およびこれもまた現在の色を持つサポート領域内のピクセルを使用して計算される。その後、グラディエント補正ゲインがグラディエント補正に適用される（ボックス５３０）。グラディエント補正ゲインはそれぞれ、特定の補間パターンに関連付けられることに留意されたい。補正にこのゲインを適用することは、グラディエント補正がどれだけ補間値の補正に使用されるかを決定する。最後に、調整されたグラディエント補正値が出力される（ボックス５４０）。この調整されたグラディエント補正値が、補間値だけの品質を向上させるために、補間値に線形に結合される。

本明細書で開示されているグラディエント補正線形補間の方法およびシステムをより完全に理解できるようにするため、例示的な実施例の動作の詳細を説明する。この実施例は、グラディエント補正線形補間の方法およびシステムを実装できる唯一の方法であることに留意されたい。

グラディエント補正
以下の公式は、グラディエント補正を使用してピクセル位置で補正された補間値を与えることを示す。グラディエント補正線形補間の方法およびシステムの詳細を例示するために、補間は、双線形補間法で示されている。しかし、他のタイプの補間法も使用できることに留意されたい。

詳細には、赤色ピクセル（Ｒ）位置で緑色値（Ｇ）を補間するために、以下の式が使用される。

ここで、

は、グラディエント補正線形補間値であり、

は、双線形補間値であり、
α
は、その特定の補間パターンに対するグラディエント補正ゲインであり、
Δ_Ｒ（ｉ，ｊ）
は、そのピクセル位置での赤色（Ｒ）のグラディエントであり、これは、計算式

で求められる。

したがって、グラディエント補正線形補間の方法およびシステムでは、双線形補間推定値を、式（３）の単純な公式により推定される、そのピクセル位置での知られている色に対するグラディエントΔ_Ｒの大きさにより、補正する。グラディエント補正ゲインαは、そのような補正の強さを制御する。要するに、グラディエント補正線形補間の方法およびシステムは、ゲインパラメータにより適用される補正の大きさを制御する、グラディエント補正双線形補間の手法である。

青色（Ｂ）ピクセルのところの緑色（Ｇ）を補間するには、同じ公式を使用するが、Δ_Ｂ（ｉ，ｊ）により補正される。緑色（Ｇ）ピクセルのところの赤色（Ｒ）を補間するには、以下の公式を使用する。

ここで、Δ_Ｇ（ｉ，ｊ）は、後述のように、９点サポート領域により決定される。

青色（Ｂ）ピクセルのところの赤色（Ｒ）を補間するには、以下の公式を使用する。

ただし、γ_Ｂ（ｉ，ｊ）は、これも後述のように、５点サポート領域上で計算される。

青色（Ｂ）を補間する公式も、対称性により、同様である。

グラディエント補正ゲイン
グラディエント補正ゲインに対する適切な値を決定するために（α、β、およびγ、上述のように補間パターンのそれぞれについて１つずつ）、Ｗｉｅｎｅｒ手法が使用されている。つまり、平均平方誤差補間が最小になる値が計算される。この計算は、通常の画像データ集合から計算された二次統計量を使用して実行されている。次に、最適なＷｉｅｎｅｒ係数を１／２の小さな累乗の整数倍で近似している。最適なゲイン値の最終的な値は、α＝１／２、β＝５／８、およびγ＝３／４となる。｛α，β，γ｝の値から、それぞれの補間の場合の等価な線形有限インパルス応答（ＦＩＲ）フィルタ係数を計算できる。その結果得られた係数の値により、フィルタは、５×５サポート領域に対する最適なＷｉｅｎｅｒフィルタにきわめて近くなる（平均平方誤差に関して５％以内）。

したがって、意味のある範囲で低い平均平方補間誤差を持つ実用的線形フィルタを設計する唯一の方法は、より大きなサポート領域を使用することであると考えられる。これにより、計算の複雑度および必要なメモリ量が増えるだけでなく、画像内のエッジ周辺にリンギングのアーティファクトも生じる。計算の複雑度を評価する方法の１つに、５×５サポート領域内でゼロでないフィルタ係数の個数を数える方法がある。例えば、緑色（Ｇ）チャネルに対し９個のゼロでない係数があり、赤色（Ｒ）および青色（Ｂ）チャネルに対してそれぞれ平均１３個である（例えば、非特許文献１参照）。それと対照的に、グラディエント補正線形補間の方法およびシステムは、複雑度が少し低い、つまり、Ｇチャネルに対しては９個の係数、ＲおよびＢチャネルに対してはそれぞれ１１個の係数である。

図６Ａ〜Ｄは、緑色値を求めるためのグラディエント補正線形補間法を例示する詳細図である。図６Ａでは、赤色ピクセル６００のところの緑色値が求められる。パラメータ「ａ」は、後述のように、ａ＝２αによりグラディエント補正ゲインαに関係することに留意されたい。図６Ａに示されているように、補間（双線形補間など）は、赤色ピクセル６００の回りの緑色ピクセルを使用して実行される。さらに、グラディエント補正は、赤色ピクセル６００の周りの赤色ピクセルだけでなくその赤色ピクセル６００自体をも使用して計算される。

図６Ｂは、図６Ａに示されているような、赤色ピクセルのところの緑色値を求めるための５×５サポート領域を例示する詳細図である。特に、図６Ｂに示されている５×５サポート領域に対するグラディエント補正線形補間法は以下のステップを含む。

１．緑色の双線形補間から始める。

２．赤色グラディエントを計算する。

３．補正を適用する。

ここで、αは「補正ゲイン」であり、０＜α＜１である。αの標準値＝１／２。

上述の公式は、一般的なＦＩＲフィルタに似た公式

に組み合わせることができ、ここで、パラメータａはａ＝２αによりゲインαに直接関連付けられており、したがって、α＝１／２については、ａ＝１となることに注意されたい。この形態では、最終的な推定された緑色（Ｇ）値は、加算とシフト演算のみを使用して、示されている緑色値および赤色値の線形結合として計算することができることは明らかである（２および４による乗算は、１桁および２桁の左シフトでそれぞれ実行でき、また８による除算は、３桁の右シフトで実行できるからである）。

図６Ｃでは、青色ピクセル６１０のところの緑色値が求められる。図６Ｃに示されているように、補間（双線形補間など）は、青色ピクセル６１０の周りの緑色ピクセルを使用して実行される。さらに、グラディエント補正は、青色ピクセル６１０の周りの青色ピクセルだけでなくその青色ピクセル６１０自体をも使用して計算される。

図６Ｄは、図６Ｃに示されているような、青色ピクセルのところの緑色値を求めるための５×５サポート領域を例示する詳細図である。特に、図６Ｃに示されている５×５サポート領域に対するグラディエント補正線形補間法は以下のステップを含む。

１．緑色の双線形補間から始める。

２．青色グラディエントを計算する。

３．補正を適用する。

ここで、αは「補正ゲイン」であり、０＜α＜１である。αの標準値＝１／２である。

前述のように、上述の公式は、一般的なＦＩＲフィルタに似た公式

に組み合わせることができるが、ここでもまた、パラメータａはａ＝２αによりゲインαに直接関連付けられており、したがって、α＝１／２については、ａ＝１となる。ここでもまた、上述のフィルタ演算は、加算とシフトのみを使って効率よく計算できる。

図７Ａ〜Ｅは、赤色値を求めるためのグラディエント補正線形補間法を例示する詳細図である。図７Ａでは、緑色ピクセル７００のところの赤色値が求められる。緑色ピクセル７００は、赤色の横行および青色の縦列に配置される。パラメータ「ｂ」は、後述のように、ｂ＝（８／５）βによりグラディエント補正ゲインβに関係することに留意されたい。図７Ａに示されているように、補間（双線形補間など）は、緑色ピクセル７００に隣接する左右の２つの赤色ピクセルを使用して実行される。さらに、グラディエント補正は、緑色ピクセル７００の周りの緑色ピクセルだけでなくその緑色ピクセル７００自体をも使用して計算される。

図７Ｂは、図７Ａに示されているような、緑色ピクセルのところの赤色値を求めるための５×５サポート領域を例示する詳細図である。特に、図７Ａに示されている５×５サポート領域に対するグラディエント補正線形補間法は以下のステップを含む。

１．赤色の双線形補間から始める。

２．緑色グラディエントを計算する。

３．補正を適用する。

ここで、βは「補正ゲイン」であり、０＜β＜１である。標準値はβ＝５／８である。

上述の公式は、一般的なＦＩＲフィルタに似た公式

に組み合わせることができるが、ただし、パラメータｂはｂ＝（８／５）βによりゲインβに直接関連付けられており、したがって、β＝５／８については、ｂ＝１となることに注意されたい。この形態では、最終的な推定された赤色（Ｒ）値は、加算とシフト演算のみを使用して、示されている赤色値および緑色値の線形結合として計算することができることは明らかである（例えば、５による乗算は、２桁の左シフトと加算とで実行できる）。

図７Ｃでは、緑色ピクセル７１０のところの赤色値が求められる。しかし、この場合、緑色ピクセル７１０は、青色の横行および赤色の縦列に配置される。図７Ｃに示されているように、補間（双線形補間など）は、緑色ピクセル７１０に隣接する上下の２つの赤色ピクセルを使用して実行される。図７Ａおよび７Ｂに示されている状況と同様に、グラディエント補正は、緑色ピクセル７１０の周りの緑色ピクセルだけでなくその緑色ピクセル７１０自体をも使用して計算される。

図７Ｄでは、青色ピクセル７２０のところの赤色値が求められる。パラメータ「ｃ」は、後述のように、ｃ＝２γによりグラディエント補正ゲインγに関係することに留意されたい。図７Ｄに示されているように、補間（双線形補間など）は、青色ピクセル７２０に隣接する４つの赤色ピクセルを使用して実行される。さらに、グラディエント補正は、青色ピクセル７２０の周りの青色ピクセルだけでなくその青色ピクセル７２０自体をも使用して計算される。

図７Ｅは、図７Ｄに示されているような、青色ピクセルのところの赤色値を求めるための５×５サポート領域を例示する詳細図である。特に、図７Ｄに示されている５×５サポート領域に対するグラディエント補正線形補間法は以下のステップを含む。

１．赤色の双線形補間から始める。

２．青色グラディエントを計算する。

３．補正を適用する。

ただし、γは「補正ゲイン」であり、０＜γ＜１である。標準値はγ＝３／４である。

上述の公式は、一般的なＦＩＲフィルタに似た公式

に組み合わせることができるが、ただし、パラメータｃはｃ＝２γによりゲインγに直接関連付けられており、したがって、γ＝３／４については、ｃ＝３／２となることに注意されたい。この形態では、最終的な推定された赤色（Ｒ）値は、加算とシフト演算のみを使用して、示されている赤色値および青色値の線形結合として計算することができることは明らかである（例えば、３／２による乗算は、１桁の右シフトと加算とで実行できる）。

図８Ａ〜Ｅは、青色値を求めるためのグラディエント補正線形補間法を例示する詳細図である。図８Ａでは、緑色ピクセル８００のところの青色値が求められる。緑色ピクセル８００は、青色の横行および赤色の縦列に配置される。パラメータ「ｂ」は、上述のように、ｂ＝（８／５）βによりグラディエント補正ゲインβに関係することに留意されたい。図８Ａに示されているように、補間（双線形補間など）は、緑色ピクセル８００に隣接する左右の２つの青色ピクセルを使用して実行される。さらに、グラディエント補正は、緑色ピクセル８００の周りの８個の緑色ピクセルだけでなくその緑色ピクセル８００自体をも使用して計算される。

図８Ｂは、図８Ａに示されているような、緑色ピクセルのところの青色値を求めるための５×５サポート領域を例示する詳細図である。特に、図８Ａに示されている５×５サポート領域に対するグラディエント補正線形補間法は以下のステップを含む。

１．青色の双線形補間から始める。

２．緑色グラディエントを計算する。

３．補正を適用する。

ここで、βは「補正ゲイン」であり、０＜β＜１である。標準値はβ＝５／８である。

上述の公式は、一般的なＦＩＲフィルタに似た公式

に組み合わせることができるが、ただし、上述のように、パラメータｂはｂ＝（８／５）βによりゲインβに直接関連付けられており、したがって、β＝５／８については、ｂ＝１となることに注意されたい。

図８Ｃでは、緑色ピクセル８１０のところの青色値が求められる。しかし、この場合、緑色ピクセル８１０は、赤色の横行および青色の縦列に配置される。図８Ｃに示されているように、補間（双線形補間など）は、緑色ピクセル８１０に隣接する上下の２つの青色ピクセルを使用して実行される。図８Ａおよび８Ｂに示されている状況と同様に、グラディエント補正は、緑色ピクセル８１０の周りの８個の緑色ピクセルだけでなくその緑色ピクセル８１０自体をも使用して計算される。

図８Ｄでは、赤色ピクセル８２０のところの青色値が求められる。パラメータ「ｃ」は、上述のように、ｃ＝２γによりグラディエント補正ゲインγに関係することに留意されたい。図８Ｄに示されているように、補間（双線形補間など）は、赤色ピクセル８２０に隣接する４つの青色ピクセルを使用して実行される。さらに、グラディエント補正は、赤色ピクセル８２０の周りの４つの赤色ピクセルだけでなくその赤色ピクセル８２０自体をも使用して計算される。

図８Ｅは、図８Ｄに示されているような、赤色ピクセルのところの青色値を求めるための５×５サポート領域を例示する詳細図である。特に、図８Ｄに示されている５×５サポート領域に対するグラディエント補正線形補間法は以下のステップを含む。

１．青色の双線形補間から始める。

２．赤色グラディエントを計算する。

３．補正を適用する。

ここで、γは「補正ゲイン」であり、０＜γ＜１である。標準値はγ＝３／４である。

上述の公式は、一般的なＦＩＲフィルタに似た公式

に組み合わせることができるが、ただし、パラメータｃはｃ＝２γによりゲインγに直接関連付けられており、したがって、γ＝３／４については、ｃ＝３／２となることに注意されたい。この形態では、最終的な推定された赤色（Ｒ）値は、上述のように、加算とシフト演算のみを使用して、示されている青色値および赤色値の線形結合として計算することができることは明らかである。

補間パターンは３種類あり、したがって、３種類のグラディエント補正ゲイン（α，β，γ）があることに留意されたい。これらのゲインは、いろいろな方法で選択できる。１つの方法は、最適なゲイン値を使用することである。一般に、これらの最適値は、α＝１／２、β＝５／８、およびγ＝３／４である。最適なゲイン値の差は、異なるパターンを見たときの相関における差によるものである。

実際は、最適ゲイン値は、それぞれ、正確に１／２、５／８、および３／４ではない。これらは近い数値であるが、実装の目的のために、分母が２の累乗の有理数となる最も近い数で近似されている。これにより、演算が簡単になり、浮動小数点演算の必要がなくなり、したがって、計算の複雑度が大幅に減じる。８による除算は、単に、右に３ビットだけシフトするにすぎないため、整数演算で計算を実行できる。したがって、ゲインに関するこの特定の選択は、計算を、除算を使わずに整数演算で実行することを確実にすることに関連付ける。

ゲインを選ぶもう１つの方法は、デジタル・カメラ・メーカに依存する。ほとんどのデジタル・カメラのレンズは、通常、何らかの光学的ロー・パス・フィルタ処理（つまりぼかし）を実行する。これは、デモザイク処理を行うとある程度カラーフリンジが生じ、したがってセンサに当たる前に画像を少しぼかせば、デモザイク処理によって生じるフリンジが低減されることをメーカ側が知っているからである。

メーカはそれぞれ、専用のカラー・マトリックスを使用する（ベイヤー・マトリックスであっても、多くの場合、異なる種類のカラー・フィルタ処理機能を使用する）。つまり、周波数応答は、メーカが異なれば少し異なって見えるということである。例えば、第１のメーカのフィルタでは、別のメーカのフィルタと比べて、青色と赤色との相関が小さい場合がある。それぞれの異なるメーカのカメラに対し周波数応答および相関統計量が与えられた場合、それらの統計量に基づいてゲインを微調整することができる。さらに、それらのゲインは、整数演算を実行し除算を実行しない値など、より単純な値に再近似することも可能である。

ゲインは、さらに、適応方式で選択することもできる。適応ゲイン選択では、ゲインは画像の統計量に基づいて変更させる。それらの統計量は大域的である場合も局所的である場合もある。大域的画像統計量は、全体としての画像に基づく。局所的画像統計量は、画像全体だけではなく、画像内の特定の領域にも基づく。そのような統計量から、よりよいチャネル間相関値を計算することができ、したがって、対応する新しい最適なＷｉｅｎｅｒフィルタゲインを決定することが可能である。大域的および局所的画像統計量の計算も、Ｗｉｅｎｅｒフィルタ処理も、当業ではよく知られているので、これ以上詳しく説明しない。

パフォーマンス
グラディエント補正線形補間の方法およびシステムを、他のさまざまな種類の補間法と比較した。この比較は、よく知られているパブリック・ドメインに置かれているＫｏｄａｋイメージセットを使用し、ベイヤー・サンプリング・アレイをシミュレートし（単に、ピクセル毎にＲＧＢ値のそれぞれのただ１つのみを保持するだけ）、その後、さまざまな補間アルゴリズムを適用して実行された。このサブ・サンプリングのアプローチは、実際には、通常慎重なレンズ設計を用いてわずかな量のロー・パス・フィルタ処理を効果的に実行してベイヤー・パターン・サブ・サンプリングによるエイリアシングを低減する、典型的なデジタル・カメラとは、実際的に異なる。しかし、上述のすべての引用論文では、ロー・パス・フィルタ処理なしでサブ・サンプリングだけを実行しており、結果を比較することができるように、同じことを行った。さらに、すべての補間法は、少量のガウス・ローパス・フィルタ処理でテストしてから、ベイヤー・サブ・サンプリングを行ったが、これらの方法の相対的パフォーマンスは、フィルタ処理を行おうと行うまいと、おおよそ同じであった。グラディエント補正線形補間の方法およびシステムは、双線形補間法に比べてピーク信号対雑音比（ＰＳＮＲ）が改善していることを示した。さらに、Ｆｒｅｅｍａｎｂの補間法を除き、ほとんどの方式では、５ｄＢを超える改善が得られる。平均すると、グラディエント補正線形補間の方法およびシステムは、他のほとんどの補間法よりも優れている。

ＰＳＮＲ測定のほかに、Ｋｏｄａｋセット内の複数の画像のうちの１つを使用して視覚品質を検証した。グラディエント補正線形補間の方法およびシステムでは、複雑度はかなり低いが、良好な非線形法（例えば、非特許文献７参照）に類似した視覚品質が得られた。非特許文献１に説明されている補間法と比較すると、グラディエント補正線形補間の方法およびシステムでは、計算の複雑度がわずかに低減されている点で、低いＰＳＮＲに加えて、すこし少ない可視のカラーフリンジ歪みを生じた。

グラディエント補正線形補間の方法およびシステムは、Ｗｉｎｅｒの意味でほぼ最適であるが、実際的には、多くのより複雑な非線形補間法よりも優れている。最近導入された線形デモザイク処理手法と比較すると、グラディエント補正線形補間の方法およびシステムは、補間された画像の画質に０．５ｄＢの改善を生じさせ、平均平方誤差に１２％の低減を生じさせる。これは、緑色チャネルについて同じ品質であるが、赤色および青色チャネルについては約０．７ｄＢ改善しているからである。さらに、非特許文献１に説明されている手法と比較すると、グラディエント補正線形補間の方法およびシステムは、さらに、計算の複雑度に小規模の低減（おおよそ１２％）をもたらしている。

Ｖ．動作環境例
グラディエント補正線形補間の方法およびシステムは、コンピューティング環境で、デジタル・カメラ・システム３１０またはコンピューティング・デバイス３８０に収容さられている処理デバイス３７０などのコンピューティング・デバイス上で動作するように設計されている。次に、グラディエント補正線形補間のおよびシステムが動作するコンピューティング環境について説明する。以下の説明は、グラディエント補正線形補間の方法およびシステムを実装できる適当なコンピューティング環境について簡潔に述べた一般的な説明である。

図９は、図３に示されているグラディエント補正線形補間の方法およびシステムを実装することが可能な適当なコンピューティング・システム環境の実施例の図である。コンピューティング・システム環境９００は、適当なコンピューティング環境の一例にすぎず、本発明の用途または機能性の範囲に関する制限を示唆する意図はない。コンピューティング環境９００は、動作環境例９００に例示されている１つのコンポーネントまたはその組み合わせに関係する何らかの依存関係または要求条件を有するものと解釈すべきでない。

グラディエント補正線形補間の方法およびシステムは、他の数多くの汎用または専用コンピューティング・システム環境または構成で動作する。グラディエント補正線形補間の方法およびシステムとともに使用するのに好適と思われるよく知られているコンピューティング・システム、環境、および／または構成の実施例として、限定はしないが、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルド、携帯電話およびＰＤＡなどのラップトップまたはモバイル・コンピュータまたは通信デバイス、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースのシステム、セットトップボックス、プログラム可能な家電製品、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータ、上記システムまたはデバイスを含む分散コンピューティング環境などがある。

グラディエント補正線形補間の方法およびシステムは、コンピュータによって実行される、プログラム・モジュールなどのコンピュータ実行可能命令の一般的コンテクストで説明することができる。一般に、プログラム・モジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。また、グラディエント補正線形補間の方法およびシステムは、通信ネットワークを通じてリンクされているリモート処理デバイスによりタスクが実行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラム・モジュールをメモリ記憶デバイスなどのローカルとリモートの両方のコンピュータ記憶媒体に配置できる。図９を参照すると、グラディエント補正線形補間の方法およびシステムを実装するシステムの実施例は、汎用コンピューティング・デバイスをコンピュータ９１０の形態で備えている。

コンピュータ９１０のコンポーネントは、限定はしないが、処理ユニット９２０、システム・メモリ９３０、およびシステム・メモリを含むさまざまなシステム・コンポーネントを処理ユニット９２０に結合するシステム・バス９２１などを備えることができる。システム・バス９２１には、メモリ・バスまたはメモリ・コントローラ、周辺機器バス、およびさまざまなバス・アーキテクチャを使用するローカル・バスを含む数種類のバス構造がありえる。例えば、このようなアーキテクチャとしては、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカル・バス、およびＭｅｚｚａｎｉｎｅバスとも呼ばれるＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスがある。

コンピュータ９１０は通常、さまざまなコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ９１０によってアクセスできる媒体であればどのような媒体でもよく、揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体を含む。例えば、コンピュータ可読媒体は、限定はしないが、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、またはその他のデータなどの情報を格納する方法または技術で実装される揮発性および不揮発性、取り外し可能および取り外し不可能媒体を含む。

コンピュータ記憶媒体としては、限定はしないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイス、または目的の情報を格納するために使用することができコンピュータ９１０によりアクセスできるその他の媒体がある。通信媒体は、通常、コンピュータ可読命令、データ構造体、プログラム・モジュール、または搬送波もしくはその他のトランスポート・メカニズムなどの変調データ信号によるその他のデータを具現するものであり、任意の情報配信媒体を含む。

「変調データ信号」という用語は、信号内の情報を符号化する方法によりその特性のうち１つまたは複数が設定または変更された信号を意味することに注意されたい。例えば、通信媒体としては、限定はしないが、有線ネットワークまたは直接配線接続などの有線媒体、ならびに、音響、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体がある。上記のいずれの組み合わせもコンピュータ可読媒体の範囲に収まらなければならない。

システム・メモリ９３０は、読み取り専用メモリ（ＲＯＭ）９３１およびランダム・アクセス・メモリ（ＲＡＭ）９３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を備える。起動時などにコンピュータ９１０内の要素間の情報転送を助ける基本ルーチンを含む基本入出力システム９３３（ＢＩＯＳ）は、通常、ＲＯＭ ９３１に格納される。通常、ＲＡＭ ９３２は、処理ユニット９２０に直接アクセス可能な、かつ／または処理ユニット９２０によって現在操作されているデータおよび／またはプログラム・モジュールを格納する。例えば、図９は、オペレーティング・システム９３４、アプリケーション・プログラム９３５、その他のプログラム・モジュール９３６、およびプログラム・データ９３７を例示している。

コンピュータ９１０はさらに、その他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体を備えることもできる。例えば、図９は、取り外し不可能な不揮発性磁気媒体の読み書きを行うハードディスク・ドライブ９４１、取り外し可能な不揮発性磁気ディスク９５２の読み書きを行う磁気ディスク・ドライブ９５１、およびＣＤ−ＲＯＭまたはその他の光媒体などの取り外し可能な不揮発性光ディスク９５６の読み書きを行う光ディスク・ドライブ９５５を例示している。

動作環境の実施例で使用できる他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体としては、磁気テープ・カセット、フラッシュ・メモリ・カード、デジタル多目的ディスク、デジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭなどがある。ハードディスク・ドライブ９４１は、通常、インターフェース９４０などの取り外し不可能なメモリ・インターフェースを介してシステム・バス９２１に接続され、磁気ディスク・ドライブ９５１および光ディスク・ドライブ９５５は、通常、インターフェース９５０などの取り外し可能なメモリ・インターフェースによりシステム・バス９２１に接続される。

図９に例示されている上記のドライブおよび関連コンピュータ記憶媒体は、コンピュータ９１０用のコンピュータ可読命令、データ構造体、プログラム・モジュール、およびその他のデータを格納する機能を備える。例えば、図９では、ハードディスク・ドライブ９４１は、オペレーティング・システム９４４、アプリケーション・プログラム９４５、その他のプログラム・モジュール９４６、およびプログラム・データ９４７を格納するものとして例示されている。これらのコンポーネントは、オペレーティング・システム９３４、アプリケーション・プログラム９３５、その他のプログラム・モジュール９３６、およびプログラム・データ９３７と同じである場合もあれば異なる場合もあることに注意されたい。オペレーティング・システム９４４、アプリケーション・プログラム９４５、その他のプログラム・モジュール９４６、およびプログラム・データ９４７に対しては、ここで、異なる番号を割り当てて、最低でも、それが異なるコピーであることを示している。ユーザは、キーボード９６２、およびマウス、トラック・ボール、またはタッチ・パッドと一般に呼ばれるポインティング・デバイス９６１などの入力デバイスを介してコンピュータ９１０にコマンドおよび情報を入力できる。

他の入力デバイス（図に示されていない）としては、マイク、ジョイスティック、ゲーム・パッド、衛星放送受信アンテナ、スキャナ、ラジオ受信機、またはテレビまたは放送ビデオ受信機などがある。これらの入力デバイスおよびその他の入力デバイスは、システム・バス９２１に結合されているユーザ入力インターフェース９６０を介して処理ユニット９２０に接続されることが多いが、例えば、パラレルポート、ゲームポート、またはユニバーサル・シリアル・バス（ＵＳＢ）などの他のインターフェースおよびバス構造により接続されることもできる。モニタ９９１またはその他の種類の表示デバイスも、ビデオ・インターフェース９９０などのインターフェースを介してシステム・バス９２１に接続される。モニタのほかに、コンピュータはさらにスピーカ９９７およびプリンタ９９６などの他の周辺出力デバイスも備えることができ、これらは出力周辺インターフェース９９５を介して接続することができる。

コンピュータ９１０は、リモート・コンピュータ９８０などの１つまたは複数のリモート・コンピュータへの論理接続を使用してネットワーク接続環境で動作することができる。リモート・コンピュータ９８０は、パーソナル・コンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードでもよく、通常は、コンピュータ９１０に関係する上述の要素の多くまたはすべてを含むが、メモリ記憶デバイス９８１だけが図９に例示されている。図９に示されている論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）９７１とワイド・エリア・ネットワーク（ＷＡＮ）９７３を含むが、他のネットワークを含むこともできる。このようなネットワーキング環境は、オフィス、企業全体にわたるコンピュータ・ネットワーク、イントラネット、およびインターネットでは一般的なものである。

ＬＡＮネットワーキング環境で使用される場合、コンピュータ９１０はネットワーク・インターフェースまたはアダプタ９７０を介してＬＡＮ ９７１に接続される。ＷＡＮネットワーキング環境で使用される場合、コンピュータ９１０は、通常、モデム９７２またはインターネットなどのＷＡＮ ９７３上で通信を確立するためのその他の手段を備える。モデム９７２は、内蔵でも外付けでもよいが、ユーザ入力インターフェース９６０またはその他の適切なメカニズムを介してシステム・バス９２１に接続することができる。ネットワーク接続環境では、コンピュータ９１０またはその一部に関して示されているプログラム・モジュールは、リモート・メモリ記憶デバイスに格納することができる。例えば、限定はしないが、図９には、リモート・アプリケーション・プログラム９８５がメモリ・デバイス９８１に置かれているように例示されている。図に示されているネットワーク接続は実施例であり、コンピュータ間の通信リンクを確立するのに他の手段が使用可能であることは理解されるであろう。

ＶＩ．システム・コンポーネント
図３Ａおよび３Ｂに示されているグラディエント補正線形補間システムは多数のプログラム・モジュールを備え、これらのモジュールによりシステム３００は単純で効率的な方法によりピクセルの欠落色の高品質の補間を高速に行うことができる。図１０は、図３に示されているグラディエント補正線形補間システム３００の詳細を例示するブロック図である。そこで、システム３００に含まれるプログラム・モジュールについて説明する。

図１０を参照すると、一般に、グラディエント補正線形補間システム３００は、イメージ・センサ・アレイ３１５により出力される生のモザイク・パターンのピクセル・データ３６０を含む色情報を入力し、その情報を処理し、各ピクセル３２０に対する１つまたは複数の欠落色値を出力する。より具体的には、グラディエント補正線形補間システム３００は、カラー画像を表すイメージ・センサ・アレイから現在の色を持つ現在のピクセルを選択する現在のピクセル・セレクタ１０００を備える。補間モジュール１０１０は、その現在のピクセルのところで欠落していて、あることが望まれている色値の第１の補間を計算する。補間では、サポート領域とともに所望の色を持つピクセルを使用する。

グラディエント補正線形補間システム３００は、さらに、補間値に対する補正項を計算する補正項モジュール１０２０も備える。補正項は、現在のピクセルの色を持つサポート領域内のピクセルのグラディエントから計算されるのが好ましい。補間値および補正項の計算後、線形結合モジュール１０３０は、補間値と補正項との線形結合を作り、現在のピクセル３２０のところの所望の（または欠落している）色値を取得する。補間値および補正項を足し合わせて、現在のピクセル３２０のところの所望の（または欠落している）色値を推定する正しい補間値を得る。

図１１は、図１０に示されている補正項計算モジュール１０２０の詳細を例示するブロック図である。一般に、現在のピクセル１１００のところの所望の色の補間値が補正項計算モジュール１０２０に入力され、補正項が計算され、そしてグラディエント調整補正が出力される（１１１０）。

特に、補正項計算モジュール１０２０は、適用される補正の量を選択するグラディエント補正セレクタ１１２０を含む。サポート領域モジュール１１３０は、現在のピクセルの周りにサポート領域を定義する。サポート領域は、現在のピクセルを中心とする５×５ピクセル領域であるのが好ましい。

補正項計算モジュール１０２０は、さらに、現在のピクセルを使用してグラディエント補正を計算するグラディエント補正モジュール１１４０も含む。さらに、モジュール１１４０は、現在の色、つまり現在のピクセルと同じ色のサポート領域内のピクセルを使用する。グラディエント補正ゲイン適用モジュール１１５０は、ゲインを計算されたグラディエント補正に適用し、調整済みグラディエント補正が出力される（１１１０）ようにする。

本発明の前記の説明は、例示および説明を目的として提示された。この説明は網羅的であることを意図しておらず、また本発明を開示した正確な形態だけに限る意図もない。上記の教示に照らして、多数の修正形態および変更形態が可能である。本発明の範囲は、本発明のこの詳細な説明によってではなく、むしろ付属の請求項によって制限されるものとする。

単一画像センサ・デジタル・カメラシ・ステム内のカラー画像取り込みのための典型的なベイヤー・モザイク・パターンを例示する図である。 赤色ピクセルのところの緑色値を求める双線形補間法を例示する図である。 青色ピクセルのところの緑色値を求める双線形補間法を例示する図である。 赤色の横行および青色の縦列の緑色ピクセルのところの赤色値を求める双線形補間法を例示する図である。 青色の横行および赤色の縦列の緑色ピクセルのところの赤色値を求める双線形補間法を例示する図である。 青色ピクセルのところの赤色値を求める双線形補間法を例示する図である。 青色の横行および赤色の縦列の緑色ピクセルのところの青色値を求める双線形補間法を例示する図である。 赤色の横行および青色の縦列の緑色ピクセルのところの青色値を求める双線形補間法を例示する図である。 赤色ピクセルのところの青色値を求める双線形補間法を例示する図である。 本明細書で開示されているグラディエント補正線形補間のシステムおよび方法の第１の実施例を説明するブロック図である。 本明細書で開示されているグラディエント補正線形補間のシステムおよび方法の第２の実施例を説明するブロック図である。 図３に示されているグラディエント補正線形補間システムの一般的な動作を説明する一般的な流れ図である。 グラディエント補正計算プロセスを例示する一般的な流れ図である。 赤色ピクセルのところの緑色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 図６Ａに示されているような、赤色ピクセルのところの緑色値を求めるための５×５サポート領域を例示する詳細図である。 青色ピクセルのところの緑色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 図６Ｃに示されているような、青色ピクセルのところの緑色値を求めるための５×５サポート領域を例示する詳細図である。 赤色の横行および青色の縦列に配置されている緑色ピクセルのところの赤色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 図７Ａに示されているような、緑色ピクセルのところの赤色値を求めるための５×５サポート領域を例示する詳細図である。 青色の横行および赤色の縦列に配置されている緑色ピクセルのところの赤色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 青色ピクセルのところの赤色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 図７Ｄに示されているような、青色ピクセルのところの赤色値を求めるための５×５サポート領域を例示する詳細図である。 青色の横行および赤色の縦列に配置されている緑色ピクセルのところの青色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 図８Ａに示されているような、緑色ピクセルのところの青色値を求めるための５×５サポート領域を例示する詳細図である。 赤色の横行および青色の縦列に配置されている緑色ピクセルのところの青色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 赤色ピクセルのところの青色値を求めるグラディエント補正線形補間法の詳細を例示する図である。 図８Ｄに示されているような、赤色ピクセルのところの青色値を求めるための５×５サポート領域を例示する詳細図である。 図３に示されているグラディエント補正線形補間の方法およびシステムを実装することが可能な適当なコンピューティング・システム環境の実施例の図である。 図３に示されているグラディエント補正線形補間システムの詳細を例示するブロック図である。 図１０に示されている補正項計算モジュールの詳細を例示するブロック図である。

符号の説明

３００ グラディエント補正線形補間システム
３１０ デジタル・カメラ・システム
３２０ 各ピクセルの欠落色値
３３０ センサ基板
３４０ カラー・フィルタ・アレイ
３５０ マイクロ・レンズ・アレイ
３６０ 生(RAW)のモザイク・パターンのピクセル・データ
３７０ 処理デバイス
３８５ インターフェース接続
３８０ コンピューティング・デバイス
３９０ 各ピクセルの欠落色値
９００ コンピューティング・システム環境
９１０ コンピュータ
９２０ 処理ユニット
９２１ システム・バス
９３０ システム・メモリ
９３４ オペレーティング・システム
９３５ アプリケーション・プログラム
９３６ その他のプログラム・モジュール
９３７ プログラム・データ
９４０ 取り外し不可能不揮発性メモリ・インターフェース
９４１ ハードディスク・ドライブ
９４４ オペレーティング・システム
９４５ アプリケーション・プログラム
９４６ その他のプログラム・モジュール
９４７ プログラム・データ
９５０ 取り外し可能不揮発性メモリ・インターフェース
９５１ 磁気ディスク・ドライブ
９５２ 磁気ディスク
９５５ 光ディスク・ドライブ
９５６ 光ディスク
９６０ ユーザ入力インターフェース
９６１ マウス
９６２ キーボード
９７０ ネットワーク・インターフェース
９７１ ローカル・エリア・ネットワーク
９７２ モデム
９７３ ワイド・エリア・ネットワーク
９８０ リモート・コンピュータ
９８５ リモート・アプリケーション・プログラム
９９０ ビデオ・インターフェース
９９１ モニタ
９９５ 出力周辺機器インターフェース
９９６ プリンタ
９９７ スピーカ
１０００ 現在のピクセル・セレクタ
１０１０ 補間モジュール
１０２０ 補正項計算モジュール
１０３０ 線形結合モジュール
１１００ 現在のピクセルのところの所望の色の補間
１０２０ 補正項計算モジュール
１１２０ グラディエント補正ゲインセレクタ
１１３０ サポート領域モジュール
１１４０ グラディエント補正モジュール
１１５０ グラディエント補正ゲイン適用モジュール
１１１０ グラディエント補正を調整する

Claims (40)

1. カラー画像内の、現在の色を持つ現在のピクセルのところの所望の色を補間する方法であって、
   前記所望の色を使用して前記現在のピクセルのところの前記所望の色の補間値を計算すること、
   前記現在の色を使用して補正項を計算すること、および
   前記補間値と前記補正項とを線形に結合して、前記現在のピクセルのところの前記所望の色の補正された補間値を得ること
   を備えることを特徴とする方法。
2. さらに、前記補間値を計算する際に前記所望の色の近隣ピクセルを使用することを備えることを特徴とする請求項１に記載の方法。
3. さらに、前記補正項を計算する際に前記現在のピクセルを使用することを備えることを特徴とする請求項１に記載の方法。
4. さらに、前記補正項を計算する際に前記現在の色の近隣ピクセルを使用することを備えることを特徴とする請求項３に記載の方法。
5. 前記補間は、双線形補間法であることを特徴とする請求項１に記載の方法。
6. 前記補正項は、グラディエント補正であることを特徴とする請求項１に記載の方法。
7. さらに、グラディエント補正ゲインを前記グラディエント補正値に適用して、前記補間値に線形に結合される前記グラディエント補正の量を決定することを備えることを特徴とする請求項６に記載の方法。
8. さらに、前記補間値と前記補正項とを加算して補正された補間値を得ることを備えることを特徴とする請求項１に記載の方法。
9. イメージ・センサ内の、第１の色を持つ現在のピクセルのところの所望の色を補間するコンピュータにより実装される方法であって、
   前記所望の色を持つピクセルを使用して前記現在のピクセルのところの前記所望の色の第１の補間値を計算すること、
   前記第１の色を持つピクセルを使用してグラディエント補正を計算すること、および
   前記第１の補間値と前記グラディエント補正とを線形に結合して、前記現在のピクセルのところの前記所望の色のグラディエント補正された補間値を得ること
   を備えることを特徴とするコンピュータにより実装される方法。
10. さらに、グラディエント補正ゲインを前記グラディエント補正に適用して、前記第１の補間値に線形に結合される前記グラディエント補正の量に影響を及ぼすことを備えることを特徴とする請求項９に記載のコンピュータにより実装される方法。
11. さらに、前記グラディエント補正ゲインを、平均平方誤差が最小になり、最適なグラディエント補正ゲインを取り出すように、選択することを備えることを特徴とする請求項１０に記載のコンピュータにより実装される方法。
12. さらに、（ａ）整数演算、（ｂ）除算なし演算のうちの少なくとも１つを使用して、計算できるようにする、簡素化されたグラディエント補正を出力するように、前記最適なグラディエント補正ゲインを調整することを備えることを特徴とする請求項１１に記載のコンピュータにより実装される方法。
13. 前記第１の補間値は、線形補間値であることを特徴とする請求項９に記載のコンピュータにより実装される方法。
14. 前記線形補間値は、双線形補間値であることを特徴とする請求項１３に記載のコンピュータにより実装される方法。
15. 前記第１の補間値は、（ａ）双線形補間値、（ｂ）双三次補間値、（ｃ）ランチョス補間値のうちの少なくとも１つであることを特徴とする請求項９に記載のコンピュータにより実装される方法。
16. さらに、
    サポート領域を、その値が所定のピクセルに関連付けられた計算に関して考慮される近傍ピクセルからなるサイズとして定義すること、
    前記第１の色を持つ前記現在のピクセルに最も近いピクセルを含むように前記サポート領域を選択すること、および
    前記サポート領域を使用して前記第１の補間値および前記グラディエント補正を計算することを備えることを特徴とする請求項９に記載のコンピュータにより実装される方法。
17. 前記サポート領域は、前記現在のピクセルを中心とする５×５ピクセル領域であることを特徴とする請求項１６に記載のコンピュータにより実装される方法。
18. 前記サポート領域は、前記現在のピクセルを中心とする５×５ピクセル領域よりも広いことを特徴とする請求項１６に記載のコンピュータにより実装される方法。
19. 前記第１の補間値は、非線形補間値であることを特徴とする請求項１８に記載のコンピュータにより実装される方法。
20. さらに、
    第１のサポート領域を使用して前記第１の補間値を計算すること、および
    第２のサポート領域を使用して前記グラディエント補正を計算すること
    を備えることを特徴とする請求項１６に記載のコンピュータにより実装される方法。
21. 前記第１のサポート領域は、前記第２のサポート領域と異なることを特徴とする請求項２０に記載のコンピュータにより実装される方法。
22. 請求項９に記載のコンピュータにより実装される方法を実行するためのコンピュータ実行可能命令を有することを特徴とするコンピュータ可読媒体。
23. カラー・イメージ・センサ内の現在の色を持つ現在のピクセルのところの欠落赤色−青色−緑色（ＲＧＢ）データを補間する方法であって、
    前記現在のピクセルのところの欠落色に基づき第１の補間法を使用して欠落色推定値を決定すること、
    前記現在の色に基づきグラディエント補正を計算すること、
    前記グラディエント補正にグラディエント補正ゲインを掛けて、調整済みグラディエント補正を得ること、および
    前記欠落色推定値と前記調整済みグラディエント補正とを線形に結合して、前記欠落ＲＧＢデータの少なくとも一部に対応する線形補正欠落色推定値を得ることを備えることを特徴とする補間する方法。
24. 前記第１の補間法は、双線形補間法であることを特徴とする請求項２３に記載の方法。
25. 前記グラディエント補正は、線形演算子であることを特徴とする請求項２３に記載の方法。
26. さらに、前記カラー・イメージ・センサの特性に基づいて前記グラディエント補正ゲインを調整すること備えることを特徴とする請求項２３に記載の方法。
27. 前記カラー・イメージ・センサは、デジタル・カメラ・システム内に組み込まれるており、さらに、前記デジタル・カメラ・システムの特性に基づき前記グラディエント補正ゲインを調整することを備えることを特徴とする請求項２６に記載の方法。
28. イメージ・センサを備えるデジタル・カメラ・システムにより取り出されるカラー画像内の、第１の色を持つ現在のピクセルの欠落色を線形補間するプロセスであって、
    前記現在のピクセルを中心とする第１のサポート領域を定義すること、
    前記欠落色を持つ前記第１のサポート領域内のピクセルを使用する補間法を使用することにより前記欠落色を補間して第１の欠落色推定値を得ること、
    前記現在のピクセルを中心とする第２のサポート領域を定義すること、
    前記現在のピクセルおよび前記第１の色を持つ前記第２のサポート領域内のピクセルを使用してグラディエント補正を計算すること、
    使用される前記グラディエント補正の割合を表すグラディエント補正ゲインを前記グラディエント補正に適用すること、および
    前記第１の欠落色推定値と前記グラディエント補正とを線形に結合して、前記欠落色のグラディエント補正された推定値を得ること
    を備えることを特徴とするプロセス。
29. さらに、前記カラー画像の統計量に基づいて前記グラディエント補正ゲインを変更させることを備えることを特徴とする請求項２８に記載のプロセス。
30. さらに、
    前記カラー画像の大域的統計量を測定すること、および
    前記の大域的統計量に基づいて前記グラディエント補正ゲインを変更させること
    を備えることを特徴とする請求項２９に記載のプロセス。
31. さらに、
    前記カラー画像内のそれぞれの領域について局所的統計量を測定すること、および
    前記の局所的統計量に基づいて前記グラディエント補正ゲインを変更させること
    を備えることを特徴とする請求項２９に記載のプロセス。
32. さらに、前記欠落色に基づいて前記グラディエント補正ゲインを計算することを備えることを特徴とする請求項２８に記載のプロセス。
33. 前記欠落色が緑色である場合に、さらに前記グラディエント補正ゲインを１／２の値に設定することを備えることを特徴とする請求項３２に記載のプロセス。
34. 前記欠落色が赤色である場合に、さらに前記グラディエント補正ゲインを５／８の値に設定することを備えることを特徴とする請求項３２に記載のプロセス。
35. 前記欠落色は青色である場合に、さらに前記グラディエント補正ゲインを３／４の値に設定することを備えることを特徴とする請求項３２に記載のプロセス。
36. 前記第１および第２のサポート領域は、ピクセルの５×５マトリックスであることを特徴とする請求項２８に記載のプロセス。
37. カラー画像内の、現在の色を持つ所定のピクセルのところの欠落色を補間するグラディエント補正線形補間システムであって、
    前記欠落色値の補間値を計算する補間モジュール、
    前記補間値に対する補正項を計算する補正項計算モジュール、および
    前記補間値と補正項とを線形に結合して、前記所定のピクセルのところの前記欠落色に対する補正された補間値を出力する線形結合モジュール
    を備えることを特徴とするグラディエント補正線形補間システム。
38. 前記補正項計算モジュールは、さらに、前記所定のピクセルを中心とする前記所定のピクセルの周りのサポート領域のサイズを選択するサポート領域モジュールを備えることを特徴とする請求項３７に記載のグラディエント補正線形補間システム。
39. 前記補正項計算モジュールは、さらに、前記補間値に線形に結合される補正の量を選択するグラディエント補正セレクタを備えることを特徴とする請求項３７に記載のグラディエント補正線形補間システム。
40. 前記補正項計算モジュールは、さらに、前記所定のピクセルおよび前記現在の色を持つサポート領域内のピクセルを使用してグラディエント補正を計算するグラディエント補正モジュールを備えることを特徴とする請求項３７に記載のグラディエント補正線形補間システム。
    

Images