JP2010512049A - カラー画素およびパンクロマティック画素を有する画像の処理 - Google Patents

Abstract

画像キャプチャ装置によってキャプチャされた画素のアレイを処理する方法であって、画素のいくつかはカラー画素であり、また画素のいくつかはパンクロマティック画素である、画像キャプチャ装置からの第１の画素の二次元アレイを有すること；周囲照明条件に応じて、パンクロマティック画素がカラー画素と結合されるべきか否かを決定すること；前記第１の画素の二次元アレイよりも少ない画素を有する第２の画素の二次元アレイを生成するために、画素を結合すること；そして該カラー画素を補正することを含む方法。

Description

本発明は、カラー画素およびパンクロマティック画素を有する二次元画像を提供し、そして更なる使用のために画像を低減して処理することに関する。

電子撮像システムは、視覚的画像の電子表示を形成するために、電子画像センサに依存する。このような電子画像センサの例は、電荷結合素子（ＣＣＤ）画像センサ、およびアクティブ画素センサ（ＡＰＳ）装置（ＡＰＳ装置は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor)プロセスにおいてこれらを製作することができることから、ＣＭＯＳセンサとしばしば呼ばれる）を含む。典型的には、これらの画像センサは、しばしば行および例の規則的なパターンを成して配列された数多くの感光性画素を含む。カラー画像をキャプチャするために画素パターン上にフィルタのパターンが典型的には製作され、この場合、可視光スペクトルの一部だけに対して個々の画素を感光性にするために、種々異なるフィルタ材料を使用する。カラーフィルタは、各画素に達する光量を必然的に低減し、これにより、各画素の感光性を低減する。電子カラー画像センサの感光性、すなわち写真スピードを改善するために、画像がより低い光レベルでキャプチャされるのを可能にすること、または光レベルがより高い場合には画像がより短い露出時間でキャプチャされるのを可能にすることが依然として必要である。

画像センサは線形または二次元である。一般に、これらのセンサは２つの異なるタイプの用途を有している。二次元センサは典型的には、画像キャプチャ装置、例えばデジタルカメラ、携帯電話機、およびその他の用途に適している。線形センサはしばしば、文書を走査するために使用される。いずれの場合にも、カラーフィルタが採用されると、画像センサは感光性が低減される。

Eastman Kodak Company製の線形画像センサであるKLI-4104は、４つの線形の単一画素幅の画素アレイを含み、この場合、赤、緑、または青に対して各アレイを全体的に感光性にするためにアレイのうちの３つにはカラーフィルタが適用されているが、第４のアレイにはカラーフィルタは適用されていない。さらに、３つのカラーアレイは、カラーフィルタに起因する感光性の低減を補償するために、より大型の画素を有しており、そして第４のアレイは、高解像度モノクローム画像をキャプチャするために、より小型の画素を有している。この画像センサを使用して画像がキャプチャされると、画像は、概ね同じ写真感光性を有する３つの低解像度画像と一緒に、高解像度の高写真感光性モノクローム画像として表され、そして３つの画像のそれぞれは、その画像からの赤、緑、または青の光に対応しており、従って、電子画像内の各点は、モノクローム値、赤値、緑値、および青値を含む。しかし、これは線形画像センサなので、４つの線形画素アレイを横切って画像を走査するためには、画像センサと画像との間の相対的な機械運動を必要とする。このことは、画像が走査されるスピードを制限し、また、手持ち式カメラ内で、または動いている被写体を含むシーンをキャプチャする際にこのセンサの使用を妨げる。

Akira Muramatsuによる米国特許第４，８２３，１８６号明細書に記載された、２つのセンサを含む電子撮像システムも当業者に知られている。このシステムの場合、センサのそれぞれが二次元画素アレイを含んでいるが、しかし一方のセンサは、カラーフィルタを含んでおらず、他方のセンサは、画素に付属するカラーフィルタのパターンを含み、さらに、画像センサに画像を提供するための光ビームスプリッタを有している。カラーセンサが、適用されるカラーフィルタのパターンを有しているので、カラーセンサ内の各画素は単一の色だけを提供する。このシステムを用いて画像がキャプチャされると、電子画像内の各点は、モノクローム値と１つのカラー値とを含み、カラー画像は、隣接カラーから補間された各画素位置に欠損カラーを有さなければならない。このシステムは単一のコンベンショナルな画像センサを凌ぐように感光性を改善しはするものの、システムの全体的な複雑さ、サイズ、およびコストは、２つのセンサとビームスプリッタの必要性のためにより大きいものになる。さらにビームスプリッタは、画像から各センサへ光を半分しか向けず、写真スピードの改善を制限する。

上述の線形画像センサに加えて、適用されるカラーフィルタを有していない画素を含む二次元画素アレイを有する画像センサが当業者に知られている。例えば、米国特許第４，３９０，８９５号明細書（Sato他）、同第５，３２３，２３３号明細書（Yamagami他）、および同第６，４７６，８６５号明細書（Gindele他）を参照されたい。引用した特許明細書のそれぞれにおいて、フィルタリングされていない画素またはモノクローム画素の感光性は、カラー画素よりも著しく高く、画素アレイからのカラー信号とモノクローム信号とを一致させるために、カラー画素にゲインを加えることを必要とする。ゲインが増大するのにつれて雑音および信号も増大し、結果としての画像の信号対雑音比全体を劣化させる。米国特許出願公開第２００３／０２１０３３２号明細書においてFrameは、画素のほとんどがフィルタリングされない画素アレイを開示しているが、しかしカラー画素は、上述のものと同じ感光性欠損を被る。

欧州特許第０１３８０７４号明細書においてNodaは、カラー画素およびパンクロマティック画素の両方を使用するビデオカメラ・システムについて記述している。具体的には、Nodaは、Ｗ、Ｙｅ、Ｃｙカラーフィルタ・アレイ・パターンおよびＷ、Ｙｅ、Ｃｙ、Ｇカラーフィルタ・アレイ・パターンを有する画像センサのための画像処理技術を開示している。ここで、Ｗ（パンクロマティック）、Ｙｅ（イエロー）、およびＣｙ（シアン）、およびＧ（グリーン）は、標準的な赤、緑、および青カラー画像を提供するために使用される。種々のタイプの画素の重み付けは、結果としての画像内のモアレ・パターンを最小にするように選ばれる。

米国特許第５，１７２，２２０号明細書においてBeisは、グレースケース（パンクロマティック）モードとカラーモード（カラー画素を使用）との間で切り換える監視カメラを開示している。この事例において、周囲照明レベルは、グローバル・スイッチとして使用され、周囲光レベルが低いときには、出力画像を生成するためにパンクロマティック画素を単純に選択する。

米国特許第６，２４６，８６５号明細書において、Leeは、パンクロマティック画素がクリッピングされた画像部分内の補間輝度信号を推定するためにカラー画素を使用して、カラー画素またはパンクロマティック画素単独でキャプチャする場合よりも高いダイナミック・レンジを有する画像を生成するように、パンクロマティック画素とカラー画素とを結合することを開示している。

多くの画像キャプチャ装置の場合、最大センサ解像度が、標準的なビデオ・フレーム・レートで読み取ることができる画素の数を上回り、ひいては、ビデオ・フレーム・レートに達するために、何らかの形のサブサンプリングを使用しなければならない。データを低減する１つの方法は、例えば米国特許第５，４９３，３３５号明細書に記載されているような、２×２画素ブロックに基づく１つのパターンを含む、生ＣＦＡデータを直接的にサンプリングすることである。データを低減する別の方法は、センサからＣＦＡデータを読み取る前に２つまたは３つ以上の画素からの信号をアナログ結合することである。

米国特許第６，３６６，３１８号明細書において、Smithは、より大型のＣＦＡカラー画素アレイから直接的にサブサンプリングされた不規則なアレイを使用して、規則的なＣＦＡカラー値アレイを生成することを開示している。

或る従来技術、例えば米国特許第６，２４６，８６５号明細書は、パンクロマティック画素がクリップされ、カラー画素が良好な信号対雑音比を有するときの、高輝度条件に対処する。或る従来技術、例えば米国特許第５，１７２，２２０号明細書は、極めて低い輝度条件に対処する。これらの条件下で、パンクロマティック画素は、使用し得る信号対雑音比を有し、カラー画素は、許容できない低い信号対雑音比を有する。広範囲の条件全体にわたって、改善された画質の低解像度画像を二次元センサから提供する画像キャプチャ・システムを提供することが依然として必要である。

従って、本発明の目的は、パンクロマティック画素とカラー画素とを有する画像キャプチャ装置によってキャプチャされた二次元画像を補正する改善された方法を提供することである。

この目的は、画像キャプチャ装置によってキャプチャされた画素アレイを処理する方法であって：
（ａ） 該画像キャプチャ装置からの第１の画素の二次元アレイを用意する工程、
該画素のいくつかはカラー画素であり、また画素のいくつかはパンクロマティック画素である；
（ｂ） 周囲照明条件に応じて、パンクロマティック画素がカラー画素と結合されるべきか否かを決定する工程；
（ｃ） 工程（ｂ）から決定された画素を結合することにより、前記第１の画素の二次元アレイよりも少ない画素を有する第２の画素の二次元アレイを生成する工程；そして
（ｄ） 工程（ｃ）で生成されたカラー画素を補正する工程
を含んで成る方法によって達成される。

本発明の利点は、広範囲の周囲照明レベル全体にわたって、パンクロマティック画素とカラー画素とを有する画像センサによってキャプチャされた画像の画質が改善されることである。

本発明のこのようなそしてその他の観点、目的、特徴、および利点は、下記好ましい態様の詳細な説明、および添付の特許請求の範囲を考察し、また添付の図面を参照することによって、より明らかに理解し正しく推定されることになる。

図１は、本発明による方法を採用するデジタルスチルカメラ・システムを示すブロック・ダイヤグラムである。 図２は、最小反復単位と非最小反復単位とを示すコンベンショナルな従来技術のBayerカラーフィルタ・アレイ・パターンである。 図３は、赤、緑、および青画素に対応する代表的なスペクトル量子効率曲線、ならびに、より広いスペクトルのパンクロマティック量子効率を、全て赤外線カットフィルタの透過特性で乗じて示す図である。 図４Ａは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図４Ｂは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図４Ｃは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図４Ｄは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図５は、図４Ａに示した最小反復単位のセル構造を示す図である。 図６Ａは、図４Ａに対応する補間パンクロマティック画像である。 図６Ｂは、図４Ａおよび図５に示したセルに対応する低解像度カラー画像を示す図である。 図７Ａは、図４Ａの画素を結合するいくつかの方法を示す図である。 図７Ｂは、図４Ａの画素を結合するいくつかの方法を示す図である。 図７Ｃは、図４Ａの画素を結合するいくつかの方法を示す図である。 図８Ａは、最小反復単位のいくつかのタイル張り配列および別の配向を含む、本発明のカラーフィルタ・アレイ・パターンのための６つの画素から成る最小反復単位を示す図である。 図８Ｂは、最小反復単位のいくつかのタイル張り配列および別の配向を含む、本発明のカラーフィルタ・アレイ・パターンのための６つの画素から成る最小反復単位を示す図である。 図８Ｃは、最小反復単位のいくつかのタイル張り配列および別の配向を含む、本発明のカラーフィルタ・アレイ・パターンのための６つの画素から成る最小反復単位を示す図である。 図８Ｄは、最小反復単位のいくつかのタイル張り配列および別の配向を含む、本発明のカラーフィルタ・アレイ・パターンのための６つの画素から成る最小反復単位を示す図である。 図８Ｅは、最小反復単位のいくつかのタイル張り配列および別の配向を含む、本発明のカラーフィルタ・アレイ・パターンのための６つの画素から成る最小反復単位を示す図である。 図９Ａは、図８の最小反復単位の変更形である本発明のカラーフィルタ・アレイ・パターンのためのいくつかの最小反復単位を示す図である。 図９Ｂは、図８の最小反復単位の変更形である本発明のカラーフィルタ・アレイ・パターンのためのいくつかの最小反復単位を示す図である。 図９Ｃは、図８の最小反復単位の変更形である本発明のカラーフィルタ・アレイ・パターンのためのいくつかの最小反復単位を示す図である。 図１０Ａは、タイル張り配列、および別のカラー光応答特性を有するカラー画素を含むバリエーション、例えば原色、補色、三色、および四色変更形を含む、本発明のカラーフィルタ・アレイ・パターンのための８つの画素から成る最小反復単位を示す図である。 図１０Ｂは、タイル張り配列、および別のカラー光応答特性を有するカラー画素を含むバリエーション、例えば原色、補色、三色、および四色変更形を含む、本発明のカラーフィルタ・アレイ・パターンのための８つの画素から成る最小反復単位を示す図である。 図１０Ｃは、タイル張り配列、および別のカラー光応答特性を有するカラー画素を含むバリエーション、例えば原色、補色、三色、および四色変更形を含む、本発明のカラーフィルタ・アレイ・パターンのための８つの画素から成る最小反復単位を示す図である。 図１０Ｄは、タイル張り配列、および別のカラー光応答特性を有するカラー画素を含むバリエーション、例えば原色、補色、三色、および四色変更形を含む、本発明のカラーフィルタ・アレイ・パターンのための８つの画素から成る最小反復単位を示す図である。 図１０Ｅは、タイル張り配列、および別のカラー光応答特性を有するカラー画素を含むバリエーション、例えば原色、補色、三色、および四色変更形を含む、本発明のカラーフィルタ・アレイ・パターンのための８つの画素から成る最小反復単位を示す図である。 図１０Ｆは、タイル張り配列、および別のカラー光応答特性を有するカラー画素を含むバリエーション、例えば原色、補色、三色、および四色変更形を含む、本発明のカラーフィルタ・アレイ・パターンのための８つの画素から成る最小反復単位を示す図である。 図１１Ａは、半数を上回る画素がパンクロマティック光応答を有する、本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１１Ｂは、半数を上回る画素がパンクロマティック光応答を有する、本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１２Ａは、４５度回転させた方形格子上に画素があり、またタイル張り配列を含む、本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１２Ｂは、４５度回転させた方形格子上に画素があり、またタイル張り配列を含む、本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１３Ａは、画素が六角形パターンを成して配列されており、またタイル張り配列を含む、本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１３Ｂは、画素が六角形パターンを成して配列されており、またタイル張り配列を含む、本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１４は、図１３の変更形である本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１５は、図１３の変更形である本発明のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１６は、図４の最小反復単位を、最小反復単位内の個々の画素に添字を付けた状態で示す図である。 図１７Ａは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｂは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｃは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｄは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｅは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１８は、本発明のセンサからのカラー画素およびパンクロマティック画素のデータを処理する方法を示す本発明のプロセス図である。 図１９Ａは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図１９Ｂは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図１９Ｃは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図１９Ｄは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図２０は、隣接する最小反復単位間の画素の結合を示す、図８Ａの最小反復単位の２つを表す図である。 図２１は、隣接する最小反復単位間、ならびに最小反復単位のセル内部の画素の結合を示す、本発明の別のカラーフィルタ・アレイのための２つの最小反復単位を表す図である。 図２２Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２２Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２２Ｃは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２３Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２３Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２３Ｃは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２４Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２４Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２４Ｃは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２５Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２５Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２５Ｃは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。

撮像装置、および信号キャプチャおよび補正のため、および露出制御のための関連回路を採用するデジタルカメラはよく知られているので、ここでの説明は、特に、本発明による方法および装置の部分を形成する要素、または本発明による方法および装置とより直接的に協働する要素に向けることにする。本明細書に具体的には図示または記載されていない要素は、当該技術分野の公知のものから選択される。説明しようとする態様の一定の構成はソフトウェアで提供される。下記材料において本発明に基づいて示され説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、記載または示唆されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。

ここで図１を参照すると、本発明を具体化するデジタルカメラとして示される画像キャプチャ装置のブロック・ダイヤグラムが示されている。以下にデジタルカメラについて説明するが、本発明は、他のタイプの画像キャプチャ装置に明らかに適用することができる。開示されるカメラの場合、被写体シーンからの光１０が撮像段１１に入力され、この撮像段において、光をレンズ１２によってフォーカシングすることにより、固体二次元画像センサ２０上に画像を形成する。画像センサ２０は入射光を、ピクチャ要素（画素）毎に電気信号に変換する。好ましい態様の画像センサ２０は、電荷結合素子（ＣＣＤ）タイプまたはアクティブ画素センサ（ＡＰＳ）タイプ（ＡＰＳ装置は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor)法で製作することができることからＣＭＯＳセンサとしばしば呼ばれる）である。二次元画素アレイを有する他のタイプの画像センサを、これらが本発明のパターンを採用するならば、使用することができる。本発明はまた、図１の説明後に本明細書において明らかになるように、カラー画素とパンクロマティック画素との二次元アレイを有する画像センサ２０を利用する。画像センサ２０と一緒に使用される本発明のカラー画素およびパンクロマティック画素の例は、図４Ａ〜Ｄ、図８Ａ、図８Ｅ、図９Ａ〜Ｃ、図１０Ａ、図１０Ｃ〜Ｆ、図１１Ａ〜Ｂ、図１２、および図１５で見ることができるが、他のパターンも本発明の思想の範囲内で使用される。

センサ２０に達する光量は、アパーチャを変化させるアイリス・ブロック１４、および光路内に挿入された１つまたは２つ以上のＮＤフィルタを含むニュートラル・デンシティ（ＮＤ）フィルタ・ブロック１３によって調節される。光レベル全体は、シャッタ１８が開いている時間によっても調節される。露出コントローラ・ブロック４０は、明るさセンサ・ブロック１６によって計測されたシーン内で利用可能な光量に応答し、これらの調節機能の３つ全てを制御する。

特定のカメラ形態に関するこのような説明は当業者にはよく知られており、多くの変更形および追加の特徴が存在することは明らかである。例えば、オートフォーカス・システムが追加され、或いはレンズは、取り外し可能且つ交換可能である。本発明が任意のタイプのデジタルカメラに適用されることは明らかである。この場合、同様の機能性が別の構成部品によって提供される。例えば、デジタルカメラは、より複雑な焦点面配列の代わりに、比較的シンプルな全自動デジタルカメラ（この場合、シャッタ１８は比較的シンプルな可動ブレード・シャッタである）などであってよい。本発明は、カメラ以外の装置、例えば携帯電話機および自動車内に含まれる撮像構成部品において実施することもできる。

画像センサ２０からのアナログ信号は、アナログ信号プロセッサ２２によって処理され、そしてアナログ・デジタル（Ａ／Ｄ）変換器２４に印加される。タイミング発生器２６は、種々のクロック信号を生成することにより、行および画素を選択し、そしてアナログ信号プロセッサ２２およびＡ／Ｄ変換器２４の動作を同期する。画像センサ段２８は、画像センサ２０、アナログ信号プロセッサ２２、Ａ／Ｄ変換器２４、およびタイミング発生器２６を含む。画像センサ段２８の構成部品は、別個に製作された集積回路であるか、或いはこれらは、ＣＭＯＳ画像センサとともに一般に製作されるように、単一集積回路として製作される。結果として生じる、Ａ／Ｄ変換器２４からのデジタル画素値流は、デジタル信号プロセッサ（ＤＳＰ）３６と連携するメモリ３２内に記憶される。

デジタル信号プロセッサ３６は、システム・コントローラ５０および露出コントローラ４０に加えられた、この態様では３つのプロセッサまたはコントローラのうちの１つである。複数のコントローラおよびプロセッサの中のカメラ機能コントロールのこのような分割は典型的であるが、これらのコントローラまたはプロセッサは、カメラの機能動作および本発明の用途に影響を及ぼすことなしに、種々の方法で組み合わされる。これらのコントローラおよびプロセッサは、１つまたは２つ以上のデジタル信号プロセッサ装置、マイクロコントローラ、プログラミング可能な論理装置、またはその他のデジタル論理回路を含むことができる。このようなコントローラまたはプロセッサの組み合わせについて説明してきたが、１つのコントローラまたはプロセッサが、所要の機能の全てを実施するように指定されてもよいことは明らかである。これらの変化形の全ては同じ機能を実施することができ、本発明の範囲に含まれ、そして「処理段」という用語は、例えば図１の処理段３８におけるように、１つの語句の中にこの機能性の全てを含むために必要に応じて使用されることになる。

図示の態様の場合、ＤＳＰ３６は、プログラム・メモリ５４内に永久記憶されて画像キャプチャリング中の実行のためにそのメモリ３２に複写されたソフトウェア・プログラムに従って、メモリ３２内のデジタル画像データを操作する。ＤＳＰ３６は、図１８に示された画像処理を実施するために必要なソフトウェアを実行する。メモリ３２は、任意のタイプのランダム・アクセス・メモリ、例えばＳＤＲＡＭを含む。アドレスおよびデータ信号のための経路を含むバス３０は、ＤＳＰ３６をその関連メモリ３２、Ａ／Ｄ変換器２４、およびその他の関連装置に接続する。

システム・コントローラ５０は、フラッシュＥＥＰＲＯＭまたはその他の不揮発性メモリを含むことができるプログラム・メモリ５４内に記憶されたソフトウェア・プログラムに基づいて、カメラの動作全体を制御する。このメモリは、画像センサ較正データ、ユーザー設定選択、およびカメラがオフにされたときに保存しなければならない他のデータを記憶するために使用することもできる。前記のようなレンズ１２、ＮＤフィルタ１３、アイリス１４、およびシャッタ１８を操作するように露出コントローラ４０を導き、画像センサ２０および関連要素を操作するようにタイミング発生器２６を導き、そしてキャプチャリングされた画像データを処理するようにＤＳＰ３６を導くことにより、システム・コントローラ５０は、画像キャプチャのシーケンスを制御する。画像がキャプチャリングされ処理された後、メモリ３２内に記憶された最終画像ファイルは、インターフェイス５７を介してホスト・コンピュータに転送され、取り外し可能なメモリカード６４またはその他の記憶装置上に記憶され、そして画像ディスプレイ８８上でユーザーのために表示される。

システム・コントローラ・バス５２は、アドレス、データ、および制御信号のための経路を含み、システム・コントローラ５０を、ＤＳＰ３６、プログラム・メモリ５４、システム・メモリ５６、ホスト・インターフェイス５７、メモリカード・インターフェイス６０、およびその他の関連装置に接続する。ホスト・インターフェイス５７は、表示、記憶、操作、または印刷のために画像データを転送する際の、パーソナル・コンピュータ（ＰＣ）またはその他のホスト・コンピュータへの高速接続を提供する。このインターフェイスはＩＥＥＥ１３９４またはＵＳＢ２．０シリアル・インターフェイスまたは任意のその他の好適なデジタル・インターフェイスである。メモリカード６４は典型的には、メモリカード・ソケット６２に挿入されメモリカード・インターフェイス６０を介してシステム・コントローラ５０に接続されたコンパクト・フラッシュ（ＣＦ）カードである。利用されるその他のタイプの記憶装置の一例としては、ＰＣカード、マルチメディア・カード（ＭＭＣ）、またはセキュア・デジタル（ＳＤ）カードが挙げられる。

処理済の画像は、システム・メモリ５６内の表示バッファに複写され、そしてビデオ信号を生成するために、ビデオ・エンコーダ８０を介して連続して読み取られる。この信号は、外部モニタ上で表示するためにカメラから直接的に出力されるか、または表示コントローラ８２によって処理され、そして画像表示８８上で提供される。この表示は典型的にはアクティブ・マトリックス・カラー液晶ディスプレイ（ＬＣＤ）であるが、その他のタイプのディスプレイも使用される。

ビューファインダ表示７０、露出表示７２、状態表示７６、画像表示８８、およびユーザー入力７４の全てまたは任意の組み合わせを含むユーザ・インターフェイス６８は、露出コントローラ４０およびシステム・コントローラ５０上で実行されるソフト・プログラムの組み合わせによって制御される。ユーザー入力７４は典型的には、ボタン、ロッカースイッチ、ジョイスティック、回転ダイアル、またはタッチスクリーンの何らかの組み合わせを含む。露出コントローラ４０は、光計測、露出モード、オートフォーカス、およびその他の露出機能を操作する。システム・コントローラ５０は、ディスプレイのうちの１つまたは２つ以上、例えば画像表示８８上に提供されるグラフィカル・ユーザ・インターフェイス（ＧＵＩ）を管理する。ＧＵＩは典型的には、種々のオプション選択肢を形成するためのメニュー、およびキャプチャリングされた画像を検査するためのレビューモードを含む。

露出コントローラ４０は、露出モード、レンズ口径、露出時間（シャッタ・スピード）、および露出指数またはＩＳＯスピード等級を選択するユーザー入力を受け入れ、これに応じて、続いてキャプチャを行うようにレンズおよびシャッタを導く。シーンの明るさを測定し、そしてＩＳＯスピード等級、レンズ口径、およびシャッタ・スピードを手動で設定するときにユーザーが参照するための露出計機能を提供するために、明るさセンサ１６が採用される。この場合、ユーザーが１つまたは２つ以上の設定を変えるのに伴って、ビューファインダ・ディスプレイ７０上に提供される露出計インジケータは、画像がどの程度露出過剰または露出不足となるかをユーザーに教える。自動露出モードでは、ユーザーは１つの設定を変え、そして露出コントローラ４０は正しい露出を維持するために、別の設定を自動的に変更する。例えば所与のＩＳＯスピード等級の場合、ユーザーがレンズ口径を低減すると、露出コントローラ４０は、同じ全体的な露出を維持するために自動的に露出時間を長くする。

ＩＳＯスピード等級は、デジタルスチルカメラの重要な属性である。露出時間、レンズ口径、レンズ透過率、シーン照明のレベルおよびスペクトル分布、およびシーン反射率は、デジタルスチルカメラの露出レベルを決定する。デジタルスチルカメラからの画像が不十分な露出を用いて得られる場合、電子ゲインまたはデジタルゲインを増大させることにより、適正なトーン再現を一般に維持することはできるが、しかし、画像は、許容できない量の雑音を含有することになる。露出が増大するのに伴って、ゲインは減少し、従って、画像ノイズを通常は許容し得るレベルまで低減することができる。露出が過度に増大すると、明るい画像領域内に結果として生じる信号は、画像センサまたはカメラ信号処理の最大信号レベル容量を超えるおそれがある。このことにより、画像ハイライトがクリッピングされることにより均一な明るい領域を形成することになるか、または画像ハイライトが周囲画像領域内にブルーミングを生じさせることがある。適切な露出を設定する上でユーザーを案内することが重要である。ＩＳＯスピード等級は、このようなガイドとして役立つように意図されている。撮影者が容易に理解するようにするために、デジタルスチルカメラのためのＩＳＯスピード等級は、写真フィルムカメラのためのＩＳＯスピード等級に直接に関連するべきである。例えば、デジタルスチルカメラのＩＳＯスピード等級がＩＳＯ ２００である場合、同じ露出時間およびアパーチャが、ＩＳＯ ２００等級のフィルム／プロセス・システムに適しているべきである。

ＩＳＯスピード等級は、フィルムＩＳＯスピード等級と調和するように意図されている。しかし、電子撮像システムとフィルム・ベースの撮像システムとの間には、正確な等価性を排除する差異がある。デジタルスチルカメラは、可変のゲインを含むことができ、そして画像データがキャプチャリングされた後で、デジタル処理を行うことができ、カメラ露出範囲全体にわたってトーン再現が達成されるのを可能にする。従って、デジタルスチルカメラにとっては、所定の範囲のスピード等級を有することが可能である。この範囲は、ＩＳＯスピード・ラチチュードとして定義される。混同を防止するために、単一の値が固有ＩＳＯスピード等級として指定されており、これとともにＩＳＯスピード・ラチチュードの上限および下限は、スピード範囲、すなわち、固有ＩＳＯスピード等級とは異なる有効スピード等級を含む範囲を示す。このことを念頭に置いて、固有ＩＳＯスピードは、特定のカメラ出力信号特性をもたらすためにデジタルスチルカメラの焦点面に提供された露出から計算された数値である。固有スピードは普通、通常のシーンに対して所与のカメラ・システムのピーク画質を生成する露出指数値であり、露出指数は、画像センサに提供される露出に対して反比例する数値である。

デジタルカメラの前記説明内容は当業者にはよく知られている。コストを軽減し、特徴を加え、またはカメラの性能を改善するために選択されるこの態様の多くの変更形が可能であることは明らかである。下記説明によって、本発明による画像をキャプチャするためのこのようなカメラの動作を詳細に開示する。この説明はデジタルカメラに関して行うが、カラー画素とパンクロマティック画素とを備えた画像センサを有する任意のタイプの画像キャプチャ装置とともに使用するために本発明が適用されることは言うまでもない。

図１において示された画像センサ２０は典型的には、シリコン基板上に製作された二次元感光性画素アレイを含む。これらの感光性画素は、各画素における入射光を、測定される電気信号に変換する方法を提供する。画像センサ２０が露光されるのに伴って、自由電子が発生し、そしてこれらは各画素における電子構造内部に捕捉される。所定の時間にわたってこれらの自由電子を捕捉し、次いで捕捉された電子の数を測定するか、または自由電子が発生する速度を測定することによって、各画素における光レベルを測定することができる。前者の事例の場合、電荷結合素子（ＣＣＤ）におけるように、蓄積電荷が画素アレイから電荷対電圧測定回路にシフトさせられるか、またはアクティブ画素センサ（ＡＰＳまたはＣＭＯＳセンサ）におけるように、各画素に近接した領域が電荷対電圧測定回路の要素を含有することができる。

以下の説明では画像センサに全般的に言及するときにはいつでも、言うまでもなくこれは図１の画像センサ２０を表す。さらに、本明細書中に開示された本発明の画像センサ・アーキテクチャおよび画素パターンの全ての例およびこれらの等価物が、画像センサ２０に対して使用されることも明らかである。

画像センサとの関連において、画素（pixel：“picture element”の短縮形）は、不連続な光感知領域、および光感知領域と連携する電荷シフト回路または電荷測定回路を意味する。デジタルカラー画像との関連において、画素という用語は一般に、関連カラー値を有する画像における特定位置を意味する。

カラー画像を生成するために、画像センサ内の画素アレイは典型的には、画素上に配置されたカラーフィルタ・アレイ・パターンを有する。図２は、一般に使用される赤、緑、または青カラーフィルタのパターンを示す。この特定のパターンは、米国特許第３，９７１，０６５号明細書に開示されているように、その発明者Bryce BayerにちなんでBayerカラーフィルタ・アレイ（ＣＦＡ）として一般に知られている。このパターンは、二次元カラー画素アレイを有する画像センサ内に効果的に使用される。結果として、各画素は特定のカラー光応答を有している。このカラー光応答は、この場合には赤、緑、または青の光に対して主要感光性を有する。別の有用な種々のカラー光応答は、マゼンタ、イエロー、またはシアンの光に対して主要感光性を有する。それぞれの事例において、特定のカラー光応答は、或る可視スペクトル部分に対しては感光性が高いのに対して、同時に他の可視スペクトル部分に対しては感光性が低い。カラー画素という用語は、カラー光応答を有する画素を意味するものとする。

センサ内で使用するために選択されるカラー光応答の組は、Ｂａｙｅｒ ＣＦＡに示されているように３色を有するが、しかし、この組は４色または５色以上を含むこともできる。本明細書中に使用されるように、パンクロマティック光応答は、選択されたカラー光応答の組内に示されるスペクトル感光性よりも広いスペクトル感光性を有する光応答を意味する。パンクロマティック感光性は、可視スペクトル全体にわたって高い感光性を有することができる。パンクロマティック画素という用語は、パンクロマティック光応答を有する画素を意味するものとする。パンクロマティック画素がカラー光応答の組よりも広いスペクトル感光性を有してはいるが、各パンクロマティック画素は、連携するフィルタを有することができる。このようなフィルタはＮＤフィルタまたはカラーフィルタである。

いくつかのカラー画素群を有する電子画像センサは、特定のスペクトル感光性の組、特定のトーンスケール（通常は線形）、およびこのセンサの構成から生じる信号対雑音特性を有するカラー画像をキャプチャする。センサからの生画像データは、観察するのに適した画像を提供するための種々の方法で補正しなければならない。本明細書中に用いるように、補正は、ホワイト・バランシング、センサ原色から所期出力原色への変換のためのカラー処理、トーンスケールおよびガンマ補正、そしてまた空間的処理、例えば補間、雑音低減および鮮鋭化を含む。

カラー画素およびパンクロマティック画素のパターンが画像センサ上にある場合、それぞれのこのようなパターンは、基本構成単位として作用する、隣接する画素サブアレイである反復単位を有している。複数部の反復単位を並置することにより、センサ・パターン全体が生成される。複数部の反復単位を並置することは、対角線方向、ならびに水平方向および鉛直方向で行われる。

最小反復単位は、これよりも少ない画素を有する他の反復単位がないような反復単位である。例えば、図２のＣＦＡは、図２の画素ブロック１００によって示されるような２画素×２画素の最小反復単位を含む。複数部のこの最小反復単位が、画像センサ内の画素アレイ全体を覆うようにタイル張りされる。最小反復単位は、右上コーナーに緑画素を有するように示されているが、しかし、太線を引いた部分を１画素分だけ右側へ、１画素分だけ下方へ、または１画素分だけ対角線方向に右下へ動かすことにより、３つの別の最小反復単位を容易に識別することができる。画素ブロック１０２が反復単位であるが、これは最小反復単位ではない。なぜならば、画素ブロック１００が反復単位であり、画素ブロック１００は、画素ブロック１０２よりも少ない画素を有しているからである。

図２のＣＦＡを有する二次元アレイを有する画像センサを使用してキャプチャされた画像は、各画素毎に唯１つのカラー値を有している。フルカラー画像を生成するために、各画素毎に欠損カラーを推測または補間する数多くの技術がある。これらのＣＦＡ補間技術が当業者によく知られており、米国特許第５，５０６，６１９号、同第５，６２９，７３４号、および同第５，６５２，６２１号の各明細書を参照されたい。

図３は、典型的なカメラ用途における、赤、緑、および青カラーフィルタを有する画素の相対スペクトル感光性を示している。図３のＸ軸は、光波長をナノメートルで表し、Ｙ軸は効率を表す。図３において、曲線１１０は、赤外線および紫外線が画像センサに達するのをブロックするのに使用される典型的なフィルタのスペクトル透過特性を表す。このようなフィルタが必要とされるのは、画像センサのために使用されるカラーフィルタが典型的には赤外線をブロックしないからであり、従って画素は、赤外線と、連携するカラーフィルタの通過帯域内にある光とを区別することはできない。曲線１１０によって示された赤外線ブロック特性は、赤外線が可視線信号を破損するのを防止する。赤、緑、および青フィルタが適用される典型的なシリコンセンサの場合、スペクトル量子効率、すなわち、キャプチャされ測定可能な電気信号に変換された入射光子の比率を、曲線１１０によって表される赤外線ブロックフィルタのスペクトル透過特性で乗じることにより、赤の曲線１１４、緑の曲線１１６、および青の曲線１１８によって表される組み合わせシステム量子効率を生成する。これらの曲線から判るように、各カラー光応答が可視スペクトルの一部だけに対して感光性である。これに対して、カラーフィルタが適用されない（ただし赤外線ブロックフィルタ特性を含む）同じシリコンセンサの光応答が、曲線１１２によって示されている。これはパンクロマティック光応答の一例である。カラー光応答曲線１１４，１１６および１１８とパンクロマティック光応答曲線１１２とを比較することにより、パンクロマティック光応答が、カラー光応答のいずれよりも、広帯域スペクトル光に対して３〜４倍高い感光性を有することが明らかである。

図３に示されたより高いパンクロマティック感光性は、カラーフィルタを含む画素とカラーフィルタを含まない画素とを混合することにより、画像センサの感光性全体を改善するのを可能にする。しかしながら、カラーフィルタ画素は、パンクロマティック画素よりも著しく低い感光性を有することになる。このような状況において、シーンからの光強度範囲がパンクロマティック画素の全測定範囲に及ぶように適正にパンクロマティック画素を光に当てると、カラー画素は著しく露出不足になる。従って、カラーフィルタ画素の感光性を、これらがパンクロマティック画素と概ね同じ感光性を有するように調節することが有利である。カラー画素の感光性は、例えばカラー画素のサイズをパンクロマティック画素に対して増大させることにより、カラー画素の感光性が高められ、これに伴って空間画素が関連して低減される。

図４Ａは、２つの群を有する二次元画素アレイを示している。第１画素群の画素は、第２画素群の画素よりも狭いスペクトル光応答を有する。第１画素群は、少なくとも２つのカラーフィルタに対応する少なくとも２つの異なるスペクトル光応答に関連する個々の画素を含む。これらの２つの画素群は、センサの感光性全体を改善するために混合される。本明細書中で明らかになってくるように、第１画素群および第２画素群の配置は、少なくとも１２個の画素を含む最小反復単位を有するパターンを画定する。最小反復単位は、異なる照明条件下でキャプチャされたカラー画像の再現を可能にするように配列された第１画素群および第２画素群を含む。

図４Ａに示された完全なパターンは、画素アレイ全体をカバーするようにタイル張りされた最小反復ユニットを示している。図２と同様に、カラー画素およびパンクロマティック画素のこのような配列全体を記述するために使用される最小反復単位は他にもいくつかあるが、しかしこれらは全て特徴が事実上同等であり、またそれぞれは画素サブアレイであり、このサブアレイの大きさは８画素×８画素である。このパターンの重要な特徴は、パンクロマティック画素行とカラー画素行とが交互に成っており、この場合、カラー行の画素が、一緒のグループに入れられた同じカラー光応答を有していることである。同じ光応答を有する画素群は、隣接するパンクロマティック画素のうちのいくつかと一緒に、最小反復単位を構成する４つのセルを形成すると考えられ、セルは、最小反復単位よりも少ない画素を有する、隣接する画素サブアレイである。

図４Ａでは太線で描き、そして図５ではセル１２０，１２２，１２４および１２６として示すこれらの４つのセルは、それぞれ４つの４×４画素群を取り囲んでおり、符号１２０は左上セルを、符号１２２は右上セルを、符号１２４は左下セルを、そして符号１２６は右下セルを示している。４つのセルのそれぞれは、８つのパンクロマティック画素と、同じカラー光応答の８つのカラー画素とを含んでいる。セル内のカラー画素を結合することにより、そのセル全体のカラーを表す。従って、図５のセル１２０は緑セルであると考えられ、セル１２２は赤セルである、というように考えられる。各セルは同じカラーの少なくとも２つの画素を含み、これにより、同じカラーの画素を結合して、カラー画素とパンクロマティック画素との間の感光性の差を克服することが可能になる。

それぞれのセルが同色の２つのカラー画素と２つのパンクロマティック画素とを含む、４つの非オーバラップ・セルを有する最小反復単位の場合、最小反復単位が１６個の画素を含むことは明らかである。それぞれのセルが同色の２つのカラー画素と２つのパンクロマティック画素とを含む、３つの非オーバラップ・セルを有する最小反復単位の場合、最小反復単位が１２個の画素を含むことは明らかである。

本発明によれば、図４の最小反復単位は、図５に特定したセル構造に照らして考えると、種々異なる照明条件でキャプチャされたカラー画像の再現を可能にするように配列された、高解像度パンクロマティック画像と低解像度Ｂａｙｅｒパターン・カラー画像との組み合わせを示すことができる。Ｂａｙｅｒパターン画像の個々の要素は、対応セル内のカラー画素の組み合わせを示す。第１画素群は、低解像度カラーフィルタ・アレイ画像を画定し、そして第２画素群は、高解像度パンクロマティック画像を画定する。図６Ａおよび図６Ｂを参照されたい。図６Ａは、図４Ａに対応する高解像度パンクロマティック画像を表し、図４Ａのパンクロマティック画素Ｐ、ならびに補間されたパンクロマティック画素Ｐ’の両方を含んでおり、図６Ｂは、低解像度Ｂａｙｅｒパターン・カラー画像を示し、Ｒ’、Ｇ’、およびＢ’は、図５に示されたセルのそれぞれに対応して、セル内の結合カラー画素と連携するセル・カラーを表す。

下記論議において、図４Ｂ〜Ｄにおける全てのセルは、図４Ａと同様に太線によって示される。

図４Ａの別の最小反復単位に加えて、パターンの各セルを９０度回転させることにより、図４Ｂに示されているパターンを生成する。これは実質的に同じパターンではあるが、水平方向の代わりに鉛直方向に最高パンクロマティック・サンプリング周波数を配置している。図４Ａを使用するか図４Ｂを使用するかの選択は、より高いパンクロマティック空間サンプリングをそれぞれ水平方向または鉛直方向に有することが望まれるか否かに応じて行われる。しかしながら、両パターン内の最小反復単位を構成する、結果として生じるセルが、両パターンに対して同じ低解像度カラー画像を生成することは明らかである。従って図４Ａおよび図４Ｂは、色の観点からは等価である。一般に、図４Ａおよび図４Ｂは、パンクロマティック画素が行または列において線形に配列された状態で、本発明を実施する例である。さらに、図４Ａは、単独のパンクロマティック画素行を有していて、それぞれの行がカラー画素行によって隣接パンクロマティック画素行から分離されており、図４Ｂは、列方向に同じ特性を有している。

図４Ｃは、図４Ａとはさらに別の最小反復単位であって、図４Ａと事実上同じセル・カラー特性を有するものを示している。しかし図４Ｃは、セル毎に互い違いに配置されたパンクロマティック行とカラー行とを示す。これは、鉛直方向のパンクロマティック解像度を改善することができる。図４Ａとはさらに別の最小反復単位が図４Ｄに示されており、ここでは、パンクロマティック行とカラー行とは列の対を単位として互い違いに配置されている。これも、鉛直方向のパンクロマティック分解法を改善することができる。図４Ａ〜Ｄの最小反復単位の全ての特徴は、２つまたは３つ以上の同じカラー画素から成る群が、行または列を成して並置されていることである。

図４Ａ〜Ｄは全て、低解像度Ｂａｙｅｒパターンを表す最小反復単位を構成するセルを有する同じカラー構造を有している。これにより明らかなように、パンクロマティック画素と、グループ化されたカラー画素との種々の配列が、本発明の思想の範囲内で構成される。

パンクロマティック感光性とカラー感光性との間の差異を克服するようにカラー感光性を高めるために、各セル内部のカラー画素は種々の方法で結合される。例えば、同色画素からの電荷が、ＣＣＤ画像センサ内、またはビニングを可能にするタイプのアクティブ画素センサ内で結合またはビニングされる。或いは、同色画素内の測定電荷量に対応する電圧が、例えばこれらの電圧まで荷電されたキャパシタを並列接続することにより平均される。さらに別のアプローチでは、同色画素における光レベルのデジタル表示が合計または平均される。２つの画素からの電荷を結合またはビニングは信号レベルを２倍にするのに対して、結合された信号をサンプリングして読み取ることに伴う雑音は同じままであり、これにより、信号対雑音比を２倍だけ増大させ、これに相応して、結合画素の感光性を２倍だけ増大させる。２つの画素からの光レベルのデジタル表示を合計する場合、結果として生じる信号は２倍だけ増大するが、しかし、２つの画素を読み出すことから生じる対応雑音レベルは二乗的に組み合わされ、これにより雑音を２の平方根だけ増大させる。結合画素の結果として生じた信号対雑音比はこれにより、未結合信号を２の平方根だけ上回る。同様の分析が電圧またはデジタル平均にも当てはまる。

本発明の説明に際して、用語「結合」とは、複数の画素からの信号を使用して１つの出力画素を生成するための任意のメカニズムを意味する。例えば、両画素はセンサから読み取ることができ、そして信号レベルのデジタル表示は、デジタルで合計または平均される。別の例は、ビニングを可能にするＣＣＤ画像センサ内でビニングを用いることである。ビニングは、電荷を電圧に変化する前に、複数の画素から電荷を結合して１つの電荷パケットにする、ＣＣＤ画像センサに特有の技術である。第３の例において、測定電荷量に対応する電荷は、例えばこれらの電圧まで荷電されたキャパシタを並列接続することにより平均される。

セル内部の同色画素からの信号を結合するための前述のアプローチは、単独または組み合わせで用いられる。例えば、図４Ａの同色画素２つ一組からの電荷を鉛直方向に結合することにより、図７Ａに示す結合信号Ｒ’、Ｇ’およびＢ’を有する結合画素が生成される。この事例において、各Ｒ’、Ｇ’およびＢ’は、未結合画素の２倍の感光性を有する。或いは、図４Ａの同色画素４つ一組からの測定値（電圧またはデジタル）を水平方向に結合することにより、図７Ｂに示す結合信号Ｒ’、Ｇ’およびＢ’を有する結合画素が生成される。この事例において、信号は４倍だけ増大するが、しかし雑音は２倍だけ増大するので、各Ｒ’、Ｇ’およびＢ’は、未結合画素の２倍の感光性を有する。別の結合スキームにおいて、図７Ａにおけるように同色画素２つ一組からの電荷を鉛直方向に結合し、そして図７Ａの結合画素４つ一組の測定値を水平方向に合計または平均することにより、図７Ｃの最終結合カラー画素を生成する。この場合、Ｒ”、Ｇ”、およびＢ”は、同色画素の最終的な結合を表す。この結合配列において、図７Ｃの最終結合カラー画素はそれぞれ、未結合画素の４倍の感光性を有する。いくつかのセンサ・アーキテクチャ、特に或る種のＣＣＤ装置が、各セル内部の８つ全ての同色画素からの電荷が図７Ｃのように結合されるのを可能にし、結合カラー画素の感光性を８倍だけ増大させることになる。

上記のことから明らかになるように、カラー画素の感光性を調節する目的でカラー画素を結合する際に、いくつかの自由度がある。よく知られた結合スキームはそれ自体当業者に明らかであり、シーンの内容、シーンの光源、光レベル全体、または他の基準に基づいている。さらに、結合スキームは、結合画素がパンクロマティック画素よりも低いまたは高い感光性を有するのを意図的に可能にするように選択される。

ここまで、赤および青の画素毎に２つの緑画素があるように赤、緑、および青フィルタを採用するものとして、画像センサを説明してきた。本発明はまた、図８Ａに示されているような等しい比率の赤、緑、および青フィルタで実施される。図８Ａの最小反復単位は、いくつかの種々異なる方法でセンサ・アレイをタイル張りするために使用することができ、これらの方法のいくつかが、図８Ｂ〜Ｄに示されている。言うまでもなく、これらのパターンの幾何学的に類似の変更形、例えば図８Ａの最小反復単位を使用することができる。図８Ｅは、図８Ａの最小反復単位の回転させた形を示している。

本発明はまた、４つ以上のカラー光応答を有する画素と一緒に利用することができる。図９Ａは、パンクロマティック画素に加えて４つの色を使用する、図８Ａの最小反復の変更形を示す。図９Ｂ〜Ｃは、これらのパターンの両方の追加の変更形を示しており、ここでは、単一行のパンクロマティック画素の代わりに二重行のパンクロマティック画素が配置されている。これらのパターンの全ては、同じカラーの複数の画素を有していない。このような事実、およびこのようなパターンを使用する好ましい方法は後で論じる。

１つの赤画素、２つの緑画素、および１つの青画素を含有する別の最小反復単位が、図１０Ａに示されている。このパターンを使用するタイル張りの一例が、図１０Ｂに示されている。

シアン、マゼンタ、イエローのセンサを採用する画像センサが当業者に知られており、本発明はシアン、マゼンタ、およびイエローのカラーフィルタを用いて実施される。図１０Ｃは、図１０Ａのシアン、マゼンタ、およびイエロー等価物を示し、この場合、Ｃはシアン画素、Ｍはマゼンタ画素、そしてＹはイエロー画素を表す。

図１０Ｄは、シアン画素（Ｃで示される）、マゼンタ画素（Ｍで示される）、イエロー画素（Ｙで示される）、緑画素（Ｇで示される）を含む、本発明の最小反復単位を示す。図１０Ｅは、赤画素（Ｒで示される）、青画素（Ｂで示される）、１つのカラー光応答を有する緑画素（Ｇで示される）、および、別のカラー光応答を有する別の緑画素（Ｅで示される）を含むさらに別の四色配列を示している。図１０Ｆは、さらに別の四色配列を示しており、ここでは、図１０Ａの緑セルのうちの１つの代わりにはイエローセルが使用されており、イエロー画素はＹによって表される。

図１１Ａは、図１０Ａのパターンの変更形を示しており、ここでは各行のパンクロマティック画素の代わりに二重行のパンクロマティック画素が使用される。図１１Ｂに示されている追加の例は、図１０Ｅのパターンに適用されたものと同じ変更形である。

本発明は、方形アレイ以外の画素アレイを用いても実施される。図１２Ａは、図８Ａのパターンの変更形を示しており、ここでは画素は八角形であり、対角線方向の行上に配列されている。画素の幾何形状は八角形なので、水平方向および鉛直方向の隣接部分間には、小さな正方形の空間が位置しており、これらの空間は所要のセンサ機能、例えばデータ転送回路のために使用することができる。図１２Ｂは、図１２Ａの最小反復単位を使用するタイル張りパターンの一例を示す。図１２Ｂでは、パンクロマティック画素は、事実上対角線方向の行を成すように現れる。同様にカラー画素も、対角線方向に配向された行を成すように現れる。

図１３Ａは、図８Ａのパターンの別の変更形を示しており、ここでは画素は六角形であり鉛直方向に配列されている。図１３Ｂは、図１３Ａの最小反復単位を使用するタイル張りパターンの一例を示す。図１３Ｂでは、パンクロマティック画素は列を成すように現れる。同様にカラー画素も列を成すように現れる。

図１４は、カラー画素よりも少ないパンクロマティック画素を使用する別の最小反復単位を示しており、ここでは、画素は六角形状に充填されており、パンクロマティック画素は、事実上対角線方向の行を成すように現れる。また図１４では、カラー画素も、対角線方向に配向された行を成すように現れる。図１５は、図１３Ａのパターンの別の変更形を示している。本発明の範囲内で、画素の行および列は、図１２Ａ〜１５に示されているように、必ずしも互いに直角でなくてもよいことに留意すべきである。

ここで図１６に目を転じると、図５の最小反復単位が４つのセルにさらに分割された状態で示されており、セルは、最小反復単位よりも少ない画素を有する、隣接する画素サブアレイである。下記処理を提供するために必要となるソフトウェアは、図１のＤＳＰ３６に含まれている。セル２２０、２２４、２２６、および２２８は、セルの一例であり、これらのセルは、それぞれ緑、赤、青、および緑の光応答を有する画素を含有する。このような例において、セル２２０は、パンクロマティック画素と緑画素とを含有し、緑画素は、画素群２２２として識別される。最終的な目標は、画素群２２２内の緑画素からの８つの緑信号を結合することにより、セル２２０に対する単一の緑信号を生成することである。画像センサの動作様式に応じて、８つ全ての信号のアナログ領域を結合する（例えば電荷ビニングによる）ことにより、単一の緑信号が生成されるか、或いは、画素群２２２から取られたより小さな画素群を結合することにより、複数の緑信号が生成される。セル２２０のパンクロマティック画素が図１７Ａに示されている。下記例において、これらのパンクロマティック画素からの８つ全ての信号が、個々にデジタル化される。セル２２０の緑画素が、図１７Ｂ〜１７Ｅに示されており、これらの画素は、それらの信号がアナログ領域でどのように結合されるかに応じて、一緒のグループに入れられる。図１７Ｂは、８つ全ての緑画素を結合することによりセル２２０（図１６）に対して単一の緑信号を生成する事例を示している。センサは、例えば図１７Ｃに示されているように、先ず画素Ｇ２１，Ｇ２２，Ｇ２３，およびＧ２４からの信号を結合し、次いで画素Ｇ４１，Ｇ４２，Ｇ４３，およびＧ４４からの信号を結合することにより、２つの緑信号を生成することができる。２つの信号は他の方法でも生成される。センサは、図１７Ｄに示されているように、先ず画素Ｇ２１，Ｇ２２，Ｇ４１，およびＧ４２からの信号を結合し、次いで画素Ｇ２３，Ｇ２４，Ｇ４３，およびＧ４４からの信号を結合することができる。センサは、４対の信号を結合することより、例えば図１７Ｅに示されているように、先ず画素Ｇ２１とＧ２２とを結合し、次いでＧ２３とＧ２４とを結合し、次いで画素Ｇ４１とＧ４２とを結合し、そして最後にＧ４３とＧ４４とを結合することにより、セル２２０に対して４つの緑信号を生成することもできる。セル２２０（図１６）内部の緑信号対を結合する数多くの更なる方法があることが明らかである。センサが全く結合を行わない場合には、８つ全ての信号がセル２２０に対して個別に報告される。こうして、セル２２０の場合、センサは、セル２２０に対して１つ、２つ、４つ、または８つの緑値を生成することができ、そして、その動作様式に応じて種々異なる方法で、これらの値を生成することができる。

セル２２４，２２６および２２８（図１６）に対しても、同様のカラー信号が、センサによってその動作様式に応じて生成される。セル２２４，２２６および２２８に対するカラー信号はそれぞれ、赤、青、および緑である。

セル２２０の事例に戻ると、いくつの信号がこのセルに対してデジタル化されるかには無関係に、本発明の画像処理アルゴリズムはさらに、デジタル化緑値を結合することにより、セルに対して単一の緑値を生成する。単一の緑値が得られる１つの方法は、セル２２０に対して生成される全てのデジタル化緑値を平均することである。セルが、異なる光応答のカラー画素を含有する場合には、セル内部に表される各カラー光応答に対して単一の値があるように、セル内部のカラーデータ全てが同様に結合される。

生画像データをキャプチャした元のセンサ内の画素に関するカラー画素と、元のセンサ内部のセルに関するカラー画素とを区別することが重要である。カラー画像を生成するために両タイプのカラー値が使用されるが、しかし、その結果生じるカラー画像は、異なる解像度を有している。元のセンサ内の画素と連携する画素値を有する画像を、高解像度画像と呼び、そして、元のセンサ内のセルと連携する画素値を有する画素を、低解像度画像と呼ぶ。

ここで図１８に目を転じると、データバス３０（図１）からのキャプチャされた生画像データを受信するデジタル信号プロセッサ・ブロック３６（図１）が示される。生画像データは、低解像度部分カラーブロック２０２および高解像度パンクローム・ブロック２０４の両方に渡される。画像センサの最小反復単位の一例が既に図５および図１６に示されている。セル２２０（図１６）の場合、キャプチャされた生画像データは、図１７Ａに示されているような個々のパンクロマティック画素によって生成されたパンクロマティック・データを含む。また、セル２２０（図１６）に対して、例えば図１７Ｂ〜Ｅに示されている結合からの、１つまたは２つ以上の緑（カラー）値も含まれる。

低解像度部分カラーブロック２０２（図１８）において、キャプチャされた生画像データから部分カラー画像が生成される。部分カラー画像は、各画素が少なくとも１つのカラー値を有しており、そして各画素がまた少なくとも１つのカラー値において欠損している、カラー画像である。画像センサの動作様式に応じて、キャプチャされた生画像データは、各セル内部のカラー画素によって生成されるいくつかのカラー値を含有している。低解像度部分カラーブロック２０２内部には、これらのカラー値は、セル内部で表される各カラーに対して単一の値に低減される。セル２２０（図１６）に対して、一例として、単一の緑カラー値が生成される。同様に、セル２２４，２２６および２２８に対しても、単一の赤、青、および緑カラー値がそれぞれ生成される。

低解像度部分カラーブロック２０２は各セルを同様に処理し、その結果、各セルに対して１つのカラー値アレイをもたらす。結果として生じた画像アレイは元のセンサ内の画素ではなく、セルに基づいているので、この画像アレイは各寸法が、元のキャプチャされた生画像データ・アレイの４分の１である。結果として生じたアレイがセルに基づいており、また各画素が全てのカラー値を有しているのではなくいくつかのカラー値を有しているので、結果として生じた画像は低解像度部分カラー画像である。この時点で、低解像度部分カラー画像はカラー・バランシングされる。

ここで高解像度パンクローム・ブロック２０４を見ると、同じ生画像データが図１６に示されているように使用される。但しパンクロマティック値だけが使用されることになる（図１７Ａ）。この時のタスクは、パンクロマティック値をまだ有していない画素においてパンクロマティック値を推定することにより、完全の高解像度パンクロマティック画像を補間することである。セル２２０（図１６）の場合、パンクロマティック値は、画素群２２２内の緑画素（図１６）に対して推定しなければならない。欠損パンクロマティック値を推定する１つのシンプルな方法は、鉛直方向に平均することである。このように例えば、我々は、画素２２におけるパンクロマティック値を下記のように推定することができる：

適応的方法を用いることもできる。例えば１つの適応的方法は、３つの勾配値を計算し、そしてこれらの絶対値：

を、図１７Ａに示すようなパンクロマティック値を使用して求めることである。同様に３つの予測子を計算する。

最小分類子値に対応する予測子に等しいＰ２２を設定する。同値の場合には、指示された予測子の平均に等しいＰ２２を設定する。パンクロマティック補間は、セル境界とは関係なしに、画像全体を通して続けられる。高解像度パンクローム・ブロック２０４の処理が行われるときには、その結果生じるデジタル・パンクロマティック画像は、元のキャプチャされた生画像と同じサイズであり、このことは、デジタル・パンクロマティック画像を高解像度パンクロマティック画像にする。

低解像度パンクローム・ブロック２０６は、高解像度パンクローム・ブロック２０４によって生成された高解像度パンクロマティック画像アレイを受信し、低解像度部分カラーブロック２０２によって生成された低解像度部分カラー画像と同じサイズである低解像度パンクロマティック画像アレイを生成する。所与のセル内部で、カラーフィルタを有する画素に対して、推定されたパンクロマティック値を平均することにより、各低解像度パンクロマティック値が得られる。セル２２０（図１６）の場合、画素群２２２（図１６）における緑画素に関して前に推定された高解像度パンクロマティック値をここで一緒に平均することにより、そのセルに対して単一の低解像度パンクロマティック値を生成する。同様に、赤フィルタを有する画素において推定された高解像度パンクロマティック値を使用して、セル２２４に対して単一の低解像度パンクロマティック値が計算される。このように、各セルは最終的には、単一の低解像度パンクロマティック値になる。

低解像度色差ブロック２０８は、低解像度部分カラーブロック２０２から低解像度部分カラー画像を、そして低解像度パンクローム・ブロック２０６から低解像度パンクロマティック・アレイを受信する。次いで、低解像度パンクロマティック画像からのガイダンスによって低解像度部分カラー画像をカラー補間することにより、低解像度中間カラー画像を形成する。後で詳述する色補間アルゴリズムの正確な性質は、元の生画像データをキャプチャするために画素光応答のどのパターンを使用したかに依存する。

低解像度中間カラー画像が形成された後、これをカラー補正する。低解像度中間カラー画像がカラー補正されたら、低解像度パンクロマティック画像を、低解像度カラー平面のそれぞれから個別に差し引くことにより、色差の低解像度画像を計算する。高解像度色差ブロック２１０は、低解像度色差ブロック２８から低解像度色差画像を受信し、そして双線形補間を用いて低解像度色差画像をアップサンプリングすることにより、元の生画像データのサイズと一致させる。この結果得られるのが、高解像度パンクローム・ブロック２０４によって生成される高解像度パンクロマティック画像と同じサイズの高解像度色差画像である。

高解像度最終画像ブロック２１２は、高解像度色差ブロック２１０から高解像度色差画像を、そして高解像度パンクローム・ブロック２０４から高解像度パンクロマティック画像を受信する。次いで、高解像度パンクロマティック画像を高解像度色差平面のそれぞれに加えることにより、高解像度最終カラー画像を形成する。結果として生じた高解像度最終カラー画像を次いでさらに処理することができる。例えばこれをＤＳＰメモリーブロック３２（図１）内に記憶し、次いで鮮鋭化し、そしてメモリーカード・ブロック６４（図１）に記憶するために圧縮する。

図４Ａ〜Ｄに示されたセンサ・フィルタ・パターンは、低解像度部分カラーブロック２０２で生成された、結果としての低解像度部分カラー画像が、カラーフィルタのための反復Ｂａｙｅｒパターンを示すように、最小反復単位を有している：

低解像度部分カラー画像によって与えられる単一カラー値に加えて、いかなるセルも低解像度パンクロマティック画像によって提供されたパンクロマティック値を有している。

Ｂａｙｅｒパターンが低解像度部分カラー画像内に存在する事例を考えて、低解像度色差ブロック２０８（図１８）内のカラー補間のタスクについて、さらに詳細にここで説明する。カラー補間は、図１９Ａにおける画素２３４として示されているような、緑値をまだ有していない画素における緑値を補間することで始まる。画素２３０，２３２，２３６および２３８のような４つの隣接画素は全て緑値を有している。中心画素２３４は、パンクロマティック値を有しているが、しかしクエスチョンマークによって示されているように、緑値を有してはいない。

第１工程は、２つの分類子値、すなわち水平方向に関する第１の分類子値と、鉛直方向に関する第２の分類子値とを計算することである：

次いで、２つの予測子値、すなわち水平方向に関する第１の予測子値と、鉛直方向に関する第２の予測子値とを計算する：

最後に、ＴＨＲＥＳＨを経験的に決定された閾値として、我々は：

に従って、欠損値Ｇ３を適応的に計算することができる。

このように、両分類子が閾値よりも小さい場合には、両予測子値の平均をＧ３に対して計算する。そうでない場合には、どの分類子ＨＣＬＡＳまたはＶＣＬＡＳがより小さいかに応じて、ＨＰＲＥＤまたはＶＰＲＥＤを使用する。

欠損緑値全てが推定されたら、欠損赤値および欠損青値を補間する。図１９Ｂに示すように、画素２４２は赤値を欠損しているが、しかし２つの水平方向隣接画素、すなわち画素２４０および２４４は、それぞれ赤値Ｒ２およびＲ４を有している。３つ全ての画素は緑値を有している。これらの条件下で、画素２４２に対応する赤値（Ｒ３）に関する推定値を下記のように計算する：

欠損青値が、同様の条件下で同様に計算される。この時点では、欠損赤値および欠損青値をいまだに有する画素だけが、鉛直方向補間を必要とする。図１９Ｃに示されているように、画素２５２は赤値を欠損しているが、しかし２つの鉛直方向隣接画素、すなわち画素２５０および２５４は、それぞれ赤値Ｒ１およびＲ５を有している。これらの条件下で、画素２５２に対応する赤値（Ｒ３）に関する推定値を下記のように計算する：

欠損青値が、同様の条件下で同様に計算される。これにより、低解像度部分カラー画像の補間が完成し、結果として低解像度中間カラー画像が得られる。前述のように、低解像度パンクロマティック画像を、各カラー平面、すなわち今論じている例における赤、緑、および青の平面から差し引くことにより、低解像度色差を今や計算することができる。

図２０に目を転じると、図８Ａの４部の最小反復単位を使用したセンサの部分タイル張りが示されている。４つの隣接する最小反復単位３１０，３１２，３１４および３１６はそれぞれ、赤、緑、および青画素を含有している。同じ最小反復単位内部の同色画素に限定して画素の結合を上で論じたが、本発明は、近隣の最小反復単位からの画素を結合することによって実施することもできる。図２０に示されているように、赤画素Ｒ２１およびＲ４１は、鉛直方向に結合された画素対３１８を構成する。同様に、緑画素Ｇ４２およびＧ４５も、水平方向に結合された画素対３２０を構成する。図２０に使用されている図８Ａのパターンのように、最小反復が比較的小さいときには、隣接最小反復単位からの同色画素を結合することが有用である。画素の結合プロセスに関しては上述した通りであり、このプロセスは図２０および図２１に示された画像センサ上に用いることができる。

ここで図２１に目を転じると、１６個の画素を有する最小反復単位が２部示されている。上側最小反復単位３３０は２つのセル３３２および３３４に小さく分割されている。セル３３２は、４つのパンクロマティック画素Ｐ１１，Ｐ１２，Ｐ１３およびＰ１４から成る水平方向の行、２つの青画素Ｂ２１およびＢ２３、ならびに２つの緑画素Ｇ２２およびＧ２４を含有する。セル３３４は、４つのパンクロマティック画素Ｐ１５，Ｐ１６，Ｐ１７およびＰ１８から成る水平方向の行、２つの赤画素Ｂ２５およびＢ２７、ならびに２つの緑画素Ｇ２６およびＧ２８を含有する。下側最小反復単位３３６は２つのセル３３８および３４０に小さく分割されている。これらのセル３３８および３４０は、それぞれセル３３２および３３４と同じ画素パターンを含有している。図２１に示されているように、青画素Ｂ２１およびＢ４１は、隣接最小反復単位３３２および３３６から取られて鉛直方向で結合された画素対３４２を構成している。同様に、緑画素Ｇ４２およびＧ４４も、同じ最小反復単位３３６から取られて水平方向で結合された画素対３４４を構成している。

画素対の結合は有用であるが、本発明は、単一最小反復単位内部、および複数の隣接最小反復単位間の双方における任意の数の画素を結合することを含む。図２１に示されているように、緑画素Ｇ２６，Ｇ２８，Ｇ４６およびＧ４８は、４つ１組の画素３４６を構成し、これらの画素の全ては結合することにより単一のカラー値を生成する。この４つ１組の結合は同時に、画素を水平方向および鉛直方向に結合すること、ならびに単一の最小反復単位内部からの複数の画素、および複数の隣接最小反復単位から取られた画素を結合することを含む。

例の全ては、同色画素が結合されることを示しているが、しかし、写真スピードが２倍のパンクロマティック値を生成するために、パンクロマティック画素を結合することもできる。加えて、極端に低光量の条件下でカラー情報を提供するために、カラー画素をパンクロマティック画素と結合することもできる。このような結合のためのパターンは、既に示した例と極めて類似している。

全てのセンサが、カラー値の反復Ｂａｙｅｒパターンを示す低解像度部分カラー画像を生成するわけではない。例えば、図２１に示されたセンサ・パターンは、２つの隣接最小反復単位が２対のカラー値を生成することを決める。それぞれの事例において、隣接最小反復単位からのセル対は、画像の低解像度カラー表示のためのカラー値を生成する。セル対３３２および３３８は、青値に関して画素Ｂ２１，Ｂ２３，Ｂ４１およびＢ４３を結合することにより、そして緑値に関して画素Ｇ２２，Ｇ２４，Ｇ４２およびＧ４４を結合することにより、青カラー値と緑カラー値とを生成する。同様に、セル対３３４および３４０も、赤値に関して画素Ｒ２５，Ｒ２７，Ｒ４５およびＲ４７を結合することにより、そして緑値に関して画素Ｇ２６，Ｇ２８，Ｇ４６およびＧ４８を結合することにより、赤カラー値と緑カラー値とを生成する。隣接最小反復単位からのセル間の画素を結合するこのようなパターンは、センサ全体にわたって反復される。その結果、画像の低解像度表示が生じ、各低解像度画素は緑色値と、赤または青色値とを有している。この時点で、低解像度色差ブロック２０８（図１８）内部のカラー補間タスクは、各画素毎に赤の損失値または青の損失値を推定する。図１９Ｄを参照すると、緑値（Ｇ３）を有しているが、しかし赤値（Ｒ３）を有してはしない画素２６４が示されている。４つの隣接画素２６０，２６２，２６６および２６８は緑値と赤値とを有している。画素２６４（図１９Ｄ）に対して赤値を補間する方法は、画素２３４（図１９Ａ）に対して緑値を補間するために用いられる方法と同様である。

第１工程は、２つの分類子値、すなわち水平方向に関する第１の分類子値と、鉛直方向に関する第２の分類子値とを計算することである：

次いで、２つの予測子値、すなわち水平方向に関する第１の予測子値と、鉛直方向に関する第２の予測子値とを計算する：

最後に、ＴＨＲＥＳＨを経験的に決定された閾値として、

に従って、欠損値Ｒ３を適応的に計算することができる。

このように、両分類子が閾値よりも小さい場合には、両予測子値の平均をＲ３に対して計算する。そうでない場合には、どの分類子ＨＣＬＡＳまたはＶＣＬＡＳがより小さいかに応じて、ＨＰＲＥＤまたはＶＰＲＥＤを使用する。

欠損青値は、赤の代わりに青を使用して全く同様に補間される。完了したら、低解像度中間カラー画像が生成されている。そこから、低解像度色差が前記のように形成される。

画像キャプチャ装置はしばしば、低解像度画像を提供するための要件を有する。低解像度画像に関与する画像センサ上の画素を、第１の画素の二次元アレイと呼ぶことにする。この第１の画素の二次元アレイは、センサ上のアクティブ画素全体であってよく、或いは、アレイは、より小さなセンサ領域から形成することである。いずれの場合にも、第１の画素の二次元アレイ内の画素は、画素センサ上の実際の画素に対応する。

画像キャプチャ装置からの低解像度画像はしばしば、最大センサ解像度のわずかな割合、例えば最大解像度の１／２〜１／１０にすぎない。低解像度画像のための１つの一般的な用途は、分析のため、およびシーンのプレビューのために画像ストリームまたは画像シーケンスを提供することである。例えば、これらの低解像度画像から成る画像ストリームは、カメラの背面または電子ビューファインダ内に表示することができる。この種類のプレビュー・ストリームは、２つの重要な特性を有している。すなわち、画像は最大解像度未満であり、そして処理は、標準的なビデオ・フレーム・レート、例えば１秒当たり３０フレームのレートで画像を供給しなければならない。このような要件の別の例は、これらの低解像度画像から成る画像ストリームであるビデオの作成である。

複数の画素からの信号を結合するいくつかの方法は、低解像度画像を生成するために用いることができるが、ほとんどの結合技術は、結合されるべき画像のサンプリングおよび変換を必要とするので、これらの技術は画素読み取り速度全体を低減することはない。ビニングよりも一般的な動作を意味するように、結合という用語をここでは用いる。この結合という用語は、画素を結合するための１つの特定の方法としてビニングを含む。複数の画素からの電荷を結合することにより、低解像度画像内のアライアシングも低減される。それというのも、より多くの空間的サンプルが、ビニングされた各画素内に含まれるからである。アナログ結合という用語は、結合信号をアナログ形態からデジタル形態へ変換する前に、複数の画素からの信号を結合する任意のアプローチを意味する。この一例はビニング（電荷領域内の信号の結合）である。

第１の画素の二次元アレイ内の複数の画素からの信号をアナログ結合することにより生成された画素を、複合画素と呼ぶ。

この二次元画素アレイから低解像度画像を生成する上で、１つの方法は、最大解像度画素を単純にサブサンプリングすることである。例えば、図１０Ｂを参照すると、我々は各カラー画素行上で第３画素毎に選択することができる。このことは、Ｂａｙｅｒパターンを有するカラー画像を生成する。このカラー画像は、Ｂａｙｅｒパターン・センサとともに働くように構成されたハードウェアを使用して補正を行うのに好都合である。このような画像は複合画素を含んでいない。

このアプローチは、相当な画質の問題を有している。すなわちこのアプローチはアライアシングを極めて被りやすく、個々の画素内の信号レベルに限定される。複数の画素からの信号を、例えばビニングによって結合することにより、信号対雑音比が改善され、アライアシングの傾向が軽減される。

読み出し前の画素信号のアナログ結合は、３つの必要性に取り組む。１つの必要性は、ビデオ・フレーム・レートに達するようにデータを低減することであり、第２の必要性は、写真スピードを高くすることであり、そして第３の必要性は、最大解像度画像のより良好なサンプリングを達成すること、例えばアライアシング・アーチファクトを低減することである。しかしながら、ＣＦＡデータに均一な間隔を設けるという第４の必要性もある。ビデオ処理のためのハードウェアは、規則的な間隔を置いた入力データのために最適化される。規則的ではない間隔を置いたＣＦＡ画像データがその代わりに使用されるならば、補正画像内でアーチファクトが生成される。

第１の画素の二次元アレイから導出された低解像度画像を生成するために少なくともいくつかの複合画素を使用するとき、その結果として生じる画像を、第２の画素の二次元アレイと呼ぶ。この第２アレイにおける画素は、規則的な間隔を有さないいくつかの画素を含むことがある。この問題を解決するためには、第２の画素の二次元アレイを使用することにより、均一な間隔を有する、種々異なる画素位置に対応する画素を計算する。その結果生じる画像を、第３の画素の二次元アレイと呼ぶことにする。

図２２Ａ〜Ｃは、２つの群を有する二次元画素アレイを示す。第１画素群に由来する画素はカラー画素であり、そして第２画素群に由来する画素よりも狭いスペクトル光応答を有する。第１画素群は、少なくとも２つのカラーフィルタに対応する少なくとも２つの異なるスペクトル光応答に関連する個々の画素を含む。これらの２つの画素群を混合することにより、センサの感光性全体を改善する。

図２２を参照すると、ＣＦＡパターンを有する第１の画素の二次元アレイの一部が、パンクロマティック画素行とカラー画素行とを交互に含有している状態が示されている。Ｐはパンクロマティック画素を表し、そしてＲ，ＧおよびＢはそれぞれ赤、緑、および青画素を表す。一般に、このパターンは下記最小反復単位：

を有しており、ここで、Ｐは第２群の画素を表し、Ａは第１群の画素の第１の色の画素を表し、Ｂは第１群の画素の第２の色の画素を表し、そしてＣは第１群の画素の第３の色の画素を表す。例えば、一般的な最小反復単位内の第２カラーの画素Ｂは、図２２Ａにおける緑画素に対応するが、他のカラーの組も本発明とともに使用される。

図２２Ａでは、カラー画素対が、カラー値のアナログ結合が行われることを示す太線によって繋がれて示されている。図２２Ａにおける画素は、第１の画素の二次元アレイの一部である。結果として生じる複合画素が図２２Ｂに示されており、ここではこれらの複合画素は、関与画素の平均位置に従って配置されている。例えば、第２行では、値Ｇ１１は、図２２Ａで第２行および列１および３に示された２つの関与緑画素の平均位置である第２列に示されている。同様に、図２２Ｂの列３におけるカラー値Ｒ１２は、図２２Ａの列２および４に示された２つの赤カラー値を結合する結果である。図２２Ｂにおける画素は、第２の画素の二次元アレイの一部である。

しかし、これらの複合画素の間隔はまだ理想的ではない。なぜならば、水平方向の複合画素間の距離が等しくないからである。図２２Ｂのカラー値に付けられた小さな円は、カラー値の好ましい位置を示す。シフトされた有効位置を有する新しいカラー値は、例えば：

のように計算することができる。結果として生じるカラー値Ｒ１２’およびＧ１３’は、図２２Ｃにおいて、適正な位置に他のものと一緒に示されている。なお、Ｒ１２’に関する等式は、カラー値を右へどのようにシフトさせるかを示しており、またＲ１３’に関する等式は、カラー値を左へどのようにシフトさせるかを示している。これらと同じ等式が、残りの青および緑カラー値を計算するために使用することができる。図２２Ｃに示されている画素は、可視画像に対する補正に適した第３の画素の二次元アレイ部分である。

図２２Ｃにおける各画素は、同じカラーの３つの最大解像度画素に基づいている。これは、各複合画素が顕著に改善された信号対雑音比を有するという利点を有する。なお、結合画素の画像内のカラーのパターンは、標準的な処理によってさらに補正するのに好都合なＢａｙｅｒパターンである。

図２２Ａ〜Ｃにおいて説明されたアナログ結合は、周囲照明レベル範囲、大抵は、良好な信号対雑音比を達成するために必要とされるゲインが比較的少ない高周囲照明レベルに適している。

周囲照明レベルがより低いときには、信号対雑音比は低下する。こうして、異なる画素を結合することにより、信号対雑音比を高くすることが好ましい。図２３Ａを参照すると、図示の画素は、第１の画素の二次元アレイの一部である。ＣＦＡパターンが示されており、ここでは画素対が、第１二次元アレイ内の画素のアナログ結合が行われることを示す太線によって繋がれている。パンクロマティック画素およびカラー画素の両方が結合されているので、結合カラー値は、センサ内の個々の画素によっては達成されない複合スペクトル応答に対応する。結果として生じた複合画素は図２３Ｂに示されており、ここでは複合画素は、関与画素の平均位置に従って配置されている。例えば、第２列では、値Ｇ１１は、図２３Ａの左上コーナーに示された２つの関与画素、すなわち１つのパンクロマティック画素および１つの緑画素の平均位置に示されている。同様に、図２３Ｂの列３におけるカラー値Ｒ１２は、図２３Ａの列３に示された、繋がれたパンクロマティック画素と赤画素とを結合する結果である。図２３Ｂにおける複合画素は、第２の画素の二次元アレイの一部である。

複合カラー値の相対間隔は図２２Ａにおけるパターンに対するものと同じなので、図２３Ｃに示すようなＲ１２’およびＧ１３’を計算するために、同じ等式が適用される。前と同様に、図２３Ｃも、第３の画素の二次元アレイの一部を示している。

周囲照明レベルがより低いときには、さらにより多くの画素を結合することにより、信号対雑音比を高くすることが好ましい。図２４Ａを参照すると、ＣＦＡパターンが示されており、ここでは４つ一組の画素が、これらのカラー値のアナログ結合が行われることを示す太線によって繋がれている。これらの画素のうちのいくつかはパンクロマティック画素であり、またいくつかはカラー画素であるので、結合カラー値は、センサ内の個々の画素によっては達成されない複合スペクトル応答に対応する。前と同様に、図２４Ａに示されている画素も、第１の画素の二次元アレイの一部である。結果として生じた複合画素は図２４Ｂに示されており、ここでは複合画素は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１１は、第２列において、図２２Ａの左上コーナーに示された４つの関与画素、すなわち２つのパンクロマティック画素および２つの緑画素の平均位置に示されている。同様に、図２４Ｂの列３におけるカラー値Ｒ１２は、図２４Ａの列２および４に示された、４つの関与画素、すなわち２つのパンクロマティック画素と２つの赤画素とを結合する結果である。図２４Ｂにおける複合画素は、第２の画素の二次元アレイの一部である。

複合カラー値の相対間隔は図２２Ａにおけるパターンに対するものと同じなので、図２４Ｃに示すようなＲ１２’およびＧ１３’を計算するために、同じ等式が適用される。前と同様に、図２４Ｃも、第３の画素の二次元アレイの一部を示している。

図２２Ａ〜２４Ｃは、特定の最小反復単位を有するＣＦＡに適用されるものとして本発明を記述している。他の最小反復単位を有するＣＦＡパターンも、本発明で実施される。例えば本発明とともに使用される別の最小反復単位は：

であり、ここで、Ｐは第２群の画素を表し、Ａは第１群の画素の第１の色の画素を表し、Ｂは第１群の画素の第２の色の画素を表し、そしてＣは第１群の画素の第３の色の画素を表す。

本発明とともに使用される別の最小反復単位は、下記反復単位：

であり、ここで、Ｐは第２群の画素を表し、Ａは第１群の画素の第１の色の画素を表し、Ｂは第１群の画素の第２の色の画素を表し、そしてＣは第１群の画素の第３の色の画素を表す。このパターンは本質的に、図２２Ａ〜２４Ｃのパターンであるが、しかし行ではなく列を成して配置されている。

更なる例は、下記反復単位：

であり、ここで、Ｐは第２群の画素を表し、Ａは第１群の画素の第１の色の画素を表し、Ｂは第１群の画素の第２の色の画素を表し、そしてＣは第１群の画素の第３の色の画素を表す。

図２５Ａを参照すると、図示の画素は、第１の画素の二次元アレイの一部である。ＣＦＡパターンが示されており、ここでは８つの画素のうちの５つがパンクロマティック画素であり、残りの画素は、赤、緑、および青カラー画素として等しく示されている。いくつかの画素対が、カラー値のアナログ結合が行われることを示す太線によって繋がれている。それぞれの事例において、カラー画素がパンクロマティック画素と結合されている。結果として生じた結合カラー値は図２５Ｂに示されており、ここでは結合カラー値は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１２は第４列において、図２５Ａの第４列に示された２つの関与画素、すなわち１つのパンクロマティック画素および１つの緑画素の平均位置に示されている。同様に、図２５Ｂの列５におけるカラー値Ｂ１３は、図２５Ａの列５に示された、２つの関与画素、すなわち１つのパンクロマティック画素と１つの青画素とを結合する結果である。図２５Ｂにおける複合画素は、第２の画素の二次元アレイの一部である。

結果として生じるカラー位置は規則的な間隔を有していないので、調節することが好ましい。この場合、赤結合値および青結合値の位置を、図２５Ｂに示された小さな円まで動かす。緑値は既に適正な位置にあり、動かす必要はない。赤および青のカラー値に対応する、シフトされた有効位置を有する新しいカラー値は、例えば：

のように計算することができる。結果として生じるカラー値Ｂ１３’およびＲ２２’は、図２５Ｃにおいて、適正な位置に他のものと一緒に示されている。これらと同じ等式が、残りの青および緑カラー値を計算するために適用することができる。前と同様に、図２５Ｃも、第３の画素の二次元アレイの一部を示している。

結合画素の画像を補正するときには、図２２Ｃに示された結合画素を、個々の画素と同様にバランシングし補正することができる。結合画素のスペクトル感光性は、これらの画素を結合することにより効果的に不変のままにされる。図２３Ｃに示された結合画素は異なる補正を必要する。なぜならば、パンクロマティック画素とカラー画素とを結合することにより、有効スペクトル感光性が変えられるからである。補正の当業者に明らかなように、図２３Ｃの結合画素は、図２２Ｃの結合画素よりも一般に飽和度が低い（スペクトル感光性においてより多くのオーバラップを有する）。このように、図２３Ｃに対応する補正は、図２２Ｃから生成された画像と類似する補正画像を提供するために、色飽和を増大させなければならないことになる。より多くの画素を結合することにより信号対雑音比がかなり改善されるので、色飽和の増大から生じる雑音増幅は許容範囲にある。色飽和の増大から生じるこのような雑音増幅は、雑音低減、鮮鋭化、およびその他の動作に変化を与えることによって、緩和することができる。これは、周囲照明レベルにも依存する補正の一例である。

図２３Ｃおよび２４Ｃにおける結合画素は、カラー画素の線形結合ではないので、図２３Ｃおよび２４Ｃから得られる補正画像は、図２２Ｃの結合画素から得られる補正画像に正確に一致することはできない。それでもなお、補正のために何らかの調節を行うことにより、差異を緩和することができる。極めて低い周囲照明レベルで、結合画素の脱飽和、および結合画素の貧弱な信号／雑音特性は、カラー画像の供給を望ましくないものにする。例えば、大量の有色雑音を有する画像を供給するよりも、グレースケール画像を供給する方が好ましい。単にパンクロマティック画素を使用することへ切り換えることが、これらの極めて低い信号レベルにおいて効果的であることが、従来技術によって明らかにされている。

好ましい態様は、画像を完全に脱飽和し、さらにプロセスにおけるノイズを低減する補正を用いて、グレースケール画像を提供する。図２２Ｃ，２３Ｃおよび２４Ｃに示されている例において、結合画素は、カラー画素の結合から、カラー画素とパンクロマティック画素との結合へ切り換えると、色再現が著しく変化する。周囲照明の変化に伴う画像特性の突然の移行は望ましくないので、好ましい態様は、色再現におけるこれらの移行を平滑化する。例えば、補正画像は、高い周囲光レベルにおける最大飽和から極めて低い光レベルにおけるグレースケールへ、突然の移行なしに徐々に変化するべきである。このことは典型的には、光レベルにおける補正の急激なシフトを必要とすることになる。この場合、我々は、カラー画素と混合されるパンクロマティック画素の比率を変える。

１０ 被写体シーンからの光
１１ 撮像段
１２ レンズ
１３ ＮＤフィルタ
１４ アイリス
１６ 明るさセンサ
１８ シャッタ
２０ 画像センサ
２２ アナログ信号プロセッサ
２４ アナログ・デジタル（Ａ／Ｄ）変換器
２６ タイミング発生器
２８ 画像センサ段
３０ デジタル信号プロセッサ（ＤＳＰ）・バス
３２ デジタル信号プロセッサ（ＤＳＰ）・メモリ
３６ デジタル信号プロセッサ（ＤＳＰ）
３８ 処理段
４０ 露出コントローラ
５０ システム・コントローラ
５２ システム・コントローラ・バス
５４ プログラム・メモリ
５６ システム・メモリ
５７ ホスト・インターフェイス
６０ メモリカード・インターフェイス
６２ メモリカード・ソケット
６４ メモリカード
６８ ユーザー制御・状態インターフェイス
７０ ビューファインダ表示
７２ 露出表示
７４ ユーザー入力
７６ 状態表示
８０ ビデオ・エンコーダ
８２ 表示コントローラ
８８ 画像表示
１００ Ｂａｙｅｒパターンのための最小反復単位
１０２ 最小でないＢａｙｅｒパターンのための反復単位
１１０ 赤外線ブロックフィルタのスペクトル透過曲線
１１２ センサの、フィルタリングされていないスペクトル光応答曲線
１１４ センサの赤光応答曲線
１１６ センサの緑光応答曲線
１１８ センサの青光応答曲線
１２０ 第１の緑セル
１２２ 赤セル
１２４ 青セル
１２６ 第２の緑セル
２０２ 低解像度部分カラーブロック
２０４ 高解像度パンクローム・ブロック
２０６ 低解像度パンクローム・ブロック
２０８ 低解像度色差ブロック
２１０ 高解像度色差ブロック
２１２ 高解像度最終画像ブロック
２２０ 第１の緑セル
２２２ 画素群−第１の緑セル内の緑画素
２２４ 赤セル
２２６ 青セル
２２８ 第２の緑セル
２３０ 欠損緑値を補間するための上側の画素値
２３２ 欠損緑値を補間するための左側の画素値
２３４ 欠損緑値を有する画素
２３６ 欠損緑値を補間するための右側の画素値
２３８ 欠損緑値を補間するための下側の画素値
２４０ 欠損赤値を補間するための左側の画素値
２４２ 欠損赤値を有する画素
２４４ 欠損赤値を補間するための右側の画素値
２５０ 欠損赤値を補間するための上側の画素値
２５２ 欠損赤値を有する画素
２５４ 欠損赤値を補間するための下側の画素値
２５６ 欠損赤値を補間するための上側の画素値
２６２ 欠損赤値を補間するための左側の画素値
２６４ 欠損赤値を有する画素
２６６ 欠損赤値を補間するための右側の画素値
２６８ 欠損赤値を補間するための下側の画素値
３１０ 左上の最小反復単位
３１２ 右上の最小反復単位
３１４ 左下の最小反復単位
３１６ 右下の最小反復単位
３１８ 鉛直方向に隣接する最小反復単位からの赤画素の結合例
３２０ 水平方向に隣接する最小反復単位からの緑画素の結合例
３３０ 上側の最小反復単位
３３２ 上側の最小反復単位内の左側のセル
３３４ 上側の最小反復単位内の右側のセル
３３６ 下側の最小反復単位
３３８ 下側の最小反復単位内の左側のセル
３４０ 下側の最小反復単位内の右側のセル
３４２ 鉛直方向に隣接する最小反復単位からの青画素の結合例
３４４ 最小反復単位のセル内部の緑画素の結合例
３４６ 最小反復単位のセル内部、および鉛直方向に隣接する最小反復単位間双方の緑画素の結合例

Claims (14)

1. 画像キャプチャ装置によってキャプチャされた画素のアレイを処理する方法であって、該方法は、
   （ａ） 該画像キャプチャ装置からの第１の画素の二次元アレイを用意する工程、
   該画素のいくつかはカラー画素であり、また画素のいくつかはパンクロマティック画素である；
   （ｂ） 周囲照明条件に応じて、パンクロマティック画素がカラー画素と結合されるべきか否かを決定する工程；
   （ｃ） 工程（ｂ）から決定された画素を結合することにより、前記第１の画素の二次元アレイよりも少ない画素を有する第２の画素の二次元アレイを生成する工程；そして
   （ｄ） 工程（ｃ）で生成されたカラー画素を補正する工程
   を含んで成る。
2. 工程（ａ）が、
   （ｉ） 行および列を成すように配列された、第１および第２の画素群を有する二次元アレイを用意する工程、
   該第１画素群の画素は、該第２画素群の画素よりも狭いスペクトル光応答を有しており、そして該第１画素群は、少なくとも２色の組に対応するスペクトル光応答を有する画素を有している；そして
   （ｉｉ） 最小反復ユニットの少なくともいくつかの行または列が該第２群に由来する画素からのみで構成され、該最小反復ユニットの少なくともいくつかの行または列が該第１群に由来する画素からのみで構成されるように、少なくとも６つの画素を含む最小反復ユニットを有するパターンを画定するために、該第１および第２の画素群を位置決めする工程を含み、
   該第１群に由来する画素からのみで構成される行または列が、該第１群に由来する多くとも２つの色の画素から成っている請求項１に記載の方法。
3. 該第１二次元アレイが、下記最小反復単位：
   

   

   （ここで、Ｐは、該第２群の画素を表し、
   Ａは、該第１群の画素の第１の色の画素を表し、
   Ｂは、該第１群の画素の第２の色の画素を表し、
   そして
   Ｃは、該第１群の画素の第３の色の画素を表す）
   を有している請求項２に記載の方法。
4. 周囲照明条件が、１つまたは２つ以上のパンクロマティック画素内の値から決定される請求項１に記載の方法。
5. 工程（ｃ）が、カラー画素とパンクロマティック画素とをアナログ結合する工程を含む請求項１に記載の方法。
6. 該第１二次元アレイが、下記最小反復単位：
   

   

   （ここで、Ｐは、該第２群の画素を表し、
   Ａは、該第１群の画素の第１の色の画素を表し、
   Ｂは、該第１群の画素の第２の色の画素を表し、
   そして
   Ｃは、該第１群の画素の第３の色の画素を表す）
   を有している請求項２に記載の方法。
7. 工程（ｃ）が、カラー画素とパンクロマティック画素とをアナログ結合する工程を含む請求項６に記載の方法。
8. 該第１二次元アレイが、下記最小反復単位：
   

   

   （ここで、Ｐは、該第２群の画素を表し、
   Ａは、該第１群の画素の第１の色の画素を表し、
   Ｂは、該第１群の画素の第２の色の画素を表し、
   そして
   Ｃは、該第１群の画素の第３の色の画素を表す）
   を有している請求項２に記載の方法。
9. 工程（ｃ）が、カラー画素とパンクロマティック画素とをアナログ結合する工程を含む請求項８に記載の方法。
10. 該第１二次元アレイが、下記最小反復単位：
    

    

    （ここで、Ｐは、該第２群の画素を表し、
    Ａは、該第１群の画素の第１の色の画素を表し、
    Ｂは、該第１群の画素の第２の色の画素を表し、
    そして
    Ｃは、該第１群の画素の第３の色の画素を表す）
    を有している請求項２に記載の方法。
11. 工程（ｃ）が、カラー画素とパンクロマティック画素とをアナログ結合する工程を含む請求項１０に記載の方法。
12. 工程（ｄ）が、周囲照明レベルにも依存する補正を含む請求項１に記載の方法。
13. 電子センサによってキャプチャされた高解像度カラーデジタル画像を、より低解像度のカラーデジタル画像に変換する方法であって、該方法は、
    （ａ） 該電子センサを使用することにより、第１の画素の二次元アレイをキャプチャする工程；
    （ｂ） 該第１の画素の二次元アレイ内の画素をアナログ結合することにより、少なくともいくつかの複合画素を含み且つ不規則な間隔をも含む第２の二次元アレイを生成する工程；
    （ｃ） 規則的な間隔を有する第３の画素の二次元アレイを計算する工程；そして
    （ｄ） 規則化された該第３の画素の二次元アレイを補正することにより、アーチファクトが低減された補正画像を生成する工程
    を含んで成る。
14. デジタル画像ストリームがあり、該画像ストリームのうちのそれぞれ１つが請求項１３に記載の方法に従って処理される請求項１３に記載の方法。

Images