JP2010512048A - 低解像度画像の生成 - Google Patents

Abstract

画像キャプチャ装置によってキャプチャされた画素のアレイを処理する方法であって、第１画素群と第２画素群とを有する第１二次元アレイを用意すること、該第１画素群由来の画素は、該第２画素群由来の画素よりも狭いスペクトル光応答を有しており、そして該第１画素群は、少なくとも２色の組に対応するスペクトル光応答を有する個々の画素を有しており、そして該第１画素群および該第２画素群の配置は、少なくとも１２個の画素を含む最小反復単位を有するパターンを画定し、該最小反復単位は、複数のセルを有しており、各セルは、異なる照明条件下でキャプチャされたカラー画像の再現を可能にするように配列された、該第１画素群から選択された特定の色を表す少なくとも２つの画素および該第２画素群から選択された複数の画素を有している；周囲照明条件に応じて、パンクロマティック画素がカラー画素と結合されるべきか否かを決定すること；前記第１の画素の二次元アレイよりも少ない画素を有する第２の画素の二次元アレイを生成するために、画素を結合すること；そして該カラー画素を補正することを含む方法。

Description

本発明は、カラー画素およびパンクロマティック画素を有する二次元画像を提供し、そして更なる使用のために画像を低減して処理することに関する。

電子撮像システムは、視覚的画像の電子表示を形成するために、電子画像センサに依存する。このような電子画像センサの例は、電荷結合素子（ＣＣＤ）画像センサ、およびアクティブ画素センサ（ＡＰＳ）装置（ＡＰＳ装置は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor)プロセスにおいてこれらを製作することができることから、ＣＭＯＳセンサとしばしば呼ばれる）を含む。典型的には、これらの画像センサは、しばしば行および例の規則的なパターンを成して配列された数多くの感光性画素を含む。カラー画像をキャプチャするために画素パターン上にフィルタのパターンが典型的には製作され、この場合、可視光スペクトルの一部だけに対して個々の画素を感光性にするために、種々異なるフィルタ材料を使用する。カラーフィルタは、各画素に達する光量を必然的に低減し、これにより、各画素の感光性を低減する。電子カラー画像センサの感光性または写真スピードを改善するために、画像がより低い光レベルでキャプチャされるのを可能にすること、または光レベルがより高い場合には画像がより短い露出時間でキャプチャされるのを可能にすることが依然として必要である。

画像センサは線形または二次元である。一般に、これらのセンサは２つの異なるタイプの用途を有している。二次元センサは典型的には、画像キャプチャ装置、例えばデジタルカメラ、携帯電話機、およびその他の用途に適している。線形センサはしばしば、文書を走査するために使用される。いずれの場合にも、カラーフィルタが採用されると、画像センサは感光性が低減される。

Eastman Kodak Company製の線形画像センサであるKLI-4104は、４つの線形の単一画素幅の画素アレイを含み、この場合、赤、緑、または青に対して各アレイを全体的に感光性にするためにアレイのうちの３つにはカラーフィルタが適用されているが、第４のアレイにはカラーフィルタは適用されていない。さらに、３つのカラーアレイは、カラーフィルタに起因する感光性の低減を補償するために、より大型の画素を有しており、そして第４のアレイは、高解像度モノクローム画像をキャプチャするために、より小型の画素を有している。この画像センサを使用して画像がキャプチャされると、画像は、概ね同じ写真感光性を有する３つの低解像度画像と一緒に、高解像度の高写真感光性モノクローム画像として表され、そして３つの画像のそれぞれは、その画像からの赤、緑、または青の光に対応しており、従って、電子画像内の各点は、モノクローム値、赤値、緑値、および青値を含む。しかし、これは線形画像センサなので、４つの線形画素アレイを横切って画像を走査するためには、画像センサと画像との間の相対的な機械運動を必要とする。このことは、画像が走査されるスピードを制限し、また、手持ち式カメラ内で、または動いている被写体を含むシーンをキャプチャする際にこのセンサの使用を妨げる。

Akira Muramatsuによる米国特許第４，８２３，１８６号明細書に記載された、２つのセンサを含む電子撮像システムも当業者に知られている。このシステムの場合、センサのそれぞれが二次元画素アレイを含んでいるが、しかし一方のセンサは、カラーフィルタを含んでおらず、他方のセンサは、画素に付属するカラーフィルタのパターンを含み、さらに、画像センサに画像を提供するための光ビームスプリッタを有している。カラーセンサが、適用されるカラーフィルタのパターンを有しているので、カラーセンサ内の各画素は単一の色だけを提供する。このシステムを用いて画像がキャプチャされると、電子画像内の各点は、モノクローム値と１つのカラー値とを含み、カラー画像は、隣接カラーから補間された各画素位置に欠損カラーを有さなければならない。このシステムは単一のコンベンショナルな画像センサを凌ぐように感光性を改善しはするものの、システムの全体的な複雑さ、サイズ、およびコストは、２つのセンサとビームスプリッタの必要性のためにより大きいものになる。さらにビームスプリッタは、画像から各センサへ光を半分しか向けず、写真スピードの改善を制限する。

上述の線形画像センサに加えて、適用されるカラーフィルタを有していない画素を含む二次元画素アレイを有する画像センサが当業者に知られている。例えば、米国特許第４，３９０，８９５号明細書（Sato他）、同第５，３２３，２３３号明細書（Yamagami他）、および同第６，４７６，８６５号明細書（Gindele他）を参照されたい。引用した特許明細書のそれぞれにおいて、フィルタリングされていない画素またはモノクローム画素の感光性は、カラー画素よりも著しく高く、画素アレイからのカラー信号とモノクローム信号とを一致させるために、カラー画素にゲインを加えることを必要とする。ゲインが増大するのにつれて雑音および信号も増大し、結果としての画像の信号対雑音比全体を劣化させる。米国特許出願公開第２００３／０２１０３３２号明細書においてFrameは、画素のほとんどがフィルタリングされない画素アレイを開示しているが、しかしカラー画素は、上述のものと同じ感光性欠損を被る。

欧州特許第０１３８０７４号明細書においてNodaは、カラー画素およびパンクロマティック画素の両方を使用するビデオカメラ・システムについて記述している。具体的には、Nodaは、Ｗ、Ｙｅ、Ｃｙカラーフィルタ・アレイ・パターンおよびＷ、Ｙｅ、Ｃｙ、Ｇカラーフィルタ・アレイ・パターンを有する画像センサのための画像処理技術を開示している。ここで、Ｗ（パンクロマティック）、Ｙｅ（イエロー）、およびＣｙ（シアン）、およびＧ（グリーン）は、標準的な赤、緑、および青カラー画像を提供するために使用される。種々のタイプの画素の重み付けは、結果としての画像内のモアレ・パターンを最小にするように選ばれる。

米国特許第５，１７２，２２０号明細書においてBeisは、グレースケース（パンクロマティック）モードとカラーモード（カラー画素を使用）との間で切り換える監視カメラを開示している。この事例において、周囲照明レベルは、グローバル・スイッチとして使用され、周囲光レベルが低いときには、出力画像を生成するためにパンクロマティック画素を単純に選択する。

米国特許第６，２４６，８６５号明細書において、Leeは、パンクロマティック画素がクリッピングされた画像部分内の補間輝度信号を推定するためにカラー画素を使用して、カラー画素またはパンクロマティック画素単独でキャプチャする場合よりも高いダイナミック・レンジを有する画像を生成するように、パンクロマティック画素とカラー画素とを結合することを開示している。

多くの画像キャプチャ装置の場合、最大センサ解像度が、標準的なビデオ・フレーム・レートで読み取ることができる画素の数を上回り、ひいては、ビデオ・フレーム・レートに達するために、何らかの形のサブサンプリングを使用しなければならない。データを低減する１つの方法は、例えば米国特許第５，４９３，３３５号明細書に記載されているような、２×２画素ブロックに基づく１つのパターンを含む、生ＣＦＡデータを直接的にサンプリングすることである。データを低減する別の方法は、センサからＣＦＡデータを読み取る前に２つまたは３つ以上の画素からの信号をアナログ結合することである。

米国特許第６，３６６，３１８号明細書において、Smithは、より大型のＣＦＡカラー画素アレイから直接的にサブサンプリングされた不規則なアレイを使用して、規則的なＣＦＡカラー値アレイを生成することを開示している。

或る従来技術、例えば米国特許第６，２４６，８６５号明細書は、パンクロマティック画素がクリップされ、カラー画素が良好な信号対雑音比を有するときの、高輝度条件に対処する。或る従来技術、例えば米国特許第５，１７２，２２０号明細書は、極めて低い輝度条件に対処する。これらの条件下で、パンクロマティック画素は、使用し得る信号対雑音比を有し、カラー画素は、許容できない低い信号対雑音比を有する。広範囲の条件全体にわたって、改善された画質の低解像度画像を二次元センサから提供する画像キャプチャ・システムを提供することが依然として必要である。

従って、本発明の目的は、パンクロマティック画素とカラー画素とを有する画像キャプチャ装置によってキャプチャされた二次元画像を補正する改善された方法を提供することである。

この目的は、画像キャプチャ装置によってキャプチャされた画素アレイを処理する方法であって：
（ａ） 第１画素群と第２画素群とを有する第１二次元アレイを用意する工程、
該第１画素群由来の画素は、該第２画素群由来の画素よりも狭いスペクトル光応答を有しており、そして
該第１画素群は、少なくとも２色の組に対応するスペクトル光応答を有する個々の画素を有しており、そして該第１画素群および該第２画素群の配置は、少なくとも１２個の画素を含む最小反復単位を有するパターンを画定し、該最小反復単位は、複数のセルを有しており、各セルは、異なる照明条件下でキャプチャされたカラー画像の再現を可能にするように配列された、該第１画素群から選択された特定の色を表す少なくとも２つの画素および該第２画素群から選択された複数の画素を有している；
（ｂ） 周囲照明条件に応じて、パンクロマティック画素がカラー画素と結合されるべきか否かを決定する工程；
（ｃ） 工程（ｂ）から決定された画素を結合することにより、前記第１の画素の二次元アレイよりも少ない画素を有する第２の画素の二次元アレイを生成する工程；そして
（ｄ） 工程（ｃ）で生成されたカラー画素を補正する工程
を含む方法によって達成される。

本発明の利点は、広範囲の周囲照明レベル全体にわたって、パンクロマティック画素とカラー画素とを有する画像センサによってキャプチャされた画像の画質が改善されることである。

本発明のこのようなそしてその他の観点、目的、特徴、および利点は、下記好ましい態様の詳細な説明、および添付の特許請求の範囲を考察し、また添付の図面を参照することによって、より明らかに理解し正しく推定されることになる。

図１は、コンベンショナルなセンサおよび処理方法、または本発明のセンサおよび処理方法を採用することができるコンベンショナルなデジタルスチルカメラ・システムを示すブロック・ダイヤグラムである。 図２（従来技術）は、最小反復単位と非最小反復単位とを示すコンベンショナルなＢａｙｅｒカラーフィルタ・アレイ・パターンである。 図３は、赤、緑、および青画素に対応する代表的なスペクトル量子効率曲線、ならびに、より広いスペクトルのパンクロマティック量子効率を、全て赤外線カットフィルタの透過特性で乗じて示す図である。 図４Ａは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図４Ｂは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図４Ｃは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図４Ｄは、行または列を成して配列された同じカラー光応答を有するカラー画素を有する、本発明のカラーフィルタ・アレイ・パターンのいくつかの変更形に対応する最小反復単位を示す図である。 図５は、図４Ａに示した最小反復単位のセル構造を示す図である。 図６Ａは、図４Ａに対応する補間パンクロマティック画像である。 図６Ｂは、図４Ａおよび図５に示したセルに対応する低解像度カラー画像を示す図である。 図７Ａは、図４Ａの画素を結合するいくつかの方法を示す図である。 図７Ｂは、図４Ａの画素を結合するいくつかの方法を示す図である。 図７Ｃは、図４Ａの画素を結合するいくつかの方法を示す図である。 図８Ａは、四色代替形、ならびにシアン、マゼンタ、およびイエロー代替形を含む、別のカラー光応答特性を有するカラー画素を含む、図４Ａのカラーフィルタ・アレイ・パターンを示す図である。 図８Ｂは、四色代替形、ならびにシアン、マゼンタ、およびイエロー代替形を含む、別のカラー光応答特性を有するカラー画素を含む、図４Ａのカラーフィルタ・アレイ・パターンを示す図である。 図８Ｃは、四色代替形、ならびにシアン、マゼンタ、およびイエロー代替形を含む、別のカラー光応答特性を有するカラー画素を含む、図４Ａのカラーフィルタ・アレイ・パターンを示す図である。 図８Ｄは、四色代替形、ならびにシアン、マゼンタ、およびイエロー代替形を含む、別のカラー光応答特性を有するカラー画素を含む、図４Ａのカラーフィルタ・アレイ・パターンを示す図である。 図９は、パンクロマティック画素が対角線を成して配列されている、本発明の別のカラーフィルタ・アレイのための最小反復単位を示す図である。 図１０Ａは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、パンクロマティック画素が、カラー画素が埋め込まれている格子を形成しているものを示す図である。 図１０Ｂは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、パンクロマティック画素が、カラー画素が埋め込まれている格子を形成しているものを示す図である。 図１１Ａは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位およびタイル張り配列であって、セル１つ当たり２つの色が存在するものを示す図である。 図１１Ｂは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位およびタイル張り配列であって、セル１つ当たり２つの色が存在するものを示す図である。 図１１Ｃは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位およびタイル張り配列であって、セル１つ当たり２つの色が存在するものを示す図である。 図１１Ｄは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位およびタイル張り配列であって、セル１つ当たり２つの色が存在するものを示す図である。 図１２Ａは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、セル１つ当たり２つの色が存在し、そしてパンクロマティック画素が対角線を成して配列されているものを示す図である。 図１２Ｂは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、セル１つ当たり２つの色が存在し、そしてパンクロマティック画素が対角線を成して配列されているものを示す図である。 図１３Ａは、最小反復単位が８×８画素未満である、図４Ａの変更形を示す図である。 図１３Ｂは、最小反復単位が８×８画素未満である、図４Ａの変更形を示す図である。 図１３Ｃは、最小反復単位が８×８画素未満である、図４Ａの変更形を示す図である。 図１４Ａは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、最小反復単位が６×６画素であるものを示す図である。 図１４Ｂは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、最小反復単位が６×６画素であるものを示す図である。 図１５Ａは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、最小反復単位が４×４画素であるものを示す図である。 図１５Ｂは、本発明の別のカラーフィルタ・アレイの２つの変更形のための最小反復単位であって、最小反復単位が４×４画素であるものを示す図である。 図１６は、図４の最小反復単位を、最小反復単位内の個々の画素に添字を付けた状態で示す図である。 図１７Ａは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｂは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｃは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｄは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１７Ｅは、図１６の１つのセルのパンクロマティック画素およびカラー画素と、カラー画素が結合される種々の方法とを示す図である。 図１８は、本発明のセンサからのカラー画素およびパンクロマティック画素のデータを処理する方法を示す本発明のプロセス図である。 図１９Ａは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図１９Ｂは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図１９Ｃは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図１９Ｄは、図１８の低解像度部分カラー画像における欠損カラーを補間するための本発明の方法を示す図である。 図２０Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２０Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２１Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２１Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２２Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２２Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２３Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２３Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２３Ｃは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２４Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２４Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２４Ｃは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２５Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２５Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２６Ａは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。 図２６Ｂは、特定のカラーフィルタ・アレイ・パターンのための画素を結合する上でのいくつかの工程を示す図である。

撮像装置、および信号キャプチャおよび補正のため、および露出制御のための関連回路を採用するデジタルカメラはよく知られているので、ここでの説明は、特に、本発明による方法および装置の部分を形成する要素、または本発明による方法および装置とより直接的に協働する要素に向けることにする。本明細書に具体的には図示または記載されていない要素は、当該技術分野の公知のものから選択される。説明しようとする態様の一定の構成はソフトウェアで提供される。下記材料において本発明に基づいて示され説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、記載または示唆されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。

ここで図１を参照すると、本発明を具体化するデジタルカメラとして示される画像キャプチャ装置のブロック・ダイヤグラムが示されている。以下にデジタルカメラについて説明するが、本発明は、他のタイプの画像キャプチャ装置に明らかに適用することができる。開示されるカメラの場合、被写体シーンからの光１０が撮像段１１に入力され、この撮像段において、光をレンズ１２によってフォーカシングすることにより、固体二次元画像センサ２０上に画像を形成する。画像センサ２０は入射光を、ピクチャ要素（画素）毎に電気信号に変換する。好ましい態様の画像センサ２０は、電荷結合素子（ＣＣＤ）タイプまたはアクティブ画素センサ（ＡＰＳ）タイプ（ＡＰＳ装置は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor)法で製作することができることからＣＭＯＳセンサとしばしば呼ばれる）である。二次元画素アレイを有する他のタイプの画像センサを、これらが本発明のパターンを採用するならば、使用することができる。本発明はまた、図１の説明後に本明細書において明らかになるように、カラー画素とパンクロマティック画素との二次元アレイを有する画像センサ２０を利用する。画像センサ２０と一緒に使用される本発明のカラー画素およびパンクロマティック画素の例は、図４Ａ〜Ｄ、図８Ａ〜Ｄ、図９、図１０Ａ〜Ｂ、図１１Ａ、図１１Ｃ、図１３Ａ〜Ｃ、図１４Ａ〜Ｂ、および図１５Ａ〜Ｂで見ることができるが、他のパターンも本発明の思想の範囲内で使用される。

センサ２０に達する光量は、アパーチャを変化させるアイリス・ブロック１４、および光路内に挿入された１つまたは２つ以上のＮＤフィルタを含むニュートラル・デンシティ（ＮＤ）フィルタ・ブロック１３によって調節される。光レベル全体は、シャッタ１８が開いている時間によっても調節される。露出コントローラ・ブロック４０は、明るさセンサ・ブロック１６によって計測されたシーン内で利用可能な光量に応答し、これらの調節機能の３つ全てを制御する。

特定のカメラ形態に関するこのような説明は当業者にはよく知られており、多くの変更形および追加の特徴が存在することは明らかである。例えば、オートフォーカス・システムが追加され、或いはレンズは、取り外し可能且つ交換可能である。本発明が任意のタイプのデジタルカメラに適用されることは明らかである。この場合、同様の機能性が別の構成部品によって提供される。例えば、デジタルカメラは、より複雑な焦点面配列の代わりに、比較的シンプルな全自動デジタルカメラ（この場合、シャッタ１８は比較的シンプルな可動ブレード・シャッタである）などであってよい。本発明は、カメラ以外の装置、例えば携帯電話機および自動車内に含まれる撮像構成部品において実施することもできる。

画像センサ２０からのアナログ信号は、アナログ信号プロセッサ２２によって処理され、そしてアナログ・デジタル（Ａ／Ｄ）変換器２４に印加される。タイミング発生器２６は、種々のクロック信号を生成することにより、行および画素を選択し、そしてアナログ信号プロセッサ２２およびＡ／Ｄ変換器２４の動作を同期する。画像センサ段２８は、画像センサ２０、アナログ信号プロセッサ２２、Ａ／Ｄ変換器２４、およびタイミング発生器２６を含む。画像センサ段２８の構成部品は、別個に製作された集積回路であるか、或いはこれらは、ＣＭＯＳ画像センサとともに一般に製作されるように、単一集積回路として製作される。結果として生じる、Ａ／Ｄ変換器２４からのデジタル画素値流は、デジタル信号プロセッサ（ＤＳＰ）３６と連携するメモリ３２内に記憶される。

デジタル信号プロセッサ３６は、システム・コントローラ５０および露出コントローラ４０に加えられた、この態様では３つのプロセッサまたはコントローラのうちの１つである。複数のコントローラおよびプロセッサの中のカメラ機能コントロールのこのような分割は典型的であるが、これらのコントローラまたはプロセッサは、カメラの機能動作および本発明の用途に影響を及ぼすことなしに、種々の方法で組み合わされる。これらのコントローラおよびプロセッサは、１つまたは２つ以上のデジタル信号プロセッサ装置、マイクロコントローラ、プログラミング可能な論理装置、またはその他のデジタル論理回路を含むことができる。このようなコントローラまたはプロセッサの組み合わせについて説明してきたが、１つのコントローラまたはプロセッサが、所要の機能の全てを実施するように指定されてもよいことは明らかである。これらの変化形の全ては同じ機能を実施することができ、本発明の範囲に含まれ、そして「処理段」という用語は、例えば図１の処理段３８におけるように、１つの語句の中にこの機能性の全てを含むために必要に応じて使用されることになる。

図示の態様の場合、ＤＳＰ３６は、プログラム・メモリ５４内に永久記憶されて画像キャプチャリング中の実行のためにそのメモリ３２に複写されたソフトウェア・プログラムに従って、メモリ３２内のデジタル画像データを操作する。ＤＳＰ３６は、図１８に示された画像処理を実施するために必要なソフトウェアを実行する。メモリ３２は、任意のタイプのランダム・アクセス・メモリ、例えばＳＤＲＡＭを含む。アドレスおよびデータ信号のための経路を含むバス３０は、ＤＳＰ３６をその関連メモリ３２、Ａ／Ｄ変換器２４、およびその他の関連装置に接続する。

システム・コントローラ５０は、フラッシュＥＥＰＲＯＭまたはその他の不揮発性メモリを含むことができるプログラム・メモリ５４内に記憶されたソフトウェア・プログラムに基づいて、カメラの動作全体を制御する。このメモリは、画像センサ較正データ、ユーザ設定選択、およびカメラがオフにされたときに保存しなければならない他のデータを記憶するために使用することもできる。前記のようなレンズ１２、ＮＤフィルタ１３、アイリス１４、およびシャッタ１８を操作するように露出コントローラ４０を導き、画像センサ２０および関連要素を操作するようにタイミング発生器２６を導き、そしてキャプチャリングされた画像データを処理するようにＤＳＰ３６を導くことにより、システム・コントローラ５０は、画像キャプチャのシーケンスを制御する。画像がキャプチャリングされ処理された後、メモリ３２内に記憶された最終画像ファイルは、インターフェイス５７を介してホスト・コンピュータに転送され、取り外し可能なメモリカード６４またはその他の記憶装置上に記憶され、そして画像ディスプレイ８８上でユーザのために表示される。

システム・コントローラ・バス５２は、アドレス、データ、および制御信号のための経路を含み、システム・コントローラ５０を、ＤＳＰ３６、プログラム・メモリ５４、システム・メモリ５６、ホスト・インターフェイス５７、メモリカード・インターフェイス６０、およびその他の関連装置に接続する。ホスト・インターフェイス５７は、表示、記憶、操作、または印刷のために画像データを転送する際の、パーソナル・コンピュータ（ＰＣ）またはその他のホスト・コンピュータへの高速接続を提供する。このインターフェイスはＩＥＥＥ１３９４またはＵＳＢ２．０シリアル・インターフェイスまたは任意のその他の好適なデジタル・インターフェイスである。メモリカード６４は典型的には、メモリカード・ソケット６２に挿入されメモリカード・インターフェイス６０を介してシステム・コントローラ５０に接続されたコンパクト・フラッシュ（ＣＦ）カードである。利用されるその他のタイプの記憶装置の一例としては、ＰＣカード、マルチメディア・カード（ＭＭＣ）、またはセキュア・デジタル（ＳＤ）カードが挙げられる。

処理された画像は、システム・メモリ５６内の表示バッファに複写され、そしてビデオ信号を生成するために、ビデオ・エンコーダ８０を介して連続して読み取られる。この信号は、外部モニタ上で表示するためにカメラから直接的に出力されるか、または表示コントローラ８２によって処理され、そして画像表示８８上で提供される。この表示は典型的にはアクティブ・マトリックス・カラー液晶ディスプレイ（ＬＣＤ）であるが、その他のタイプのディスプレイも使用される。

ビューファインダ表示７０、露出表示７２、状態表示７６、画像表示８８、およびユーザ入力７４の全てまたは任意の組み合わせを含むユーザ・インターフェイス６８は、露出コントローラ４０およびシステム・コントローラ５０上で実行されるソフト・プログラムの組み合わせによって制御される。ユーザ入力７４は典型的には、ボタン、ロッカースイッチ、ジョイスティック、回転ダイアル、またはタッチスクリーンの何らかの組み合わせを含む。露出コントローラ４０は、光計測、露出モード、オートフォーカス、およびその他の露出機能を操作する。システム・コントローラ５０は、ディスプレイのうちの１つまたは２つ以上、例えば画像表示８８上に提供されるグラフィカル・ユーザ・インターフェイス（ＧＵＩ）を管理する。ＧＵＩは典型的には、種々のオプション選択肢を形成するためのメニュー、およびキャプチャリングされた画像を検査するためのレビューモードを含む。

露出コントローラ４０は、露出モード、レンズ口径、露出時間（シャッタ・スピード）、および露出指数またはＩＳＯスピード等級を選択するユーザ入力を受け入れ、これに応じて、続いてキャプチャを行うようにレンズおよびシャッタを導く。シーンの明るさを測定し、そしてＩＳＯスピード等級、レンズ口径、およびシャッタ・スピードを手動で設定するときにユーザが参照するための露出計機能を提供するために、明るさセンサ１６が採用される。この場合、ユーザが１つまたは２つ以上の設定を変えるのに伴って、ビューファインダ・ディスプレイ７０上に提供される露出計インジケータは、画像がどの程度露出過剰または露出不足となるかをユーザに教える。自動露出モードでは、ユーザは１つの設定を変え、そして露出コントローラ４０は正しい露出を維持するために、別の設定を自動的に変更する。例えば所与のＩＳＯスピード等級の場合、ユーザがレンズ口径を低減すると、露出コントローラ４０は、同じ全体的な露出を維持するために自動的に露出時間を長くする。

ＩＳＯスピード等級は、デジタルスチルカメラの重要な属性である。露出時間、レンズ口径、レンズ透過率、シーン照明のレベルおよびスペクトル分布、およびシーン反射率は、デジタルスチルカメラの露出レベルを決定する。デジタルスチルカメラからの画像が不十分な露出を用いて得られる場合、電子ゲインまたはデジタルゲインを増大させることにより、適正なトーン再現を一般に維持することはできるが、しかし、画像は、許容できない量の雑音を含有することになる。露出が増大するのに伴って、ゲインは減少し、従って、画像ノイズを通常は許容し得るレベルまで低減することができる。露出が過度に増大すると、明るい画像領域内に結果として生じる信号は、画像センサまたはカメラ信号処理の最大信号レベル容量を超えるおそれがある。このことにより、画像ハイライトがクリッピングされることにより均一な明るい領域を形成することになるか、または画像ハイライトが周囲画像領域内にブルーミングを生じさせることがある。適切な露出を設定する上でユーザを案内することが重要である。ＩＳＯスピード等級は、このようなガイドとして役立つように意図されている。撮影者が容易に理解するようにするために、デジタルスチルカメラのためのＩＳＯスピード等級は、写真フィルムカメラのためのＩＳＯスピード等級に直接に関連するべきである。例えば、デジタルスチルカメラのＩＳＯスピード等級がＩＳＯ ２００である場合、同じ露出時間およびアパーチャが、ＩＳＯ ２００等級のフィルム／プロセス・システムに適しているべきである。

ＩＳＯスピード等級は、フィルムＩＳＯスピード等級と調和するように意図されている。しかし、電子撮像システムとフィルム・ベースの撮像システムとの間には、正確な等価性を排除する差異がある。デジタルスチルカメラは、可変のゲインを含むことができ、そして画像データがキャプチャリングされた後で、デジタル処理を行うことができ、カメラ露出範囲全体にわたってトーン再現が達成されるのを可能にする。従って、デジタルスチルカメラにとっては、所定の範囲のスピード等級を有することが可能である。この範囲は、ＩＳＯスピード・ラチチュードとして定義される。混同を防止するために、単一の値が固有ＩＳＯスピード等級として指定されており、これとともにＩＳＯスピード・ラチチュードの上限および下限は、スピード範囲、すなわち、固有ＩＳＯスピード等級とは異なる有効スピード等級を含む範囲を示す。このことを念頭に置いて、固有ＩＳＯスピードは、特定のカメラ出力信号特性をもたらすためにデジタルスチルカメラの焦点面に提供された露出から計算された数値である。固有スピードは普通、通常のシーンに対して所与のカメラ・システムのピーク画質を生成する露出指数値であり、露出指数は、画像センサに提供される露出に対して反比例する数値である。

デジタルカメラの前記説明内容は当業者にはよく知られている。コストを軽減し、特徴を加え、またはカメラの性能を改善するために選択されるこの態様の多くの変更形が可能であることは明らかである。下記説明によって、本発明による画像をキャプチャするためのこのようなカメラの動作を詳細に開示する。この説明はデジタルカメラに関して行うが、カラー画素とパンクロマティック画素とを備えた画像センサを有する任意のタイプの画像キャプチャ装置とともに使用するために本発明が適用されることは言うまでもない。

図１において示された画像センサ２０は典型的には、シリコン基板上に製作された二次元感光性画素アレイを含む。これらの感光性画素は、各画素における入射光を、測定される電気信号に変換する方法を提供する。画像センサ２０が露光されるのに伴って、自由電子が発生し、そしてこれらは各画素における電子構造内部に捕捉される。所定の時間にわたってこれらの自由電子を捕捉し、次いで捕捉された電子の数を測定するか、または自由電子が発生する速度を測定することによって、各画素における光レベルを測定することができる。前者の事例の場合、電荷結合素子（ＣＣＤ）におけるように、蓄積電荷が画素アレイから電荷対電圧測定回路にシフトさせられるか、またはアクティブ画素センサ（ＡＰＳまたはＣＭＯＳセンサ）におけるように、各画素に近接した領域が電荷対電圧測定回路の要素を含有することができる。

以下の説明では画像センサに全般的に言及するときにはいつでも、言うまでもなくこれは図１の画像センサ２０を表す。さらに、本明細書中に開示された本発明の画像センサ・アーキテクチャおよび画素パターンの全ての例およびこれらの等価物が、画像センサ２０に対して使用されることも明らかである。

画像センサとの関連において、画素（pixel：“picture element”の短縮形）は、不連続な光感知領域、および光感知領域と連携する電荷シフト回路または電荷測定回路を意味する。デジタルカラー画像との関連において、画素という用語は一般に、関連カラー値を有する画像における特定位置を意味する。

カラー画像を生成するために、画像センサ内の画素アレイは典型的には、画素上に配置されたカラーフィルタ・アレイ・パターンを有する。図２は、一般に使用される赤、緑、または青カラーフィルタのパターンを示す。この特定のパターンは、米国特許第３，９７１，０６５号明細書に開示されているように、その発明者Bryce BayerにちなんでＢａｙｅｒカラーフィルタ・アレイ（ＣＦＡ）として一般に知られている。このパターンは、二次元カラー画素アレイを有する画像センサ内に効果的に使用される。結果として、各画素は特定のカラー光応答を有している。このカラー光応答は、この場合には赤、緑、または青の光に対して主要感光性を有する。別の有用な種々のカラー光応答は、マゼンタ、イエロー、またはシアンの光に対して主要感光性を有する。それぞれの事例において、特定のカラー光応答は、或る可視スペクトル部分に対しては感光性が高いのに対して、同時に他の可視スペクトル部分に対しては感光性が低い。カラー画素という用語は、カラー光応答を有する画素を意味するものとする。

センサ内で使用するために選択されるカラー光応答の組は、Ｂａｙｅｒ ＣＦＡに示されているように３色を有するが、しかし、この組は４色または５色以上を含むこともできる。本明細書中に使用されるように、パンクロマティック光応答は、選択されたカラー光応答の組内に示されるスペクトル感光性よりも広いスペクトル感光性を有する光応答を意味する。パンクロマティック感光性は、可視スペクトル全体にわたって高い感光性を有することができる。パンクロマティック画素という用語は、パンクロマティック光応答を有する画素を意味するものとする。パンクロマティック画素がカラー光応答の組よりも広いスペクトル感光性を有してはいるが、各パンクロマティック画素は、連携するフィルタを有することができる。このようなフィルタはＮＤフィルタまたはカラーフィルタである。

カラー画素およびパンクロマティック画素のパターンが画像センサ上にある場合、それぞれのこのようなパターンは、基本構成単位として作用する、隣接する画素サブアレイである反復単位を有している。複数部の反復単位を並置することにより、センサ・パターン全体が生成される。複数部の反復単位を並置することは、対角線方向、ならびに水平方向および鉛直方向で行われる。

最小反復単位は、これよりも少ない画素を有する他の反復単位がないような反復単位である。例えば、図２のＣＦＡは、図２の画素ブロック１００によって示されるような２画素×２画素の最小反復単位を含む。複数部のこの最小反復単位が、画像センサ内の画素アレイ全体を覆うようにタイル張りされる。最小反復単位は、右上コーナーに緑画素を有するように示されているが、しかし、太線を引いた部分を１画素分だけ右側へ、１画素分だけ下方へ、または１画素分だけ対角線方向に右下へ動かすことにより、３つの別の最小反復単位を容易に識別することができる。画素ブロック１０２が反復単位であるが、これは最小反復単位ではない。なぜならば、画素ブロック１００が反復単位であり、画素ブロック１００は、画素ブロック１０２よりも少ない画素を有しているからである。

図２のＣＦＡを有する二次元アレイを有する画像センサを使用してキャプチャされた画像は、各画素毎に唯１つのカラー値を有している。フルカラー画像を生成するために、各画素毎に欠損カラーを推測または補間する数多くの技術がある。これらのＣＦＡ補間技術が当業者によく知られており、米国特許第５，５０６，６１９号、同第５，６２９，７３４号、および同第５，６５２，６２１号の各明細書を参照されたい。

図３は、典型的なカメラ用途における、赤、緑、および青カラーフィルタを有する画素の相対スペクトル感光性を示している。図３のＸ軸は、光波長をナノメートルで表し、Ｙ軸は効率を表す。図３において、曲線１１０は、赤外線および紫外線が画像センサに達するのをブロックするのに使用される典型的なフィルタのスペクトル透過特性を表す。このようなフィルタが必要とされるのは、画像センサのために使用されるカラーフィルタが典型的には赤外線をブロックしないからであり、従って画素は、赤外線と、連携するカラーフィルタの通過帯域内にある光とを区別することはできない。曲線１１０によって示された赤外線ブロック特性は、赤外線が可視線信号を破損するのを防止する。赤、緑、および青フィルタが適用される典型的なシリコンセンサの場合、スペクトル量子効率、すなわち、キャプチャされ測定可能な電気信号に変換された入射光子の比率を、曲線１１０によって表される赤外線ブロック・フィルタのスペクトル透過特性で乗じることにより、赤の曲線１１４、緑の曲線１１６、および青の曲線１１８によって表される組み合わせシステム量子効率を生成する。これらの曲線から判るように、各カラー光応答が可視スペクトルの一部だけに対して感光性である。これに対して、カラーフィルタが適用されない（ただし赤外線ブロックフィルタ特性を含む）同じシリコンセンサの光応答が、曲線１１２によって示されている。これはパンクロマティック光応答の一例である。カラー光応答曲線１１４，１１６および１１８とパンクロマティック光応答曲線１１２とを比較することにより、パンクロマティック光応答が、カラー光応答のいずれよりも、広帯域スペクトル光に対して３〜４倍高い感光性を有することが明らかである。

図３に示されたより高いパンクロマティック感光性は、カラーフィルタを含む画素とカラーフィルタを含まない画素とを混合することにより、画像センサの感光性全体を改善するのを可能にする。しかしながら、カラーフィルタ画素は、パンクロマティック画素よりも著しく低い感光性を有することになる。このような状況において、シーンからの光強度範囲がパンクロマティック画素の全測定範囲に及ぶように適正にパンクロマティック画素を光に当てると、カラー画素は著しく露出不足になる。従って、カラーフィルタ画素の感光性を、これらがパンクロマティック画素と概ね同じ感光性を有するように調節することが有利である。カラー画素の感光性は、例えばカラー画素のサイズをパンクロマティック画素に対して増大させることにより、カラー画素の感光性が高められ、これに伴って空間画素が関連して低減される。

図４Ａは、２つの群を有する二次元画素アレイを示している。第１画素群の画素は、第２画素群の画素よりも狭いスペクトル光応答を有する。第１画素群は、少なくとも２つのカラーフィルタに対応する少なくとも２つの異なるスペクトル光応答に関連する個々の画素を含む。これらの２つの画素群は、センサの感光性全体を改善するために混合される。本明細書中で明らかになってくるように、第１画素群および第２画素群の配置は、少なくとも１２個の画素を含む最小反復単位を有するパターンを画定する。最小反復単位は、異なる照明条件下でキャプチャされたカラー画像の再現を可能にするように配列された第１画素群および第２画素群を含む。

図４Ａに示された完全なパターンは、画素アレイ全体をカバーするようにタイル張りされた最小反復ユニットを示している。図２と同様に、カラー画素およびパンクロマティック画素のこのような配列全体を記述するために使用される最小反復単位は他にもいくつかあるが、しかしこれらは全て特徴が事実上同等であり、またそれぞれは画素サブアレイであり、このサブアレイの大きさは８画素×８画素である。このパターンの重要な特徴は、パンクロマティック画素行とカラー画素行とが交互に成っており、この場合、カラー行の画素が、一緒のグループに入れられた同じカラー光応答を有していることである。同じ光応答を有する画素群は、隣接するパンクロマティック画素のうちのいくつかと一緒に、最小反復単位を構成する４つのセルを形成すると考えられ、セルは、最小反復単位よりも少ない画素を有する、隣接する画素サブアレイである。

図４Ａでは太線で描き、そして図５ではセル１２０，１２２，１２４および１２６として示すこれらの４つのセルは、それぞれ４つの４×４画素群を取り囲んでおり、符号１２０は左上セルを、符号１２２は右上セルを、符号１２４は左下セルを、そして符号１２６は右下セルを示している。４つのセルのそれぞれは、８つのパンクロマティック画素と、同じカラー光応答の８つのカラー画素とを含んでいる。セル内のカラー画素を結合することにより、そのセル全体のカラーを表す。従って、図５のセル１２０は緑セルであると考えられ、セル１２２は赤セルである、というように考えられる。各セルは同じカラーの少なくとも２つの画素を含み、これにより、同じカラーの画素を結合して、カラー画素とパンクロマティック画素との間の感光性の差を克服することが可能になる。

それぞれのセルが同色の２つのカラー画素と２つのパンクロマティック画素とを含む、４つの非オーバラップ・セルを有する最小反復単位の場合、最小反復単位が１６個の画素を含むことは明らかである。それぞれのセルが同色の２つのカラー画素と２つのパンクロマティック画素とを含む、３つの非オーバラップ・セルを有する最小反復単位の場合、最小反復単位が１２個の画素を含むことは明らかである。

本発明によれば、図４の最小反復単位は、図５に特定したセル構造に照らして考えると、種々異なる照明条件でキャプチャされたカラー画像の再現を可能にするように配列された、高解像度パンクロマティック画像と低解像度Ｂａｙｅｒパターン・カラー画像との組み合わせを示すことができる。Ｂａｙｅｒパターン画像の個々の要素は、対応セル内のカラー画素の組み合わせを示す。第１画素群は、低解像度カラーフィルタ・アレイ画像を画定し、そして第２画素群は、高解像度パンクロマティック画像を画定する。図６Ａおよび図６Ｂを参照されたい。図６Ａは、図４Ａに対応する高解像度パンクロマティック画像を表し、図４Ａのパンクロマティック画素Ｐ、ならびに補間されたパンクロマティック画素Ｐ’の両方を含んでおり、図６Ｂは、低解像度Ｂａｙｅｒパターン・カラー画像を示し、Ｒ’、Ｇ’、およびＢ’は、図５に示されたセルのそれぞれに対応して、セル内の結合カラー画素と連携するセル・カラーを表す。

下記論議において、図４Ｂ〜Ｄ、８Ａ〜Ｄ、９、１０Ａ〜Ｂ、１１Ａ、１１Ｃ、１２Ａ〜Ｂ、１３Ａ〜Ｃ、１４Ａ〜Ｂ、および１５Ａ〜Ｂにおける全てのセルは、図４Ａと同様に太線によって示される。

図４Ａの別の最小反復単位に加えて、パターンの各セルを９０度回転させることにより、図４Ｂに示されているパターンを生成する。これは実質的に同じパターンではあるが、水平方向の代わりに鉛直方向に最高パンクロマティック・サンプリング周波数を配置している。図４Ａを使用するか図４Ｂを使用するかの選択は、より高いパンクロマティック空間サンプリングをそれぞれ水平方向または鉛直方向に有することが望まれるか否かに応じて行われる。しかしながら、両パターン内の最小反復単位を構成する、結果として生じるセルが、両パターンに対して同じ低解像度カラー画像を生成することは明らかである。従って図４Ａおよび図４Ｂは、色の観点からは等価である。一般に、図４Ａおよび図４Ｂは、パンクロマティック画素が行または列において線形に配列された状態で、本発明を実施する例である。さらに、図４Ａは、単独のパンクロマティック画素行を有していて、それぞれの行がカラー画素行によって隣接パンクロマティック画素行から分離されており、図４Ｂは、列方向に同じ特性を有している。

図４Ｃは、図４Ａとはさらに別の最小反復単位であって、事実上同じセル・カラー特性を有するものを示している。しかし図４Ｃは、セル毎に互い違いに配置されたパンクロマティック行とカラー行とを示す。これは、鉛直方向のパンクロマティック解像度を改善することができる。図４Ａとはさらに別の最小反復単位が図４Ｄに示されており、ここでは、パンクロマティック行とカラー行とは列の対を単位として互い違いに配置されている。これも、鉛直方向のパンクロマティック分解法を改善することができる。図４Ａ〜Ｄの最小反復単位の全ての特徴は、２つまたは３つ以上の同じカラー画素から成る群が、行または列を成して並置されていることである。

図４Ａ〜Ｄは全て、低解像度Ｂａｙｅｒパターンを表す最小反復単位を構成するセルを有する同じカラー構造を有している。これにより明らかなように、パンクロマティック画素と、グループ化されたカラー画素との種々の配列が、本発明の思想の範囲内で構成される。

パンクロマティック感光性とカラー感光性との間の差異を克服するようにカラー感光性を高めるために、各セル内部のカラー画素は種々の方法で結合される。例えば、同色画素からの電荷が、ＣＣＤ画像センサ内、またはビニングを可能にするタイプのアクティブ画素センサ内で結合またはビニングされる。或いは、同色画素内の測定電荷量に対応する電圧が、例えばこれらの電圧まで荷電されたキャパシタを並列接続することにより平均される。さらに別のアプローチでは、同色画素における光レベルのデジタル表示が合計または平均される。２つの画素からの電荷を結合またはビニングは信号レベルを２倍にするのに対して、結合された信号をサンプリングして読み取ることに伴う雑音は同じままであり、これにより、信号対雑音比を２倍だけ増大させ、これに相応して、結合画素の感光性を２倍だけ増大させる。２つの画素からの光レベルのデジタル表示を合計する場合、結果として生じる信号は２倍だけ増大するが、しかし、２つの画素を読み出すことから生じる対応雑音レベルは二乗的に組み合わされ、これにより雑音を２の平方根だけ増大させる。結合画素の結果として生じた信号対雑音比はこれにより、未結合信号を２の平方根だけ上回る。同様の分析が電圧またはデジタル平均にも当てはまる。

セル内部の同色画素からの信号を結合するための前述のアプローチは、単独または組み合わせで用いられる。例えば、図４Ａの同色画素２つ一組からの電荷を鉛直方向に結合することにより、図７Ａに示す結合信号Ｒ’、Ｇ’およびＢ’を有する結合画素が生成される。この事例において、各Ｒ’、Ｇ’およびＢ’は、未結合画素の２倍の感光性を有する。或いは、図４Ａの同色画素４つ一組からの測定値（電圧またはデジタル）を水平方向に結合することにより、図７Ｂに示す結合信号Ｒ’、Ｇ’およびＢ’を有する結合画素が生成される。この事例において、信号は４倍だけ増大するが、しかし雑音は２倍だけ増大するので、各Ｒ’、Ｇ’およびＢ’は、未結合画素の２倍の感光性を有する。別の結合スキームにおいて、図７Ａにおけるように同色画素２つ一組からの電荷を鉛直方向に結合し、そして図７Ａの結合画素４つ一組の測定値を水平方向に合計または平均することにより、図７Ｃの最終結合カラー画素を生成する。この場合、Ｒ”、Ｇ”、およびＢ”は、同色画素の最終的な結合を表す。この結合配列において、図７Ｃの最終結合カラー画素はそれぞれ、未結合画素の４倍の感光性を有する。いくつかのセンサ・アーキテクチャ、特に或る種のＣＣＤ装置が、各セル内部の８つ全ての同色画素からの電荷が図７Ｃのように結合されるのを可能にし、結合カラー画素の感光性を８倍だけ増大させることになる。

上記のことから明らかになるように、カラー画素の感光性を調節する目的でカラー画素を結合する際に、いくつかの自由度がある。よく知られた結合スキームはそれ自体当業者に明らかであり、シーンの内容、シーンの光源、光レベル全体、または他の基準に基づいている。さらに、結合スキームは、結合画素がパンクロマティック画素よりも低いまたは高い感光性を有するのを意図的に可能にするように選択される。

ここまで、赤、緑、および青フィルタを採用するものとして、画像センサを説明してきた。本発明は、別のフィルタを選択しても実施される。シアン、マゼンタ、イエローのセンサを採用する画像センサが当業者によく知られており、本発明はシアン、マゼンタ、およびイエローのカラーフィルタを用いて実施される。図８Ａは、図４Ａのシアン、マゼンタ、およびイエロー等価物を示し、この場合、Ｃはシアン画素、Ｍはマゼンタ画素、そしてＹはイエロー画素を表す。本発明は、４色以上の光応答を有する画素と一緒に用いることもできる。

図８Ｂは、シアン画素（Ｃで示される）、マゼンタ画素（Ｍで示される）、イエロー画素（Ｙで示される）、緑画素（Ｇで示される）を含む、本発明の最小反復単位を示す。これは、図５に示された最小反復単位のセル配列全体を維持しているが、しかし４つの異なる色の画素、ひいては４つの異なる色を有する対応セル２を含んでいる。図８Ｃは、赤画素（Ｒで示される）、青画素（Ｂで示される）、１つのカラー光応答を有する緑画素（Ｇで示される）、および、別のカラー光応答を有する別の緑画素（Ｅで示される）を含むさらに別の四色配列を示している。図８Ｄは、さらに別の四色配列を示しており、ここでは、図４Ａの緑セルのうちの１つの代わりにはイエローセルが使用されており、イエロー画素はＹによって表される。

本発明は、パンクロマティック画素に加えて、３色よりも少ない色で実施される。例えば、赤および青の色に対応するセルを有する最小反復単位が、使用に適している。

図４Ａに変わる多くの変更形が、本発明の思想の範囲内で実施される。例えば、図９は、図４Ａと同じセル構造を有してはいるが、しかし市松パターンのパンクロマティック画素を有する、本発明の別の最小反復単位を示している。このパターンは、画像の均一なパンクロマティック・サンプリングを提供し、図４Ａ、４Ｃおよび４Ｄの鉛直方向のパンクロマティック・サンプリング欠損を克服する。図９は、対角線を成してパンクロマティック画素を配列することによって、本発明を実施する一例として特徴付けられる。図９はさらに、パンクロマティック画素から成る単独対角線を有し、各対角線が、カラー画素から成る対角線によって、パンクロマティック画素から成る隣接対角線から分離されているものとして特徴付けられる。図９の別の特徴は、同じカラー画素のうちの２つまたは３つ以上から成る群が、対角線を成して並んで配列されていることである。

これまで提示されたパターンは、等しい数のパンクロマティック画素とカラー画素とを有していた。カラー画素より多くのパンクロマティック画素が存在する場合もあるので、本発明はこのような配列に限定されるものではない。図１０Ａは、本発明のさらに別の態様を示している。カラー画素は、パンクロマティック画素の格子パターン内部に埋め込まれている。このパターンは極めて良好なパンクロマティック空間サンプリングを可能にする一方、図４Ａおよび９と同じカラーセル配列を表す。図１０Ｂは、パンクロマティック格子パターンの四色態様の一例を提供する。一般に、図１０の最小反復単位は、１つまたは２つ以上のパンクロマティック画素によって各カラー画素を隣接カラー画素から分離するものとして特徴付けられる。

所与の画素パターンの場合、最小反復単位は、これよりも少ない画素を有する他の反復単位がないような反復単位として前に定義されている。同じ意味において、種々異なる画素パターンに由来する反復単位のサイズは、反復単位内の総画素数に従って比較される。一例としては、１つの画素パターンに由来する４画素×８画素反復単位は、別の画素パターンに由来する６画素×６画素反復単位よりも小さい。なぜならば、第１の反復単位内の総画素数（４×８＝３２）が、第２の反復単位内の総画素数（６×６＝３６）より少ないからである。更なる一例として、８画素×８画素を有する反復単位よりも小さい反復単位は、総画素数６４よりも少ない画素を含む。

これまで提示された全てのパターンは、各セルがパンクロマティック画素に加えて単一の色を含有しているセル構造を提示している。さらに、これまで提示された全てのパターンは、大きさが８画素×８画素未満である最小反復単位を呈している。各セル内に２つ以上の色を含むセルを有する最小反復単位を使用することもでき、また、大きさが８画素×８画素未満である最小反復単位も定義される。例えば、図１１Ａの最小反復単位は、２つのセルを有しており、各セルは２つの色：青および緑（それぞれＢおよびＧによって表される）を左のセル内に、そして赤および緑（それぞれＲおよびＧによって表される）を右のセル内に含んでいる。図１１Ａにおいて、セルは２つの色を含有しており、そしてこれらの色は、カラー感光性を改善する目的で、同じ色を結合するのを容易にするように配列されている。図１１Ｂは、赤色と青色を互い違いに配置するために、図１１Ａの最小反復単位がどのようにタイル張りされるかを示している。図１１Ｃは、４つのカラーを採用する最小反復単位を提供し、セル１つ当たり２つのカラーを提供する。図１１Ｄは、赤色と青色とを互い違いに配置するために、図１１Ｃの最小反復単位がどのようにタイル張りされるかを示している。図１１Ｄにおいて、粗いカラーパターンは、緑範囲における２つの異なるカラー光応答（ＧおよびＥによって表される）の市松模様が、赤および青（それぞれＲおよびＢによって表される）の市松模様と交互に配置されているものとして特徴付けられる。図１２Ａは、図１１Ａのパンクロマティック市松模様バージョンを提供し、そして図１２Ｂは、図１１Ｃのパンクロマティック市松模様バージョンを提供する。一般に、図１１Ａおよび１１Ｃの最小反復単位は、異種の画素、すなわち異なるカラー画素またはパンクロマティック画素によって、各カラー画素を、行および列内の隣接カラー画素から分離するものとして特徴付けられる。

これまで記載された最小反復単位は、大きさが８画素×８画素、または４画素×８画素である。しかし最小反復単位はより小さいことがある。例えば、図１３Ａは図４Ａと類似しているが、しかし各カラーセルは３画素幅×４画素高であり、最小反復単位全体は６画素幅×８画素高である。図１３Ｂは、図１３Ａのカラー画素行のうちの２つを排除し、これにより、３画素×３画素であるセル、および６画素×６画素である最小反復単位を生成する。図１３Ｃはさらに、パンクロマティック行のうちの２つを排除し、これにより３画素幅×２画素高（各セルは３つパンクロマティック画素と３つのカラー画素とを含む）であるセル、および６画素幅×４画素高である最小反復単位を生成する。各セル内部のカラーを結合するためのスキームが、図４Ａおよびその他のパターンに示された画素の数ほど多くの画素を必要としない場合には、図１３Ａ〜１３Ｃに示されたパターンを特に利用することができる。

図１４Ａはさらに別の最小反復単位を示している。図１４Ａの最小反復単位は６画素×６画素であり、各セルは、単一カラーの４画素ダイヤモンド・パターンを含み、残りの５つ画素はパンクロマティック画素である。図１４Ａに示されたパンクロマティック空間サンプリング・パターンは、若干不規則であり、各３画素×３画素セル内に、パンクロマティック市松模様と、単一のカラーによって占められた残りの画素とを有していることを示唆している。

図１５Ａは、４画素×４画素であり、そして４つの２画素×２画素セルを含む最小反復単位を示している。なお、各セルは２つのパンクロマティック画素と２つの同色カラー画素とを含む。本発明は、各セル内部のカラー画素を結合するのを容易にするために、２×２セルのそれぞれに２つの同色カラー画素を配置することを必要とする。図１５Ｂは、図１５Ａと同様であるが、しかしパンクロマティック市松パターンを採用している。

ここで図１６に目を転じると、図５の最小反復単位が４つのセルにさらに分割された状態で示されており、セルは、最小反復単位よりも少ない画素を有する、隣接する画素サブアレイである。下記処理を提供するために必要となるソフトウェアは、図１のＤＳＰ３６に含まれている。セル２２０、２２４、２２６、および２２８は、セルの一例であり、これらのセルは、それぞれ緑、赤、青、および緑の光応答を有する画素を含有する。このような例において、セル２２０は、パンクロマティック画素と緑画素とを含有し、緑画素は、画素群２２２として識別される。最終的な目標は、画素群２２２内の緑画素からの８つの緑信号を結合することにより、セル２２０に対する単一の緑信号を生成することである。画像センサの動作様式に応じて、８つ全ての信号のアナログ領域を結合する（例えば電荷ビニングによる）ことにより、単一の緑信号が生成されるか、或いは、画素群２２２から取られたより小さな画素群を結合することにより、複数の緑信号が生成される。セル２２０のパンクロマティック画素が図１７Ａに示されている。下記例において、これらのパンクロマティック画素からの８つ全ての信号が、個々にデジタル化される。セル２２０の緑画素が、図１７Ｂ〜１７Ｅに示されており、これらの画素は、それらの信号がアナログ領域でどのように結合されるかに応じて、一緒のグループに入れられる。図１７Ｂは、８つ全ての緑画素を結合することによりセル２２０（図１６）に対して単一の緑信号を生成する事例を示している。センサは、例えば図１７Ｃに示されているように、先ず画素Ｇ２１，Ｇ２２，Ｇ２３，およびＧ２４からの信号を結合し、次いで画素Ｇ４１，Ｇ４２，Ｇ４３，およびＧ４４からの信号を結合することにより、２つの緑信号を生成することができる。２つの信号は他の方法でも生成される。センサは、図１７Ｄに示されているように、先ず画素Ｇ２１，Ｇ２２，Ｇ４１，およびＧ４２からの信号を結合し、次いで画素Ｇ２３，Ｇ２４，Ｇ４３，およびＧ４４からの信号を結合することができる。センサは、４対の信号を結合することより、例えば図１７Ｅに示されているように、先ず画素Ｇ２１とＧ２２とを結合し、次いでＧ２３とＧ２４とを結合し、次いで画素Ｇ４１とＧ４２とを結合し、そして最後にＧ４３とＧ４４とを結合することにより、セル２２０に対して４つの緑信号を生成することもできる。セル２２０（図１６）内部の緑信号対を結合する数多くの更なる方法があることが明らかである。センサが全く結合を行わない場合には、８つ全ての信号がセル２２０に対して個別に報告される。こうして、セル２２０の場合、センサは、セル２２０に対して１つ、２つ、４つ、または８つの緑値を生成することができ、そして、その動作様式に応じて種々異なる方法で、これらの値を生成することができる。

セル２２４，２２６および２２８（図１６）に対しても、同様のカラー信号が、センサによってその動作様式に応じて生成される。セル２２４，２２６および２２８に対するカラー信号はそれぞれ、赤、青、および緑である。

セル２２０の事例に戻ると、いくつの信号がこのセルに対してデジタル化されるかには無関係に、本発明の画像処理アルゴリズムはさらに、デジタル化緑値を結合することにより、セルに対して単一の緑値を生成する。単一の緑値が得られる１つの方法は、セル２２０に対して生成される全てのデジタル化緑値を平均することである。セルが、異なる光応答のカラー画素を含有する場合には、セル内部に表される各カラー光応答に対して単一の値があるように、セル内部のカラーデータ全てが同様に結合される。

生画像データをキャプチャした元のセンサ内の画素に関するカラー画素と、元のセンサ内部のセルに関するカラー画素とを区別することが重要である。カラー画像を生成するために両タイプのカラー値が使用されるが、しかし、その結果生じるカラー画像は、異なる解像度を有している。元のセンサ内の画素と連携する画素値を有する画像を、高解像度画像と呼び、そして、元のセンサ内のセルと連携する画素値を有する画素を、低解像度画像と呼ぶ。

ここで図１８に目を転じると、データバス３０（図１）からのキャプチャされた生画像データを受信するデジタル信号プロセッサ・ブロック３６（図１）が示される。生画像データは、低解像度部分カラーブロック２０２および高解像度パンクローム・ブロック２０４の両方に渡される。画像センサの最小反復単位の一例が既に図５および図１６に示されている。セル２２０（図１６）の場合、キャプチャされた生画像データは、図１７Ａに示されているような個々のパンクロマティック画素によって生成されたパンクロマティック・データを含む。また、セル２２０（図１６）に対して、例えば図１７Ｂ〜Ｅに示されている結合からの、１つまたは２つ以上の緑（カラー）値も含まれる。

低解像度部分カラーブロック２０２（図１８）において、キャプチャされた生画像データから部分カラー画像が生成される。部分カラー画像は、各画素が少なくとも１つのカラー値を有しており、そして各画素がまた少なくとも１つのカラー値において欠損している、カラー画像である。画像センサの動作様式に応じて、キャプチャされた生画像データは、各セル内部のカラー画素によって生成されるいくつかのカラー値を含有している。低解像度部分カラーブロック２０２内部には、これらのカラー値は、セル内部で表される各カラーに対して単一の値に低減される。セル２２０（図１６）に対して、一例として、単一の緑カラー値が生成される。同様に、セル２２４，２２６および２２８に対しても、単一の赤、青、および緑カラー値がそれぞれ生成される。

低解像度部分カラーブロック２０２は各セルを同様に処理し、その結果、各セルに対して１つのカラー値アレイをもたらす。結果として生じた画像アレイは元のセンサ内の画素ではなく、セルに基づいているので、この画像アレイは各寸法が、元のキャプチャされた生画像データ・アレイの４分の１である。結果として生じたアレイがセルに基づいており、また各画素が全てのカラー値を有しているのではなくいくつかのカラー値を有しているので、結果として生じた画像は低解像度部分カラー画像である。この時点で、低解像度部分カラー画像はカラー・バランシングされる。

ここで高解像度パンクローム・ブロック２０４を見ると、同じ生画像データが図１６に示されているように使用される。但しパンクロマティック値だけが使用されることになる（図１７Ａ）。この時のタスクは、パンクロマティック値をまだ有していない画素においてパンクロマティック値を推定することにより、完全の高解像度パンクロマティック画像を補間することである。セル２２０（図１６）の場合、パンクロマティック値は、画素群２２２内の緑画素（図１６）に対して推定しなければならない。欠損パンクロマティック値を推定する１つのシンプルな方法は、鉛直方向に平均することである。このように例えば、我々は、画素２２におけるパンクロマティック値を下記のように推定することができる：

適応的方法を用いることもできる。例えば１つの適応的方法は、３つの勾配値を計算し、そしてこれらの絶対値：

を、図１７Ａに示すようなパンクロマティック値を使用して求めることである。同様に３つの予測子を計算する：

次いで、最小分類子値に対応する予測子に等しいＰ２２を設定する。同値の場合には、指示された予測子の平均に等しいＰ２２を設定する。パンクロマティック補間は、セル境界とは関係なしに、画像全体を通して続けられる。高解像度パンクローム・ブロック２０４の処理が行われるときには、その結果生じるデジタル・パンクロマティック画像は、元のキャプチャされた生画像と同じサイズであり、このことは、デジタル・パンクロマティック画像を高解像度パンクロマティック画像にする。

低解像度パンクローム・ブロック２０６は、高解像度パンクローム・ブロック２０４によって生成された高解像度パンクロマティック画像アレイを受信し、低解像度部分カラーブロック２０２によって生成された低解像度部分カラー画像と同じサイズである低解像度パンクロマティック画像アレイを生成する。所与のセル内部で、カラーフィルタを有する画素に対して、推定されたパンクロマティック値を平均することにより、各低解像度パンクロマティック値が得られる。セル２２０（図１６）の場合、画素群２２２（図１６）における緑画素に関して前に推定された高解像度パンクロマティック値をここで一緒に平均することにより、そのセルに対して単一の低解像度パンクロマティック値を生成する。同様に、赤フィルタを有する画素において推定された高解像度パンクロマティック値を使用して、セル２２４に対して単一の低解像度パンクロマティック値が計算される。このように、各セルは最終的には、単一の低解像度パンクロマティック値になる。

低解像度色差ブロック２０８は、低解像度部分カラーブロック２０２から低解像度部分カラー画像を、そして低解像度パンクローム・ブロック２０６から低解像度パンクロマティック・アレイを受信する。次いで、低解像度パンクロマティック画像からのガイダンスによって低解像度部分カラー画像をカラー補間することにより、低解像度中間カラー画像を形成する。後で詳述する色補間アルゴリズムの正確な性質は、元の生画像データをキャプチャするために画素光応答のどのパターンを使用したかに依存する。

低解像度中間カラー画像が形成された後、これをカラー補正する。低解像度中間カラー画像がカラー補正されたら、低解像度パンクロマティック画像を、低解像度カラー平面のそれぞれから個別に差し引くことにより、色差の低解像度画像を計算する。高解像度色差ブロック２１０は、低解像度色差ブロック２０８から低解像度色差画像を受信し、そして双線形補間を用いて低解像度色差画像をアップサンプリングすることにより、元の生画像データのサイズと一致させる。この結果得られるのが、高解像度パンクローム・ブロック２０４によって生成される高解像度パンクロマティック画像と同じサイズの高解像度色差画像である。

高解像度最終画像ブロック２１２は、高解像度色差ブロック２１０から高解像度色差画像を、そして高解像度パンクローム・ブロック２０４から高解像度パンクロマティック画像を受信する。次いで、高解像度パンクロマティック画像を高解像度色差平面のそれぞれに加えることにより、高解像度最終カラー画像を形成する。結果として生じた高解像度最終カラー画像を次いでさらに処理することができる。例えばこれをＤＳＰメモリーブロック３２（図１）内に記憶し、次いで鮮鋭化し、そしてメモリーカード・ブロック６４（図１）に記憶するために圧縮する。

図４Ａ〜Ｄ、８Ａ、９、１０Ａ、１３Ａ〜Ｃ、１４Ａ〜Ｂおよび１５Ａ〜Ｂに示されたセンサ・フィルタ・パターンは、高解像度部分カラーブロック２０２で生成された、結果としての低解像度部分カラー画像が、カラーフィルタのための反復Ｂａｙｅｒパターンを示すように、最小反復単位を有している：

低解像度部分カラー画像によって与えられる単一カラー値に加えて、いかなるセルも低解像度パンクロマティック画像によって提供されたパンクロマティック値を有している。

Ｂａｙｅｒパターンが低解像度部分カラー画像内に存在する事例を考えて、低解像度色差ブロック２０８（図１８）内のカラー補間のタスクについて、さらに詳細にここで説明する。カラー補間は、図１９Ａにおける画素２３４として示されているような、緑値をまだ有していない画素における緑値を補間することで始まる。画素２３０，２３２，２３６および２３８として示された４つの隣接画素は全て緑値を有しており、これらまた全てパンクロマティック値を有している。中心画素２３４は、パンクロマティック値を有しているが、しかしクエスチョンマークによって示されているように、緑値を有してはいない。

第１工程は、２つの分類子値、すなわち水平方向に関する第１の分類子値と、鉛直方向に関する第２の分類子値とを計算することである：

次いで、２つの予測子値、すなわち水平方向に関する第１の予測子値と、鉛直方向に関する第２の予測子値とを計算する：

最後に、ＴＨＲＥＳＨを経験的に決定された閾値として、我々は：

に従って、欠損値Ｇ３を適応的に計算することができる。

このように、両分類子が閾値よりも小さい場合には、両予測子値の平均をＧ３に対して計算する。そうでない場合には、どの分類子ＨＣＬＡＳまたはＶＣＬＡＳがより小さいかに応じて、ＨＰＲＥＤまたはＶＰＲＥＤを使用する。

欠損緑値全てが推定されたら、欠損赤値および欠損青値を補間する。図１９Ｂに示すように、画素２４２は赤値を欠損しているが、しかし２つの水平方向隣接画素、すなわち画素２４０および２４４は、それぞれ赤値Ｒ２およびＲ４を有している。３つ全ての画素は緑値を有している。これらの条件下で、画素２４２に対応する赤値（Ｒ３）に関する推定値を下記のように計算する：

欠損青値は、同様の条件下で同様に計算される。この時点では、欠損赤値および欠損青値をいまだに有する画素だけが、鉛直方向補間を必要とする。図１９Ｃに示されているように、画素２５２は赤値を欠損しているが、しかし２つの鉛直方向隣接画素、すなわち画素２５０および２５４は、それぞれ赤値Ｒ１およびＲ５を有している。これらの条件下で、画素２５２に対応する赤値（Ｒ３）に関する推定値を下記のように計算する：

欠損青値は、同様の条件下で同様に計算される。これにより、低解像度部分カラー画像の補間が完成し、結果として低解像度中間カラー画像が得られる。前述のように、低解像度パンクロマティック値を、各カラー平面、すなわち今論じている例における赤、緑、および青の平面から差し引くことにより、低解像度色差を今や計算することができる。

全てのセンサが、カラー値の反復Ｂａｙｅｒパターンを示す低解像度部分カラー画像を生成するわけではない。例えば、図１１Ａに示されたセンサ・パターンは、各セルが２つのカラー値：緑および赤、または緑および青の値を受信することを決める。その結果、この事例では、低解像度色差ブロック２０８（図１８）内のカラー補間タスクは、各画素毎の赤の欠損値または青の欠損値を推定する。図１９Ｄを参照すると、緑値（Ｇ３）を有しているが、しかし赤値（Ｒ３）を有してはしない画素２６４が示されている。４つの隣接画素２６０，２６２，２６６および２６８は緑値と赤値とを有している。画素２６４（図１９Ｄ）に対して赤値を補間する方法は、画素２３４（図１９Ａ）に対して緑値を補間するために用いられる方法と同様である。

第１工程は、２つの分類子値、すなわち水平方向に関する第１の分類子値と、鉛直方向に関する第２の分類子値とを計算することである：

次いで、２つの予測子値、すなわち水平方向に関する第１の予測子値と、鉛直方向に関する第２の予測子値とを計算する：

最後に、ＴＨＲＥＳＨを経験的に決定された閾値として、

に従って、欠損値Ｒ３を適応的に計算することができる。

このように、両分類子が閾値よりも小さい場合には、両予測子値の平均をＲ３に対して計算する。そうでない場合には、どの分類子ＨＣＬＡＳまたはＶＣＬＡＳがより小さいかに応じて、ＨＰＲＥＤまたはＶＰＲＥＤを使用する。

欠損青値は、赤の代わりに青を使用して全く同様に補間される。完了したら、低解像度中間カラー画像が生成されている。そこから、低解像度色差が前記のように形成される。

画像キャプチャ装置はしばしば、低解像度画像を提供するための要件を有する。低解像度画像に関与する画像センサ上の画素を、第１の画素の二次元アレイと呼ぶことにする。この第１の画素の二次元アレイは、センサ上のアクティブ画素全体であってよく、或いは、アレイは、より小さなセンサ領域に由来することができる。いずれの場合にも、第１の画素の二次元アレイ内の画素は、画素センサ上の実際の画素に対応する。

画像キャプチャ装置からの低解像度画像はしばしば、最大センサ解像度のわずかな割合、例えば最大解像度の１／２〜１／１０にすぎない。低解像度画像のための１つの一般的な用途は、分析のため、およびシーンのプレビューのために画像ストリームまたは画像シーケンスを提供することである。例えば、これらの低解像度画像から成る画像ストリームは、カメラの背面または電子ビューファインダ内に表示することができる。この種類のプレビュー・ストリームは、２つの重要な特性を有している。すなわち、画像は最大解像度未満であり、そして処理は、標準的なビデオ・フレーム・レート、例えば１秒当たり３０フレームのレートで画像を供給しなければならない。このような要件の別の例は、これらの低解像度画像から成る画像ストリームであるビデオの作成である。

複数の画素からの信号を結合するいくつかの方法は、低解像度画像を生成するために用いることができるが、ほとんどの結合技術は、結合されるべき画像のサンプリングおよび変換を必要とするので、これらの技術は画素読み取り速度全体を低減することはない。ビニングよりも一般的な動作を意味するように、結合という用語をここでは用いる。この結合という用語は、画素を結合するための１つの特定の方法としてビニングを含む。複数の画素からの電荷を結合することにより、低解像度画像内のアライアシングも低減される。それというのも、より多くの空間的サンプルが、ビニングされた各画素内に含まれるからである。アナログ結合という用語は、結合信号をアナログ形態からデジタル形態へ変換する前に、複数の画素からの信号を結合する任意のアプローチを意味する。この一例はビニング（電荷領域内の信号の結合）である。

第１の画素の二次元アレイ内の複数の画素からの信号をアナログ結合することにより生成された画素を、複合画素と呼ぶ。

この二次元画素アレイから低解像度画像を生成する上で、１つの方法は、最大解像度画素を単純にサブサンプリングすることである。例えば、図１０Ａを参照すると、我々はいずれの画素も、図１０Ｂの第１および第５列および第２および第６行から選択することができる。このことは、Ｂａｙｅｒパターンを有するカラー画像を生成する。このカラー画像は、Ｂａｙｅｒパターン・センサとともに働くように構成されたハードウェアを使用して補正を行うのに好都合である。このような画像は複合画素を含んでいない。

このアプローチは、多くの画質の問題を有している。すなわちこのアプローチはアライアシングを極めて被りやすく、個々の画素内の信号レベルに限定される。複数の画素からの信号を、例えばビニングによって結合することにより、信号対雑音比が改善され、アライアシングの傾向が軽減される。

読み出し前の画素信号のアナログ結合は、３つの必要性に取り組む。１つの必要性は、ビデオ・フレーム・レートに達するようにデータを低減することであり、第２の必要性は、写真スピードを高くすることであり、そして第３の必要性は、最大解像度画像のより良好なサンプリングを達成すること、例えばアライアシング・アーチファクトを低減することである。しかしながら、ＣＦＡデータに均一な間隔を設けるという第４の必要性もある。ビデオ処理のためのハードウェアは、規則的な間隔を置いた入力データのために最適化される。規則的ではない間隔を置いたＣＦＡ画像データがその代わりに使用されるならば、補正画像内でアーチファクトが生成される。

第１の画素の二次元アレイから導出された低解像度画像を生成するために少なくともいくつかの複合画素を使用するとき、その結果として生じる画像を、第２の画素の二次元アレイと呼ぶ。この第２アレイにおける画素は、規則的な間隔を有さないいくつかの画素を含むことがある。この問題を解決するためには、第２の画素の二次元アレイを使用することにより、規則的な間隔を有する、種々異なる画素位置に対応する画素を計算する。その結果生じる画像を、第３の画素の二次元アレイと呼ぶことにする。

図２０Ａは、２つの群を有する二次元画素アレイを示す。第１画素群に由来する画素はカラー画素であり、そして第２画素群に由来する画素よりも狭いスペクトル光応答を有する。第１画素群は、少なくとも２つのカラーフィルタに対応する少なくとも２つの異なるスペクトル光応答に関連する個々の画素を含む。これらの２つの画素群を混合することにより、センサの感光性全体を改善する。

図２０Ａを参照すると、ＣＦＡパターンを有する第１の画素の二次元アレイの一部が、パンクロマティック画素行とカラー画素行とを交互に含有している状態が示されている。Ｐはパンクロマティック画素を表し、そしてＲ，ＧおよびＢはそれぞれ赤、緑、および青画素を表す。一般に、このパターンは下記最小反復単位：

を有しており、ここで、Ｐは第２群の画素を表し、Ａは第１群の画素の第１の色の画素を表し、Ｂは第１群の画素の第２の色の画素を表し、そしてＣは第１群の画素の第３の色の画素を表す。例えば、一般的な最小反復単位内の第２カラーの画素Ｂは、図２０Ａにおける緑画素に対応するが、他のカラーの組も本発明とともに使用される。

図２０Ａ〜Ｂにおいて説明されたアナログ結合は、周囲照明レベル範囲、大抵は、良好な信号対雑音比を達成するために必要とされるゲインが比較的少ない高周囲照明レベルに適している。周囲照明レベルがより低いときには、信号対雑音比は低下する。このように、異なる画素を結合することにより、信号対雑音比を高くすることが好ましい。

図２１Ａを参照すると、画素のアナログ結合のための種々のパターンが示されている。図２１Ａにおいて、パンクロマティック画素とカラー画素とが、太線によって繋がれている状態で示されている。これらの太線は、これらの値のアナログ結合が行われることを示している。図２１Ａの画素は、第１の画素の二次元アレイの一部である。パンクロマティック画素およびカラー画素の両方が結合されているので、結合カラー値は、画像センサ内の個々の画素によっては達成されない複合スペクトル応答に対応する。

結果として得られた複合画素が図２１Ｂに示されている。ここでは、これらの複合画素は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１１は、第１行と第２行とに跨って示されており、この位置は、図２１Ａにおいて第１列ならびに第１行および第２行に示された２つの関与画素の平均位置である。同様に、図２１Ｂの第１行および第２行に跨る第３列におけるカラー値Ｒ１２は、図２１Ａの第３列ならびに第１行および第２行に示された２つの画素を結合する結果である。図２１Ｂの画素は、第２の画素の二次元アレイの一部である。これらの複合画素は、Ｂａｙｅｒパターンにおいて規則的な間隔を有している。

結合画素の画像を補正するときには、図２０Ｂに示された結合画素を、個々の画素と同様にバランシングし補正することができる。結合画素のスペクトル感光性は、これらの画素を結合することにより効果的に不変のままにされる。図２１Ｂに示された結合画素は異なる補正を必要する。なぜならば、パンクロマティック画素とカラー画素とを結合することにより、有効スペクトル感光性が変えられるからである。補正の当業者に明らかなように、図２１Ｂの結合画素は、図２０Ｂの結合画素よりも一般に飽和度が低い（スペクトル感光性においてより多くのオーバラップを有する）。このように、図２１Ｂに対応する補正は、図２０Ｂから生成された画像と類似する補正画像を提供するために、色飽和を増大させなければならないことになる。より大きい信号を有する画素を結合することにより信号対雑音比がかなり改善されるので、色飽和の増大から生じる雑音増幅は許容範囲にある。色飽和の増大から生じるこのような雑音増幅は、雑音低減、鮮鋭化、およびその他の動作に変化を与えることによって、緩和することもできる。これは、周囲照明レベルにも依存する補正の一例である。

図２２Ａ〜Ｂを参照すると、画素のアナログ結合のための種々のパターンが示されている。図２２Ａにおいて、パンクロマティック画素とカラー画素とが、これらの値のアナログ結合が行われることを示す太線によって繋がれている状態で示されている。図２２Ａの画素は、第１の画素の二次元アレイの一部である。結果として得られた複合画素が図２２Ｂに示されている。ここでは、これらの複合画素は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１１は、第１列と第２列と第１行と第２行とに跨って示されており、この位置は、図２２Ａの第１列および第２列ならびに第１行および第２行に示された４つの関与画素の平均位置である。同様に、図２２Ｂの第３列と第４列と第１行と第２行とに跨るカラー値Ｒ１２は、図２２Ａの第３列および第４列ならびに第１行および第２行に示された４つの画素を結合する結果である。図２２Ｂの画素は、第２の画素の二次元アレイの一部である。これらの複合画素は、Ｂａｙｅｒパターンにおいて規則的な間隔を有している。

結合画素の画像を補正するときには、図２０Ｂに示された結合画素を、個々の画素と同様にバランシングし補正することができる。結合画素のスペクトル感光性は、これらの画素を結合することにより効果的に不変のままにされる。図２１Ｂおよび図２２Ｂに示された結合画素は異なる補正を必要とする。なぜならば、パンクロマティック画素とカラー画素とを結合することにより、有効スペクトル感光性が変えられるからである。補正の当業者に明らかなように、図２１Ｂおよび図２２Ｂの結合画素は、図２０Ｂの結合画素よりも一般に飽和度が低い（スペクトル感光性においてより多くのオーバラップを有する）。このように、図２１Ｂおよび図２２Ｂに対応する補正は、図２０Ｂから生成された画像と類似する補正画像を提供するために、色飽和を増大させなければならないことになる。より大きい信号を有する画素を結合することにより信号対雑音比がかなり改善されるので、色飽和の増大から生じる雑音増幅は許容範囲にある。色飽和の増大から生じるこのような雑音増幅は、雑音低減、鮮鋭化、およびその他の動作に変化を与えることによって、緩和することもできる。これは、周囲照明レベルにも依存する補正の一例である。

図２１Ｂおよび図２２Ｂにおける結合画素は、カラー画素の線形結合ではないので、図２１Ｂおよび２２Ｂから得られる補正画像は、図２０Ｂの結合画素から得られる補正画像に正確に一致することはできない。それでもなお、補正のために何らかの調節を行うことにより、差異を緩和することができる。極めて低い周囲照明レベルで、結合画素の脱飽和、および結合画素の貧弱な信号／雑音特性は、カラー画像の供給を望ましくないものにする。例えば、大量の有色雑音を有する画像を供給するよりも、グレースケール画像を供給する方が好ましい。単にパンクロマティック画素を使用することへ切り換えることが、これらの極めて低い信号レベルにおいて効果的であり得ることが、従来技術によって明らかにされている。

好ましい態様は、画像を完全に脱飽和し、さらにプロセスにおけるノイズを低減する補正を用いて、グレースケール画像を提供する。図２０Ｂ，２１Ｂおよび２２Ｂに示されている例において、結合画素は、カラー画素の結合から、カラー画素とパンクロマティック画素との結合へ切り換えると、色再現が著しく変化する。周囲照明の変化に伴う画像特性の突然の移行は望ましくないので、好ましい態様は、色再現におけるこれらの移行を平滑化する。例えば、補正画像は、高い周囲光レベルにおける最大飽和から極めて低い光レベルにおけるグレースケールへ、突然の移行なしに徐々に変化するべきである。このことは典型的には、光レベルにおける補正の急激なシフトを必要とすることになる。この場合、我々は、カラー画素と混合されるパンクロマティック画素の比率を変える。

図２３Ａを参照すると、ＣＦＡパターンを有する第１の画素の二次元アレイの一部が示されている。図２３Ａにおいて、カラー画素対が、これらの値のアナログ結合が行われることを示す太線によって繋がれている状態で示されている。図２３Ａにおける画素は、第１の画素の二次元アレイの一部である。結果として得られた複合画素が図２３Ｂに示されている。ここでは、これらの複合画素は、関与画素の平均位置に従って配置されている。例えば、第２行において、値Ｇ１１は、第１列と第２列と第１行とに跨って示されており、この位置は、図２３Ａの第１列および第２列ならびに第１行に示された２つの関与緑画素の平均位置である。同様に、図２３Ｂの第３列と第４列とに跨るカラー値Ｒ１２は、図２３Ａの第３列および第４列に示された２つの赤画素を結合する結果である。図２３Ｂの画素は、第２の画素の二次元アレイの一部である。

しかし、これらの複合画素の間隔はまだ理想的ではない。なぜならば、複合画素間の距離が等しくないからである。図２３Ｂの画素に付けられた小さな円は、カラー値の好ましい位置を示す。シフトされた有効位置を有する新しいカラー値は、例えば：

のように計算することができる。結果として生じるカラー値Ｒ３２’およびＧ３３’は、図２３Ｃにおいて、適正な位置に他のものと一緒に示されている。なお、Ｒ３２’に関する等式は、カラー値を右上へどのようにシフトさせるかを示しており、またＧ３３’に関する等式は、カラー値を左上へどのようにシフトさせるかを示している。同様の等式が、残りの青および緑カラー値を計算するために使用することができる。図２３Ｃに示されている画素は、可視画像に対する補正に適した第３の画素の二次元アレイ部分である。

図２３Ｃにおける各画素は、同じカラーの２つの最大解像度画素に基づいている。これは、各複合画素が顕著に改善された信号対雑音比を有するという利点を有する。なお、結合画素の画像内のカラーのパターンは、標準的な処理によってさらに補正するのに好都合なＢａｙｅｒパターンである。

図２４Ａにおいて、カラー画素対が、４つの値のアナログ結合が行われることを示す太線によって、パンクロマティック画素対と一緒に繋がれている状態で示されている。図２４Ａにおける画素は、第１の画素の二次元アレイの一部である。結果として得られた複合画素が図２４Ｂに示されている。ここでは、これらの複合画素は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１１は、第１列と第２列と第１行と第２行とに跨って示されており、この位置は、図２４Ａの第１列および第２列並びに第１行および第２行に示された４つの関与画素の平均位置である。同様に、図２４Ｂの第３列と第４列と第１行と第２行とに跨るカラー値Ｒ１２は、図２４Ａの第３列および第４列並びに第１行および第２行に示された４つの関与画素を結合する結果である。図２４Ｂの画素は、第２の画素の二次元アレイの一部である。

しかし、これらの複合画素の間隔はまだ理想的ではない。なぜならば、複合画素間の距離が等しくないからである。図２４Ｂの画素に付けられた小さな円は、カラー値の好ましい位置を示す。シフトされた有効位置を有する新しいカラー値は、例えば：

のように計算することができる。結果として生じるカラー値Ｒ３２’およびＧ３３’は、図２４Ｃにおいて、適正な位置に他のものと一緒に示されている。なお、Ｒ３２’に関する等式は、カラー値を右上へどのようにシフトさせるかを示しており、またＧ３３’に関する等式は、カラー値を左上へどのようにシフトさせるかを示している。同様の等式が、残りの青および緑カラー値を計算するために使用することができる。図２４Ｃに示されている画素は、可視画像に対する補正に適した第３の画素の二次元アレイ部分である。

図２５Ａを参照すると、ＣＦＡパターンを有する第１の画素の二次元アレイの一部が、パンクロマティック画素行とカラー画素行とを交互に含有している状態が示されている。Ｐはパンクロマティック画素を表し、そしてＲ，ＧおよびＢはそれぞれ赤、緑、および青画素を表す。一般に、このパターンは下記最小反復単位：

を有しており、ここで、Ｐは第２群の画素を表し、Ａは第１群の画素の第１の色の画素を表し、Ｂは第１群の画素の第２の色の画素を表し、そしてＣは第１群の画素の第３の色の画素を表す。例えば、一般的な最小反復単位内の第２カラーの画素Ｂは、図２５Ａにおける緑画素に対応するが、他のカラーの組も本発明とともに使用される。

結果として得られた複合画素が図２５Ｂに示されている。ここでは、これらの複合画素は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１１は、第１行と第２行と第１列と第２列とに跨って示されており、この位置は、図２５Ａにおいて第１行第１列ならびに第２行第２列に示された２つの関与画素の平均位置である。同様に、図２５Ｂの第１行と第２行と第３列と第４列とに跨るカラー値Ｒ１２は、図２５Ａの第１行第３列ならびに第２行第２列に示された２つの画素を結合する結果である。図２５Ｂの画素は、第２の画素の二次元アレイの一部である。これらの複合画素は、Ｂａｙｅｒパターンにおいて規則的な間隔を有している。

周囲照明レベルがより低いときには、より多くの画素を結合することにより、信号対雑音比をさらに高くすることが好ましい。図２６Ａを参照すると、ＣＦＡパターンが示されており、４つ一組の画素が、カラー値のアナログ結合が行われることを示す太線によって繋がれている。これらの画素のうちのいくつかはパンクロマティック画素であり、またいくつかはカラー画素なので、結合カラー値は、センサ内の個々の画素によっては達成されない複合スペクトル応答に対応する。前と同様に、図２６Ａに示された画素は、第１二次画素アレイの一部である。結果として得られた複合画素が図２６Ｂに示されている。ここでは、これらの複合画素は、関与画素の平均位置に従って配置されている。例えば、値Ｇ１１は、第１行と第２行と第１列と第２列とに跨って示されており、この位置は、図２６Ａの左上コーナーに示された４つの関与画素、すなわち２つのパンクロマティック画素および２つの緑画素の平均位置である。同様に、図２６Ｂの第３列と第４列と第１行と第２行とに跨るカラー値Ｒ１２は、図２６Ａの第２列および第４列並びに第１行および第２行に示された４つの画素、すなわち２つのパンクロマティック画素および２つの赤画素を結合する結果である。図２６Ｂの複合画素は、第２の画素の二次元アレイの一部である。これらの複合画素は、Ｂａｙｅｒパターンにおいて規則的な間隔を有している。

１０ 被写体シーンからの光
１１ 撮像段
１２ レンズ
１３ ＮＤフィルタ
１４ アイリス
１６ 明るさセンサ
１８ シャッタ
２０ 画像センサ
２２ アナログ信号プロセッサ
２４ アナログ・デジタル（Ａ／Ｄ）変換器
２６ タイミング発生器
２８ 画像センサ段
３０ デジタル信号プロセッサ（ＤＳＰ）・バス
３２ デジタル信号プロセッサ（ＤＳＰ）・メモリ
３６ デジタル信号プロセッサ（ＤＳＰ）
３８ 処理段
４０ 露出コントローラ
５０ システム・コントローラ
５２ システム・コントローラ・バス
５４ プログラム・メモリ
５６ システム・メモリ
５７ ホスト・インターフェイス
６０ メモリカード・インターフェイス
６２ メモリカード・ソケット
６４ メモリカード
６８ ユーザ制御・状態インターフェイス
７０ ビューファインダ表示
７２ 露出表示
７４ ユーザ入力
７６ 状態表示
８０ ビデオ・エンコーダ
８２ 表示コントローラ
８８ 画像表示
１００ Ｂａｙｅｒパターンのための最小反復単位
１０２ 最小でないＢａｙｅｒパターンのための反復単位
１１０ 赤外線ブロック・フィルタのスペクトル透過曲線
１１２ センサの、フィルタリングされていないスペクトル光応答曲線
１１４ センサの赤光応答曲線
１１６ センサの緑光応答曲線
１１８ センサの青光応答曲線
１２０ 第１の緑セル
１２２ 赤セル
１２４ 青セル
１２６ 第２の緑セル
２０２ 低解像度部分カラーブロック
２０４ 高解像度パンクローム・ブロック
２０６ 低解像度パンクローム・ブロック
２０８ 低解像度色差ブロック
２１０ 高解像度色差ブロック
２１２ 高解像度最終画像ブロック
２２０ 第１の緑セル
２２２ 第１の緑セル内の緑画素
２２４ 赤セル
２２６ 青セル
２２８ 第２の緑セル
２３０ 欠損緑値を補間するための上側の画素値
２３２ 欠損緑値を補間するための左側の画素値
２３４ 欠損緑値を有する画素
２３６ 欠損緑値を補間するための右側の画素値
２３８ 欠損緑値を補間するための下側の画素値
２４０ 欠損赤値を補間するための左側の画素値
２４２ 欠損赤値を有する画素
２４４ 欠損赤値を補間するための右側の画素値
２５０ 欠損赤値を補間するための上側の画素値
２５２ 欠損赤値を有する画素
２５４ 欠損赤値を補間するための下側の画素値
２５６ 欠損赤値を補間するための上側の画素値
２６２ 欠損赤値を補間するための左側の画素値
２６４ 欠損赤値を有する画素
２６６ 欠損赤値を補間するための右側の画素値
２６８ 欠損赤値を補間するための下側の画素値

Claims (9)

1. 画像キャプチャ装置によってキャプチャされた画素のアレイを処理する方法であって、該方法は、
   （ａ） 第１画素群と第２画素群とを有する第１二次元アレイを用意する工程、
   該第１画素群由来の画素は、該第２画素群由来の画素よりも狭いスペクトル光応答を有しており、そして
   該第１画素群は、少なくとも２色の組に対応するスペクトル光応答を有する個々の画素を有しており、そして該第１画素群および該第２画素群の配置は、少なくとも１２個の画素を含む最小反復単位を有するパターンを画定し、該最小反復単位は、複数のセルを有しており、各セルは、異なる照明条件下でキャプチャされたカラー画像の再現を可能にするように配列された、該第１画素群から選択された特定の色を表す少なくとも２つの画素および該第２画素群から選択された複数の画素を有している；
   （ｂ） 周囲照明条件に応じて、パンクロマティック画素がカラー画素と結合されるべきか否かを決定する工程；
   （ｃ） 工程（ｂ）から決定された画素を結合することにより、前記第１の画素の二次元アレイよりも少ない画素を有する第２の画素の二次元アレイを生成する工程；そして
   （ｄ） 工程（ｃ）で生成されたカラー画素を補正する工程
   ことを含んで成る。
2. 該第１二次元アレイが、下記最小反復単位：
   

   

   （ここで、Ｐは、該第２群の画素を表し、
   Ａは、該第１群の画素の第１の色の画素を表し、
   Ｂは、該第１群の画素の第２の色の画素を表し、
   そして
   Ｃは、該第１群の画素の第３の色の画素を表す）
   を有している請求項１に記載の方法。
3. 周囲照明条件が、１つまたは２つ以上のパンクロマティック画素内の値から決定される請求項１に記載の方法。
4. 工程（ｃ）が、カラー画素とパンクロマティック画素とをアナログ結合する工程を含む請求項１に記載の方法。
5. 該第１二次元アレイは、下記最小反復単位：
   

   

   （ここで、Ｐは、該第２群の画素を表し、
   Ａは、該第１群の画素の第１の色の画素を表し、
   Ｂは、該第１群の画素の第２の色の画素を表し、
   そして
   Ｃは、該第１群の画素の第３の色の画素を表す）
   を有している請求項１に記載の方法。
6. 工程（ｃ）が、カラー画素とパンクロマティック画素とをアナログ結合する工程を含む請求項５に記載の方法。
7. 工程（ｄ）が、周囲照明レベルにも依存する補正を含む請求項１に記載の方法。
8. 電子センサによってキャプチャされた高解像度カラーデジタル画像を、より低解像度のカラーデジタル画像に変換する方法であって、該方法は、
   （ａ） 該電子センサを使用することにより、第１画素群と第２画素群とを有する第１二次元アレイをキャプチャする工程、
   該第１画素群由来の画素は、該第２画素群由来の画素よりも狭いスペクトル光応答を有しており、そして
   該第１画素群は、少なくとも２色の組に対応するスペクトル光応答を有する個々の画素を有しており、そして該第１画素群および該第２画素群の配置は、少なくとも１２個の画素を含む最小反復単位を有するパターンを画定し、該最小反復単位は、複数のセルを有しており、各セルは、異なる照明条件下でキャプチャされたカラー画像の再現を可能にするように配列された、該第１画素群から選択された特定の色を表す少なくとも２つの画素および該第２画素群から選択された複数の画素を有している；
   （ｂ） 該第１の画素の二次元アレイ内の画素をアナログ結合することにより、少なくともいくつかの複合画素を含み且つ不規則な間隔をも含む第２の二次元アレイを生成する工程；
   （ｃ） 規則的な間隔を有する第３の画素の二次元アレイを計算する工程；そして
   （ｄ） 規則化された該第３の画素の二次元アレイを補正することにより、アーチファクトが低減された補正画像を生成する工程
   を含んで成る。
9. デジタル画像ストリームがあり、該画像ストリームのうちのそれぞれ１つが請求項８に記載の方法に従って処理される請求項８に記載の方法。

Images