JP2009506646A - 光感度が改善されたイメージ・センサー - Google Patents
光感度が改善されたイメージ・センサー Download PDFInfo
- Publication number
- JP2009506646A JP2009506646A JP2008528066A JP2008528066A JP2009506646A JP 2009506646 A JP2009506646 A JP 2009506646A JP 2008528066 A JP2008528066 A JP 2008528066A JP 2008528066 A JP2008528066 A JP 2008528066A JP 2009506646 A JP2009506646 A JP 2009506646A
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixels
- image
- pixel
- pixel group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 206010034960 Photophobia Diseases 0.000 title description 6
- 208000013469 light sensitivity Diseases 0.000 title description 6
- 238000000034 method Methods 0.000 claims description 50
- 230000010354 integration Effects 0.000 claims description 39
- 230000003595 spectral effect Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 description 35
- 239000003086 colorant Substances 0.000 description 30
- 230000004298 light response Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001429 visible spectrum Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003574 free electron Substances 0.000 description 3
- 230000036211 photosensitivity Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
カラー画素とパンクロ画素を有するイメージ・センサーを用い、さまざまな照明条件下で光景のカラー画像を捕獲できる構成にされた画像キャプチャ・デバイス。
Description
本発明は、光感度が改善された二次元イメージ・センサーを備える画像キャプチャ・デバイスと、そのデバイスからの画像データの処理に関する。
画像キャプチャ・デバイスは、画像を電子的に表現にするため、電子式イメージ・センサーに頼っている。このような電子式イメージ・センサーとして、電荷結合デバイス(CCD)イメージ・センサーとアクティブ画素センサー(APS)デバイス(APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある)がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。
イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置(例えばディジタル・カメラ、携帯電話、ならびに他の用途)に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。
したがって二次元画素アレイを備える単一のセンサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが必要とされている。さらに、光景の詳細と光景の色をうまく捕獲できるようにするため光感度を向上させることも必要とされている。
簡単にまとめると、本発明の1つの特徴により、さまざまな照明条件下で光景の画像を捕獲する方法であって、
a)カラー画素とパンクロ画素を有するイメージ・センサーを用意するステップと;
b)ユーザーが1つの撮影モードを選択し、捕獲する画像の露出を、照明条件と選択した撮影モードの関数として調節するステップと;
c)その調節された露出を利用して上記イメージ・センサーに光景を捕獲させるステップを含む方法が提供される。
a)カラー画素とパンクロ画素を有するイメージ・センサーを用意するステップと;
b)ユーザーが1つの撮影モードを選択し、捕獲する画像の露出を、照明条件と選択した撮影モードの関数として調節するステップと;
c)その調節された露出を利用して上記イメージ・センサーに光景を捕獲させるステップを含む方法が提供される。
本発明に従って光景の画像を捕獲する方法は、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないことの結果、または露出時間が短いことの結果、またはアパーチャが小さいことの結果、またはセンサーに光が到達するときの他の制約の結果である。この方法は広い用途で有効に利用することができる。
本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、添付の図面を参照した好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。
イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆してはいないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。
ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明が他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント(画素)のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス(CCD)タイプまたはアクティブ画素センサー(APS)タイプ(APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある)である。本発明のパターンが使用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図4A〜図4D、図8A〜図8D、図9、図10A〜図10B、図11A、図11C、図13A〜図13C、図14A〜図14B、図15A〜図15Bに見られるが、本発明の範囲で他のパターンも利用できる。
イメージ・センサー20は対象とする光景から光10を受け取る。イメージ・センサー20の各画素から得られる電気信号は、一般に、画素に到達する光の強度と、入射光からの信号を画素が蓄積または積分する時間の長さの両方に関係する。この時間は積分時間または露出時間と呼ばれる。この文脈では、積分時間は、シャッター18が開いて光がイメージ・センサー20に到達できる状態にされている時間であり、イメージ・センサーは光を記録する機能も同時に果たす。全光強度と積分時間の組み合わせは露出と呼ばれる。光強度と積分時間のさまざまな組み合わせによって同等な露出を実現できることが理解されよう。例えば光強度が非常に低い光景で積分時間を長くすると、光強度が大きい光景で短い積分時間にした場合と同じ露出が実現される。
図1には、露出を調節するためのいくつかの要素が含まれている。フィルタ組立体13と虹彩絞り14は、センサーの位置における光強度を変化させる。シャッター18は、イメージ・センサーに光が到達することを可能にしたり阻止したりする機構を提供するのに対し、タイミング発生装置26は、イメージ・センサーがいつ能動的に画像を記録するかを制御する方法を提供する。このようにして、シャッター18とタイミング発生装置26は、合わさって積分時間を決定する。虹彩絞り14は、光が光路内に入るのを阻止する機械式アパーチャを用いることによってイメージ・センサー20に到達する光の強度を制御する。虹彩絞り14は、可変サイズの機械式アパーチャを備えること、またはサイズの違ういくつかの固定式アパーチャを備えていて、その中から選択して光路に挿入することができる。フィルタ組立体13は、光路内に光吸収性フィルタまたは光反射性フィルタを選択的に配置することにより、イメージ・センサー20に到達する光の強度を制御する別の方法を提供する。このフィルタは、あらゆる色の光を等しく減らす中性フィルタにすること、またはある色の光を他の色の光よりも選択的に減らす色バランス・フィルタにすることができる。色バランス・フィルタは、例えば光景が、相対的に青色光よりも赤色光を多く発する白熱光を照射されている場合に使用できる。フィルタ組立体13はいくつかのフィルタを備えることが可能であり、それを単独で、または組み合わせて光路内に選択的に挿入することができる。シャッター18は機械式シャッターとも呼ばれ、一般に、アクチュエータに接続されたカーテンまたは可動式ブレードを備えている。アクチュエータは、積分時間が終了するとそのカーテンまたはブレードを光路内に挿入する。いくつかのタイプのイメージ・センサーでは、そのイメージ・センサーをリセットし、しばらくしてからそのイメージ・センサーを読み出すことによって積分時間を電子的に制御することができる。リセットから読み出しまでの時間間隔が積分時間であり、タイミング発生装置26によって制御される。
図1には露出を制御するいくつかの要素を示してあるが、実施態様によっては、そのうちの1つ以上が含まれていなくてもよく、露出を制御する別の機構が存在していてもよい。これらのバリエーションは、本発明を適用できるさまざまな画像キャプチャ・デバイスに含まれると考えられる。
上述のように、同等な露出は、光強度と積分時間のさまざまな組み合わせによって実現できる。所定の光景の画像を捕獲するとき、露出は同じでも、光強度と積分時間のある特別な組み合わせが、他の同じ露出よりも好ましい可能性がある。例えばスポーツ・イベントを撮影するとき、積分時間の間に競技者が走ったり跳んだりと動くために画像がぼけることを避けるには、積分時間は一般に短いことが好ましい。この場合、虹彩絞りは、光強度を大きくするために大きなアパーチャを提供し、シャッターは、積分時間を短くすることができる。このケースは、小さなアパーチャよりも短い積分時間が好ましい撮影モードの一例、特にスポーツ撮影モードの一例である。一般に、撮影モードでは、あるタイプの光景を最もうまく捕獲するための露出を決めるのに、複数の要素を選択して組み合わせて制御することが好ましい。撮影モードの別の一例は、風景撮影モードである。この撮影モードでは、深い焦点深度にするために小さなアパーチャにするとともに、積分時間を調節して最適な露出にすることが好ましい。撮影モードのさらに別の一例は、優れた焦点深度にするために小さなアパーチャにし、光景の光レベルが低いほど積分時間を長くすることが好ましい一般撮影モードである。この積分時間は、所定の光レベルにおいて手で持つタイプのカメラのぶれが問題となるまで十分に長くし、そこで積分時間を固定して、センサーの位置における光強度を大きくするため虹彩絞りによってより大きなアパーチャにする。
図1の露出制御装置ブロック40は、上に概略を示した露出関連要素を制御または調節する。明るさセンサー・ブロック16は、可視スペクトルに反応する少なくとも1つのセンサーを備えている。明るさセンサー・ブロック16は、例えば、広い光応答を有する単一のセンサーを備えること、または狭くて異なる光応答(例えば赤、緑、青)をする複数のセンサーを備えることができる。明るさセンサー・ブロック16は、光景の光強度を表わす少なくとも1つの信号を露出制御装置ブロック40に供給する。例えば露出制御装置40が受け取った明るさ信号が、光景の全体的な明るさのレベルがセンサー20にとって高すぎることを示している場合には、露出制御装置40は、フィルタ組立体ブロック13に指示を与えて特定のNDフィルタを光路に挿入させる。あるいは赤色の明るさ信号が青色の明るさ信号のレベルを決められた量だけ超えている場合には、露出制御装置ブロック40は、フィルタ組立体ブロック13に指示を与えて特定の色バランス・フィルタを光路に挿入させ、入射した赤色光の超過分を相殺する。露出制御装置40は、フィルタ組立体13からのフィルタを利用することに加え、虹彩絞り14に指示を与えて決められたさまざまな程度の開閉をさせること、機械式シャッター18を開閉させること、システム制御装置50を通じてタイミング発生装置26を間接的に制御することができる。露出制御装置40は、上記の露出制御作用のうちの任意のものを個別に、または組み合わせて利用することができる。
露出制御装置ブロック40は、ユーザー入力ブロック74とシステム制御装置ブロック50からの入力も受け取る。上に説明した撮影モードは、一般に、ユーザーがユーザー入力として提供する。短時間のうちに連続して多数の画像を捕獲する場合、次に捕獲する光景の照明強度は、その前に捕獲された画像に関するディジタル化された画像データから推定することもできる。この画像データは、ディジタル信号処理装置36とシステム制御装置50を通過した後に露出制御装置40が利用することができ、明るさセンサー16からのディジタル信号が増強されたり、そのディジタル信号に重ね合わされたりする。
露出制御装置40は、明るさセンサー16からの光強度信号と、ユーザー入力74(撮影モードを含む)と、システム制御装置50の入力とを利用し、適切な露出にするために露出調節要素をいかにして制御するかを決定する。露出制御装置40は、正しい露出にするためにあらゆる露出調節要素をいかにして制御または調節するかを自動的に決定することができる。あるいはユーザーが、ユーザー入力ブロック74により、自らが選択した露出にするために露出調節要素を手で制御または調節することもできる。さらに、ユーザーは、いくつかの露出調節要素だけを手で制御または調節する一方で、露出制御装置40に残りの要素を自動的に制御させることもできる。露出制御装置は、ビューファインダ・ディスプレイ70と露出ディスプレイ72を通じて露出に関する情報もユーザーに提供する。ユーザー向けのこの情報には、自動的に、または手動で決定された積分時間、アパーチャ、ならびに他の露出調節要素が含まれている。この情報には、さまざまな露出調節要素の動作の限界が原因で正しい露出が実現できない場合に捕獲される画像がどの程度露出不足または露出過剰になるかも含めることができる。
図1にディジタル・カメラとして示した画像キャプチャ・デバイスは、他の特徴も備えることができる。それは例えば、オートフォーカス・システムや、取外し可能かつ交換可能なレンズである。本発明は、代替部品によって同様の機能が提供される任意のタイプのディジタル・カメラ、または他の画像キャプチャ・デバイスに適用できることが理解されよう。例えばこのディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置(例えば携帯電話や自動車)に含まれるイメージング素子で実施することもできる。
イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ/ディジタル(A/D)変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置(DSP)36に付随するメモリ32に記憶される。
ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるように1つの文章に含まれるこの機能をすべてカバーするものとする。
図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ(例えばSDRAM)を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。
システム制御装置50は、プログラム用メモリ54(フラッシュEEPROMまたは他の不揮発性メモリを含むことができる)に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、フィルタ組立体13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。
バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ(PC)または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0シリアル・インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は、一般に、ソケット62に挿入されてメモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続されるコンパクト・フラッシュ(CF)カードである。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード(MMC)、セキュア・ディジタル(SD)カードなどがある。
処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ(LCD)だが、他のタイプのディスプレイも使用される。
ユーザー・インターフェイス(ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88のすべてまたは任意の組み合わせと、ユーザー入力74が含まれる)は、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ビューファインダ・ディスプレイと、露出ディスプレイと、ユーザー入力ディスプレイは、ユーザー制御/状態インターフェイス68である。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、撮影モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ(例えば画像ディスプレイ88)に表示されるグラフィカル・ユーザー・インターフェイス(GUI)を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。
ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム/処理システムにとって適切でなければならない。
ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。
上に説明したディジタル・カメラは、単一の画像または一連の画像を捕獲する構成にして操作することができる。例えば画像センサー段28は、最高解像度の単一の画像を捕獲し、機械式シャッター18を用いて積分時間を制御する構成にできる。このケースは、スチール写真のために単一の画像を捕獲するのに非常に適している。あるいは画像センサー段は、解像度が限られた一連の画像を捕獲する構成にし、画像センサーは、積分時間を電子的に制御する構成にすることができる。この場合には、センサーの読み出し速度または機械式シャッターの動作速度による制限なしに連続した一連の画像を捕獲することができる。このケースは、例えば一連の画像を捕獲し、ビデオ・カメラの場合におけるようにビデオ信号を提供するのに役立つ。概略を説明したこれらのケースの構成は、単一の画像または一連の画像を捕獲するのに使用される構成の例だが、別の構成を利用して単一の画像または一連の画像を捕獲することもできる。本発明をさまざまな画像キャプチャ・デバイスにおいて実施し、単一の画像または一連の画像を捕獲することができる。さらに、本発明が組み込まれた画像キャプチャ・デバイスでは、ユーザーは、単一の画像の捕獲と一連の画像の捕獲のどちらにするかを選択できる。
図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子が発生する速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス(CCD)などにおけるように蓄積された電荷が画素アレイからシフトして電圧測定回路の電荷となるか、アクティブ画素センサー(APSまたはCMOSセンサー)におけるように各画素の近くの領域に電圧測定回路に対する電荷のためのエレメントを含むことができる。
以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。
イメージ・センサーという文脈では、画素(“ピクチャ・エレメント”の縮約形)は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。
カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ(CFA)として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで有効に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。
センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。
カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。
最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100は繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。
図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、以下のアメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。
図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率(すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比)に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない(が、赤外阻止フィルタ特性は有する)同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。
図3に示したパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、ある光景からの光の強度範囲がパンクロ画素の測定範囲一杯になるような光がパンクロ画素に当てられたとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。
図4Aは、2通りのの画素群を含む二次元画素アレイである。第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭い。第1の画素群は、少なくとも2つのカラー・フィルタに対応する異なる少なくとも2通りの分光光応答と関係する個々の画素を含んでいる。これら2つの画素群が混合されてセンサーの全体的感度が向上する。あとでより明確になることだが、第1の画素群と第2の画素群の位置により、少なくとも12個の画素を含む最小繰り返し単位を持つパターンが規定される。最小繰り返し単位は、捕獲された1つのカラー画像を異なる照明条件下で再現できるように配置した第1の画素群と第2の画素群を含んでいる。
図4Aに示した完成パターンは、画素アレイの全体がカバーされるようにタイル状になった最小繰り返し単位を表わしている。図2と同様、カラー画素とパンクロ画素からなるこの全体的配置を記述するのに用いられる他のいくつかの最小繰り返し単位が存在しているが、それらは性質が本質的に同等であり、それぞれ8画素×8画素の範囲の画素サブアレイである。このパターンの重要な1つの特徴は、パンクロ画素の行とカラー画素の行が交互に配置され、カラー画素の行には同じカラー光応答を持つ画素がまとめられていることである。光応答が同じ画素群と、その隣にあるいくつかのパンクロ画素が、最小繰り返し単位となる4つのセルを形成すると考えられる。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながったサブアレイである。
図4Aにおいて太線で囲まれたこれら4つのセルと、図5でセル120、122、124、126として示した4つのセルは、それぞれ4×4画素からなる4つのグループを取り囲んでいて、120は左上のセルを表わし、122は右上のセルを表わし、124は左下のセルを表わし、126は右下のセルを表わす。4つのセルはそれぞれ、8個のパンクロ画素と、カラー色応答が同じ8個のカラー画素を含んでいる。1つのセル内のカラー画素が合わさってそのセル全体の色を表わす。したがって図5のセル120は緑色セルと見なされ、セル122は赤色セルと見なされ、以下同様である。各セルは同じ色の少なくとも2つの画素を含んでいるため、同じ色の画素が組み合わさることでカラー画素とパンクロ画素の間の光感度の違いが克服される。
互いに重なっていない4つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に16個の画素が含まれることが明らかである。互いに重なっていない3つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に12個の画素が含まれることが明らかである。
本発明によれば、図4Aの最小繰り返し単位は、図5に示したセル構造を参照すると、捕獲されたカラー画像を異なる照明条件下で再現できる配置にされた高解像度パンクロ画像と低解像度ベイヤー・パターン・カラー画像の組み合わせを表わすことができる。ベイヤー・パターン画像の個々の要素は、対応するセル内のカラー画素の組み合わせを表わす。第1の画素群は低解像度カラー・フィルタ・アレイを規定し、第2の画素群は高解像度パンクロ画像を規定する。図6Aと図6Bを参照のこと。図6Aは、図4Aに対応する高解像度パンクロ画像を表わしており、図4Aからのパンクロ画素Pと内挿されたパンクロ画素P'の両方を含んでいる。図6Bは、低解像度ベイヤー・パターン・カラー画像を表わしており、R'、G'、B'は、図5において線で囲んだ各セルについて、そのセル内で組み合わされたカラー画素に付随するセルの色を表わしている。
以下の説明では、図4B〜図4D、図8A〜図8D、図9、図10A〜図10B、図11A、図11C、図12A〜図12B、図13A〜図13C、図14A〜図14B、図15A〜図15Bの全セルを図4Aにおけるように太線で囲む。
図4Aに示した別の繰り返し単位に加え、このパターンの各セルを90°回転させて図4Bに示したパターンを得る。これは実質的に同じパターンだが、水平方向ではなく鉛直方向でパンクロ・サンプリングの頻度が最大になる。図4Aと図4Bのどちらを選択するかは、それぞれ水平方向と鉛直方向いずれでパンクロ空間的サンプリングを多くしたいかによる。しかし両方のパターンで最小繰り返し単位を作り上げるために得られるセルは、両方のパターンで同じ低解像度カラー画像を生成させる。したがって図4Aと図4Bは、色の観点からは同等である。一般に、図4Aと図4Bは本発明を実現した実施例であり、パンクロ画素が行または列に直線状に配置されている。さらに、図4Aは、パンクロ画素だけの行を含んでおり、各行は、カラー画素行によって隣のパンクロ画素行と隔てられている。図4Bは、列方向に同じ性質を有する。
図4Cは図4Aに対するさらに別の最小繰り返し単位であり。セルの色特性は実質的に同じである。しかし図4Cは、パンクロ画素行とカラー画素行がセルごとに互い違いになっている。こうすることで、鉛直方向のパンクロ解像度を向上させることができる。図4Aに対するさらに別の最小繰り返し単位を図4Dに示してある。この図4Dでは、パンクロ画素行とカラー画素行が2列ごとに互い違いになっている。このようにしても鉛直方向のパンクロ解像度を向上させることができる。図4A〜図4Dに示したどの最小繰り返し単位にも共通する1つの特徴は、2つ以上の同じ色の画素群が行または列の方向に並べて配置されていることである。
図4A〜図4Dはどれも同じ色構造であり、低解像度ベイヤー・パターンを示す最小繰り返し単位を構成するセルを有する。したがって、パンクロ画素とグループ化されたカラー画素からなるさまざまな配置を本発明の範囲で構成できることがわかる。
カラー光感度を大きくすることでパンクロ光感度とカラー光感度のずれを克服するため、各セル内のカラー画素をさまざまな方法で組み合わせる。例えば同じ色の画素からの電荷をCCDイメージ・センサーの中、または貯蔵可能なタイプのアクティブ画素センサーの中で、足し合わせるかまとめる。あるいは同じ色の画素内で測定された電荷量に対応する電圧を、例えば充電されてその電圧になったキャパシタに並列に接続することによって平均する。さらに別の方法では、同じ色の画素における光のレベルのディジタル値を合計または平均する。2つの画素からの電荷を足し合わせるかまとめると信号レベルが2倍になるが、足し合わせた信号をサンプリングして読み出すことに伴う雑音は同じ大きさに留まるため、信号対雑音比は2倍になる。これは、組み合わせた画素の光感度が2倍になることに対応する。2つの画素からの光レベルのディジタル値を合計する場合には、得られる信号は2倍になるが、2つの画素を読むことに対応する雑音レベルは積になるため、雑音は2の平方根を掛けた大きさになる。したがって組み合わせた画素で得られる信号対雑音比は、組み合わされていない信号と比べて2の平方根を掛けた大きさになる。同様の分析が、電圧平均またはディジタル平均に当てはまる。
1つのセル内の同じ色の画素からの信号の加算に関する上記の方法を単独で、または組み合わせて利用する。例えば図4Aに含まれる同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせることで、図7Aに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、それぞれのR'、G'、B'は、組み合わされていない画素の2倍の感度である。あるいは図4Aに含まれる同じ色の画素から測定された値(電圧またはディジタル値)を水平方向に4つずつ組み合わせると、図7Bに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、信号は4倍になるが雑音は2倍であるため、それぞれのR'、G'、B'は組み合わされていない画素の2倍の感度である。組み合わせ方式の別の例では、図7Aに示したように同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせ、水平方向には図7Aの組み合わされた画素の測定値を4つ合計または平均すると、図7Cの組み合わされた最終カラー画素が得られる。ここに、R"、G"、B"は、同じ色の画素の最終的な組み合わせを表わす。この組み合わせ配置では、図7Cの組み合わされた最終カラー画素は、それぞれ、組み合わされていない画素の4倍の感度である。ある構造のセンサー、特にある配置のCCDにすると、各セル内の同じ色の8つの画素すべてからの電荷を図7Cのように組み合わせることができるため、組み合わされたカラー画素の感度は8倍になる。
上記の説明から、カラー画素の光感度を調節する目的でカラー画素を組み合わせる際にはいくつかの自由度があることが理解されよう。当業者には、よく知られた組み合わせ法が思い浮かぶであろう。その組み合わせ法は、光景の内容、光景の光の状態、全体的な光のレベル、または他の基準に基づいている。さらに、組み合わせ法は、組み合わせた画素をパンクロ画素よりも意図的に低い感度または高い感度にできるように選択される。
ここまで赤色フィルタ、緑色フィルタ、青色フィルタを用いたイメージ・センサーを説明してきた。本発明は別のフィルタを選択して実施することもできる。シアン色センサー、マゼンタ色センサー、イエロー色センサーを用いたイメージ・センサーが従来技術でよく知られており、本発明をシアン色フィルタ、マゼンタ色フィルタ、イエロー色フィルタを用いて実施できる。図8Aには、図4Aと同等なシアン、マゼンタ、イエローを示してある。ただしCはシアン色画素、Mはマゼンタ色画素、Yはイエロー色画素を表わす。本発明は、4色以上の光応答を有する画素でも利用できる。
図8Bは、シアン色画素(Cと表記)と、マゼンタ色画素(Mと表記)と、イエロー色画素(Yと表記)と、緑色画素(Gと表記)を含む本発明の最小繰り返し単位を示している。これは、図5に示した最小繰り返し単位の全体的なセル配置が同じだが、異なる4色の画素を含んでいるため、対応する異なる4色のセルになっている。図8Cは、赤色画素(Rと表記)と、青色画素(Bと表記)と、あるカラー光応答を示す緑色画素(Gと表記)と、それとは異なるカラー光応答を示す別の緑色画素(Eと表記)を含むさらに別の4色配置を示している。図8Dはさらに別の4色配置を示しており、図4Aの緑色セルの1つがイエロー・セルで置き換えられている。ここではイエロー画素をYと表記してある。
本発明は、パンクロ画素に加え、3色よりも少ない色を用いて実施される。例えば赤色と青色に対応するセルを有する最小繰り返し単位が使用に適している。
図4Aに対する多くの代替例を本発明の範囲で実施できる。例えば図9は、図4Aとセル構造が同じだが、パンクロ画素が市松模様になった本発明の別の最小繰り返し単位を示している。このパターンだと画像の一様なパンクロ・サンプリングがなされるため、図4A、図4C、図4Dに欠けている鉛直方向のパンクロ・サンプリングという問題が解決する。図9は、斜め方向にパンクロ画素を配置することによって本発明を実施した一例であることを特徴とする。図9はさらに、斜め方向にパンクロ画素が1つずつ並んだ複数の線を含んでいて、斜め方向のそれぞれの線は、斜め方向に並んだカラー画素の線によってパンクロ画素が斜め方向に並んだ隣の線から隔てられていることを特徴とする。図9のさらに別の特徴は、同じ色の2つ以上の画素が斜め方向の線上に並べて配置されていることである。
これまでに示したパターンは、パンクロ画素とカラー画素の数が同じであった。本発明がこの配置に限定されることはなく、パンクロ画素がカラー画素よりも多くてもよい。図10Aは本発明のさらに別の実施態様を示しており、カラー画素が格子パターンになったパンクロ画素の中に埋め込まれている。このパターンによって非常に優れたパンクロ空間サンプリングがなされる一方で、図4Aおよび図9と同じ色のセル配置となる。図10Bは、格子パターンのパンクロ画素でカラー画素を4色にした場合の一例である。一般に、図10の最小繰り返し単位は、それぞれのカラー画素が1つ以上のパンクロ画素によって隣のカラー画素から隔てられていることを特徴とする。
所定の画素パターンに関し、最小繰り返し単位を、画素がより少ない繰り返し単位がない繰り返し単位と定義した。同じ意味で、いろいろな画素パターンからの繰り返し単位のサイズを、その繰り返し単位に含まれる全画素数で比較する。一例として、ある1つの画素パターンからの4画素×8画素繰り返し単位は、別の画素パターンからの6画素×6画素繰り返し単位よりも小さい。なぜなら第1の繰り返し単位に含まれる全画素数(4×8=32)は、第2の繰り返し単位に含まれる全画素数(6×6=36)よりも少ないからである。さらに別の一例として、8画素×8画素の繰り返し単位よりも小さい繰り返し単位は、合計で64個よりも少ない画素を含んでいる。
これまでに提示したどのパターンも、各セルが、パンクロ画素に加えて一色のカラー画素だけを含むというセル構造であった。さらに、これまでに提示したどのパターンも、8×8画素の大きさの最小繰り返し単位であった。各セルに2色以上が含まれるセルを有する最小繰り返し単位も利用できる。また、大きさが8×8画素よりも小さい最小繰り返し単位も定義される。例えば図11Aの最小繰り返し単位は2つのセルを持ち、各セルは2つの色を含んでいる。すなわち左側のセルには青と緑(それぞれBとGで表記)、右側のセルには赤と緑(それぞれRとGで表記)が含まれる。図11Aでは、セルは2色を含んでいて、これらの色は、色感度を向上させるために同じ色を容易に組み合わせられるように配置されている。図11Bは、図11Aの最小繰り返し単位をどのように並べると赤色と青色が互い違いになるかを示している。図11Cは、セルごとに2色を用いて合計で4色にした最小繰り返し単位を示している。図11Dは、図11Cの最小繰り返し単位どのように並べると赤色と青色が互い違いになるかを示している。図11Dでは、大きなカラー・パターンは、カラー光応答が異なる2つの緑(GとEで表記)からなる市松模様が、赤と青からなる市松模様(それぞれRとBで表記)の中に挿入されていることを特徴とする。図12Aは図11Aをパンクロ画素に関して市松模様にしたバージョンであり、図12Bは図11Cをパンクロ画素に関して市松模様にしたバージョンである。一般に、図11Aと図11Cの最小繰り返し単位は、各カラー画素が、行と列で近くにある同じ色のカラー画素から似ていない画素(異なる色のカラー画素またはパンクロ画素)によって隔てられていることを特徴とする。
これまで説明してきた最小繰り返し単位は、8×8画素または4×8画素の範囲であった。しかし最小繰り返し単位はより小さい。例えば図13Aは図4Aと同様だが、各カラー・セルは幅が3画素×高さが4画素であり、最小繰り返し単位の全体は、幅が6画素×高さが8画素である。図13Bでは図13Aから2つのカラー画素行が除去されているため、3画素×3画素のセルと、6画素×6画素の最小繰り返し単位になる。図13Cではさらに2つのパンクロ画素行が除去されているため、幅が3画素×高さが2画素のセル(各セルは3つのパンクロ画素と3つのカラー画素を含んでいる)と、幅が6画素×高さが4画素の最小繰り返し単位になる。図13A〜図13Cに示したパターンは、各セル内で色を組み合わせる際に図4Aや他のパターンに示したよりも画素を少なくする必要がある場合に特に有効である。
図14Aはさらに別の最小繰り返し単位を示している。図14Aの最小繰り返し単位は6画素×6画素であり、各セルは、1つの色のダイヤモンド型になった4つの画素と、パンクロ画素である残る5つの画素を含んでいる。図14Aに示したパンクロ空間サンプリング・パターンは幾分か不規則であるため、市松模様になったパンクロ画素と、それぞれの3画素×3画素セルの中で1つの色だけで占められた残りの画素とからなる図14Bのパターンが示唆される。
図15Aは4×4画素の最小繰り返し単位であり、2×2画素のセルを4つ含んでいる。各セルは、2つのパンクロ画素と同じ色の2つのカラー画素を含んでいることに注意されたい。本発明では、各セル内で容易にカラー画素を組み合わせることができるようにするため、それぞれの2×2セルに同じ色の2つのカラー画素が配置されている必要がある。図15Bは図15Aと同様だが、パンクロ画素を市松模様のパターンにしてある。
露出を制御する方法についてすでに説明した。その中には、イメージ・センサーにおいて積分時間を電子的に制御する方法が含まれる。本発明の文脈では、この露出制御法により、パンクロ画素の光感度とカラー画素の光感度の間の不一致を克服する別の方法が提供される。パンクロ画素のために1つの積分時間を提供し、カラー画素のためにそれとは異なる積分時間を提供することにより、それぞれの画素群のための全体的露出を最適にすることができる。一般にカラー画素はパンクロ画素より遅いため、カラー画素にはパンクロ画素よりも長い積分時間を適用するとよい。さらに、カラー画素のそれぞれの色に異なる積分時間を適用することで、それぞれの色に関する露出を現在の光景捕獲条件にとって最適にすることができる。例えば白熱光源で照射されている光景からの光は、相対的に赤色光を緑色光および青色光よりも多く含んでいる。この場合には、緑色画素と青色画素のための積分時間をより長くし、赤色画素のための積分時間をより短くすることで、赤色光が相対的に多いことを相殺する。
ここで図16に移ると、図5の最小繰り返し単位を4つのセルに分割した状態が示してある。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながった画素サブアレイである。以下の処理を行なうのに必要なソフトウエアは、図1のDSP 36に収容されている。セル220、224、226、228は、光応答がそれぞれ緑、赤、青、緑である画素を含むセルの例である。この例では、セル220は、パンクロ画素と緑色画素の両方を含んでいて、緑色画素は画素群222として特定される。最終的な目標は、画素群222の緑色画素からの8つの緑色信号を組み合わせることによってセル220のための単一の緑色信号を発生させることである。イメージセンサーの動作モードに応じ、同じ色の領域の8つの緑色信号をすべて組み合わせることによって(例えば電荷を合計することによって)単一の緑色信号を発生させるか、画素群222から取り出したより小さな画素群を組み合わせることによって多数の緑色信号を発生させる。セル220のパンクロ画素を図17Aに示してある。次の例では、これらパンクロ画素からの8つの信号をすべて個別にディジタル化する。セル220の緑色画素を図17B〜図17Eに示してあり、ここでは緑色画素が同じ色の領域でいかにして組み合わされるかに従ってまとめられている。図17Bは、8つの緑色画素がすべて組み合わされてセル220のための単一の緑色信号を発生させる場合である(図16)。センサーは、図17Cに示してあるように、例えばまず最初に画素G21、G22、G23、G24からの信号を組み合わせ、次に画素G41、G42、G43、G44からの信号を組み合わせることによって2つの緑色信号を発生させる。2つの信号は他の方法で発生させることもできる。センサーは、図17Dに示してあるように、まず最初に画素G21、G22、G41、G42からの信号を組み合わせ、次に画素G23、G24、G43、G44からの信号を組み合わせることができる。センサーは、図17Eに示してあるように、4対の信号を組み合わせることによって(例えば画素G21を画素G22と組み合わせ、次に画素G23を画素G24と組み合わせ、次に画素G41を画素G42と組み合わせ、最後に画素G43を画素G44と組み合わせることによって)セル220のための4つの緑色信号を発生させることもできる。セル220(図16)の中で緑色信号のペアを組み合わせる他の多くの方法が存在していることは明らかである。センサーが組み合わせをまったく実行しない場合には、8つの緑色信号はすべて個別にセル220に報告される。このようにセル220の場合には、センサーは、その動作モードに応じ、セル220のための1個、2個、4個、8個いずれかの緑色値を異なった方法で発生させることができる。
セル224、226、228(図16)に関しては、センサーの動作モードに応じてセンサーから同様のカラー信号が発生する。セル224、226、228のカラー信号は、それぞれ赤、青、緑である。
セル220の場合に戻ると、このセルのためにどれだけ多くの信号がディジタル化されるかに関係なく、本発明の画像処理アルゴリズムはさらに、ディジタル化された緑色値を組み合わせてこのセルのための単一の緑色値を生成させる。単一の緑色値を得るための1つの方法は、セル220のために生成されたディジタル化されたすべての緑色値を平均するというものである。セルに光応答の異なるカラー画素が含まれている場合には、そのセル内の全カラー・データを同様にして組み合わせ、そのセル内に現われるそれぞれの色の光応答に関して単一の値が存在するようにする。
生の画像データを捕獲した原初のセンサー内の画素に関するカラー値と、原初のセンサー内のセルに関するカラー値を区別することが重要である。両方のタイプのカラー値を利用してカラー画像を生成させるが、得られるカラー画像は解像度が異なる。原初のセンサー内の画素に関する画素値を持つ画像は、高解像度画素と呼ばれ、原初のセンサー内のセルに関する画素値を持つ画像は、低解像度画素と呼ばれる。
ここで図18に移ると、ディジタル信号処理装置ブロック36(図1)が、捕獲された生画像データをデータ・バス30(図1)から受け取ることが示してある。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。イメージ・センサーのための最小繰り返し単位の一例はすでに図5と図16に示した。セル220(図16)の場合には、捕獲された生の画像データは、図17Aに示したように個別のパンクロ画素から発生したパンクロ・データを含んでいる。また、セル220(図16)では、例えば図17B〜図17Eに示した組み合わせからの1つ以上の緑色(カラー)値も含まれる。
低解像度不完全カラー・ブロック202(図18)では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。センサーの動作モードに応じ、捕獲された生データは、各セル内のカラー画素が発生させた何個かのカラー値を含んでいる。低解像度不完全カラー・ブロック202の中では、これらカラー値の数が減らされ、セル内に表われるそれぞれの色のための単一の値になる。一例としてセル220(図16)では、単一の緑色値が生成される。同様に、セル224、226、228では、単一の赤色値、青色値、緑色値がそれぞれ生成される。
低解像度不完全カラー・ブロック202は、各セルを同様にして処理することでカラー値のアレイを得る。なお、各セルにつき1つのカラー値となる。得られる画像アレイは、原初のセンサーの画素ではなくセルに基づいているため、原初の捕獲された生画像データ・アレイと比べてそれぞれのサイズが1/4である。得られるアレイはセルに基づいているため、そして各画素はすべてのカラー値ではないがいくつかのカラー値を持つため、得られる画像は低解像度不完全カラー画像である。この点で、低解像度不完全カラー画像は色のバランスが取れている。
ここで高解像度パンクロ・ブロック204を見ると、図16に示したのと同じ生画像データが利用される。しかしパンクロ値だけが利用される(図17A)。ここでのタスクは、パンクロ値をまだ持たない画素のパンクロ値を推定することによって完全な高解像度パンクロ画像を内挿することである。セル220(図16)の場合には、画素群222(図16)の緑色画素に関してパンクロ値を推定せねばならない。欠けているパンクロ値を推定する簡単な1つの方法は、鉛直方向に平均することである。例えば画素22におけるパンクロ値は以下のようにして推定することができる。
P22 = (P12 + P32)/2
適応法も利用することができる。例えば1つの適応法は、図17Aに示したパンクロ値を利用して3つの勾配値を計算し、その絶対値を取るというものである。
SCLAS = ABS (P31 - P13)
VCLAS = ABS (P32 - P12)
BCLAS = ABS (P33 - P11)
同様にして3つの予想値が計算される。
SPRED = (P31 + P13)/2
VPRED = (P32 + P12)/2
BPRED = (P33 + P11)/2
P22 = (P12 + P32)/2
適応法も利用することができる。例えば1つの適応法は、図17Aに示したパンクロ値を利用して3つの勾配値を計算し、その絶対値を取るというものである。
SCLAS = ABS (P31 - P13)
VCLAS = ABS (P32 - P12)
BCLAS = ABS (P33 - P11)
同様にして3つの予想値が計算される。
SPRED = (P31 + P13)/2
VPRED = (P32 + P12)/2
BPRED = (P33 + P11)/2
次に、P22を、最も小さい分類値に対応する予想値に等しくする。同じ値の場合には、P22を得られた予想値の平均値に設定する。パンクロに関する内挿を、セルの境界とは無関係に画像全体について続ける。高解像度パンクロ・ブロック204での処理が終了すると、得られたディジタル・パンクロ画像は、原初の捕獲された生画像とサイズが同じであるため、高解像度パンクロ画像になる。
低解像度パンクロ・ブロック206は、ブロック204で生成された高解像度パンクロ画像アレイを受け取り、ブロック202で生成された低解像度不完全カラー画像と同じサイズの低解像度パンクロ画像アレイを生成させる。それぞれの低解像度パンクロ値は、所定のセル内で、カラー・フィルタを有する画素について、推定されたパンクロ値を平均することによって得られる。セル220(図16)の場合には、画素群222(図16)の緑色画素に関して以前に推定した高解像度パンクロ値が平均され、このセルのための単一の低解像度パンクロ値となる。同様に、セル224のため、単一の低解像度パンクロ値が、赤色フィルタを有する画素で推定された高解像度パンクロ値を利用して計算される。このようにして、各セルは最終的に単一の低解像度パンクロ値を持つ。
低解像度色差ブロック208は、ブロック202から低解像度不完全カラー画像を受け取ると同時に、ブロック206から低解像度パンクロ・アレイを受け取る。次に、低解像度中間カラー画像が、低解像度パンクロ画像をガイドとして低解像度不完全カラー画像の色を内挿することによって形成される。色内挿アルゴリズムの正確な特徴(あとで詳しく説明する)は、原初の生画像データを捕獲するのにどの画素光応答パターンを用いたかに依存する。
低解像度中間カラー画像が形成された後、色が補正される。低解像度中間カラー画像の色が補正されると、それぞれの低解像度色平面から個別に低解像度パンクロ画像を差し引くことによって色差の低解像度画像が計算される。高解像度色差ブロック210は、ブロック208から低解像度色差画像を受け取り、双一次内挿を利用して低解像度色差画像のアップサンプリングを行なうことで、原初の生画像データのサイズを一致させる。結果は、ブロック204が生成させた高解像度パンクロ画像と同じサイズの高解像度色差画像である。
高解像度最終画像ブロック212は、ブロック210から高解像度色差画像を受け取ると同時に、ブロック204から高解像度パンクロ画像を受け取る。次に、高解像度パンクロ画像をそれぞれの高解像度色差平面に加算することによって高解像度最終画像が形成される。得られた高解像度最終画像はさらに処理することができる。例えばDSPメモリ・ブロック32(図1)に記憶された後、シャープにされ、圧縮されてメモリ・カード・ブロック64(図1)に記憶される。
図4A〜図4D、図8A、図9、図10A、図13A〜図13C、図14A〜図14B、図15A〜図15Bに示したセンサー・フィルタのパターンは、ブロック202で生成された低解像度不完全カラー画像が、カラー・フィルタに関して繰り返しベイヤー・パターン:
G R
B G
を示すような最小繰り返し単位を有する。
G R
B G
を示すような最小繰り返し単位を有する。
どのセルも、低解像度不完全カラー画像によって与えられる単一のカラー値に加え、低解像度パンクロ画像によって与えられるパンクロ値も有する。
ベイヤー・パターンが低解像度不完全カラー画像に存在している場合を考えると、低解像度色差ブロック208(図18)における色内挿というタスクを今やより詳細に説明することができる。色内挿は、図19Aの画素234に示してあるように、緑色値をまだ持たない画素における緑色値を内挿することから開始する。隣にある4つの画素(画素230、232、236、238として示してある)はすべて緑色値を持ち、パンクロ値も持っている。中心の画素234はパンクロ値を持つが、疑問符で示してあるように緑色値は持たない。
第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (P4 - P2) + ABS (2×P3 - P2 - P4)
VCLAS = ABS (P5 - P1) + ABS (2×P3 - P1 - P5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (G4 + G2)/2 + (2×P3 - P2 - P4)/2
VPRED = (G5 + G1)/2 + (2×P3 - P1 - P5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値G3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
G3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
G3 = VPRED
ELSE
G3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してG3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
HCLAS = ABS (P4 - P2) + ABS (2×P3 - P2 - P4)
VCLAS = ABS (P5 - P1) + ABS (2×P3 - P1 - P5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (G4 + G2)/2 + (2×P3 - P2 - P4)/2
VPRED = (G5 + G1)/2 + (2×P3 - P1 - P5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値G3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
G3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
G3 = VPRED
ELSE
G3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してG3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
欠けているすべての緑色値が推定されると、欠けている赤色値と青色値が内挿される。図19Bに示してあるように、画素242には赤色値が欠けているが、水平方向に隣接している2つの画素(画素240と244)はそれぞれ赤色値R2とR4を持つ。これら3つの画素はどれも緑色値を持つ。このような条件下では、画素242に関する赤色値(R3)は以下のようにして計算される。
R3 = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
欠けている青色値は、同様の条件下で同じようにして計算される。この時点では、まだ赤色値と青色値が欠けている画素だけが、鉛直方向の内挿を必要とする画素である。図19Cに示してあるように、画素252には赤色値が欠けており、鉛直方向に隣接している2つの画素(画素250と254)はそれぞれ赤色値R1とR5を持つ。このような条件下では、画素252に関する赤色値(R3)は以下のようにして計算される。
R3 = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
欠けている青色値は、同様の条件で同じようにして計算される。こうすることで、低解像度不完全カラー画像の内挿が完成し、その結果が低解像度中間カラー画像となる。すでに説明したように、低解像度色差は、今やそれぞれの色平面(すなわち上で説明した例における赤、緑、青)から低解像度パンクロ値を差し引くことによって計算できる。
R3 = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
欠けている青色値は、同様の条件下で同じようにして計算される。この時点では、まだ赤色値と青色値が欠けている画素だけが、鉛直方向の内挿を必要とする画素である。図19Cに示してあるように、画素252には赤色値が欠けており、鉛直方向に隣接している2つの画素(画素250と254)はそれぞれ赤色値R1とR5を持つ。このような条件下では、画素252に関する赤色値(R3)は以下のようにして計算される。
R3 = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
欠けている青色値は、同様の条件で同じようにして計算される。こうすることで、低解像度不完全カラー画像の内挿が完成し、その結果が低解像度中間カラー画像となる。すでに説明したように、低解像度色差は、今やそれぞれの色平面(すなわち上で説明した例における赤、緑、青)から低解像度パンクロ値を差し引くことによって計算できる。
カラー値が繰り返しベイヤー・パターンを示す低解像度不完全カラー画像をすべてのセンサーが生成させるわけではない。例えば図11Aに示したセンサー・パターンでは、各セルが2つのカラー値(すなわち緑と赤、または緑と青)を持つように決められている。したがってこの場合には、低解像度色差ブロック208(図18)における色内挿というタスクにより、各画素について欠けている赤色値または青色値が推定される。図19Dを参照すると、画素264は、緑色値(G3)を持つが、赤色値(R3)は持たないことが示してある。隣接する4つの画素260、262、266、268は、緑色値と赤色値を持つ。画素264(図19D)に関して赤色値を内挿する方法は、画素234(図19A)に関して緑色値を内挿するのに用いた方法と同様である。
第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (G4 - G2) + ABS (2×G3 - G2 - G4)
VCLAS = ABS (G5 - G1) + ABS (2×G3 - G1 - G5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
VPRED = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値R3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
R3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
R3 = VPRED
ELSE
R3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してR3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
HCLAS = ABS (G4 - G2) + ABS (2×G3 - G2 - G4)
VCLAS = ABS (G5 - G1) + ABS (2×G3 - G1 - G5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
VPRED = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値R3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
R3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
R3 = VPRED
ELSE
R3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してR3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。
欠けている青色値は、赤色値の代わりに青色値を用いてまったく同じ方法で内挿される。それが終わると、低解像度中間カラー画像が生成される。そこから低解像度色差がすでに説明したようにして計算される。
10 対象となる光景からの光
11 イメージング段
12 レンズ
13 フィルタ組立体
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ/ディジタル(A/D)変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置(DSP)のバス
32 ディジタル信号処理装置(DSP)のメモリ
36 ディジタル信号処理装置(DSP)
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御/状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 最小ではないベイヤー・パターンのための繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 第1の緑色セル
122 赤色セル
124 青色セル
126 第2の緑色セル
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 第1の緑色セル
222 第1の緑色セル内の緑色画素
224 赤色セル
226 青色セル
228 第2の緑色セル
230 欠けた緑色値を内挿するための上側画素
232 欠けた緑色値を内挿するための左側画素
234 緑色値が欠けた画素
236 欠けた緑色値を内挿するための右側画素
238 欠けた緑色値を内挿するための下側画素
240 欠けた赤色値を内挿するための左側画素
242 赤色値が欠けた画素
244 欠けた赤色値を内挿するための右側画素
250 欠けた赤色値を内挿するための上側画素
252 赤色値が欠けた画素
254 欠けた赤色値を内挿するための下側画素
260 欠けた赤色値を内挿するための上側画素
262 欠けた赤色値を内挿するための左側画素
264 赤色値が欠けた画素
266 欠けた赤色値を内挿するための右側画素
268 欠けた赤色値を内挿するための下側画素
11 イメージング段
12 レンズ
13 フィルタ組立体
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ/ディジタル(A/D)変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置(DSP)のバス
32 ディジタル信号処理装置(DSP)のメモリ
36 ディジタル信号処理装置(DSP)
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御/状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 最小ではないベイヤー・パターンのための繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 第1の緑色セル
122 赤色セル
124 青色セル
126 第2の緑色セル
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 第1の緑色セル
222 第1の緑色セル内の緑色画素
224 赤色セル
226 青色セル
228 第2の緑色セル
230 欠けた緑色値を内挿するための上側画素
232 欠けた緑色値を内挿するための左側画素
234 緑色値が欠けた画素
236 欠けた緑色値を内挿するための右側画素
238 欠けた緑色値を内挿するための下側画素
240 欠けた赤色値を内挿するための左側画素
242 赤色値が欠けた画素
244 欠けた赤色値を内挿するための右側画素
250 欠けた赤色値を内挿するための上側画素
252 赤色値が欠けた画素
254 欠けた赤色値を内挿するための下側画素
260 欠けた赤色値を内挿するための上側画素
262 欠けた赤色値を内挿するための左側画素
264 赤色値が欠けた画素
266 欠けた赤色値を内挿するための右側画素
268 欠けた赤色値を内挿するための下側画素
Claims (21)
- さまざまな照明条件下で光景の画像を捕獲する方法であって、
a)カラー画素とパンクロ画素を有するイメージ・センサーを用意するステップと;
b)ユーザーが1つの撮影モードを選択し、捕獲する画像の露出を、照明条件と選択した撮影モードの関数として調節するステップと;
c)その調節された露出を利用して上記イメージ・センサーに光景を捕獲させるステップを含む方法。 - d)捕獲された上記画像からディジタル・パンクロ画像と中間ディジタル・カラー画像を生成させるステップと;
e)そのディジタル・パンクロ画像と中間ディジタル・カラー画像を用いて最終ディジタル・カラー画像を生成させるステップをさらに含む、請求項1に記載の方法。 - 捕獲する画像の露出を自動制御する、請求項1に記載の方法。
- 捕獲する画像の露出を手で制御する、請求項1に記載の方法。
- さまざまな照明条件下で光景の画像を捕獲する方法であって、
a)第1の画素群と第2の画素群を有する二次元画素アレイ(ただし、第1の画素群は第2の画素群よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する異なる分光光応答を持ち、第1の画素群と第2の画素群の位置が、少なくとも12個の画素を含む最小繰り返し単位を有するパターンを規定し、その最小繰り返し単位は複数のセルを含んでいて、各セルは、第1の画素群から選択された特定の1つの色を表わす少なくとも2つの画素と、第2の画素群から選択され、さまざまな照明条件下で捕獲されたカラー画像の再現を可能ならしめるように配置された複数の画素とを含んでいる)を用意するステップと;
b)ユーザーが好ましい1つの撮影モードを選択し、捕獲する画像の露出を、照明条件と選択した撮影モードの関数として調節するステップと;
c)その調節された露出を利用して上記イメージ・センサーに光景を捕獲させるステップを含む方法。 - d)捕獲された上記画像からディジタル・パンクロ画像と中間ディジタル・カラー画像を生成させるステップと;
e)そのディジタル・パンクロ画像と中間ディジタル・カラー画像を用いて最終ディジタル・カラー画像を生成させるステップをさらに含む、請求項5に記載の方法。 - 捕獲する画像の露出を自動制御する、請求項5に記載の方法。
- 捕獲する画像の露出を手で制御する、請求項5に記載の方法。
- 上記イメージ・センサーが、電荷結合デバイスまたはアクティブ画素センサーである、請求項5に記載の方法。
- さまざまな照明条件下で光景の画像を捕獲する方法であって、
a)第1の画素群と第2の画素群を有する二次元画素アレイ(ただし、第1の画素群は第2の画素群よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する異なる分光光応答を持ち、第1の画素群と第2の画素群の位置が、少なくとも12個の画素を含む最小繰り返し単位を有するパターンを規定し、その最小繰り返し単位は複数のセルを含んでいて、各セルは、第1の画素群から選択された特定の1つの色を表わす少なくとも2つの画素と、第2の画素群から選択され、さまざまな照明条件下で捕獲されたカラー画像の再現を可能ならしめるように配置された複数の画素とを含んでいる)を用意するステップと;
b)上記光景からの光を受け取り、その受け取った光を光路に沿って上記イメージ・センサー上に焦点を結ばせるステップと;
c)光景の光強度を表わす信号を発生させるステップと;
d)その信号に応答して上記イメージ・センサーの露出を調節するステップを含む方法。 - 上記イメージ・センサーが、電荷結合デバイスまたはアクティブ画素センサーである、請求項10に記載の方法。
- ステップd)に、光景の光強度が所定のレベルを超えたときに光路内に少なくとも1つの中性フィルタを配置することで、上記センサー上に焦点を結ぶ光の量を制限する操作が含まれる、請求項10に記載の方法。
- ステップd)に、光路内に少なくとも1つの色バランス・フィルタを配置する操作が含まれる、請求項10に記載の方法。
- ステップd)に、上記画像キャプチャ・デバイスのアパーチャを変えて上記イメージ・センサーに対する光の露出を変化させる操作が含まれる、請求項10に記載の方法。
- ステップd)に、上記イメージ・センサーの画素の積分時間を変えてその上記イメージ・センサーに対する光の露出を変化させる操作が含まれる、請求項10に記載の方法。
- 機械式シャッターを用いて上記イメージ・センサーの画素の積分時間を制御する操作をさらに含む、請求項15に記載の方法。
- タイミング発生装置を用いて上記イメージ・センサーの画素の積分時間を電子的に制御する操作をさらに含む、請求項15に記載の方法。
- ステップd)に、異なる画素に少なくとも2つの異なる積分時間が提供されるように上記イメージ・センサーの画素の積分時間を変える操作が含まれる、請求項10に記載の方法。
- 第1の画素群の積分時間と第2の画素群の積分時間を異なる値にする、請求項18に記載の方法。
- 第1の画素群に含まれるそれぞれの色の画素の積分時間を、他の色の画素の積分時間とは異なる値にする、請求項18に記載の方法。
- さまざまな照明条件下における光景を、単一の画像または一連の画像として捕獲する方法であって、
a)第1の条件下ではある光景の単一の画像を捕獲するのに有効であり、第2の条件下ではその光景から一連の画像を捕獲するのに有効なイメージ・センサー(ただし、そのイメージ・センサーは、第1の画素群と第2の画素群を有する二次元画素アレイを備えていて、第1の画素群は第2の画素群よりも分光光応答が狭く、第1の画素群の個々の画素は、少なくとも2つの色のセットに対応する異なる分光光応答を持ち、第1の画素群と第2の画素群の位置が、少なくとも12個の画素を含む最小繰り返し単位を有するパターンを規定し、その最小繰り返し単位は複数のセルを含んでいて、各セルは、第1の画素群から選択された特定の1つの色を表わす少なくとも2つの画素と、第2の画素群から選択され、さまざまな照明条件下で捕獲されたカラー画像の再現を可能ならしめるように配置された複数の画素とを含んでいる)を用意するステップと;
b)上記光景から1つの経路に沿って光を受け取り、上記イメージ・センサー上にその光景からの光の焦点を結ばせるステップと;
c)ユーザーがイメージ・センサーを選択して単一の画像または一連の画像を捕獲させるステップを含む方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/210,234 US20070046807A1 (en) | 2005-08-23 | 2005-08-23 | Capturing images under varying lighting conditions |
PCT/US2006/032759 WO2007024849A1 (en) | 2005-08-23 | 2006-08-22 | Capturing images under varying lighting conditions |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009506646A true JP2009506646A (ja) | 2009-02-12 |
Family
ID=37478613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008528066A Withdrawn JP2009506646A (ja) | 2005-08-23 | 2006-08-22 | 光感度が改善されたイメージ・センサー |
Country Status (5)
Country | Link |
---|---|
US (1) | US20070046807A1 (ja) |
EP (1) | EP1917801A1 (ja) |
JP (1) | JP2009506646A (ja) |
CN (1) | CN101248659A (ja) |
WO (1) | WO2007024849A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010534430A (ja) * | 2007-07-20 | 2010-11-04 | イーストマン コダック カンパニー | 画像センサの複数の構成要素の読み出し |
JP2011114680A (ja) * | 2009-11-27 | 2011-06-09 | Nikon Corp | 撮像装置 |
KR101927327B1 (ko) * | 2011-01-31 | 2018-12-10 | 에스케이하이닉스 주식회사 | 모바일 어플리케이션용의 cmos 이미지 센서에 대한 다이나믹 레인지 확장 |
KR101927326B1 (ko) * | 2011-01-31 | 2018-12-10 | 에스케이하이닉스 주식회사 | 모바일 어플리케이션용의 cmos 이미지 센서에 대한 다이나믹 레인지 확장 |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
JP4730082B2 (ja) * | 2005-12-22 | 2011-07-20 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
US7916362B2 (en) * | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
DE102007059536B4 (de) * | 2007-12-11 | 2019-06-27 | Robert Bosch Gmbh | Verfahren zum Betrieb einer Sensoranordnung und Sensoranordnung |
US7999870B2 (en) * | 2008-02-01 | 2011-08-16 | Omnivision Technologies, Inc. | Sampling and readout of an image sensor having a sparse color filter array pattern |
US20090244301A1 (en) * | 2008-04-01 | 2009-10-01 | Border John N | Controlling multiple-image capture |
US8164651B2 (en) * | 2008-04-29 | 2012-04-24 | Omnivision Technologies, Inc. | Concentric exposure sequence for image sensor |
US7859033B2 (en) | 2008-07-09 | 2010-12-28 | Eastman Kodak Company | Wafer level processing for backside illuminated sensors |
US7915067B2 (en) * | 2008-07-09 | 2011-03-29 | Eastman Kodak Company | Backside illuminated image sensor with reduced dark current |
US8111307B2 (en) * | 2008-10-25 | 2012-02-07 | Omnivision Technologies, Inc. | Defective color and panchromatic CFA image |
US8073246B2 (en) * | 2008-11-07 | 2011-12-06 | Omnivision Technologies, Inc. | Modifying color and panchromatic channel CFA image |
US8587681B2 (en) * | 2008-11-21 | 2013-11-19 | Omnivision Technologies, Inc. | Extended depth of field for image sensor |
US20100149396A1 (en) * | 2008-12-16 | 2010-06-17 | Summa Joseph R | Image sensor with inlaid color pixels in etched panchromatic array |
US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
US8068153B2 (en) | 2009-03-27 | 2011-11-29 | Omnivision Technologies, Inc. | Producing full-color image using CFA image |
US8218068B2 (en) | 2009-04-01 | 2012-07-10 | Omnivision Technologies, Inc. | Exposing pixel groups in producing digital images |
US8045024B2 (en) * | 2009-04-15 | 2011-10-25 | Omnivision Technologies, Inc. | Producing full-color image with reduced motion blur |
US8203633B2 (en) * | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
US8237831B2 (en) * | 2009-05-28 | 2012-08-07 | Omnivision Technologies, Inc. | Four-channel color filter array interpolation |
US8125546B2 (en) * | 2009-06-05 | 2012-02-28 | Omnivision Technologies, Inc. | Color filter array pattern having four-channels |
US8253832B2 (en) * | 2009-06-09 | 2012-08-28 | Omnivision Technologies, Inc. | Interpolation for four-channel color filter array |
US8203615B2 (en) * | 2009-10-16 | 2012-06-19 | Eastman Kodak Company | Image deblurring using panchromatic pixels |
US8390704B2 (en) | 2009-10-16 | 2013-03-05 | Eastman Kodak Company | Image deblurring using a spatial image prior |
US8379120B2 (en) * | 2009-11-04 | 2013-02-19 | Eastman Kodak Company | Image deblurring using a combined differential image |
US8558913B2 (en) * | 2010-02-08 | 2013-10-15 | Apple Inc. | Capture condition selection from brightness and motion |
US8582820B2 (en) | 2010-09-24 | 2013-11-12 | Apple Inc. | Coded aperture camera with adaptive image processing |
WO2016144741A1 (en) | 2015-03-06 | 2016-09-15 | Illinois Tool Works Inc. | Sensor assisted head mounted displays for welding |
EP3268949B1 (en) | 2015-03-09 | 2021-05-26 | Illinois Tool Works Inc. | Methods and apparatus to provide visual information associated with welding operations |
US9666160B2 (en) * | 2015-03-26 | 2017-05-30 | Illinois Tool Works Inc. | Control of mediated reality welding system based on lighting conditions |
US9977242B2 (en) | 2015-03-26 | 2018-05-22 | Illinois Tool Works Inc. | Control of mediated reality welding system based on lighting conditions |
US10363632B2 (en) | 2015-06-24 | 2019-07-30 | Illinois Tool Works Inc. | Time of flight camera for welding machine vision |
US9686478B2 (en) * | 2015-11-19 | 2017-06-20 | Google Inc. | Generating high-dynamic range images using multiple filters |
WO2017149932A1 (ja) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
DE102016221336A1 (de) * | 2016-10-28 | 2018-05-03 | Conti Temic Microelectronic Gmbh | Bildsensor mit einem für pixelbinning geeigneten farbfilter |
CN106341617B (zh) * | 2016-11-16 | 2019-08-02 | 信利光电股份有限公司 | 一种摄像头串扰补偿的方法及装置 |
CN109104579B (zh) * | 2018-09-30 | 2020-11-13 | 易诚高科(大连)科技有限公司 | 一种图像质量评测过程中拍照环境自动评估与调整方法 |
US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
CN114073068B (zh) * | 2019-09-09 | 2023-11-03 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US11322037B2 (en) | 2019-11-25 | 2022-05-03 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
CN111586375B (zh) * | 2020-05-08 | 2021-06-11 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
CN112235494B (zh) * | 2020-10-15 | 2022-05-20 | Oppo广东移动通信有限公司 | 图像传感器、控制方法、成像装置、终端及可读存储介质 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4437112A (en) * | 1980-02-15 | 1984-03-13 | Canon Kabushiki Kaisha | Solid-state color imaging apparatus |
JPS5763983A (en) * | 1980-10-07 | 1982-04-17 | Toshiba Corp | Color image pickup device |
JPS60226282A (ja) * | 1984-04-24 | 1985-11-11 | Canon Inc | 撮像装置 |
DE3515020A1 (de) * | 1984-04-28 | 1985-11-07 | Kabushiki Kaisha Toshiba, Kawasaki, Kanagawa | Ortsfrequenzfilter |
JPS62246033A (ja) * | 1986-04-19 | 1987-10-27 | Konika Corp | フイルタ及び絞り内蔵レンズを有するカラ−記録装置 |
JP2849813B2 (ja) * | 1986-12-19 | 1999-01-27 | 富士写真フイルム株式会社 | 映像信号の形成装置 |
US5323233A (en) * | 1990-07-31 | 1994-06-21 | Canon Kabushiki Kaisha | Image signal processing apparatus having a color filter with offset luminance filter elements |
US5831676A (en) * | 1992-08-19 | 1998-11-03 | Canon Kabushiki Kaisha | Image pickup device using plural control parameters for exposure control |
DE69232455T2 (de) * | 1991-08-21 | 2002-06-27 | Canon K.K., Tokio/Tokyo | Videokamera mit einer Mehrzahl von photographischen Betriebsarten |
DE69514874T2 (de) * | 1994-08-23 | 2000-07-20 | Hewlett-Packard Co., Palo Alto | Sensoranordnung für einen optischen Bildabtaster die Grauwert- und Farbsignale liefert |
US5506619A (en) * | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
US6097835A (en) * | 1997-07-23 | 2000-08-01 | Lockheed Martin Corporation | Projective pan sharpening methods and apparatus |
JP2000152072A (ja) * | 1998-11-11 | 2000-05-30 | Minolta Co Ltd | デジタルカメラ |
US6947089B1 (en) * | 1999-05-14 | 2005-09-20 | Canon Kabushiki Kaisha | Image pickup apparatus |
US7330209B2 (en) * | 1999-12-20 | 2008-02-12 | Texas Instruments Incorporated | Digital still camera system and complementary-color-filtered array interpolation method |
US6515275B1 (en) * | 2000-04-24 | 2003-02-04 | Hewlett-Packard Company | Method and apparatus for determining the illumination type in a scene |
US6476865B1 (en) * | 2001-03-07 | 2002-11-05 | Eastman Kodak Company | Sparsely sampled image sensing device with color and luminance photosites |
US7012643B2 (en) * | 2002-05-08 | 2006-03-14 | Ball Aerospace & Technologies Corp. | One chip, low light level color camera |
US7206072B2 (en) * | 2002-10-04 | 2007-04-17 | Fujifilm Corporation | Light source type discriminating method, image forming method, method and apparatus for estimating light source energy distribution, and exposure amount determining method |
US20060055800A1 (en) * | 2002-12-18 | 2006-03-16 | Noble Device Technologies Corp. | Adaptive solid state image sensor |
JP3877695B2 (ja) * | 2003-04-03 | 2007-02-07 | 松下電器産業株式会社 | カラー固体撮像装置 |
EP1594321A3 (en) * | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
US7298922B1 (en) * | 2004-07-07 | 2007-11-20 | Lockheed Martin Corporation | Synthetic panchromatic imagery method and system |
-
2005
- 2005-08-23 US US11/210,234 patent/US20070046807A1/en not_active Abandoned
-
2006
- 2006-08-22 EP EP06802082A patent/EP1917801A1/en not_active Withdrawn
- 2006-08-22 JP JP2008528066A patent/JP2009506646A/ja not_active Withdrawn
- 2006-08-22 WO PCT/US2006/032759 patent/WO2007024849A1/en active Application Filing
- 2006-08-22 CN CNA2006800306133A patent/CN101248659A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010534430A (ja) * | 2007-07-20 | 2010-11-04 | イーストマン コダック カンパニー | 画像センサの複数の構成要素の読み出し |
JP2011114680A (ja) * | 2009-11-27 | 2011-06-09 | Nikon Corp | 撮像装置 |
KR101927327B1 (ko) * | 2011-01-31 | 2018-12-10 | 에스케이하이닉스 주식회사 | 모바일 어플리케이션용의 cmos 이미지 센서에 대한 다이나믹 레인지 확장 |
KR101927326B1 (ko) * | 2011-01-31 | 2018-12-10 | 에스케이하이닉스 주식회사 | 모바일 어플리케이션용의 cmos 이미지 센서에 대한 다이나믹 레인지 확장 |
Also Published As
Publication number | Publication date |
---|---|
CN101248659A (zh) | 2008-08-20 |
EP1917801A1 (en) | 2008-05-07 |
WO2007024849A1 (en) | 2007-03-01 |
US20070046807A1 (en) | 2007-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4971323B2 (ja) | カラー画素とパンクロ画素の処理 | |
JP5462345B2 (ja) | 光感度が改善されたイメージ・センサー | |
JP2009506646A (ja) | 光感度が改善されたイメージ・センサー | |
JP5149279B2 (ja) | 光感度が改善されたイメージ・センサー | |
JP5345944B2 (ja) | 低解像度画像の生成 | |
JP5547786B2 (ja) | イメージ・センサーにおける改善された光感度 | |
JP5603455B2 (ja) | カラー画素およびパンクロマティック画素を有する画像の処理 | |
US7688368B2 (en) | Image sensor with improved light sensitivity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090324 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090416 |