JP2010520707A - 画像センサのダイナミックレンジを向上及び制御する方法及び装置 - Google Patents

Abstract

電子画像センサの方法及び装置は、基本露出と、その後の信号読出中における２回目の又は複数回の露出とを有する。タイミングコントローラは、各ラインが読み出されるように信号読出を制御し、その後、２回目の又は複数回の露出が読み出されて、基本露出に加算され、ダイナミックレンジが拡大される。画像センサは、ダイナミックレンジ拡大の効果を更に高めるために、Ａ／Ｄ変換器と、雑音抑圧回路とを更に含む。装置は、更なる信号処理及びスケーリング機能を含む。

Description

１．発明の分野
本発明は、一般に、画像センサ（imaging sensors）に関し、特に、高いセンサ性能を維持しながら、ダイナミックレンジを拡大及び制御する撮像システムオンチップの解決法（imaging system-on-chip solution）に関する。

２．関連技術
ＣＭＯＳ画像センサを用いて可視撮像装置（Visible imaging systems）を実現することにより、カメラのコスト及び消費電力を大幅に削減する一方で、分解能を向上させ、雑音を低減する。最新のカメラは、非常に競争力がある画像検出素子を、タイミングコントローラ、クロックドライバ、基準電圧回路、アナログ／デジタル変換器（以下、Ａ／Ｄ変換器という。）、キー信号処理素子（key signal processing elements）を含む補助的な部品（ancillary components）と効率的に組み合わせたＣＭＯＳ撮像システムオンチップ（CMOS imaging System-on-Chip、以下、ｉＳｏＣという。）センサを用いている。したがって、高性能のビデオカメラを、レンズと電池によってのみサポートされる単一のＣＭＯＳ集積回路を用いて構成することができる。これらの改良により、カメラのサイズはより小さくなり、電池寿命はより長くなり、静止画の撮影と高精細度映像（high definition video）の撮影を同時にサポートした新たなカメラへの適用が可能になっている。

ＣＭＯＳ可視イメージャ（CMOS visible imagers）のシステムオンチップ集積化によって新たなカメラ製品（emerging camera products）にもたらされる利点により、能動画素センサ（active-pixel sensor、以下、ＡＰＳという。）素子を更に改良する研究が盛んになっている。オンチップのアナログ及び／又はデジタル信号処理を有する能動画素セルセンサにより、ＣＣＤセンサを用いた科学グレードのビデオ装置と同等又はより優れた時間的雑音（temporal noise）を実現することができる。一方、ＣＭＯＳ能動画素回路は、複雑であり、通常、固定パターン雑音が高く（この雑音を抑圧するために更なるｉＳｏＣ又はカメラ回路が必要となる可能性がある）、量子効率が低く、画像センサの解像度を、より小さな画素ピッチを用いて上げることが制限される。

図１は、チェン（Chen）によって（第１０回パターン認識国際会議議事録、１９９０年６月１６〜２１日、vol．２、２８６−２９１頁）に記載された従来の代表的なＣＭＯＳ撮像ＳｏＣ（CMOS imaging SoC）のブロック図である。チェンは、列毎のＡ／Ｄ変換器と、補助メモリによる信号処理回路と含むｉＳｏＣの集積化を教示しているが、ダイナミックレンジは、画素からＡ／Ｄ変換器を通る信号チェーン（signal chain）によって制限されている。ホワイト（White）によって（１９７３年、国際固体回路会議、１３４−１３５、２０８−２０９頁）教示された米国特許第６，４５６，３２６号の発明（図２）では、後段の相関二重サンプリングに含まれるリセットｋＴＣ雑音を低減し、瞬時ダイナミックレンジを向上させている。米国特許第６，４５６，３２６号の画素アレー３００は、更に、水平論理回路３２０及び垂直論理回路３１０と共に、タイミングコントローラ３０２によって駆動され、電子画像を読出ノードで生成する。図３は、当業者には明らかなように、チェン及び米国特許第６，４５６，３２６号を含むこのような画像センサの代表的なタイムチャートであるが、簡単にするために、４つの行を有する画像センサを想定している。

各フレームの画像は、画像センサが所謂「ロールシャッタ（rolling shutter）」を有するように、ライン毎、すなわち行毎に形成される。換言すれば、各行の読出及びリセットはライン毎に行われるので、画像センサの各行の間には、１ライン時間（one line time）の内部待ち時間（built-in latency）がある。図２に示す全フレーム蓄積のための各フレーム時間の経過において、最下のラインがフレームの画像の蓄積を開始する時、最上のラインが蓄積を実際に終了する。したがって、全アレーが能動的に蓄積されている時間を最大にするためには、図３に示す標準拡張フレームタイミングが必要となる。待ち時間と、データ転送速度を少し高めただけでもセンサ雑音が増加するという一般的な傾向との関係により、実際に性能を高める画像センサの読出のライン毎の特性に影響を与えるような設計はなされていない。

米国特許第７，０４６，２８４号には、最新の高性能低雑音ＣＭＯＳ撮像装置が開示されており、この高性能低雑音ＣＭＯＳ撮像装置は、最終段の高速アナログビデオドライバ（列バッファ、ラインドライバ又はプログラマブルゲイン増幅器）とＡ／Ｄ変換器との間の有効伝送路が、リアクタンスとしてではなく、抵抗として機能するように、高性能列バッファによってサポートされた低雑音画素アレーと、このセンサと同じ位置に配置された高速低電力Ａ／Ｄ変換器とを備える。高性能列バッファの設計、例えば引用により本明細書に援用される米国特許第５，８９２，５４０号に開示されている設計では、各画素からの信号を列毎に十分に処理する間に、列ベースの固定パターン雑音を最小にしている。画素の各列の読出回路（read out circuit）は、高利得広帯域ＣＭＯＳ差動増幅器と、リセットスイッチと、選択可能なフィードバックコンデンサと、選択可能な負荷コンデンサと、相関二重サンプリング及びサンプルアンドホールド回路と、複数の行を同時に処理するオプションのパイプライン回路と、出力バスに接続され、高速Ａ／Ｄ変換器に信号を供給する広帯域増幅器の入力オフセットのばらつきを抑えるオフセットキャンセル回路とを備える。高性能低雑音ＣＭＯＳ撮像装置は、また、アナログ利得増幅器段と、デジタルプログラマブル増幅器段との両方を備える。得られる撮像システムオンチップは、静止画像又はビデオを少なくとも１２ビットの分解能で生成するが、写真用フィルムの露出寛容度（exposure latitude）を超えるためには、更に広いダイナミックレンジが要求される。この要求により、カメラの信号処理プロセッサのサポートを必要とすることなく、画像フレーム当たりのビットがより多く出力する、ＣＭＯＳｉＳｏＣのアーキテクチャの更なる発展が必要である。

従来技術には、特に、画素内デジタル化（in-pixel digitization）と、雑音フィルタリングと、複数の記憶位置と、自己復帰と、可変静電容量と、ガンマ変更とを組み込んだ他の画素実装を用いて、ダイナミックレンジを拡大する幾つかの方式（Several schemes）が存在する。これらの発明は、代表的には、米国特許第５，４６１，４２５号、第６，５０４，１４１号、第６，０７８，０３７号、第６，９６３，３７０号、第７，０９１，５３１号、第７，１４１，８４１号にそれぞれ記載されている。しかしながら、画素の回路をより複雑にすると、多くの場合、固定パターン雑音が増え、これによって、性能の有効な向上を果たすことができない。また、従来技術には、ダイナミックレンジを広げるためにカメラ処理を必要とする全体的な解決法（systemic solutions）がある。これらの解決法では、一般的に、２回以上の露出時間（exposure times）によって得られた複数の画像を処理することに基づいており、したがって、これらの解決法では、カメラの部品表（bill of materials、以下、ＢＯＭという。）にメモリ、メモリコントローラ及び高度の信号処理回路を追加することになり、コストがかなり上昇している。

電子画像センサ（electronic image sensor）のダイナミックレンジ拡大方法及び装置は、基本露出（base exposure）を有し、それに続いて、次の行が読み出される前の信号読出中に、２回目の又は複数回の露出（second or multiple exposures）が行われる。タイミングコントローラは、各ラインが読み出され、続いて、基本露出に２回目の又は後続の露出が加算され、ダイナミックレンジが拡大されるように、信号読出を制御する。画像センサは、また、Ａ／Ｄ変換器と、雑音抑圧回路（noise suppression）とを備え、ダイナミックレンジ拡大の効果を高める。また、ダイナミックレンジ拡大装置は、更なる信号処理と、スケーリング機能とを備える。

一実施の形態において、画素の行を有する電子画像センサのダイナミックレンジを拡大するダイナミックレンジ拡大方法は、画素信号を第１の蓄積時間に亘って処理して、現在の行の各画素の第１の信号サンプルを生成するステップと、現在の行の各画素の第１の信号サンプルを、行毎に読み出すステップと、画像センサの現在の行からの第１の信号サンプルをメモリに記憶するステップと、現在の行の各画素の画素信号を、次の行の第１の信号サンプルを読み出す前に、第２の蓄積時間に亘って処理して、現在の行の各画素の第２の信号サンプルを生成するステップと、第１の行の各画素の第１及び第２の信号サンプルを混合して、画像センサのダイナミックレンジを拡大する拡張信号を生成するステップとを有する。一実施の形態において、第２の蓄積時間は、第１の蓄積時間よりも短い。ダイナミックレンジ拡大方法は、標準読出タイミング信号を、画像センサの各行の２つの読出信号を含むように変更することによって、実行される。動作において、ダイナミックレンジ拡大方法は、好ましくは、画像センサの他の回路ブロックに対して透過的であるように、実行される。

他の実施の形態において、各画素の３つ以上の信号サンプルが、各行から読み出される。

信号の混合に用いられる幾つかの具体的なアルゴリズムを、ここに説明する。例えば、混合するステップは、第１及び第２の信号サンプルをそれぞれの蓄積時間の比に基づいてスケーリングした後、スケーリングされたサンプルを加算する。混合するステップは、第２の信号サンプルを、蓄積時間の比と測定された補正係数の積によってスケーリングした後、スケーリングされた信号を第１の信号サンプルに加算する。混合するステップは、第２の信号サンプルを蓄積時間の加重比によってスケーリングした後、スケーリングされた信号を第１の信号サンプルに加算する。

更に、混合するステップは、第１及び第２の信号サンプルを、ｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、スケーリングして加算する。混合するステップは、第１及び第２の信号サンプルを、有限インパルス応答関数を用いてフィルタリングした後、スケーリングして加算する。

グローバルシャッタを用いた画像センサの動作においては、第１の信号サンプルは、グローバルシャッタを用いた主露出の間に画像センサの各画素毎に形成され、各行の各画素は、各行の信号読出の間に第２の信号サンプルを形成することによって拡大される。

ビデオ処理アプリケーションにおいては、第１の信号サンプルは、ビデオ転送特性の第１の領域からの期間中に処理され、第２の信号サンプルは、明るく照明された画素のポストニー領域から処理される。

一実施の形態において、画像センサの信号パス内のＡ／Ｄ変換器は、第２の蓄積時間中に、画素信号のより小さな部分をより細かくデジタル化するように調整され、第２の蓄積時間中により細かくデジタル化された信号サンプルを、第１の信号サンプルに加算する。

本発明は、画像センサ装置を含む。一実施の形態において、電子画像センサは、複数の行に配列された複数の画素と、各画素からの信号の読出を行毎に制御するタイミングコントローラと、画素の各行から読み出された信号が供給されるダイナミックレンジ拡大回路と、ダイナミックレンジ拡大回路に接続されたダイナミックレンジ拡大メモリ回路とを備え、タイミングコントローラは、現在の行の各画素からの第１の信号及び第２の信号の読出を制御し、これらの第１の信号及び第２の信号は、次の行からの信号の読出の前に、読み出され、ダイナミックレンジ拡大メモリ回路は、行の各画素の第１の信号を記憶し、第２の信号は、行から読み出され、ダイナミックレンジ拡大回路は、第１及び第２の信号を混合する。

第２の信号の期間は、第１の信号の期間よりも短い。また、画像センサは、画像センサの信号パス内にＡ／Ｄ変換器を備え、Ａ／Ｄ変換器は、第２の信号の読出中に、第２の信号のより小さな部分をより細かくデジタル化するように、調整される。

本発明は、グローバルシャッタを用いた画像センサに用いられ、第１の信号は、グローバルシャッタを用いた主露出の間に画像センサの各画素毎に形成され、各行の各画素は、各行の信号読出の間に第２の信号を形成することによって拡大される。

ビデオ処理アプリケーションの動作においては、第１の信号は、ビデオ転送特性の第１の領域の期間中に処理され、第２の信号は、明るく照明された画素のポストニー領域から処理される。

本発明は、図面を用いた以下の説明によって、容易に理解される。なお、図面においては、類似した構成要素には、類似した参照番号を付している。
第１０回パターン認識国際会議議事録（１９７０）において、チェンによって教示された従来の回路のブロック図である。 米国特許第６，４５６，３２６号において、フォサムによって教示された従来の回路のブロック図である。 米国特許第６，４５６，３２６号の従来の回路のライン同期タイミングを示す代表的なタイムチャートである。 本発明のブロック図である。 本発明のライン同期タイミングを示すタイムチャートである。 本発明のライン同期及びダイナミックレンジ強化タイミングを示すタイムチャートである。 図７Ａは、Ａ／Ｄ変換器の範囲が最大画素信号振幅に一致する、１２ビットデジタル化のための基本画像ビットを生成する主露出中の代表的な２つの画素の蓄積傾斜を示す図であり、図７Ｂは、Ａ／Ｄ変換器の範囲が最大画素信号振幅に一致する、ダイナミックレンジ強化を容易にする２回目の短い露出（基本露出の１／１９９９）中の代表的な２つの画素の蓄積傾斜を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅に一致する、１２ビットデジタル化のための基本画像ビットを生成する主露出中の代表的な２つの画素の蓄積傾斜を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅に一致する、ダイナミックレンジ強化を容易にする２回目の短い露出（基本露出の１／１０２４）中の代表的な２つの画素の蓄積傾斜を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅の半分に一致する、１２ビットデジタル化のための基本画像ビットを生成する主露出中の代表的な２つの画素の蓄積傾斜を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅の半分に一致する、ダイナミックレンジ強化を容易にする２回目の短い露出（基本露出の１／１０２４）中の代表的な２つの画素の蓄積傾斜を示す図である。 強信号を減衰し、低レベルの光に対応する信号を増幅する代表的なガンマ特性を示す図である。

以下、当業者が発明を実施及び利用できるように、及び本発明者が、本発明を実施するために最良と考える実施の形態を用いて本発明を説明する。なお、当業者にとっては、様々な変形例が明らかである。これらの変形例、等価物、代替物は、全て、本発明の思想及び範囲内に含まれる。

一般的には、本発明は、最小合計センサ雑音（minimum aggregate sensor noise、全雑音源の区分求積和（quadrature sum）：画素＋アナログ信号チェーン＋デジタイザ）に対する最大瞬時線形信号振幅（maximum instantaneous linear signal swing、エンドツーエンド信号パスによってサポートされる）の比によって定まるダイナミックレンジが、画像センサの典型的な実際の限界を超えて能動的に拡大された自己内蔵型（self-contained）のＣＭＯＳ撮像システムオンチップである。Ａ／Ｄ変換器のビット数をＮとすると、ダイナミックレンジは、露出の設定に応じて、標準値（standard value）から最大の２０×ｌｏｇ（２^Ｎ）ｄＢまで強化される。実際には、本発明のダイナミックレンジ強化の目標は、１２ビットの公称ダイナミックレンジ（nominal nominal dynamic range）が、信号処理能力を効果的に増加させ、雑音を減らすことによって、１６ビットのダイナミックレンジに広がるように、通常、２４ｄＢとしている。

本発明は、通常、その一般要求事項（general requirements）が低雑音センサベースの増幅と、オンチップのデジタル化及び信号処理能力とを含むものとして、多くの新たな撮像ＳｏＣ製品（imaging SoC products）に適用することができる。最大の利点は、低雑音のオンチップのデジタル化によって達成され、センサの合計雑音（aggregate noise）は、画素雑音によって支配され、ビデオレートとは殆ど無関係であり、したがって、競合するＣＣＤ画像センサよりも優れている。本発明は、ＣＭＯＳｉＳｏＣによって提供される高速処理能力をフルに活用する。列バッファからの多重化信号を、最終段のビデオバッファの直ぐ近くに配置された１つ又は比較的少ない数の高速Ａ／Ｄ変換器でデジタル化することによって、ｉＳｏＣセンサの性能が、ＣＭＯＳ画素の時間暗雑音（temporal noise floor）によってのみ制限されることを保証する。瞬時ダイナミックレンジが、Ａ／Ｄ変換の誤差（inaccuracy）を含む全雑音に対するＡ／Ｄ変換器の入力における最大信号振幅（maximum signal swing）の比であるのに対し、ダイナミックレンジ強化後の全ダイナミックレンジは、主に、ダイナミックレンジの追加のビットを抽出するオンチップの混合信号処理回路（mixed-signal processing）の精度によって制限される。

本発明の好ましい実施の形態では、Ａ／Ｄ変換の前のアナログダイナミックレンジを最大にし、それによって、ダイナミックレンジ強化の効果を最大にする自動パターン雑音抑圧回路（automatic pattern noise suppression）を備える。また、タイミングスーパバイザ（timing supervisor）が、ビデオの各ラインの連続した読出及びリセットを含む画像操作を最適に制御するために用いられる。タイミングスーパバイザは、画素の各ラインを、少なくとも、名目上は期間の１つのラインである２回目の露出（second exposure）及びリセット期間（reset interval）を、途切れなくサポートすることによって、ダイナミックレンジ強化を制御する。最後に、ＣＭＯＳ撮像装置は、標準蓄積時間（standard integration epoch）に亘って形成された最初のＮビットサンプルに、短い２回目の露出の間に形成されたＮビットまでの第２のサンプルをデジタル的に混合する埋込信号処理回路（embedded signal processing）を備える。混合データ（combined data）は、ダイナミックレンジを、通常利用可能な普通のＮビットレベルを超えて強化する。ダイナミックレンジを更に強化するために、更なるダイナミックレンジ露出（dynamic range exposure、以下、ＤＲＥという。）を実行してもよい。

本発明は、瞬時スナップショット（instantaneous snapshot）ではなく、ロールシャッタを用いて電子画像を形成するＣＭＯＳセンサの固有の性質に影響を与えるが、グローバルシャッタ動作（global shutter operation）をサポートするＣＭＯＳセンサと互換性がある。この場合、最初のスナップショット露出（primary snapshot exposure）は、既に述べたように、実行されるが、最終画像が最初のスナップショット露出と２回目のロールシャッタ露出（exposures）とが混合されたものとなるように、更なる露出情報が、行毎に蓄積される。したがって、露出制御は、グローバルとライン毎の両方で制御される。

このように、本発明は、その動作がカメラの電子回路（camera electronics）に対して事実上透過的であり、ＳｏＣ画像センサ内で行われる２回目の露出を用いて、電子的な再生画像の明るい領域（bright regions）における付加情報を生成する強力なダイナミック技術（robust dynamic technique）を提供する。標準動作において、２回目の露出期間（second exposure interval）は、好ましくは、主露出の期間（main exposure's duration）の１／１０００程度であり、画像の明るい部分は、センサ雑音ではなく、光子ショット雑音によって支配されるという事実を利用し、各画像の明るい領域の付加情報を円滑に供給する。２回目の露出は、主露出期間の１／１０００程度に設定したとき、１０ビット、すなわち１０２４ＬＳＢから始まる情報を効果的に加算する。なお、より長い露出又は他の信号処理アルゴリズムを用いた２回目の露出によって、より下位ビットの雑音を減らすこともできる。更にまた、好ましい実施の形態では、アナログ及びデジタル信号処理をｉＳｏＣに設け、アナログ領域で適用されるデジタル補正項を用いて、画像センサの雑音を抑圧し、画像センサのダイナミックレンジを、デジタル化の前に、十分大きくすることにより、本発明は、極めて広いダイナミックレンジを有するサンプルをＡ／Ｄ変換器に本当に供給する。最後に、２つのサンプルのそれぞれは、高い開口率（optical fill factor）と、同一の信号チェーンと、関係がある部品だけとを有する同一の画素から供給されるので、性能が、妥協することなく、極めて高く維持され、画像センサには、フレーム単位毎の連続したバイトの全ダイナミックレンジを供給するので、カメラでの複雑な処理は、必要とされない。

本発は、標準的なサリサイド（self-aligned silicide：自己整合型シリサイド）サブミクロンＣＭＯＳに対して完全なプロセス互換性を有する。回路の複雑さは、能動画素又は周辺のアナログ回路ではなく、デジタル論理回路に追加され、それによって、ＣＭＯＳに固有のＳｏＣ信号処理能力（SoC signal-processing capability）を利用する。本発明は、近紫外線（４００ｎｍ）から近赤外線（＞９５０ｎｍ）を名目上含む可視帯域でのスペクトル感度を対象としているが、本方式は、ハイブリッド焦点面アレー（hybrid focal plane arrays）を含むＣＭＯＳ読出集積回路（readout integrated circuits、以下、ＲＯＩＣという。）を用いる他の画像センサにおいても有益であることは、当業者にとって明らかである。カメラの複雑さ及び消費電力を増やさないダイナミックレンジの強化は、大部分のカメラにとって有益である。

本発明の低雑音撮像システムオンチップ（low-noise imaging System-on-Chip）は、ＭＯＳＦＥＴを各画素当たり３つだけ（３Ｔ画素）用いるので、本発明は、安価な０．２５μｍＣＭＯＳプロセス技術を用いて、５μｍの画素ピッチで描画されたものとして（as-drawn）、５０％を上回る開口率を実現することができる。画素を変更することにとってダイナミックレンジを拡大する他の方法では、多くの場合、開口率が低下し、それによって、信号対雑音比が低下する。また、本発明の開口率は、ダイナミックレンジを更に広げる一方、基本的な画素設計を変えないままにできるので、０．１８μｍＣＭＯＳ技術のＰＩＮフォトダイオードを有する他の４つトランジスタ（４Ｔ）画素を用い、４．２５μｍの画素ピッチの場合、４０％を上回る。また、固定パターン雑音は、画素設計に触ないことによって、高感度及び開口率が最適化された高性能画素に対して達成されるベースライン値と比較して増加しないことは、当業者にとって明らかである。そして、本発明は、高速低雑音オンチップＡ／Ｄ変換器を採用した撮像ＳｏＣのアーキテクチャにおいて、最適化された画素設計を用いることによって、以下をサポートする。

１）電子的に、高精細度テレビジョン映像又はスチル写真に完全に互換性があるデータ転送速度において、３Ｔ画素又は４Ｔ画素による時間的読出雑音（temporal read noise）≦３ｅ−
２）固定パターン雑音は、最大信号の１ＬＳＢを大幅に下回る
３）非線形性＜０．５％
４）３．３Ｖの電源において、信号振幅≧１．５Ｖ
５）同じくらい大きな線形電荷処理能力
６）ホストプロセッサへのデジタルインタフェースを介してフレーム毎に更新される簡単なシリアルインタフェースを用いた可変感度
７）標準的なＡ／Ｄ変換器によって提供される公称範囲を超えて拡大されたダイナミックレンジ

これに代えて、例えば、画像センサ全体に亘るスナップショット画像を生成するためのグローバルシャッタ動作をサポートする５Ｔ画素設計を用いたときは、本発明は、ダイナミックレンジを更に強化し、それによって、従来に比してスナップショット画素ピッチを縮小することができ、同時にダイナミックレンジを強化ことができる。米国特許第６，９６５，７０７号によって教示されたｉＳｏＣ装置及び０．１８μｍＣＭＯＳデザインルールを導入することにより、競合する３Ｔ及び４Ｔ画素に匹敵するランダム雑音を維持し、１２ビットのダイナミックレンジを達成しながら、５Ｔ画素ピッチを５μｍに減らす。比較として、本発明の利益を得ていない競合する５Ｔ画像センサは、より大きな画素ピッチを用いて、画素当たり最高８ビットの有効撮像データを生成する。

発明の実施の形態の低雑音ＡＰＳを用いたプロトタイプは、可視イメージャ（visible imager）を形成しており、１９２０（列）×１０８０（行）のアレーからなる可視光検出器（光検出器）を備える。画素の行及び列は、中心間（center-to-center）が５μｍ離れており、放送用及び専門カメラ（broadcast and professional cameras）に用いられ、優れた焦点深度で標準又は高精細度映像を生成する標準の２/３インチの光学フォーマットをサポートする。３Ｔ設計は、最低の仕様を満たすために必要なダイナミックレンジをサポートしているが、暗電流の最小化には問題があるので、ＰＩＮダイオードを用いる他の４Ｔ設計が好ましい。一方、４Ｔ画素を用いた従来の設計は、通常、写真フィルムのような露出寛容度に必要とされる広いダイナミックレンジをサポートすることができない。本発明のダイナミックレンジ強化は、従来の４Ｔダイナミックレンジを、約「２５０％」から「６００％」を十分に超えるまで高める（ここで、１００％は、２０００ｌｘの照度の下で、絞りをｆ８とし、８９．９％の反射率を有するグレーパッチを撮影したときに生成される標準信号に対応する）。換言すれば、本発明は、５μｍピッチの４Ｔ画素のダイナミックレンジを、１２ビットを大幅に超えるまで強化する。光電性領域の周辺部にある検出器の幾つかの列及び行は、オフチップの信号処理のための黒レベルを設定するために、金属で覆われている。更に、各行の検出器は、カラーイメージャを形成するために、カラーフィルタで覆われている。例えば、奇数行の画素は、左から順に、赤フィルタ、緑フィルタ、青フィルタで覆われており、偶数行の画素は、左から順に、青フィルタ、赤フィルタ、緑フィルタで覆われており、これらのパターンが、それぞれの行を埋めるように、繰り返される。

図４は、本発明を適用した撮像装置の構成を示すブロック図である。撮像システムオンチップ（imaging system-on-chip、以下、ｉＳｏＣという。）３００は、画像センサ画素アレー３０２を備え、画像センサ画素アレー３０２の雑音は、ｉＳｏＣ３００において支配的であり、したがって、先細のリセット（tapered reset）を３Ｔ及び５Ｔ画素実装に適用し、ｋＴＣ雑音を抑圧することによって、あるいは４Ｔ画素を交互に用いることによって、最小にされる。先細のリセットの実装の場合、必要な補助回路は、引用により本明細書に援用される米国特許第６，４９３，０３０号及び米国特許第６，５３５，２４７号に開示されているように、列バッファ３０４及び水平タイミング制御回路８０２に含まれる。特定の画素実装に関わらず、列バッファ３０４は、画素信号を読み出し、相関二重サンプリングして固定パターン雑音を取り除き、雑音を最小にすると同時に、信号振幅を最大にするために、背景照明（scene illumination）に応じて増幅し、各列バッファ３０４で発生する電気的オフセットを、列毎に抑圧する。

安定化ブロック７００は、調整されたアナログデータ（conditioned analog data）が供給され、オフセットを、デジタルフィードバックを介してアナログ領域で減算することによって、デジタル化の前のアナログダイナミックレンジを最大にし、アナログデータストリームをデジタル化し、列及びライン雑音を抑圧し、黒レベルをクランプすることによって信号を安定化する。安定化ブロック７００内のプログラマブルゲイン増幅器３０８は、アナログデータストリームからオフセットを画素毎に逐次減算し、必要に応じて最終的な増幅を行い、高速Ａ／Ｄ変換器３１２によって実行されるデジタル化の前に、電気的な帯域幅を選択的に制限する。アナログダイナミックレンジは、デジタル化の前に、黒レベルをクランプし、列及びラインオフセットの両方を画素毎に減算することによって、最大化される。プログラマブルゲイン増幅器３０８の出力の直ぐ近くに配置された高速Ａ／Ｄ変換器３１２は、アナログデータストリームを少なくとも１２ビットの分解能でデジタル化し、画素当たり、少なくとも４０９６最下位ビット（least significant bit、以下、ＬＳＢという。）の画像情報（image content）をサポートする。高速Ａ／Ｄ変換器３１２は、好ましくは、分解能の段数を選択することによって、プログラマブルデジタル化分解能を可能にする複数のパイプライン段を備えるパイプラインアーキテクチャを採用している。デジタルデータストリームは、オプティカルブラック（optical black、以下、ＯＢという。）と、光電画素データ（photo-generated pixel data）との両方を含み、したがって、安定化ブロック７００内において、ブラッククランプ回路５００のブラッククランプ動作と、ライン雑音補正器２００のライン雑音補正と、列雑音補正器４００の列雑音補正（column noise correction）とによって、調整される。

安定化ブロック７００は、アナログ回路とデジタル回路の両方を含む混合信号システムオンチップ解決法（mixed-signal System-on-Chip solution）を有し、ダイナミックレンジ強化の前に、アナログ領域の残留雑音を最小にする。安定化ブロック７００の安定化動作は、好ましい実装とともに、引用により本明細書に援用される米国特許出願番号未定、発明の名称「画像センサの黒レベルを安定化する装置及び方法（APPARATUS AND METHOD FOR STABILIZING IMAGE SENSOR BLACK LEVEL）」に開示されている。安定化ブロック７００は、デジタル信号ストリームを、本発明のダイナミックレンジ強化（Dynamic Range Enrichment、以下、ＤＲＥという。）ブロック１００に供給し、ＤＲＥブロック１００は、ＤＲＥサブブロック１０２のデジタル論理回路と、補助ＤＲＥメモリ１０４とを備え、本発明の水平タイミング制御回路８０２によって取得された２つのサンプルを最適に加算する。ＤＲＥブロック１００は、続いて、拡張ビデオストリームを、デジタルプログラマブルゲイン段３１４に供給し、デジタルプログラマブルゲイン段３１４は、最終出力の利得を調整する。このデジタルプログラマブルゲイン段３１４は、例えば、２００３年６月１１日に出願された米国特許出願第１０／４６０，０１４号、発明の名称「ＣＭＯＳ画像センサ用の高分解能を有するデジタルプログラマブルゲイン段（DIGITAL PROGRAMMABLE GAIN STAGE WITH HIGH RESOLUTION FOR CMOS IMAGE SENSORS）」に開示されており、引用により本願に援用される。デジタルデータストリームは、画像センサからＩ／Ｏポート６００を介して出力される。

ダイナミックレンジは、ＤＲＥブロック１００において、画素の各ラインの連続した２つのサンプルを用いて強化され、ここにおいて、各ラインは、典型的な画像センサにおいては、互いに１０の係数から１００の係数又は１０００の係数だけ異なる２つの蓄積時間に生成される。なお、蓄積時間の比は、２の累乗で割り切れることが好ましい。ＣＭＯＳｉＳｏＣにおけるオンチップ集積化及びライン毎の読出の内部特性を利用することによって、連続した画像処理サイクルにおいて、２つのサンプルを連続して生成し、ダイナミックレンジ強化は、最終結果を除いて、カメラの電子回路に対して透過的である。

図５は、４行だけ、すなわちＸ列×４行からなる簡単にした画像センサにおける４ラインのビデオのライン同期パルスを示すタイムチャートである。図の上半分は、センサ全体がフォト、すなわち光学的にアクティブであり、少なくとも４ライン時間の連続した期間をサポートするための８ライン時間からなる標準拡張フレーム周期（standard extended frame period）を表している。なお、そのような期間は、必要とされない。本発明は、より短い主露出をサポートするが、そのような場合、ダイナミックレンジ強化は、電荷処理能力の大幅な拡大（wholesale enhancement）ではなく、雑音除去プロセスである。殆どの画像センサにおいては、ライン時間の数倍（fewer line-time multiples）、及び更には１ライン時間以下の（sub-single line time）より短い蓄積時間を、簡単に準備することができる。

図５の下半分に、本発明のダイナミックレンジ強化をサポートする他のタイミングを示す。ライン１の蓄積及び読出において、例えば、基本の１２ビット画像は、ライン１のフレームＮの第１の立下りエッジから、ライン１のフレームＮ：ＥＤＲの第８の立下りエッジまでのライン時間の間に形成される。ライン１の画素のダイナミックレンジは、ライン１の第８の立下りエッジからライン１の次の立下りエッジまでのライン時間中に、第２の１２ビット画像を引き続いて蓄積することによって、強化される。図５の上半分と下半分を比較すると、ダイナミックレンジ強化は、基本の蓄積時間を１ライン時間分短縮することによって可能になる。また、最小フレーム時間は、従来の画像センサの２倍になる。したがって、Ｘ列×Ｙ行を有する従来の画像センサに対して、本発明のダイナミックレンジ強化は、最小フレーム時間を２倍にすることを必要とする。Ｘ列×Ｙ行の画像センサの最小フレーム時間は、典型的にＹライン時間であるのに対して、ＤＲＥが可能な画像センサ（DRE-enabled sensor）の最小フレーム時間は、２Ｙライン時間である。したがって、本発明の下で公称フレーム時間（nominal frame time）を再設定するには、補償するために、標準ライン時間（standard line time）を半分にすることが必要である。

図６のタイムチャートは、画像センサを１０００行×Ｙ列まで広げている。再び、図６の上半分は、全体の蓄積時間が１９９９ライン時間であり、全ての行が同時に蓄積する重複期間が１０００ライン時間である標準拡張フレームのタイミングを示している。下半分は、ロールシャッタを採用した画像センサの具体例の対応するＤＲＥタイミングを示している。ライン１の基本１２ビット（base 12 bits）は、ライン１の立下りエッジ＃１から開始し、立下りエッジ＃２０００で終了する蓄積によって生成される。ライン１の更なるＤＲＥビット（additional ＤＲＥ bits）は、フレームＮの立下りエッジ＃２０００から開始し、次の立下りエッジ＃１で終了する蓄積によって生成される。同様に、ライン１０００のフレームＮの基本１２ビットは、立下りエッジ＃１９９９から開始し、フレームＮ＋１の立下りエッジ＃１９９８で終了する蓄積（すなわち、１９９９ライン時間の蓄積）によって生成される。ライン１０００のＤＲＥビットは、フレームＮ−１の立下りエッジ＃１９９８から開始し、フレームＮの立下りエッジ＃１９９９で終了する蓄積（すなわち、１ライン時間のＤＲＥ蓄積）によって生成される。

本発明のダイナミックレンジ拡大（dynamic range enhancement）は、ｉＳｏＣ３００において、以下のように行われる。
１）ＤＲＥサブブロク１０２において第１のサンプルを処理し、
２）処理した１２ビットデータを補助ＤＲＥメモリ１０４に記憶するとともに、並行して、第２のサンプルをＤＲＥサブブロック１０２で処理し、
３）補助ＤＲＥメモリ１０４から基本１２ビットデータを呼び出し、ＤＲＥサブブロック１０２において更なるＤＲＥデータ（additional DRE data）と組み合わせる。
あるいは、複数の更なるサンプルは、更なるＤＲＥデータを生成することによって、サポートできることは、当業者にとって明らかである。更なる露出は、一定のフレーム時間を維持するために、ライン時間の減少を必要とする。あるいは、更に、Ｎビットデータの２つ以上のセットを、必要に応じて画像センサから外部に送信して処理することができる。更にまた、Ｎビットデータに、有限インパルス応答の実行及び他の手段を用いた様々な周知のデジタルフィルタリングを適用することができる。

図７は、画素レベルのダイナミックレンジ強化を表している。ＣＭＯＳセンサは、典型的には、Ｐ型基板に埋め込まれたｎ接合を用いており、フォトダイオードは、蓄積の開始点におけるその初期電圧に関連して、光発生キャリアを放出する。図７Ａは、強い入射光と、より弱い入射光（画素Ａに対して約２５％の強さ）とによる２つの画素の蓄積傾斜（integration ramps）を同時に示している。また、図７Ａは、左側に、画素の０信号（すなわち画素の黒レベル）に対する６４ＬＳＢのデジタル値と、飽和に近い４０９６ＬＳＢのデジタル値とを生成するように設定された、１２ビットのＡ／Ｄ変換器の４０９６ＬＳＢ範囲を視覚的に示している。０信号レベルを０ＬＳＢよりも高く設定することにより、ＣＭＯＳセンサ内及びカメラ内において、黒レベルを、環境変化等とは関係なく、クリッピングすることなく、安定化させることができる。図６のタイムチャートに従って１９９９ライン時間の蓄積時間に亘って示すように、画素Ａは、３７８８ＬＳＢに対応する最終信号値を生成し、一方、画素Ｂは、１０２４ＬＳＢに対応する最終信号値を生成する。次に、図７Ｂに示す１ライン時間の最小ＤＲＥ蓄積時間の間に、２つの画素は、短い蓄積時間のために、初期の基本値の約１／１９９９の最終値を生成する。したがって、画素Ａは、約６６ＬＳＢ、すなわち６４ＬＳＢの黒レベルを２ＬＳＢだけ上回る最終値を生成する。画素Ｂは、センサ雑音又はＡ／Ｄ変換器の分解能が再スケーリングされた（rescaled）かどうかによって、６４ＬＳＢ又は６５ＬＳＢに変換される６４．５ＬＳＢの最終値を生成する。

なお、ダイナミックレンジ拡大は、上位ＬＳＢ、すなわちビット１０以上を対象としているので、短いＤＲＥ蓄積時間は、問題になるよりはむしろ殆ど理想的であり、したがって、蓄積時間が十分に短いことが重要であり、この期間中には、画像センサの最も強く照らされた領域においてさえも画素飽和は起こらない。この露出範囲よって、画像の暗い領域及び明るい領域の両方の情報量（information content）を強化することができる。

ＤＲＥサブブロック１０２は、続いて、画像センサの各ラインからの複数の画像サンプルを、様々な信号処理アルゴリズムを用いて処理する。最も直接的なアルゴリズムは、ＤＲＥ情報を蓄積時間の比によってスケーリングし、再スケーリングされたＤＲＥデータを基本１２ビットデータに加算することを含む。上述した例において、画素Ａの信号の内容は、２ＬＳＢの差動信号（differential signal）から、総計（grand total）４０６２ＬＳＢ（３９９８＋黒レベル６４）に対する３９９８ＬＳＢに再スケーリングされる。画素ＢのＤＲＥサンプルは、６４．５ＬＳＢ（複数のサンプルから正確な平均が決定される場合）から１０６３．５ＬＳＢに再スケーリングされる。したがって、２つのサンプルを互いに直接加算した後、画素Ａの最終値は、３７８８＋４０６２＝７８５０ＬＳＢであり、画素Ｂの最終値は、１０２４＋１０６３＝２０８７ＬＳＢである。１２ビットの基本ダイナミックレンジではなく、本発明によって達成できる最大ダイナミックレンジは、以下の通りである。

同様に、少なくとも１０００行からなる画像センサの最大ダイナミックレンジ拡大は、約２０×ｌｏｇ（２^１０）＝６０．２ｄＢである。

当業者にとって明らかであるように、効果的なダイナミックレンジ拡大を達成するための重要な要件は、強化処理と関連した雑音を最小にすることである。更に、６０．２ｄＢの拡大は、特殊な用途のみにおいて必要とされる。このように、本発明の一実施の形態は、基本１２ビットダイナミックレンジをちょうど超えた情報に集中するために、Ａ／Ｄ変換器を再スケーリングすることが必要である。これは、例えば、標準分解能での基本的なデジタル化の間のカバーされる全範囲ではなく、ＤＲＥサンプルのデジタル化の間に、Ａ／Ｄ変換器の基準を調整又は再プログラムして、画素信号の偏り（pixel signal excursion）のより小さな部分を細かくデジタル化することを含む。上述した具体例に比して、画素蓄積傾斜の最初の１／１６だけを完全なＡ／Ｄ変換器の分解能でデジタル化することによって、期待されるＤＲＥ信号は、それぞれ３２ＬＳＢ及び８ＬＳＢ増加し、期待されるセンサ暗雑音を十分に超える。トレードオフは、混合（信号）ダイナミックレンジが、１８ビットをわずかに超えるまで減らされることである。

Ａ／Ｄ変換器が画素信号振幅の１／１６に及ぶように再調整されて、ＤＲＥ値をより正確に読み出すサンプルケースでは、最大ダイナミックレンジ拡大は、２０×ｌｏｇ（２^６．３）又は３７．９ｄＢまで減らされる。

好ましい実施の形態の目的は、ダイナミックレンジを約２４ｄＢ拡大することであり、すなわち、基本１２ビットに、約４ビットを加えることである。少なくとも１０００行の画像センサを考えると、解決法は、ＤＲＥ測定期間中に、最大画素振幅の約１／６４を監視することである。なお、行の数を２０００又は４０００に増やす場合、Ａ／Ｄ変換器を、画素の最大信号振幅の１／３２及び１／１６をそれぞれ処理するように再スケーリングしなければならない。このため、ダイナミックレンジ拡張の好ましい他のアルゴリズムは、以下の方式を含む。

１．より小さいダイナミックレンジ強化と交換に、ＤＲＥ測定期間中に、Ａ／Ｄ変換器の範囲を再スケーリングして、ＤＲＥ信号の測定の精度を高める。和が混合信号値（composite signal value）になるように、ＤＲＥ信号値を基本１２ビットのサンプルに加算する。

ここで、ＡＤＣ_factorは、雑音最小化のレベルであり、また、ＡＤＣ_factorは、短い蓄積時間中のＤＲＥデジタル化範囲に対する基本デジタル化範囲の逆数である。

２．１つの又は複数の短い蓄積時間t_shortに取得された１つの又は複数のＤＲＥ値を、蓄積時間の対応する比によってスケーリングする。サンプルの和が混合信号値になるように、複数の信号値を加算する。

３．ＤＲＥ測定値の信号値を、蓄積時間と、短い蓄積時間から生じる全体的な誤差（systemic errors）の原因である測定補正係数（α、β等）との比の積によってスケーリングする。補正係数は、ＤＲＥサブブロック１０２のセンサ雑音を測定することによって、実験的に決定される。複数の信号値を、サンプルの和が混合信号値になるように加算する。

４．各画素の混合（信号）値が以下のようになるように、１つ又は複数のＤＲＥサンプルを、蓄積時間の加重比でスケーリングして、サンプルを加算する。

ここで、重み係数α’、β’等は、ビデオの１つ以上のライン上で動作する画像センサ内の信号処理によって決定される全体的な雑音を補償して、雑音をフィルタリングする。

５．雑音を減らすｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、サンプルを加算して、スケーリングする。

６．有限インパルス応答フィルタを用いてフィルタリングした後、サンプルを加算して、スケーリングする。

グローバルシャッタセンサのＤＲＥは、主露出の間に、全ての行において基本１２ビットを同時に形成することによって、機能的にサポートされている。その後、画素の各行のダイナミックレンジは、読出の間に、ライン毎に強化され、したがって、画像生成（image formation）は、センサ読出の間に、ロールシャッタモードに切り換えられる。

主露出とＤＲＥ露出が等しい継続期間、例えば１ライン時間以下の短い露出期間である限られた条件では、本発明は、事実上雑音フィルタであり、１回のＤＲＥ露出の場合、ダイナミックレンジ拡大は、最小の３ｄＢである。複数回のＤＲＥ露出sでは、１回の場合の効果を更に高めるが、１回毎の効果は小さい。

浮動小数点計算を行わない、且つ丸め誤差を除外するように設定するためには、アルゴリズム的乗算（algorithmic multiplications）を整数演算で処理できるように、基本蓄積時間に対するＤＲＥ蓄積時間の比は、２の係数によって割り切れることが好ましいことは、当業者にとって明らかである。また、この制約により、ＤＲＥ露出から導入される追加のビットを、適切な整数位置に設定する。例えば、ＤＲＥ蓄積時間を、１／２５６（１／２８）、１／５１２（１／２９）、又は１／１０２４（１／２１０）に設定すると、混合（信号）ダイナミックレンジは、ｉＳｏＣ処理によって、より正確に組み立てられる。

本発明によって、プログラマブル「ニー」機能（programmable "knee" capability）を含むセンサ内ガンマ機能（in-sensor gamma functionality）の円滑な蓄積が可能となることは、ビデオ技術の当業者にとって明らかである。ニーは、増幅特性曲線が、損失がない又は低損失の方法で情報を圧縮する減衰応答プロフィール（低利得）に移行する、ビデオ特性の折点を指している。例えば、放送用カメラでは、ニーポイントは、通常、１００％信号に設定されており、完全な飽和は、４００％又は６００％に設定されている。ニーは、通常、アナログ手段によってカメラ内で実行され、１００％より大きい信号を減衰させて、フィルムのような「ショルダ」応答（film-like "shoulder" responce）をシミュレートするが、本発明において、ニーのような動作（knee-like behavior）は、ビデオ転送特性の第１の領域を、第１の露出を用いてデジタル化し、そして、ＤＲＥ又は第２の露出は、明るく照明された画素のポストニー領域をデジタル化することでサポートされる。これにより、更なるＤＲＥビットを、カメラ内実行（in-camera implementations）よりも優れた方法で、スケーリングする又は損失なく圧縮することができる。更に、画素転送特性のトウ（toe）における黒データは、基本露出においてより正確にデジタル化され、黒レベルの情報量の平滑度は高くなっている。利点は、非常に低い雑音を非常に高い電荷処理能力によってサポートする高性能ＣＭＯＳセンサが、利用可能なＡ／Ｄ変換器の分解能が不十分なときでさえ、好ましくない量子化雑音によって制限されるのではなく、完全な性能で動作できることである。更に、ガンマ関数は、センサダイナミックレンジの損失がない圧縮として動作することにより、より高いダイナミックレンジを実際にサポートするが、すなわち、１２ビットを、センサによって実際の１６ビットのダイナミックレンジ用として出力するが、センサから読み出されるビット数を物理的に減少させることができる。

図８は、標準蓄積時間における画素Ａ及び画素Ｂの蓄積傾斜を表している。再び、画素Ａの明るい照度は、最大１２ビットのＡ／Ｄ変換器の限界に近い、３７８８ＬＳＢの信号になる。画素Ｂの信号は、１０２４ＬＳＢの最終値に対応する。ここで、Ａ／Ｄ変換器は、完全な画素ダイナミックレンジに殆ど一致するように設定される。図９は、基本露出の１／１０２４に対応するＤＲＥ露出の結果として生じる蓄積傾斜を表している。ここで、画素Ａ及び画素Ｂのそれぞれの最終値は、６８ＬＳＢ及び６５ＬＳＢである。画素Ａ及び画素Ｂの最終値は、基本的なＤＲＥアルゴリズムを用いて算出される。
画素Ａ＝（３７８８−６４）＋１０２４×（６８−６４）＝７８１８
画素Ｂ＝（１０２４−６４）＋１０２４×（６５−６４）＝１９８４

図１０において、１２ビットのＡ／Ｄ変換器は、完全な画素振幅の半分をモニタするように変更されており、したがって、画素Ａの基本露出値は、最大のＡ／Ｄ変換器の範囲にクリップされるので、４０９６になる。一方、画素Ｂは、２０４８より大きな最終値を有する。図１１は、基本露出の１／１０２４に対応するＤＲＥ露出の結果として生じる蓄積傾斜を表している。ここで、画素Ａと画素Ｂの最終値は、
画素Ａ＝（４０９６−６４）＋１０２４×（７２−６４−４）＝８１２８
画素Ｂ＝（２０４８−６４）＋１０２４×（６８−６４−４）＝１９８４
であり、４の更なる値が、ＤＲＥ露出の計算値から減算されて、ガンマ操作を適用するニーポイントが設定される。なお、この第１の具体例では、ニーポイント以上の減衰はない。なお、ＤＲＥフレームの値は、Ａ／Ｄ変換器の量子化誤差を含む雑音に対して、よりロバストであり、より影響を受けにくい。６ｄＢの減衰がＤＲＥデータに適用された場合、画素Ａ及び画素Ｂの変更値は、以下のようになる。
画素Ａ＝（４０９６−６４）＋１０２４×（７２−６４−４）×１／２＝６０８０
画素Ｂ＝（２０４８−６４）＋１０２４×（６８−６４−４）×１／２＝１９８４
画素Ａの値の、前の値８１２８から変更レベル６０８０への線形補正は、損失がない圧縮である。画素Ｂの値は、ニーポイントの下にあるので、圧縮されない。ＤＲＥフレーム露出を処理するときに用いられる係数１／２は、一定の−６ｄＢの減衰に対応しており、いかなる情報をも失うことなく、２ビット圧縮を達成する。この係数は、本発明においてはプログラム可能であり、オンチップのプログラミング（programming）及び／又は非線形で単調な特性を有するルックアップテーブル（Look-Up Table、以下、ＬＵＴという。）によって、他の値に置換することができる。

図１２は、低レベルの信号を増幅し、１００％以上の高レベルの信号情報を減衰する典型的なガンマ曲線のグラフを示し、１００％は、８９％のグレーパッチを、２０００ｌｘの照度及びｆ８の絞りで撮影したときに発生する信号値である。また、ガンマ増幅を最高の可能な忠実度でサポートする小信号の必要な増幅は、本発明によってサポートされる。

発明の範囲及び精神から逸脱することなく、上述した好適な実施形態の様々な適応化及び変更を構成できることは当業者にとって明らかである。本発明は、添付の特許請求の範囲から逸脱することなく、本明細書に特別に開示した形態以外の形態でも実施できることは明らかである。

Claims (27)

1. 画素の行を有する電子画像センサのダイナミックレンジを拡大するダイナミックレンジ拡大方法において、
   画素信号を第１の蓄積時間に亘って処理して、現在の行の各画素の第１の信号サンプルを生成するステップと、
   上記現在の行の各画素の第１の信号サンプルを、行毎に読み出すステップと、
   上記画像センサの現在の行からの上記第１の信号サンプルを、メモリに記憶するステップと、
   上記現在の行の各画素の画素信号を、次の行の第１の信号サンプルを読み出す前に、第２の蓄積時間に亘って処理して、該現在の行の各画素の第２の信号サンプルを生成するステップと、
   上記現在の行である第１の行の各画素の第１及び第２の信号サンプルを混合して拡張信号を生成することによって、上記画像センサのダイナミックレンジを拡大するステップとを有するダイナミックレンジ拡大方法。
2. 上記第２の蓄積時間は、上記第１の蓄積時間よりも短いことを特徴とする請求項１記載のダイナミックレンジ拡大方法。
3. 上記第２の蓄積時間は、該第２の蓄積時間が情報を第１０有効ビット以上で効果的に加算するように、上記第１の蓄積時間の１／１０００であることを特徴とする請求項２記載のダイナミックレンジ拡大方法。
4. 上記メモリは、上記画像センサのチップに組み込まれていることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
5. 当該ダイナミックレンジ拡大方法は、標準読出タイミング信号を、上記画像センサの各行の２つの読出信号を含むように変更することによって、実行されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
6. 当該ダイナミックレンジ拡大方法の各ステップは、上記画像センサの他の処理ブロックに対して透過的であることを特徴とする請求項５記載のダイナミックレンジ拡大方法。
7. 画素毎に３つ以上の信号サンプルを処理するステップを更に有する請求項１記載のダイナミックレンジ拡大方法。
8. 上記第１及び第２の信号サンプルは、上記画像センサの外部で混合されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
9. 上記混合するステップは、上記第１及び第２の信号サンプルをそれぞれの蓄積時間の比によってスケーリングした後、該スケーリングされたサンプルを加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
10. 上記画像センサの信号パス内のＡ／Ｄ変換器は、上記第２の蓄積時間中に、上記画素信号のより小さな部分をより細かくデジタル化するように調整され、該第２の蓄積時間中に細かくデジタル化された信号サンプルを、上記第１の信号サンプルに加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
11. 上記混合するステップは、上記第２の信号サンプルを、上記蓄積時間の比と測定された補正係数の積によってスケーリングした後、該スケーリングされた信号を上記第１の信号サンプルに加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
12. 上記混合するステップは、上記第２の信号サンプルを上記蓄積時間の加重比によってスケーリングした後、該スケーリングされた信号を上記第１の信号サンプルに加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
13. 上記混合するステップは、上記第１及び第２の信号サンプルを、ｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、スケーリングして加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
14. 上記混合するステップは、上記第１及び第２の信号サンプルを、有限インパルス応答関数を用いてフィルタリングした後、スケーリングして加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
15. グローバルシャッタを用いた画像センサの動作においては、上記第１の信号サンプルは、グローバルシャッタを用いた主露出の間に上記画像センサの各画素毎に形成され、各行の各画素は、各行の信号読出の間に上記第２の信号サンプルを形成することによって拡大されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
16. ビデオ処理においては、上記第１の信号サンプルは、ビデオ転送特性の第１の領域の期間中に処理され、上記第２の信号サンプルは、明るく照明された画素のポストニー領域から処理されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
17. 複数の行に配列された複数の画素と、
    上記各画素からの信号の読出を行毎に制御するタイミングコントローラと、
    上記画素の各行から読み出された信号が供給されるダイナミックレンジ拡大回路と、
    上記ダイナミックレンジ拡大回路に接続されたダイナミックレンジ拡大メモリ回路とを備え、
    上記タイミングコントローラは、現在の行の各画素からの第１の信号及び第２の信号の読出を制御し、該第１の信号及び第２の信号は、次の行からの信号の読出の前に、読み出され、
    上記ダイナミックレンジ拡大メモリ回路は、行の各画素の上記第１の信号を記憶し、上記第２の信号は、該行から読み出され、
    上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号を混合することを特徴とする電子画像センサ。
18. 上記第２の信号の期間は、上記第１の信号の期間よりも短いことを特徴とする請求項１７記載の電子画像センサ。
19. 上記第２の信号の蓄積時間は、該第２の信号が情報を第１０有効ビット以上で効果的に加算するように、上記第１の信号の蓄積時間の１／１０００であることを特徴とする請求項１８記載の電子画像センサ。
20. 上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号をそれぞれの蓄積時間の比に基づいてスケーリングすることによって、該第１及び第２の信号を混合し、該スケーリングされた信号を加算することを特徴とする請求項１７記載の電子画像センサ。
21. 当該電子画像センサは、画像センサの信号パス内にＡ／Ｄ変換器を更に備え、
    上記Ａ／Ｄ変換器は、上記第２の信号の読出中に該第２の信号のより小さな部分をより細かくデジタル化するように、調整されることを特徴とする請求項１７記載の電子画像センサ。
22. 上記ダイナミックレンジ拡大回路は、上記第２の信号を上記蓄積時間の比と測定された補正係数の積によってスケーリングした後、該スケーリングされた第２の信号を該第１の信号に加算することによって、該第１及び第２の信号を混合することを特徴とする請求項１７記載の電子画像センサ。
23. 上記ダイナミックレンジ拡大回路は、上記第２の信号を上記蓄積時間の加重比を用いてスケーリングした後、該スケーリングされた信号を上記第１の信号に加算することによって、該第１及び第２の信号を混合することを特徴とする請求項１７記載の電子画像センサ。
24. 上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号をｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、該第１及び第２の信号をスケーリングして加算することによって、該第１及び第２の信号を混合することを特徴とする請求項１７記載の電子画像センサ。
25. 上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号を、有限インパルス応答関数を用いてフィルタリングした後、該第１及び第２の信号をスケーリングして加算することによって、該第１及び第２の信号を混合することを特徴とする請求項１７記載の電子画像センサ。
26. グローバルシャッタを用いた画像センサの動作においては、上記第１の信号は、グローバルシャッタを用いた主露出の間に上記画像センサの各画素毎に形成され、各行の各画素は、各行の信号読出の間に上記第２の信号を形成することによって拡大されることを特徴とする請求項１７記載の電子画像センサ。
27. ビデオ処理においては、上記第１の信号は、ビデオ転送特性の第１の領域の期間中に処理され、上記第２の信号は、明るく照明された画素のポストニー領域から処理されることを特徴とする請求項１７記載の電子画像センサ。

Images