JP2010538561A - 広ダイナミックレンジｃｍｏｓ画像センサ - Google Patents

Abstract

少なくとも１つの画素を含む画素アレイを備えた画像センサである。そのセンサは、その画素に接続され、その画素から生成された標本化されたリセット出力信号の関数である最終画像画素値を供給する回路を含むこともできる。その標本化されたリセット出力信号が閾値を超える場合、その最終画像画素値が指定値に設定される。その最終画像は、第１の画像、第２の画像および／または第３の画像の関数、並びに最終画像が第１の露出率、第２の露出率および／または第３の露出率を含むか否かの情報を供給するフィールドであることができる。
【選択図】図１

Description

本出願は、２００８年９月５日に出願された米国の非仮出願第１２／２０５，０８４号、２００７年９月５日に出願された米国の仮出願第６０／９６７，６５７号、および２００７年９月５日に出願された米国の仮出願第６０／９６７，６５１号に基づく優先権を主張する。

本発明は、半導体画像センサの分野に関する。

デジタルカメラおよびデジタルビデオカメラなどのような写真機材は、静止またはビデオ画像への処理ために光を取り込む電子画像センサをそれぞれ含んでいる。電荷結合素子（ＣＣＤ）および相補型金属酸化膜半導体（ＣＭＯＳ）センサという２つの代表的なタイプの電子画像センサがある。ＣＣＤ画像センサは、高画質な画像を提供する比較的高い信号対雑音比（ＳＮＲ）を有する。さらに、ＣＣＤは、比較的に小さくても多数のカメラおよびビデオの解像度条件に対応する画素アレイを有するように作製することができる。画素は、画像の最も小さな個別要素である。これらの理由から、ＣＣＤは、最も多くの市販のカメラおよびビデオカメラで用いられる。

ＣＭＯＳセンサは、ＣＣＤ装置よりも高速且つ電力消費が少ない。尚、ＣＭＯＳ製造プロセスは、多くのタイプの集積回路を作るために用いられる。結果的に、ＣＣＤセンサよりＣＭＯＳセンサの生産量のほうが多い。

画像センサは、通常、外部プロセッサと外部メモリに接続される。外部メモリは、この画像センサからのデータを格納する。上記のプロセッサは、格納されたデータを処理する。外部メモリを利用して効率的な方式でデータをプロセッサに与えることができる低雑音、高速、高解像度の画像センサを提供することが望まれる。

少なくとも１つの画素を含む画素アレイを備えた画像センサである。上記のセンサは、その画素に接続され、その画素から生成された標本化されたリセット出力信号の関数である最終画像画素値を供給する回路を含むこともできる。その標本化されたリセット出力信号が閾値を超える場合、その最終画像画素値が最大値に設定される。最終画像は、第１の画像、第２の画像および／または第３の画像の関数、並びにその最終画像が第１の露出率、第２の露出率および／または第３の露出率を含むか否かの情報を供給するフィールドであることができる。

図１は、画像センサの一実施形態の概略図である。 図２は、静止画像用の画素データを外部メモリ内に格納する方法を示す説明図である。 図３は、静止画像用の画素データを検索して合成させるための方法を示す説明図である。 図４は、画素データを検索して合成させるための代替方法を示す説明図である。 図５は、画素データを検索して合成させるための代替方法を示す説明図である。 図６は、画素データを検索して合成させるための代替方法を示す説明図である。 図７は、画素データを検索して合成させるための代替方法を示す説明図である。 図８は、ビデオ画像用の画素データを格納して合成させるための方法を表す説明図である。 図９は、ビデオ画像用の画素データを格納して合成させるための方法を表す他の説明図である。 図１０は、画素データの解像度を変換するための方法を表す説明図である。 図１１は、画素データの解像度を変換するための代替方法を表す説明図である。 図１２は、画素データの解像度を変換するための代替方法を表す説明図である。 図１３は、画像センサの画素の一実施形態の概略図である。 図１４は、画像センサの光読取装置回路の実施形態の概略図である。 図１５は、画像センサの動作の第１モードのフローチャートである。 図１６は、画像センサの動作の第１モードのタイミング図である。 図１７は、画素のフォトダイオードにおける信号のレベルを表す図である。 図１７Ａは、輝点の周囲の暗い輪領域を示す説明図である。 図１８は、図１６のタイミング図を生成するための論理回路の概略図である。 図１９は、画素行のＲＳＴ信号を生成するための論理回路の概略図である。 図２０は、図１９に示される論理回路のためのタイミング図である。 図２１は、画像センサの動作の第２モードを表すフローチャートである。 図２２は、画像センサの動作の第２モードのタイミング図である。 図２３ａは、画像センサシステムの代替の実施形態の概略図である。 図２３ｂは、画像センサシステムの代替の実施形態の概略図である。 図２４は、画像センサシステムの代替の実施形態の概略図である。 図２５は、画像センサシステムの代替の実施形態の概略図である。 図２６は、外部プロセッサの代替の実施形態の概略図である。 図２７Ａ〜図２７Ｆは、画素アレイから画像Ａ、Ｂ、ＤおよびＦを読み出すための進行技術を表す説明図である。 図２７Ａ〜図２７Ｆは、画素アレイから画像Ａ、Ｂ、ＤおよびＦを読み出すための進行技術を表す説明図である。 図２７Ａ〜図２７Ｆは、画素アレイから画像Ａ、Ｂ、ＤおよびＦを読み出すための進行技術を表す説明図である。 図２７Ａ〜図２７Ｆは、画素アレイから画像Ａ、Ｂ、ＤおよびＦを読み出すための進行技術を表す説明図である。 図２７Ａ〜図２７Ｆは、画素アレイから画像Ａ、Ｂ、ＤおよびＦを読み出すための進行技術を表す説明図である。 図２７Ａ〜図２７Ｆは、画素アレイから画像Ａ、Ｂ、ＤおよびＦを読み出すための進行技術を表す説明図である。 図２８は、画素データを検索して合成させる方法を示す説明図である。 図２９は、ライン周期内でデータバスに対してデータを書き込み且つ読み取る方法を示す説明図である。 図３０は、結合器の一実施形態の説明図である。

画素アレイ内に１つ以上の画素を有する画像センサが開示される。その画素アレイは、制御回路と減算回路とに結合されることができる。その制御回路は、画素毎に第１の基準出力信号およびリセット出力信号を供給させることができる。その制御回路は、その後、画素毎に光応答出力信号および第２の基準出力信号を供給させることができる。その光応答出力信号は、当該センサによって取り込まれるべき画像に対応する。

その減算回路は、外部メモリ内に格納される雑音信号を生成するようにリセット出力信号と第１の基準出力信号との間の差分を供給することができる。減算回路は、さらに、正規化された光応答出力信号を生成するように、光応答出力信号と第２の基準出力信号との間の差分を供給することができる。雑音信号は、メモリから検索され、センサの出力データを生成するように正規化された光応答出力信号と合成される。リセット信号が太陽光又はミラーからの反射光に曝すことを示す閾値を越える場合、出力データは指定値に設定されることができる。最終画像は、第１の画像、第２の画像、第３の画像および第４の画像の関数であってもよい。画像データは、画像データの露出率の情報を与えるフィールドと共に、プロセッサに転送されることができる。

参考番号によりさらに図面を特定に参照すると、図１は画像センサ１０を示している。画像センサ１０は、複数の個別な光検出画素１４を包含する画素アレイ１２を含む。画素１４は、いくつかの行と列による２次元のアレイで配置される。

画素アレイ１２は、バス１８により光読取装置回路１６に、また、制御線２２により行デコーダ２０にそれぞれ結合される。行デコーダ２０は、画素アレイ１２の個別の行を選択することができる。その上、光読取装置１６は、選択された行の内の指定の個々の列を読み取ることができる。行デコーダ２０と光読取装置１６は、共にアレイ１２中の個別の画素１４の読み取りを可能にする。

光読取装置１６は、出力線（単数又は複数）２６によってアナログ・デジタル変換器２４（ＡＤＣ）に結合されることができる。ＡＤＣ２４は、光読取装置１６および選択された画素１４によって供給される信号の振幅に対応するデジタルビット列を生成する。

ＡＤＣ２４は、ライン３６およびスイッチ３８、４０、４２によって、１対の第１の画像バッファ２８、３０、および１対の第２の画像バッファ３２、３４に結合される。第１の画像バッファ２８、３０は、ライン４６およびスイッチ４８によってメモリ・コントローラ４４に結合される。メモリ・コントローラ４４は、より一般的には、データ・インタフェースと呼んでもよい。第２の画像バッファ３２、３４は、ライン５２およびスイッチ５４によってデータ結合器５０に結合される。メモリ・コントローラ４４およびデータ結合器５０は、ライン５８とライン６０によって読み戻しバッファ（Read Back Buffer）５６にそれぞれ接続される。読み戻しバッファ５６の出力は、ライン６２によってコントローラ４４に接続される。データ結合器５０は、ライン６４によってメモリ・コントローラ４４に接続される。さらに、コントローラ４４は、ライン６６によってＡＤＣ２４に接続される。

メモリ・コントローラ４４は、コントローラバス７０によって外部バス６８に結合される。外部バス６８は、外部プロセッサ７２および外部メモリ７４に結合される。バス７０、プロセッサ７２およびメモリ７４は、通常、既存のデジタルカメラ、カメラおよび携帯電話に用いられる。プロセッサは、通常、処理画像に関連付けられている様々な計算を実行することができる。例えば、プロセッサは、ホワイトバランス或いは色の補正、またはＪＰＥＧまたはＭＰＥＧの圧縮方式による圧縮など画像データ圧縮を実行することができる。

画像ファイルの静止画像を取り込むために、光読取装置１６は、画素アレイ１２から画像ファイルの第１の画像を一行ずつ検索する。スイッチ３８は、ＡＤＣ２４を第１の画像バッファ２８、３０に接続した状態である。スイッチ４０、４８は、メモリ・コントローラ４４によって、データが１つのバッファ２８または３０に入力され、他のバッファ３０または２８から検索されるように設定される。例えば、メモリ・コントローラ４４によって、画素データの第１のラインがバッファ２８から検索されて外部メモリ７４に格納される一方、画素データの第２のラインがバッファ３０内に格納されてもよい。

画像ファイルの第２の画像の第１のラインが有効な場合、スイッチ３８は、第１の画像データおよび第２の画像データを交互に第１の画像バッファ２８、３０、および第２の画像バッファ３２、３４にそれぞれ格納するように選択されている。スイッチ４８、５４は、インタリービング方式によって外部メモリ７４へ第１および第２の画像データを格納するように選択されてもよい。このプロセスは、図２に示される。

第１および第２の画像データを検索して合成するための方法が複数ある。図３に示すように、１つの方法として、第１の画像および第２の画像の各ラインは、メモリデータレートで外部メモリ７４から検索されて、読み戻しバッファ５６に格納されると共に、データ結合器５０で合成され、そして、プロセッサデータレートでプロセッサ７２に送信される。又は、第１の画像および第２の画像は、読み戻しバッファ５６に格納され、結合器５０で画像を合成せずにインタリービングまたは連結方式でプロセッサ７２に供給されてもよい。この技術は、プロセッサ７２が異なる方法によりデータを処理することを可能にする。

図４は、外部プロセッサ７２が画素データを合成するための代替方法を示す。第１の画像のラインは、メモリデータレートで外部メモリ７４から検索されて読み戻しバッファ５６に格納され、次に、プロセッサデータレートで外部プロセッサ７２に転送される。その後、第２の画像のラインは、外部メモリ７４から検索され、読み戻しバッファ５６に格納され、そして、外部プロセッサ７２に転送される。このシーケンスは、第１の画像および第２の画像の各ラインに対して継続する。或いは、図５に示すように、第１の画像の全体は、外部メモリ７４から検索され、一回に１ラインずつ読み戻しバッファ５６に格納されて外部プロセッサ７２に転送されてもよい。その後、第２の画像は、ラインごとに外部メモリ７４から検索され、読み戻しバッファ５６に格納されて外部プロセッサ７２に転送される。

プロセッサデータレートがメモリデータレートと同じである場合には、プロセッサ７２は、図６および図７に示すように、インタリービングまたは連結方式で、外部メモリ７４からそれぞれ画素データレートを直接検索してもよい。上記の全ての技術に関しては、メモリ・コントローラ４４は、画像センサ１０、プロセッサ７２およびメモリ７４の間のデータ転送に対するアービトレーションを提供する。画像センサ１０の雑音を減らすために、光読取装置１６が出力信号を検索していない場合、コントローラ４４はデータを転送することが好ましい。

ビデオ画像ファイルを取り込むために、画像ファイルの第１の画像のいくつかのラインの画素データは、外部メモリ７４に格納されてもよい。画像ファイルの第２の画像の第１のラインが有効な場合、第１の画像の第１のラインは、図８および図９に示すように、メモリデータレートでメモリ７４から検索され、データ結合器５０で合成される。合成されたデータは、プロセッサデータレートで外部プロセッサ７２に転送される。図９に示すように、外部メモリは、メモリデータレートで第１の画像からのいくつかのラインの画素データを入出力している。

ビデオキャプチャに関しては、バッファ２８、３０、３２、３４は、入力された画素データの解像度変換を実行してもよい。ＮＴＳＣおよびＰＡＬという２つの共通ビデオ標準がある。ＮＴＳＣは、４８０本の水平線を必要とする。ＰＡＬは、５９０本の水平線を必要とする。高度な静止画像解像度を供給するために、画素アレイ１２は１５００本までの水平線を含んでもよい。画像センサは、出力データを標準フォーマットに変換する。また、オンボード変換によって、画像センサは、プロセッサ７２のオーバヘッドを低減する。

図１０は、解像度を変換し、データ量を減らすための技術を示している。データの低減は、画像センサの雑音および電力消費を低下させる。さらに、低減されたデータは、外部メモリに必要なメモリが少なくなる。第１の方法は、隣接する４列×隣接する４行の画素を、２列×２行の画素に低減する。画素アレイ１２は、ベイヤーパターンに配列された赤（Ｒ）、緑（Ｇ）および青（Ｂ）の画素を含む４×４の画素群を含む。４×４のアレイは、以下の方程式によって２×２のアレイに低減される。
R = 1/4 × (R₁ + R₂ + R₃ + R₄) (1)
B = 1/4 × (B₁ + B₂ + B₃ + B₄) (2)
G_B = 1/2 × (G₁ + G₂) (3)
G_R = 1/2 × (G₃ + G₄) (4)
正味の効果は、ベイヤーパターン配列のデータレートの７５％の減少である。

図１１は、解像度変換の代替方法を示している。第２の技術は、ＭＰＥＧ２対応である４：２：０符号化を提供する。その変換は、以下の方程式を用いて実行される。
R = 1/4 × (R₁ + R₂ + R₃ + R₄) (5)
B = 1/4 × (B₁ + B₂ + B₃ + B₄) (6)
G_B = 1/2 × (G₁ + G₂) (7)
G_R = 1/2 × (G₃ + G₄) (8)
G_BB = 1/2 × (G₅ + G₆) (9)
G_RR = 1/2 × (G₇ + G₈) (10)
正味の効果は、データレートの６２．５％の減少である。

図１２は、他の解像度変換の代替方法をさらに示している。第３の方法は、以下の方程式を用いて、４：２：２符号化技術を提供する。
G₁₂ = 1/2 × (G₁ + G₂) (11)
G₃₄ = 1/2 × (G₃ + G₄) (12)
G₅₆ = 1/2 × (G₅ + G₆) (13)
G₇₈ = 1/2 × (G₇ + G₈) (14)
R₁₂ = 1/2 × (R₁ + R₂) (15)
R₃₄ = 1/2 × (R₃ + R₄) (16)
B₁₂ = 1/2 × (B₁ + B₂) (17)
B₃₄ = 1/2 × (B₃ + B₄) (18)
正味の効果は、データレートの５０％の減少である。

省エネルギーのため、メモリがデータを受信も送信もしていない場合、メモリ・コントローラ４４は、外部メモリ７４の電力を落としてもよい。この機能を達成するために、コントローラ４４は、ＳＤＲＡＭのＣＫＥピンに接続される電源制御ピン７６を含んでもよい（図１を参照）。

図１３は、画素アレイ１２の画素１４のセル構造の実施形態を示している。画素１４は、光検出器１００を含んでもよい。具体的な例として、光検出器１００は、フォトダイオードであってもよい。光検出器１００は、リセットトランジスタ１１２に接続されてもよい。光検出器１００も、レベルシフティングトランジスタ１１６を介して選択トランジスタ１１４に結合されてもよい。トランジスタ１１２、１１４、１１６は、電界効果トランジスタ（ＦＥＴ）であってもよい。

リセットトランジスタ１１２のゲートは、ＲＳＴライン１１８に接続されてもよい。トランジスタ１１２のドレイン・ノードは、ＩＮライン１２０に接続されてもよい。選択トランジスタ１１４のゲートは、ＳＥＬライン１２２に接続されてもよい。トランジスタ１１４のソース・ノードは、ＯＵＴライン１２４に接続されてもよい。ＲＳＴライン１１８およびＳＥＬライン１２２は、画素アレイ１２における画素の全行に共通であってもよい。同様に、ＩＮライン１２０およびＯＵＴライン１２４は、画素アレイ１２における画素の全列に共通であってもよい。ＲＳＴライン１１８およびＳＥＬライン１２２は、行デコーダ２０に接続され、制御線２２の一部になる。

図１４は、光読取装置回路１６の実施形態を示している。光読取装置１６は、画素アレイ１２のＯＵＴライン１２４に各々接続された複数の二重標本化キャパシタ回路１５０を含んでもよい。各二重標本化回路１５０は、第１のキャパシタ１５２および第２のキャパシタ１５４を含んでもよい。第１のキャパシタ１５２は、スイッチ１５８、１６０によって、ＯＵＴライン１２４および接地ＧＮＤ１ １５６にそれぞれ結合される。第２のキャパシタ１５４は、スイッチ１６２、１６４によって、ＯＵＴライン１２４および接地ＧＮＤ１にそれぞれ結合される。スイッチ１５８、１６０は、制御線ＳＡＭ１ １６６によって制御される。スイッチ１６２、１６４は、制御線ＳＡＭ２ １６８によって制御される。キャパシタ１５２、１５４は、スイッチ１７０をＯＦＦにすることにより相互に接続して電圧減算を実行することができる。スイッチ１７０は、制御線ＳＵＢ１７２によって制御される。

二重標本化回路１５０は、複数の第１のスイッチ１８２および複数の第２のスイッチ１８４によってオペアンプ１８０に接続される。アンプ１８０は、第１のスイッチ１８２によって第１のキャパシタ１５２に結合された負端子−、および第２のスイッチ１８４によって第２のキャパシタ１５４に結合された正端子＋を有する。オペアンプ１８０は、出力線ＯＰ１８８に接続された正出力＋、および出力線ＯＭ１８６に接続された負出力−を有する。出力線１８６および１８８は、ＡＤＣ２４に接続される（図１を参照）。

オペアンプ１８０は、アンプ１８０に接続された標本化回路１５０における、第１のキャパシタ１５２に格納された電圧と第２のキャパシタ１５４に格納された電圧との間の差分である増幅信号を供給する。アンプ１８０のゲインは、可変キャパシタ１９０の調整により変更することができる。可変キャパシタ１９０は、１対のスイッチ１９２をＯＦＦにすることにより放電されてもよい。スイッチ１９２は、対応する制御線（図示せず）に接続されてもよい。単一のアンプが図示して記述されているが、１つ以上のアンプでも光読取装置回路１６に用いることができることは理解されるべきである。

図１５および図１６は、低雑音モードとも呼ばれる第１のモードにおける画像センサ１０の動作を示している。プロセスブロック３００において、基準信号は、画素アレイの各画素１４内に書き込まれ、その後、第１の基準出力信号は、光読取装置１６内に格納される。図１３および図１６を参照すると、これは、トランジスタ１１２をＯＮにするようにＲＳＴ１１８ラインおよびＩＮ１２０ラインを低電圧から高電圧に切り替えることにより成し遂げることができる。ＲＳＴライン１１８は、全行に対して高レベルになるように駆動される。ＩＮライン１２０は、全列に対して高レベルになるように駆動される。好ましい実施形態において、ＩＮライン１２０が最初に低レベルである間に、ＲＳＴライン１１８はまず高レベルになるように駆動される。

ＲＳＴライン１１８は、ＩＮライン１２０が高レベル状態に切り替えられた場合、トライステートに切り替えられるトライステート・バッファ（図示せず）に接続されてもよい。これは、ゲート電圧がＩＮライン１２０の電圧より高い値にフロートすることを可能にする。これは、トランジスタ１１２を三極管領域に入り込ませる。三極管領域において、フォトダイオード１００における電圧は、ＩＮライン１２０における電圧とほぼ同じである。より高いゲート電圧の生成は、光検出器がＶｄｄに近いレベルでリセットされることを可能にする。従来の技術のＣＭＯＳセンサでは、光検出器をＶｄｄ−Ｖｇｓのレベルにリセットするが、ただし、Ｖｇｓは、最大Ｖまで可能である。

また、ＳＥＬライン１２２は、トランジスタ１１４をＯＮにする高電圧のレベルに切り替えられる。フォトダイオード１００の電圧は、レベルシフタトランジスタ１１６および選択トランジスタ１１４を介してＯＵＴライン１２４へ供給される。光読取装置１６（図１４を参照）のＳＡＭ１制御線１６６は、ＯＵＴライン１２４における電圧が第１のキャパシタ１５２に格納されるように選択される。

図１５を参照すると、プロセスブロック３０２において、その後、画素アレイの画素はリセットされ、リセットされた出力信号は、その後、光読取装置１６に格納される。図１３と図１６に示すように、これは、トランジスタ１１２をＯＦＦにして画素１４をリセットするように、ＲＳＴライン１１８を低レベルに駆動することにより、成し遂げることができる。トランジスタ１１２のＯＦＦは、リセット雑音、電荷注入およびフォトダイオード１００にわたって常駐するクロックフィードスルー電圧を生成するであろう。図１７に示すように、トランジスタ１１２がリセットされる場合、雑音は、光検出器１００における電圧を低減する。

ＳＡＭ２ライン１６８は、高レベルに、ＳＥＬライン１２２は、低レベルにそれぞれ駆動され、その後、ＳＥＬライン１２２は、再び高レベルに駆動されることによって、レベルシフトされたフォトダイオード１００の電圧は、光読取装置回路１６の第２のキャパシタ１５４にリセット出力信号として格納される。プロセスブロック３００および３０２は、アレイ１２内の各画素１４に対して繰り返される。

図１５を参照すると、プロセスブロック３０４において、その後雑音出力信号を生成するように、第１の基準出力信号から、リセットされた出力信号を減じ、そして、雑音出力信号がＡＤＣ２４によってデジタルビット列に変換される。デジタル出力データは、図２、３、８または９に記述の技術の１つによって外部メモリ７４に保存される。雑音信号は、第１の画像画素データに対応する。図１４を参照すると、減算プロセスは、第１のキャパシタ１５２における電圧から第２のキャパシタ１５４における電圧を減じるように、光読取装置回路１６（図１４）のスイッチ１８２、１８４、１７０をＯＦＦにすることにより成し遂げることができる。

図１５を参照すると、ブロック３０６において、光応答出力信号は、画素アレイ１２の画素１４から標本化され、光読取装置回路１６に格納される。光応答出力信号は、画像センサ１０によって検出されている光学画像に対応する。図１３、１４、１６を参照すると、これは、ＩＮ１２０、ＳＥＬ１２２およびＳＡＭライン２１６８を高レベル状態に、ＲＳＴ１１８を低レベル状態にすることにより成し遂げることができる。光読取装置回路１６の第２のキャパシタ１５２は、光応答出力信号として、フォトダイオード１００のレベルシフトされた電圧を格納する。

図１５を参照すると、ブロック３０８において、第２の基準出力信号は、その後、画素１４内で生成され、光読み出し回路１６内に格納される。図１３、１４、１６を参照すると、これは、同様に第１の基準出力信号を生成して格納することにより成し遂げることができる。ＲＳＴライン１１８は、まず高レベルになるように駆動され、その後トライステートになる。その後、ＩＮライン１２０は、高レベルになるように駆動されることによってトランジスタ１１２を三極管領域に入り込ませ、フォトダイオード１００における電圧がＩＮライン１２０における電圧になる。その後、ＳＥＬライン１２２およびＳＡＭ２ライン１６８は、高レベルになるように駆動されることにより光読取装置回路１６の第１のキャパシタ１５４に第２の参照出力電圧を格納する。プロセスブロック３０６および３０８は、アレイ１２内の各画素１４に対して繰り返される。

図１５を参照すると、ブロック３１０において、正規化された光応答出力信号を生成するように、光応答出力信号を第２の基準出力信号から減じる。正規化された光応答出力信号は、第２の画像バッファ３２、３４に保存される正規化された光出力データを生成するようにデジタルビット列に変換される。正規化された光応答出力信号は、第２の画像画素データに対応する。図１３、１４および１６を参照すると、減算プロセスは、第２のキャパシタ１５４における電圧から第１のキャパシタ１５２における電圧を減じるように、光読取装置１６のスイッチ１７０、１８２、１８４をＯＦＦにすることにより成し遂げることができる。その後、差分は、アンプ１８０によって増幅され、光応答データとしてＡＤＣ２４によってデジタルビット列に変換される。

図１５を参照すると、ブロック３１２において、雑音データは、外部メモリから検索される。ブロック３１４において、雑音データは、図３、４、５、６、７または８に示す技術の１つによって、正規化された光出力データと合成される（減算）。雑音データは、第１の画像に、正規化された光出力データは、第２の画像に夫々対応する。第２の基準出力信号が第１の基準出力信号と同じまたはほぼ同じであるため、本発明は、正規化された光応答信号から、リセット雑音、電荷注入およびクロックフィードスルーに起因する雑音データを減じる。これは、最終画像データの信号対雑音比を改善する。画像センサは、３つのトランジスタのみを有する画素によって、この雑音キャンセルを実行する。これによって、この画像センサは、雑音キャンセルを提供すると共に、比較的小さな画素ピッチを維持する。このプロセスは、外部プロセッサ７２および外部メモリ７４により成し遂げられる。

このようなプロセスは、画素アレイ１２における画素の種々の行にわたってシーケンスで実行される。図１６に示すように、画素アレイおけるｎ番目の行は雑音信号を生成し、ｎ−ｌ番目の行が正規化された光応答信号を生成することができるが、ただし、ｌはライン周期の倍数単位での露出持続時間である。

図１７を参照すると、画素が直射日光またはミラー反射などのような高い強度照明を受ける場合、リセット電圧は大幅な量を下げて、歪データを生成してもよい。例えば、カメラは、明るい照明に対する暗点を生成することができる。

そのようなシナリオを防ぐために、リセットレベルを閾値と比較してもよい。具体例として、図１に示す結合器５０は、リセットレベルを指定の閾値と比較してもよい。閾値は、画像センサが明るい照明に晒されない場合のリセットレベルより１００ｍＶ大きく選択されてもよい。リセットレベルが閾値を越える場合、結合器５０は、最大照明値を出力してもよい。例えば、１０のビット値を供給するシステムについては、結合器５０は「１１ １１１１ １１１１」（ＭＡＸ信号）を出力してもよい。結合器５０は、さらに上限から１を引いた値に対応するＣＬＡＭＰ値（例えば「１１ １１１１ １１１０」）を設定してもよい。ＣＬＡＭＰ値は、従来の処理によって検出された最大値に対応する。

結合器５０は、この最大照明値を表現するために、特別の指定コード（例えば「１１ ００００ ００００」）（ＭＡＸ信号）を出力してもよい。従来の処理について、すなわち、リセットレベルが閾値を越えず、結合器５０は、この特別の指定コードを除くすべての可能なコードを出力する。例えば、従来の処理がこの特別の指定コードと等しい値を生成する場合、結合器５０は、次に高い値のコード（本具体例では「１１ ００００ ０００１」）にスキップしてもよい。

このように、プロセッサ７２は、画素値がＭＡＸ信号と等しい場合、画素への過度の照明ためにリセットレベルが閾値を越えたことを示すことを明白に検出することができる。プロセッサ７２は、暗い輪の映像アーティファクトを以下のように除去するように、画像センサ１０から受信された映像の画像処理まで行ってもよい。

図１７Ａに示すように、その画像は、輝点３２２の周囲にある、外部領域３２４によって囲まれる暗い輪３２０を含んでも良い。プロセッサ７２は、ＭＡＸ信号付き画素に隣接する画素がＭＡＸ値またはＣＬＡＭＰ値を有するべきか否かを決定するように、画素への解析を実行することができる。例えば、第１の画素がＭＡＸ値を有しており、第２の画素がＣＬＡＭＰ値を有しており、第１の画素および第２の画素間に物体的にある第３の画素がＣＬＡＭＰ値未満であり、かつ、第１の画素と第３の画素との間にＭＡＸ値またはＣＬＡＭＰ値を有している介在画素が存在しない場合、第３の画素は、暗い領域３２０に帰せられて、最大値とＣＬＡＭＰ値とのいずれかが与えられる。画素の行は、値の変動を判断されて、そして、それに応じて第３の画素を割り当てるために解析されることができる。代替の実施形態は、この手順を結合器５０で実行させ、それに応じて第３の画素を割り当てるようにしてもよい。このプロセスは、下記のステップにより実行されることができる。
１）フラグＲＩＧＨＴ＿ＯＦ＿ＭＡＸを０に初期化する。
２）フラグＲＩＧＨＴ＿ＯＦ＿ＣＬＡＭＰを０に初期化する。
３）画素を左から右にスキャンする。スキャンの間に、下記を実行する：
ａ）もしＭＡＸ画素から非ＭＡＸ画素に移行するならば、ＲＩＧＨＴ＿ＯＦ＿ＭＡＸを１に設定する。
ｂ）もし非ＭＡＸ画素からＭＡＸ画素に移行するならば、ＲＩＧＨＴ＿ＯＦ＿ＭＡＸを０に設定する。
ｃ）もしＣＬＡＭＰ画素から非ＣＬＡＭＰ画素に移行するならば、ＲＩＧＨＴ＿ＯＦ＿ＣＬＡＭＰを１に設定する。
ｄ）もし非ＣＬＡＭＰ画素からＣＬＡＭＰ画素に移行するならば、ＲＩＧＨＴ＿ＯＦ＿ＣＬＡＭＰを０に設定する。
ｅ）各画素において、そのＰＩＸＥＬ＿ＲＩＧＨＴ＿ＯＦ＿ＭＡＸフラグをＲＩＧＨＴ＿ＯＦ＿ＭＡＸの現在値に設定し、かつ、そのＰＩＸＥＬ＿ＲＩＧＨＴ＿ＯＦ＿ＣＬＡＭＰをＲＩＧＨＴ＿ＯＦ＿ＣＬＡＭＰの現在値に設定する。
４）フラグＬＥＦＴ＿ＯＦ＿ＭＡＸを０に初期化する。
５）フラグＬＥＦＴ＿ＯＦ＿ＣＬＡＭＰを０に初期化する。
６）その後、右から左にスキャンする。スキャンの間に、以下を実行する：
ａ）もしＭＡＸ画素から非ＭＡＸ画素に移行するならば、ＬＥＦＴ＿ＯＦ＿ＭＡＸを１に設定する。
ｂ）もし非ＭＡＸ画素からＭＡＸ画素に移行するならば、ＬＥＦＴ＿ＯＦ＿ＭＡＸを０にクリアする。
ｃ）もしＣＬＡＭＰ画素から非ＣＬＡＭＰ画素に移行するならば、ＬＥＦＴ＿ＯＦ＿ＣＬＡＭＰを１に設定する。
ｄ）もし非ＣＬＡＭＰ画素からＣＬＡＭＰ画素に移行するならば、ＬＥＦＴ＿ＯＦ＿ＣＬＡＭＰを０にクリアする。
ｅ）各画素において、そのＰＩＸＥＬ＿ＬＥＦＴ＿ＯＦ＿ＭＡＸフラグをＬＥＦＴ＿ＯＦ＿ＭＡＸの現在値に設定し、そのＰＩＸＥＬ＿ＬＥＦＴ＿ＯＦ＿ＣＬＡＭＰをＬＥＦＴ＿ＯＦ＿ＣＬＡＭＰの現在値に設定する。
７）最後に、左から右にスキャンする。スキャンの間に、以下を実行する：
ａ）もし画素がＰＩＸＥＬ＿ＲＩＧＨＴ＿ＯＦ＿ＭＡＸ＝１、ＰＩＸＥＬ＿ＬＥＦＴ＿ＯＦ＿ＣＬＡＭＰ＝１、またはＰＩＸＥＬ＿ＬＥＦＴ＿ＯＦ＿ＭＡＸ＝１およびＰＩＸＥＬ＿ＲＩＧＨＴ＿ＯＦ＿ＣＬＡＭＰ＝１を有しているならば、前記画素は減光領域７３０に属し、そのようにフラグを設定する。
ステップのこのシーケンスは、結合器５０に適用可能であり、同様にプロセッサ７２にも適用可能である。

様々な制御信号ＲＳＴ、ＳＥＬ、ＩＮ、ＳＡＭ１、ＳＡＭ２およびＳＵＢは、一般的に、行デコーダ２０と呼ばれる回路内で生成することができる。図１８は、図１６のタイミング図に従ってＩＮ、ＳＥＬ、ＳＡＭ１、ＳＡＭ２およびＲＳＴ信号を生成するためのロジックの実施形態を示している。そのロジックは、一方の入力がカウンタ３５２に接続され、他方の入力が下位のカウント値および上位のカウント値を含むハードワイヤード信号に接続された複数の比較器３５０を含んでもよい。カウンタ３５２は、シーケンシャルにカウントを生成する。比較器３５０は、現在のカウントを下位および上位のカウント値と比較する。もし現在のカウントが下位のカウント値と上位のカウント値との間にあるならば、比較器３５０はロジック１を出力する。

比較器３５０は、複数のＡＮＤゲート３５６およびＯＲゲート３５８に接続される。ＯＲゲート３５８は、ラッチ３６０に接続される。ラッチ３６０は、対応するＩＮ、ＳＥＬ、ＳＡＭ１、ＳＡＭ２およびＲＳＴ信号を供給する。ＡＮＤゲート３５６も、モードライン３６４に接続される。図１６に示すタイミング図に従って動作するために、モードライン３６４は、ロジック１に設定される。

ラッチ３６０は、ＡＮＤゲート３５６、ＯＲゲート３５８、比較器３５０およびカウンタ３５２の現在のカウントによって確立されるロジックに応じてロジック０とロジック１との間で切り替わる。例えば、ＩＮラッチに結合された比較器に用いるハードワイヤード信号は、６のカウント値および２４のカウント値を含んでもよい。カウンタからのカウントが６以上で２４未満であるならば、比較器３５０は、ＩＮラッチ３６０にロジック１を出力させるロジック１を供給する。下位および上位のカウント値は、図１６に示すパルスのシーケンスおよび期間を確立する。モードライン３６４は、画像センサを第２のモードで機能させるロジック０に切り替えることができる。

センサ１０は、画素の行にそれぞれ接続されている複数のリセットＲＳＴ（ｎ）ドライバ３７０を有していてもよい。図１９および図２０では、模式的なドライバ回路３７０およびその回路３７０の動作を示す。各ドライバ３７０は、図１８に示すＲＳＴおよびＳＡＭ１ラッチに接続される１対のＮＯＲゲート３７２を有していてもよい。ＮＯＲゲートは、トライステート・バッファ３７４の状態を制御する。トライステート・バッファ３７４は、画素の行におけるリセットトランジスタに接続される。トライステート・バッファの入力は、ＡＮＤゲート３７６に接続され、ＡＮＤゲート３７６がＲＳＴラッチと行イネーブルＲＯＷＥＮ（ｎ）ラインに接続される。

図２１および２２は、拡大ダイナミックレンジモードとも呼ばれる第２のモードにおける画像センサの動作を示す。このモードにおいて、画像は十分な量の光エネルギーを供給することによって、ＳＮＲが図１５および図１６に記載の雑音キャンセル技術なしでも適切になる。画像センサ１０が拡大ダイナミックレンジモードにある場合、図１５および図１６に示す雑音キャンセル技術を利用することができることは理解されるべきである。拡大ダイナミックモードには、短時間露出期間と長時間露出期間の両方がある。図２１を参照すると、ブロック４００において、各画素１４は短時間露出期間を開始させるようにリセットされる。画像センサのモードは、センサが低雑音モードまたは拡大ダイナミックレンジモードにあるか否かを決定するように、プロセッサ７２によって設定されることができる。

ブロック４０２において、短時間露出出力信号は、選択された画素内で生成され、光読取装置回路１６の第２のキャパシタ１５４に格納される。

ブロック４０４において、その後、選択された画素はリセットされる。フォトダイオード１００のレベルシフトリセット電圧は、リセット出力信号として光読取装置回路１６の第１のキャパシタ１５２に格納される。光読取装置回路１６において、短時間露出出力信号がリセット出力信号から減じられる。短時間露出信号とリセット信号の間の差分は、ＡＤＣ２４によってバイナリービット列に変換され、図２、３、８または９に示す技術の１つに従って外部メモリ７４に格納される。短時間露出データは、第１の画像画素データに対応する。その後、各画素は、長時間露出期間を開始するように再びリセットされる。

ブロック４０６において、光読取装置回路１６は、画素からの長時間露出出力信号を第２のキャパシタ１５４に格納する。ブロック４０８において、画素はリセットされ、光読取装置回路１６は第１のキャパシタ１５２にリセット出力信号を格納する。長時間露出出力信号は、リセット出力信号から減じられ、増幅されて長時間露出データとしてＡＤＣ２４によってバイナリービット列に変換される。

図２１を参照すると、ブロック４１０において、短時間露出データは外部メモリから検索される。ブロック４１２において、短時間露出データは、図３、４、５、６、７または８に示す技術の１つに従って長時間露出データと合成される。データは、多くの異なる方式により合成されてもよい。外部プロセッサ７２は、まず長時間露出データによって画像を解析してもよい。画像が明るすぎる場合、フォトダイオードが飽和になる可能性がある。これは、通常「色あせた」画像になってしまう。プロセッサ７２は、画像が色あせているか否かの決定をするように長時間露出データを処理することができ、画像が色あせしている場合、プロセッサ７２は、短時間露出画像データを用いることができる。プロセッサ７２は、さらに長時間および短時間露出データの両方を用いることにより、検出された画像の飽和部分を補うことができる。

図２２は、長／短時間露出データのデータ生成および検索のタイミングを示している。画素アレイ１２からの出力信号の読み取りは、メモリ７４からの信号の検索に重なる。図２２は、画素のｎ番目の行が短時間露出を開始し、（ｎ−ｋ）番目の行が短時間露出期間を終了して長時間露出期間を開始し、画素の（ｎ−ｋ−ｌ）番目の行が長時間露出期間を終了する、データ生成および検索のタイミングを示す。ここで、ｋはライン周期の倍数単位での短時間露出時間であり、ｌはライン周期の倍数単位での長時間露出時間である。

（ｎ−ｋ−ｌ）番目の画素アレイが長時間露出周期を完成していくと同時に、メモリ・コントローラ４４は、行（ｎ−ｋ−ｌ）の画素のための短時間露出データを検索し始める。ライン周期の初めに、光読取装置回路１６は、信号ＳＡＭ１、ＳＡＭ２、ＳＥＬ（ｎ−ｋ）およびＲＳＴ（ｎ−ｋ）の使用可能性によって示されるような画素アレイ１２の（ｎ−ｋ）番目の行から短時間露出出力信号を検索する。その後、光読取装置回路１６は、（ｎ−ｋ−ｌ）番目の行の長時間露出データを検索する。

画像センサ１０のデュアルモードは、画像における変更した輝度を補正することができる。画像輝度が低い場合、画素からの出力信号は比較的低い。これは、平均雑音が比較的一定であると仮定する場合、通常、センサによって供給される取得データのＳＮＲを低減してしまう。図１５および図１６に示す雑音補正スキームは、出力データのＳＮＲを改善することによって、被写体像が比較的暗い場合でも、画像センサが高品質の映像を供給するようにする。逆に、被写体像が明るすぎる場合、図２１および図２２に表す拡大ダイナミックレンジモードは、高品質の画像ファイルを供給するように当該輝度を補正する。

図２３ａは、外部プロセッサ７２に接続されるプロセッサバス７０’と、外部メモリ７４に接続される別のメモリバスに７０”とを有する画像センサの代替の実施形態を示している。当該構成では、メモリ７４がデータを格納して転送している間に、プロセッサ７２はデータにアクセスしてもよい。この実施形態は、図１に示す実施形態のバス６８より遅いプロセッサバス７０’上のクロック速度も可能にする。

図２３ｂは、プロセッサ７２が別個のデータ・インタフェース５００に結合され、外部メモリ７４が別個のメモリ・コントローラ４４に接続される別の実施形態を示している。

図２４は、バッファ２８、３０、３２および３４に接続されたデータ・インタフェース５００を備えた画像センサの別の実施形態を示している。インタフェース５００は、プロセッサバス５０２により外部プロセッサ７２に接続される。この構成において、外部メモリ７４は、別個のメモリバス５０４によってプロセッサ７２に接続される。静止画像とビデオキャプチャの両方について、第１および第２画像は、インタリービング方式で外部プロセッサに供給される。

図２５は、バッファ２８、３０、３２および３４を含まない画像センサの代替の実施形態を開示している。この実施形態では、ＡＤＣ２４は、外部プロセッサ７２に直接接続される。プロセッサ７２は、正規化された光出力データと雑音データを、または長時間露出データと短時間露出データを合成する（減算）などのような計算ステップを実行してもよい。

図２６は、ＤＭＡコントローラ５１０とバッファ・メモリ５１２と画像処理ユニット５１４とを含む外部のプロセッサを示している。画像センサ１０は、ＤＭＡコントローラ５１０に接続される。プロセッサのＤＭＡコントローラ５１０は、インタリーブ方式または結合方式で、メモリ７４に第１および第２画像データを転送する。ＤＭＡコントローラ５１０は、画像処理ユニット５１４によって処理をするように、バッファ・メモリ５１２に画像データを転送することもできる。

図２７Ａ〜図２７Ｆ、図２８および図２９は、異なる露出期間を有する画像が最終画像を供給するように合成される別の実施形態を示す。各露出に供する画像を、画像Ａ、Ｂ、ＤおよびＦと呼ぶ。

第１の画像から最終の画像までの露出持続時間は、第１の画像の露出率が第４の画像の露出率より長くなるように、長時間から短時間に変化してもよい。各露出は、短時間露出の２のべき乗倍にしてもよい。例えば、４つの露出があり、最短の露出時間が３つのライン周期になる場合、次の長い露出時間は、３×２、つまり６ライン周期になってもよいし、６×４、つまり２４ライン周期になってもよいが、最長の露出時間は、２４×４、つまり９６ライン周期続いてよい。

図２７Ａ〜図２７Ｆは、異なる露出持続時間を有する４つの画像Ａ、Ｂ、ＤおよびＦの画素アレイにおける行の読み取りを図示している。画像Ｂは、ｊ個のライン周期の露出持続時間を有している。画像Ｄは、ｋ個のライン周期の露出持続時間を有していて、画像Ｆは、ｌ個のライン周期の露出持続時間を有している。ライン周期は、各画像が１行の読み取りを開始してから次の行を読み取り開始するまでの間隔である。各画像は、同じライン周期で、前の画像が露出を終了して読み取った同じ行において露出を開始する。

このプロセスは、画像Ａが画素アレイから読み取られる図２７Ａで開始する。図２７Ｂに示すように、その後、画像Ａの後ろのｊ個の行を追跡し、そのアレイからも画像Ｂが読み取られる。図２７Ｃおよび図２７Ｄに示すように、次に画像ＤおよびＦを読み取る。図２７Ｅおよび図２７Ｆに示すように、画像Ａは、画素アレイの末尾で読み取りを再開すると共に、画像Ｂは、画像Ａの後ろのｊ個の行を追跡し、その画素アレイの末尾で読み取りを再開する。画像は、循環バッファ方式でメモリに格納することができる。メモリは、図２７Ａ〜図２７Ｆに示す進行と同様の方法でデータを読み書きするようにメモリアドレス間を移動する別個のポインタを有していてもよい。メモリは、メモリの特定のブロックが特定の画像に割り当てられるように構成されてもよい。例えば、メモリは、画像Ａに使われるデータブロックおよび画像Ｂに使われる異なるブロックを有していてもよい。データは、各ブロック内で循環的な方法で読み書きされてもよい。

図２８は、最終画像Ｇを生成するようにデータを合成するためのプロセスを示している。画像Ａは、メモリから読み取られ、画像Ｃを生成するように画素アレイから読み取られた画像Ｂと合成する。ビデオの場合には、画像Ａおよび画像Ｂは、解像度変換回路を介して処理されてもよい。合成された画像Ｃは、メモリの画像Ａへの上書き可能な方法でメモリへ格納される。

その後、画像Ｃは、メモリから読み取られ、画像Ｅを生成するように、画素アレイから読み取られた画像Ｄと合成される。ビデオの場合には、画像Ｄは、解像度変換回路を介して処理されても良い。画像Ｄの読出し行における画素データは、同一の行に対して読み戻された画像Ｃの合成された行の画素データと合成される。合成された画像Ｅは、メモリのＣ画像への上書き可能な方法でメモリへ格納される。画像Ｅは、メモリから読み取られ、最終画像Ｇを生成するように画素アレイから読み取られた画像Ｆと合成される。ビデオの場合には、画像Ｆは、解像度変換回路を介して処理されても良い。合成された画像Ｇは、プロセッサに書き込まれる。

図２９は、図１または図２３ｂにおけるデータバス６８、または図２３ａにおけるメモリバス７０”上のデータトラフィックのフローを図示している。図２９に示すように、１つのライン周期（１Ｈ）において、ＲＡＷ画像Ａラインｊ＋ｋ＋ｌ＋１、合成された画像Ｃラインｋ＋ｌ＋１、および合成された画像Ｅラインｌ＋１は、メモリに書き込まれ、ＲＡＷ画像Ａラインｋ＋ｌ＋１、合成された画像Ｃラインｌ＋１、および合成された画像Ｅライン１は、メモリから読み戻される。さらに、合成された画像Ｇライン１も同じライン周期でプロセッサへ書き込まれる。一般的に、１つのライン周期において、画像Ｇラインｍは、１Ｈの終わりにプロセッサに書き込まれ、又、ＲＡＷ画像Ａラインｊ＋ｋ＋ｌ＋ｍ、合成された画像Ｃラインｋ＋ｌ＋ｍ、および合成された画像Ｅラインｌ＋ｍは、メモリに書き込まれ、又、ＲＡＷ画像Ａラインｋ＋ｌ＋ｍ、合成された画像Ｃラインｌ＋ｍおよび合成された画像Ｅラインｍは、メモリから読み戻される。

図３０は、拡大ダイナミックレンジモードを実行する結合器５０の一部の実施形態を示している。さらに処理するために、露出時間に関する情報を外部プロセッサに提供することが望ましい。結合器５０は、プロセッサに供給されるデータ内に、４つの露出のどれが含まれているかの情報を提供するフィールドを作る。フィールドは、長さが２ビット以上である。この特定の実施形態では、複数の露出画像は、最長の露出で始め、短い露出に次第に変化し、そして、最短の露出で終了することが仮定される。図２７〜２９を参照する実施形態については、ｊ＞ｋ＞ｌである。

図３０を参照すると、結合器は、アキュムレータ３２または３４、および読み戻しバッファ５６から入力を受ける。結合器５０は、マルチプレクサ６１０および比較器６３０を含む。Ｉ_ｋおよびＩ_ｋ＋１は合成された画像であるが、ただし、Ｉ_０は、第１の最長の露出であるＲＡＷ画像であり、図２７の場合、画像Ａである。Ｈ_ｋ＋１は、画素アレイまたは解像度変換回路からのＲＡＷ画像である。ｋは０から、１つの拡大ダイナミックレンジ映像の形成のための露出の数より１小さい数字まで変動する。例えば、Ｉ_０＝画像Ａ、Ｈ_１＝画像Ｂ、Ｈ_２＝画像Ｄ、Ｈ_３＝画像Ｆは、ＲＡＷ画像であるが、Ｉ_１＝画像Ｃ、Ｉ_２＝画像Ｅ、Ｉ_３＝画像Ｇは、合成された画像である。結合器５０からの出力は、読み戻しバッファ５６に格納することができる（図１を参照）。

ソースラベルｈは、画像Ｉ_ｋ−１の中の各画素につき１つの数字であり、Ｉ_０以外は、結合器５０によってあらかじめ生成され、Ｉ_ｋ−１の生成中にメモリに書き込まれる。Ｉ_０に対しては、ソースラベルｈが０である。結合器出力６４｛ｊ，Ｉ_ｋ｝は、各画素に対して、ソースラベルｊの値が、比較器６３０の出力６４０に応じてｈの値かｋの値のいずれかである。

もし低すぎなければ（つまり、薄暗い）、比較器６３０およびマルチプレクサ６１０は、最短の露出の画素値を選択する。これは、画素値を閾値と比較することにより成すことができる。この決定により、露出オーバー画素値を回避する。もし比較器６３０が、ＲＡＷ画像画素Ｈ_ｋの値の代わりに先行して合成された画像Ｉ_ｋ−１の画素値をマルチプレクサ６１０に選択させる出力を供給するならば、この画素における対応するＩ_ｋの関連するソースラベルｊは、ソースラベル値ｈを割り当てられ、つまりｊ＝ｈになり、そうでなければ、ｊは、ｋの値を割り当てられ、つまりｊ＝ｋになる。例えば、ＲＡＷ画像シーケンスＩ_０ Ｈ_１ Ｈ_２ Ｈ_３の中で、特定の画素に対する｛ｊ，Ｉ_３｝におけるｊ＝３は、対応する画素値がＲＡＷ画像Ｈ_３からコピーされることを意味する。各画素に対して、比較器６３０は、Ｈ_ｋと与えられた閾値とを比較して、もしＨ_ｋ≧閾値であれば、Ｈ_ｋおよびソースラベルｋを出力するようにマルチプレクサ６１０に命令し、そうでなければ、マルチプレクサは、出力Ｉ_ｋ−１およびソースラベルｈを供給する。言いかえれば、もしＨ_ｋ≧閾値であれば、ｊ＝ｋ且つＩ_ｋ＝Ｈ_ｋであり、そうでなければ、ｊ＝ｈ且つＩ_ｋ＝Ｉ_ｋ−１である。例として、もし画素値が８ビットであり、連続露出持続時間の比率が４であれば、閾値は、５０（最大値である２５５内）である。その比率を乗じた閾値が、画素値範囲の最大値未満であるような閾値の選択が好ましい。

ラベルｊを選択する別の方法は、もし結合器入力６０のソースラベルｈが画像Ｉ_２以上に対してｋ−１未満で、比較器６３０の出力を考慮せずにｈを選択することである。これは、ｈ＜ｋ−１が、ＲＡＷ画像Ｈ_ｋ−１が閾値未満の画素値を有するという比較器６３０による先の決定を示し、従って、ＲＡＷ画像Ｈ_ｋがＲＡＷ画像Ｈ_ｋ−１よりさらに少ない露出持続時間を有するので、ＲＡＷ画像Ｈ_ｋもこの画素にて閾値未満の画素値を有するからである。

各画素について、最終の合成された画像は、画素値およびそれに関連づけるソースラベルを有している。そのソースラベルは、画素値に関連づけた最長の第１の画像の露出に関する露出比率をプロセッサに通知する。最終のステップにおいて、結合器５０は、最後から２番目の合成された画像Ｉ_ｋ−１および最終のＲＡＷ画像Ｈ_ｋから、最終の合成された画像のための｛ｊ，Ｉ_ｋ｝を生成する。最終の合成された画像およびその複数のソースラベル｛ｊ，Ｉ_ｋ｝は、高ダイナミックレンジ線形画像を生成するように、データバス６８で外部プロセッサ７２へ出力されるか、または結合器５０内で処理されてもよい。

最終の合成された画像｛ｊ，Ｉ_ｋ｝から高ダイナミックレンジ線形画像を形成するために、画素値は、デジタル画素値を生じるための受信された光の光−デジタル変換のプロセスに取り入れられる歪みを除去するように最初に線形化される。その発生源は、検出ノードにバイアス電圧を備えたＰＮ接合静電容量変化、ボディエフェクトによる画素内のソースホロワトランジスタの閾値電圧変化、および画素出力電圧変化による他のアナログ回路特性の変化を含む。画素出力電圧に応じるこれらの変化は、工場又はオンチップ自己較正回路により区別し測定することができ、これがアナログ集積回路設計実務においても一般的な方法である。当該較正の結果は、線形化ルックアップ表とすることができる。結合器５０は、１つの当該ルックアップ表を含むことができる。画素値を線形化するために、結合器５０は、ルックアップ表にこの値を入力し、歪みを取り除いて線形化された画素値である出力を受信する。線形化された画素値は、露出持続時間×画素アレイに作用する光強度に正比例する。その後、線形化された画素値は、それに対応するＲＡＷ画像の露出持続時間が第１の最長の露出画像に対して拡大縮小される程度に反比例して拡大縮小される。例えば、もし画素のソースラベルが２であり、第３のＲＡＷ画像対第２のＲＡＷ画像の露出持続時間の比率が１対２であり、第２のＲＡＷ画像対第１のＲＡＷ画像の露出持続時間の比率が１対３であれば、第３のＲＡＷ画像対第１のＲＡＷ画像の比率が、１対６であり、したがって、高ダイナミックレンジ線形画素値を生成するために、線形化された画素値に６を掛ける。

いくつかの典型的な実施形態を記述し添付図面に示してきたが、当該実施形態は、広範囲の発明の単なる例示であり、それを制限しないこと、また、当業者にとって様々な他の変更は想到できるので、本発明は、示され記述された特定の構造および配置に限定されないことも理解されるべきである。

例えば、画像の全ラインを含むインタリービング技術が示され記述されているが、全ライン未満または２ライン以上の方法で、データがインタリーブされてもよいことは理解されるべきである。例として、画像Ａの第１のラインの半分が転送され、次に画像Ｂの第１のラインの半分、その次に画像Ａの第１のラインの残りの半分等が転送されてもよい。同様に、画像Ａの最初の２ラインが転送され、次に、画像Ｂの最初の２ライン、その次に画像Ａの第３および第４ライン等が転送されてもよい。

さらに、メモリ７４は、画像センサ１０（１４の誤り）と同一の集積回路（オンボード）にあってもよい。

Claims (29)

1. 画像センサであって、
   少なくとも一つの画素を含む画素アレイ、および
   前記画素アレイへ接続されると共に第１の画素から生成されるサンプリングされたリセット出力信号の関数である最終画像画素値を供給する回路を備え、前記サンプリングされたリセット出力信号が閾値を超えると、前記最終画像画素値は、指定値に設定されることを特徴とする画像センサ。
2. 前記回路は、第２の画素から生成される第２の最終画像画素値を前記指定値とは異なるクランプ値へ設定することを特徴とする請求項１に記載の画像センサ。
3. 前記回路は、更に第３の画素が前記第１の画素と第２の画素との間にあるか否かを決定し、第３の最終画像画素値を前記指定又はクランプ値のいずれかに設定することを特徴とする請求項２に記載の画像センサ。
4. 前記回路は、前記サンプリングされたリセット出力信号を前記画素から生成される前記サンプリングされた光応答出力信号から減算することを特徴とする請求項１に記載の画像センサ。
5. 前記回路は、サンプリングされた第１の基準出力信号とサンプリングされた第２の基準出力信号を受信すると共に、前記サンプリングされたリセット出力信号と前記サンプリングされた第１の基準出力信号との間の差分を供給して雑音信号を生成し、且つ前記サンプリングされた第２の基準出力信号と前記サンプリングされた光応答出力信号との間の差分を供給して正規化された光応答信号を生成する第１の減算回路を含むことを特徴とする請求項４に記載の画像センサ。
6. 前記回路は、前記雑音信号を前記正規化された光応答信号から減算する第２の減算回路を含むことを特徴とする請求項５に記載の画像信号。
7. 画像センサに対して画素値を生成するための方法であって、
   画像センサの画素アレイの第１の画素からサンプリングされたリセット出力信号を生成すること、および
   もしサンプリングされたリセット出力信号が閾値を超えないならば、サンプリングされたリセット出力信号の関数である最終画像画素値を生成すること、を備え、前記最終画像画素値が指定値へ設定されることを特徴とする方法。
8. 第２の画素から生成される第２の最終画像画素値を前記指定値とは異なるクランプ値へ設定することを更に備えることを特徴とする請求項７に記載の方法。
9. 第３の画素が前記第１の画素と第２の画素との間に検出されるか否かを決定し且つ第３の最終画像画素値を前記指定又はクランプ値のいずれかに設定することを更に備えることを特徴とする請求項８に記載の画像センサ（方法の誤り）。
10. 前記画素から生成される前記サンプリングされた光応答出力信号からサンプリングされたリセット出力信号を減算することを更に備えることを特徴とする請求項７に記載の画像センサ。
11. サンプリングされた第１の基準出力信号とサンプリングされた第２の基準出力信号を受信すること、サンプリングされたリセット出力信号とサンプリングされた第１の基準出力信号を減算して雑音信号を生成すること、およびサンプリングされた第２の基準出力信号とサンプリングされた光応答出力信号を減算して正規化された光応答信号を生成することを更に備えることを特徴とする請求項１０に記載の画像センサ。
12. 雑音信号を正規化された光応答信号から減算することを更に備えることを特徴とする請求項１１に記載の方法。
13. 画像センサであって、
    複数の画素を含み且つ第１の画像、第２の画像および第３の画像を生成する画素アレイ、および
    前記第１、第２および／または第３の画像の関数である最終画像のための複数の画素データ、および前記画像データとともに特定の画素の前記画素データが前記第１、第２および／または第３の画像に関連するか否かの情報を提供するフィールドを提供する回路を備えることを特徴とする画像センサ。
14. 前記画素アレイは第４の画像を生成し且つ前記フィールドは前記画素データが前記第４の画像と関連するか否かの情報を含むことを特徴とする請求項１３に記載の画像センサ。
15. 前記第１の画像は、前記第２の画像と合成され、且つ前記フィールドは、前記最終画像が前記第１と第２の画像の合成であるか否かの情報を提供することを特徴とする請求項１３に記載の画像センサ。
16. 前記フィールドは、少なくとも２ビットを含むことを特徴とする請求項１３に記載の画像センサ。
17. 画像センサから最終画像を生成するための方法であって、
    複数の画素を有する画素アレイから第１の画像、第２の画像および第３の画像を生成すること、および
    第１の画像、第２の画像および／または第３の画像の関数である最終画像のための複数の画素データ、および前記画素データとともに特定の画素の前記画素データが前記第１、第２および／または第３の画像に関連するか否かの情報を提供するフィールドを提供することを備える方法。
18. 第４の画像を生成することを更に備え、前記フィールドは前記画素データが第４の画像に関連するか否かの情報を提供することを特徴とする請求項１７に記載の方法。
19. 第１の画像を第２の画像と合成することを更に備え、フィールドは、最終画像が第１と第２の画像の合成であるか否かの情報を提供することを特徴とする請求項１７に記載の方法。
20. フィールドは、少なくとも２ビットを含むように生成されることを特徴とする請求項１７に記載の方法。
21. 最終画像およびフィールドを外部プロセッサへ送信することを更に備えることを特徴とする請求項１７に記載の方法。
22. 画像センサシステムであって、
    第１の画素、第２の画素および第３の画素を含む、複数の画素を含む画素アレイ、および
    前記画素アレイに接続され、第１の最終画像画素値を指定値に設定すると共に第２の最終画像画素値をクランプ値に設定し、前記第３の画素が前記第１の画素と第２の画素との間であるか否かを決定し、且つ第２の最終画像画素値を前記指定値又は前記クランプ値に設定する回路を備えることを特徴とする画像センサシステム。
23. 前記回路は、画像センサの一部であることを特徴とする請求項２２に記載の画像センサシステム。
24. 前記回路は、外部プロセッサであることを特徴とする請求項２２に記載の画像センサシステム。
25. 前記第３の画素は、クランプ値よりも低い画素値を生成し、且つ第３の画素と第１と第２の画素との間に介在する画素が無いことを特徴とする請求項２２に記載の画像センサシステム。
26. 前記指定値は、ＭＡＸ値であることを特徴とする請求項２２に記載の画像センサシステム。
27. 画像センサに対して画素値を生成するために方法であって、
    画素アレイの第１の画素、第２の画素および第３の画素を読み取ること、
    第１の画素から生成された第１の最終画像画素値を指定値に設定すること、
    第２の画素から生成された第２の最終画像画素値をクランプ値に設定すること、
    第３の画素が第１の画素と第２の画素との間にあるか否かを決定すること、および
    第３の最終画像画素値を指定値又はクランプ値のいずれかに設定することを備えることを特徴とする方法。
28. 第３の画素は、クランプ値よりも低い画素値を生成し、且つ第３の画素と第１と第２の画素との間に介在する画素が無いことを特徴とする請求項２７に記載の方法。
29. 指定値がＭＡＸ値であることを特徴とする請求項２７に記載の画像センサ。

Images