JP2004521535A

JP2004521535A - ディジタルイメージャの画素ごとの適応感度制御システム及び方法

Info

Publication number: JP2004521535A
Application number: JP2002557117A
Authority: JP
Inventors: イチローマサキ; レーンジャールブルックス; ビベクシクリ; キースジーフィーフェ
Original assignee: スモールカメラテクノロジーズインコーポレーテッド
Priority date: 2001-01-11
Filing date: 2002-01-04
Publication date: 2004-07-15
Anticipated expiration: 2022-01-04
Also published as: JP4037266B2; EP1352518A1; EP1352518B1; JP2007259486A; JP4474437B2; US8009206B2; US20020105581A1; WO2002056584A1; DE60231373D1

Abstract

ディジタルイメージャの感度を画素ごとに適応制御するシステム及び方法。照射強度レベルマッピングコントローラは、第１の定められた照射強度レベルの範囲内にある照射強度レベルを有するイメージデータの画素数を決定し、第1の定められた照射強度レベルの範囲内にある決定された画素数にもとづき照射強度レベルマッピング関数を決定する。露光コントローラは、第２の定められた照射強度レベルの範囲内にある照射強度レベルを有する画素の数を決定し、第２の定められた照射強度レベルの範囲内にある照射強度レベルを有する決定された画素数にもとづき、集積時間を決定する。転送制御関数生成回路は、決定した制御時間と決定した照射強度レベルマッピング関数にもとづき合成転送制御関数を決定し、決定した集積時間と決定した照射強度レベルマッピング関数とから、複数の離散的転送制御関数間の各移行点を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。

Description

【技術分野】
【０００１】
（優先権情報）
本出願は、２００１年１月１１日に出願された米国仮特許出願第６０／２６１，０２３号による優先権を主張する。該米国仮出願の全記載内容を本願明細書の一部としてここに援用する。
【０００２】
本発明は、ディジタルイメージャの感度の、画素ごとの制御に関する。より詳細には、本発明は、ディジタルイメージャの感度を画素ごとに適応制御し、ディジタルイメージャのダイナミックレンジを拡大する方法に関する。
【背景技術】
【０００３】
従来より、上記のようなディジタルイメージャは、電圧と光との線形応答、すなわち変換関数（transfer function）により特徴づけられる。つまり、ディジタルイメージャの出力電圧は、ディジタルイメージャに入射する光にほぼ線形に関係している。つまり、出力電圧の変換関数は、ディジタルイメージャに入射する光の強度に線形に比例する。このような線形の変換関数はダイナミックレンジによって特徴付けることができる。ダイナミックレンジは、あるシーンの検出可能な最高照射強度とそのシーンの検出可能な最低照射強度との差として定義される。変換関数のダイナミックレンジがディジタルイメージャのダイナミックレンジ全体を設定することは十分に理解される。シーンのダイナミックレンジがディジタルイメージャのダイナミックレンジを上回る場合、シーンの一部がディジタルイメージャを飽和させ、完全な黒色あるいは完全な白色のいずれかに見える。これは、ダイナミックレンジの大きいシーン、例えば屋外のシーンなどを撮像する場合に問題となる。
【０００４】
従来のディジタルイメージャは、一般に画素と呼ばれる複数の感光素子を含む。この素子は、光検出素子として機能する、複数のフォトトランジスタまたは複数のフォトダイオードのいずれかによって物理的に実現される。動作においては、まず、画素がリセット電圧によってリセットされ、これにより、そのダイオードに関連する容量に電荷が発生する。例えばあるフォトダイオードによって生成された電荷は、光にさらされると、ダイオード容量の電荷を、シーンの入射照明の強度に比例して拡散させる。露光周期の終了時に、ダイオード容量の電荷における変化が検出され、フォトダイオードはリセットされる。フォトダイオードによって検出された光の量が、リセット電圧と、最終的なダイオード容量の電荷に対応する電圧との差として算出される。
【０００５】
例えばディジタルスチルカメラまたはディジタルビデオカメラに設けられるようなディジタルイメージャの感度は、一般に、そのディジタルイメージャによって撮像可能なシーンの最大光強度と最小光強度とによって定めることができる。ディジタルイメージャの画素によってキャプチャされるシーンの光または照射強度（illumination intensity）は、その画素、すなわち感光素子において測定される出力電圧または電荷の量に関連する値である。
【０００６】
ディジタルイメージャの感度は、さまざまな状況で限定され得るが、その一例が画素の飽和である。画素の飽和は、感光素子、すなわち画素の電荷が使い尽くされ、入射光の量がそれ以上増えても出力電圧が変化しない場合に起こる。このように、画素の飽和は、分離して（discretely）撮像できるシーンの最大光強度を限定すべく作用する。すなわち、ある画素の飽和が照射強度レベル１００で起こる場合、照射強度レベル１００を超えるシーンの照射強度レベルはすべて、撮像されたシーンにおいて、１００の照射強度レベルとして表される。このように、実際には照射強度レベルが１００を超えるにもかかわらず、撮像されたシーンの照射強度レベルは１００になるため、照射強度レベル１００を超える、これらのシーンの照射強度レベルは、分離して撮像されない、あるいは識別ができない。
【０００７】
別の例として、画素のノイズがある。画素ノイズの原因は、例として、アナログ電圧からディジタルコードへの変換における量子化、統合された熱電荷生成（integrated thermal charge production）、真の相関二重サンプルによって画素がサンプリングされない場合の電圧リセット電圧がある。画素ノイズは検出可能な最小照射強度を設定する。人間の目は強度に対して対数的な応答を有するので、ディジタルイメージングにおいては、問題となるのは通常、より低い強度におけるノイズである。
【０００８】
画素の飽和と画素ノイズは、いずれもディジタルイメージャ固有の特性である。したがって、これらの特性により、ディジタルイメージャの物理的感度が限定され、広い範囲の光（照射）強度を有するシーンが適切に撮像されない。すなわち、シーンの高い光（照射）強度は画素の飽和のために、撮像されたシーンから排除され、シーンの低い光（照射）強度は画素ノイズのため、解像度が低くなる。
【０００９】
従来から、ディジタルイメージャのこれらの物理的限定を無効にする方法、例えば、ディジタルイメージャの転送制御関数（transfer control function）としても知られる、画素の電荷集積関数（charge integration function）の操作または調整方法が提案されている。電荷集積関数の操作または転送制御関数の操作は、従来から、ディジタルイメージャに対する集積時間Ｔ_intの変更によって実現されている。集積時間Ｔ_intを変化させることにより、転送制御関数または電荷集積周期の開始時間が変わる。すなわち、集積時間の変更は、電子的絞り（electronic-irising）または露光制御の１形式であり、アナログカメラのシャッタ速度の制御と同じである。従来の集積時間操作の例が図１及び図２に示されている。
【００１０】
図１には、集積時間Ｔ_intが最大集積時間に近い、線形転送制御関数が示されている。集積時間Ｔ_intは、制御信号１０がリセットレベルに設定されていない時間である。フレーム周期Ｆにおいて、制御信号１０がリセット値にない場合、ディジタルイメージャは電荷を画素から転送または収集させる。図１に示されるように、制御信号１０は、まずリセットレベルにあるが（フレーム周期Ｆの開始時）、フレーム周期における、フレーム周期Ｆと集積時間Ｔ_intとの差（図１においては、この差は非常に小さい）に等しい時点において、別のレベル、この場合は収集レベルに変化する。そして、制御信号１０は、フレーム周期Ｆの終了時に再びリセットレベルに戻る。
【００１１】
一方、図２は、集積時間Ｔ_intが減少した、線形転送制御関数が示されている。上述のように、集積時間Ｔ_intは、制御信号１０がリセットレベルに設定されていない時間である。フレーム周期Ｆにおいて、制御信号１０がリセット値にない時、ディジタルイメージャは電荷を画素から転送または収集させる。図２に示されるように、制御信号１０は、まずリセットレベルにあるが（フレーム周期Ｆの開始時）、フレーム周期における、フレーム周期Ｆと集積時間集積時間Ｔ_intとの差に等しい時点において、別のレベル、この場合は収集レベルに変化する。（図２においては、この差はフレーム周期Ｆの半分にほぼ等しい。）そして、制御信号１０は、フレーム周期Ｆの終了時に再びリセットレベルに戻る。
【００１２】
すなわち、図２に示される状況では、制御信号１０が、図１に示されるより短い期間、画素から電荷を転送または収集させるレベルに設定されている。集積時間の減少により、撮像されているシーンの低い照射強度レベルが強調されない（de-emphasize）ようになる。これは、低い照射強度レベルが高い照射強度レベルと同じくらい速く電荷を生成するため、シーンの低い照射強度レベルに関連する電荷を集積するための十分な時間が与えられないからである。
【００１３】
撮像されたシーンの照射強度レベルに対するディジタルイメージャの集積時間Ｔ_intの関係を調べるための別の方法が図３に示されている。図３において、曲線Ａは、第１の集積時間Ｔ１_intを用いた場合の、画素の出力電圧に対する撮像されたシーンの照射強度レベルの第１のマッピングを表している。曲線Ｂは、第２の集積時間Ｔ２_intを用いた場合の、画素の出力電圧に対する撮像されたシーンの照射強度レベルとの第２のマッピングを表している。図３において、第２の集積時間Ｔ２_intは、第１の集積時間Ｔ１_intより小さい。したがって、図３に示されるように、集積時間Ｔ_intが大きくなると、画素の出力電圧対撮像されたシーンの照射強度レベルのマッピングの傾斜が大きくなり、これにより撮像されたシーンの低い照射強度は強調される。
【００１４】
転送制御関数を操作する従来の別の方法は、階段状の（stepped）または区分的な（piecewise）離散時間の転送制御関数（discrete-time transfer control function）を使用する方法である。階段状のまたは区分的な離散的転送制御関数の使用により、画素の出力電圧対撮像されたシーンの照射強度レベルのマッピングが修正され、飽和前に、撮像されたシーンのより広範囲にわたる照射強度レベルが可能になると同時に、撮像されたシーンの低い照射強度レベルが強調される。
【００１５】
従来の階段状または区分的な離散時間の転送制御関数の一例が図４に示されている。図４において、集積時間Ｔ_intは、図１に示されるのと同じ値である。ただし、図１とは異なり、図４における制御信号１０のレベルは、リセットレベルから収集値まで離散的に階段状に減少する。制御信号１０は、電荷の生成または蓄積に対するバリアとして作用する。リセットレベルにおいては、完全なバリアが実現し、画素に入射する光の照射強度レベルに関わらず、電荷は生成も蓄積もされない。すなわち、画素は事実上オフする。制御信号１０がリセットレベルから階段状に減少するにつれ有効なバリアが低くなり、電荷の生成または蓄積率が事実上、漸進的な増加を実現できる。
【００１６】
より詳細には、図４に示すように、露光周期の期間にわたり、制御信号１０は画素またはフォトダイオードの容量に印加されて容量からの電荷の拡散を制御する。制御信号１０は、通常、開始画素リセット電圧値から、例えば電気的接地または収集レベルに減少し、この場合、露光周期の所与の時間における各制御信号１０の値がフォトダイオードの最大電荷拡散を設定する。この制御信号１０の減少がフォトダイオードの電荷拡散能力を増加すべく作用し、これにより、画素は飽和前に、より高い照射強度に適応でき、よって画素のダイナミックレンジが増加する。このような電荷拡散制御により、撮像された照射強度レベルに対する画素の出力電圧の非線形マッピングが生成され、これに対応して画素及びイメージャのダイナミックレンジが拡大する。これが図５に示されている。
【００１７】
図４に示されるような階段状または区分的な離散時間の転送制御関数を使用することにより、図５に示されるような、より広い範囲を有する、画素出力電圧と撮像されたシーンの照射強度レベルのマッピングが生成される。図５において、曲線Ａは、図１に示されるような線形の制御変換関数を使用した場合の、画素出力電圧対撮像されたシーンの照射強度レベルのマッピングを示し、曲線Ｂは、図４に示されるような階段状または区分的な離散時間転送制御関数を使用した場合の、画素出力電圧対撮像されたシーンの照射強度レベルのマッピングを示す。図５に示されるように、曲線Ｂは曲線Ａに比べて、撮像されたシーンの照射強度レベルの範囲が広い。
【００１８】
ディジタルイメージャの物理的な限界は、集積時間の調整及び転送制御関数（結果として制御信号１０を生成する）の操作によって補償されているが、これらの従来のアプローチはでも、最適な方法でディジタルイメージャの物理的限界を補償することはできない。
【００１９】
例えば、従来の処理では、飽和した画素が存在しない撮像シーン範囲の照射強度レベルを実現することはできない。より詳細には、図６に示されるように、撮像されるシーンの実際の照射強度レベルのヒストグラムは、画像の平均照射強度レベルが５０の場合、２０から２００の照射強度レベルを含む。しかしながら、画素の飽和により、照射強度レベル１００を超えるシーンの照射強度レベルは、図７に示すように、ディジタルイメージャによって表示されない。これは、シーンのこのような高い照射強度レベルは、画素の飽和のために、ディジタルイメージャによってすべて１００の照射強度レベルにバケットされ、この結果、撮像されたシーンの高い照射強度レベルが排除されるためである。
【００２０】
上述した従来の処理を使用して、集積時間を減少することにより飽和した画素を補償すると、図８に示されるような、撮像シーンの照射強度レベルのヒストグラムが実現する。図８において、撮像されたシーンのヒストグラムは、画像照射強度の平均値が５０から２５に変わるように０・５倍縮小されている。この従来のアプローチにより、シーンのより高い照射強度レベルのより多くの部分が表示できる。しかしながら、画像は許容できない程度に暗く、画像全体の量子化ノイズは半減し、信号も二倍低減した可能性があるが、一方で他のノイズソース（リセットノイズなど）は多量に残っている。
【発明の開示】
【課題を解決するための手段】
【００２１】
本発明の第1の態様は、ディジタルイメージャの感度を、画素ごとに適応的に制御する方法である。この方法によれば、第1の定められた照射強度レベルの範囲内にある照射強度レベルを有するイメージデータの画素数を決定し、決定した第1の定められた照射強度レベル範囲内の画素数にもとづき照射強度レベルマッピング関数を決定し、決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する（impose）。
【００２２】
本発明の第２の態様は、ディジタルイメージャの感度を、画素ごとに適応的に制御する方法である。この方法によれば、複数の画素数を決定し、決定した各画素数は、関連づけられた、照射強度レベルの定められた範囲内の画素の数であり、複数の照射強度レベルマッピング関数を決定し、決定した各照射強度レベルマッピング関数は定められた照射強度レベルの１つの範囲に対応し、各照射強度レベルマッピング関数は、対応する照射強度レベルの定められた範囲内の、決定した画素数にもとづき決定され、前記複数の決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。
【００２３】
本発明の第３の態様は、ディジタルイメージャの感度を、画素ごとに適応的に制御する方法である。この方法によれば、飽和した画素の数を決定し、決定した飽和画素の数が第1の閾値を超えた場合、第1の照射強度レベルマッピング関数を選択し、定められた値の範囲内の照射強度レベルを有する画素の数を決定し、決定した画素数が第２の閾値より小さい場合には第2の照射強度レベルマッピング関数を選択し、選択された照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。
【００２４】
本発明の第４の態様は、ディジタルイメージャの感度を、画素ごとに適応的に制御する方法である。この方法によれば、画素の飽和値に対応する照射強度レベルを含む第1の定められた照射強度レベルの範囲内の照射強度レベルを有する、画像データの画素数を決定し、第1の定められた照射強度レベルの範囲内の決定された画素数にもとづき照射強度レベルマッピング関数を決定し、最小照射強度レベルに対応する照射強度レベルを含む第２の定められた照射強度レベルの範囲内の照射強度レベルを有する、画素数を決定し、第２の定められた照射強度レベルの範囲内の照射強度レベルを有する画素の決定した数にもとづき集積時間を決定し、決定した照射強度レベルマッピング関数と、決定した集積時間とにもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。
【００２５】
本発明の第５の態様は、ディジタルイメージャの感度を、画素ごとに適応的に制御する方法である。この方法によれば、第１の照射強度レベルマッピング関数を選択し、選択した第１の圧縮にもとづき第１の転送制御関数を決定し、決定した第１の転送制御関数をディジタルイメージャの画素に対して適用し、決定した第１の転送制御関数が適用された、ディジタルイメージャによって生成されている画像データの画素の照射強度レベルのヒストグラムを決定し、前記ヒストグラムを形成するサンプル中の画素に対する最大照射強度レベルを表す、照射強度レベル最大値を決定し、決定した照射強度レベル最大値にもとづき第２の照射強度レベルマッピング関数を決定し、第２の照射強度レベルマッピング関数は飽和画素の生成を防ぎ、ヒストグラムの各レベルをディジタルイメージャによって実現可能にする、画像データのダイナミックレンジを提供し、決定した第２照射強度レベルマッピング関数にもとづき第２の転送制御関数を決定し、決定した第２の転送制御関数をディジタルイメージャの画素に対して適用する。
【００２６】
本発明の第６の態様は、合成転送制御関数を形成する複数の離散的転送制御関数（discrete transfer control functions）間の移行点を決定する方法である。この方法によれば、集積時間を決定し、照射強度レベルマッピング関数を決定し、決定した集積時間と決定した照射強度レベルマッピング関数とにもとづき合成転送制御関数を決定し、決定した集積時間と決定した照射強度レベルマッピング関数とから、複数の離散的転送制御関数間の各移行点のタイミングを決定する。
【００２７】
本発明の第７の態様は、ディジタルイメージャの感度を画素ごとに適応制御するシステムである。このシステムは、第１の定められた照射強度レベル範囲内の照射強度レベルを有する画像データの画素数を決定し、第１の定められた照射強度レベルの範囲内の決定した画素数にもとづき照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する転送制御関数生成回路とを含む。
【００２８】
本発明の第８の態様は、ディジタルイメージャの感度を画素ごとに適応制御するシステムである。このシステムは、複数の画素数を決定し、決定された各数の画素が定められた照射強度レベル範囲の１つに対応し、それぞれが照射強度レベルの定められた１つの範囲に対応し、それぞれが対応する定められた照射強度レベルの範囲内の決定した画素数に基づき決定される、複数の照射強度レベルマッピング関数を決定する、照射強度レベルマッピングコントローラと、複数の決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する転送制御関数生成回路と、を含む。
【００２９】
本発明の第９の態様は、ディジタルイメージャの感度を画素ごとに適応制御するシステムである。このシステムは、飽和した画素の数を決定し、決定した飽和画素の数が第１の閾値を超える場合に第１照射強度レベルマッピング関数を選択する照射強度レベルマッピングコントローラを含む。照射強度レベルマッピングコントローラは、定められた値の範囲内の照射強度レベルを有する画素の数を決定し、決定した画素の数が第２の閾値より小さい場合に第２照射強度レベルマッピング関数を選択する。システムは、さらに、選択された照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する転送制御関数生成回路を含む。
【００３０】
本発明の第１０の態様は、ディジタルイメージャの感度を画素ごとに適応制御するシステムである。このシステムは、画素飽和値に対応する照射強度レベルを含む第１の定められた照射強度レベルの範囲内の照射強度レベルを有する画像データの画素数を決定し、第１の定められた照射強度レベルの範囲内の、決定した画素数にもとづき照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、最小照射強度レベルに対応する照射強度レベルを含む第２の定められた照射強度レベルの範囲内の照射強度レベルを有する画像データの画素数を決定し、第２の定められた照射強度レベルの範囲内の、照射強度レベルを有する決定した画素数にもとづき集積時間を決定する露光コントローラと、決定した照射強度レベルマッピング関数と、決定した集積時間とにもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する、転送制御関数生成回路と、を含む。
【００３１】
本発明の第１１の態様は、ディジタルイメージャの感度を画素ごとに適応制御するシステムである。このシステムは、第１の照射レベルマッピング関数を選択する照射強度レベルマッピングコントローラと、選択された第１の圧縮にもとづき第１の転送制御関数を決定し、決定した第１の転送制御関数をディジタルイメージャの画素に対して適用する転送制御関数生成回路とを含む。照射強度レベルマッピングコントローラは、決定した第１の転送制御関数が適用された、ディジタルイメージャによって生成されている画像データの画素の照射強度レベルのヒストグラムを決定し、ヒストグラムを形成するサンプル中の画素に対する最大照射強度レベルを表す、照射強度レベル最大値を決定する。照射強度レベルマッピングコントローラは、決定した強度レベル最大値にもとづき、第２の照射強度レベルマッピング関数を決定する。第２照射強度レベルマッピング関数は、飽和画素の生成を防ぎ、ヒストグラムの各レベルがディジタルイメージャによって実現可能になる画像データのダイナミックレンジを提供する。転送制御関数生成回路は、決定した第２の照射強度レベルマッピング関数にもとづき第２の転送制御関数を決定し、決定した第２の転送制御関数をディジタルイメージャの画素に対して適用する。
【００３２】
本発明の第１２の態様は、合成転送制御関数を形成する複数の離散的転送制御関数間の移行点を決定するシステムである。このシステムは、集積時間を決定する露光コントローラと、照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、決定した集積時間と決定した照射強度レベルマッピング関数とにもとづき合成転送制御関数を決定し、かつ決定した集積時間と決定した照射強度レベルマッピング関数とから、複数の離散的転送制御関数間の各移行点のタイミングを決定する、転送制御関数生成回路とを含む
【発明を実施するための最良の形態】
【００３３】
シーンの低照射強度レベルが強調されるとともにシーンの高照射強度レベルも表示され、かつ所与の集積周期のあいだ飽和する画素がないようにディジタルイメージャのダイナミックレンジを高めることが望ましい。さらに、シーンを撮像する際には、そのシーンの実際の照射強度範囲に関わらず、ディジタルイメージャのダイナミックレンジ全体を利用することが望ましい。
【００３４】
本発明は、ディジタルイメージャの感度を、ディジタルイメージャを飽和させずにディジタルイメージャの出力強度レベルの範囲全体を完全に使用できるような方法で、ディジタルイメージャの照射強度レベルマッピング関数及び集積時間特性を決定することにより、（結果的に制御信号を生成する）転送制御関数を調節することによって、画素ごとに調節する技術及システムを提供する。これらの技術は、広い範囲のディジタルスチルカメラ及びビデオカメラの構成に適用できる。
【００３５】
本発明を説明する際、種々の用語が用いられている。本願明細書においては、フレーム周期とは、ディジタルイメージャのすべての画素を読取り、撮像されたシーンの1フレームを生成するために必要な時間周期である。集積時間とは、ディジタルイメージャが撮像対象のシーンから入射光または照射を受光し、撮像対象の入射光または照射に応じて収集可能な電荷または電圧を生成する、フレーム周期全体における時間周期を言う。照射強度レベルマッピング関数とは、ディジタルイメージャの画素から受信したアナログ信号と、その画素によって受信される、照射強度を表すディジタル信号とのあいだのアナログディジタル変換の関係をいう。出力電圧対照射強度レベルマップとは、照射強度レベルマッピング関数の図による表示である。転送制御関数（transfer control function）とは、タイミング操作及び制御信号電圧レベルまたは値の操作による、集積時間周期における、ディジタルイメージャの画素からの電荷の拡散に対する制御を意味する。転送制御関数の生成とは、ディジタルイメージャの画素からの電荷拡散を制御する制御信号の実際の生成、またはディジタルイメージャの画素からの電荷拡散を制御する制御信号の生成に使用される信号のいずれかを意味する。
【００３６】
より詳細には、本発明は集積時間を調節し、（結果として制御信号を生成する）転送制御関数を操作して、図９に示されるような撮像シーンのヒストグラムを実現する。図9において、画素ごとの感度調節を使用することにより、ヒストグラム全体がセンサの範囲内におさまり、この結果、飽和が生じないとともに画像の平均レベルが５０に維持され、画像が視覚的に見やすい程度に十分明るく、人間の目がノイズに対してより敏感な低い照射強度の画素において信号対ノイズ比が低減しないことを保証する。
【００３７】
本発明の技術によれば、シーンの低照射強度レベルが強調され、シーンの高照射レベルが識別可能で、所与のフレーム周期Ｆにおいて飽和する画素がない。
【００３８】
本発明は、ディジタルイメージャの各画素の感度を異ならせ、シーンが広いダイナミックレンジを持つ場合には、ディジタルイメージャは撮像されたシーンを表すディジタル照射強度レベルまたは値に対するディジタルイメージャの出力電圧の非線形マッピングを生成することができる。本発明の概念によれば、人の目が量子化ノイズに対してそれほど敏感でない、シーンのより高い照射強度レベルを表す出力電圧は、非線形的に照射強度レベルにマッピングされ、より高い照射強度レベルの解像度は圧縮される。さらに、シーンの低照射強度レベルを表す出力電圧は増幅され、画像が十分に明るいことを保証する。この結果、適当な輝度を有し、飽和のない撮像シーンが得られる。
【００３９】
本発明は、撮像シーンの照射強度レベルに対する出力電圧のマッピングを動的に調節することにより、シーンの高照射強度レベルの解像度を連続的に圧縮または復元（decompress）し、異なるレベルの光（照射）強度に対して量子化ノイズの量を変化させるまたは不均一に分配する。完全な線形マッピングでは、撮像されたシーンの可能なすべての照射強度が同じ解像度または量子化ノイズの量を有する。
【００４０】
本発明は、出力電圧と撮像されたシーンマップの照射強度レベルとのマッピングを非線形的に調節することでより高い照射強度レベルの解像度を選択的に減少または圧縮させ、飽和点を高める。この結果、ダイナミックレンジの広いシーンを与えられた場合に、低照射強度レベルの画素に関連する出力電圧を、所望の解像度を有するよう十分に増幅することができるとともに、高照射強度レベルの画素に関連する出力電圧をマッピングして、高照射強度レベルの解像度を、ディジタルイメージャに関連するアナログディジタル変換器の範囲内に適合するように圧縮し、かつ飽和を防ぐことができる。これを実現するために、本発明によれば、望ましい照射強度レベルマッピングが自動的に決定され、この決定した照射強度レベルマッピングがディジタルイメージャに対する（結果的に制御信号を生成する）転送制御関数に変換される。（結果的に制御信号を生成する）この転送制御関数は、感光素子における電荷の生成または蓄積を制御し、これにより画素の出力電圧を制御する。
【００４１】
図１０には、シーンの低照射強度レベルを強調し、シーンの高照射強度レベルを識別し、所与のフレーム周期Ｆにおいて飽和画素がない、本発明の１実施形態が示されている。図１０に示されるように、ディジタルイメージャの感度を画素ごとに適応制御するシステムは、ディジタルイメージャ１と、照射強度レベルマッピングコントローラ３と、露光コントローラ５と、転送制御関数生成回路７とを含む。
【００４２】
照射強度レベルマッピングコントローラ３は、第1の定められた照射強度レベルの範囲内にある照射強度レベルを有する、撮像されたシーンの画素数を決定する。照射強度レベルマッピングコントローラ３は、さらに、第1の定められた照射強度レベルの範囲内の決定した画素数にもとづき、照射強度レベルマッピング関数を決定する。
【００４３】
露光コントローラ５は、第２の定められた照射強度レベルの範囲内にある照射強度レベルを有する、撮像されたシーンの画素数を決定し、第２の定められた照射強度レベルの範囲内の照射強度レベルを有する決定した画素数にもとづき、集積時間Ｔ_intを決定する。
【００４４】
転送制御関数生成回路７は、決定した照射強度レベルマッピング関数と集積時間Ｔ_intとにもとづき、転送制御関数を決定する。転送制御関数生成回路７は、さらに、決定した転送制御関数をディジタルイメージャの画素に対して適用する。
【００４５】
転送制御関数生成回路の一例が、同時係属中の米国特許出願第０９／９１６，８２２号（２００１年７月２７日出願、表題"PRECISE MOS IMAGER TRANSFER FUNCTION CONTROL FOR EXPANDED DYNAMIC RANGE IMAGING"）に記載されている。この同時係属米国特許出願第０９／９１６，８２２号の全内容を本願明細書の一部としてここに援用する。
【００４６】
好ましい実施形態においては、ディジタルイメージャ１は転送制御関数を受信し、受信した転送制御関数にしたがって制御信号１０を生成する。
【００４７】
なお、転送制御関数生成回路７が制御信号１０を直接生成し、これをディジタルイメージャ１に供給することもできる。この場合、制御信号１０は、決定された集積時間Ｔ_intと決定された照射射強度レベルマッピング関数とにもとづき決定した転送制御関数にしたがって生成される。
【００４８】
第１の定められた照射強度レベルの範囲とは、画素の飽和を表す照射強度レベルを含む照射強度レベルの範囲であり、第２の定められた照射強度レベルの範囲とは、画素ノイズまたは画素オフセットに対して調節可能な最小照射強度レベルを表す照射強度レベルを含む照射強度レベルの範囲である。
【００４９】
照射強度レベルマッピングコントローラ３は、第１の定められた照射強度レベル範囲の照射強度レベルを有する画像データの画素数を、ディジタルイメージャによって生成された画像データの画素のフレームから、ディジタルイメージャによって生成された画像データの画素の部分フレームから、ディジタルイメージャによって生成された画像データの画素のフレーム内の定められた領域から、またはディジタルイメージャによって生成された画像データの画素のフレーム内のユーザによって定められた領域から決定する。
【００５０】
照射強度レベルマッピング関数は、複数の予め特定された照射強度レベルマッピング関数から、好ましくは８つの予め特定された照射強度レベルマッピング関数から、第１の定められた照射強度レベルの範囲内の決定した画素数にもとづき、計算または選択のいずれかにより求めることができる。さらに、転送制御関数は、決定した照射強度レベルマッピング関数と決定した集積時間Ｔ_intにもとづき、複数の予め特定された転送制御関数から計算または選択のいずれかが可能である。
【００５１】
さらに、転送制御関数の決定は、この決定に使用されている画像データのフレームの直後の、画像データの第２フレームの生成中に実現することできる。この状況においては、新しい転送制御関数は、画像データの第２フレームの直後である、画像データの第３フレームの生成中に、画素に対して適用される。
【００５２】
一方、転送制御関数の決定が部分フレームだけに関してなされている場合、転送制御関数の決定は、画像の前記部分フレームを有する画像データのフレームである、画像データの第１フレームの生成中に実現できる。この状況では、新しい転送制御関数は、画像データの前記第１フレームの直後である、画像データの第２フレームの生成中に、画素に与えられる。
【００５３】
さらに、フレーム周期Ｆまたは他のフレームパラメータをオンザフライで（進行中に）調節して本発明の実施を可能にすることができる。
【００５４】
照射強度レベルマッピング関数は、集積時間Ｔ_intの決定に対し、独立して、依存して、その前後またはほぼ同時に決定できる。さらに、照射強度レベルマッピング関数は、個別の離散的関数を含む合成関数であってもよい。ここで、個別の離散的な各照射強度レベルマッピング関数は、定められた照射強度レベルの範囲内の画素数の決定にもとづき決定する。個別の各照射強度レベルマッピング関数は、定められた照射強度レベルの範囲に関連づけられる。
【００５５】
照射強度レベルマッピングコントローラ３は、１実施形態においては、複数の画素数を決定し、定められたそれぞれの数の画素が定めれられた照射強度レベルの範囲の１つに対応する。この実施形態においては、照射強度レベルマッピングコントローラ３は、複数の照射強度レベルマッピング関数を決定し、決定した各照射強度レベルマッピング関数は、照射強度レベルの１つの定められた範囲に対応する。各照射強度レベルマッピング関数は、定められた照射強度レベルの関連する範囲内の決定した数の画素にもとづいて決定する。
【００５６】
この実施形態においては、転送制御関数生成回路７は、複数の決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。
【００５７】
図１０に示されたシステムの別の実施方法では、照射強度レベルマッピングコントローラ３は、飽和画素の数を決定し、決定した飽和画素の数が第１の閾値を超える場合には、第１の照射強度レベルマッピング関数を選択する。照射強度レベルマッピングコントローラ３は、定められたレベルの範囲にある照射強度レベルを有する飽和画素の数を決定し、決定した画素数が第２の閾値より下の場合には、第２の照射強度レベルマッピング関数を選択する。転送制御関数生成回路７は、選択された照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。
【００５８】
転送制御関数は、複数の離散的転送制御関数、好ましくは８つの離散的転送制御関数を含んでもよい。本実施形態では、決定した照射強度レベルマッピング関数は、複数の離散的照射強度レベルマッピング関数、好ましくは８つの離散的照射強度レベルマッピング関数を含む。各離散的転送制御関数は、複数の離散的照射強度レベルマッピング関数の１つに基づき決定する。
【００５９】
離散的各照射強度レベルマッピング関数は、線形照射強度レベルマッピング関数でもよい。複数の離散的線形照射強度レベルマッピング関数は、区分的な合成線形照射強度レベルマッピング関数を形成し、区分的合成線形圧縮が、決定した照射強度レベルマッピング関数である。決定した合成照射強度レベルマッピング関数は、ほぼ対数的な照射強度レベルマッピング関数である。
【００６０】
さらなる実施方法では、照射強度レベルマッピングコントローラ３は、第１の照射強度レベルマッピング関数を選択し、転送制御関数生成回路７は、選択された第１の照射強度レベルマッピング関数にもとづき第１転送制御関数を決定し、決定した第１転送制御関数をディジタルイメージャの画素に対して適用する。そして、照射強度レベルマッピングコントローラ３は、ディジタルイメージャによって生成されている、決定した第１転送制御関数が与えられた、撮像シーンの画素の照射強度レベルのヒストグラムを決定し、このヒストグラムを形成するサンプル中の画素に対する最大照射強度レベルを表す照射強度レベル最大値を決定する。照射強度レベルマッピングコントローラ３は、決定した照射強度レベル最大値にもとづき第２照射強度レベルマッピング関数を決定する。第２照射強度レベルマッピング関数は、飽和画素の生成を防ぎ、ヒストグラムの各レベルがディジタルイメージャによって実現可能である、画像データのダイナミックレンジを提供する。転送制御関数生成回路７は、続いて、決定した第２照射強度レベルマッピング関数にもとづき第２転送制御関数を決定し、決定した第２転送制御関数をディジタルイメージャの画素に対して適用する。第１照射強度レベルマッピング関数は、高照射強度レベルの解像度の最大圧縮を表す。
【００６１】
上述のように、転送制御関数を操作する１つの方法は、階段状または区分的な離散的時間の転送制御関数を使用することである。階段状または区分的な離散的転送制御関数を使用することにより、画素の出力電圧対照射強度のマップを修正して、低照射強度レベルを強調しつつ、飽和前に広範囲の可能な照射強度を実現することができる。
【００６２】
しかしながら、階段状または区分的な離散的時間転送制御関数を使用するためには、離散的転送制御関数または離散的制御信号レベル間の移行点のタイミングと同様に、各階段状の転送制御関数または制御信号レベルを決定しなければならない。
【００６３】
本発明の好ましい実施形態においては、転送制御関数は階段状または区分的な離散的時間転送制御関数であるので、階段状または区分的な離散的時間制御信号である制御信号を生成する。
【００６４】
転送制御関数生成回路７がＴ_intを受信すると、第１の離散的転送制御関数から第２の離散的転送制御関数への第１の移行点がただちに設定される。照射強度レベルマッピング関数ｇは、実際の離散的転送制御関数を決定し、実際の離散的転送制御関数は、実際の離散的制御信号レベルのそれぞれを決定する。
【００６５】
以下に説明する例においては、照射強度レベルマッピング関数ｇは、図１４に示される、撮像シーンの出力電圧対照射強度レベルの望ましいマップから求められる。図１４からわかるように、撮像されたシーンの出力電圧対照射強度レベルの望ましいマップは、区分的な離散的マッピングであり、各離散的マッピングは関連する照射強度レベル範囲の解像度の異なる圧縮に対応する。以下に示すように、関連する照射強度レベル範囲の解像度の分子した各圧縮は、転送制御関数におけるレベルｂ_iに対応する。関連する照射強度レベル範囲の解像度の圧縮が増大するにつれ、対応するレベルｂ_iは減少する。
【００６６】
上述のように、本発明の好ましい実施形態においては、転送制御関数は、７つの移行点によって形成される８つの区分または段を有する離散的区分的線形関数であり、ほぼ対数的な応答を生成する。
【００６７】
本発明の好ましい実施形態による、階段状または区分的な離散的時間転送制御関数の一例が図１３に示されている。図１３において、移行点のタイミングｔが横軸に示され、転送制御関数に対応し、続いて生成された制御信号のリセットレベルからの降下量に対応するレベルｂは縦軸に示されている。
【００６８】
図１３に示されるような、本発明の１実施形態における階段状または区分的な離散的時間転送制御関数は、以下により実現する。
１．第１の移行点ｔ₁から第２の移行点ｔ₂までの領域の傾斜をｍに設定する。
２．第２の移行点ｔ₂から第３の移行点ｔ₃までの領域の傾斜をｇｍに設定する。
３．第３の移行点ｔ₃から第４の移行点ｔ₄までの領域の傾斜をｇ²ｍに設定する。
４．第４の移行点ｔ₄から第５の移行点ｔ₅までの領域の傾斜をｇ³ｍに設定する。
５．第５の移行点ｔ₅から第６の移行点ｔ₆までの領域の傾斜をｇ⁴ｍに設定する。
６．第６の移行点ｔ₆から第７の移行点ｔ₇またはＴ_maxまでの領域の傾斜をｇ⁵ｍに設定する。
【００６９】
７つ以上の移行点が望まれる場合、それ以降の移行点間の領域の傾斜はｇ倍ずつ増加し続ける。
【００７０】
このような方法によれば、露光コントローラ５が望ましい集積時間Ｔ_intを特定し、照射強度レベルマッピングコントローラ３が望ましい照射強度レベルマッピング関数ｇを特定すると、階段状の転送制御関数が完全に制約される。しかしながら、フレーム周期全体Ｔ_maxのあいだでいつ離散的転送制御関数間の移行点が発生するかを決める必要が依然としてある。
【００７１】
上述のように、図１３に示されるような本発明のこの好ましい実施形態においては、７つの移行点がある。これら７つの移行点は、結果的な連立方程式の組を解くことにより決定できる。
ｔ₀ ＝Ｔ_max − Ｔ_int
ｍ＝（ｂ₁ − ｂ₀）／Ｔ₀
ｍｇ＝（ｂ₂ − ｂ₁）／Ｔ₁
ｍｇ² ＝（ｂ₃ − ｂ₂）／Ｔ₂
ｍｇ³ ＝（ｂ₄ − ｂ₃）／Ｔ₃
ｍｇ⁴ ＝（ｂ₅ − ｂ₄）／Ｔ₄
ｍｇ⁵ ＝（ｂ₆ − ｂ₅）／Ｔ₅
ｍｇ⁶ ＝（ｂ₇ − ｂ₆）／Ｔ₆
Ｔ_max ＝ｔ₀ ＋Ｔ₀＋Ｔ₁＋Ｔ₂＋Ｔ₃＋Ｔ₄＋Ｔ₅＋Ｔ₆
【００７２】
上記の方程式は、すべてが図１３で参照される変数を用いている。好ましい実施形態においては、転送制御関数に対応し、続いて生成された制御信号のリセットレベルから降下している量に個々に対応するレベルｂ₀からｂ₇は、量Δｂずつ（ただし（ｂ₇−ｂ₆＝２Δｂ）を除く）均等な間隔を有すると仮定すると、上記の方程式によりＴ₀，Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄及びＴ₅を求めると、以下のようになる。
Ｔ₀ ＝（ｇ⁶）／（ｇ⁶＋ｇ⁵＋ｇ⁴＋ｇ³＋ｇ²＋ｇ＋２）^*Ｔ_int
Ｔ₁ ＝（Ｔ₀）／ｇ
Ｔ₂ ＝（Ｔ₁）／ｇ
Ｔ₃ ＝（Ｔ₂）／ｇ
Ｔ₄ ＝（Ｔ₃）／ｇ
Ｔ₅ ＝（Ｔ₄）／ｇ
【００７３】
Ｔ₀，Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄及びＴ₅を求める上記の解法によれば、７つの移行点、ｔ₀，ｔ₁，ｔ₂，ｔ₃，ｔ₄，ｔ₅及びｔ₆は、以下のようになる。
ｔ₀＝Ｔ_max − Ｔ_int
ｔ₁＝ｔ₀＋Ｔ₀
ｔ₂＝ｔ₁＋Ｔ₁
ｔ₃＝ｔ₂＋Ｔ₂
ｔ₄＝ｔ₃＋Ｔ₃
ｔ₅＝ｔ₄＋Ｔ₄
ｔ₆＝ｔ₅＋Ｔ₅
【００７４】
なお、移行点を求めるためにレベルｂ_iは均等な間隔で設定される必要はない。ｂの均等な間隔は、本発明の着想による転送制御関数の生成の一例に過ぎない。
【００７５】
本発明の好ましい実施形態においては、移行点のタイミングの決定は、計算の反復的な性質のために、専用のハードウェアによって実現する。Ｔ₀が求められると、同一分母による除算を単にあと５回繰り返す。好ましい実施形態においては、Ｔ₀は非効率性のために専用ハードウェアによって計算されない。よって、可能なｇの数は制限され，Ｔ₀を求めるためにルックアップテーブルが使用される。
【００７６】
この実施形態では、合成転送制御関数を形成する複数の離散的転送制御関数間の移行点は、集積時間Ｔ_int及び照射強度レベルマッピング関数の決定に続いて決定する。照射強度レベルマッピング関数は撮像シーンの高照射強度レベルの解像度の適切な圧縮及び撮像シーンの低照射強度レベルの適切な強調を提供する。
【００７７】
好ましい実施形態においては，合成転送制御関数は、８つの離散的転送制御関数と７つの移行点とを有する。第１移行点は、最大可能集積時間Ｔ_max、またはフレーム周期Ｆと、決定した集積時間Ｔ_intとの差に等しい。これに続く移行点は、レベルｂ_iが量Δｂずつ（ただし、（ｂ₇−ｂ₆＝２Δｂ）を除く）均等な間隔で設定されていると仮定すると、前のすべての移行点と時間Ｔ_S＝（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(p)）））^*Ｔ_intの和に等しい。ここで、ｇは決定した照射強度レベルマッピング関数に等しく、ｎは移行点の総数に等しく、ｐは計算対象の離散的転送制御関数の位取り数字（positional number）に等しく、Ｔ_intは決定した集積時間に等しい。レベルｂ_iが量Δｂずつ均等な間隔で設定されていない場合には、等式はレベルｂｉの空間的関係に応じてわずかに異なる。
【００７８】
図１５には、本発明の好ましい実施形態の照射強度マッピングコントローラにより利用される処理が示されている。図１５に示されるように、照射強度マッピングコントローラは、撮像されたシーンをセンサから取り込み、飽和画素の数をカウントする。飽和画素の数が多すぎる場合、照射強度マッピングコントローラは高照射強度レベルの解像度に関する圧縮の量を増加する。照射強度マッピングコントローラはさらに、撮像されたシーンのヒストグラムの上部領域（ビン）における画素数をカウントし、撮像されたシーンがヒストグラムの範囲全体を満たしているかを判断する。上部領域（ビン）に十分な画素がなければ、照射強度マッピングコントローラは、高照射強度レベルの解像度に関する圧縮の量を減少する。照射強度マッピングコントローラは、飽和画素がなくなり、ヒストグラムが完全に使用されるまでこの処理を続ける。
【００７９】
このアプローチは、照射強度マッピング関数を、いかにそれを最適に設定するかを決定するために劇的に変化させることなく、照射強度マッピングコントローラが継続的に実行可能な点で、ビデオのアプリケーションに対して効果的に働く。安定性の制約のもとで照射強度マッピングステップの数が最小化される場合、８つの照射強度マッピングステップが十分である。これにより、照射強度マッピング関数を最大１６フレーム以内に設定できる。
【００８０】
図１６には、本発明の好ましい実施形態の転送制御関数生成回路によって利用される処理が示されている。図１６に示されるように、転送制御関数生成回路は、転送制御関数の初期レベルｂをｂ₀に設定する。ステップ値ｉは、値１に設定される。移行点のタイミングｔ_iも算出される。転送制御関数生成回路はスタンドバイ状態になり、計算された移行点ｔ_iが実現するまで、最後の確立レベルｂをディジタルイメージャに送る。計算された移行点ｔ_iが実現すると、新しいレベルｂがｂ_i+1に設定される。ステップ値ｉは１だけ増加される。移行点ｔ_iの計算及びレベルｂの設定を、ステップ値ｉが６になるまで繰り返す。
【００８１】
本発明は、予めプログラムされた照射強度レベルマッピング関数の使用と、所与のフレーム分析中におけるオンザフライ（進行中）でのカスタム照射強度レベルマッピング関数の計算とのいずれをも想定していることがわかる。予めプログラムされた照射強度レベルマッピング関数の使用は、計算電力が最小化されるアプリケーションではより好ましい。一方、照射強度レベルマッピング関数のリアルタイム計算は、感度制御における柔軟性が望まれるアプリケーションではより好ましい。
【００８２】
例えば、多数の画素がある特定の強度レベルを有するフレーム分析の場合、多数の出力レベルをその共通の強度レベルに割り当てるべく計算された、カスタマイズ照射強度レベルマッピング関数は、出力範囲レベルを効率的に分配するために最適である。同様に、カスタマイズされた照射強度レベルマッピング関数は、多数の出力レベルを、イメージフレームの画素の特定物理的領域の強度範囲に割り当てるために最適である。このような領域は、例えばシーンにおいて、可動物体、または一般に、関心のあるまたは重要な物体を含むことで、関心のある領域となり得る。本発明は、さらに、単一のアプリケーションに対して、プログラムされた照射強度レベルマッピング関数とオンザフライのカスタム照射強度レベルマッピング関数とのいずれの使用をも想定し、これにより両方のアプローチによる効果を得ることができる。
【００８３】
本発明の画素ごとの適応感度制御は、ユーザによる制御または入力を必要とせずに、自動的に動作すべく実施され、画像品質を最大化するためのディジタルイメージャの自動的でリアルタイムの適応的調整が可能である。
【００８４】
図１１には、本発明の別の実施形態が示されている。図１１に示されるように、第１のステップにおいて、ディジタルイメージャの集積時間Ｔ_intが制御される。集積時間の制御は、低照射強度レベルに関連する画素数を制御することにより特に実施される。これには、ディジタルイメージャのダイナミックレンジをシーンの照射強度レベルに対してシフトするという効果がある。
【００８５】
１実施形態においては、強度レベル０から３を、特定された低強度レベル範囲として定めている。低強度レベル範囲がレベル０から３を含むとすると、これは、イメージャの４０９６の出力強度レベルの強度レベル総数の０．１％を占める。集積時間が本発明に応じて制御され、画素の総数の同一パーセンテージ０．１％、すなわち３０７，２００画素のイメージャの０．１％、つまり３７０画素が０，１，２または３の強度レベルを有する。これにより、４０９６レベル全体がシーンの強度範囲にわたって効果的に分配される。
【００８６】
好ましくは、低強度レベル範囲に関連付けられるべく選択された画素の数は、ある範囲に定められる。例えば、上記の例では、３０７＋／−３０画素が、好ましくはこの範囲に指定される。ある範囲の画素数を使用することにより、ヒステリシスを導入することができ、これによりシステムが安定する。ヒステリシスを導入する別の方法は、強度レベル範囲を使用することである。例えば、強度レベル０または１において画素数が３０７未満であれば、これに応答して、露光時間を減少することができる。同様に、強度レベル０，１，２，３または４において画素数が３０７未満であれば、露光時間を増加させる。この例では、画素数に対する閾値は３０７であって、範囲を持たないが、強度レベル自体は「０または１」から「０，１，２，３、または４」の範囲を有する。このような強度レベルの範囲を導入することによってもヒステリシスが提供される。低照射強度レベルの範囲は小さいことが好ましく、通常小さいほどよい。ただし、例えば０のレベルだけを含むなど、小さすぎると、アルゴリズムがノイズレベルまたは欠陥画素の発生に対して強固でない可能性がある。
【００８７】
図１１の第１ステップにおいては、定められた低強度範囲に関連付けられるとされたフレームの画素数をフレーム照射強度ヒストグラムからカウントする。低強度範囲の画素数が、強度レベルの総数の関数としての低強度範囲のパーセンテージに対応する数より大きければ、ディジタルイメージャの集積時間を増加する。逆に、画素数のほうが小さければ、ディジタルイメージャの集積時間を減少する。
【００８８】
図１１のステップ２においては、照射強度レベルマッピング関数が調整される。これは、照射強度レベルマッピング関数を選択して、画素数と高照射強度範囲とを一致させることにより特に実現される。この一致は、図９に示すように、画素の分布がディジタルイメージャの飽和レベルにおいてゼロになるように特に行われる。高照射強度範囲は、４０９６の出力レベルの場合、例えば４０９５，４０９４，４０９３及び４０９２の強度レベルとして定めることができる。この例の場合、これらの出力レベルに関連付けられる画素の数は、画素の総数の０．１％である。そして、この画素数は、３０７，２００画素のイメージャの場合、例えば２７７画素から３３７画素の範囲として定めることができる。
【００８９】
このステップが完了すると、ディジタルイメージャの出力レベルが図９に示されるよう調節されるように、ディジタルイメージャの転送制御関数が調節される。本発明によれば、イメージャの集積時間の調節ステップは、ディジタルイメージャの制御信号のレベルの調節ステップの後にあるいはこれと平行して実行できることがわかる。図１１のフローチャートに示されるステップの順序は一例にすぎない。
【００９０】
以下に簡単な例を記載し、本発明の概念を説明する。
【００９１】
４ｘ４の画素アレイサイズを有するディジタルイメージャの例を考えると、分析中のフレームにおける撮像対象の所与のシーンでは、各行の画素はすべて同じ強度レベルを有し、各画素の強度レベルは、０から１５の出力レベルの範囲の４ビットでの出力である。
【００９２】
ディジタルイメージャの特定画素によって撮像されるシーンの強度レベルのヒストグラムのさらなる例をあげると以下のようになる。
第１の画素の行では３
第２の画素の行では６
第３の画素の行では３００
第４の画素の行では６００
【００９３】
すなわち、各画素行のシーン強度レベルの比は、以下のようになる。
第１及び第２の画素行の比は１：２
第２及び第３の画素行の比は１：５０
第３及び第４の画素行の比は１：２
【００９４】
従来の感度制御技術では、第４行の強度レベルを６００から、ディジタルイメージャの実現可能な最高強度レベルである１５に低減するために、集積時間を減少することにより各画素の強度を４０分の一に低減する必要があり、このような集積時間の調整後の新たな強度は次のとおりである。
第１の画素行は、０（＝１／４０）
第２の画素行は、０（＝２／４０）
第３の画素行は、８（＝３００／４０）
第４の画素行は、１５（＝６００／４０）
【００９５】
この結果、第１画素行と第２画素行との当初の強度差が失われるため、出力画像は貧弱になる。
【００９６】
このような問題は本発明の技術により解決する。上述した本発明の技術によれば、画素の強度は次のように調整される。
（ａ）集積時間を低減することによって、各照射強度レベルを３で割り、撮像されているシーンの最低照射強度レベルを、ディジタルイメージャの指定された低照射強度レベルである１にする。この結果、画素の行１から４の新しい照射強度出力レベルは、それぞれ、１（＝３／３）、２（＝６／３）、１００（＝３００／３）及び２００（＝６００／３）となる。
（ｂ）非線形照射強度レベルマッピング関数を各照射強度レベルに適用する。これにより、照射強度レベル１及び２はほぼ同じに維持されるが、強度レベル２００を有する、最高照射強度レベルの画素領域の解像度は強力に圧縮されて、撮像されているシーンの照射強度レベルを、ディジタルイメージャの最大強度レベル１５にマッピングする。最高照射高度レベルの画素領域のすぐ下の高照射強度レベルの画素領域の解像度は，それほど強力ではないが圧縮され、よって第３の画素行の照射強度レベルは９に設定される。
【００９７】
これらのステップにより、本発明の技術は、シーンからの元の画素行照射強度レベルの分布１，２，３００及び６００を、１，２，９，１５のイメージャ出力レベルに変換する。この結果、４つの画素行が異なる照射強度レベルを有するという元の状態が維持されるとともに、画像照射範囲はディジタルイメージャの出力範囲の特性に十分にマップされる。
【００９８】
本発明は、異なる動作条件に適応するために広範囲の実施代替案を想定している。例えば、照射強度レベルのヒストグラムを計算するために、上記の方法のコンピュータ負荷は比較的大きくなる可能性がある。このコンピュータ負荷を低減するために多数の代替方法を用いることができるが、それぞれの方法では性能の低下という代償が支払われる。しかしながら、最も顕著な性能の低下は、一般に、シーンの照射強度が大きく変化している際のより長い修正時間（settling time）としてのみ現れ、このような現象は通常、許容可能な条件と考えられる。
【００９９】
第１の代替技術の例では、ヒストグラム計算の照射強度レベル数を減少する。例えば、４０９６のオリジナル照射強度レベルを、より小さな数、例えば４つの照射強度レベルグループに置き換えることができる。照射強度レベルグループ１，２，３及び４は、それぞれ、例えば照射強度レベル０から５２３、５２４から１０４７、１０４８から１５７１、及び１５７２から４０９５にマップすることができる。このような照射強度レベルのグループ分けによって、必要なコンピュータ負荷がかなり減少する。
【０１００】
さらなる代替技術においては、ヒストグラムの計算を省略できる。この技術では、画素照射強度の分布が、均一に４０９５レベルにわたって特定化される。この場合、６４０ｘ４８０画素アレイに対しては、６４０ｘ４８０／４０９５＝７５であるため、各照射強度レベルに対して７５画素が指定される。よって、低照射強度範囲の照射強度レベル０及び１に対しては、１５０（＝７５ｘ２）画素が指定される。
【０１０１】
図１２には、集積時間を設定するための、本発明のさらなる実施形態が示されている。照射強度レベル０及び１の全画素数をカウントし、ナンバーダーク（ＮＤ）として注目する。ＮＤの決定後、処理は集積数（時間？）の調整を決定し、ＮＤの数を低減する。ＮＤを低減するための集積時間の増加方法は次のとおりである。
（１）１６５＜ＮＤ＜＝１８０であれば、集積時間を１０％増加する。
（２）１８０＜ＮＤ＜＝１９５であれば、集積時間を２０％増加する。
（３）１９５＜ＮＤ＜＝２１０であれば、集積時間を３０％増加する。
（４）２１０＜ＮＤ＜＝２２５であれば、集積時間を４０％増加する。
（５）２２５＜ＮＤ＜＝２４０であれば、集積時間を５０％増加する。
（６）２４０＜ＮＤ＜＝２７０であれば、集積時間を７０％増加する。
（７）２７０＜ＮＤ＜＝３００であれば、集積時間を９０％増加する。
（８）３００＜ＮＤ＜＝４５０であれば、集積時間を１５０％増加する。
（９）４５０＜ＮＤ＜＝６００であれば、集積時間を２５０％増加する。
（１０）６００＜ＮＤ＜＝９００であれば、集積時間を４００％増加する。
（１１）９００＜ＮＤ＜＝１５００であれば、集積時間を７５０％増加する。
（１２）１５００＜ＮＤであれば、集積時間を１０００％増加する。
ＮＤが１３５と１６５のあいだであれば、集積時間は変化しない。
【０１０２】
ＮＤが１３５未満であれば、代わりに下記の規則を適用して集積時間を減少する。
（１）１２０＜ＮＤ＜＝１３５であれば、集積時間を１１％減少する。
（２）１０５＜ＮＤ＜＝１２０であれば、集積時間を２５％減少する。
（３）９０＜ＮＤ＜＝１０５であれば、集積時間を４２％減少する。
（４）７５＜ＮＤ＜＝９０であれば、集積時間を６６％減少する。
（５）６０＜ＮＤ＜＝７５であれば、集積時間を１００％減少する。
（６）３０＜ＮＤ＜＝６０であれば、集積時間を２３３％減少する。
（７）２５＜ＮＤ＜＝３０であれば、集積時間を４００％減少する。
（８）２０＜ＮＤ＜＝２５であれば、集積時間を５００％減少する。
（９）１５＜ＮＤ＜＝２０であれば、集積時間を６５０％減少する。
（１０）１５＜ＮＤであれば、集積時間を１０００％減少する。
【０１０３】
この集積時間の制御の前後または同時に、ディジタルイメージャの照射強度レベルマッピング関数を制御して、４０９５と４０９４のいずれかの照射強度レベルを有する画素の数が１３５と１６５の間になるよう制御する。このような「明るい」画素、すなわち高照射強度レベル画素の数をカウントし、ナンバーブライト（ＮＢ）と指定し、それに応じて照射強度レベルマッピング関数を調節する。１つの例においては、照射強度レベルマッピング関数を、利用可能な、ある数、例えば８つの、異なる照射強度レベルマッピング関数から選択する。本発明によれば、任意の合理的な数の関数を提供できることが予期されている。
【０１０４】
この実施形態では、以下の規則を、カウントされたＮＢに基づき適用し、高照射強度レベルの解像度の圧縮を、ディジタルイメージャの照射強度レベルマッピング関数によって増減する。
（１）１６５＜ＮＢ＜＝２００であれば、高照射強度レベルの解像度に対する１ノッチのより強力な圧縮を実行する（invoke）。
（２）２００＜ＮＢ＜＝３００であれば、高照射強度レベルの解像度に対する２ノッチのより強力な圧縮を実行する。
（３）３００＜ＮＢ＜＝４００であれば、高照射強度レベルの解像度に対する３ノッチのより強力な圧縮を実行する。
（４）４００＜ＮＢ＜＝５００であれば、高照射強度レベルの解像度に対する４ノッチのより強力な圧縮を実行する。
（５）５００＜ＮＢ＜＝６００であれば、高照射強度レベルの解像度に対する５ノッチのより強力な圧縮を実行する。
（６）６００＜ＮＢ＜＝７００であれば、高照射強度レベルの解像度に対する６ノッチのより強力な圧縮を実行する。
（７）７００＜ＮＢであれば、高照射強度レベルの解像度に対する７ノッチのより強力な圧縮を実行する。
（８）１２０＜ＮＢ＜＝１３５であれば、高照射強度レベルの解像度に対する１ノッチのより弱い圧縮を実行する。
（９）１００＜ＮＢ＜＝１２０であれば、高照射強度レベルの解像度に対する２ノッチのより弱い圧縮を実行する。
（１０）８０＜ＮＢ＜＝１００であれば、高照射強度レベルの解像度に対する３ノッチのより弱い圧縮を実行する。
（１１）６０＜ＮＢ＜＝８０であれば、高照射強度レベルの解像度に対する４ノッチのより弱い圧縮を実行する。
（１２）４００＜ＮＢ＜＝６０であれば、高照射強度レベルの解像度に対する５ノッチのより弱い圧縮を実行する。
（１３）２０＜ＮＢ＜＝４０であれば、高照射強度レベルの解像度に対する６ノッチのより弱い圧縮を実行する。
（１４）２０＜ＮＢであれば、高照射強度レベルの解像度に対する７ノッチのより弱い圧縮を実行する。
【０１０５】
これらの規則により、上記の方法で画素の強度レベルを釣り合わせる照射強度レベルマッピング関数を選択することができる。
【０１０６】
本発明の１実施形態においては、第１の定められた照射強度レベル範囲にある照射強度レベルを有する画像データの画素数を決定する。このように決定した画素の数から、照射強度レベルマッピング関数が決定し、これを用いて転送制御関数が生成され、この転送制御関数をディジタルイメージャの画素に対して適用することができる。第２の定められた照射強度レベルの範囲にある照射強度レベルを有する画素の数を決定し、集積時間を決定することができる。集積関数（時間？）が決定した場合、転送制御関数の決定は、決定した照射強度レベルマッピング関数と決定した集積時間とにもとづく。
【０１０７】
照射強度レベルマッピング関数と集積時間の決定は、所望のダイナミックレンジが実現するまで繰り返される。第１の定められた照射強度レベルの範囲は画素の飽和を表す照射強度レベルを含む照射強度レベルの範囲であり、第２の定められた照射強度レベルの範囲は最小照射強度レベルを表す照射強度レベルを含む照射強度レベルの範囲であり、最小照射強度レベルは、画素のオフセット、残留画素電荷に対して調節可能である。
【０１０８】
第１の定められた照射強度レベル範囲の照射強度レベルを有する、画像データの画素の数は、ディジタルイメージャによって生成された画像データの画素のフレームから、ディジタルイメージャによって生成された画像データの画素の部分フレームから、ディジタルイメージャによって生成された画像データの画素のフレーム内の定められた領域から、またはディジタルイメージャによって生成された画像データの画素のフレーム内のユーザによって定められた領域から決定できる。
【０１０９】
照射強度レベルマッピング関数は、複数の予め特定された照射強度レベルマッピング関数から、好ましくは８つの予め特定された照射強度レベルマッピング関数から、第１の定められた照射強度レベルの範囲内の決定した画素数にもとづき、計算または選択のいずれかが可能である。さらに、転送制御関数は、決定した照射強度レベルマッピング関数と決
定した集積時間Ｔ_intにもとづき、複数の予め特定された転送制御関数から計算または選択のいずれかが可能である。
【０１１０】
さらに、転送制御関数の決定は、この決定に使用されている画像データのフレームの直後の、画像データの第２フレームの生成中に実現することできる。この状況においては、新しい転送制御関数は、画像データの第２フレームの直後である、画像データの第３フレームの生成中に、画素に対して適用される。
【０１１１】
一方、決定が部分フレームだけに関してなされている場合、転送制御関数の決定は、画像の前記部分フレームを有する画像データのフレームである、画像データの第１フレームの生成中に実現できる。この状況では、新しい転送制御関数は、画像データの前記第１フレームの直後である、画像データの第２フレームの生成中に、画素に与えられる。
【０１１２】
照射強度レベルマッピング関数は、集積時間Ｔ_intの決定に対して、独立して、依存して、その前後またはほぼ同時に決定できる。さらに、照射強度レベルマッピング関数は、個別の離散的関数を含む合成関数であってもよい。ここで、各個別の離散的照射強度レベルマッピング関数は、定められた照射強度レベルの範囲内の画素数の決定にもとづき決定する。各個別の照射強度レベルマッピング関数は、定められた照射強度レベルの範囲に関連付けられる。
【０１１３】
本発明の別の実施形態によれば、飽和した画素の数が決定され、決定した飽和画素の数が第１の閾値を超える場合には、第１の照射強度レベルマッピング関数が選択される。この実施形態ではさらに、定められたレベルの範囲にある照射強度レベルを有する飽和画素の数を決定し、決定した画素数が第２の閾値を超える場合には、第２の照射強度レベルマッピング関数を選択する。選択された照射強度レベルマッピング関数にもとづき転送制御関数が決定され、ディジタルイメージャの画素に対して適用される。
【０１１４】
第３の実施形態によれば、本発明は、画素の飽和値に対応する照射強度レベルを含む、第１の定められた照射強度レベルの範囲内にある照射強度レベルを有する、画像データの画素の数を決定し、これにもとづき、照射強度レベルマッピング関数を決定する。最小照射強度レベルに対応する照射強度レベルを含む、第２の定められた照射強度レベルの範囲内にある照射強度レベルを有する画素の数にもとづき、集積時間が決定する。決定した照射強度レベルマッピング関数と決定した集積時間とにもとづき転送制御関数が生成され、ディジタルイメージャの画素に対して適用される。
【０１１５】
転送制御関数は、複数の離散的転送制御関数、好ましくは８の離散的転送制御関数を含む。
【０１１６】
さらなる実施形態においては、本発明は第１の照射強度レベルマッピング関数を選択し、選択した第１の照射強度レベルマッピング関数にもとづき第１の転送制御関数を決定する。そして、決定した第１の転送制御関数をディジタルイメージャの画素に対して適用する。その後、決定した第１の転送制御関数が適用された、ディジタルイメージャによって生成されている画像データの画素の照射強度レベルのヒストグラムが決定され、このヒストグラムを形成するサンプル中のある画素の最大照射強度レベルを表す照射強度レベル最大値が決定される。決定した照射強度レベル最大値にもとづき第２の照射強度レベルマッピング関数が決定する。第２照射強度レベルマッピング関数は、飽和画素の生成を防ぎ、ディジタルイメージャによる前記ヒストグラムにおける各レベルの実現を可能にする、画像データのダイナミックレンジを提供する。第２照射強度レベルマッピング関数にもとづき第２の転送制御関数が決定し、これがディジタルイメージャの画素に与えられる。第１の照射強度レベルマッピング関数は、撮像されたシーンの高照射強度レベルの解像度の最大の圧縮である。
【０１１７】
本発明は、ディジタルカメラの感度を、画素ごとに適応的に制御するさらなる技術を想定する。例えば、上記の集積時間の制御技術は、任意の適当な機械的絞り（アイリス）制御及び／または強度信号ゲイン制御に置き換えたり組み合わせたりすることができる。機械的絞り制御及び強度信号ゲイン制御を用いて、集積時間の制御と同様の結果を生むことができるが、これらの制御による副作用もある。例えば、機械的絞りが増加すると、焦点の深さがこれに対応して減少する。別の例としては、信号のゲインが増加すると、ノイズレベル及び信号レベルがこれに対応して増加する。
【０１１８】
上記の説明及び添付の図面は、本発明により想定される適応感度制御の広い範囲を示すために提供される。本発明の技術には特定の実施方法が要求されるものではなく、本発明は、ディジタルイメージャの圧縮率及び集積時間制御を可能にし、イメージャの感度制御を実現する任意の実施方法を想定する。
【０１１９】
本発明のさまざまな例及び実施形態を示し、説明したが、当業者であれば、本発明の範囲がこれらの特定の説明及び図面に限られず、請求の範囲に記載されるような種々の修正及び変更にも及ぶことが理解できる。
【図面の簡単な説明】
【０１２０】
本発明は、種々の部品及び部品の配列、及び種々のステップ及びステップの配列の形式を取ることができ、図面は好ましい実施形態を示すことだけを意図し、本発明を限定するものではない。
【図１】集積時間が最大集積時間に近い、線形転送制御関数を示す図である。
【図２】集積時間が減少した、線形転送制御関数を示す図である。
【図３】異なる集積時間を利用した、撮像されたシーンの画素出力電圧対照射強度のマッピングを示す図である。
【図４】階段状または区分的離散的時間転送制御関数を示す図である。
【図５】線形転送制御関数及び階段状または区分的離散的時間転送制御関数を利用した、撮像されたシーンの画素出力電圧対照射強度のマッピングを示す図である。
【図６】撮像される実際のシーンの照射強度レベルのヒストグラムである。
【図７】図６の撮像シーンの照射強度レベルのヒストグラムであり、従来の補正を行っていない。
【図８】図６の撮像シーンの照射強度レベルのヒストグラムであり、従来の補正を使用している
【図９】本発明により実現する、図６の撮像シーンの照射強度レベルのヒストグラムである。
【図１０】本発明の概念による、画素ごとの適応感度制御システムのブロック図である。
【図１１】本発明の概念による、画素ごとの適応感度制御の1実施形態を示すブロック図である。
【図１２】本発明の概念による、画素ごとの適応感度制御の別の実施形態を示すブロック図である。
【図１３】本発明の概念による、転送制御関数に対する移行点のタイミングの計算を示す図である。
【図１４】図１３の転送制御関数を生成するための、撮像シーンに対する出力電圧対照射強度レベルの望ましいマップである。
【図１５】本発明の別の実施形態による、照射強度マッピングコントローラの動作を示すフローチャートである。
【図１６】本発明の別の実施形態による、転送制御関数生成回路の動作を示すフローチャートである。

Claims

合成転送制御関数を形成する複数の離散的転送制御関数間の移行点を決定する方法であって、
（ａ）集積時間を決定するステップと、
（ｂ）圧縮関数を決定するステップと、
（ｃ）前記決定した集積時間と前記決定した圧縮関数とにもとづき、合成転送制御関数を決定するステップと、
（ｄ）前記決定した集積時間と前記決定した圧縮関数とから、複数の離散的転送制御関数間の各移行点を決定するステップと、
を含む、方法。
請求項1に記載の方法において、前記合成転送制御関数は、８つの離散的転送制御関数と７つの移行点とを有する、方法。
請求項1に記載の方法において、第１の移行点は、最大可能集積時間と、前記決定した集積時間との差に等しい、方法。
請求項１に記載の方法において、第１の移行点は、最大可能集積時間と、前記決定した集積時間との差に等しく、これに続く移行点は、前のバリアブレイク点すべてと時間Ｔ_Sとの和に等しく、
ここで、Ｔ_Sは（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(p)）））^*Ｔ_intに等しく、
ｇは決定した圧縮関数に等しく、
ｎは移行点の総数に等しく、
ｐは計算対象の離散的転送制御関数の位取り数に等しく、
Ｔ_intは決定した集積時間に等しい、方法。
請求項４に記載の方法において、第１の移行点は、最大可能集積時間と、前記決定した集積時間との差に等しく、これに続く移行点は、前のバリアブレイク点すべてと時間Ｔ_Sとの和に等しく、
ここで、Ｔ_Sは（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(p)）））^*Ｔ_intに等しく、
ｇは決定した圧縮関数に等しく、
ｎは移行点の総数に等しく、
ｐは計算中の離散的転送制御関数の位取り数に等しく、
Ｔ_intは決定した集積時間に等しい、方法。
合成転送制御関数を形成する複数の離散的転送制御関数間の移行点を決定するシステムであって、
ディジタルイメージャに機能的に接続され、集積時間を決定する露光コントローラと、
前記ディジタルイメージャに機能的に接続され、照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、
前記ディジタルイメージャ、前記露光コントローラ、及び前記照射強度レベルマッピングコントローラに機能的に接続され、前記決定した集積時間と決定した照射強度レベルマッピング関数とにもとづき合成転送制御関数を決定し、かつ前記決定した集積時間と前記決定した照射強度レベルマッピング関数とから、複数の離散的転送制御関数間の各移行点を決定する、転送制御関数生成回路と、
を含むシステム。
請求項6に記載のシステムにおいて、前記合成転送制御関数は、８つの離散的転送制御関数と、７つの移行点を有する、システム。
請求項6に記載のシステムにおいて、第１の移行点は、最大可能集積時間と、前記決定した集積時間との差に等しい、システム。
請求項６に記載のシステムにおいて、第１の移行点は、最大可能集積時間と、前記決定した集積時間との差に等しく、これに続く移行点は、前のバリアブレイク点すべてと時間Ｔ_Sとの和に等しく、
ここで、Ｔ_Sは（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(p)）））^*Ｔ_intに等しく、
ｇは決定した圧縮関数に等しく、
ｎは移行点の総数に等しく、
ｐは計算中の離散的転送制御関数の位取り数に等しく、
Ｔ_intは決定した集積時間に等しい、システム。
請求項９に記載のシステムにおいて、第１の移行点は、最大可能集積時間と、前記決定した集積時間との差に等しく、これに続く移行点は、前のバリアブレイク点すべてと時間Ｔ_Sとの和に等しく、
ここで、Ｔ_Sは（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(p)）））^*Ｔ_intに等しく、
ｇは決定した圧縮関数に等しく、
ｎは移行点の総数に等しく、
ｐは計算中の離散的転送制御関数の位置的な数に等しく、
Ｔ_intは決定した集積時間に等しい、システム。