JP2004507910A

JP2004507910A - ダイナミック・レンジ圧縮方法

Info

Publication number: JP2004507910A
Application number: JP2002507628A
Authority: JP
Inventors: スターク，モーシェ
Original assignee: ビジョン−サイエンシズ・インコーポレーテッド
Priority date: 2000-07-05
Filing date: 2001-07-03
Publication date: 2004-03-11
Also published as: US20040036797A1; WO2002003675A3; WO2002003675A2; US7336309B2; EP1303978A2; AU2001269405A1; EP1303978A4

Abstract

多数の画素を含む画像センサ（２０２）のダイナミック・レンジを圧縮する方法。この方法は、画素の各々を光に露出し、光露出を表す画素毎の関連する光電流を生成するステップを含む。次に、画素毎に、当該画素の各々の関連する光電流の単調増加凸関数に基づいて、画素の各々の露出時間を制御する。

Description

【０００１】
（発明の分野）
本発明は、一般に画像センサにおいて、特に画素単位操作（ｐｅｒｐｉｘｅｌｍａｎｉｐｕｌａｔｉｏｎ）において画素を制御する方法および装置に関する。
（発明の背景）
図１は、視覚センサ（図示せず）のｉ番目の行およびｊ番目の列に位置する、従来技術の電荷集積画素（ｃｈａｒｇｅｉｎｔｅｇｒａｔｉｏｎｐｉｘｅｌ）１０を示す。画素１０は、電流源Ｉ_ｐｈ（ｉ，ｊ）で表した光検出器、スイッチ１２、コンデンサ１４、および読み出し回路１６から成る。スイッチ１２は、いずれのタイプのサンプルでもよく、半導体のようなデバイスを保持することができる。コンデンサ１４は、蓄積デバイス、具体的には集積コンデンサとして機能する。
【０００２】
画素１０は、光検出器に入射する光の強度にほぼ比例する光電流Ｉ_ｐｈ（ｉ，ｊ）を発生する。スイッチ１２を閉じると、光電流Ｉ_ｐｈ（ｉ，ｊ）を導通させ、コンデンサ１４を充電する。実施形態によっては、電荷集積の前に、コンデンサを完全に放電する。この場合、コンデンサ１４間の初期電圧Ｖ_{ｉｎｉｔｉａｌ}は０であり、電荷の蓄積に伴って線形に増加する。
【０００３】
光電流Ｉ_ｐｈ（ｉ，ｊ）が電荷集積中時間的に変化し、露出時間ｔ＝ｔ_Ｅ（ｉ，ｊ）の間スイッチ１２が閉じているとすると、蓄積電荷Ｑ^ａは式（１）のように計算することができる。
【０００４】
【数１】

【０００５】
コンデンサ１４間の蓄積電圧Ｖ^Ｃ（ｉ，ｊ）は次のようになる。
【０００６】
【数２】

【０００７】
ここで、Ｃ_１はコンデンサ１４の容量である。
以下に対する証明は、添付した補足資料において完全に説明する。ここでは、本発明を理解するために必要な式の一部を示す。理解を容易にするために、明細書における式の番号を補足資料における式に対応させている。
【０００８】
飽和電圧Ｖ^ｃ _Ｓａｔと遮断電圧Ｖ^ｃ _ＣＯとの比率は、電気信号ダイナミック・レンジＤＲ^Ｓとして、式（５）で定義される。
【０００９】
【数３】

【００１０】
補足資料から、露出時間の設定をグローバルに行う従来のセンサでは、捕獲画像のダイナミック・レンジＤＲ^Ｌは式（１２）のように定義することができる。
【００１１】
【数４】

【００１２】
露出時間の設定をグローバルに行う従来のセンサでは、捕獲画像のダイナミック・レンジＤＲ^Ｌは、電気信号のダイナミック・レンジＤＲ^Ｓに等しく、露出時間には係わらず不変である。
【００１３】
米国特許出願第０９／４２６，４５２号”ＩｍａｇｅＳｅｎｓｏｒ’ｓＵｎｉｔＣｅｌｌｗｉｔｈＩｎｄｉｖｉｄｕａｌｌｙＣｏｎｔｒｏｌｌａｂｌｅＥｌｅｃｔｒｏｎｉｃＳｈｕｔｔｅｒＣｉｒｃｕｉｔ”（個々に制御可能な電子シャッタ回路を有するセンサの単位セル）および第０９／５１６，１６８号”ＩｍａｇｅＳｅｎｓｏｒＡｒｃｈｉｔｅｃｔｕｒｅｆｏｒＰｅｒ−ＰｉｘｅｌＣｈａｒｇｅＩｎｔｅｇｒａｔｉｏｎＣｏｎｔｒｏｌ”（画素単位電荷集積制御用画像センサ・アーキテクチャ）に開示されているように、画像センサには、画素毎に個々に制御可能な電子シャッタを有するものもある。これらの画像センサでは、捕獲画像のダイナミック・レンジは式（１７）で示すことができる。
【００１４】
【数５】

【００１５】
ここで、シャッタ即ち露出時間のダイナミック・レンジＤＲ^Ｔは、最大および最小露出時間Ｔ^Ｅの比である。
【００１６】
【数６】

【００１７】
（１２）および（１７）から得られる結果は、画素毎に制御可能な電子シャッタを有する画像センサでは、捕獲場面のダイナミック・レンジＤＲ^Ｌは、従来技術の画像センサのダイナミック・レンジよりもせいぜい電子信号のダイナミック・レンジＤＲ^Ｓ倍だけ良いに過ぎないということである。例えば、電気信号のダイナミック・レンジＤＲ^Ｓが１，０００：１であり、露出時間の設定が同一である場合、捕獲場面のダイナミック・レンジＤＲ^Ｌは、１，０００，０００：１即ち約１２０ｄｂにはなり得る。つまり、電気信号のダイナミック・レンジを改善する余地が未だ残っているのである。何故なら、これは、画素毎に制御可能な電子シャッタを有する画像センサでは、直接結果に影響を及ぼすからである。
【００１８】
画素毎に露出時間が制御可能な画像センサでは、ダイナミック・レンジに時間依存性があり、露出時間ｔ_Ｅの効率的な管理によって大幅な改善が可能であるので、セルまたは画素毎にほぼ最適な露出時間を規定する方法および装置を開発することが求められている。
（摘要）
したがって、本発明の一実施形態によれば、多数の画素を含む画像センサのダイナミック・レンジを圧縮する方法を提供する。この方法は、画素の各々を光に露出し、光露出を表す画素毎の関連する光電流を生成するステップを含む。次に、画素毎に、当該画素の各々の関連する光電流の単調増加凸関数に基づいて、画素の各々の露出時間を制御する。
【００１９】
本方法は、更に、前記単調増加凸関数に基づいて各前記画素の前記露出時間を計算するステップ、および前記関連する光電流に基づいて各前記画素の前記露出時間を計算するステップの一方または双方を含むようにできる。また、本方法は、各前記画素の前記露出時間の所望の感度に基づいて、前記単調増加凸関数の一次導関数を計算するステップを含むようにできる。
【００２０】
制御するステップは、画素毎に計算した露出時間を格納し、格納した露出時間をメモリからアクセスし、アクセスした露出時間にしたがって画素をプログラムするステップを含むこともできる。
【００２１】
更に、本方法は、光電流をほぼ線形的に表す電荷を蓄積し、蓄積電荷の積として光電流を計算するステップを含むこともできる。
したがって、本発明の一実施形態によれば、多数の画素を含む画像センサにおいて用いる露出制御装置を提供する。この制御装置は、メモリ、画素単位のパラメータ、およびプロセッサを含むことができる。メモリは、計算した露出時間値を格納することができる。画素単位パラメータ表は、画素のローカル・パラメータを収容することができる。プロセッサは、１組の集束判断基準に基づいて、格納した露出時間値およびパラメータを組み合わせ、画素毎に、当該画素の露出時間を決定することができる。
【００２２】
１組の集束判断基準は、単調増加凸関数に基づいて、各画素に適切な露出時間を導出することができる１組のアルゴリズムに基づくことができる。１組のアルゴリズムは、画素の微調整露出時間を導出できるようにするとよい。
【００２３】
露出制御装置は、画像センサ外部のチップ・セットとすることもでき、あるいは、画像センサと同じ基板上に少なくとも部分的に集積することもできる。
（詳細な説明）
図面に関連付けた以下の詳細な説明から、本発明を一層深く理解し、その真価が認められよう。
【００２４】
本発明は、単調増加凸関数を使用してダイナミック・レンジの圧縮を制御する方法である。本明細書は、１組の方法、分析および作表機能、ならびに画像捕獲アルゴリズムの概要を説明する。ここに記載する方法およびアルゴリズムは、米国特許出願第０９／４２６，４５２号”ＩｍａｇｅＳｅｎｓｏｒ’ｓＵｎｉｔＣｅｌｌｗｉｔｈＩｎｄｉｖｉｄｕａｌｌｙＣｏｎｔｒｏｌｌａｂｌｅＥｌｅｃｔｒｏｎｉｃＳｈｕｔｔｅｒＣｉｒｃｕｉｔ”（個々に制御可能な電子シャッタ回路を有するセンサの単位セル）および第０９／５１６，１６８号”ＩｍａｇｅＳｅｎｓｏｒＡｒｃｈｉｔｅｃｔｕｒｅｆｏｒＰｅｒ−ＰｉｘｅｌＣｈａｒｇｅＩｎｔｅｇｒａｔｉｏｎＣｏｎｔｒｏｌ”（画素単位電荷集積制御用画像センサ・アーキテクチャ）に記載されている画像センサ、あるいは画素毎に電子シャッタを制御可能なその他の画像センサと共に用いることができる。本発明は、一般的なダイナミック・レンジの圧縮にも適用することができる。
【００２５】
本発明の一実施形態では、各画素の露出を光電流に基づいて制御し、所望のダイナミック・レンジ圧縮関数を実現可能とするようにこれを行う。
本発明の別の実施形態は、画素単位露出制御ハードウエア／ファームウエア／ソフトウエア装置および露出時間プロセッサであり、画素毎に電子シャッタ値を導出するために使用可能である。
【００２６】
本発明は、ほぼ無限の関数集合から選択可能な、あるクラスのダイナミック・レンジ圧縮関数を規定する。圧縮専用に用いられるこの関数クラスは、数学的には、単調増加凸関数、または以下の条件を満足する関数として定義する。Ｉ_ｐｈ１＞Ｉ_ｐｈ２に対してｆ（Ｉ _ｐｈ１）＞ｆ（Ｉ _ｐｈ２）およびｆ’（Ｉ _ｐｈ１）＜ｆ’（Ｉ _ｐｈ２）となる。ここで、ｆ’は関数ｆのその引数Ｉ_ｐｈによる一次導関数である。したがって、微分関数は単調減少関数となる。
【００２７】
無限の可能性範囲から、ｆ（Ｉ_ｐｈ）＝ｃ_１＋ｃ_２・ｌｏｇ_１０（Ｉ_ｐｈ）という種類の指数関数のみが従来技術の画像センサに用いられることは公知である。この関数は指数センサに実施されており、したがって、センサは指数的応答が可能であるが、画素毎に個々に電子シャッタを制御することはできない。
【００２８】
図３は、露出時間ｔ_Ｅを変化させる３種類の異なる関数を示し、画素即ち単位セルにおける応答を整形する際に用いることができるダイナミック・レンジ圧縮関数Ｖ^ｃ＝ｆ（Ｉ_ｐｈ）の図を含む。この関数は、通例では、Ｉ_ｐｈの単調増加凸関数とすることができる。
【００２９】
線表示３０は、露出時間ｔ_Ｅ＝ｔ_Ｅ ^ＭＩＮのときの蓄積電圧Ｖ^ｃを示す。線表示３４は、露出時間ｔ_Ｅ＝ｔ_Ｅ ^ＭＡＸのときの蓄積電圧Ｖ^ｃを示す。最後に、線表示３２は、単調増加凸関数にしたがう蓄積電圧Ｖ^ｃを示す。表示３２では、光電流Ｉ _ｐｈ１＞Ｉ _ｐｈ２が、切断光電流Ｉ_ｐｈ ^ＣＯないし飽和光電流Ｉ_ｐｈ ^Ｓａｔの範囲にある場合、
【００３０】
【数７】

【００３１】
および
【００３２】
【数８】

【００３３】
となる。
関数の単調増加特性によって、元の場面の特徴が確実に保存される。
一次導関数の単調減少特性のために、切断光電流Ｉ_ｐｈ ^ＣＯに近づくに連れて、光電流Ｉ_ｐｈの蓄積電圧Ｖ^ｃの増加分が大きくなる。これは、光強度信号が弱くなることに等しい。逆に、光電流Ｉ_ｐｈが飽和光電流Ｉ_ｐｈ ^Ｓａｔに近づくに連れて、電圧Ｖ^ｃの増加分は小さくなる。その結果、切断光電流Ｉ_ｐｈ ^ＣＯのレベル付近では、信号が弱まるに連れて、発生する信号の振幅が大きくなり、飽和光電流Ｉ_ｐｈ ^Ｓａｔ付近では、信号が強まるに連れて、発生する信号の振幅は小さくなる。
【００３４】
このように、前述の関数の一次導関数は、光電流Ｉ_ｐｈの変化の結果として、蓄積電圧Ｖ^ｃの変化をもたらし、感度関数Ｓ（Ｉ_ｐｈ）として定義することができる。ここで、
【００３５】
【数９】

【００３６】
となる。
用途によっては、遮断光電流Ｉ_ｐｈ ^ＣＯまたはこの付近において感度が高いことが望ましい場合もある。その利点は、飽和光電流Ｉ_ｐｈ ^Ｓａｔに近づく程感度が低下するが、見返りとして、光強度振幅の増大が見込まれることである。
【００３７】
尚、式（１７）および（１８）で論証したように、感度自体は圧縮関数に依存するが、最大捕獲場面ダイナミック・レンジＤＲ^Ｌはそうではないことに留意されたい。
【００３８】
単調増加凸関数の別の特徴は、蓄積電圧Ｖ^ｃ関数値と光電流Ｉ_ｐｈ関数との間に１対１の対応があることである。単調増加凸関数は、カットオフおよび飽和光電流Ｉ_ｐｈ ^ＣＯおよびＩ_ｐｈ ^Ｓａｔ間の範囲においてのみ逆となる。これが意味するのは、次の式に対して関数ｆ^−１が存在するということである。
【００３９】
【数１０】

この特徴によって、測定可能電圧Ｖ^ｃ（図１）に基づいて光電流Ｉ_ｐｈの計算が可能となることに注目するのは重要である。この内転（ｉｎ−ｔｕｒｎ）によって、画素毎に露出時間ｔ_Ｅを判定することが可能になる。これについて以下に説明する。
【００４０】
ダイナミック・レンジ圧縮関数は、要求性能または観察者の好みを満たすように選択することができる。本発明の範囲には、別の適用可能な単調増加凸型の関数も含まれ、分析的形式または表形式のいずれかで提示することができる。従来技術は対数関数の使用を強調しているが、単調増加凸関数のような代替関数が適用可能であると断言する。
【００４１】
人間の目の網膜の応答が従うような対数関数は、周知であり、広く用いられている。対数関数は、ダイナミック・レンジ全域に及び、次の式で証明することができる。
【００４２】
【数１１】

【００４３】
および
【００４４】
【数１２】

【００４５】
このように、対数ダイナミック・レンジ圧縮関数では、感度Ｓが光電流Ｉ_ｐｈに反比例する、即ち、光強度に反比例する。
ダイナミック・レンジを整形し、要求圧縮関数を満たすようにする方法についてこれより説明する。本発明は、画素毎に露出時間ｔ_Ｅを設定し、一方では選択したダイナミック・レンジ圧縮関数に従い、他方では捕獲場面に従う、高ダイナミック・レンジを達成する方法および装置について記載する。
【００４６】
露出時間の設定は、２つの部分、即ち、図４Ａ／４Ｂおよび図５にそれぞれ示す、初期設定および微調整に分割することができる。
ここで図４Ａ／４Ｂを参照し、初期設定プロセス４０のブロック図を示す。プロセス４０は３つのフェーズ、即ち、電荷集積フェーズ（ステップ４２ないし５６）、常時オフ画素識別フェーズ（ステップ５８ないし８０）、および常時オン画素識別フェーズ（ステップ８２ないし１０２）から成る。
【００４７】
電荷集積フェーズ：プロセス４０は（ステップ４２にて）開始すると、位置（ｉ＝０，ｊ＝０）における画素を選択する（ステップ４４）。（ｉ＝０，ｊ＝０）における画素の時間露出ｔ_Ｅをｔ_Ｅ ^ＭＩＮに設定する（ステップ４６）。ステップ４８ないし５４において、プロセス４０はＶ軸およびＨ軸に沿って画素から画素に進み、各画素の時間露出ｔ_Ｅをｔ_Ｅ ^ＭＩＮに設定する。ステップ４６ないし５４のループが完了するのは、位置（ｉ＝Ｈ−１，ｊ＝Ｖ−１）における最後の画素の時間露出ｔ_Ｅをｔ_Ｅ ^ＭＩＮに設定したとき（それぞれ、ステップ４８および５４）である。ステップ５６において、画像を捕獲し、全ての画素の電荷集積が行われる。
【００４８】
尚、同様に、プロセス４０は、開始時に、ｔ_Ｅ ^ｍｉｎではなくｔ_Ｅ ^ｍａｘに全ての画素を初期化することも可能であることを注記しておく。
「常時オフ画素」（常時飽和）の識別。このフェーズが開始すると、位置（ｉ＝０，ｊ＝０）における画素を選択する（ステップ５８）。ステップ６０において、画素の電圧Ｖ^ｃを読み取る。蓄積電圧Ｖ^ｃ（露出時間ｔ_Ｅ ^ｍｉｎの間）が飽和値Ｖ^ｃ _Ｓａｔよりも大きい場合（ステップ６２）、その露出設定を不変のままｔ_Ｅ ^ｍｉｎにしておく。
【００４９】
尚、集積コンデンサ上の電圧Ｖ^ｃ（ｉ，ｊ）は直接測定可能であると想定していることを注記しておく。あるいは、この想定がない場合でも、出力電圧Ｖ_Ｏｕｔ（ｉ，ｊ）−ビデオ出力信号はＶ^ｃ（ｉ，ｊ）を表すことができる。また、Ｖ^ｃ _ＣＯおよびＶ^ｃ _Ｓａｔに対応するＶ_Ｏｕｔ値もある。
【００５０】
電圧Ｖ^ｃ（ｉ，ｊ）が線形範囲にある画素では、例えば、Ｖ^ｃ _ＣＯ≦Ｖ^ｃ（ｉ，ｊ）≦Ｖ^ｃ _Ｓａｔの場合（ステップ６４）、光電流Ｉ_ｐｈを計算し（ステップ６６）、露出時間ｔ_Ｅを調節して（ステップ６８）ダイナミック・レンジ圧縮関数ｆ（Ｉ_ｐｈ）と一致するようにする。カットオフ未満であった画素（ステップ６４）には、最大露出時間ｔ_Ｅ ^ｍａｘを割り当てる（ステップ７０）。
【００５１】
ステップ７２ないし７８では、プロセス４０はＶ軸およびＨ軸双方に沿って画素から画素へ進み、位置（ｉ＝Ｈ−１，ｊ＝Ｖ−１）における最後の画素に露出時間を割り当てるまで（それぞれ、ステップ７２および７８）、適宜ステップ６０ないし７０を繰り返す。ステップ８０において、画像を捕獲し、全ての画素の電荷集積が行われる。
【００５２】
「常時オン」画素の識別。このフェーズが開始すると、位置（ｉ＝０，ｊ＝０）における画素を選択する（ステップ８２）。ステップ７０において、前回のサイクルにおいて切断であった画素、例えば、露出時間がｔ_Ｅ ^ｍａｘに設定された画素だけをチェックする。別の実施形態では、全ての画素を再チェックしてもよい。
【００５３】
ステップ８４において、画素の電圧Ｖ^ｃを読み取る。測定したＶ^ｃ（ｉ，ｊ）がカットオフ未満である場合（Ｖ^ｃ（ｉ，ｊ）＜Ｖ^ｃ _ＣＯ）（ステップ８８）、露出時間を最大、即ち、ｔ_Ｅ ^ｍａｘのままにしておく。測定値が線形範囲内にある場合（ステップ８８）、光電流Ｉ_ｐｈを計算し（ステップ９０）、電圧Ｖ^ｃ（ｉ，ｊ）を調節して（ステップ９２）ダイナミック・レンジ圧縮関数ｆ（Ｉ_ｐｈ）と一致するようにする。
【００５４】
ステップ９４ないし１００において、プロセス４０はＶ軸およびＨ軸双方に沿って画素から画素に進み、位置（ｉ＝Ｈ−１，ｊ＝Ｖ−１）における最後の画素に露出時間を割り当てるまで（それぞれ、ステップ９４および１００）、適宜ステップ８４ないし９２を繰り返す。プロセス４０はステップ１０２にて終了する。
【００５５】
ここで図５を参照し、微調整プロセス１１０のブロック図を示す。プロセス１１０の間、線形動作範囲に該当する画素に対して補正を行う。この補正は、全ての画素に対して巡回的に行い、ダイナミック・レンジ圧縮関数との一致度（ｍａｔｃｈ−ｕｐ）を高めるようにする。この補正は、所望の集束を達成したとき、または別の判断基準または検討事項に基づいて中断することも可能である。
【００５６】
理論上、画像センサは線形に動作し、集積コンデンサの電圧は、カットオフおよび飽和光電流Ｉ_ｐｈ ^ＣＯおよびＩ_ｐｈ ^Ｓａｔ間の一定光電流Ｉ_ｐｈに対して、時間と共に線形に増加する。この場合、初期設定プロセス４０の間に得られた光電流Ｉ_ｐｈはほぼ正確と言ってもよい。また、所望のダイナミック・レンジ圧縮関数に一致するように導出する露出時間ｔ_Ｅは、一般に正確である。
【００５７】
実際には、この線形の仮定は、１次近似に対してはほぼ正しいと言える。また、集積コンデンサ値Ｃ_１は、電圧Ｖ^ｃおよび画素の位置によって多少変動する場合もある。
【００５８】
図５に記載する方法は、低精度を考慮し、露出時間ｔ_Ｅを微調整して非線形性およびスキューを補償するように構成されている。この方法は、ダイナミック・レンジ圧縮関数の電圧Ｖ^ｃによる正確な追跡に基づく。
【００５９】
この方法は、測定した集積コンデンサの電圧Ｖ^ｃとダイナミック・レンジ圧縮関数値との間の差異が所望の精度に達するまで、露出時間ｔ_Ｅを補正する。
尚、ｆ（Ｉ_ｐｈ）関数値が測定電圧Ｖ^ｃ（ｉ，ｊ）に等しくなったとき、現露出時間ｔ_Ｅ（ｉ，ｊ）および新たな計算露出時間ｔ_Ｅ ^ｎｅｗは同一となることを注記しておく。また、この方法は、露出時間ｔ_Ｅ（ｉ，ｊ）の調整プロセスの間、蓄積電圧Ｖ^ｃ（ｉ，ｊ）が「線形」範囲を超過することも考慮に入れ、それに応じて露出時間ｔ_Ｅを補正する。
【００６０】
プロセス１１０が開始する際（ステップ１１２）、各画素の露出時間はプロセス４０において説明したように初期設定されていることを想定している。次に、画像の捕獲、例えば、電荷集積が行われる（ステップ１１４）。ステップ１１６において、プロセスは位置（ｉ＝０，ｊ＝０）における画素から開始して、電圧Ｖ^ｃを読み取る（ステップ１１８）。Ｖ^ｃ（ｉ，ｊ）が線形範囲に該当する場合（ステップ１２０）、露出時間ｔ_Ｅの補正を行う（ステップ１２２ないし１２４）。まず、測定値Ｖ^ｃ（ｉ，ｊ）および集積コンデンサの容量Ｃ_１に基づいて光電流Ｉ_ｐｈを計算する（ステップ１２２）。次に、新たな露出時間ｔ_Ｅ ^ｎｅｗを計算し、測定した集積コンデンサの電圧Ｖ^ｃに対する調節を行う（ステップ１２４）。
【００６１】
新たな露出時間ｔ_Ｅ ^ｎｅｗをチェックし、これが露出時間範囲［ｔ_Ｅ ^ｍｉｎ，ｔ_Ｅ ^ｍａｘ］以内に入るか否か確かめる（ステップ１２６）。新たに計算した露出時間が最小値未満である場合（ステップ１２８）、これをｔ_Ｅ ^ｍｉｎに設定する（ステップ１３０）。最大値を超過する場合、これをｔ_Ｅ ^ｍａｘに設定する（ステップ１３１）。露出時間ｔ_Ｅ ^ｎｅｗが露出時間範囲［ｔ_Ｅ ^ｍｉｎ，ｔ_Ｅ ^ｍａｘ］以内にあり、露出時間ｔ_Ｅ ^ｎｅｗおよび現在値ｔ_Ｅ間の差が∈ｔ_Ｅよりも大きい場合（ステップ１３４）、現露出時間ｔ_Ｅ値に代わって、新たに計算した値ｔ_Ｅ ^ｎｅｗを用いる。∈ｔ_Ｅは経験的に設定したプログラム可能な値である。
【００６２】
アレイ全体を走査した後（ステップ１３８ないし１４２は画素を進める際に用いられ、ステップ１１８ないし１３８を全ての画素について繰り返す）、微調整プロセスを継続するか中止するか（ステップ１４４）判断を下す（ステップ１４２）。この判断は、所望の集束判断基準への到達、平均、または最悪の場合に基づいて行うことができる。また、この判断は、観察者の主観的印象に基づいてもよい。
【００６３】
露出時間微調整方法１１０は、多くの潜在的な変種を代表する１つであり、その全ては本発明の原理に含まれることとする。本発明の代替または変更方法を以下に示す。
【００６４】
画素単位パラメータ表：容量ｃ_１、飽和電圧Ｖ^ｃ _Ｓａｔ、カットオフ電圧Ｖ^ｃ _ＣＯ、および画素位置と共に変動する可能性があるその他のパラメータは、画素毎に判定し、画像センサの画素関連メモリ表（図示せず）に格納しておくことができる。ここで前述した方法および同様の方法も、これに応じて変更することができる。
【００６５】
光電流Ｉ_ｐｈおよび露出時間ｔ_Ｅを計算する際に、グローバル定数ではなく、ローカル・パラメータを用いてもよい。即ち、容量Ｃ_１、飽和電圧Ｖ^ｃ _Ｓａｔ、カットオフ電圧Ｖ^ｃ _ＣＯの代わりに、Ｃ_１（ｉ，ｊ）、Ｖ^ｃ _Ｓａｔ（ｉ，ｊ）、およびＶ^ｃ _ＣＯ（ｉ，ｊ）をそれぞれ用いてもよい。その結果、集束が速くなる可能性がある。
【００６６】
ノイズの考慮：ノイズのために、露出時間ｔ_Ｅが変動する場合がある。ノイズに依存する変動を低減するために、新たな露出時間ｔ_Ｅ ^ｎｅｗの評価を次のように変更することができる。
【００６７】
【数１３】

【００６８】
ここで、Ｎ（ｉ，ｊ）は、集積コンデンサの電圧Ｖ^ｃが線形範囲にある（ｉ，ｊ）位置における画素毎の画像取得繰り返し回数である。
集束判断基準：標準偏差に基づく集束判断基準を用いることができる。
【００６９】
【数１４】

【００７０】
ここで、σｔ_Ｅ（ｉ，ｊ）は、Ｎ−１回目の繰り返し後のｔ_Ｅ（ｉ，ｊ）における標準偏差であり、σｔ_Ｅ ^ｎｅｗ（ｉ，ｊ）は現在の繰り返し後に計算した新たな標準偏差である。任意のｉまたはｊに対する最悪の場合のσｔ_Ｅ（ｉ，ｊ）が、あるσｔ_Ｅ値未満である場合、即ち、
【００７１】
【数１５】

これ以上の露出時間の繰り返しを停止することができる。
【００７２】
あるいは、あるσｔ_Ｅ値未満未満の平均露出時間偏差を、微調整終了判断基準として用いることができる。即ち、
【００７３】
【数１６】

【００７４】
２つの集束判断基準を組み合わせてもよい。また、得られた結果に満足するときに関して、集束判断基準を観察者の主観的判断と組み合わせてもよい。
これより図６を参照し、図４および図５に示した検討事項および方法に基づく、画素電子シャッタ制御システム２００および関連する画像センサのブロック図を示す。システム２００は、各ピクセルを個々に制御するのを容易にする。
【００７５】
システム２００は、画像センサ２０２、アナログ−ディジタル（Ａ／Ｄ）変換器２０４、露出制御部２０６、露出メモリ・アレイ２０８、および任意の画素パラメータ・メモリ・アレイ２０９を備えることができる。
【００７６】
Ａ／Ｄ変換器２０４は、アナログ入力を備え、これを画像センサ２０２のビデオ出力に接続してアナログ・ビデオＶ_ｏｕｔを受けることができる。変換器２０４は、ビデオ画素出力レートと同期してビデオ出力Ｖ_ｏｕｔをサンプリングし、アナログ・ビデオＶ_ｏｕｔをディジタル・ビデオＤＶ_ｏｕｔに変換する。ディジタル・ビデオＤＶ_ｏｕｔは、ｎビットのＤＶ_Ｏｕｔ上で変換器２０４から出力することができる。ここで、ｎは、ディジタル状で格納した露出時間ｔ_Ｅ（ｉ，ｊ）値のビット数であるｑ以上とするとよい。
【００７７】
露出制御部２０６は、変換器２０４からディジタル・ビデオＤＶ_Ｏｕｔを受け取り、新たな１組の露出時間値ｔ_Ｅ（ｉ，ｊ）を計算する。露出制御プログラム２１４は、内部または外部のプログラム・メモリ２１０に格納することができる。
【００７８】
制御部２０６は、ディジタル・ビデオＤＶ_ｏｕｔに基づいて、光電流Ｉ_ｐｈを計算することができる。ディジタル・ビデオＤＶ_ｏｕｔは電圧Ｖ^ｃに対応し、一方電圧Ｖ^ｃはコンデンサに溜まった集積電荷Ｑ_ａに対応する。
【００７９】
また、制御部２０６は、初期および微調整露出時間値ｔ_Ｅ（ｉ，ｊ）を計算し、各画素毎に個別に選択したダイナミック・レンジ圧縮関数ｆ（Ｉ_ｐｈ）に一致させることもできる。これらの計算は、プロセス４０および１１０に基づいて行うことができる。あるいは、ダイナミック・レンジ圧縮関数ｆ（Ｉ_ｐｈ）は、パラメータ表２１２のような、ダイナミック・レンジ圧縮関数メニューから選択することも可能である。
【００８０】
次に、制御部２０６は、計算したｑビット幅のｔ_Ｅ（ｉ，ｊ）値を露出時間メモリ２０８に格納する。この格納は、画素ビデオ・レートで行うことができる。
次に、メモリ２０８は新たな露出時間ｔ_Ｅを画像センサ２０２にロードする。制御部２０６がこのロードを制御することもできる。
【００８１】
ロードを行うのは、次に用いる露出時間値を計算し、それらを露出メモリ２０８に格納し終えた後とするとよい。あるいは、ｔ_Ｅ（ｉ，ｊ）の計算、それらのメモリ２０８への格納、およびそれらの画像センサ２０２へのロードを同時に行ってもよい。これは、特に、ビデオ・フレーム・レートに追従しなければならないリアル・タイム画像センサには有用である。
【００８２】
制御部２０６は、画像捕獲および後続の露出時間計算の繰り返しを継続するかまたは停止するかについて判断する。
メモリ２０８は、ＨＸＶメモリ・アレイとし、ｑビットのｔ_Ｅ（ｉ，ｊ）値を格納することができる。
【００８３】
アレイにアドレスするには、列、行−、および−ｉ、ｊインデックスを用いるとよい。電荷蓄積プロセスの間、画像センサ・アレイ全体に対して１回のバッチで、次に長さＴ^１の積分が行われるｋ番目の露出時間ビットをロードすることによって、画像センサをプログラムする。尚、積分時間はいかなる長さでも可能であることを注記しておく。
【００８４】
ｋ番目のビットに対する積分と同時に、ｉ番目のビットの積分のために画像センサをプログラムする。ｋ番目のビットに対応する積分が完了した後、ｉ番目のビットに対する積分を開始することができる。尚、ｑビット面全てのプログラミング／積分はいずれの順序でも行うことができ、面ビット（ｐｌａｎｅｂｉｔ）は１ラインずつ一度にｐビットだけロードするとよいことを注記しておく。
【００８５】
尚、前述の機能の各々を画像センサと同じダイ上に集積することができ、あるいは別個のチップの一部とすることもできることを注記しておく。
画素単位露出時間プロセッサは、画像センサの外部にチップ・セットの形態で実現することができ、あるいは部分的または全体的に画素と同じ基板上に集積することもできる。
【００８６】
新たな露出値ｔ_Ｅ ^ｎｅｗ（ｉ，ｊ）の計算アルゴリズムは、式（２９）に定式化した画素単位パラメータ表に基づくことができる。尚、Ｎ（ｉ，ｊ）値を格納するためには追加のメモリが必要となる場合もあることを注記しておく。
【００８７】
式（３０）において定式化した露出時間の標準偏差σｔ_Ｅ（ｉ，ｊ）の計算アルゴリズムでも、Ｎ（ｉ，ｊ）の格納にアレイが必要となる。
画素毎に電子シャッタの制御を行う画像センサは、各画素の露出時間を個々に制御することができ、したがって、ダイナミック・レンジの圧縮を実現できるだけでなく、多くのその他の有用な効果も得ることができる。したがって、ここに記載した装置を用いれば、画像センサは、分析的形式または表形式で与えられた種々の関数を選択し、それを用いて種々の効果を得ることができる。
【００８８】
尚、本発明は、先に特定的に示し説明したことに限定される訳ではないことは、当業者には認められよう。むしろ、本発明の範囲は、特許請求の範囲によって規定されることとする。
（補足資料）
蓄積電圧Ｖ^ｃ（ｉ，ｊ）は、低い方のカットオフ電圧Ｖ^ｃ _ＣＯおよび高い方の飽和電圧Ｖ^ｃ _Ｓａｔ間の領域において、式（２）に従う。
【００８９】
カットオフ電圧Ｖ^ｃ _ＣＯは、通例では、ノイズから分離することができる最も低い電圧であり、絶対的潜在値で表す。カットオフ値未満では、信号は小さすぎて意味のある情報を表現することができず、カットオフ領域にあると見なされる。飽和電圧Ｖ^ｃ _Ｓａｔは、信号クリッピングを生じずに得られる内で最も高い電圧であり、絶対的潜在値で表す。
【００９０】
現在の分析では、飽和電圧Ｖ^ｃ _Ｓａｔおよびカットオフ電圧Ｖ^ｃ _ＣＯは、個々のセンサ各々のダイ、位置、およびプロセス依存スキューによっては、多少変動することもあるが、Ｖ^ｃ _ＳａｔおよびＶ^ｃ _ＣＯの値は一定であると想定する。
【００９１】
式（２）に基づき、特定の露出時間ｔ_Ｅに対して飽和およびカットオフを生ずる飽和光電流Ｉ_ｐｈ ^Ｓａｔ（ｉ，ｊ）およびカットオフ光電流Ｉ_ｐｈ ^ＣＯ（ｉ，ｊ）は、それぞれ、次のようになる。
【００９２】
【数１７】

【００９３】
【数１８】

【００９４】
飽和光電流Ｉ_ｐｈ ^Ｓａｔ（ｉ，ｊ）およびカットオフ光電流Ｉ_ｐｈ ^ＣＯ（ｉ，ｊ）の値は、特定の露出時間ｔ_Ｅに対して、画像センサの動作領域を規定する光電流Ｉ_ｐｈの境界を規定し、更に検知回路の電子的限界も規定する。尚、各画像センサの境界値は異なることもあり、光学部品の品質、量子効率の度合い、センサを製造するために用いたプロセスの選択、および回路設計の相違のような変数（ｖａｒｉａｂｌｅ）のために生じることを注記しておく。
【００９５】
飽和光電流Ｉ_ｐｈ ^Ｓａｔ（ｉ，ｊ）およびカットオフ光電流Ｉ_ｐｈ ^ＣＯ（ｉ，ｊ）間の比率は、電気信号のダイナミック・レンジＤＲ^Ｓとして、式５で定義される。
【００９６】
【数１９】

【００９７】
典型的な画像センサの電気信号ダイナミック・レンジＤＲ^Ｓは、１０００：１程度である。ダイナミック・レンジＤＲ^Ｓを、次のように、デシベル単位で記述することもある。
【００９８】
【数２０】

【００９９】
典型的な画像センサでは、そしてデシベル単位では、電気信号のダイナミック・レンジＤＲ^Ｓは約６０ｄＢである。
尚、電気信号のダイナミック・レンジＤＲ^Ｓは、捕獲画像のダイナミック・レンジＤＲ^Ｌではないが、これら２つの値はある共通タイプの画像センサでは同一となる場合もあることを注記しておく。捕獲画像のダイナミック・レンジＤＲ^Ｌは次のように定義される。
【０１００】
【数２１】

【０１０１】
ここで、ＤＲ^Ｌは、０≦ｉ≦Ｖ−１および０≦ｊ≦Ｈ−１の範囲における任意の（ｉ，ｊ）に対する、最大飽和光電流Ｉ_ｐｈ ^Ｓａｔ（ｉ，ｊ）および最小カットオフ光電流Ｉ_ｐｈ ^ＣＯ（ｉ，ｊ）間の光強度ダイナミック・レンジ、または比率である。
【０１０２】
従来技術の画像センサでは、全画素を同じ露出時間ｔ_Ｅだけ露出する。露出時間ｔ_Ｅは、ｔ_Ｅ ^ｍｉｎからｔ_Ｅ ^ｍａｘの範囲で変更することができる。ここで、
ｔ_Ｅ ^ｍｉｎは、画像センサの最短露出時間、
ｔ_Ｅ ^ｍａｘは、画像センサの最長露出時間である。
【０１０３】
尚、従来技術の画像センサでは、露出時間ｔ_Ｅを変更することはできるが、全ての画素で一緒に変更され、その電荷集積は同一であることを注記しておく。
分析の目的のため、注目［？？］場面のダイナミック・レンジが非常に広く（無限）、画像センサの能力によってのみ制限されると想定する。従来技術の画像センサでは、露出時間をｔ_Ｅ ^ｍｉｎに設定すると、対応する飽和およびカットオフ光電流Ｉ_ｐｈ ^ＳａｔおよびＩ_ｐｈ ^ＣＯは次のようになる。
【０１０４】
【数２２】

【０１０５】
【数２３】

【０１０６】
この特定的な状況では、（８）および（９）から得られる捕獲画像のダイナミック・レンジＤＲは次のようになる。
【０１０７】
【数２４】

【０１０８】
同様に、最大露出に対して、ダイナミック・レンジが
【０１０９】
【数２５】

【０１１０】
であることを導出でき、最大および最小の間に設定したいずれの露出時間ｔ_Ｅに対しても、従来技術の画像センサでは、捕獲画像のダイナミック・レンジＤＲが
【０１１１】
【数２６】

【０１１２】
となり、グローバルに設定した露出時間ｔ_Ｅでは、捕獲画像のダイナミック・レンジＤＲ^Ｌは電気信号のダイナミック・レンジＤＲ^Ｓに等しく、露出時間に係わらず不変である。
【０１１３】
ここで図２を参照し、式１２をグラフで示す。図１２は、光電流Ｉ_ｐｈと、３つの異なる電圧Ｖ^ｃに対する露出時間ｔ_Ｅとの関数としての蓄積電圧Ｖ^ｃを示す。線表示２０は、露出時間がｔ_Ｅ＝ｔ_Ｅ ^ＭＩＮのときの蓄積電圧Ｖ^ｃを示す。線表示２２は、露出時間がｔ_Ｅ ^ＭＩＮ＜ｔ_Ｅ＜ｔ_Ｅ ^ＭＡＸのときの蓄積電圧Ｖ^ｃを示す。線表示２４は、蓄積電圧がｔ_Ｅ＝ｔ_Ｅ ^ＭＡＸのときの蓄積電圧Ｖ^ｃを示す。
【０１１４】
基本的には、蓄積電圧Ｖ^ｃの関数は、露出時間ｔ_Ｅの関数として変化するが、関数の傾きは不変であり、したがって、捕獲場面のダイナミック・レンジも不変であることがわかる。
【０１１５】
画像センサの画素単位電子シャッタでは、各画素の露出時間ｔ_Ｅをｔ_Ｅ ^ｍｉｎからｔ_Ｅ ^ｍａｘまでの露出時間の範囲以内で個々に設定することができ、光電流Ｉ _ｐｈ１（ｉ，ｊ）＞Ｉ _ｐｈ２（ｉ，ｊ）のとき、露出時間ｔ_Ｅ２（ｉ，ｊ）＜ｔ_Ｅ１（ｉ，ｊ）、および蓄積電圧Ｖ^ｃ _２＞Ｖ^ｃ _１となるようにする。
【０１１６】
これらの想定に基づいて、画像センサの最大飽和光電流Ｉ^Ｓａｔ _ｐｈは、
【０１１７】
【数２７】

【０１１８】
となり、最小カットオフ光電流Ｉ^ＣＯ _ｐｈは、
【０１１９】
【数２８】

【０１２０】
となる。
したがって、画素単位の電子シャッタを有する画像センサでは、捕獲場面のダイナミック・レンジＤＲ^Ｌは、シャッタを（１３）および（１４）にしたがって設定した場合、次のようになる。
【０１２１】
【数２９】

【０１２２】
または
【０１２３】
【数３０】

【０１２４】
または
【０１２５】
【数３１】

【０１２６】
ここで、
【０１２７】
【数３２】

【０１２８】
したがって、画素毎に個別に電子シャットを制御する画像センサでは、シャッタ即ち露出時間のダイナミック・レンジＤＲ^Ｔは、露出時間ｔ_Ｅの最大対最小の比となる。電子シャッタの値は、露出時間の範囲内で設定することができる。
【０１２９】
最大露出時間ダイナミック・レンジＤＲ^Ｔは、このタイプの画像センサにとっては品質指標となる。電気信号のダイナミック・レンジＤＲ^Ｓと共に、これは捕獲場面のダイナミック・レンジＤＲ^Ｌを決定する。
【０１３０】
リアル・タイム・ビデオをサポートする画像センサでは、ＤＲ^Ｔを１，０００：１にすることが可能である。このタイプの静止ビデオ画像センサでは、ＤＲ^Ｔは理論上無制限である。何故なら、露出時間のプログラム全体に何等制約がないからである。しかしながら、ＤＲ^Ｔには実際に使用できる限度がある。
【０１３１】
ＤＲ^Ｔには＞ＤＲ^Ｓであり、得られる電気信号を最大限活用すると想定すると、ｔ_Ｅ ^ｍｉｎに対してＶ^ｃ＝Ｖ^ｃ _ＣＯとなり、ｔ_Ｅ ^ｍａｘに対してＶ^ｃ＝Ｖ^ｃ _Ｓａｔとなる。この設定によって、線形領域全域を完全に利用することが可能となる。つまり、ＤＲ^Ｔ＝ＤＲ^Ｓとなる。ｔ_Ｅ≦ｔ_Ｅ ^ｍｉｎ、そしてｔ_Ｅ∃ｔ_Ｅ ^ｍａｘ、Ｖ^ｃ≦Ｖ^ｃ _Ｓａｔの場合、Ｖ^ｃの範囲は、Ｖ^ｃ∃Ｖ^ｃ _ＣＯおよびＶ^ｃ≦Ｖ^ｃ _Ｓａｔとなるように設定しなければならない。そうでないと、出力信号は飽和および／またはカットオフ領域にそれぞれ侵入する。したがって、
【０１３２】
【数３３】

【０１３３】
したがって、
【０１３４】
【数３４】

【０１３５】
となる。
（１９）および（２０）の結果として、画素毎に電子シャッタを制御する画像センサでは、捕獲場面のダイナミック・レンジＤＲ^Ｌは、従来技術の画像センサのダイナミック・レンジよりも、せいぜい電気信号のダイナミック・レンジＤＲ^Ｓ倍広くすることができるにすぎない。例えば、電気信号のダイナミック・レンジＤＲ^Ｓが１，０００：１であり、露出時間の設定が同じである場合、捕獲場面のダイナミック・レンジＤＲ^Ｌは１，０００，０００：１、即ち、約１２０ｄｂにはなり得る。つまり、電気信号のダイナミック・レンジを改善する余地が未だ残っているのである。何故なら、これは、画素毎に制御可能な電子シャッタを有する画像センサでは、直接結果に影響を及ぼすからである。
【０１３６】
ダイナミック・レンジは、デシベル単位では次のように表すことができる。
【０１３７】
【数３５】

【０１３８】
画素毎に露出時間を制御する画像センサでは、次の式が成り立つ。
【０１３９】
【数３６】

【図面の簡単な説明】
【図１】
図１は、従来技術の視覚センサのｉ番目の行およびｊ番目の列に位置する電荷集積画素を示す。
【図２】
図２は、Ｉ_ｐｈおよび露出時間Ｔ_Ｅの関数として電圧Ｖ^ｃを示すグラフ（従来技術）である。
【図３】
図３は、ダイナミック・レンジ圧縮関数Ｖ^ｃ＝ｆ（Ｉ_ｐｈ）を示す。
【図４Ａ】
図４Ａは、初期設定アルゴリズムの一実施形態を詳細に示す。
【図４Ｂ】
図４Ｂは、初期設定アルゴリズムの一実施形態を詳細に示す。
【図５】
図５は、図４のアルゴリズムと共に用いる、微調整アルゴリズムの一実施形態を詳細に示す。
【図６】
図６は、画像の個別制御を容易に行う画像センサ上に構成し動作するものとして本発明を示すブロック図である。

Claims

多数の画素から成る画像センサのダイナミック・レンジを圧縮する方法であって、
前記画素の各々を光に露出し、前記光の露出を表す画素毎の関連する光電流を生成するステップと、
画素毎に、各前記画素の前記関連する光電流の単調増加凸関数に基づいて、各前記画素の露出時間を制御するステップと、
から成るダイナミック・レンジ圧縮方法。
請求項１記載の方法であって、更に、前記単調増加凸関数に基づいて、各前記画素の前記露出時間を計算するステップを含むこと、を特徴とするダイナミック・レンジ圧縮方法。
請求項１記載の方法であって、更に、前記関連する光電流に基づいて、各前記画素の前記露出時間を計算するステップを含むこと、を特徴とするダイナミック・レンジ圧縮方法。
請求項２記載の方法において、前記制御するステップが、
画素毎に前記計算した露出を格納するステップと、
前記格納した露出時間を前記メモリからアクセスするステップと、
前記アクセスした露出時間にしたがって前記画素をプログラムするステップと、
から成ること、を特徴とするダイナミック・レンジ圧縮方法。
請求項１記載の方法であって、更に、各前記画素の前記露出時間の所望の感度に基づいて、前記単調増加凸関数の一次導関数を計算するステップを含むこと、を特徴とするダイナミック・レンジ圧縮方法。
請求項１記載の方法であって、更に、
前記光電流をほぼ線形的に表す電荷を蓄積するステップと、
前記光電流を前記蓄積電荷の積として計算するステップと、
を特徴とするダイナミック・レンジ圧縮方法。
多数の画像から成る画像センサにおいて用いる露出制御装置であって、
計算した露出時間値を格納するメモリと、
前記画素のローカル・パラメータを収容する画素単位パラメータ表と、
１組の集束判断基準に基づいて前記格納した露出時間値および前記パラメータを組み合わせ、画素毎に、当該画素の露出時間を決定するプロセッサと、
を備えている露出制御装置。
請求項７記載の露出制御装置において、前記１組の集束判断基準は、前記単調増加凸関数に基づいて各画素に適切な露出時間を導出可能な１組のアルゴリズムに基づくこと、を特徴とする露出制御装置。
請求項８記載の露出制御装置において、前記１組のアルゴリズムは、前記画素の微調整露出時間を導出可能であること、を特徴とする露出制御装置。
請求項７記載の露出制御装置において、前記露出制御装置が、前記画像センサ外部のチップ・セットであること、を特徴とする露出制御装置。
請求項７記載の露出制御装置において、前記画像センサと同じ基板上に少なくとも部分的に前記露出制御装置を集積したこと、を特徴とする露出制御装置。