JP2008523695A - 輝度分散が大きい場面を撮像する方法および装置 - Google Patents

Abstract

本発明は電子撮像装置およびそのダイナミックレンジを拡張する方法である。本発明は、各ピクセルのサイトもしくはその近くに配置されるコンパレータおよびリセットトリガ回路を提供することによって撮像装置を変更するステップを備える。コンパレータは、荷電ピクセルの電圧が基準電圧に達する時にリセットメカニズムをトリガする。グローバル露光時間の間、各個別のピクセルは、それに入射する放射の輝度に応じて数回自己リセットすることができる。グローバル露光時間の終了時、各ピクセルは、最後の個別自己リセットからグローバル集積時間の終了まで残存する電圧の「残存値」のみを含む。グローバル露光時間の間に各ピクセルが経たリセットの回数を推定し決定するアルゴリズムが実施される。このリセットの回数から、アルゴリズムは真の画像を復元することができる。ピクセルリセットを用いる従来技術の方法に反して、本発明の装置は、各ピクセルがリセットされた回数をカウントし記憶する電子部品を含まない。

Description

発明の分野
本発明は、電子画像を生成、処理する分野に関する。具体的には、本発明は、このような画像の改良された輝度分散の捕捉および復元の方法および装置に関する。

発明の背景
多数の日常の場面は、電子撮像装置（たとえば、スチルカメラもしくはビデオカメラ）に記録できるよりも遥かに大きな輝度分散の範囲を有する。これは、電子撮像装置が、影のある範囲の充分な電子検出のために充分に長くなければならず、同時に高い輝度範囲において飽和を防ぐのに充分なだけ短くなければならない、制限ダイナミックレンジ（レスポンス）、すなわち露光時間を示すからである。これは、ほとんどの画像について不可能である。したがって制限ダイナミックレンジの結果は妥協となり、影のある領域と明るい部分の両方で、詳細は削減される。濃い影は、区別されない黒として記録され、光る明るい部分は区別されない白として「白っぽく」なる。

強い明るい部分と重要な影の詳細との両方を有する高いダイナミックレンジを有する場面は、実質的な忠実さをもって描写されない。事実上、操作者は、どの程度の色調が犠牲となるかを選択しなければならない。たとえば、明るい窓の前の個人の画像を考える。人について露光すると、窓の部分が均一に白い背景形状に見えることになり、一方、窓から見える外の景色について露光すると、人物が黒い画像もしくはシルエットに見えることになる。

電子写真において、画像は、線状もしくは平面格子状に配置された順序づけられた一連の画像素子もしくは「ピクセル」として表される。ディスプレイ上で、各ピクセルは通常、ピクセルの色を特定する、輝度値もしくは明度値およびクロミナンス値を特定する。輝度分散は一般的に、システムが解像し表示することができる個々の明度レベルの数を参照する、画像の「奥行き」に関して特徴づけられる。

過去に、この問題を克服するべく、多数の方法が示唆されてきた。異なる露光を用いて、また多様な方法でもたらされる画像を組み合わせて、カメラを露光することを含む方法は、よりしばしば用いられる方法である。異なる露光は、ピクセルが入ってくる光にさらされる時間である集積時間を変更することで得ることができ、もしくはピクセルのいくつかもしくは全てにかかる入射光の量を調整することで得ることができる。各フレームについての集積時間はリセット信号で始まり、サンプル信号、すなわち読み取りで終わる。グローバル制御を有する従来のアクティブピクセルセンサ（ＡＰＳ）において、センサアレイにおける全てのピクセルはリセットされ、後に同時にサンプリングされる。

これらの方法における問題は、２つの分野にある。第１に、各露光について、画像内の任意の動き、場面内の現実の動きもしくはカメラの動きは、異なる露光時間で異なって変換され、結果として、異なる露光を組み合わせることにより得られる全体的な画像はひずむ。問題の起こる第２の分野は、場面の輝度の強力な変更へのシステムのレスポンスである。いくつかのシステムにおいて、露光の比率は一定に保たれ、現実の場面の輝度分散の範囲は最適ではない。他において、露光は独立して変化し、新しい場面に順応するのに長い時間がかかる。

ＣＣＤテクノロジおよびとりわけＣＭＯＳ検出器に基づくものなど電子カメラの制限ダイナミックレンジの問題を解決しようとする従来の技術の方法の多くは、ピクセルリセットとして知られる技術を用いる。この技術において、フレームの各集積時間の間ピクセルを何度もリセットするべく、ピクセルアレイにさらなる電子回路が加えられ、画像処理アルゴリズムにステップがさらに加えられる。フレームについて全体的な集積時間の間に蓄積したフォトン（電荷）の全数はそこで、最後のリセットの後で蓄積を付加してピクセルのリセット毎に蓄積したフォトンの全数を加えることで決定される。この技術は多様な方法で実現される。場合によって、全体的なピクセルのアレイは、通常は時間に基づくプリセット基準にしたがって生じるリセットに制約される。

他の方法において、個別のピクセルのそれぞれは、ピクセルがあるレベルに達した時にそれをリセットする回路を備えられる。各ピクセルに関連づけられるさらなる回路は、ピクセルについてリセットの回数をカウントし、記憶する。多様な刊行物が、ピクセルを０にリセットする基準を決定する、および全体の統合電荷を決定する、異なる方法を教示する。最も基本的な意味において、各ピクセルについての全体的な統合電荷は、サンプル信号時に測定された残存電荷に加え、ピクセルがリセットされる前に蓄積が許可される電荷の量がリセットされるリセット回数の数である。ダイナミックレンジを拡張する本方法の変形は、たとえば米国特許出願第６，８３１，６８９号、第６，９２７，７９６号、第５，８７２，５９６号、および国際特許出願第ＷＯ９３／１４５９５号に教示される。個別のピクセルのリセットの従来の技術の方法全てに共通の、とりわけＣＭＯＳカメラについての不利点は、余分なカウントおよび記録回路のさらなるコスト、もしくは他の解決法における、各ピクセルのサイトに加えられる必要があるアナログタイプの蓄積器である。また、さらなる回路要素はスペースを必要とし、それによってアレイの光を集める能力を事実上削減し、もしくはそのサイズを増大させ、結果としてコストの増大と信号／ノイズ問題があるという事実がある。スペースの問題に対する１つの解決法は、カウントおよび記憶格納要素をピクセルのサイトから検出器の中央処理部に移すことである。この解決法はしかしまた、検出器の機能全体に影響する、扱いにくい信号サンプリングおよび移転手順を必要とする。これはまた、設計が中央処理ユニットの「注意」の必要性を強いる場合に、各ピクセルがリセットサイクルを行うことのできる実際の時間に制限を課す。したがってこの方法は解決法の正確さと感度を減少させる。

したがって、本発明の目的は、輝度分散の大きな場面を撮像する方法および装置を提供することである。

本発明の他の目的は、比較的小さな量の回路の機能を必要とする電子カメラのダイナミックレンジを拡張する方法および装置を提供すること、もしくは、既存のピクセルアレイに比較的小さなハードウェア変更を提供して画像処理技術を増大させることで、アレイの個別のピクセルにそれぞれ集められた光の輝度の真の値を推定し決定することである。

本発明のさらなる目的および利点は、説明が進むにつれて現れるであろう。

発明の概要
一態様において、本発明は電子撮像装置のダイナミックレンジを拡張する方法に関する。この方法は以下のステップを備える。

ａ．ピクセルの１次元もしくは２次元のアレイおよび中央に配置されたセンサチップロジック部を備えるセンサチップを提供するステップであって、フレームのグローバル露光時間間隔はリセット信号で始まり、サンプル信号で終了する、
ｂ．各ピクセルのサイトもしくはその近くに配置されるコンパレータとリセットトリガ回路とを提供するステップである。コンパレータは、荷電ピクセルの電圧が基準電圧に達する時にリセットメカニズムをトリガし、グローバル露光時間の間に各個別のピクセルはそれに入射する放射の輝度に応じて数回自己リセットすることができる。グローバル露光時間の終了時に、各ピクセルは最後の個別の自己リセットからグローバル集積時間の終了まで残存する電圧の残存値のみを含む、
ｃ．取得後のデータに実施されるアルゴリズムを提供するステップであって、アルゴリズムは、
ｉ．時間および／もしくは空間連続性仮定および隣接ピクセル推定のルールを用いて、ピクセルのそれぞれについて個別のリセットの回数を決定するステップと、
ｉｉ．ピクセルのそれぞれについての個別のリセットの決定された回数と、ピクセルのそれぞれについての残存値と、基本式とを用いて、ピクセルのそれぞれについて真の画像値を決定するステップと、
を備える。

真の画像は、ピクセルのそれぞれについての真の画像値のアレイを備える。アルゴリズムの使用とともに各ピクセルについてのリセットメカニズムの組み合わせは、ピクセルのそれぞれがリセットされた回数をカウントし記憶する電子部品の提供を必要とすることなく、真の画像の決定を可能にする。

本発明の好適な実施形態において、電子撮像装置はＣＭＯＳセンサチップを備える。
フレームのグローバル露光時間間隔についてのスタートリセット信号は、多様なサブアレイに適用することができる、同じもしくは異なるスタート信号であることができる。

異なる実施形態において、ピクセル飽和リセット信号の閾値はグローバルであることができ、もしくは異なる閾値メカニズムを各ピクセルのサブアレイに用いることができる。閾値リセットメカニズムは中央リセットイネーブル信号によって操作することができ、リセットは、ピクセル値が閾値に達してリセットイネーブル信号がオンになった時に生じ得る。比較および閾値リセットエレクトロニクスは、ピクセル群によって時分割することができる。所定のシーケンスの間、各ピクセルがエレクトロニクスに接続され、ピクセルが閾値を越えたとき、リセットがピクセルに生じる。閾値リセットメカニズムが１つのピクセルもしくはいくつかのピクセルの平均をサンプリングすることができ、サンプリングされたピクセルを含む隣接するピクセル群にリセットを行う。リセット値を決定する基準電圧のソースは、センサチップロジック部の中央位置から提供することができる。

本発明の一実施形態において、連続性仮定が画像全体について有効であると考えられ、アルゴリズムが、
ａ．アルゴリズム的処理の連続処理について順序づけられたピクセルのトラジェクトリを選択するステップと、
ｂ．隣接するネイバーへのビジットに続いて、トラジェクトリに沿って各ピクセルをビジットするステップと、
ｃ．１以上の既にビジットされたピクセル値に関連して連続性仮定と隣接ピクセル推定ルールとを用いて各ピクセルについてｎ値を連続的に決定するステップと、
ｄ．基本式を用いて真の画像を計算するステップと、
を備える。

本実施形態において、隣接するｎ値のいくつかの推定について連続性仮定が違反されるという、有限かつ小さい可能性が存在し、ピクセルをビジットするのに用いられる特定のトラジェクトリに沿っていくつかの不適切なｎ推定をもたらすと考えられる。この場合、もたらされるエラーは、アルゴリズムに補正手順を導入することで補正される。このよう
な手順は、
ａ．ピクセルアレイの全体について、違反を自動的に識別し、次第に縮小した数（もしくは０）のｎのエラーに集束するであろう、異なるピクセルの順序を有するトラジェクトリを用いる反復の連続を用いることで、ピクセルのｎ値を決定するステップと、
ｂ．必要であればエラー補正の後に、ピクセルを相対的に順序づけられたｎセットにグループ化するステップと、
ｃ．順の最も低いセットに値ｎ＝０を割り当てるステップと、
ｄ．他のｎセットについて、一貫した方法で、最も高いｎ値まで、順のより高いｎ値を割り当てるステップと、
ｅ．各推定されたｎ値に関連する決定された信頼水準を、次のｎ値の推定に組み込むステップと、
を備える。

本手順の第１のステップは、以下のステップを備える。
ａ．ピクセルビジットのトラジェクトリを決定するステップと、
ｂ．既に推定された全ての隣接ピクセルもしくは基準ネイバーから各新しいピクセルにｎ推定を行うステップと、
ｃ．新しいピクセルについての全てのｎ推定が同一でない場合、先の推定値に関連する先に決定された信頼水準の組み込みを含む関連する推定詳細に基づいて整数ｎステップの推定値を作成するステップと、
ｄ．「非最終の」推定値を、ピクセルのｎ値に割り当てるステップと、
ｅ．異なる方向から「非最終決定の」ピクセルに近づくよう、必要な時にオリジナルのトラジェクトリを中断し変更するステップと、
ｆ．新しいトラジェクトリを組み込むｎ値を再び推定するステップと、
ｇ．全ての追加基準ピクセルを含むことで、新しい最尤推定値を生じるステップと、
ｈ．全ての先に生成された推定値と一致する場合、新しい推定値を採用するステップと、
ｉ．新しい推定値が全ての先に生成された推定値と一致しない場合、ステップｅからｇを繰り返すステップと、
ｊ．画像の全ての領域について、全てのピクセル推定が完了するまでステップａからｉを繰り返すステップと、
ｋ．一部の一致しない推定値が残される場合、一貫性が実現されるまで、変更された推定値の組み合わせトライアルを適用するステップ。

整数ｎステップの推定値は、最大尤度タイプの推定値を用いて作成することができる。
本発明の方法の他の実施形態において、ピクセルのアレイが、メイングループの個別のピクセルの電圧が基準電極に達する時はいつでもグローバル露光時間間隔の間に個別にリセットされるピクセルのメイングループと、集積時間もしくは感度がこのようなピクセル上の光輝度が所定の最大光輝度よりも高い場合にのみサブアレイの原則として全てのピクセルの電圧が基準電圧に達するように変化するピクセルのまばらなサブアレイとに分割される。サブアレイのピクセルがグローバル露光時間間隔よりも短い集積時間を有するように小さなハードウェア変更を行うことにより、サブアレイを作成することができる。サブアレイについての縮小された感度が、カバーされたピクセルにかかる放射の輝度を減少するであろう、減衰カバーを使用することによって実現される可能性がある。

本実施形態について、アルゴリズムは、
ａ．直接の計算によって、サブアレイの各ピクセルについて、ｎ値を推定するステップと、
ｂ．各サブアレイについてメインアレイにおける最も近い隣接したピクセル群に関して推定を行うことで、サブアレイについてｎ推定値を適用し、ｎ値を推定するための連続性
ルールをメインアレイについて適用するステップと、
ｃ．メインアレイにおける各ピクセルについてｎの推定値を用いて、メインアレイのピクセルの「真の値」を計算するステップと、
ｄ．それらの集積時間間隔の短さの直接の補償によって、サブアレイの適合してスケーリングされた「真の値」を計算するステップと、
を備える。

メインアレイについての最終結果を用いるデータスムージングのステップがさらに行われて、潜在的にノイズのあるサブアレイピクセルの値をスムーズにすることができる。

本発明の方法の他の実施形態において、異なる露光時間を有する２度の近接した露光が用いられる。第１の露光時間はグローバル露光時間間隔であり、ピクセルは、それらの電圧が基準電圧に達する時はいつでも個別にリセットされる。原則として全てのピクセルの電圧が、これらのピクセルにかかる光が所定の最大光輝度よりも強い場合にのみ基準電圧に達するように、第２の露光時間が短くされる。本方法は、
ｉ．短い露光画像のピクセルのｎ値を推定するステップと、
ｉｉ．ｎ値を用いてグローバル露光時間画像のピクセルの真のｎ値を復元するステップと、
を備える。

本方法を用いて、モーションアーチファクトを以下のステップによって補正することができる。

ａ．フル露光時間画像の残存画像と短い露光時間の画像から導き出される残存値の復元された推定値との間の増分シフトを、最大相関値が実現されるまで、繰り返し試行することを備える登録方法を適用するステップと、
ｂ．短い露光のピクセルについてｎ推定値を導き出し、ｎ推定値を長い露光の画像の登録適合したピクセルに関連づけるステップと、
ｃ．ｎ推定値からグローバル露光時間の画像のピクセルについての真のｎ値を推定するステップ。

モーションアーチファクトを補正する他の方法は、異なる画像領域を適応的に引き続いて処理する登録方法を適用することに基づく。

本発明の方法は、１色を有する光、もしくはそれぞれが同じもしくは異なる色に感受性のあるピクセルのサブセットに感受性のあるピクセルを備える、電子撮像装置に適用することができる。コンパレータは各ピクセルのサイトに、以下の方法のうちの１つで接続することができる。コンパレータは各サイトに配置することができる、サイトのそれぞれはピクセル群によって共有されるコンパレータに接続することができる、サイトの群が単独のコンパレータおよびさらなる回路に接続することができ、もたらされるリセットは、コンパレータに接続される群の部分であることができ、もしくはできない、隣接するピクセル群に影響する。

他の態様において、本発明は、拡張ダイナミックレンジを有する電子撮像装置を提供する。この装置は、
ａ．ピクセルの２次元のアレイを備えるセンサチップと、
ｂ．リセット信号で始まりサンプル信号で終わるフレームのグローバル露光時間間隔を制御する回路を備える中央に配置されたセンサチップロジック部と、
ｃ．各ピクセルのサイトもしくはその近くに配置されるコンパレータおよびリセットトリガ回路であって、コンパレータは、荷電ピクセルの電圧が基準電圧を越える時にリセッ
トメカニズムをトリガし、それによってグローバル露光時間の間に、各個別のピクセルは、それに入射する放射の輝度に応じて数回自己リセットすることができ、グローバル露光時間の終了時に、各ピクセルは最後の個別の自己リセットからグローバル集積時間の終了まで残存する電圧の残存値のみを含むものと、
ｄ．電圧の残存値を用いてピクセルのそれぞれについて真の画像値を決定する、アルゴリズムの少なくとも１部分を行う処理回路と、
を備える。

装置によって得られる真の画像は、ピクセルのそれぞれについての真の画像値のアレイを備える。アルゴリズムの使用とともにピクセルのそれぞれについてのリセットメカニズムの組み合わせは、ピクセルのそれぞれがリセットされた回数をカウントし記憶する電子部品の提供を必要とすることなく真の画像の決定を可能にする。

本発明の電子撮像装置は、１色を有する光もしくはそれぞれ同じもしくは異なる色に感受性のあるピクセルのサブセットに感受性のあるピクセルを備えることができる。撮像装置のコンパレータは各ピクセルのサイトに、以下の方法のうちの１つで接続することができる。コンパレータはサイトのそれぞれに配置することができる。サイトのそれぞれはピクセル群によって共有されるコンパレータに接続することができる。サイトの群が単独のコンパレータおよびさらなる回路に接続され、もたらされるリセットは、コンパレータに接続される群の部分であることができ、もしくはできない、隣接するピクセル群に影響する。

本発明の全ての上述およびその他の特徴および利点は、好適な実施形態の、添付の図面を参照した、以下の説明的かつ非限定的な説明を通じてさらに理解されるであろう。

好適な実施形態の詳細な説明
本発明は、個別ピクセルリセットを用いて個別のピクセルの残存集積時間を変化させ、各ピクセルからの信号の処理を用いて各ピクセルのダイナミックレンジを独立して増加させる。発明者は、従来のチップの面積に必要とされる変更が、最大で約１５％のチップ面積の、したがって製造コストの増大をもたらすであろうと推定する。センサチップの比較的シンプルで低コストの変更は、使用されているカメラの大部分に導入できるであろう。このことは、ビルトインの冷却方法などのより高くつく技術を用いて拡張ダイナミックレンジを派生するカメラと競い合うであろうダイナミックレンジを提供するであろう。本発明の方法は、異なる電子撮像装置およびシステムに適用でき、とりわけＣＭＯＳセンサチップに適する。ＣＭＯＳセンサの基本的なダイナミックレンジは８ビット以下であり、ＣＣＤチップのそれよりも小さい。本発明の方法は、センサのダイナミックレンジの４倍以上の増大を可能にし、それにより１０ビット以上の性能を実現する。したがって、本発明は、容易かつ低コストの手段を有する産業を提供し、ＣＭＯＳチップの劣等性を克服するのみならず、現在のＣＣＤチップよりもダイナミックレンジパフォーマンスの優れたＣＭＯＳチップを製作する。

本発明の個別ピクセルリセット（ＩＰＲ）は、大変大きな輝度分散を実現するために用いることができる。基本的な集積時間／間隔は、画像の最も暗い範囲に求められる感度（および信号ノイズ比率）によって決定される。場面の輝度分散（もしくはダイナミックレンジ）は、最も明るい範囲（ピクセル）の任意について起こるであろう飽和リセットＮの最大数に対応する。

本発明の実用性は、Ｎ＝１から既に始まるであろう。その使用は、多くの共通の写真を相当に改良し、保存さえする。したがって、アーチファクトの取り扱いを考慮しない比較
的シンプルな復元方法でさえ、価値があるであろう。

集積時間は、リセット信号で開始し、サンプル信号で終了する。グローバルプロトコルを有する従来のアクティブピクセルセンサ（ＡＰＳ）において、ピクセルは全て、同じ時間間隔でリセットされ、サンプリングされる。本発明において、第１のリセットの後、各ピクセルのリセット時間は個別に決定される。このことは、各ピクセルが異なる集積時間を有することを可能にする。リセットは、グローバル間隔スタートリセット信号について中央に位置するエレクトロニクスによって、および飽和リセット信号についてピクセルのサイトおよびその近くに位置するサンプル信号および閾値信号によって、実現される。個別のピクセルレベルのそれぞれが所定の閾値を越えると、ピクセルはリセットされる。グローバル露光の間、各ピクセルは、その上に入射する放射の輝度に応じて、何度か自己リセットすることができる。グローバル露光の後、センサの読み取り時に、各ピクセルは、最後の個別の自己リセットから集積時間の終了までの残存値のみを含むであろう。

一実施形態において、ピクセル飽和リセット信号についての閾値はグローバルであることができる。他の実施形態において、ピクセルの各サブアレイについて異なる閾値を用いることができる。サブアレイの１つの配置は、ｎ列ごとおよびｍ行ごとのピクセルであってよい。

比較および閾値リセットエレクトロニクスは、各ピクセルに配置されるのが好ましい。これは、共有エレクトロニクスを用いて、ピクセル群について、本発明のいくつかの実施形態において実施することができる。それにより、ピクセル毎の平均追加エレクトロニクスを最小化する一方、より効率的な閾値およびリセットメカニズムを可能にする。

一実施形態において、閾値リセットメカニズムは、所定のシーケンスで生じるパルスを備える中央「リセットイネーブル」信号によって操作される。リセットは、ピクセル値が閾値に達し、リセットイネーブル信号がオンになる時に生じるであろう。中央リセットイネーブル信号は、消費電力がより小さい閾値リセットエレクトロニクスを可能にする。以下に説明される復元アルゴリズムは、リセット信号の時間量子化を考慮に入れるであろう。

他の実施形態において、比較および閾値リセットエレクトロニクスは、ピクセル群、たとえば１列のピクセルもしくは列の一部によって時分割される。所定のシーケンスの間、各ピクセルは上述のエレクトロニクスに接続され、そのピクセルが閾値を越える場合にリセットがこれに生じる。リセットシーケンスは所定であるため、復元アルゴリズムはそのリセットシーケンスにおける時分割でシーケンスを処理することができる。

本発明の他の実施形態において、閾値リセットメカニズムは１つのピクセルもしくはいくつかのピクセルの平均をサンプリングし、サンプリングされたピクセルを含む周辺のピクセル群にリセットを行う。サンプリングされたピクセルは、以下に説明されるような標準復元アルゴリズムによって復元される。

チップになされるハードウェア変更は、その色に関わらず、同様の方法で任意のピクセルについて行うことができる。このような変更は、当業者によって行われ、またチップアレイおよび中央回路に組み込むことができる。通常のピクセル回路への追加は、荷電ピクセルの電圧が基準電圧を越える時にリセットをトリガするコンパレータである（通常は標準のリセットメカニズムについて）。この基準は通常、中央チップロジックにおいて生じる。各ピクセルの残存読み取り（サンプリング）はそこで、集積時間の最後に、標準の形式で画像メモリに格納される。

露光時間間隔Ｔ内で、変更されたチップの各ピクセルは、飽和値Ｖ_Ｓよりも低い衝突フォトンによる蓄積電荷が対応する基準電圧Ｖ_Ｍを有する値に達する時はいつでも（通常は集積時間の開始において）、何らかの値Ｖ_ｍによって表される論理０にリセットされる。注目すべきは、ゼロにリセットする概念は、論理１であり、電圧もしくは電荷の物理０に必ずしも対応する必要はないことである。典型的に、Ｖ_ＭはＶ_Ｓよりも数パーセント低いように選択される。このようなリセットは、Ｖ_Ｍの値に達する場合に、任意のランダムな時間において生じ、もしくは本イノベーションの他の実施形態において、値がＶ_Ｍと等しいか高い場合に、中央エレクトロニクスもしくは局所のエレクトロニクスによって制御される時に生じるであろう（ここで留意すべきは、この文は飽和が高い値である場合のロジック値に言及することである）。各リセットに続いて、時間間隔Ｔと比較して短い回復時間があり、その後、光／電荷蓄積が再び開始する。露光間隔Ｔの終了時、ピクセルはｎ回リセットされ、０＝＜ｎ＜Ｎである。最終的な読み取りは、何らかの「残存値」Ｖ_Ｒであり、最後のランダムなリセットと露光時間間隔Ｔの終了との間の間隔内の蓄積である。「真のピクセル値」として知られるピクセルＶ_Ｔの全蓄積値についての対応する値はしたがって、ランダム時間の実施形態についてＶ_Ｔ＝（ｎ×Ｖ_Ｍ―Ｖ_ｍ）＋Ｖ_Ｒ＋εであり、式中、ｎは、露光間隔Ｔの終了に先立つピクセルのランダムリセットの回数であり、εは補正係数であり、ｎのリセット回復時間の間に失われたフォトンを補償する。ｎおよび対応する真のピクセル値の規模の決定は、ソフトウェアもしくは専用ハードウェアによって実施される信号処理アルゴリズムを用いた画像復元段階の間になされる。

いくつかの実施形態において、その間に残存値ＶＲが集められるところの時間Ｔ_Ｒを計算することが必要とされる。これは、等式Ｔ_Ｒ＝Ｔ―Ｔｎを用いて行うことができ、式中、ｎはリセットの回数であり、Ｔｎはｎ番目のリセットの時間であり、Ｔはグローバル露光時間である。ピクセルＶｔの値はしたがって、Ｖｔ＝Ｖ_Ｒ ^＊（Ｔ／Ｔ_Ｒ）＋（補正係数）である。この等式は、リセットが直接基づくところのピクセルについて全く真実である。周辺のピクセルについて、既知の遅延が計算可能であることを除けば、Ｔ_Ｒは同じである。

信号処理アルゴリズムの好適な実施形態の実施例を、以下に説明する。
一実施形態において、リセット値（イベント）を決定する基準電圧Ｖ_Ｍが、センサチップロジック部の中央位置から、ピクセルエリアにはコンパレータ回路のみを残して、提供される。他の実施形態において、コンパレータ回路は、ピクセル毎の面積のさらなる減少のために、ピクセル群によって共有される。したがって、アクティブ（フォトン蓄積）ピクセルエリアの充填比はそれ故に最小エリアによって変更されようとする。したがって、所与の露光間隔の間のピクセルアクティブエリアの基本的な感度は、ほぼ変更されないままである。一方、ピクセルの「有効飽和レベル」（「ダイナミックレンジ」に等しい）は著しく高くなる。

本発明のチップを従来のチップと区別する全体的なハードウェア変更は、ａ）各ピクセルの、もしくはピクセル群によって共有されるコンパレータおよびリセットトリガ回路と、ｂ）全てのピクセルに共通であるロジック部における電圧基準回路と、ｃ）画像復元が行われ、保存される、チップの内側もしくは外側の処理部分における何らかの強化と、を備える。ここで留意すべきは、ピクセルアレイの各ピクセルについてランダムなリセットの回数を記録するのに、カウンタ回路もしくは特別なメモリは構築されないということである。これは、本イノベーションを、自己リセットメカニズムを有するピクセルを用いる従来技術の解決法から区別する。前述のように、ピクセルのアクティブエリアの充填比が、少ない回路の追加によって変化するため、したがって通常の感度はそれほど影響を受けないであろう。

本発明において必要とされる、計算方法の実施における追加の費用は、アクティブセン
サエリアと異なりコストが連続的に減少する処理回路にそれらが限定されるため、制限される。

本発明によって提供される増大するダイナミックレンジの利用は、処理手段もしくは表示手段の増加量を介して行うことができる。より大きな「コントラスト比」を有する新しい表示手段およびＺ圧縮の方法などである。最近発展した表示技術および新しい圧縮方法は、これらの両方のタイプの代替をより一層低コストで利用可能にする。

図１は、本発明にしたがった個別のピクセルの自己リセットを提供する１つの配置を示す、概略的なブロック図である。図において、実線は、３つのトランジスタを備える従来技術のＣＭＯＳピクセルについての回路を示す。グローバル露光時間間隔の最初に、リセット信号が中央制御エリアからリセットライン（２）を介してピクセルに送信される。リセットにおいて、分岐Ｖがあらかじめ、最大電圧、すなわち論理ゼロまで荷電される。露光時間の間、場面からの入射光（６）は光ダイオード（１２）に当たり、分岐Ｖを放電する。トランジスタＴ２は、ソースフォロワとして機能し、読み取りライン（４）を駆動する。グローバル時間間隔の最後に、中央制御エリアからピクセルのトランジスタＴ３に信号が送信される。この信号は、Ｔ３を開き、それによってＴｓを読み取りライン（４）に接続し、露光の最後に分岐Ｖにおける電圧を読むことを可能にする。

図１において、破線は、本発明にしたがって従来技術のピクセル回路になされた追加を示すために用いられる。コンパレータ（８）を備える閾値メカニズムが、Ｘにおける電圧レベルと、Ｔ２の出力とを、中央制御エリアから供給される閾値Ｖ_Ｍ（１０）とコンスタントに比較するため、回路に追加される。Ｘにおける電圧レベルが閾値よりも低くなるとき、スイッチ（１４）が閉じられて、分岐Ｖにおける電圧を論理０にリセットするリセットパルスを作成する。

図１に示される実施形態において、グローバル露光の時間リセットが、リセットラインを低電圧に引くことにより、もしくは閾値を高い値に駆動することにより、作成することができる。図１に示される実施形態は、本発明を図解する実施例として提供され、当業者は、個別のピクセルメカニズムを実施し、それを他のタイプの比較的容易なピクセル回路に適合させる、他の方法を考案することができるであろう。

図２は、センサアレイの１列のピクセルの部分からの論理値および電圧値の概略的な読み取りを示す。曲線Ａは、センサのピクセルが越えられなかった充分に大きな飽和値Ｖ_Ｓを有することを仮定した理論上の読み取りである。曲線Ｂは、制限ダイナミッックレンジを有する標準的な撮像装置を用いて得られるであろう読み取りである。点線は、センサの飽和レベルＶ_Ｓである。曲線Ｃは、本発明のセンサから得られるであろう理論上の読み取りである。曲線Ｃは、分岐Ｖ（図１を参照）における電圧が、各ピクセルについてのグローバル露光時間の間、時間につれていかに変動するかを示す。Ｖ_Ｓは、曲線Ｂにおけるセンサについてと同じであるが、個別のピクセルは、電荷がリセット値Ｖ_Ｍに達するといつでもリセットされる。曲線Ｃにおいて、参照番号２０で識別されるピクセルは、１回リセットされ、参照番号２２によって識別されるピクセルは２回リセットされた。曲線Ｄは、このような構成要素が、グローバル露光時間の間にピクセルのリセットを提供する従来の技術の方法におけるように図１に示される回路に追加されていた場合、各ピクセルについてリセットカウンタから得られるであろう出力を示す。

図３は、本発明の方法にしたがって復元された図２の曲線Ｃの読み取りを示す。垂直線は、個別のピクセルのリセットを示し、曲線の暗部は、以下に説明されるものの１つなどの復元アルゴリズムを用いて復元された部分である。

前述の説明から思い起こされるように、Ｖ_Ｔは、ピクセルについてのリセット回数であるｎの関数として計算することができる（リセットを行うのに用いられる方法の詳細に応じるであろう変動がある）。復元された画像を計算するべく、解決すべき問題は、各ピクセルについてのｎの値を推定し、決定することである。従来の技術において、各ピクセルについての個別のカウントおよびメモリ機能を提供する構成要素が回路に追加される、問題へのハードウェアアプローチが用いられる。本発明は代わりに、問題に計算解を提供する。

リセットの回数を決定することができる方法のいくつかの実施例を示す前に、ここで用いられる記号のリストが提供される。

Ｔ＝その間にフォトンが各ピクセルにおいて独立して蓄積することを許可されたところの露光時間間隔。

Ｖ_Ｔ＝真の画像値、すなわち飽和がない時のピクセル電圧もしくは電荷の値。
Ｖ_Ｔｉｊ＝ｉ行ｊ列のピクセルについての真の画像ピクセル値。

ＶＴ＝Ｖ_Ｔｉｊ値を備える複合画像。
ｎ＝露光間隔Ｔの間に生じたリセット（放電）の回数。

ｎｉｊ＝ｉ行ｊ列のピクセルについてのリセットの回数。
Ｖ_Ｒ＝ピクセルの残存値＝生じたｎのランダムなリセットの最後と露光時間間隔Ｔの最後との間の、測定される電圧もしくは電荷。

Ｔ_Ｒ＝その間にＶ_Ｒが集められるところの露光時間間隔。
Ｖ_Ｒｉｊ＝ｉ行ｊ列のピクセルについての残存値
ＶＲ＝全てのＶ_Ｒｉｊ値を備える残存画像。

Ｎは、それによってダイナミックレンジが画像において拡張されるところの乗数である整数である。

Ｎ―１＝任意のピクセルについて、仮定されるリセットの最大数（いくつかのピクセルがＮより多いリセットを有して例外である場合、それらはアーチファクトもしくは飽和点として見られる）。

Ｖ_Ｍ＝そこでピクセル電圧がリセットされるところの値。
Ｖ_ｍ＝それにピクセル電圧がリセットされるところの値。

ε＝ｎのリセット回復時間の間に失われたフォトンを補償する補正係数。
Ｖ_Ｓ＝Ｖ_Ｍよりもわずかに大きなピクセル電圧の飽和値。

ｎセット＝同じリセット回数＝ｎを有する１セットの連続するピクセル。連続性を間に有さないこのようなセットが画像中に複数あるであろう。

Ｇ＝画像ピクセル内のグレーレベルの最大数、したがって、０＜Ｖ_Ｒｉｊ＜Ｇ。
２ｇ＝Ｇ／Ｎ＝残存画像それ自体の中のグレーレベルの数。

Ｊｕｍｐ＝隣接ピクセル間の値の差異。
ＪＵ＝受け入れ可能な最大ジャンプ。

連続性仮定：真の画像の全体について、隣接ピクセルの任意の対の間の可能な「ジャンプ」は、ＪＵよりも小さいと仮定される。ここで我々は、ＪＵ＝ｇ―１と定義する。

隣接ピクセル推測ルール：このルールは、ｎのリセットを有すると知られるピクセルがある時に適用され、隣接ピクセルについてリセット回数を推定することが望まれる（もしくはｎのリセットを有すると知られるｎセットのピクセルがある時に適用され、隣接するｎセットのピクセルについてリセット回数を推測することが望まれる）。既知のピクセルについての残存ピクセル値がＶ_Ｒと示され、隣接ピクセルがＶ_Ｒ（ａｄｊ）と示される場合、ルールは、
１．Ａｂｓ［Ｖ_Ｒ―Ｖ_Ｒ（ａｄｊ）］＜ＪＵである場合、ピクセルは同じ数ｎを有する。２．［（Ｖ_Ｒ（ａｄｊ）＋Ｇ）―Ｖ_Ｒ］＜ＪＵである場合、Ｖ_Ｒ（ａｄｊ）はより高い値＝ｎ＋１を有する。
３．［（Ｖ_Ｒ＋Ｇ）―Ｖ_Ｒ（ａｄｊ）］＜ＪＵである場合、Ｖ_Ｒ（ａｄｊ）はより低い値＝ｎ―１を有する。

ＶＴを計算する基本式は、
Ｖ_Ｔｉｊ＝（ｎ×（Ｖ_Ｍｉｊ―Ｖｍｉｊ））＋Ｖ_Ｒｉｊ＋ε（ｉｊ）。

他のリセットメカニズムに関連する本イノベーションの他の実施形態において、基本式はたとえば上述に説明されたように、いくらか変更される。以下の復元方法の実施例の説明は、Ｖｔについての上述の式を用いる。本イノベーションの他の実施形態において、Ｖｔについての異なる基本式を用いる以下の方法の変更は、当業者によって容易に導き出されるであろう。

復元アルゴリズムについての以下のいくつかの実施例は、本発明を図解するためだけに提供され、いかなる意味においても本発明の範囲を限定するよう意図されない。復元アルゴリズムは、中央センサチップロジック部において全体的に、もしくは画像処理装置内部のまたは他のコンピュータ／装置上の異信号処理ユニットなどの（センサチップ）外部の装置上で部分的もしくは全体的に、実行することができる。

方法１
アルゴリズム処理の連続処理（「ビジット」）のために順序づけられたピクセルのトラジェクトリが選択される。トラジェクトリに沿って各ピクセルは、隣接するネイバーへのビジットに続いてビジットされる。各ピクセルについての値ｎは、連続性仮定および隣接ピクセル推測ルール（上述に定義される）を用いて連続的に決定される。連続性仮定が画像全体について持続する場合、ｎ値のセットは、画像アレイ内の全てのピクセルがビジットされた後の第１の反復の最後で正確に得られる。真の画像ＶＴはそこで、上述の基本式を用いて計算することができる。

隣接ピクセルが（境界を越えて）他のｎセットに属するかどうかという推定は、常に２つの仮定からスタートする。１）同じｎセットに属する、２）周辺の（ｎ＋１）セットもしくは（ｎ―１）セットに属する。選択された仮定は、通常、最も低いジャンプ（輝度の変化）により示されるものであろう。推定されたピクセルへのトラジェクトリがスロープで特徴づけられる場合、推定値は、ジャンプに加えて重み付き直線（曲線）スロープの補外に基づく予測として定義され、ジャンプは重み付きのもしくは重み付きでない補外値からの逸脱として定義されるであろう。処理中にエラーが生じ、ピクセルが（隣接するｎセットとの境界を越えて）隣接するｎセットに属すると推定される時、このような推定はよりよく検証され、それにより正確な推定の可能性を増加させる。このことは、境界トラジェクトリの１次推定に連続的に沿った他の隣接ピクセルの観察を通じた仮定のさらなる分析によって行うことができる。しかしここで留意すべきは、スロープの最後が「突然」で
あり、エラーが起こるかもしれない危険性が存在することである。この危険性は、許可される補外を、仮定される最大ジャンプよりも充分に小さな値に限定することで、最小化、もしくは補正することができる。

アルゴリズムのより進んだバージョンにおいて、隣接するｎ値のいくつかの推定によって連続性仮定が違反される、有限かつ小さい可能性が仮定されるだろう。ここで、Ｎの値が高いほど、このような違反の起こる可能性は高い。したがって、ｇより大きないくつかのジャンプが生じるであろう。このようなジャンプは、ピクセルをビジットするのに用いられる特定のトラジェクトリに沿ったいくつかの不適切なｎ推定を生じるであろう。もたらされるエラーが補正されない場合、復元計算において対応するアーチファクトが生じるであろう。したがって、アルゴリズムの進んだバージョンは、反復の連続を用いて補正の手順を導入し、そのそれぞれにおいて全体のピクセルアレイが処理されるであろう。また、アルゴリズムは、各中間結果についての信頼水準を決定する手順を含み、それによって、統計的方法が用いられて最終結果を改良することを可能にするであろう。異なるピクセル順序づけのトラジェクトリを用いるこのような各反復は、違反を自動的に識別し、縮小された数（もしくは０）のｎのエラーへと次第に集結するであろう。補正されたｎの値は、より少ない（もしあれば）アーチファクトでの最終的な復元を容易にするであろう。

一旦、ピクセルのｎ値が決定されると、必要であればエラー補正の後、ピクセルはｎのセットにグループ化され、まだ相対的に順序づけられているだけのｎのセットはそこで、それら自身の間で順序づけられる。ｎ＝０の値はそこで、順の最も低いセットに割り当てられ、より高いｎの値が順に割り当てられ、他のｎのセットについては、最も高いｎの値まで、一貫した方法である（ｎ＜Ｎ）。

上述のアルゴリズムの１つの進んだバージョンは、以下のように機能する。まず、ピクセルビジットのトラジェクトリが決定される。次いで新しいピクセルのそれぞれについて、既に推定された全ての隣接ピクセルから、もしくは基準のネイバーから、ｎ推定が行われる。２つの最初のピクセルを除き、通常２以上のこのようなネイバーがあるだろう。通常、新しいピクセル毎の全てのｎ推定は同一であろう。何らかの場合にそうでなければ、整数のｎステップの最尤推定値が、関連する推定の詳細に基づいて作成され、そこで「非最終」の推定値が割り当てられる。もともと意図されたトラジェクトリはそこで中断され、異なる方向から「非最終決定の」ピクセルに近づくように変更される。新しいトラジェクトリを用いて、ｎ値が再び推定され、全てのさらなる基準ピクセルを含むことにより、新しい最尤推定値が生成される。この推定値が、先に生成された全ての推定値と一致する時、新しい推定値が適用される。この手順は、全てのピクセル推定が完了するまで、画像の全ての領域について繰り返される。一部の一致しない推定値が残される場合（クローズドトラジェクトリテストループ上の不一致の存在により識別できる）、整合性が実現されるまで、変更推定値の組み合わせトライアルが適用できる。

いくつかの隣接ピクセルを備える比較的小さく大変明るい少しのエリアを除いて、写真が「制限ダイナミックレンジ」で境界される場合、上述の方法は多くのアーチファクトを引き起こさないであろう。このことは、画像内の明るすぎるスポットがそれらの真の値よりも低い値で表される場合であっても、そうあるべきである。明るさが、数Ｎによる定義を越える場合、飽和しているとして表示されるであろう画像スポットがあるであろう。しかしそのような場合であっても、Ｖ_Ｍが飽和レベルを下回って設定されているため、気になるブルーミング現象は常に防止されるはずである。より一般的には、ｎ＝１以上に対応するＶ_Ｔ値にエラーがある場合であっても、画像は、他の方法でその値を下回って飽和されたであろう画像よりも優れているはずである。

方法２
本方法にしたがって、ピクセルのアレイは２つのグループに分割される。第１は、それらの電荷がＶ_Ｍに達した時にはいつでも個別にリセットされるピクセルのメイングループである。第２のグループは、たとえばアレイ全体の４つおきのピクセル（水平方向および垂直方向）を備えるピクセルのまばらなサブアレイである。このサブアレイは、サブアレイのピクセルがＴよりも短い集積時間、たとえばＴ／Ｎを有するであろうように小さなハードウェア変更を行うことにより作成される。このことは、基本露光間隔Ｔの終了の前にＴ／Ｎ時間単位を適用されたサブアレイのピクセルへの同時スタートリセットによって実現することができる。

ダイナミックレンジ乗数がＮである場合、サブアレイ内の全ての（もしくはほぼ全ての）ピクセルは（それらの充分に短くされた露光時間のため）、飽和リセットに直面しないであろう。したがって、これらのピクセルのそれぞれについてのｎ値（すなわち、各ピクセルが全体的な露光間隔Ｔの間に経るであろうリセットの回数）を推定することができる。この推定は、ピクセル読み取りＶについて、ｎ＝ｍｏｄｕｌｕ［Ｖ^＊Ｎ／（（ＶＭ―Ｖｍ）＋ε）］によって与えられ、式中、εは先に用いられた補正関数と同様である。

一旦、ｎ推定値がサブアレイについて生成されると、通常の連続性ルールが適用されて、各ピクセルからメインアレイにおけるニアレストネイバーピクセルの周囲のグループへの局所的な推定を行うことによって、全てのアレイについてｎ値を推定することができる。このようなｎ推定についてのエラーの可能性は、Ｎの値が高くなりすぎない限り、比較的小さいであろうと述べることができる。

メインアレイのピクセルの「真の値」は、基本式を用いることによりここで復元される。サブアレイのピクセルの対応する値はまた、シンプルな式Ｖ_Ｔ＝Ｖ^＊Ｎによって復元することができる。これらの値は（サブアレイの）より短い露光から生じるため、これらは非常にノイズが多いであろう。これらのサブアレイピクセルについての値についてノイズを減少させるべく、これらの値はここで、メインアレイの先に復元された隣接ピクセルからの補外によって置換することができる。このような補外はまた、何らかのスムージング技術を用いて行うこともできる。そこで、完全な（複合）画像が利用可能である。この場合、サブアレイの（したがってメインアレイの近傍について）ｎ推定値内のいくらかのエラーが生じる場合であっても、これらは方法１の技術を適用することにより、すなわち、任意の関連する近傍に、すなわちサブアレイの「誤った」ピクセルの近傍に、ほぼ確実に正しく復元された周囲の近傍から近づくことにより、補正可能である。一致するｎ推定値および対応する「真の値」への集束は、各近傍の限定されたサイズのために、ここではより短い。

ここで留意すべきは、上述の方法は、アレイは単一色に感受性のあるピクセルを備えるという暗黙の仮定について説明されたということである。本発明の方法を複数色のアレイに適用することは普通のことである。このことは、たとえば、メインの画像アレイを多数の１色のサブアレイ、たとえば独立して処理することができる赤、緑、青に対応する３つのこのようなアレイに分割する、いくつかの方法によって行うことができる。上述のアルゴリズムはそこで、このようなサブアレイのそれぞれに適用することができ、統一された画像を形成するべく統合される。本発明の方法を多色のアレイに適用する他の代替方法は、アルゴリズムを局所輝度値に適用することであり、色の間の比率は、局所的に固定され、全てのアレイにわたって比較的小さな変動で連続的にのみ変化する。一旦輝度が決定されると、そこで各サイトにおける特定の色がさらに決定される。

上述（方法２）で定義されたサブアレイについてのより短い露光時間はまた、減衰カバーをサブアレイピクセルにわたって用いることで実現することができる。このカバーは、覆われたピクセルの照度をたとえば１／Ｎ倍だけ減少するように設計されるであろう。こ
の方法を用いると、遅延開始トリガおよび関連するハードウェア変更の必要はない。しかし、カメラデザインの多用性が、値Ｎを変動させる必要性に影響する場合、不都合であろう。

方法３
本方法は、２度の近接した露光を用いることに基づく。第１に、アレイ全体が時間Ｔ／Ｎの間露光される（方法２のサブアレイについて上述に説明されるように）。第２に、アレイ全体はフルタイムＴの間、飽和リセットメカニズムを適用して露光される。できるだけすぐに第１の露光結果の読み取りが行われた後、方法２のアルゴリズムが適用される。ここで潜在的な問題は、露光間の相対的な動作からもたらされるモーションアーチファクトが２度の近接した露光の間に経過する時間に現れるであろうことである。

モーションアーチファクトは、残存値の２つの画像の相互登録の事前処理を介して補正されるであろう。第１の画像は、通常のリセット処理を用いて得られる完全に露光された画像のサンプリングされたアレイである。第２の画像は、短い露光時間、たとえばＴ／Ｎ露光時間の画像から派生する。短い露光に対応する各ピクセルについて、露光が完全な長さＴのものである場合に、サンプリングされるであろう「残存値」ＶＲの推定値は計算される。この推定値についての式は、Ｔｒｉｊ＝Ｔｉｊ^＊Ｎ―ｎ^＊（（ＶＭ―Ｖｍ）＋ε）であり、式中ｎは方法２にしたがって先に定義された推定値である。登録処理が適用され、何らかの相互シフトに続いて２つの画像の間の最善の相互関係を実現する。第２の画像の局所的な部分に制限して登録を行うこともまた可能である。一旦、登録処理が完了すると、復元の残りは容易である。短い露光時間（Ｔ／Ｎ）から導き出されるｎ推定が行われる。これらはそこで、登録から対応するｎ推定値を用いて、完全に露光された画像のピクセルを復元するべく用いられる。

本発明の実施形態が例示を目的として説明されたが、本発明は、その精神から逸脱することなく、請求の範囲から外れることなく、多くの変形、変更、適応をもって行われるであろう。

図１は、本発明のしたがった、個別のピクセル自己リセットを提供する１つの配置を示す概略ブロック図である。 図２は、センサアレイ内の１列のピクセルの部分からの概略読み取りを示す。 図３は、本発明の方法にしたがって復元されたセンサアレイ内の１列のピクセルの読み取りを示す。

Claims (26)

1. 電子撮像装置のダイナミックレンジを拡張する方法であって、
   ａ．ピクセルの１次元もしくは２次元のアレイおよび中央に配置されたセンサチップロジック領域を備えるセンサチップを提供するステップを備え、フレームのグローバル露光時間間隔はリセット信号で始まり、サンプル信号で終了し、
   ｂ．前記各ピクセルのサイトもしくはその近くに配置されるコンパレータとリセットトリガ回路とを提供するステップをさらに備えて、前記コンパレータは、荷電ピクセルの電圧が基準電圧に達する時にリセットメカニズムをトリガし、それによって前記グローバル露光時間の間に各個別のピクセルはそれに入射する放射の輝度に応じて数回自己リセットすることができ、前記グローバル露光時間の終了時に、各ピクセルは最後の個別の自己リセットから前記グローバル集積時間の終了まで残存する電圧の残存値のみを含み、
   ｃ．取得後のデータに実施されるアルゴリズムを提供するステップをさらに備え、前記アルゴリズムは、
   ｉ．時間および／もしくは空間連続性仮定および隣接ピクセル推定のルールを用いて、前記ピクセルのそれぞれについて個別のリセットの回数を決定するステップと、
   ｉｉ．前記ピクセルのそれぞれについての個別のリセットの前記決定された回数と、前記ピクセルのそれぞれについての前記残存値と、基本式とを用いて、前記ピクセルのそれぞれについて真の画像値を決定するステップと、を含み、
   真の画像は、前記ピクセルのそれぞれについての前記真の画像値のアレイを備え、前記アルゴリズムの使用とともに各ピクセルについての前記リセットメカニズムの組み合わせは、前記ピクセルのそれぞれがリセットされた回数をカウントし記憶する電子部品の提供を必要とすることなく、前記真の画像の決定を可能にする、
   方法。
2. 電子撮像装置はＣＭＯＳセンサチップを備える、請求項１に記載の方法。
3. ピクセル飽和リセット信号についての閾値がグローバルである、請求項１に記載の方法。
4. ピクセルの各サブアレイについて異なる閾値メカニズムが用いられる、請求項１に記載の方法。
5. フレームのグローバル露光時間間隔について異なるスタートリセット信号を多様なサブアレイに適用することができる、請求項１に記載の方法。
6. 閾値リセットメカニズムが、中央リセットイネーブル信号によって操作され、ピクセル値が閾値に達して前記リセットイネーブル信号がオンになる時にリセットが生じ得る、請求項１に記載の方法。
7. 比較および閾値リセットエレクトロニクスが、ピクセル群によって時分割され、所定のシーケンスの間、各ピクセルが前記エレクトロニクスに接続され、前記ピクセルが閾値を越えたとき、リセットが前記ピクセルに生じる、請求項１に記載の方法。
8. 閾値リセットメカニズムが１つのピクセルもしくはいくつかのピクセルの平均をサンプリングし、サンプリングされた前記ピクセルを含む隣接するピクセル群にリセットを行う、請求項１に記載の方法。
9. リセット値を決定する基準電圧のソースは、センサチップロジック領域の中央位置から提供される、請求項１に記載の方法。
10. 連続性仮定が画像全体について有効であり、アルゴリズムが、
    ａ．アルゴリズム的処理の連続処理について順序づけられたピクセルのトラジェクトリを選択するステップと、
    ｂ．隣接するネイバーへのビジットに続いて、トラジェクトリに沿って各ピクセルをビジットするステップと、
    ｃ．１以上の既にビジットされたピクセル値に関連して前記連続性仮定と隣接ピクセル推定ルールとを用いて各ピクセルについてｎ値を連続的に決定するステップと、
    ｄ．基本式を用いて真の画像を計算するステップと、
    を備える、請求項１に記載の方法。
11. 隣接するｎ値のいくつかの推定について連続性仮定が違反されるという、有限かつ小さい可能性が仮定され、ピクセルをビジットするのに用いられる特定のトラジェクトリに沿っていくつかの不適切なｎ推定をもたらし、もたらされるエラーは、アルゴリズムに補正手順を導入することで補正され、このような手順は、
    ａ．ピクセルアレイの全体について、違反を自動的に識別し、次第に縮小した数（もしくは０）のｎのエラーに集束するであろう、異なるピクセルの順序を有するトラジェクトリを用いる反復の連続を用いることで、ピクセルのｎ値を決定するステップと、
    ｂ．必要であればエラー補正の後に、ピクセルを相対的に順序づけられたｎセットにグループ化するステップと、
    ｃ．順の最も低いセットに値ｎ＝０を割り当てるステップと、
    ｄ．他のｎセットについて、一貫した方法で、最も高いｎ値まで、順のより高いｎ値を割り当てるステップと、
    ｅ．各推定されたｎ値に関連する決定された信頼水準を、次のｎ値の推定に組み込むステップと、
    を備える、請求項１０記載の方法。
12. アルゴリズムのステップａは、
    ａ．ピクセルビジットのトラジェクトリを決定するステップと、
    ｂ．既に推定された全ての隣接ピクセルもしくは基準ネイバーから各新しいピクセルにｎ推定を行うステップと、
    ｃ．前記新しいピクセルについての全てのｎ推定が同一でない場合、先の推定値に関連する先に決定された信頼水準の組み込みを含む関連する推定値詳細に基づいて整数ｎステップの推定値を作成するステップと、
    ｄ．「非最終の」推定値を、前記ピクセルのｎ値に割り当てるステップと、
    ｅ．異なる方向から前記「非最終決定の」ピクセルに近づくよう、必要な時に前記オリジナルのトラジェクトリを中断し変更するステップと、
    ｆ．前記新しいトラジェクトリを組み込むｎ値を再び推定するステップと、
    ｇ．全ての追加基準ピクセルを含むことで、新しい最尤推定値を生じるステップと、
    ｈ．全ての先に生成された推定値と一致する場合、前記新しい推定値を採用するステップと、
    ｉ．前記新しい推定値が全ての先に生成された推定値と一致しない場合、ステップｅからｇを繰り返すステップと、
    ｊ．画像の全ての領域について、全てのピクセル推定が完了するまでステップａからｉを繰り返すステップと、
    ｋ．一部の一致しない推定値が残される場合、一貫性が実現されるまで、変更された推定値の組み合わせトライアルを適用するステップと、
    を備える、請求項１１に記載の方法。
13. 整数ｎステップの推定値が、最大尤度タイプの推定値を用いて作成される、請求項１２
    に記載の方法。
14. ピクセルのアレイが、メイングループの個別のピクセルの電圧が基準電極に達する時はいつでもグローバル露光時間間隔の間に個別にリセットされるピクセルのメイングループと、集積時間もしくは感度がこのようなピクセル上の光輝度が所定の最大光輝度よりも高い場合にのみ前記サブアレイの原則として全ての前記ピクセルの電圧が前記基準電圧に達するように変化するピクセルのまばらなサブアレイとに分割される、請求項１に記載の方法。
15. 前記サブアレイのピクセルがグローバル露光時間間隔よりも短い集積時間を有するように小さなハードウェア変更を行うことにより、サブアレイが作成される、請求項１４に記載の方法。
16. サブアレイについての縮小された感度が、カバーされたピクセルにかかる放射の輝度を減少するであろう、これらのピクセルについての減衰カバーを使用することによってもまた実現され得る、請求項１に記載の方法。
17. アルゴリズムが、
    ａ．直接の計算によって、サブアレイの各ピクセルについて、ｎ値を推定するステップと、
    ｂ．各サブアレイについて前記メインアレイにおける最も近い隣接したピクセル群に関して推定することで、前記サブアレイについてｎ推定値を適用し、ｎ値を推定するための連続性ルールをメインアレイについて適用するステップと、
    ｃ．前記メインアレイにおける各ピクセルについてｎの推定値を用いて、前記メインアレイのピクセルの「真の値」を計算するステップと、
    ｄ．それらの集積時間間隔の短さの直接の補償によって、前記サブアレイの適合してスケーリングされた「真の値」を計算するステップと、
    を備える、請求項１４に記載の方法。
18. メインアレイについての最終結果を用いるデータスムージングのステップがさらに行われて、潜在的にノイズのあるサブアレイピクセルの値をスムーズにする、請求項１７に記載の方法。
19. 異なる露光時間を有する２度の近接した露光が用いられ、
    ａ．第１の露光時間がグローバル露光時間間隔であり、ピクセルは、それらの電圧が基準電圧に達する時はいつでも個別にリセットされ、
    ｂ．原則として全ての前記ピクセルの電圧が、これらのピクセルにかかる光が所定の最大光輝度よりも強い場合にのみ前記基準電圧に達するように、第２の露光時間が短くされ
    ｉ．短い露光画像のピクセルのｎ値を推定するステップと、
    ｉｉ．前記ｎ値を用いてグローバル露光時間画像のピクセルの真のｎ値を復元するステップと、
    を備える、請求項１に記載の方法。
20. モーションアーチファクトが、
    ａ．フル露光時間画像の残存画像と短い露光時間の画像から導き出される残存値の復元された推定値との間の増分シフトを、最大相関値が実現されるまで、繰り返し試行することを備える登録方法を適用するステップと、
    ｂ．短い露光のピクセルについてｎ推定値を導き出し、前記ｎ推定値を長い露光の画像の登録適合したピクセルに関連づけるステップと、
    ｃ．前記ｎ推定値からグローバル露光時間の画像のピクセルについての真のｎ値を推定
    するステップと、
    によって補正される、請求項１９に記載の方法。
21. 異なる画像領域を適応的に引き続いて処理する登録方法を適用することによりモーションアーチファクトが補正される、請求項１９に記載の方法。
22. 電子撮像装置が、１色を有する光、もしくはそれぞれが同じもしくは異なる色に感受性のあるピクセルのサブセットに感受性のあるピクセルを備える、請求項１に記載の方法。
23. ａ．コンパレータはサイトのそれぞれに配置される方法と、
    ｂ．前記サイトのそれぞれは、ピクセル群によって共有されるコンパレータに接続される方法と、
    ｃ．サイトの群は単独のコンパレータおよびさらなる回路に接続され、もたらされるリセットは、前記コンパレータに接続される前記群の一部であることができるか、もしくはできない、隣接するピクセル群に影響する方法と、
    のいずれかによって、コンパレータが各ピクセルのサイトに接続される、請求項１に記載の方法。
24. ａ．ピクセルの２次元のアレイを備えるセンサチップと、
    ｂ．リセット信号で始まりサンプル信号で終わるフレームのグローバル露光時間間隔を制御する回路を備える中央に配置されたセンサチップロジック領域と、
    ｃ．前記各ピクセルのサイトもしくはその近くに配置されるコンパレータおよびリセットトリガ回路とを備え、前記コンパレータは、荷電ピクセルの電圧が基準電圧を越える時にリセットメカニズムをトリガし、それによって前記グローバル露光時間の間に、各個別のピクセルは、それに入射する放射の輝度に応じて数回自己リセットすることができ、前記グローバル露光時間の終了時に、各ピクセルは最後の個別の自己リセットから前記グローバル集積時間の終了まで残存する電圧の残存値のみを含み、
    ｄ．電圧の前記残存値を用いて前記ピクセルのそれぞれについて真の画像値を決定する、アルゴリズムの少なくとも１部分を行う処理回路をさらに備え、
    真の画像は前記ピクセルのそれぞれについての前記真の画像値のアレイを備え、前記アルゴリズムの使用とともに前記ピクセルのそれぞれについての前記リセットメカニズムの組み合わせは、前記ピクセルのそれぞれがリセットされた回数をカウントし記憶する電子部品の提供を必要とすることなく前記真の画像の決定を可能にする、拡張ダイナミックレンジを有する電子撮像装置。
25. 前記電子撮像装置は１色を有する光もしくはそれぞれ同じもしくは異なる色に感受性のあるピクセルのサブセットに感受性のあるピクセルを備える、請求項２４に記載の電子撮像装置。
26. コンパレータは各ピクセルのサイトに、
    ａ．コンパレータは前記サイトのそれぞれに配置される方法と、
    ｂ．前記サイトのそれぞれはピクセル群によって共有されるコンパレータに接続される方法と、
    ｃ．サイトの群が単独のコンパレータおよびさらなる回路に接続され、もたらされるリセットは、前記コンパレータに接続される前記群の部分であることができ、もしくはできない、隣接するピクセル群に影響する方法と、
    のうちの１つで接続される、請求項２４に記載の電子撮像装置。

Images