JP2001502872A - イメージセンサのダイナミックレンジの増大 - Google Patents

Abstract

(57)【要約】 イメージセンサアレーの中の光検出器出力信号のそれぞれに電気的に接続されるデバイスであって、コンデンサ（Ｃ０１，Ｃ０２）と抵抗器（Ｒ０１，Ｒ０２，Ｒ０３）と増幅器と比較器（Ｃｍ）とスイッチ（Ｓ１とＳ２）の構成を含む。この構成は、前記光検出器出力信号の時間微分のリアルタイム予測を実行するのに好適である。

Description

【発明の詳細な説明】 イメージセンサのダイナミックレンジの増大技術分野 この発明は、一般的には、可視光および不可視光の範囲のビデオカメラなどの 、イメージを収集する電子センサおよびカメラに関する。より具体的には、この 発明は、電子イメージセンサやカメラのダイナミックレンジを増大させるために リアルタイムで動作する電子回路と構成に関する。背景技術 景色(scenario)および風景のイメージのダイナミックレンジ（ＤＲ）は、イメ ージの中の最も明るい点の光の強度と、イメージ全体を通しての強度の最小有効 差との差として定義される。イメージＤＲは、そのイメージによって伝達される 情報を完全に利用するために、イメージを後で使用するユーザが何段の異なる強 度レベルを採用しなければならないかを決定する。センサが取り込んだイメージ の中で、イメージ全体を通しての強度の最小有効差はセンサのノイズで制限され 、他方、取り込むこのとできる最大の信号はセンサの飽和レベルによって制限さ れる。したがって、取り込まれたイメージのＤＲは、事実上、イメージ取込み用 センサの飽和対ノイズ比（ＳａｔＮＲ）によって制限される。自然な風景と景色 のＤＲは、１０の１０乗（１０¹⁰）を超えるかもしれない。人間の目（動物の目 も同様であるが）は、特に困難なくそのように大きなＤＲを許容する。これは、 生物学的なイメージセンサが自ら発生するノイズは、その飽和レベルに比べて十 分に小さく、したがって、ＳａｔＮＲは自然な風景と景色のＤＲに適合すること ができるということを意味している。しかし、電荷結合素子（ＣＣＤ）などの通 常の電子イメージセンサのＳａｔＮＲは普通、数百を超えない（例えば、２５６ ）。すなわち、元の映像の中で最も明るい点の１／２５６よりもコントラストが 低い詳細部分は、例えば、そのコントラストが１０^-10より大きくても、イメー ジの取り込みのときにすべて完全に消滅してしまう。 したがって、この発明を含めて多くの発明の目的は、取り込み時の損失をでき るだけ少なくするために、イメージセンサのＤＲを増大させることにある。 センサの本来的な感度は、その受光面に当たる一定数の光子に対してセンサが 生成する電荷の量であるが、これは、その受光面の幾何学的および光学的特性と それを構成する材料の品質に依存する。 画像化処理の基本的要素は、光の強度のレベルから、読み取ることのできる電 荷または電圧のレベルにイメージの変換を行うことであるが、これは伝統的に、 適当なセンサのアレーを、適切に焦点を合わせたイメージに所定時間だけ露光し 、これらのセンサに光子を収集させ、それらを電荷に変換することによって行わ れている。時間とともにこれらの電荷が蓄積されていくので、露光時間の終わり には、特定のセンサに蓄積された正味の蓄積量は光子束の量すなわち、その特定 のセンサに焦点が合わせられているイメージの点に帰属する光の強度を反映する 。センサの光束に対する応答性を変える一つの明らかな方法は、露光時間（「積 分時間」ともいう）を変化させることである。もう一つの明らかな方法は、セン サの光学的開口を変化させることである。露光時間および／または開口を増すこ とにより、センサは、視野の各点で、より多くの光子を積分することができ、し たがって、累積された電荷は比例的に増大する。しかし、露光時間と開口寸法を あまり大きくすると、他の副次的影響があるとともに、光セルが保持することの できる電荷の最大限度が存在する。特定のセルでこの最大レベルに達すると、飽 和してしまい、元の風景の光の変化を反映しなくなってしまう。この点で、この セルはすでにイメージング素子として機能できなくなる。一般に、隣接する複数 のセルのかなりの領域が飽和し、出力イメージのこの領域が均一な白いゾーンに 見え、元の風景の何も示さなくなったとき、イメージ全体が飽和になったといわ れる。与えられた感度のイメージセンサのＤＲを高める唯一の方法は、その信号 対ノイズ比（ＳＮＲ）の最大値を増大させることである。センサの最大ＳＮＲは そのセンサの飽和対ノイズ比（ＳａｔＮＲ）である。したがって、センサのＤＲ を増大させるのは、その飽和レベルを増大させるか、そのセンサ自身が発生する ノイズを減らすことによって達成できる。自ら発生するノイズには主として２種 類のものがある。 すなわち、ａ）センサの能動的な部分の大きさと温度に主に依存する確率過程 （stochastic process）である一時的ノイズ、ｂ）イメージ検出器（「光セル」 とも呼ばれる）のアレーからなるセンサに関連するいわゆる「固定パタンノ イズ」である。固定パタンノイズのほとんどは、光セルが光に当てられる前に持 っていたかもしれない初期電圧すなわちバイアス電圧に起因する。センサのアレ ーにおいて、それらのバイアス電圧は、センサごとに相違するかもしれず、した がって、そのアレーを完全に均一ないわゆる「平坦野（flat field）」入力イメ ージにさらした場合であっても、センサのバイアス項の相違だけを反映する非均 一な出力イメージを出すことになる。一時的ノイズの低減は、センサの寸法とそ の運転温度のどちらか一方または両方を下げることによって行われる。固定パタ ンノイズの低減は、従来は、アレー内の光セルの間の均一性を改善することと、 その固定パタン（「平坦野イメージ」とも呼ばれる）の減算すなわち補償の種々 の方法を使用することによって行われる。従来技術 ＣＣＤカメラについて、冷却をすることによって一時的ノイズの低減をするこ とは多くのメーカが行なってきた。その一つの例は米国のレチコン(Reticon)社 である。 固定パタン補償は米国ＣＩＤ社によって、リアルタイムハードウエアで実施さ れた。 平坦野を減算することは、カナダのコレコ(Coreco)社によってリアルタイムソ フトウエアで実施された。 イスラエルのアイサイト(I-Sight)社は、ＣＣＤセンサの最大取り入れ可能光 レベルを増大させることによってＣＣＤセンサＤＲを増大させるために、複数回 露光技術を導入した。この方法において、比較的長い露光からの飽和ゾーンは、 より短い露光からの複製（rep1ica）に置き換えられる。しかし、この方法にお けるＤＲの最大可能ゲインは２であって、すなわちバイナリ／デジタル表示で１ ビットだということを照明できる。発明の概要 この発明によれば、センサアレーの中の各光検出器に到達する光子束は、最 適予測論理（カルマンフィルタとも呼ばれる）によってリアルタイムで予測され る。最適予測の概念の要点は、光子束の所望の予測は、センサ出力のいくつかの 時間微分の重み付け組み合わせによって得られるものであって、従来から行われ てい る単なる０次微分ではない。この微分の組み合わせにおいて、１次微分が最も重 要な役割を果たす。予測の処理は、すべての光セルについて、個別かつ同時に実 行される。それらは露光期間の初めにいっせいに開始されるが、個々の光セルの 出力が飽和に近づくと、それらの予測処理が自動的に終了する。この予測装置は おもに、各光セル出力での信号の１次微分すなわち勾配を感知する。この勾配は 、一方では、検出器に到達する光束の一つの計測値であり、他方で、その値は、 露光時間に独立である。したがってそれは、飽和の影響を全く受けない。この方 法の積分時間は予測結果のＳＮＲに影響を及ぼすだけである。したがって、例え ば可能な最も長い露光時間と利用可能な最大開口を使用すれば、この発明により 、特定のセンサの達成しうる最大のＳＮＲを利用することができ、同時に、飽和 の影響を完全に回避することができる。さらに、このデバイスの出力はおもにセ ンサ出力の勾配を代表するという事実により、取得したイメージからの固定した パタンノイズを効率よく除去することができる。このようにして、この発明によ り、センサのＤＲが元のイメージのＤＲとセンサの一時的ノイズだけに依存する ようにすることができる。図面の簡単な説明 図１（Ａ）は、センサ光セルのそれぞれに電気的に接続されたカルマンフィル タ構造を一般的に示す図である。それは、一組の線形積分器ＩＮＴからなり、そ の入力は光セルに接続されている。積分器の出力の組はこの発明の装置の出力で もあり、一度、ゲインマトリクスＦを通して積分器入力にフィードバックされる 。ついで、ゲインマトリクスＨを通して、光セル出力から減算され、その差が、 ゲインマトリクスＫを通して積分器入力に加えられる。 図１（Ｂ）は、切替え可能な積分器の一つの実現可能な例である。この図で、 入力電圧は、電圧・電流増幅／変換器Ｖ２Ｃおよび入力アナログスイッチＳ₁を 通してコンデンサＣに接続される。コンデンサＣは出力アナログスイッチＳ₂に よって短絡することができる。この図で積分器出力はコンデンサの両端電圧であ る。 図２は、カルマンフィルタの内部の３個の信号の時間変化の典型的な形状を示 す。図２（Ａ）の信号は、光セル出力の予測値またはフィルタをかけた値である 。 図２（Ｂ）は光セル出力の時間微分すなわち局所的勾配の予測値である。図２（ Ｃ）は、図２（Ｂ）の勾配の予測値の複製（replica）であるが、アナログスイ ッチによって、飽和に達する前に現われる最後の値が読み出しの最後まで固定的 に保持される。 図３は、２状態カルマンフィルタのコンパクトな実現例を示す。演算増幅器Ｏ ｐＡｍｐとそれを取り囲む抵抗Ｒ_i，Ｒ_o1，Ｒ_o2，Ｒ_o3およびコンデンサＣ_o1， Ｃ_o2は、２個の積分器とゲインマトリクスＦ，Ｈ，Ｋを構成する。スイッチＳ₁ とＳ₂が運転状態の三つのフェーズの間の切替えを制御する。それらの切替えの 指令のいくつかは、比較器Ｃ_mから出される。好ましい実施例の詳細な説明 この発明の一つの可能な実施の形態によれば、カルマンフィルタは二つの状態 を持つ。すなわち、光セル出力とその時間微分である。以下の説明では、この実 現に基づいて本発明の機能を説明する。しかし、この発明は決してこの二つの状 態の実現に限定されるものではない。なぜならば、カルマンフィルタを１個、３ 個、または４個以上状態の数が取れるように設計することも同様に可能だからで ある。同様にこの発明は、増幅器、抵抗器、コンデンサおよびアナログスイッチ の特定の配置に限定されるものでは決してない。これらの配置は、ここでは単に 動作するフィルタの概念を示するために使用されるだけのものである。この概念 は、多種類の電子素子の多数の異なる配置によって実現されうるものである。ア ナログスイッチの目的は、カルマンフィルタを積分フェーズと、保持フェーズと 、リセットフェーズの間で切替えをすることにある。これらのフェーズとそれら の間の切替えは、多数の異なるスイッチングデバイスの配置および実現によって 実行し制御することができる。 この発明の二つの状態の実現は、図３に示される。演算増幅器ＯｐＡｍｐと、 それを取り囲む抵抗器Ｒ_i，Ｒ_o1，Ｒ_o2，Ｒ_o3およびコンデンサＣ_o1，Ｃ_o2は、 この２次元ケースについて、２個の積分器とゲインマトリクスＦ，Ｈ，Ｋを構成 する。このバージョンの状態は光セル出力とその１次微分である。スイッチＳ₁ とＳ₂が運転状態の三つのフェーズの間の切替えを制御する。積分フェーズでは 、両方のスイッチが閉じている。保持フェーズへの切替えは、光セルの出力が基 準 電圧Ｖ_refと同じになったときに比較器Ｃ_mから指示される。保持フェーズでは、 両方のスイッチが開いている。リセットフェーズへの切替えは、ＣＣＤ制御器な どの外部のソースによって指令を受け、センサの読み出しが完了した後に出力さ れる。リセットフェーズでは、スイッチＳ₁は開いたままであるが、Ｓ₂は閉じて いる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ， ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，Ｍ Ｗ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １． イメージセンサアレーにおける光検出器出力の各一つに電気的に接続さ れるデバイスにおいて、 前記光検出器の出力信号の時間微分のリアルタイム予測を実行するべく、コン デンサと、抵抗器と、増幅器と、比較器と、スイッチとを配置した構成を含むデ バイス。 ２． 請求項１に記載のデバイスにおいて、前記センサが飽和する前に、そに 記載のデバイスの出力が所望の結果に向かって収束するデバイス。 ３． 請求項１に記載のデバイスにおいて、前記センサが飽和する前に、前記 予測処理を終了させることが可能であるデバイス。 ４． 請求項１または２に記載のデバイスにおいて、前記予測値の計算結果を 飽和の直前の瞬間から固定的に保持できるデバイス。 ５． 請求項１、２、３または４に記載のデバイスにおいて、前記予測値の計 算結果を、読み出し完了時にゼロにリセットできるデバイス。 ６． 請求項１に記載のデバイスにおいて、前記予測処理は、カルマンフィル タとして知られている構成の中で、アナログ積分器によって行われるデバイス。 ７． 請求項６に記載のデバイスにおいて、前記カルマンフィルタの近似伝達 関数はコンデンサと抵抗器の適当な構成によって利用されるものであるデバイス 。 ８． 請求項３、４または５に記載のデバイスにおいて、前記終了、保持およ びリセットの動作はアナログスイッチによって実行されるデバイス。 ９． 請求項３または８に記載のデバイスにおいて、前記終了は比較器によっ て指示されるデバイス。 １０． 請求項９に記載のデバイスにおいて、前記比較器は、前記出力を基準 電圧と比較するものであるデバイス。 １１． 請求項９に記載のデバイスにおいて、前記比較器は、前記センサ出力 の予測を基準電圧と比較するものであるデバイス。 １２． 請求項１に記載のデバイスにおいて、前記構成は、集積半導体回路に 作り込まれているデバイス。 １３． 請求項１または１２に記載のデバイスにおいて、前記集積半導体回路 は前記イメージセンサの焦点面付近に配置されているデバイス。 １４． 請求項１ないし１１のいずれかに記載のデバイスにおいて、前記予測 、終了、保持およびリセットの各処理は、ディスクリート時間（いわゆる「デジ タル」）アルゴリズムに沿って実行されるデバイス。 １５． 請求項１４に記載のデバイスにおいて、前記デジタルアルゴリズムは リアルタイムソフトウエアで実現されるデバイス。 １６． 請求項１４または１５に記載のデバイスにおいて、前記アルゴリズム は、汎用のデジタル信号処理装置（ＤＳＰ）で実行されるデバイス。 １７． 請求項１４または１５に記載のデバイスにおいて、前記アルゴリズム は、専用の信号処理装置で実行されるデバイス。 １８． 請求項１４または１５に記載のデバイスにおいて、前記アルゴリズムは 、 ホスト計算機で実行されるデバイス。