JP2002502577A - 拡張ダイナミックレンジイメージングシステム及びその方法 - Google Patents
拡張ダイナミックレンジイメージングシステム及びその方法Info
- Publication number
- JP2002502577A JP2002502577A JP50264999A JP50264999A JP2002502577A JP 2002502577 A JP2002502577 A JP 2002502577A JP 50264999 A JP50264999 A JP 50264999A JP 50264999 A JP50264999 A JP 50264999A JP 2002502577 A JP2002502577 A JP 2002502577A
- Authority
- JP
- Japan
- Prior art keywords
- charge capacity
- imager
- integration period
- charge
- during
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
- G11C27/04—Shift registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
(57)【要約】
イメージングシステム及び方法。一実施形態において、イメージャは光検出器のアレイを有し、光検出器の各々は前記積分期間中に検出された光の結果として、積分期間中にチャージを蓄積し、アレイは、積分期間中の増加させるチャージ容量を有する。少なくとも1つ前の積分期間中に前記イメージャによって検出される輝度分散に基づいて、前記イメージャに結合するチャージ容量コントローラは、イメージャがアレイのチャージ容量を増加させる方法を調整する。
Description
【発明の詳細な説明】
拡張ダイナミックレンジイメージングシステム及びその方法
発明の背景
本発明はイメージングシステムに関し、特に、光検出器チャージ容量を、積分
期間の端部に向かって増加させ、イメージングシステムのダイナミックレンジを
拡張するイメージングシステムに関する。
関連技術の説明
電荷結合デバイス(CCD)イメージセンサ及び相補型金属酸化膜半導体CM
OSイメージセンサを含む種々のタイプのイメージャ又はイメージセンサが、今
日使用されている。これらの装置は、通常CCD及びCMOSイメージングシス
テムに各々組み込まれている。そのようなシステムは、ピクセルアレイを含み、
各々、例えば、CCD、インCMOSイメージセンサ、バーチャルゲート埋設n
−チャネル光検出器、N+toP−基板フォトダイオード(N+to p-substrate phot
odiode)又はホトゲート検出器などの光感応センサ部材を含んでいる。そのよう
な光感応センサ部材を、本明細書では、一般に、光検出器と称す。
そのような装置の中で、光検出器は、光検出器の関連感知領域に到達する光強
度に従って、光学的積分期間中に、チャージ(電荷、charge)、故に電圧を蓄積
する。チャージが蓄積されるに従って、光検出器は充てんし始める。光検出器に
ストアされるチャージは、CCD型光検出器の「チャージウェル」の中にストア
されると言われることがある。光検出器が満杯にチャージされると、一部、ブル
ーミングを防止するために過剰チャージは短絡される。ブルーミングは、ピクセ
ル飽和を越えた過剰チャージが隣接のピクセルにこぼれる現象であり、ぼやけや
関連した画像アーティファクトを引き起こす。しかし、光検出器が積分期間が終
わる前に満杯になり、追加の光子が光検出器とぶつかったとき、追加のチャージ
は蓄積されることができない。このように、例えば、非常に明るい光が光検出器
に加えられる場合、積分期間の終了の前に光検出器は満杯になる可能性があり、
従って飽和して情報を失う。
レヴァイン(Levine)に付与された、1976年4月27日の米国特許第3,953,
733号は、本明細書に全体で援用されており、この問題を避けるためのCCDイ
メージャ操作方法が教示されている。CCD電極に加えられる電圧は、電極の下
に大量の空乏領域を形成し、それは、一定の最大のチャージ容量の「ポテンシャ
ルウェル」又はチャージウェルを形成する。より大きな電極電圧は、それに対応
する大きなチャージ容量ウェルの形成を引き起こす。光検出器の最大チャージ容
量を制御する電圧、例えばCCD電極電圧を、本明細書ではチャージ容量制御電
圧と呼び、光検出器の中で蓄積されることができる最大のチャージを、本明細書
では光検出チャージ容量と呼ぶ。そのチャージ容量制御電圧は、ブルーミングバ
リヤ電圧とも呼ばれている。それは、ブルーミングドレインとして作用し、ピク
セルフォトダイオードからチャージを除去し、光学的過負荷中に隣接ピクセルに
チャージがこぼれるのを避けるからである。
通常、加えられるチャージ容量制御電圧は、積分期間を通して一定であり、一
定のチャージ容量が、イメージャアレイの各ピクセル積分期間を通して存在する
ようになっている。レヴァインは、チャージ容量制御電圧を積分期間中に変化さ
せ、CCDイメージャの光学のダイナミックレンジを増加している。例えば、レ
ヴァインは、一実施形態で、離散的なステップで積分期間の端部に対する、チャ
ージ容量制御電圧を増加させることによって、非線形の方法でチャージ容量制御
電圧(それ故に、チャージ容量)を増加することを教示している。レヴァインは
、積分期間の終わりに向かって、チャージ容量制御電圧及びチャージ容量を増加
させる他の方法も教示している。それは、例えば十分な複数の離散的なステップ
を使用して、連続的に増加するチャージ容量制御電圧を実行するか、又は線形に
増加するチャージ容量制御電圧波形を使用してそのような波形の勾配を増加させ
、イメージングシステムのダイナミックレンジを拡張するものである。
所定のイメージャのダイナミックレンジを拡張するために、この方法が使用さ
れてもよいが、拡張ダイナミックレンジが所定のフレームには利用されないこと
も可能である。例えば、所定のシーンは、比較的暗く、従って、コントラスト比
及びシーン情報量の損失を犠牲にしてダイナミックレンジをこのように浪費する
可能性がある。これは監視目的に使用されるイメージングシステムの場合であろ
う。
概要
イメージングシステム及び方法である。実施形態において、イメージャは光検
出器のアレイを有し、各々、積分期間中に検出される光の結果として、該積分期
間中にチャージを蓄積し、前記アレイは、積分期間中に増加するチャージ容量を
有する。前記イメージャに結合されたチャージ容量コントローラは、前記イメー
ジャによって少なくとも1つの前の積分期間中に検出された輝度分布に基づいて
、イメージャがアレイのチャージ容量を増加させる方法を調整する。
図面の簡単な説明
本発明のこれら及び他の特徴、見地、利点は、以下の説明、添付の請求項及び
添付の中で図面からより明白になる。
図1A〜Cは、本発明の実施形態に従った、イメージャのダイナミックレンジ
を拡張する方法を図示した波形の線図である。
図2は、本発明の実施形態に従った、システムのダイナミックレンジを拡張す
るために、使用されるチャージ容量制御電圧機能をダイナミックに決定する映像
処理システムのブロック図である。
図3は、図2の映像処理システムの操作の方法を図示した典型的なヒストグラ
ムである。
好ましい実施形態の説明
図1A〜Cは、本発明の実施形態に従った、イメージャのダイナミックレンジ
を拡張する方法を図示した波形の線図である。図1A〜Cの各々は、3つの光レ
ベルI1、I2及びI3の、時間に対する相対的な信号チャージのグラフである
、I3は最高強度の光レベルで、I2は最低強度の光レベルである。相対的な信
号チャージは、フォトダイオードのチャージ蓄積領域又はウェルの中で、所定の
一定の強度の光に応答して蓄積するチャージである。時間tは、積分期間のt=
0からt=100%までで示され、通常、1秒の1/30又は1/60である。
相対的な信号チャージは、0.0〜1.0で示される、1.0は、光検出器の最
大のチャージ容量を示し、その点で光検出器が飽和する。
図1Aは時間対積分期間中の相対的な信号チャージを示す光レベルI1、I2
及びI3であり、従来技術で光検出器が動作されるように、固定チャージ容量制
御電圧が全積分期間加えられている。図示のように、高い光レベルの、I2及び
I3の両方とも積分期間が終了する前に飽和している。それは各々光検出器のチ
ャージ容量が越えるからである。故に、光レベルI2及びI3は、たとえそれら
が異なっても両方共に光検出器から同じ信号読み出しを生じる。このように、光
レベルI2及びI3は積分期間の終了の前に、両方とも飽和しているので、生じ
た画像が、これらの光レベルより上のいかなる画像細部も表示することも不可能
である。一定の定数チャージ容量制御電圧で動作するように構成される光検出器
のアレイは、積分期間全体で、光レベルI1、I2及びI3が全て測定されるこ
とができるような十分なダイナミックレンジを有していない。
これは、監視目的の状況の場合であろう。例えばシーン内のダイナミックレン
ジが、イメージャのダイナミックレンジを越える可能性があり、飽和又はブルー
ミング、従って損失情報を引き起こす。機械的なアイリスを調整することによっ
て、イメージャレンズが「絞られる」場合、全ての3つの光レベルI1、I2及
びI3の勾配を、どれも飽和しないように効果的に低くすることができるが、画
像の暗い領域における信号対雑音比が低減され、再度、情報の損失を引き起こす
。
故に、レヴァインに関して先に述べたように、積分期間中に、なんらかの態様
でチャージ容量制御電圧が増加するチャージ容量制御電圧機能を使用することに
よってイメージングシステムのダイナミックレンジを拡張することが有効である
。一実施形態において、このチャージ容量制御電圧機能は、積分期間の第一の期
間中に第一のチャージ容量制御電圧V1が光検出器に加えられ、より高いチャー
ジ容量制御電圧V2が、この第一の期間の後積分期間の終了まで光検出器に加え
られるツーステップ非線形電圧機能である。この実施形態で、電圧V2は、最大
チャージ容量制御電圧である、即ち、電圧V2によって、光倹出器が最大のチャ
ージ容量を有するようになり、電圧V1はV2の電圧の一部であり、それによっ
て光検出器は、最大チャージ容量の、対応した一部であるチャージ容量を有する
ようになる。
このように、チャージ容量制御電圧V1は、積分期間の指定された一部分であ
る第一の期間中から加えられ、チャージ容量制御電圧V2は、第一の期間後の、
積分期間の残りと等しい第二の期間に加えられる。電圧V1が加えられる第一の
期間の長さを増加させ、V2が加えられる第二の期間を対応して減少することに
よって、より高い全面ダイナミックレンジが得られることができる。
本発明では、チャージ容量制御電圧機能が変化され、飽和を回避し且つシーン
のコントラスト比及び情報量が最大にするために十分なダイナミックレンジが提
供される。先に述べたように、ツーステップ非線形電圧機能では、第一と第二の
期間の間でどのように積分期間を分けるかといった方法を変えることによってチ
ャージ容量制御電圧機能は変化される。よりダイナミックなレンジは、より高い
強度光レベルコントラスト情報のいくらかの損失を犠牲にして、第一の期間を長
くし、第二の期間を短くすることによって得られることができる。最大のチャー
ジ容量制御電圧が全体の積分期間中に加えられる場合は飽和するであろうが、第
二の期間中に追加のチャージを加えることができるので、飽和しない強度の光レ
ベルは、「圧縮される」と呼ばれるであろう。それは、低強度光レベルよりも短
い期間余分のチャージを光検出器に加えるからである。
このように、チャージ容量制御電圧V1が、時間t=0〜t1まで加えられ、
チャージ容量制御電圧V2が時間Δt1中加えられる。ここで、Δt1は時間t
1と積分期間の終了との間の期間である。V1が加えられる期間t1を増加させ
、V2が加えられる期間Δt1を対応して低減することによって、より高い全面
ダイナミックレンジが得られることができる。このように、一実施形態では、所
定の第一のチャージ容量制御電圧V1及び第二のチャージ容量制御電圧V2に対
して、チャージ容量制御電圧機能は、時間t1がいつ起こるかを変えることによ
って変化される。
そのようなチャージ容量制御電圧機能を、図1B及び1Cで示す。各々、電圧
V1がV2に変わる異なった時間を有している。今、図1Bについて述べる。チ
ャージ容量制御電圧V1は、最大のチャージ容量制御電圧V2の80%までセッ
トされる。電圧V1は、時間t1で電圧V2に増加させられる。このように、時
間t1までに、最大のチャージ容量の僅か80%のチャージ容量による一時的な
飽和点がある。それは、より大きい電圧V2が時間t1の後、加えられるときに
存在する。これによってこの光レベル12と13との間でコントラストの分化が
できるようになり、それは、全体の積分期間を通して定数チャージ容量制御電圧
が使用される図1Aで示した実施態様を使用した場合は不可能であったことであ
る。これは、光レベルI3はまだ飽和しているが、光レベルI2はそうでないか
らであり、その結果光レベルI3は、光検出器の中で光レベルI2より大きなチ
ャージを生じ、それは、画像においてそのような光レベルに差異を認めるために
使用されることができる。
しかし、光レベルI3が飽和しているので、第一の期間の時間t1は、光レベ
ルI3のまわりの強度の光レベルは互いに区別することができない。図1Cでは
電圧時間t1より後でV1が電圧V2に時間t2で切り換わる。この実施におい
て、光レベルI2もI3も飽和せず、I3まで全ての光レベルが、互いに区別で
きるようになる。
本発明において、映像データの各フレームが光検出器のアレイに捕らえられる
前に、チャージ容量制御電圧機能は、最適に調整されて、捕らえられるシーン又
は画像の最も明るい部分でさえ飽和が回避され、シーンのコントラスト比及び情
報量を最大にする十分なダイナミックレンジが提供される。これは、第一の期間
をセットするために、前の画像からのダイナミックフィードバック制御を使用し
て、シーンの最も明るいオブジェクトがちょうどイメージャの飽和容量に到達す
るようにすることによってなされる。その内容を以下に更に詳細に説明する。前
のフレーム又は画像からの情報は、前のフレームの輝度分散が、捕らえられるべ
き次のフレームの輝度分散の信頼できる予測値であるという仮定に基づいて使用
される。
認識されるように、チャージ容量制御電圧を変化することは、効果的にピクセ
ルチャージ容量を変え、フレーム時間の大半に対して最大チャージ容量の一部分
で積分し、チャージ容量を積分時間の終了の方に向かって最大のチャージ容量に
増加させることのみによってピクセルのダイナミックレンジを拡張する。これに
よって、シーンの明るい領域と暗い領域との両方における細部の同時に起こるイ
メージングができるようになる。チャージ容量制御電圧のダイナミックな調整は
、積分時間中の効果的な非線形の光検出応答を作る。
図2に、チャージ容量制御電圧機能をダイナミックに決定するための映像処理
システム200のブロック図を示す。これは、本発明の実施形態に従って、シス
テムのダイナミックレンジを拡張するために使用されるものである。システム2
00は、ピクセルのアレイを含むイメージャ201を含み、各々が光検出器を含
む。システム200は、更にイメージャ201に結合されたチャージ容量コント
ローラ202を含む。チャージ容量コントローラ202は、ヒストグラマ204
、フィードバック関数発生器206、コントラストコレクタ205、ヒストグラ
ム等化/投影ブロック207及びMUX210及び211を含む。システム20
0は出力モニタ220も含み、それはチャージ容量コントローラ202のMUX
211の出力に結合されている。イメージャ201のピクセルアレイは、例えば
CCD又はCMOSアレイであってもよく、一実施形態では、各ピクセルによっ
て積分期間中に蓄積されるチャージの量に対応して各ピクセル12ビット出力ピ
クセル値(4096のレベル)を提供する。出力モニタ220は、8ビット入力
ピクセル情報を必要とする。ヒストグラマ204及びコントラストコレクタ20
5は、イメージャ201にライン212を通して結合するか又は結合可能であり
、フィードバック関数発生器206は、イメージャ201にライン213を通し
て結合するか又は結合可能である。
捕らえられたピクセルのフレームの出力ピクセル情報は、イメージャ201に
よって、バス212を通して、ヒストグラマ204及びコントラストコレクタ2
05に送られる。タップライン216は、MUX210及び211への入力の場
合のように更に出力ピクセル情報を提供する。ヒストグラマ204の出力は、ラ
イン214を通して、フィードバック関数発生器206の入力及びヒストグラム
等化/投影ブロック207の入力に加えられる。フィードバックブロックは、ラ
イン213を通してイメージャ201の入力に機能情報を、コントラストコレク
タ205の入力に逆数機能情報を提供する。コントラストコレクタ205の出力
は、MUX210及びライン217を通して、ヒストグラム等化/投影ブロック
207及びMUX211に加えられる。ヒストグラム等化/投影ブロック207
の出力は、ライン218及びMUX211を通してモニタ220の入力に加えら
れる。
このように当業者によって認識されるチャージ容量コントローラ202の機能
(即ちヒストグラマ204、フィードバック関数発生器206、コントラストコ
レクタ205、ヒストグラム等化/投影ブロック207及びMUX210及び2
11)の幾つか又は全ては、専用のディジタル信号処理ハードウェア、特定用途
向け集積回路(ASIC)で、又は適切にプログラムされた汎用コンピュータプ
ロセッサによってリアルタイムで実行されてもよい。
システム200は、次のように、ダイナミックにチャージ容量制御電圧機能を
調整し、イメージャ201の性能を最適化するために動作する。初めに、シーン
(フレーム0)がイメージャ201によって捕らえられ、ヒストグラマ204に
加えられる。当業者によって認識されるように、ヒストグラマは、ピクセルのグ
レーレベル(即ち輝度又は強度)を表す「ビン」に受信されるピクセルをソート
する。ヒストグラマ204は、このように所定のフレームのグローバル輝度分散
を表す情報を含むヒストグラムを提供する。この分散から、チャージ容量制御電
圧機能は、次の画像を拡大又は圧縮するどちらにも調整されることができ、イメ
ージャ201のグレースケール分析の全体の4096レベルが使用される。
図3に、図2の信号処理システム200の操作の方法を示す典型的なヒストグ
ラム300を示す。典型的なヒストグラム300は、フレーム0のピクセルのグ
ローバル輝度分散を示す。この分散から、フレーム0についての輝度又は強度情
報は、ヒストグラムを受信するフィードバック関数発生器206によって決定さ
れることができる。フィードバック関数発生器206は、次のフレームを捕らえ
るために、イメージャ201の第一の期間をセットする機能情報を発生させ、そ
の結果フレーム0の最も明るいオブジェクトのレベルの光が、飽和しないが、イ
メージャの飽和点にちょうど到達するようになる。所定のレベルの光が、イメー
ジャの飽和点にちょうど到達することは、積分期間の終わりに、このレベルの光
は、光検出器が、全チャージ容量に殆ど到達することを引き起こすことを意味す
る。このように、関数発生器206によってツーステップ非線形電圧機能のため
に発生させられる機能情報は、第一の電圧V1が第二の電圧V2に変わらなけれ
ばならない積分期間中の、時間を示す数である
例えば、ヒストグラム300はフィードバック関数発生器206によって使用
されることができ、どれがオブジェクト(ピクセルのクラスタ)であると思われ
る画像の最も明るい部分の強度又は輝度であるかが決定される。単にフレームの
中で明るいピクセルの輝度レベルを使用するよりはむしろ、そのような分析がな
されることができ、欠陥のある(常に白い)ピクセル又はほんの少しの明るいピ
クセルだけに基づいて決定されることを避ける。このように、例えば、100の
明るいピクセルの輝度レベル又はグレースケールに基づいて、次のフレームにど
んなチャージ容量制御電圧機能を使用するべきかに関する決定は、フィードバッ
ク関数発生器206によってなされる。図1Bに示すように、このように、例え
ば、フレーム0の最も明るいオブジェクト(単に少しの絶縁されたピクセルだけ
でなく)が約12の強度を有するならば、フィードバック関数発生器206は、
t1より僅かに少なく第一の期間をセットする機能情報を発生させる。しかし、
図1Cで示すように、フレーム0の最も明るいオブジェクトが約I3の強度を有
するならば、フィードバック関数発生器206は、およそt2に第一の期間をセ
ットする機能情報を発生させる。このように、本発明のチャージ容量制御電圧機
能のダイナミックな調整を使用することによって、捕らえられる次のフレームは
、イメージャの作用ダイナミックレンジに、効果的に「圧縮される」が、コント
ラスト比及びシーン情報量を最大にするために必要な最小の大きさに圧縮される
。
一実施形態において、関数発生器206によって提供される機能情報に従って
、イメージャ201は積分期間中のチャージ容量制御電圧を制御する。代替実施
形態で、関数発生器206は、発生させられる機能に従って、積分期間中にライ
ン213を通って、直接にイメージャ201にチャージ容量制御電圧に提供する
。他の代替え実施形態で、フィードバック関数発生器206は、機能情報を発生
させ、フレーム0の最も明るいオブジェクトのレベルの光がイメージャを飽和さ
せないことのみを確保するが、このレベルの光が、殆ど、又は、ちょうどイメー
ジャを飽和させることは確保しない。
システム200は、必要に応じて、捕らえられた映像フレームに更に信号処理
を提供する。第一に、チャージ容量制御電圧のよりダイナミックな調整が、積分
時間中に、効果的に非線形の光検出応答を作るので、この機能の逆数機能は、フ
ィードバック関数発生器206によって発生させられ、コントラストコレクタ2
05に加えられる。チャージが蓄積される非線形の態様が、適切に対応する光輝
度レベルにマップされることができるようになり、それは、ピクセルによって示
されるチャージを引き起こす。これは、真に本当の色及びコントラスト表示を維
持するのに役立つ、それは、ピクセルカラーが複合のイメージングセンサ部材に
よって表されるカラーイメージングに必要である。認識されるように、カラーピ
クセルを作るために幾つかのセンサ部材が結合されるときに、コントラスト修正
は重要である。1つのカラー構成要素(例えば赤)を含む1つのセンサ部材が低
い輝度を含むならば、それは圧縮されず、他の部材(例えば青)は非常に明るく
圧縮され、この釣合いのとれていない圧縮が修正されず、検出されるカラーは、
シーンの本当の表示でない。各ピクセルの上で逆機能を実行することによって、
赤いピクセルは、この場合、変わらずに残り、センサ部材の輝度間でコントラス
トを復元し、シーンの実際のカラーを真に表すために青いピクセルは圧縮が解除
される。
コントラストが維持されることが必要で、画像がイメージャピクセル(例えば
12のビット)のダイナミックなレンジからより高い光学のシーンダイナミック
レンジ(例えば16のビット)まで拡大されるときこのコントラスト修正は、ま
た、グレースケール画像で使用されることができる。このように、イメージャの
各ピクセル201が僅か12ビット解像度であっても、コントラストコレクタ2
05の出力は、例えば、16ビットのダイナミックレンジを有することができる
。
ヒストグラム等化器/投影ブロック207は、一実施形態で、最適に受信され
た入力画像(例えばライン216及びMUX210を経たイメージャ201から
の12ビット画像又はコントラストコレクタ205及びMUX210を経た16
ビットのコントラスト修正画像)の広いダイナミックレンジをより低いダイナミ
ックレンジモニタ(例えば8ビット解像度出力モニタ220)に表示するために
使用される。これは、映像チェーンの中の各リンクの情報量を最大にすることに
よってこの出力モニタ220の上で効果的に最大の情報量を表示するために役に
立つ。
認識されるように、ヒストグラム等化及びヒストグラム投影は、いわゆる「ポ
イントプロセッシング」技術を使用してコントラスト強調の一般に使用される方
法である。そのような技術を使用すること、グレーレベルの均一な密度を有する
画像は、大部分の情報を視聴者に提出するために表示コントラストを一般に最大
にする。そのような技術も、クリッピングなしでより高い解像度データを、限ら
れた解像度のモニタの最適の表示のためにより小さい解像度モニタにマップする
。このように、ヒストグラム等化器/投影ブロック207のヒストグラム等化は
、グレースケールを再分散し、シーンの明るい領域及び暗い領域における細かい
細部が適切に強化される。そのような処理を実行する、ヒストグラム等化器/投
影ブロック207は、ヒストグラムだけを必要とするそれは、フィードバック関
数発生器206からすでに利用できる。
所望の場合は、出力モニタ220にライン216の上の修正されてない映像を
通すためにマルチプレクサ211をセットすることによって、ライン216によ
り、コントラストコレクタ205のコントラスト修正がバイパスされることがで
きるようになる。所望の場合は、出力モニタ220にライン217の上で修正さ
れてない映像を通すためにマルチプレクサ211をセットすることによって、ラ
イン217により、ヒストグラム等化器/投影ブロック207のヒストグラム等
化及び投影がバイパスされることができるようになる。このように、MUX21
0及び211を適切に切り換えることによって、4つの映像信号のうちの1つが
、出力モニタ220の上で表示されるであろう。即ち、(1)未処理(即ち、コ
ントラストコレクタ205及びヒストグラム等化器/投影ブロック207をスキ
ップ)、(2)コントラスト強化(即ち、ヒストグラム等化器/投影ブロック2
07をスキップ)、(3)ヒストグラム強化(即ち、コントラストコレクタ20
5をスキップ)、又は(4)ヒストグラム及びコントラスト強化、である。
認識されるように、本発明のダイナミックなフィードバックは、図1B及び1
Cで示した2電圧非線形機能以外のチャージ容量制御電圧機能と共に使用されて
もよい。例えば、複数の離散的なステップ及び電圧、又は、線形に増加するチャ
ージ容量制御電圧波形のように、連続的に増加するチャージ容量制御電圧が使用
されてもよい。これらの場合には、ヒストグラマ204によって提供されるグロ
ーバル輝度分散情報が、適切にこれらの機能を調整するために使用される。この
ように、例えば、連続的に増加させているチャージ容量制御電圧が使用されるな
らば、前のフレームにおける明るいオブジェクトの輝度は、チャージ容量制御電
圧機能の形を調整するために使用され、この輝度の光レベルがちょうど飽和する
。この場合、フィードバック関数発生器206は、それは、チャージ容量制御電
圧機能を変える方法をイメージャ201に指示する機能情報を発生させる。
また、すぐ前のフレーム以外の前のフレームからのヒストグラムが使用されて
もよいことが認識される。例えば、最後の5つのフレームの実行平均のヒストグ
ラムが、使用されてもよい。
本発明の性質を説明するために上で記載及び示した細部、素材及び部分の構成
の種々の変化が以下の請求項で挙げる発明の原理及び範囲から逸脱することなく
当業者によってなされてもよいことが理解されるであろう。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 レヴィン,ピーター,エー.
アメリカ合衆国 ニュー ジャージー州
トレントン アール.アール.4 ダンバ
ー ドライヴ 38
(72)発明者 パントゥソ,フランシス,ピー.
アメリカ合衆国 ニュー ジャージー州
ロビンズヴィル スプリング ガーデン
ロード 30
Claims (1)
- 【特許請求の範囲】 1. (a)光検出器のアレイを有し、該光検出器の各々が、積分期間中の光 検出の結果として該積分期間中にチャージを蓄積し、前記アレイが該積分期間中 に増加するチャージ容量を有するイメージャと、 (b)前記イメージャに結合され、少なくとも1つ前の積分期間中の前記イメ ージャによって検出された輝度分散に基づいて、前記イメージャが前記アレイの チャージ容量をどのように増加させるかを調整するチャージ容量コントローラと 、を含むイメージングシステム。 2.前記イメージャが、前記積分期間の後、前記光検出器の各々によって蓄積 されたチャージに従って映像フレームを提供し、 前記イメージャが、どのように機能を変えるかを指定した機能情報及び機能に 従って、前記積分期間中に前記アレイのチャージ容量を増加させ、 前記チャージ容量コントローラが、前記イメージャによって提供される少なく とも1つ前の映像フレームの輝度分散に従って機能情報を発生させる関数発生器 を含む請求項1記載のイメージングシステム。 3.前記チャージ容量コントローラが、更に、前記イメージャに及び前記関数 発生器に結合されたヒストグラマを含み、前記ヒストグラマは、前記イメージャ によって提供され且つ輝度分散を含むヒストグラムを関数発生器に提供する映像 フレームを受信する請求項2記載のイメージングシステム。 4.前記チャージ容量コントローラは、ヒストグラム等化/投影ブロックを更 に含み、前記ヒストグラマ及び前記イメージャに結合され、前記ヒストグラム等 化/投影ブロックは、現在の映像フレームのためにヒストグラムを使用して、モ ニタ上の映像フレームの情報をもった内容を最適に表示する請求項3記載のイメ ージングシステム。 5.前記チャージ容量コントローラが、更にコントラストコレクタを含み、前 記関数発生器が逆関数情報を発生させ、該コントラストコレクタが前記イメージ ャによって提供される映像フレーム受信し、前記関数発生器によって提供された 逆関数情報を受信し、前記積分期間中に増加された前記光検出器のアレイのチャ ージ容量によって引き起こされた映像フレーム内の影響を除去する逆関数情報を 使用する請求項2記載のイメージングシステム。 6.前記イメージャが、前記積分期間の第一の部分で前記光検出器のアレイに 第一のチャージ容量制御電圧を、前記第一の部分の後で前記光検出器のアレイに 第二のチャージ容量制御電圧を加えることによって、前記積分期間中に前記光検 出器のアレイのチャージ容量を増加させ、第一の部分の長さは前記関数発生器に よって提供される機能情報に従って決定され、前記第二のチャージ容量制御電圧 は前記第一のチャージ容量制御電圧より大きい請求項2記載のイメージングシス テム。 7.前記関数発生器が、前記イメージャによって提供された最も近い前の映像 フレームの輝度分散に従って機能情報を発生させ、 前記最も近い前の映像フレームの中で最も明るいオブジェクトの輝度レベルを 有し且つ積分期間中にイメージャの光検出器に影響を与える光が、積分期間の終 わりで光検出器のチャージ容量を越えて蓄積するチャージを引き起こさないよう に、該機能情報が前記関数発生器によって発生される、 請求項2記載のイメージングシステム。 8.光が、前記積分期間の終わりで、チャージが光検出器のチャージ容量にち ょうど到達するがそれを越えないことを引き起こすように、前記機能情報が関数 発生器によって発生される請求項7記載のイメージングシステム。 9.前記イメージャが、バーチャルゲート埋設n−チャネル光検出器のアレイ を有する相補型金属酸化膜半導体イメージャであり、前記光検出器の各々が、前 記光検出器に加えられるチャージ容量制御電圧の大きさに関連したチャージ容量 を有する請求項1記載のイメージングシステム。 10.前記イメージャが、アレイチャージ結合デバイス(CCD)光検出器を 含み、該CCD光検出器の各々が、該CCD光検出器に加えられるチャージ容量 制御電圧の大きさに関連したチャージ容量を有する請求項1記載のイメージング システム。 11.光検出器のアレイを有するイメージャに結合したチャージ容量コントロ ーラを含み、該光検出器の各々が、積分期間中に検出された光の結果として該積 分期間中にチャージを蓄積し、該アレイが該積分期間中に増加するチャージ容量 を有しており、少なくとも1つ前の積分期間中に、該イメージャによって検出さ れた輝度分散を基礎として該チャージ容量コントローラが、該イメージャがアレ イのチャージ容量をどのように増加させるかを調整するイメージングシステム。 12.(a)積分期間中の検出される光の結果として、積分期間中に光検出器 の各々がチャージを蓄積する、イメージャの光検出器のアレイのチャージ容量を 増加させるステップと、 (b)少なくとも1つ前の積分期間中に、前記イメージャによって検出される 輝度分散を基礎にして、前記アレイのチャージ容量がどのように増加させられる かを調整するステップと、を含む方法。 13.(a)積分期間中に検出される光の結果として、積分期間中に光検出器 の各々がチャージを蓄積する、イメージャの光検出器のアレイのチャージ容量を 増加させる手段と、 (b)少なくとも1つ前の積分期間中に、前記イメージャによって検出される 輝度分散を基礎にして、前記アレイのチャージ容量がどのように増加させられか を調整する手段と、を含むイメージングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/867,652 US6101294A (en) | 1997-06-02 | 1997-06-02 | Extended dynamic imaging system and method |
US08/867,652 | 1997-06-02 | ||
PCT/US1998/011106 WO1998056006A1 (en) | 1997-06-02 | 1998-06-01 | Extended dynamic range imaging system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002502577A true JP2002502577A (ja) | 2002-01-22 |
Family
ID=25350206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP50264999A Ceased JP2002502577A (ja) | 1997-06-02 | 1998-06-01 | 拡張ダイナミックレンジイメージングシステム及びその方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US6101294A (ja) |
EP (1) | EP0986816B1 (ja) |
JP (1) | JP2002502577A (ja) |
AU (1) | AU7805298A (ja) |
DE (1) | DE69828046T2 (ja) |
TW (1) | TW373397B (ja) |
WO (1) | WO1998056006A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007074659A1 (ja) * | 2005-12-27 | 2007-07-05 | Kyocera Corporation | 映像信号処理方法および映像信号処理装置 |
JP2013138449A (ja) * | 2007-07-25 | 2013-07-11 | Tai Hyuk Nam | 画像システム用露出制御 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19743580B4 (de) * | 1997-10-02 | 2004-12-02 | Robert Bosch Gmbh | Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug |
US6678393B1 (en) * | 1997-12-23 | 2004-01-13 | Intel Corporation | Image selection based on image content |
EP1070423A1 (en) * | 1999-02-05 | 2001-01-24 | Koninklijke Philips Electronics N.V. | Histogram equalization |
US6977685B1 (en) * | 1999-02-26 | 2005-12-20 | Massachusetts Institute Of Technology | Single-chip imager system with programmable dynamic range |
US6472653B1 (en) * | 1999-03-22 | 2002-10-29 | Sarnoff Corporation | Method and apparatus to extend dynamic range of time delay and integrate charge coupled devices |
JP4292679B2 (ja) * | 1999-05-10 | 2009-07-08 | コニカミノルタホールディングス株式会社 | 固体撮像装置 |
CA2359053C (en) * | 1999-11-08 | 2004-04-06 | Casio Computer Co., Ltd. | Photosensor system and drive control method thereof |
US6867811B2 (en) * | 1999-11-08 | 2005-03-15 | Casio Computer Co., Ltd. | Photosensor system and drive control method thereof |
JP2001218113A (ja) * | 2000-02-02 | 2001-08-10 | Minolta Co Ltd | 固体撮像装置 |
EP1305939A1 (en) | 2000-07-28 | 2003-05-02 | Smal Camera Technologies, INC. | Precise mos imager transfer function control for expanded dynamic range imaging |
AU2002258369A1 (en) * | 2000-12-19 | 2002-09-19 | Smal Camera Technologies, Inc. | Compact digital camera system |
EP1352518B1 (en) * | 2001-01-11 | 2009-03-04 | Smal Camera Technologies, INC. | Adaptive sensitivity control, on a pixel-by-pixel basis, for a digital imager |
US7129975B2 (en) * | 2001-02-07 | 2006-10-31 | Dialog Imaging System Gmbh | Addressable imager with real time defect detection and substitution |
JP2005510900A (ja) * | 2001-08-24 | 2005-04-21 | ディアローク・セミコンダクター・ゲーエムベーハー | 完全に集積化されたソリッドステート撮像素子およびカメラ回路 |
JP2004062651A (ja) * | 2002-07-30 | 2004-02-26 | Canon Inc | 画像処理装置、画像処理方法、その記録媒体およびそのプログラム |
US7173666B1 (en) | 2002-08-22 | 2007-02-06 | Smal Camera Technologies | System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor |
AU2003253214A1 (en) * | 2002-09-09 | 2004-03-29 | Koninklijke Philips Electronics N.V. | Method of signal reconstruction, imaging device and computer program product |
US7264847B2 (en) * | 2003-02-19 | 2007-09-04 | Robert P. Bentley, Sr. | Lower alkyl carboxylic acid moieties for preventing oxidative corrosion of metals and organoleptic stabilizer for food and beverages |
US20050083421A1 (en) * | 2003-10-16 | 2005-04-21 | Vladimir Berezin | Dynamic range enlargement in CMOS image sensors |
US7110046B2 (en) * | 2003-11-04 | 2006-09-19 | Cyberlink Corp. | Method for dynamically adjusting video brightness |
US7057147B1 (en) | 2003-12-17 | 2006-06-06 | Itt Manufacturing Enterprises Inc. | Imaging system and method for collecting energy from at least two sensing elements adjacent one another between rows of sensing elements |
US20050212936A1 (en) | 2004-03-25 | 2005-09-29 | Eastman Kodak Company | Extended dynamic range image sensor with fixed pattern noise reduction |
US7259413B2 (en) * | 2004-09-28 | 2007-08-21 | Micron Technology, Inc. | High dynamic range image sensor |
US20060082670A1 (en) * | 2004-10-14 | 2006-04-20 | Eastman Kodak Company | Interline CCD for still and video photography with extended dynamic range |
US7512269B2 (en) * | 2005-08-04 | 2009-03-31 | Asaf Golan | Method of adaptive image contrast enhancement |
US7894686B2 (en) * | 2006-01-05 | 2011-02-22 | Lsi Corporation | Adaptive video enhancement gain control |
FR2898234B1 (fr) * | 2006-03-06 | 2008-06-13 | Tietronix Optics Soc Par Actio | Procede et dispositif d'elaboration d'images non saturees par une camera a transfert de charge ou equivalente |
JP2008153737A (ja) * | 2006-12-14 | 2008-07-03 | Toshiba Corp | 映像信号処理装置および映像信号処理方法 |
US7796171B2 (en) * | 2007-02-16 | 2010-09-14 | Flir Advanced Imaging Systems, Inc. | Sensor-based gamma correction of a digital camera |
US7956914B2 (en) | 2007-08-07 | 2011-06-07 | Micron Technology, Inc. | Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation |
US20100271517A1 (en) * | 2009-04-24 | 2010-10-28 | Yannick De Wit | In-pixel correlated double sampling pixel |
US8576292B2 (en) * | 2010-04-30 | 2013-11-05 | Exelis, Inc. | High dynamic range approach for a CMOS imager using a rolling shutter and a gated photocathode |
JP6258852B2 (ja) * | 2011-09-12 | 2018-01-10 | グーグル エルエルシー | コンテンツを拡張するためのシステム |
US9531976B2 (en) | 2014-05-29 | 2016-12-27 | Semiconductor Components Industries, Llc | Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions |
US9888198B2 (en) | 2014-06-03 | 2018-02-06 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities |
US9467633B2 (en) | 2015-02-27 | 2016-10-11 | Semiconductor Components Industries, Llc | High dynamic range imaging systems having differential photodiode exposures |
US9686486B2 (en) | 2015-05-27 | 2017-06-20 | Semiconductor Components Industries, Llc | Multi-resolution pixel architecture with shared floating diffusion nodes |
US10257448B1 (en) | 2015-08-18 | 2019-04-09 | Sri International | Extended dynamic range imaging sensor and operating mode of the same |
US10827139B2 (en) | 2015-08-18 | 2020-11-03 | Sri International | Multiple window, multiple mode image sensor |
US11105925B2 (en) | 2017-03-01 | 2021-08-31 | Ouster, Inc. | Accurate photo detector measurements for LIDAR |
KR20230169420A (ko) * | 2017-03-01 | 2023-12-15 | 아우스터, 인크. | 라이더를 위한 정확한 광검출기 측정 |
CN115776614B (zh) * | 2023-02-08 | 2023-05-12 | 昆明昆科测控技术有限公司 | 焦平面成像系统最佳积分时间计算系统及其工作方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3953733A (en) * | 1975-05-21 | 1976-04-27 | Rca Corporation | Method of operating imagers |
US4392157A (en) * | 1980-10-31 | 1983-07-05 | Eastman Kodak Company | Pattern noise reduction method and apparatus for solid state image sensors |
US4523326A (en) * | 1983-01-17 | 1985-06-11 | Hughes Aircraft Company | Low noise charge coupled imager circuit |
JPS6020687A (ja) * | 1983-07-15 | 1985-02-01 | Nippon Kogaku Kk <Nikon> | 電子スチルカメラ |
US5117726A (en) * | 1990-11-01 | 1992-06-02 | International Business Machines Corporation | Method and apparatus for dynamic midi synthesizer filter control |
JPH04225687A (ja) * | 1990-12-27 | 1992-08-14 | Sharp Corp | 撮像装置 |
JP3271069B2 (ja) * | 1991-05-31 | 2002-04-02 | ソニー株式会社 | Ccd固体撮像装置の調整方法 |
JPH0965217A (ja) * | 1995-08-22 | 1997-03-07 | Nec Corp | 固体撮像装置およびその駆動方法 |
-
1997
- 1997-06-02 US US08/867,652 patent/US6101294A/en not_active Expired - Lifetime
-
1998
- 1998-05-27 TW TW087108230A patent/TW373397B/zh not_active IP Right Cessation
- 1998-06-01 JP JP50264999A patent/JP2002502577A/ja not_active Ceased
- 1998-06-01 DE DE69828046T patent/DE69828046T2/de not_active Expired - Lifetime
- 1998-06-01 AU AU78052/98A patent/AU7805298A/en not_active Abandoned
- 1998-06-01 EP EP98926148A patent/EP0986816B1/en not_active Expired - Lifetime
- 1998-06-01 WO PCT/US1998/011106 patent/WO1998056006A1/en active IP Right Grant
-
2000
- 2000-08-02 US US09/631,229 patent/US7020353B1/en not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007074659A1 (ja) * | 2005-12-27 | 2007-07-05 | Kyocera Corporation | 映像信号処理方法および映像信号処理装置 |
JP2007180811A (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corp | 映像信号処理方法および映像信号処理装置 |
JP4607006B2 (ja) * | 2005-12-27 | 2011-01-05 | 京セラ株式会社 | 映像信号処理方法および映像信号処理装置 |
US8009224B2 (en) | 2005-12-27 | 2011-08-30 | Kyocera Corporation | Image signal processing method and image signal processing device |
JP2013138449A (ja) * | 2007-07-25 | 2013-07-11 | Tai Hyuk Nam | 画像システム用露出制御 |
Also Published As
Publication number | Publication date |
---|---|
TW373397B (en) | 1999-11-01 |
US7020353B1 (en) | 2006-03-28 |
AU7805298A (en) | 1998-12-21 |
US6101294A (en) | 2000-08-08 |
EP0986816A4 (en) | 2000-03-22 |
DE69828046D1 (de) | 2005-01-13 |
EP0986816B1 (en) | 2004-12-08 |
WO1998056006A1 (en) | 1998-12-10 |
EP0986816A1 (en) | 2000-03-22 |
DE69828046T2 (de) | 2005-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002502577A (ja) | 拡張ダイナミックレンジイメージングシステム及びその方法 | |
JP3801126B2 (ja) | 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム | |
US7796171B2 (en) | Sensor-based gamma correction of a digital camera | |
JP4607006B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
US7948538B2 (en) | Image capturing apparatus, image capturing method, exposure control method, and program | |
US8144214B2 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
US8194153B2 (en) | Imaging apparatus, imaging method and program | |
US7612813B2 (en) | Auto exposure for digital imagers | |
JP4372747B2 (ja) | 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体 | |
US8009206B2 (en) | Adaptive sensitivity control, on a pixel-by-pixel basis, for a digital imager | |
CN100401749C (zh) | 图像处理装置和方法 | |
JP2005510900A (ja) | 完全に集積化されたソリッドステート撮像素子およびカメラ回路 | |
JP2008245096A (ja) | 撮像装置、映像信号処理装置及び映像信号処理方法 | |
EP0290264A2 (en) | Video camera | |
KR100639155B1 (ko) | 영상 시스템의 동적 범위를 확장하기 위한 시스템 및 방법 | |
JP3788997B2 (ja) | 画像信号処理装置 | |
JP2010119035A (ja) | 撮像装置 | |
JP2001008111A (ja) | 固体撮像装置 | |
JP2006237789A (ja) | 撮像装置 | |
JP2001008096A (ja) | ビデオカメラ | |
JP2012147060A (ja) | 画像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A313 | Final decision of rejection without a dissenting response from the applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A313 Effective date: 20090303 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090512 |