JP2005510900A - 完全に集積化されたソリッドステート撮像素子およびカメラ回路 - Google Patents
完全に集積化されたソリッドステート撮像素子およびカメラ回路 Download PDFInfo
- Publication number
- JP2005510900A JP2005510900A JP2003524161A JP2003524161A JP2005510900A JP 2005510900 A JP2005510900 A JP 2005510900A JP 2003524161 A JP2003524161 A JP 2003524161A JP 2003524161 A JP2003524161 A JP 2003524161A JP 2005510900 A JP2005510900 A JP 2005510900A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel array
- histogram
- reset sequence
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 239000007787 solid Substances 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000006872 improvement Effects 0.000 claims description 11
- 230000009977 dual effect Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- 230000010354 integration Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 238000005513 bias potential Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
発明の技術分野
本発明は、撮像装置、特に、低電力を必要とし、高品質画像を与える単一チップ上に形成される撮像素子および制御回路を含むCMOS撮像装置に関する。
【0002】
発明の背景
従来、監視装置は、ビデオ画像を得るためのシェルフ撮像素子を用いている。典型的に、これら撮像素子は、一般に小さくなく、外部電源を必要としている。また、これらの監視装置は、得られたビデオが、明るい背景に対して暗い前景、あるいは暗い背景に対して明るい前景を有する場合、明瞭な画像を与えない。このようなビデオ画像をモニタ上で観察した場合、ビデオ画像からわずかな情報しか得られない。
【0003】
さらに、電荷結合デバイス(CCD)撮像素子および相補型金属酸化物半導体(CMOS)撮像素子を含めて、今日、種々のタイプの撮像素子が用いられている。これらの撮像装置は、画素のアレイを備え、各画素は、フォトダイオードのような感光センサ素子を有している。
【0004】
CMOS撮像素子は、典型的に、アクティブ画素センサのアレイと、このアレイの画素撮像素子の或る列の出力をサンプルし、ホールドする相関ダブルサンプリング回路または増幅器の列とを用いている。アクティブ画素センサ(APS)という用語は、トランジスタのようなアクティブ・デバイスが、各画素に結合されている電子画像センサを表している。APSデバイスは、典型的に、CMOS技術を用いて作製される。
【0005】
CMOS撮像装置では、各フォトダイオードは、フォトダイオードに到達する光の強度に従って、光集積期間中に、電荷、したがって電圧を蓄積する。電荷が蓄積されるにつれて、フォトディテクタは、満たされ始める。CMOS撮像装置では、逆バイアスされたフォトダイオードのキャパシタンスに一時的に記憶された電圧は、光電子によって発生された負電荷に従って低下する。光集積期間の終了時におけるフォトダイオード上の電荷の蓄積量は、その画素位置に対する画素値である。しかし、光集積期間の終了前に、フォトディテクタが満杯になり、および光子がフォトディテクタにさらに入射しても、電荷はさらには蓄積され得ない。したがって、例えば、フォトディテクタに供給された非常に明るい光は、光集積期間の終了前に、フォトディテクタを満杯にし、したがって飽和し、情報が失われる。
【0006】
CCD撮像装置では、画素セルに蓄積できる電荷の量は、フォトゲート下の空乏ウェルの深さによって制限される。空乏ゲートは、フォトゲートにポテンシャルを与えることによって形成される。フォトゲートは、フォトゲート下の半導体基板からの多数キャリアを阻止する。フォトゲートが光子にさらされ、光電子が発生すると、フォトゲート下のウェルの深さは減少する。CMOSフォトダイオードの場合、CCDフォトゲートが明るい照明を受けると、飽和し、画像内の比較的明るい対象についての情報の喪失につながる。
【0007】
2000年3月21日にLevine等に付与された米国特許第6,040,570号は、上述した飽和の問題を避けるようにAPS撮像素子を動作する方法を開示している。この方法によれば、撮像素子のためのバイアス・ポテンシャルを、2段階で供給している。第1のポテンシャルは、画素がリセットされるときに、光集積期間の開始の前に供給され、電荷は、光集積期間の第1の副期間の間蓄積される。この第1の副期間の間、画像の明るい領域は、撮像素子の一部分のフォトディテクタを飽和させる。光集積期間の第2の副期間には、フォトダイオードまたはフォトゲートに供給されるバイアス電圧が、変更されて、画素の電荷容量を増大させる。すでに飽和している画素は、この第2の副期間に、より多くの電荷を蓄積して、第1の副期間の間に飽和した他の画素に対して電荷差分を与える。光集積期間の終了時での各画素上の蓄積電荷は、その画素に対する画像信号として与えられる。したがって、各画素、したがって完全な撮像素子のダイナミックレンジは、拡大されて、1光集積期間あたり、より多くの情報を与える。
【0008】
さらに、1999年9月7日にMcCafferyに付与された米国特許第5,949,918号は、APS撮像素子,ビデオ・プロセッサ,デュアルポート・メモリを用いて、画像強化を実現する方法を開示している。ビデオ・プロセッサは、ヒストグラミング動作を実行して、画像用の累積分布関数(CDF)に基づいて、ルックアップテーブルを作成する。このルックアップテーブルは、画素値を再量子化して、画像内の明るいおよび/または暗い対象において、密に配列された画素値間の差を増大させる。画像データが、ビデオ・プロセッサによって受取られると、画像データは、ルックアップテーブルによって処理され、画像の背景または前景の強度がどうであろうと、ビデオ・ディスプレイ上で見えるデータの量を増大させる。
【0009】
低コスト,低電力の撮像素子を提供するには、単一チップCMOS撮像素子において、これら両方の処理を用いることが望ましい。
【0010】
発明の概要
本発明は、単一集積回路上に作製されるCMOS撮像装置である。この装置は、シーンを表す信号を与える拡大ダイナミックレンジ(XDR)の画素のアレイを有するAPS撮像素子を備えている。この装置は、さらに、画像の制御可能な関数を計算して、この制御可能な関数を用いて、撮像素子の拡大ダイナミックレンジを調整し、および撮像素子から受信した信号を、制御可能な関数に従って再量子化する。
【0011】
本発明の一態様によれば、画像プロセッサは、撮像素子に与えられるバイアス・ポテンシャルを制御するヒストグラミング関数を含み、拡大されたダイナミックレンジの特徴を実現する。
【0012】
本発明の他の態様によれば、撮像装置は、制御可能な関数および処理されたビデオ信号を記憶するメモリを備える。メモリは、画像信号のフルフレームを記憶し、画像フレームを2つのシーケンシャル・フィールドとして与える。
【0013】
本発明のさらに他の態様によれば、撮像装置は、撮像素子によって与えられるビデオ画像を、標準フォーマットに変換する回路を備えている。
【0014】
本発明のさらに他の態様によれば、撮像装置は、ライン電流と同期して撮像装置をトリガする電力モニタ回路を備える。
【0015】
図面の詳細な説明
図1は、本発明の撮像装置の一実施例のハイレベル・ブロック図である。種々の要素のすべては、工業標準のCMOSプロセスを用いて、単一のシリコン・ウェハ上に作製することができる。撮像装置100は、アクティブ画素センサ(APS)撮像素子110を有している。APS撮像素子110は、フォトディテクタのアレイを有し、アレイは、例えば640(H)×480(V)のフォトダイオード・アレイとすることができる。本発明の実施例では、各フォトダイオードは、順次走査モードでサンプリングされ、連続する640×480画素の画像フレームを、1秒あたり30フレームの速度で形成する。撮像装置110は、順次走査ビデオ・フレームを、インタレース走査ビデオ・フィールドに、1秒あたり60フィールドの速度で変換する。順次走査フレームからインタレース走査フィールドを形成するこの方法は、垂直ドット・クロールおよび30hzアーティファクトのような、モーション・アーティファクトを軽減するのを助ける。APS撮像素子110は、Levine等に付与された米国特許第6,040,570号に開示されたような撮像素子とすることができ、拡大されたダイナミックレンジのサンプル・ホールド回路111の列と、線形のサンプル・ホールド回路112の列とを有する。フォトディテクタまたは画素エレメントの出力は、可視アナログ信号に変換される前に、さらなる処理のためにASIC120に送られる。
【0016】
入力電圧は、3.3ボルト・レギュレータ150に供給され、そしてチャージポンプ160に供給される。チャージポンプは、ASIC120および他の回路のための動作電圧を与える。本発明の実施例では、チャージポンプ160は、レギュレータ150によって与えられた3.3ボルトを増大させて、APS撮像素子110に5ボルトの信号を与える。APS撮像素子110用のこの増大された電源電圧は、APS撮像素子が広いダイナミックレンジを有するビデオ信号を形成することを可能にする。というのは、より大きな電圧レベルが、拡大されたダイナミックレンジの回路に利用できるからである。3.3ボルト・レギュレータ150は、また、ウォッチドッグ回路170に信号を供給する。この回路は、ASIC120に、起動信号を与える。クリーンな起動パルスを供給し、ASIC120による迅速な応答を許容するウォッチドッグ回路170は、必要に応じてASIC120をトリガする。このことは、最初のトリガの後に、非常に短時間でシーンを取込むことを可能にする。本発明の実施例では、ウォッチドッグ回路170は、交流(AC)ライン電圧に応答して、60Hzの速度でトリガ・パルスを与える。以下に説明するように、これらのパルスは、ASIC120によって、30Hzのパルスに変換されて、APS撮像素子110からの順次走査画像データを取出す。60Hzパルスは、各フィールド画像が、記憶されたフレーム画像からいつ与えられるべきかを指示するために、用いられる。
【0017】
画素リセット回路180は、APS撮像素子110の各画素エレメントに、要求に応じて、バイアス・ポテンシャルを供給し、センサを拡大されたダイナミックレンジのモードで動作させるために用いられる。画素リセット回路180は、ヒストグラミング関数によって発生された信号に応答して、ASIC120によって制御される。
【0018】
デュアルポート・スタティック・ランダム・アクセス・メモリ(SRAM)130、およびビデオ・デジタル/アナログ・コンバータ(DAC)140は、ASIC120に接続される。SRAM130は、デュアル・ポートであるので、ASIC120から送られてきたフレーム・データと、画素処理のために必要とされるルックアップ・テーブル(LUT)とを記憶し、同時に、記憶された画像データを、ビデオDAC140に与えることができる。
【0019】
ASIC120は、記憶された順次走査画像の偶数ラインのみを選択し、水平および垂直同期信号を付加し、DAC140に複合信号を与えて、偶数画像フィールドを形成する。同様にして、ASIC120は、記憶されたフレームの奇数ラインを処理して、これらをDAC140に与え、奇数画像フィールドを形成する。奇数画像フィールドがDACに与えられると、ASIC120は、次の順次走査フレームを、SRAM130に記憶させる。本発明の実施例では、DAC140は、モノクローム・アナログ・ビデオ信号を与える。このビデオ信号は、工業標準の装置上に表示および/または記録するための工業標準フォーマット(例えば、RS−170)に合致している。
【0020】
ASIC120は、APS撮像素子110,メモリ130,DAC140を制御する回路と、APS撮像素子110によって収集された画素データを処理する回路とを有している。図2に示すように、ASIC120は、クロック回路212からクロック信号210を受信する。ASIC120内のタイミング機能214は、クロック信号210を用いて、画素リセット回路180を制御し、およびメモリ130の読取り/書込み動作を制御する。ASIC120は、また、水平および垂直同期信号を発生させるタイミング機能と、メモリ制御およびヒストグラム・ブロック216によって実行されるすべてのビデオ処理とを用いている。
【0021】
出力制御ブロック218は、水平および垂直同期信号を、メモリ130から読取られたインタレース・ビデオ信号に加え、複合信号をビデオDAC140に送る。この複合信号は、RS−170標準にコンプレイントな複合ビデオ出力となる。
【0022】
メモリ制御およびヒストグラム・ブロック216は、例えば、1999年9月7日にMcCaffreyに付与された米国特許第5,949,918号に開示されたビデオ処理を行うことができる。ビデオ・データの疑似ランダム・サンプリングを行って、輝度レベルのヒストグラムを作成する。このヒストグラムは、累積分布関数(CDF)に変換され、メモリ130に記憶される。ルックアップ・テーブル(LUT)220が、CDFに基づいて作成され、同様にメモリ130に記憶される。画素データの各ユニットは、LUT220を用いてASIC120によって処理されて、各フレーム内の可視データを増大させる。
【0023】
関連特許に開示されているように、LUT220は、撮像素子から戻された画素値を、メモリ130に記憶される出力画素値に変換する。LUT220は、画素値を再量子化し、密に配列された値の間に差を生じさせる。例えば、第1画像のヒストグラム関数によって生成されたCDFは、画像が、i)比較的暗い画像データのみ、ii)比較的明るい画像データのみ、iii )暗い画像データと明るい画像データとの間の画素値を有する無視できるデータを持つ、暗い画像データと明るい画像データとの混合を示すならば、ASIC120は、LUTを発生する。このLUTは、或る暗い画素値および/または明るい画素値を、より明るい値および/またはより暗い値に、それぞれ変換して、大きな変異を示さない画像の領域内に、より大きいコントラストを与える。この変換は、画素の相対値に基づく。このように、画像内のより明るい画素は、明るく保持され、より暗い画素は、暗く保持される。
【0024】
本発明の実施例では、メモリ制御およびヒストグラム回路216は、各受信画像に対し、CDFおよびLUTを形成する。しかしLUTは、それが形成された画像には用いられず、むしろ次に続く画像に用いられる。しかし、他の方法を用いることができることが考えられる。例えば、ヒストグラム関数は、N番目(Nは、整数であり、例えば10)の画像毎にのみ、LUTを形成することができる。あるいはまた、ヒストグラム関数は、解析のための1つのフレーム期間と、LUTを作成するための他のフレームとを用いることができる。この他の実施例では、LUTは、シーケンスにおける次の画像に対しては用いられず、LUTを作成するために用いられた画像の後に発生する第2の画像に対して用いられる。
【0025】
本発明の一実施例では、メモリ制御およびヒストグラム回路216は、画素リセット回路180と相互に作用して、処理された画像データが、最小の量子化歪みで良好なダイナミックレンジを示すことを保証する。この相互作用は、図4A〜図4D,図5に基づいて、以下に説明する。
【0026】
図3は、本発明の一実施例のブロック図である。図3は、撮像装置100内のデータおよび制御信号の流れを示す。上述したように、ASIC120は、APS撮像素子110に、タイミングおよび制御信号302を送る。APS撮像素子110は、個々の画像フレームよりなるシーケンスの形で、画像データ303を形成し、処理のためにASIC120に送る。フレーム(ビデオ)304のシーケンスは、CDF306と共に送られ、メモリ130に記憶される。次に、ASIC120は、順次走査ビデオを処理し、インタレース・モードで画像を読取る。ASIC120は、制御信号および他の必要な信号を、インタレース・ビデオ308に加え、ビデオ308をビデオDAC140に送る。DACは、信号を、アナログ複合ビデオ信号310として、順次出力する。図3に示すすべての機能ブロックは、CMOSプロセスを用いて、単一チップ上に作製される。
【0027】
図4A〜図4Dは、ヒストグラミング機能216と、リセット回路180との間の相互作用を説明するのに有用である。曲線410,412,414,416は、異なる照度を示している。曲線410は最も強く、曲線416は最も弱い。時刻Itは、画素に入射する光が集積される期間を示している。図4Aに示すように、照度レベル410,412,414は、時刻ITで等しくなる。というのは、これら各照度は、撮像素子を飽和させるからである。上述したLevineの米国特許に開示されているように、撮像素子のコントラストを増大させるために用いることのできる1つの方法は、光集積期間の前半部分の間に撮像素子を第1レベルにリセットし、次に、光集積期間の後半部分の間にリセットレベルを増大させることである。
【0028】
図4Bに示すように、撮像素子はリセットされて、光集積期間の開始時に、P1の電荷蓄積ポテンシャルを有するようになる。時刻T1で、電荷蓄積ポテンシャルは、P2に増大し、追加の電荷が撮像素子に蓄積するのを許容する。図4Bに示すように、照度レベル410のみが、画像を飽和させる(すなわち410A)。照度レベル412,414は、増大されたリセット・ポテンシャルの故に、別個のレベルとして区別できる。これらのポテンシャルは、区別できるとしても、410より大きい照度レベルは、区別できず、最終照度レベル間の差の大きさは、照度の相対レベルを表していない。
【0029】
図4Cに示すように、他のリセット・ポテンシャル(P3)を加えることは、より大きな照度レベルを、区別することを可能にするが、相対照度間の差を増大しない。図4Dに示すように、さらに他のリセット・レベル(P4)を加えることは、検出できる照度レベルを増大させ、および出力値の範囲を越えて、これらの照度レベルを拡大させる。410″,412′,414′,416は、それらの出力値で容易に区別されることがわかる。
【0030】
本発明は、リセット・レベルの操作を、ヒストグラミング回路と組合わせて、増大したコントラストを有する画像を撮像素子110から得る。本発明の実施例では、個々のリセット・レベルおよびタイミングは固定され、ASICは画素リセット回路に、2ビット値を用いて、特定のリセット・レベルを供給するように指示する。リセット・レベルを供給するタイミングは、予め定めることができ、あるいは図5に基づいて説明されるプロセスの一部として、調整することができる。本発明の実施例では、撮像装置は、撮像素子にリセット・ポテンシャルのシーケンスを供給して、良好なダイナミックレンジを有する画像を得るようにする。このシーケンスは、図4Aに示すように、1つのポテンシャルとすることができ、あるいは図4B〜図4Dに示すように、ポテンシャルの順次組合わせとすることができる。このリセット・ポテンシャル設定は、各新しい画像が受信されると、連続的に更新される。ヒストグラミング情報と共に、各画像から形成されたリセット・ポテンシャル設定が、次の画像に供給される。ヒストグラミング関数に基づいて、リセット・ポテンシャルのシーケンスをどのように変更するかの決定を、図5のフローチャート図に示す。
【0031】
このフローチャートの第1のステップ510では、ASIC120は、撮像素子アレイ110から画像を受取り、ヒストグラムを形成する。ステップ512で、画像が、小さいダイナミックレンジの明るい領域を含むか否かを決定する。この決定は、例えば、画像のヒストグラムが、撮像素子に対する最大明るさレベルに、またはその近傍に(例えば10%以内)ある非常に多数の画素(例えば、100個以上)を有する場合に、行われる。
【0032】
このような領域が存在しないならば、撮像素子は、小さいダイナミックレンジ、したがって各画像レベルに対して大きい量子化分解能を有するリセット・シーケンスの使用から利益を得ることができる。この例では、ステップ520が、現在使用中のリセット・シーケンスが、最初のシーケンス、すなわち最小のダイナミックレンジに相当するシーケンスであるか否かを決定する。最小のダイナミックレンジに相当するシーケンスであるならば、さらなる改善は不可能であり、制御は、プロセスの終了であるステップ526に移る。現在のシーケンスが最初のシーケンスでないならば、ステップ522が実行される。このステップでは、シーケンスが以前に変更されたか否かを決定し、変更されたならば、画像に改善があったか否かを決定する。画像の改善は、例えば、現在の画像のヒストグラムの最大レベルを、直前の画像の対応レベルと比較することによって、調べることができる。現在の画像が、より明るい対象を有するならば、画像を改善したリセット・シーケンスを変更する。ステップ522で、以前にシーケンス変更があったが、画像の改善がないならば、制御はステップ526に移る。改善があれば、ステップ524が実行される。このステップでは、リセット・シーケンスを、次に小さいダイナミックレンジに相当するシーケンスに変更し、制御をステップ526に移す。
【0033】
ステップ512で、比較的大きい明るい領域が存在するならば、撮像素子は、より大きいダイナミックレンジを有するリセット・シーケンスの使用から利益を得ることができる。この例では、ステップ514は、現在使用中のリセット・シーケンスが最終シーケンス、すなわち最大のダイナミックレンジに相当するシーケンスであるか否かを決定する。最終シーケンスであるならば、更なる改善は不可能であり、制御は、ステップ526に移る。現在のシーケンスが、最終シーケンスでないならば、ステップ516が実行される。このステップでは、シーケンスが以前に変更されたか否かを決定し、変更されたならば、画像に改善があったか否かを決定する。画像の改善は、例えば、現在の画像のヒストグラムの最大レベルでの画素の数を、直前の画像の対応する画素数と比較することによって、調べることができる。現在の画像が、このレベルで以前の画像よりも少ない画素を有するならば、リセット・シーケンスを変更することは、画像を改善する。ステップ516で、以前にシーケンスの変更があり、画像に改善がなければ、ステップ526に移る。改善があれば、ステップ518が実行される。このステップでは、リセット・シーケンスを、次に大きいダイナミックレンジに相当するシーケンスに変更し、制御をステップ526に移す。
【0034】
ASIC120がリセット・シーケンスを調整するのと同時に、ASICはまた、ヒストグラミング動作を実行する。したがって、画像の全コントラストと量子化分解能とは、最善の可能な値に達するまで、繰り返し増大される。カメラは、画像品質を連続的にモニタし、XDRパラメータおよびヒストグラムLUTを調整するので、カメラは、周囲の明るさの状態に、連続して調整される。
【0035】
撮像装置を、ビデオ信号のダイナミックレンジを調整する適応方法によって説明したが、撮像装置を、プログラマブル装置として構成できることが考えられる。監視の応用例では、例えば、それぞれ異なったリセット・シーケンスおよびLUTを、一定の走査パス,1日のうちの時刻,1年のうちの日におけるカメラ位置に基づいて決定できる。これらのパラメータは、ASIC120にプログラムすることができ、あるいは例えば1ビットI2 Cバスによって、ASIC120に対し外部に設けることができる。したがって、撮像装置は、最適画像を作製する所定の基準に従って、プログラムすることができる。
【0036】
本発明を、1つ以上の実施例によって説明したが、概説したように、本発明の範囲内で、実施できることが予測される。
【図面の簡単な説明】
本発明は、発明の詳細な説明を、添付の図面と共に読むことによって、最も良く理解される。通常の方法に従い、図面の要素はスケールとおりでないことを、強調しておく。逆に、種々の要素の寸法は、明瞭にするために任意に拡張しまたは縮小されている。図面には、以下の図が含まれている。
【図1】
図1は、本発明の一実施例のハイレベル・ブロック図である。
【図2】
本発明の一実施例に含まれる機能ブロックを示すブロック図である。
【図3】
本発明の一実施例における信号の流れを示すブロック図である。
【図4A】
図4Aは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図4B】
図4Bは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図4C】
図4Cは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図4D】
図4Dは、本発明の動作を説明するのに有用な電圧−時間のグラフである。
【図5】
図5は、本発明の動作を説明するのに有用なフローチャート図である。
Claims (17)
- 単一チップCMOS撮像装置であって、
シーンを表す信号を与える画素アレイと、
前記画素アレイから信号を受取る、拡大ダイナミックレンジのサンプル・ホールド回路の列と、
前記画素アレイから他の信号を受取る、線形のサンプル・ホールド回路の列と、
制御可能な関数を決定し、前記拡大ダイナミックレンジのサンプル・ホールド回路および前記線形のサンプル・ホールド回路から受取った複数の信号を、前記制御可能な関数に従って処理して、処理されたビデオ信号を形成する画像プロセッサと、
前記制御可能な関数および前記処理されたビデオ信号を記憶するメモリと、
を備える装置。 - 前記メモリは、デュアルポート・メモリである、請求項1に記載の装置。
- 前記画像プロセッサは、タイミング信号および制御信号を、前記画素アレイに送る、請求項1に記載の装置。
- 調整された電源をさらに備える、請求項1に記載の装置。
- 前記調整された電源から、タイミング信号を受信するウォッチドッグ回路を、さらに備える請求項4に記載の装置。
- 前記ウォッチドッグ回路からの出力は、前記画像プロセッサのためのトリガパルスを含む、請求項5に記載の装置。
- 前記画像プロセッサに接続され、前記処理された画像信号を所定のフォーマットに変換するディジタル/アナログ・コンバータをさらに備える、請求項1に記載の装置。
- 前記ディジタル/アナログ・コンバータからの出力は、インタレース・ビデオ信号である、請求項7に記載の装置。
- 前記ディジタル/アナログ・コンバータの出力は、RS−170コンプレイント・ビデオ信号である、請求項7に記載の装置。
- 前記画素アレイは、フォトディテクタ・アレイを含む、請求項1に記載の装置。
- 前記画素アレイは、アクティブ画素センサ・デバイスである、請求項1に記載の装置。
- 前記画像プロセッサは、i)撮像装置の位置、ii)撮像装置の走査経路、iii )1日のうちの時刻、iv)1年のうちの日の少なくとも1つに基づいて、プログラム可能である、請求項1に記載の装置。
- 撮像装置からの信号を処理する方法であって、
a)画像アレイから、シーンを表す画像を受取るステップと、
b)前記画像のヒストグラムを作成するステップと、
c)画像が、所定の明るさと所定のダイナミックレンジとを有する部分を含むか否かを、前記ヒストグラムに基づいて決定するステップと、
d)現在のリセット・シーケンスが、最初のリセット・シーケンスであるか否かを、前記ステップc)の結果に基づいて決定するステップと、
e)現在のリセット・シーケンスが変更されたか否かを、前記ステップd)の決定に基づいて決定し、および前記ステップa)で受取った画像が、直前の画像に対して改善された画像であるか否かを決定するステップと、
f)前記リセット・シーケンスを、前記ステップe)の結果に基づいて、変更するステップと、
を含む方法。 - g)現在のリセット・シーケンスが、最後のリセット・シーケンスから変更されたか否かを、前記ステップc)の結果に基づいて決定するステップと、
h)現在のリセット・シーケンスが以前に変更されたか否かを、前記ステップg)の結果に基づいて決定するステップと、
i)画像の改善があるか否かを、前記ステップh)の結果に基づいて決定するステップと、
j)前記リセット・レベルを、前記ステップi)の結果に基づいて変更するステップと、
をさらに含む、請求項13に記載の方法。 - 前記リセット・シーケンス調整の間に、ヒストグラミング動作を同時に実行するステップをさらに含む、請求項13に記載の方法。
- 前記ステップb)の決定は、前記画像アレイに対する最大の明るさレベルの約10%以内にある少なくとも100個の画素を有する画像のヒストグラムに基づく、請求項13に記載の方法。
- 前記ステップe)の決定は、前記ステップb)において作成されたヒストグラムの最大レベルと、直前の画像に対するヒストグラムの最大レベルとの比較に基づく、請求項13に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31482001P | 2001-08-24 | 2001-08-24 | |
PCT/US2002/026818 WO2003019829A2 (en) | 2001-08-24 | 2002-08-23 | Fully integrated solid state imager and camera circuitry |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005510900A true JP2005510900A (ja) | 2005-04-21 |
Family
ID=23221592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003524161A Ceased JP2005510900A (ja) | 2001-08-24 | 2002-08-23 | 完全に集積化されたソリッドステート撮像素子およびカメラ回路 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6992713B2 (ja) |
EP (1) | EP1522158A4 (ja) |
JP (1) | JP2005510900A (ja) |
KR (1) | KR20040029951A (ja) |
CN (1) | CN100389596C (ja) |
AU (1) | AU2002331688A1 (ja) |
WO (1) | WO2003019829A2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202908B2 (en) * | 2002-09-04 | 2007-04-10 | Darien K. Wallace | Deinterlacer using both low angle and high angle spatial interpolation |
US7782398B2 (en) * | 2002-09-04 | 2010-08-24 | Chan Thomas M | Display processor integrated circuit with on-chip programmable logic for implementing custom enhancement functions |
US7480010B2 (en) * | 2002-09-04 | 2009-01-20 | Denace Enterprise Co., L.L.C. | Customizable ASIC with substantially non-customizable portion that supplies pixel data to a mask-programmable portion in multiple color space formats |
US20040188644A1 (en) * | 2002-09-17 | 2004-09-30 | Quad/Tech, Inc. | Method and apparatus for visually inspecting a substrate on a printing press |
JP2004228871A (ja) * | 2003-01-22 | 2004-08-12 | Seiko Epson Corp | 画像処理装置、画像処理方法及び固体撮像装置 |
JP2004282282A (ja) * | 2003-03-14 | 2004-10-07 | Yokogawa Electric Corp | カメラシステム及びカメラ制御方法 |
US7709777B2 (en) * | 2003-06-16 | 2010-05-04 | Micron Technology, Inc. | Pumps for CMOS imagers |
JP2006019971A (ja) * | 2004-06-30 | 2006-01-19 | Fujitsu Ltd | チャージポンプ動作に起因する雑音を低減したcmosイメージセンサ |
US7750960B2 (en) * | 2006-03-15 | 2010-07-06 | Honeywell International Inc. | System and apparatus for high dynamic range sensor |
ITUD20110149A1 (it) | 2011-09-29 | 2013-03-30 | Monica Vatteroni | Dispositivo fotorilevatore per sensori elettro-ottici a dinamica di luce variabile |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4484223A (en) * | 1980-06-12 | 1984-11-20 | Canon Kabushiki Kaisha | Image sensor |
US6259478B1 (en) * | 1994-04-01 | 2001-07-10 | Toshikazu Hori | Full frame electronic shutter camera |
US5642163A (en) * | 1994-08-31 | 1997-06-24 | Matsushita Electric Industrial Co., Ltd. | Imaging apparatus for switching the accumulative electric charge of an image pickup device |
US5929908A (en) * | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
US5635872A (en) * | 1995-11-16 | 1997-06-03 | Maven Peal Instruments, Inc. | Variable control of electronic power supplies |
JP3915161B2 (ja) * | 1997-03-04 | 2007-05-16 | ソニー株式会社 | ブルーミング防止構造を備えた固体撮像素子のダイナミックレンジ拡大方法とその固体撮像素子 |
US6236394B1 (en) * | 1997-03-28 | 2001-05-22 | Seiko Epson Corporation | Power supply circuit, display device, and electronic instrument |
US5949918A (en) * | 1997-05-21 | 1999-09-07 | Sarnoff Corporation | Method and apparatus for performing image enhancement |
US5969758A (en) * | 1997-06-02 | 1999-10-19 | Sarnoff Corporation | DC offset and gain correction for CMOS image sensor |
US6101294A (en) * | 1997-06-02 | 2000-08-08 | Sarnoff Corporation | Extended dynamic imaging system and method |
US5920345A (en) * | 1997-06-02 | 1999-07-06 | Sarnoff Corporation | CMOS image sensor with improved fill factor |
US5848019A (en) * | 1997-08-29 | 1998-12-08 | Integrated Device Technology, Inc. | Pass gate decoder for a multiport memory dEvice that uses a single ported memory cell array structure |
US6040570A (en) * | 1998-05-29 | 2000-03-21 | Sarnoff Corporation | Extended dynamic range image sensor system |
US6384394B1 (en) * | 1999-08-16 | 2002-05-07 | Intel Corporation | Apparatus and method for offset reduction in the image sensors |
-
2002
- 2002-08-23 US US10/226,383 patent/US6992713B2/en not_active Expired - Fee Related
- 2002-08-23 JP JP2003524161A patent/JP2005510900A/ja not_active Ceased
- 2002-08-23 EP EP02768668A patent/EP1522158A4/en not_active Withdrawn
- 2002-08-23 WO PCT/US2002/026818 patent/WO2003019829A2/en active Application Filing
- 2002-08-23 CN CNB028027418A patent/CN100389596C/zh not_active Expired - Fee Related
- 2002-08-23 AU AU2002331688A patent/AU2002331688A1/en not_active Abandoned
- 2002-08-23 KR KR10-2003-7005708A patent/KR20040029951A/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
EP1522158A2 (en) | 2005-04-13 |
AU2002331688A1 (en) | 2003-03-10 |
CN1623322A (zh) | 2005-06-01 |
WO2003019829A3 (en) | 2005-01-27 |
US20030038887A1 (en) | 2003-02-27 |
EP1522158A4 (en) | 2006-03-29 |
CN100389596C (zh) | 2008-05-21 |
WO2003019829A2 (en) | 2003-03-06 |
US6992713B2 (en) | 2006-01-31 |
KR20040029951A (ko) | 2004-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6101294A (en) | Extended dynamic imaging system and method | |
US8736717B2 (en) | Image pickup apparatus and control method therefor | |
JP4948090B2 (ja) | 撮像装置及び駆動制御方法 | |
KR101188598B1 (ko) | 화상 처리 방법, 물리량 분포 검출용 반도체 장치 및 전자 기기 | |
JP4607006B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
EP1924085A2 (en) | Solid-state image sensing device | |
US11297252B2 (en) | Signal processing apparatus and signal processing method, and imaging device | |
KR20210114290A (ko) | 이미지 센서 및 이를 포함하는 촬영 장치 | |
US6992713B2 (en) | Fully integrated solid state imager and camera display | |
US20070139543A1 (en) | Auto-adaptive frame rate for improved light sensitivity in a video system | |
JP2008035395A (ja) | 固体撮像装置 | |
JP2001245213A (ja) | 撮像装置 | |
JP2007088972A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP7234015B2 (ja) | 撮像装置およびその制御方法 | |
US10623642B2 (en) | Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency | |
US11843890B2 (en) | Photoelectric conversion device, image pickup apparatus, control method, and storage medium | |
JP5377068B2 (ja) | 撮像装置 | |
US20240236501A1 (en) | Image processing apparatus, image processing method, and storage medium | |
KR100639155B1 (ko) | 영상 시스템의 동적 범위를 확장하기 위한 시스템 및 방법 | |
JP2006074440A (ja) | 撮像装置 | |
JP2002335452A (ja) | 固体撮像装置 | |
JPH0311886A (ja) | 画像入力装置 | |
JP2000175075A (ja) | クランプ装置およびその方法 | |
JPH0879631A (ja) | 固体撮像素子用疑似感度調整装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20090825 |