JP2004304377A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004304377A JP2004304377A JP2003092998A JP2003092998A JP2004304377A JP 2004304377 A JP2004304377 A JP 2004304377A JP 2003092998 A JP2003092998 A JP 2003092998A JP 2003092998 A JP2003092998 A JP 2003092998A JP 2004304377 A JP2004304377 A JP 2004304377A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- signal
- voltage
- transistor
- logarithmic conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】撮像モードを通常撮像モードと動体抽出モードとで簡単に切り替えることができるとともに動体抽出撮像モードにおいては複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供する。
【解決手段】撮像装置は、撮像素子10、照明光を撮像領域に照射する照明装置20及び照明装置10からの照明光を制御するコントローラ30を有する。撮像素子10は、撮像領域中に輝度変化する部分があるとき該部分について該領域中の輝度変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる。コントローラ30は照明装置10に照明光を一定に維持させることで動体抽出モードを実現し、照明光を変化させることで通常撮像モードを実現する。他の例では、対数変換用トランジスタT2のリセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを設定する。
【選択図】 図1
【解決手段】撮像装置は、撮像素子10、照明光を撮像領域に照射する照明装置20及び照明装置10からの照明光を制御するコントローラ30を有する。撮像素子10は、撮像領域中に輝度変化する部分があるとき該部分について該領域中の輝度変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる。コントローラ30は照明装置10に照明光を一定に維持させることで動体抽出モードを実現し、照明光を変化させることで通常撮像モードを実現する。他の例では、対数変換用トランジスタT2のリセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを設定する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は撮像モードを通常撮像モードと動体抽出モードとで切り替えできる撮像装置に関する。
【0002】
【従来の技術】
撮像装置についてはこれまで様々のものが提案されている。
ダイナミックレンジの広い撮像装置として、撮像のための画素に、光電変換素子及び光電変換素子への入射光量を自然対数的に光電変換して出力する対数変換部を配置した固体撮像装置が提案されている。特開平3−192764号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、光電変換素子として例えばフォトダイオードを採用し、対数変換部に対数変換用のMOSトランジスタを採用している。同公報は対数変換部の出力を蓄積する積分回路も組み合わせた画素も開示している。
【0003】
また、対数変換型撮像装置において、画素間での感度のバラツキをキャンセル処理できる撮像装置も提案されている。特開2001−94878号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、各画素に一様に光を照射して画素間の感度バラツキを検出してその感度バラツキをキャンセル処理するという手法によらずに、感度のバラツキをキャンセル処理するものである。
【0004】
一方、撮像の分野では、例えば不法侵入者その他のものの監視等のために移動体を検出することについても研究されており、フレーム間差分法(前画面と現画面のフレーム間差分画面をとる方法)や背景差分法(背景画像と入力画像の差分をとる方法)といった手法が提案されている。特開平5−145823号公報はフレーム間差分法を紹介しており、特開平7−336694号公報は背景差分法を開示している。
【0005】
【特許文献1】特開平3−192764号公報
【特許文献2】特開2001−94878号公報
【特許文献3】特開平5−145823号公報
【特許文献4】特開平7−336694号公報
【0006】
【発明が解決しようとする課題】
しかしながら、撮像装置による動体の検出についてみれば、従来のフレーム間差分法や背景差分法による動体検出は撮像素子からの信号の複雑な処理を必要とするものであり、そのような複雑な信号処理を行わずに簡単に動体の存在を検出できる撮像装置の出現が望まれる。そのような撮像装置があれば監視分野等に応用しやすい。さらには、撮像モードを通常撮像モードと動体抽出モード(動体検知モード)とで切り替えできる撮像装置があればなお監視分野等に応用しやすい。
【0007】
そこで本発明は、撮像モードを通常撮像モードと動体抽出モードとで簡単に切り替えることができるとともに動体抽出撮像モードにおいては複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することを課題とする。
【0008】
【課題を解決するための手段】
本発明者は前記課題を解決するため研究を重ね、次のことを見いだした。
撮像領域中を動体が移動する場合、例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。換言すれば、動体により輝度が変化する撮撮像領域中の部分は、該動体の少なくとも一部を示していると言える。従って、撮像領域に含まれる輝度が変化する部分、換言すれば該輝度変化をもたらす動体の少なくとも一部を該撮像領域に含まれる輝度変化しない部分或いは静止背景部とは異なる濃度で表示できる画像データを取得できれば、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
【0009】
例えば、撮像領域中における輝度の変化しない部分については一様な濃度で表示し、換言すれば一様な濃度で背景部として表示し、輝度の変化する部分についてはその一様な濃度の背景部に対し高い濃度で、又は低い濃度で表示できれば、その濃度の高い又は低い表示部分があることをもって動体の存在を検出できる。
【0010】
このような動体検出は、例えば、光電変換素子及び該光電変換素子の出力をそれへの入射光量の対数値に比例する電気信号に変換する対数変換用トランジスタを含む対数変換部を撮像用画素に配置した、或いは該撮像用画素にさらに対数変換部の出力を蓄積するための積分回路を配置した撮像素子を利用して行える。例えば、対数変換用トランジスタに通常の撮像のための第1電圧を印加して撮像を行った後、該トランジスタにリセットのための第2電圧を印加し、そのとき、該第2電圧の大きさを制御することで行える。
【0011】
また、かかる撮像素子は、撮像領域中の輝度変化しない部分に対する輝度変化する部分を動体としてとらえようとするものであるため、撮像素子により撮像される被撮像領域の照明条件が一定であるときは動体検出が可能であるが、被撮像領域の照明が変化するようなときは、動体だけでなく静止背景部も輝度変化した部分となるので動体検出は行えない一方、通常撮像が可能となる。この現象を利用すれば、撮像素子の駆動条件を動体抽出モードに設定したままでも、照明条件を変更することで簡単に通常撮像モードと動体抽出モードの切り替えを行える。
【0012】
また、本発明者の研究によると、撮像領域に含まれる輝度が変化する部分、換言すれば該輝度変化をもたらす動体の少なくとも一部を該撮像領域に含まれる輝度変化しない部分或いは静止背景部とは異なる濃度で表示できる画像データを取得できる撮像素子は、該撮像素子の駆動タイミング(例えば信号印加・印加解除のタイミング等)をコントロールすることでも、例えば、前記のリセット用第2電圧の印加期間(第2電圧のパルス幅)をコントロールすることでも、そのような画像データを取得できる動体抽出モードに設定することも、通常撮像モードに設定することも可能である。
【0013】
本発明は前記知見に基づき次の第1、第2の撮像装置を提供する。
<第1の撮像装置>
被撮像領域を撮像するための撮像素子と、
該被撮像領域撮像用の照明光を該被撮像領域に照射するための照明装置と、
該照明装置からの照明光を一定に維持又は変化させるように該照明装置を制御する照明装置コントローラとを備えており、
前記撮像素子は、該撮像素子による撮像領域中に前記照明光照射のもとで輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる素子であり、
前記照明装置コントローラは前記照明装置に照明光を一定に維持させることで該撮像素子による動体抽出モードを実現し、前記照明装置に照明光を変化させることで該撮像素子による通常撮像モードを実現する撮像装置。
<第2の撮像装置>
撮像領域を撮像するための撮像素子を備えており、
該撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させ、前記リセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを実現可能であり、該動体抽出モードにおいては、撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなり、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像装置。
いずれにしても本発明に係る撮像装置は監視カメラ等への応用が可能である。
【0014】
【発明の実施の形態】
以下本発明の実施の形態を説明する。
<第1実施形態>
第1実施形態の撮像装置は、被撮像領域を撮像するための固体撮像素子と、該被撮像領域撮像用の照明光を該被撮像領域に照射するための照明装置と、該照明装置からの照明光を一定に維持又は変化させるように該照明装置を制御する照明装置コントローラとを備えている。
【0015】
該固体撮像素子は、該撮像素子による撮像領域中に前記照明光照射のもとで輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる素子である。
【0016】
照明装置コントローラは照明装置に照明光を一定に維持させることで該撮像素子による動体抽出モードを実現し、前記照明装置に照明光を変化させることで該撮像素子による通常撮像モードを実現する。
【0017】
この撮像装置によると、撮像素子の駆動条件を変更しなくても、照明装置コントローラにより照明装置の照明光を一定に維持するだけで簡単に動体抽出モードを実現できる。動体抽出モードでは、照明光が一定に維持されることで、撮像素子による撮像領域中に輝度変化しない静止背景部に対し動体により輝度が変化する部分が生じ、撮像素子は該部分について輝度変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力する。これにより動体の存在を検出できる。
【0018】
また、照明装置コントローラにより照明装置の照明光を変化させることで、簡単に通常撮像モードを実現できる。通常撮像モードでは、照明光が変化することで、撮像素子による撮像領域中の静止部分も動体も共に輝度変化する部分となり、そのため撮像素子は静止部分も動体も同じように撮像する結果となる。
通常撮像モードと動体抽出モードの切り替えも照明装置コントローラにより照明装置の照明条件を変更するだけで簡単に行える。
【0019】
なお、「照明光を一定に維持する」とは、換言すれば「照明条件を一定に維持する」ことであり、照明光の強度を実質上一定に維持する等して照明光を一定状態に維持することである。「照明光を変化させる」とは、換言すれば「照明条件を変化させる」ことであり、照明光の強度を変化させる(例えば、照明光を点滅させたり、照明光の強度を増減させる)こと等を指す。光源からの照明光そのものは一定に維持しておいて、光源の前に光遮断部材を出し入れしたり、光強度を弱めるフィルタを出し入れしたりすることで照明光を変化させてもよい。
【0020】
照明装置コントローラには、電気的に照明光を変化させ得るものだけでなく、光遮断部材やフィルタ等を用いて機械的に照明光を変化させ得るものも含まれる。また照明装置コントローラは手動で照明装置の照明条件を制御できるものでも、外部からの指示信号に呼応して照明装置の照明条件を制御できるものでもよい。
【0021】
照明装置の照明光は通常の電球や蛍光灯等により得られるものと同様のものでもよいが、撮像装置を用いる場所等によっては人目では感知できない赤外光が好ましい。例えば、或る場所で予定された人が集まるときは通常撮像モードに設定し、そうでないときは侵入者の監視のために動体抽出モードに設定する場合、通常撮像モードにおいて人目が感じる照明光を用いると、その点滅等により不快感を生じさせるが、赤外光であればその心配はない。
【0022】
固体撮像素子の代表例として次のものを挙げることができる。
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させ、該第2電圧を前記第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像素子である。
【0023】
この撮像素子によると、例えば、静止背景部を表す一様濃度の背景画像に対し、輝度の変化をもたらす動体の少なくとも一部を暗く又は明るく表示できる画像データを生成することができる。それにより、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
既述のとおり、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0024】
そこで、いま述べた撮像素子の電圧制御部に係わる
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる撮像状態」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる撮像状態」と、或いは「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する撮像状態」と言い換えることができる。
<第1実施形態の撮像装置の具体例>
次に図1から図5を参照して第1実施形態の撮像装置の具体例を説明する。
図1に示す撮像装置は、固体撮像素子10及び照明装置20とそのコントローラ30を含んでいる。
【0025】
照明装置10はここでは撮像素子により撮像される被撮像領域に対し撮像のための照明光として赤外光を照射するものである。コントローラ30は、手動により又は外部からの指示信号に呼応して照明装置20を点灯状態に維持するか、又は点滅させるように該照明装置20を制御するものである。
【0026】
次に固体撮像素子10について詳述する。
図1は撮像素子10を含む撮像装置の全体を示すブロック図、図2は撮像素子10の画素の配列された画素部等の構成を示す図、図3は一つの画素の構成を示す図、図4は通常撮像状態を実現できる駆動電圧印加タイミングを示すタイミングチャートである。図5は動体抽出撮像状態を実現できる駆動電圧印加タイミングを示すタイミングチャートである。
【0027】
撮像素子10は、図1に示すとおり、画素部G、これに接続された垂直走査回路1及び出力回路8を備えており、出力回路8には水平走査回路2が接続されているとともに出力アンプAmが接続されている。この出力アンプAmから画像データが出力され、図示省略のディスプレイによる画像表示や記録媒体への画像データの記録等に供される。
【0028】
撮像素子10はまた、画素部G等へ電圧レギュレータRgを介して所定の各種電圧信号等を供給するための電圧制御部VCを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータTGも備えている。
【0029】
画素部Gには、図2に示すように、撮像用の画素G11〜Gmnが行列配置(マトリクス配置)されている。垂直走査回路1は、各画素に走査用信号φVを与える行(ロウ)ライン31、32、・・・3nを順次走査していくとともに、ライン41、42、・・・4nを介して各画素の後述するキャパシタCに電圧φVDを供給する。
【0030】
水平走査回路2は、各画素から出力信号線61、62、・・・6mに導出される光電変換信号を画素ごとに水平方向(行方向)に順次読み出す。図2において5は電源ラインである。
なお、後ほど説明する図3においては行(ロウ)ラインは3で、φVD供給ラインは4で、出力信号線は6で示してある。
【0031】
各画素には、以上述べたライン31、32、・・・3n、41、42、・・・4n、出力信号線61、62、・・・6m、電源ライン5だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図2ではこれらの図示を省略している。
図1に示す出力回路8は、図2に示す定電流電源71、72、・・・7m、選択回路81、82、・・・8m及び補正回路9を含んでいる。
【0032】
定電流電源71、72、・・・7mは出力信号線61、62、・・・6mにそれぞれ接続されている。選択回路81、82、・・・8mは信号線61〜6mを介して画素G11〜Gmnから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路9は選択回路81、82、・・・8mから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力して画像表示に供する。なお、定電流源71〜7mのそれぞれの一端には直流電圧VPSが印加される。
【0033】
かかる固体撮像素子10においては、画素Gab(a:1≦a≦mの自然数、b:1≦b ≦nの自然数)からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線6aを介して出力されるとともに、この出力信号線6aに接続された定電流電源7aによって増幅される。そして、画素Gabから出力された映像信号及びノイズ信号が順番に選択回路8aに送出されるとともに、この選択回路8aにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路8aより、サンプルホールドされた映像信号が補正回路9に送出された後、同じくサンプルホールドされたノイズ信号が補正回路9に送出される。
【0034】
補正回路9では、選択回路8aより与えられた映像信号を、同じく選択回路8aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプAmを介して増幅して外部に出力する。選択回路81〜8m及び補正回路9のそれぞれの構成例として、本出願人が特開平2001−223948号公報において提示した構成などが挙げられる。なお、選択回路81、82、・・・8mに補正回路を含ませてもよい。
【0035】
次に画素G11〜Gmnのそれぞれの1例を図3を参照して説明する。
図3に示す画素は、光電変換素子の1例であるフォトダイオードPD、該フォトダイオードPDの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用MOSトランジスタT2を含む対数変換部L及び対数変換部Lの出力を蓄積するためのキャパシタCを含む積分回路IT等を備えている。なお、フォトダイオードPDは赤外光に感応するものである。
【0036】
さらに説明すると、各画素においては、アノード電位をVPDとした(接地電位でもよい)フォトダイオードPDのカソードにスイッチング用のMOSトランジスタT1のドレインが接続され、トランジスタT1のソースに対数変換用のMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続されている。トランジスタT3は対数変換された信号に相当する電流を流すためのものである。
【0037】
また、MOSトランジスタT3のソースにソースフォロワ増幅用のMOSトランジスタT5のゲート及びキャパシタリセット用のMOSトランジスタT4のドレインが接続され、MOSトランジスタT5のソースにスイッチング用(信号読み出し用)のMOSトランジスタT6のドレインが接続されている。そして、MOSトランジスタT6のソースが出力信号線6(図3の出力信号線61〜6mに相当)に接続されている。なお、MOSトランジスタT1〜T6はいずれもPチャンネル型のトランジスタである。
【0038】
対数変換用MOSトランジスタT2のソースには信号φVPSが入力される。MOSトランジスタT3、T5のドレインの電位はVPDとされる。なお、該ドレインは接地されていてもよい。MOSトランジスタT3のソースにはキャパシタCが接続され、該キャパシタCにはフォトダイオードPDからの電気信号をキャパシタCで積分するための参照電圧(信号φVD)が入力される。
【0039】
また、MOSトランジスタT4のソースには直流電圧RSBが入力され、該トランジスタT4のゲートに信号φRSTが入力される。さらに、MOSトランジスタT1のゲートにはトランジスタT1のオン、オフ操作のための信号φSが、MOSトランジスタT6のゲートにはトランジスタT6のオン、オフ操作のための信号φVが入力される。
【0040】
このように構成された画素において、MOSトランジスタT6及び出力信号線6を介して、−端に直流電圧VPSが印加された定電流電源7(図2の定電流電源71〜7mに相当する)が、MOSトランジスタT5のソースに接続される。
【0041】
従って、MOSトランジスタT6がオンのとき、MOSトランジスタT5はソースフオロワのMOSトランジスタとして動作し、定電流電源7によって増幅された電圧信号を出力信号線6に出力する。
【0042】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路(図示せず)での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源71〜7mを画素内に設けずに、列(カラム)方向に配置された複数の画素が接続される出力信号線61〜6m毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【0043】
次に、以上説明した撮像素子において可能である通常の撮像動作及び各画素の感度バラツキ検出動作について説明し、そのあと動体存在の検出動作について説明する。
【0044】
対数変換用MOSトランジスタT2のソースに供給する信号φVPSは通常撮像状態を得るときにはハイ(High) とロー(Low) の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタT2をサブスレッショルド領域で動作させるための電圧をロー(Low)とし、トランジスタT2をリセットするときには、該電圧よりも高くトランジスタT2にローの信号φVPSを与えた時よりも大きい電流が流れ得るようにするハイ(Hi)の電圧を採用する。
【0045】
なお、後述するように、ノイズ信号読出し後キャパシタCをリセットするときには、光電変換素子の残存信号除去のために、トランジスタT2のソースにハイとローの中間程度の値の電圧を印加する。
【0046】
しかし、動体の存在検出のための動体抽出撮像状態を得るときには、トランジスタT2をリセットするとき、前記ハイ電圧に代えて、ここではロー電圧とハイ電圧との中間程度の値の電圧を採用する(図5参照)。
【0047】
キャパシタCに与える参照電圧φVDについては、通常撮像状態、動体抽出撮像状態のいずれにおいても3値の電圧信号を採用する。すなわち、キヤパシタCを積分動作させる際の電圧値を最も高いVhとし、映像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりもさらに低いVlとする。
【0048】
以下の説明において、電圧信号等の画素等への印加は電圧制御部VCが電圧レギュレータRgを介して行う。
(1)通常撮像状態での撮像動作
先ず、撮像素子10を通常撮像状態に設定する。
(1−1)映像信号(画像信号)出力
以下の説明において、MOSトランジスタT1をオン、オフする信号φSは撮像動作の間、常にロー(Low)であり、トランジスタT1はオン状態である。また、キャパシタリセット用トランジスタT4へ与える信号φRSTをハイ(Hi)としてトランジスタT4をオフとする。そしてMOSトランジスタT2がサブスレッシヨルド領域で動作するように、トランジスタT2のソースに与える信号φVPSをローとするとともにキャパシタCに与える信号φVDの電圧値をVhとしてキャパシタCによる積分動作を可能とする。
【0049】
このような状態においてフォトダイオードPDに被撮像領域からの光が入射されると、光電流が発生し、トランジスタT2のサブスレッショルド特性により、トランジスタT2、T3のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【0050】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタT3で電流増幅されたドレイン電流がキヤパシタCから流れて、キヤパシタCが放電する。よって、MOSトランジスタT5のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キヤパシタCが積分動作を行うことで得られる映像信号を読み出すために、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にローのパルス信号φVを与える。これによりMOSトランジスタT5のゲート電圧に応じたソース電流がMOSトランジスタT6を介して出力信号線6へ流れる。
【0051】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6には映像信号が電圧信号としてあらわれる。その後、信号φVをハイにしてトランジスタT6をオフするとともに、信号φVDの電圧値をVhとする。このようにトランジスタT5、T6を介して出力される映像信号は、トランジスタT5のゲート電圧に比例した値となり、そのためフォトダイオードPDへの入射光量の積分値の自然対数値に比例した信号となる。
(1−2)感度バラツキ検出(ノイズ信号出力)
図4に示すように、電圧値Vmのパルス信号φVDとローのパルス信号φVが与えられて映像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてトランジスタT1をオフにしてリセット動作を開始させる。このとき、トランジスタT2のソース側より正の電荷が流れ込み、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタT2のゲート及びドレインのポテンシャルが上がる。
【0052】
しかし、トランジスタT2のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい被撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタT2のソースに与える信号φVPSをハイにする。このように、トランジスタT2のソース電圧を高くすることで、トランジスタT2のソース側から流入する正の電荷の量が増加し、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSTをローとしてトランジスタT4をオンにして、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧を初期化する。
【0053】
そして、信号φVPSをハイにすることで、トランジスタT2のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタT2のソースに与える信号φVPSをローにして、トランジスタT2のポテンシャル状態をもとの状態に戻す。このように、トランジスタT2のポテンシャルの状態がもとの状態にリセットされると、信号φRSTをハイにして、トランジスタT4をオフにする。
【0054】
すると、キヤパシタCが積分動作を行って、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧が、リセットされたトランジスタT2のゲート電圧に応じたものとなる。そこで、パルス信号φVをトランジスタT6のゲートに与えてトランジスタT6をオンにするとともに信号φVDの電圧値をVlにする。これにより、トランジスタT2、T3の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線6に流れる。
【0055】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6にはノイズ信号が電圧信号としてあらわれる。その後、信号φSをローにしてトランジスタT1を導通させてトランジスタT2のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φRSTをトランジスタT4に与えて、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【0056】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタCに与える電圧φVDをVh、Vm、Vlの3値としたが、該電気信号積分のためにキャパシタCに与える電圧φVDは一定であっても構わない。しかし、前記のような3値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ/デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタCに与える信号φVDの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【0057】
また、以上説明した撮像素子では、PチヤンネルのMOSトランジスタを用いて各画素を構成したが、画素をNチヤンネルのMOSトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源71〜7mについても、図2と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
(2)動体抽出撮像状態での撮像動作
撮像素子10を動体抽出撮像状態に設定する。
【0058】
映像信号出力のための動作は前記通常撮像状態の場合と同様である。しかし、ノイズ信号出力動作において、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、図5に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出を行える。それ以外は通常撮像状態におけるノイズ出力処理と同様である。なお、通常撮像状態の場合におけるノイズ信号出力の場合のロー信号φVPSに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【0059】
この動体抽出撮像状態においても、通常撮像状態の場合と同様に、φVPSをローにして撮像を行ったときに各画素から出力される映像信号と、φVPSをハイとローの中間程度の値の電圧にしてMOSトランジスタT2をリセットしたとき各画素から出力される雑音信号(ノイズ信号)との差分が、補正回路9による差分処理により該映像信号から差し引かれて出力される。
【0060】
しかし、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、MOSトランジスタT2にリセット残しが生じる。しかも、該リセット残しはMOSトランジスタT2の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない被撮像領域部分を撮像した各画素については同様の値となる。かくして被撮像領域における静止背景部については略一様にグレー表示可能の信号が出力される。これを用いて静止背景部については略一様にグレーで表示させることが可能である。
【0061】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【0062】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子10への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【0063】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子10への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【0064】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【0065】
撮像素子10を通常撮像状態に設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(A)に示すような画像となり、素子10を動体抽出撮像状態に設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(B)に示すような画像となる。
【0066】
図6(A)及び図6(B)において、動体は黒いボールであり、白い壁の前に置いたテーブルの上を図中右から左へ転動している。例えばボールの左右のエッジ部分に着目すると、ボールの左側のエッジ部分の左方への移動により撮像素子から見ると輝度が「明」から「暗」に変化する被撮像領域部分が幅と向きを持った明るい部分Pとして表示され、ボールの右側のエッジ部分の左方への移動により撮像素子から見ると輝度が「暗」から「明」に変化する被撮像領域部分が幅と向きを持った暗い部分Qとして表示される。
【0067】
以上、駆動条件を変更することで、通常撮像、動体抽出撮像のいずれもなし得る撮像素子10について説明したが、常時、動体抽出撮像状態に設定したままでも、従って駆動条件を常時図5に示す状態にしたままでも、次のようにして、通常撮像モードと動体抽出モードとで必要に応じて簡単に切り替えて撮像を行える。
【0068】
すなわち、照明装置コントローラ30により照明装置20を点灯状態に維持し、それにより照明光を一定に維持するだけで簡単に動体抽出モードを実現できる。この動体抽出モードでは、照明光が一定に維持されることで、撮像素子10による撮像領域中に静止背景部に対し動体により輝度が変化する部分が生じ、撮像素子10は該部分について明るく又は暗く表示できる画像データを出力し、輝度変化しない他の部分(静止背景部)についてはグレーの一様な濃度で表示できる画像データを出力できる。かくして動体存在を検出できる。
【0069】
一方、照明装置コントローラ30により照明装置20を点滅させることで、簡単に通常撮像モードを実現できる。この通常撮像モードでは、照明光が点滅することで、撮像素子10による撮像領域中の静止部分も動体も共に輝度変化する部分となり、そのため撮像素子10は静止部分も動体も同じように撮像する結果となる。
【0070】
通常撮像モードと動体抽出モードの切り替えも照明装置コントローラ30により照明装置の照明条件を変更するだけで簡単に行える。
【0071】
このことから分かるように、撮像素子10は、前記説明における動体抽出撮像状態を実現するようにのみ構成されていてもよく、その場合でも、通常撮像モード、動体抽出モードのいずれも実現できる。
<第2実施形態>
第2実施形態の撮像装置は次の撮像素子を備えている。すなわち、
該撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、前記各画素からの信号を受け取って出力するための出力回路とを備えている。
【0072】
該撮像素子は、撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させる。
【0073】
また、該撮像素子は、前記リセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを実現する。該動体抽出モードにおいては、撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる。
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する。
【0074】
この撮像装置によると、対数変換用トランジスタへのリセット用第2電圧の印加期間(換言すれば第2電圧のパルス幅)を切り替えるだけで、簡単に撮像モードを通常撮像モードにも、動体抽出モードにも設定できる。
【0075】
例えば、通常撮像モードは、リセット用第2電圧印加期間を対数変換用トランジスタにリセット残しが生じないように定めることで実現でき、動体抽出モードは、リセット用第2電圧印加期間を対数変換用トランジスタのリセット残しが生じるように定めることで、換言すれば通常撮像モード時より短く定めることで実現できる。
【0076】
リセット用第2電圧印加期間の切り替えによる通常撮像モード又は動体抽出モードの設定は、例えば撮像素子コントローラの指示のもとに行ってもよいが、例えば該コントローラに通常撮像モード又は動体抽出モードの設定切り替えのための切り替えスイッチを設けておき、これによりオペレータが任意に切り替え指示できるようにしてもよい。
【0077】
いずれにしても、対数変換用トランジスタのリセット時にリセット残しを生じさせることで、撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出モードが実現される。
【0078】
かかる動体抽出モードにおいては、例えば、静止背景部を表す一様濃度の背景画像に対し、輝度の変化をもたらす動体の少なくとも一部を暗く又は明るく表示できる画像データを生成することができる。それにより、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
既述のとおり、動体により輝度が変化する撮撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0079】
そこで、いま述べた
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出モード」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる動体抽出モード」と、或いは
「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出モード」と言い換えることができる。
<第2実施形態の撮像装置の具体例>
図7及び図8を参照して第2実施形態の撮像装置の具体例を説明する。
この撮像装置は、撮像素子10’及び撮像素子コントローラ40を含んでいる。図7はこれらをブロック図で示している。撮像素子10’は、第1実施形態における撮像素子10から電圧制御部VCを省き、コントローラ40で動作制御できるようにしたものである。撮像素子10と実質上同じ部分については撮像素子10と同じ参照符号を付してある。コントローラ40は電圧レギュレータTGに指示して画素部G等へ所定の各種電圧信号等を供給させるとともに、タイミングジエネレータTGに指示して各部を所定のタイミングで動作させる。
【0080】
この撮像素子10’は、第1実施形態における撮像素子10と異なり、コントローラ40の指示のもとに、対数変換用MOSトランジスタT2のリセットにあたり、図8に示すように、該トランジスタのソースにハイ(High)の電圧信号φVPSをトランジスタT2にリセット残しが生じない十分な印加期間(パルス幅)で印加することで通常撮像モードを実現し、図9に示すように、トランジスタT2のソースに同じくハイ(High)の電圧信号φVPSをトランジスタT2にリセット残しが生じるように短い印加期間(パルス幅)だけ印加することで動体抽出モードを実現する。
【0081】
換言すれば、この実施形態の撮像装置は、電圧信号φVPSの印加期間(パルス幅)の切り替えが可能とした撮像素子を含むものである。φVPS印加期間(パルス幅)の切り替えは前記撮像素子コントローラ40により行われるのであるが、例えば該コントローラ40に該切り替え用の手動スイッチを設けておく等により行えるようにしてもよい。
【0082】
【発明の効果】
以上説明したように本発明によると、撮像モードを通常撮像モードと動体抽出モードとで簡単に切り替えることができるとともに動体抽出撮像モードにおいては複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することができる。
【図面の簡単な説明】
【図1】第1実施形態の撮像装置の構成を示すブロック図である。
【図2】図1に示す撮像素子における画素の配列された画素部等の構成を示す図である。
【図3】一つの画素の構成を示す図である。
【図4】図1から図3に示す撮像素子において通常撮像状態を実現し得る駆動電圧印加タイミング例を示すタイミングチャートである。
【図5】図1から図3に示す撮像素子において動体抽出撮像状態を実現し得る駆動電圧印加タイミング例を示すタイミングチャートである。
【図6】図6(A)は通常撮像状態による、動体(ボール)を含む被撮像領域の撮像例を示し、図6(B)は動体抽出撮像状態による、動体を含む被撮像領域の撮像例を示している。
【図7】第2実施形態の撮像装置の構成を示すブロック図である。
【図8】第2実施形態の撮像装置における通常撮像モードにおける駆動電圧印加タイミング例を示すタイミングチャートである。
【図9】第2実施形態の撮像装置における動体抽出モードにおける駆動電圧印加タイミング例を示すタイミングチャートである。
【符号の説明】
10、10’撮像素子
20 照明装置
30 照明装置コントローラ
40 撮像素子コントローラ
G 画素部 81〜8m 選択回路
1 垂直走査回路 9 補正回路
2 水平走査回路 10 電圧制御部
3、31〜3n 行(ロウ)ライン Am 出力アンプ
4、41〜4n ライン Rg 電圧レギュレータ
5 電源ライン TG タイミングジエネレータ6、61〜6m 出力信号線 G11〜Gmn 画素
71〜7m 定電流電源 PD フォトダイオード
8 出力回路
T1 スイッチング用MOSトランジスタ
T2 対数変換用MOSトランジスタ
T3 MOSトランジスタ
T4 キャパシタリセット用MOSトランジスタ
T5 ソースフォロワ増幅用MOSトランジスタ
T6 信号読出し用MOSトランジスタ
C キャパシタ(積分用コンデンサ)
【発明の属する技術分野】
本発明は撮像モードを通常撮像モードと動体抽出モードとで切り替えできる撮像装置に関する。
【0002】
【従来の技術】
撮像装置についてはこれまで様々のものが提案されている。
ダイナミックレンジの広い撮像装置として、撮像のための画素に、光電変換素子及び光電変換素子への入射光量を自然対数的に光電変換して出力する対数変換部を配置した固体撮像装置が提案されている。特開平3−192764号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、光電変換素子として例えばフォトダイオードを採用し、対数変換部に対数変換用のMOSトランジスタを採用している。同公報は対数変換部の出力を蓄積する積分回路も組み合わせた画素も開示している。
【0003】
また、対数変換型撮像装置において、画素間での感度のバラツキをキャンセル処理できる撮像装置も提案されている。特開2001−94878号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、各画素に一様に光を照射して画素間の感度バラツキを検出してその感度バラツキをキャンセル処理するという手法によらずに、感度のバラツキをキャンセル処理するものである。
【0004】
一方、撮像の分野では、例えば不法侵入者その他のものの監視等のために移動体を検出することについても研究されており、フレーム間差分法(前画面と現画面のフレーム間差分画面をとる方法)や背景差分法(背景画像と入力画像の差分をとる方法)といった手法が提案されている。特開平5−145823号公報はフレーム間差分法を紹介しており、特開平7−336694号公報は背景差分法を開示している。
【0005】
【特許文献1】特開平3−192764号公報
【特許文献2】特開2001−94878号公報
【特許文献3】特開平5−145823号公報
【特許文献4】特開平7−336694号公報
【0006】
【発明が解決しようとする課題】
しかしながら、撮像装置による動体の検出についてみれば、従来のフレーム間差分法や背景差分法による動体検出は撮像素子からの信号の複雑な処理を必要とするものであり、そのような複雑な信号処理を行わずに簡単に動体の存在を検出できる撮像装置の出現が望まれる。そのような撮像装置があれば監視分野等に応用しやすい。さらには、撮像モードを通常撮像モードと動体抽出モード(動体検知モード)とで切り替えできる撮像装置があればなお監視分野等に応用しやすい。
【0007】
そこで本発明は、撮像モードを通常撮像モードと動体抽出モードとで簡単に切り替えることができるとともに動体抽出撮像モードにおいては複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することを課題とする。
【0008】
【課題を解決するための手段】
本発明者は前記課題を解決するため研究を重ね、次のことを見いだした。
撮像領域中を動体が移動する場合、例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。換言すれば、動体により輝度が変化する撮撮像領域中の部分は、該動体の少なくとも一部を示していると言える。従って、撮像領域に含まれる輝度が変化する部分、換言すれば該輝度変化をもたらす動体の少なくとも一部を該撮像領域に含まれる輝度変化しない部分或いは静止背景部とは異なる濃度で表示できる画像データを取得できれば、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
【0009】
例えば、撮像領域中における輝度の変化しない部分については一様な濃度で表示し、換言すれば一様な濃度で背景部として表示し、輝度の変化する部分についてはその一様な濃度の背景部に対し高い濃度で、又は低い濃度で表示できれば、その濃度の高い又は低い表示部分があることをもって動体の存在を検出できる。
【0010】
このような動体検出は、例えば、光電変換素子及び該光電変換素子の出力をそれへの入射光量の対数値に比例する電気信号に変換する対数変換用トランジスタを含む対数変換部を撮像用画素に配置した、或いは該撮像用画素にさらに対数変換部の出力を蓄積するための積分回路を配置した撮像素子を利用して行える。例えば、対数変換用トランジスタに通常の撮像のための第1電圧を印加して撮像を行った後、該トランジスタにリセットのための第2電圧を印加し、そのとき、該第2電圧の大きさを制御することで行える。
【0011】
また、かかる撮像素子は、撮像領域中の輝度変化しない部分に対する輝度変化する部分を動体としてとらえようとするものであるため、撮像素子により撮像される被撮像領域の照明条件が一定であるときは動体検出が可能であるが、被撮像領域の照明が変化するようなときは、動体だけでなく静止背景部も輝度変化した部分となるので動体検出は行えない一方、通常撮像が可能となる。この現象を利用すれば、撮像素子の駆動条件を動体抽出モードに設定したままでも、照明条件を変更することで簡単に通常撮像モードと動体抽出モードの切り替えを行える。
【0012】
また、本発明者の研究によると、撮像領域に含まれる輝度が変化する部分、換言すれば該輝度変化をもたらす動体の少なくとも一部を該撮像領域に含まれる輝度変化しない部分或いは静止背景部とは異なる濃度で表示できる画像データを取得できる撮像素子は、該撮像素子の駆動タイミング(例えば信号印加・印加解除のタイミング等)をコントロールすることでも、例えば、前記のリセット用第2電圧の印加期間(第2電圧のパルス幅)をコントロールすることでも、そのような画像データを取得できる動体抽出モードに設定することも、通常撮像モードに設定することも可能である。
【0013】
本発明は前記知見に基づき次の第1、第2の撮像装置を提供する。
<第1の撮像装置>
被撮像領域を撮像するための撮像素子と、
該被撮像領域撮像用の照明光を該被撮像領域に照射するための照明装置と、
該照明装置からの照明光を一定に維持又は変化させるように該照明装置を制御する照明装置コントローラとを備えており、
前記撮像素子は、該撮像素子による撮像領域中に前記照明光照射のもとで輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる素子であり、
前記照明装置コントローラは前記照明装置に照明光を一定に維持させることで該撮像素子による動体抽出モードを実現し、前記照明装置に照明光を変化させることで該撮像素子による通常撮像モードを実現する撮像装置。
<第2の撮像装置>
撮像領域を撮像するための撮像素子を備えており、
該撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させ、前記リセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを実現可能であり、該動体抽出モードにおいては、撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなり、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像装置。
いずれにしても本発明に係る撮像装置は監視カメラ等への応用が可能である。
【0014】
【発明の実施の形態】
以下本発明の実施の形態を説明する。
<第1実施形態>
第1実施形態の撮像装置は、被撮像領域を撮像するための固体撮像素子と、該被撮像領域撮像用の照明光を該被撮像領域に照射するための照明装置と、該照明装置からの照明光を一定に維持又は変化させるように該照明装置を制御する照明装置コントローラとを備えている。
【0015】
該固体撮像素子は、該撮像素子による撮像領域中に前記照明光照射のもとで輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる素子である。
【0016】
照明装置コントローラは照明装置に照明光を一定に維持させることで該撮像素子による動体抽出モードを実現し、前記照明装置に照明光を変化させることで該撮像素子による通常撮像モードを実現する。
【0017】
この撮像装置によると、撮像素子の駆動条件を変更しなくても、照明装置コントローラにより照明装置の照明光を一定に維持するだけで簡単に動体抽出モードを実現できる。動体抽出モードでは、照明光が一定に維持されることで、撮像素子による撮像領域中に輝度変化しない静止背景部に対し動体により輝度が変化する部分が生じ、撮像素子は該部分について輝度変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力する。これにより動体の存在を検出できる。
【0018】
また、照明装置コントローラにより照明装置の照明光を変化させることで、簡単に通常撮像モードを実現できる。通常撮像モードでは、照明光が変化することで、撮像素子による撮像領域中の静止部分も動体も共に輝度変化する部分となり、そのため撮像素子は静止部分も動体も同じように撮像する結果となる。
通常撮像モードと動体抽出モードの切り替えも照明装置コントローラにより照明装置の照明条件を変更するだけで簡単に行える。
【0019】
なお、「照明光を一定に維持する」とは、換言すれば「照明条件を一定に維持する」ことであり、照明光の強度を実質上一定に維持する等して照明光を一定状態に維持することである。「照明光を変化させる」とは、換言すれば「照明条件を変化させる」ことであり、照明光の強度を変化させる(例えば、照明光を点滅させたり、照明光の強度を増減させる)こと等を指す。光源からの照明光そのものは一定に維持しておいて、光源の前に光遮断部材を出し入れしたり、光強度を弱めるフィルタを出し入れしたりすることで照明光を変化させてもよい。
【0020】
照明装置コントローラには、電気的に照明光を変化させ得るものだけでなく、光遮断部材やフィルタ等を用いて機械的に照明光を変化させ得るものも含まれる。また照明装置コントローラは手動で照明装置の照明条件を制御できるものでも、外部からの指示信号に呼応して照明装置の照明条件を制御できるものでもよい。
【0021】
照明装置の照明光は通常の電球や蛍光灯等により得られるものと同様のものでもよいが、撮像装置を用いる場所等によっては人目では感知できない赤外光が好ましい。例えば、或る場所で予定された人が集まるときは通常撮像モードに設定し、そうでないときは侵入者の監視のために動体抽出モードに設定する場合、通常撮像モードにおいて人目が感じる照明光を用いると、その点滅等により不快感を生じさせるが、赤外光であればその心配はない。
【0022】
固体撮像素子の代表例として次のものを挙げることができる。
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させ、該第2電圧を前記第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像素子である。
【0023】
この撮像素子によると、例えば、静止背景部を表す一様濃度の背景画像に対し、輝度の変化をもたらす動体の少なくとも一部を暗く又は明るく表示できる画像データを生成することができる。それにより、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
既述のとおり、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0024】
そこで、いま述べた撮像素子の電圧制御部に係わる
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる撮像状態」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる撮像状態」と、或いは「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する撮像状態」と言い換えることができる。
<第1実施形態の撮像装置の具体例>
次に図1から図5を参照して第1実施形態の撮像装置の具体例を説明する。
図1に示す撮像装置は、固体撮像素子10及び照明装置20とそのコントローラ30を含んでいる。
【0025】
照明装置10はここでは撮像素子により撮像される被撮像領域に対し撮像のための照明光として赤外光を照射するものである。コントローラ30は、手動により又は外部からの指示信号に呼応して照明装置20を点灯状態に維持するか、又は点滅させるように該照明装置20を制御するものである。
【0026】
次に固体撮像素子10について詳述する。
図1は撮像素子10を含む撮像装置の全体を示すブロック図、図2は撮像素子10の画素の配列された画素部等の構成を示す図、図3は一つの画素の構成を示す図、図4は通常撮像状態を実現できる駆動電圧印加タイミングを示すタイミングチャートである。図5は動体抽出撮像状態を実現できる駆動電圧印加タイミングを示すタイミングチャートである。
【0027】
撮像素子10は、図1に示すとおり、画素部G、これに接続された垂直走査回路1及び出力回路8を備えており、出力回路8には水平走査回路2が接続されているとともに出力アンプAmが接続されている。この出力アンプAmから画像データが出力され、図示省略のディスプレイによる画像表示や記録媒体への画像データの記録等に供される。
【0028】
撮像素子10はまた、画素部G等へ電圧レギュレータRgを介して所定の各種電圧信号等を供給するための電圧制御部VCを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータTGも備えている。
【0029】
画素部Gには、図2に示すように、撮像用の画素G11〜Gmnが行列配置(マトリクス配置)されている。垂直走査回路1は、各画素に走査用信号φVを与える行(ロウ)ライン31、32、・・・3nを順次走査していくとともに、ライン41、42、・・・4nを介して各画素の後述するキャパシタCに電圧φVDを供給する。
【0030】
水平走査回路2は、各画素から出力信号線61、62、・・・6mに導出される光電変換信号を画素ごとに水平方向(行方向)に順次読み出す。図2において5は電源ラインである。
なお、後ほど説明する図3においては行(ロウ)ラインは3で、φVD供給ラインは4で、出力信号線は6で示してある。
【0031】
各画素には、以上述べたライン31、32、・・・3n、41、42、・・・4n、出力信号線61、62、・・・6m、電源ライン5だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図2ではこれらの図示を省略している。
図1に示す出力回路8は、図2に示す定電流電源71、72、・・・7m、選択回路81、82、・・・8m及び補正回路9を含んでいる。
【0032】
定電流電源71、72、・・・7mは出力信号線61、62、・・・6mにそれぞれ接続されている。選択回路81、82、・・・8mは信号線61〜6mを介して画素G11〜Gmnから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路9は選択回路81、82、・・・8mから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力して画像表示に供する。なお、定電流源71〜7mのそれぞれの一端には直流電圧VPSが印加される。
【0033】
かかる固体撮像素子10においては、画素Gab(a:1≦a≦mの自然数、b:1≦b ≦nの自然数)からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線6aを介して出力されるとともに、この出力信号線6aに接続された定電流電源7aによって増幅される。そして、画素Gabから出力された映像信号及びノイズ信号が順番に選択回路8aに送出されるとともに、この選択回路8aにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路8aより、サンプルホールドされた映像信号が補正回路9に送出された後、同じくサンプルホールドされたノイズ信号が補正回路9に送出される。
【0034】
補正回路9では、選択回路8aより与えられた映像信号を、同じく選択回路8aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプAmを介して増幅して外部に出力する。選択回路81〜8m及び補正回路9のそれぞれの構成例として、本出願人が特開平2001−223948号公報において提示した構成などが挙げられる。なお、選択回路81、82、・・・8mに補正回路を含ませてもよい。
【0035】
次に画素G11〜Gmnのそれぞれの1例を図3を参照して説明する。
図3に示す画素は、光電変換素子の1例であるフォトダイオードPD、該フォトダイオードPDの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用MOSトランジスタT2を含む対数変換部L及び対数変換部Lの出力を蓄積するためのキャパシタCを含む積分回路IT等を備えている。なお、フォトダイオードPDは赤外光に感応するものである。
【0036】
さらに説明すると、各画素においては、アノード電位をVPDとした(接地電位でもよい)フォトダイオードPDのカソードにスイッチング用のMOSトランジスタT1のドレインが接続され、トランジスタT1のソースに対数変換用のMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続されている。トランジスタT3は対数変換された信号に相当する電流を流すためのものである。
【0037】
また、MOSトランジスタT3のソースにソースフォロワ増幅用のMOSトランジスタT5のゲート及びキャパシタリセット用のMOSトランジスタT4のドレインが接続され、MOSトランジスタT5のソースにスイッチング用(信号読み出し用)のMOSトランジスタT6のドレインが接続されている。そして、MOSトランジスタT6のソースが出力信号線6(図3の出力信号線61〜6mに相当)に接続されている。なお、MOSトランジスタT1〜T6はいずれもPチャンネル型のトランジスタである。
【0038】
対数変換用MOSトランジスタT2のソースには信号φVPSが入力される。MOSトランジスタT3、T5のドレインの電位はVPDとされる。なお、該ドレインは接地されていてもよい。MOSトランジスタT3のソースにはキャパシタCが接続され、該キャパシタCにはフォトダイオードPDからの電気信号をキャパシタCで積分するための参照電圧(信号φVD)が入力される。
【0039】
また、MOSトランジスタT4のソースには直流電圧RSBが入力され、該トランジスタT4のゲートに信号φRSTが入力される。さらに、MOSトランジスタT1のゲートにはトランジスタT1のオン、オフ操作のための信号φSが、MOSトランジスタT6のゲートにはトランジスタT6のオン、オフ操作のための信号φVが入力される。
【0040】
このように構成された画素において、MOSトランジスタT6及び出力信号線6を介して、−端に直流電圧VPSが印加された定電流電源7(図2の定電流電源71〜7mに相当する)が、MOSトランジスタT5のソースに接続される。
【0041】
従って、MOSトランジスタT6がオンのとき、MOSトランジスタT5はソースフオロワのMOSトランジスタとして動作し、定電流電源7によって増幅された電圧信号を出力信号線6に出力する。
【0042】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路(図示せず)での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源71〜7mを画素内に設けずに、列(カラム)方向に配置された複数の画素が接続される出力信号線61〜6m毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【0043】
次に、以上説明した撮像素子において可能である通常の撮像動作及び各画素の感度バラツキ検出動作について説明し、そのあと動体存在の検出動作について説明する。
【0044】
対数変換用MOSトランジスタT2のソースに供給する信号φVPSは通常撮像状態を得るときにはハイ(High) とロー(Low) の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタT2をサブスレッショルド領域で動作させるための電圧をロー(Low)とし、トランジスタT2をリセットするときには、該電圧よりも高くトランジスタT2にローの信号φVPSを与えた時よりも大きい電流が流れ得るようにするハイ(Hi)の電圧を採用する。
【0045】
なお、後述するように、ノイズ信号読出し後キャパシタCをリセットするときには、光電変換素子の残存信号除去のために、トランジスタT2のソースにハイとローの中間程度の値の電圧を印加する。
【0046】
しかし、動体の存在検出のための動体抽出撮像状態を得るときには、トランジスタT2をリセットするとき、前記ハイ電圧に代えて、ここではロー電圧とハイ電圧との中間程度の値の電圧を採用する(図5参照)。
【0047】
キャパシタCに与える参照電圧φVDについては、通常撮像状態、動体抽出撮像状態のいずれにおいても3値の電圧信号を採用する。すなわち、キヤパシタCを積分動作させる際の電圧値を最も高いVhとし、映像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりもさらに低いVlとする。
【0048】
以下の説明において、電圧信号等の画素等への印加は電圧制御部VCが電圧レギュレータRgを介して行う。
(1)通常撮像状態での撮像動作
先ず、撮像素子10を通常撮像状態に設定する。
(1−1)映像信号(画像信号)出力
以下の説明において、MOSトランジスタT1をオン、オフする信号φSは撮像動作の間、常にロー(Low)であり、トランジスタT1はオン状態である。また、キャパシタリセット用トランジスタT4へ与える信号φRSTをハイ(Hi)としてトランジスタT4をオフとする。そしてMOSトランジスタT2がサブスレッシヨルド領域で動作するように、トランジスタT2のソースに与える信号φVPSをローとするとともにキャパシタCに与える信号φVDの電圧値をVhとしてキャパシタCによる積分動作を可能とする。
【0049】
このような状態においてフォトダイオードPDに被撮像領域からの光が入射されると、光電流が発生し、トランジスタT2のサブスレッショルド特性により、トランジスタT2、T3のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【0050】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタT3で電流増幅されたドレイン電流がキヤパシタCから流れて、キヤパシタCが放電する。よって、MOSトランジスタT5のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キヤパシタCが積分動作を行うことで得られる映像信号を読み出すために、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にローのパルス信号φVを与える。これによりMOSトランジスタT5のゲート電圧に応じたソース電流がMOSトランジスタT6を介して出力信号線6へ流れる。
【0051】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6には映像信号が電圧信号としてあらわれる。その後、信号φVをハイにしてトランジスタT6をオフするとともに、信号φVDの電圧値をVhとする。このようにトランジスタT5、T6を介して出力される映像信号は、トランジスタT5のゲート電圧に比例した値となり、そのためフォトダイオードPDへの入射光量の積分値の自然対数値に比例した信号となる。
(1−2)感度バラツキ検出(ノイズ信号出力)
図4に示すように、電圧値Vmのパルス信号φVDとローのパルス信号φVが与えられて映像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてトランジスタT1をオフにしてリセット動作を開始させる。このとき、トランジスタT2のソース側より正の電荷が流れ込み、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタT2のゲート及びドレインのポテンシャルが上がる。
【0052】
しかし、トランジスタT2のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい被撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタT2のソースに与える信号φVPSをハイにする。このように、トランジスタT2のソース電圧を高くすることで、トランジスタT2のソース側から流入する正の電荷の量が増加し、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSTをローとしてトランジスタT4をオンにして、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧を初期化する。
【0053】
そして、信号φVPSをハイにすることで、トランジスタT2のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタT2のソースに与える信号φVPSをローにして、トランジスタT2のポテンシャル状態をもとの状態に戻す。このように、トランジスタT2のポテンシャルの状態がもとの状態にリセットされると、信号φRSTをハイにして、トランジスタT4をオフにする。
【0054】
すると、キヤパシタCが積分動作を行って、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧が、リセットされたトランジスタT2のゲート電圧に応じたものとなる。そこで、パルス信号φVをトランジスタT6のゲートに与えてトランジスタT6をオンにするとともに信号φVDの電圧値をVlにする。これにより、トランジスタT2、T3の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線6に流れる。
【0055】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6にはノイズ信号が電圧信号としてあらわれる。その後、信号φSをローにしてトランジスタT1を導通させてトランジスタT2のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φRSTをトランジスタT4に与えて、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【0056】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタCに与える電圧φVDをVh、Vm、Vlの3値としたが、該電気信号積分のためにキャパシタCに与える電圧φVDは一定であっても構わない。しかし、前記のような3値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ/デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタCに与える信号φVDの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【0057】
また、以上説明した撮像素子では、PチヤンネルのMOSトランジスタを用いて各画素を構成したが、画素をNチヤンネルのMOSトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源71〜7mについても、図2と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
(2)動体抽出撮像状態での撮像動作
撮像素子10を動体抽出撮像状態に設定する。
【0058】
映像信号出力のための動作は前記通常撮像状態の場合と同様である。しかし、ノイズ信号出力動作において、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、図5に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出を行える。それ以外は通常撮像状態におけるノイズ出力処理と同様である。なお、通常撮像状態の場合におけるノイズ信号出力の場合のロー信号φVPSに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【0059】
この動体抽出撮像状態においても、通常撮像状態の場合と同様に、φVPSをローにして撮像を行ったときに各画素から出力される映像信号と、φVPSをハイとローの中間程度の値の電圧にしてMOSトランジスタT2をリセットしたとき各画素から出力される雑音信号(ノイズ信号)との差分が、補正回路9による差分処理により該映像信号から差し引かれて出力される。
【0060】
しかし、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、MOSトランジスタT2にリセット残しが生じる。しかも、該リセット残しはMOSトランジスタT2の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない被撮像領域部分を撮像した各画素については同様の値となる。かくして被撮像領域における静止背景部については略一様にグレー表示可能の信号が出力される。これを用いて静止背景部については略一様にグレーで表示させることが可能である。
【0061】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【0062】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子10への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【0063】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子10への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【0064】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【0065】
撮像素子10を通常撮像状態に設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(A)に示すような画像となり、素子10を動体抽出撮像状態に設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(B)に示すような画像となる。
【0066】
図6(A)及び図6(B)において、動体は黒いボールであり、白い壁の前に置いたテーブルの上を図中右から左へ転動している。例えばボールの左右のエッジ部分に着目すると、ボールの左側のエッジ部分の左方への移動により撮像素子から見ると輝度が「明」から「暗」に変化する被撮像領域部分が幅と向きを持った明るい部分Pとして表示され、ボールの右側のエッジ部分の左方への移動により撮像素子から見ると輝度が「暗」から「明」に変化する被撮像領域部分が幅と向きを持った暗い部分Qとして表示される。
【0067】
以上、駆動条件を変更することで、通常撮像、動体抽出撮像のいずれもなし得る撮像素子10について説明したが、常時、動体抽出撮像状態に設定したままでも、従って駆動条件を常時図5に示す状態にしたままでも、次のようにして、通常撮像モードと動体抽出モードとで必要に応じて簡単に切り替えて撮像を行える。
【0068】
すなわち、照明装置コントローラ30により照明装置20を点灯状態に維持し、それにより照明光を一定に維持するだけで簡単に動体抽出モードを実現できる。この動体抽出モードでは、照明光が一定に維持されることで、撮像素子10による撮像領域中に静止背景部に対し動体により輝度が変化する部分が生じ、撮像素子10は該部分について明るく又は暗く表示できる画像データを出力し、輝度変化しない他の部分(静止背景部)についてはグレーの一様な濃度で表示できる画像データを出力できる。かくして動体存在を検出できる。
【0069】
一方、照明装置コントローラ30により照明装置20を点滅させることで、簡単に通常撮像モードを実現できる。この通常撮像モードでは、照明光が点滅することで、撮像素子10による撮像領域中の静止部分も動体も共に輝度変化する部分となり、そのため撮像素子10は静止部分も動体も同じように撮像する結果となる。
【0070】
通常撮像モードと動体抽出モードの切り替えも照明装置コントローラ30により照明装置の照明条件を変更するだけで簡単に行える。
【0071】
このことから分かるように、撮像素子10は、前記説明における動体抽出撮像状態を実現するようにのみ構成されていてもよく、その場合でも、通常撮像モード、動体抽出モードのいずれも実現できる。
<第2実施形態>
第2実施形態の撮像装置は次の撮像素子を備えている。すなわち、
該撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、前記各画素からの信号を受け取って出力するための出力回路とを備えている。
【0072】
該撮像素子は、撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させる。
【0073】
また、該撮像素子は、前記リセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを実現する。該動体抽出モードにおいては、撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる。
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する。
【0074】
この撮像装置によると、対数変換用トランジスタへのリセット用第2電圧の印加期間(換言すれば第2電圧のパルス幅)を切り替えるだけで、簡単に撮像モードを通常撮像モードにも、動体抽出モードにも設定できる。
【0075】
例えば、通常撮像モードは、リセット用第2電圧印加期間を対数変換用トランジスタにリセット残しが生じないように定めることで実現でき、動体抽出モードは、リセット用第2電圧印加期間を対数変換用トランジスタのリセット残しが生じるように定めることで、換言すれば通常撮像モード時より短く定めることで実現できる。
【0076】
リセット用第2電圧印加期間の切り替えによる通常撮像モード又は動体抽出モードの設定は、例えば撮像素子コントローラの指示のもとに行ってもよいが、例えば該コントローラに通常撮像モード又は動体抽出モードの設定切り替えのための切り替えスイッチを設けておき、これによりオペレータが任意に切り替え指示できるようにしてもよい。
【0077】
いずれにしても、対数変換用トランジスタのリセット時にリセット残しを生じさせることで、撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出モードが実現される。
【0078】
かかる動体抽出モードにおいては、例えば、静止背景部を表す一様濃度の背景画像に対し、輝度の変化をもたらす動体の少なくとも一部を暗く又は明るく表示できる画像データを生成することができる。それにより、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
既述のとおり、動体により輝度が変化する撮撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0079】
そこで、いま述べた
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出モード」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる動体抽出モード」と、或いは
「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出モード」と言い換えることができる。
<第2実施形態の撮像装置の具体例>
図7及び図8を参照して第2実施形態の撮像装置の具体例を説明する。
この撮像装置は、撮像素子10’及び撮像素子コントローラ40を含んでいる。図7はこれらをブロック図で示している。撮像素子10’は、第1実施形態における撮像素子10から電圧制御部VCを省き、コントローラ40で動作制御できるようにしたものである。撮像素子10と実質上同じ部分については撮像素子10と同じ参照符号を付してある。コントローラ40は電圧レギュレータTGに指示して画素部G等へ所定の各種電圧信号等を供給させるとともに、タイミングジエネレータTGに指示して各部を所定のタイミングで動作させる。
【0080】
この撮像素子10’は、第1実施形態における撮像素子10と異なり、コントローラ40の指示のもとに、対数変換用MOSトランジスタT2のリセットにあたり、図8に示すように、該トランジスタのソースにハイ(High)の電圧信号φVPSをトランジスタT2にリセット残しが生じない十分な印加期間(パルス幅)で印加することで通常撮像モードを実現し、図9に示すように、トランジスタT2のソースに同じくハイ(High)の電圧信号φVPSをトランジスタT2にリセット残しが生じるように短い印加期間(パルス幅)だけ印加することで動体抽出モードを実現する。
【0081】
換言すれば、この実施形態の撮像装置は、電圧信号φVPSの印加期間(パルス幅)の切り替えが可能とした撮像素子を含むものである。φVPS印加期間(パルス幅)の切り替えは前記撮像素子コントローラ40により行われるのであるが、例えば該コントローラ40に該切り替え用の手動スイッチを設けておく等により行えるようにしてもよい。
【0082】
【発明の効果】
以上説明したように本発明によると、撮像モードを通常撮像モードと動体抽出モードとで簡単に切り替えることができるとともに動体抽出撮像モードにおいては複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することができる。
【図面の簡単な説明】
【図1】第1実施形態の撮像装置の構成を示すブロック図である。
【図2】図1に示す撮像素子における画素の配列された画素部等の構成を示す図である。
【図3】一つの画素の構成を示す図である。
【図4】図1から図3に示す撮像素子において通常撮像状態を実現し得る駆動電圧印加タイミング例を示すタイミングチャートである。
【図5】図1から図3に示す撮像素子において動体抽出撮像状態を実現し得る駆動電圧印加タイミング例を示すタイミングチャートである。
【図6】図6(A)は通常撮像状態による、動体(ボール)を含む被撮像領域の撮像例を示し、図6(B)は動体抽出撮像状態による、動体を含む被撮像領域の撮像例を示している。
【図7】第2実施形態の撮像装置の構成を示すブロック図である。
【図8】第2実施形態の撮像装置における通常撮像モードにおける駆動電圧印加タイミング例を示すタイミングチャートである。
【図9】第2実施形態の撮像装置における動体抽出モードにおける駆動電圧印加タイミング例を示すタイミングチャートである。
【符号の説明】
10、10’撮像素子
20 照明装置
30 照明装置コントローラ
40 撮像素子コントローラ
G 画素部 81〜8m 選択回路
1 垂直走査回路 9 補正回路
2 水平走査回路 10 電圧制御部
3、31〜3n 行(ロウ)ライン Am 出力アンプ
4、41〜4n ライン Rg 電圧レギュレータ
5 電源ライン TG タイミングジエネレータ6、61〜6m 出力信号線 G11〜Gmn 画素
71〜7m 定電流電源 PD フォトダイオード
8 出力回路
T1 スイッチング用MOSトランジスタ
T2 対数変換用MOSトランジスタ
T3 MOSトランジスタ
T4 キャパシタリセット用MOSトランジスタ
T5 ソースフォロワ増幅用MOSトランジスタ
T6 信号読出し用MOSトランジスタ
C キャパシタ(積分用コンデンサ)
Claims (5)
- 被撮像領域を撮像するための撮像素子と、
該被撮像領域撮像用の照明光を該被撮像領域に照射するための照明装置と、
該照明装置からの照明光を一定に維持又は変化させるように該照明装置を制御する照明装置コントローラとを備えており、
前記撮像素子は、該撮像素子による撮像領域中に前記照明光照射のもとで輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの画像信号を出力できる素子であり、
前記照明装置コントローラは前記照明装置に照明光を一定に維持させることで該撮像素子による動体抽出モードを実現し、前記照明装置に照明光を変化させることで該撮像素子による通常撮像モードを実現することを特徴とする撮像装置。 - 前記照明装置は赤外光を照射するものである請求項1記載の撮像装置。
- 前記撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部からの第2信号を前記積分回路に蓄積させ、該第2電圧を前記第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する請求項1又は2記載の撮像装置。 - 撮像領域を撮像するための撮像素子を備えており、
該撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させ、前記リセット用第2電圧の印加期間を制御することで通常撮像モード又は動体抽出モードを実現可能であり、該動体抽出モードにおいては、撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなり、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力することを特徴とする撮像装置。 - 前記動体抽出モードにおける前記リセット用第2電圧印加期間は前記対数変換用トランジスタのリセット残しが生じるように前記通常撮像モード時より短い請求項4記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003092998A JP2004304377A (ja) | 2003-03-31 | 2003-03-31 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003092998A JP2004304377A (ja) | 2003-03-31 | 2003-03-31 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004304377A true JP2004304377A (ja) | 2004-10-28 |
Family
ID=33405895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003092998A Withdrawn JP2004304377A (ja) | 2003-03-31 | 2003-03-31 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004304377A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140147334A (ko) * | 2013-06-19 | 2014-12-30 | 삼성전자주식회사 | 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서 |
CN113612943A (zh) * | 2020-05-05 | 2021-11-05 | 原相科技股份有限公司 | 操作高动态范围像素电路以达到高精确度的方法 |
-
2003
- 2003-03-31 JP JP2003092998A patent/JP2004304377A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140147334A (ko) * | 2013-06-19 | 2014-12-30 | 삼성전자주식회사 | 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서 |
KR102102702B1 (ko) * | 2013-06-19 | 2020-04-21 | 삼성전자주식회사 | 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서 |
CN113612943A (zh) * | 2020-05-05 | 2021-11-05 | 原相科技股份有限公司 | 操作高动态范围像素电路以达到高精确度的方法 |
CN113612943B (zh) * | 2020-05-05 | 2024-03-29 | 原相科技股份有限公司 | 操作高动态范围像素电路的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6969539B2 (ja) | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 | |
JP4187502B2 (ja) | 画質を向上させたイメージセンサ | |
US8023004B2 (en) | Imaging apparatus, imaging method, and program for selectively controlling gain in a normal imaging mode and a combined imaging mode | |
JP4840578B2 (ja) | 撮像装置のフリッカ検出方法と装置 | |
JP3685686B2 (ja) | 撮像エリアセンサおよび撮像装置 | |
US9544518B2 (en) | Image pickup apparatus and image pickup system with ad converter outputting image data at first resolution in a case where pixel signals are not higher than threshold level and at second resolution in a case where pixel signals are higher than threshold level | |
US8130303B2 (en) | Solid-state imaging apparatus | |
JP2008263546A (ja) | 固体撮像装置、固体撮像装置の駆動方法、及びこれを用いた撮像システム | |
JP4013700B2 (ja) | 撮像装置 | |
JP2004297546A (ja) | 撮像装置 | |
US7295237B2 (en) | Image capturing apparatus capable of extracting a moving object | |
JP3623499B2 (ja) | 撮像装置及び撮像方法 | |
JP4253908B2 (ja) | 固体撮像素子およびその駆動方法、並びに固体撮像素子の信号処理方法 | |
JP3823919B2 (ja) | 撮像装置 | |
JP2004304377A (ja) | 撮像装置 | |
US7221808B2 (en) | Image processing device | |
US7236192B2 (en) | Image-sensing device | |
JP4485275B2 (ja) | 撮像装置 | |
JP2004304378A (ja) | 撮像装置 | |
JP2006311367A (ja) | 撮像装置及び撮像方法 | |
JP4847281B2 (ja) | 撮像装置及びその制御方法並びに撮像システム | |
JP2006197229A (ja) | 撮像装置およびカメラ | |
JP2001008111A (ja) | 固体撮像装置 | |
JP2006121358A (ja) | 固体撮像装置 | |
US20230078758A1 (en) | Apparatus, image processing method to combine images based on flicker, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |