JP2004304378A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004304378A JP2004304378A JP2003093005A JP2003093005A JP2004304378A JP 2004304378 A JP2004304378 A JP 2004304378A JP 2003093005 A JP2003093005 A JP 2003093005A JP 2003093005 A JP2003093005 A JP 2003093005A JP 2004304378 A JP2004304378 A JP 2004304378A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- signal
- moving object
- frame rate
- voltage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供する。また、動体存在の検出を行う状態、通常の撮像を行う状態のいずれにでも設定可能の撮像装置を提供する。
【解決手段】動体検知モードで撮像可能の撮像素子10と、被撮像領域の照明光の変化周波数に応じて撮像素子10の撮像フレームレートを変更可能のフレームレート変更部(コントローラ20)とを備えた撮像装置。撮像素子10は動体検知モードで撮像領域中に動体による輝度変化部分があるとき該部分について該領域中の輝度変化しない部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現する。撮像装置は照明光の変化周波数を検出する検出部30を備えていてもよく、コントローラ20は、検出部30が検出する照明光変化周波数に応じてフレームレートを変更するものでもよい。
【選択図】 図1
【解決手段】動体検知モードで撮像可能の撮像素子10と、被撮像領域の照明光の変化周波数に応じて撮像素子10の撮像フレームレートを変更可能のフレームレート変更部(コントローラ20)とを備えた撮像装置。撮像素子10は動体検知モードで撮像領域中に動体による輝度変化部分があるとき該部分について該領域中の輝度変化しない部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現する。撮像装置は照明光の変化周波数を検出する検出部30を備えていてもよく、コントローラ20は、検出部30が検出する照明光変化周波数に応じてフレームレートを変更するものでもよい。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は動体を検出することができる撮像装置に関する。
【0002】
【従来の技術】
撮像装置についてはこれまで様々のものが提案されている。
ダイナミックレンジの広い撮像装置として、撮像のための画素に、光電変換素子及び光電変換素子への入射光量を自然対数的に光電変換して出力する対数変換部を配置した固体撮像装置が提案されている。特開平3−192764号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、光電変換素子として例えばフォトダイオードを採用し、対数変換部に対数変換用のMOSトランジスタを採用している。同公報は対数変換部の出力を蓄積する積分回路も組み合わせた画素も開示している。
【0003】
また、対数変換型撮像装置において、画素間での感度のバラツキをキャンセル処理できる撮像装置も提案されている。特開2001−94878号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、各画素に一様に光を照射して画素間の感度バラツキを検出してその感度バラツキをキャンセル処理するという手法によらずに、感度のバラツキをキャンセル処理するものである。
【0004】
一方、撮像の分野では、例えば不法侵入者その他のものの監視等のために移動体を検出することについても研究されており、フレーム間差分法(前画面と現画面のフレーム間差分画面をとる方法)や背景差分法(背景画像と入力画像の差分をとる方法)といった手法が提案されている。特開平5−145823号公報はフレーム間差分法を紹介しており、特開平7−336694号公報は背景差分法を開示している。
【0005】
【特許文献1】特開平3−192764号公報
【特許文献2】特開2001−94878号公報
【特許文献3】特開平5−145823号公報
【特許文献4】特開平7−336694号公報
【0006】
【発明が解決しようとする課題】
しかしながら、撮像装置による動体の検出についてみれば、従来のフレーム間差分法や背景差分法による動体検出は撮像素子からの信号の複雑な処理を必要とするものであり、そのような複雑な信号処理を行わずに簡単に動体の存在を検出できる撮像装置の出現が望まれる。そのような撮像装置があれば、監視分野等に応用しやすい。
【0007】
そこで本発明は、複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することを課題とする。
【0008】
また、本発明は動体存在の検出を行う状態、通常の撮像を行う状態のいずれにでも設定可能の撮像装置を提供することを課題とする。
【0009】
【課題を解決するための手段】
本発明者は前記課題を解決するため研究を重ね、次のことを見いだした。
撮像領域中を動体が移動する場合、例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。換言すれば、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。従って、撮像領域に含まれる輝度が変化する部分、換言すれば該輝度変化をもたらす動体の少なくとも一部を該撮像領域に含まれる輝度変化しない部分或いは静止背景部とは異なる濃度で表示できる画像データを取得できれば、複雑な信号処理或いは画像処理を要することなく動体の存在を検出できる。
【0010】
例えば、撮像領域中における輝度の変化しない部分については一様な濃度で表示し、換言すれば一様な濃度で背景部として表示し、輝度の変化する部分についてはその一様な濃度の背景部に対し高い濃度で、又は低い濃度で表示できれば、その濃度の高い又は低い表示部分があることをもって動体の存在を検出できる。
【0011】
このような表示は、例えば、光電変換素子及び該光電変換素子の出力をそれへの入射光量の対数値に比例する電気信号に変換する対数変換用トランジスタを含む対数変換部を撮像用画素に配置した、或いは該撮像用画素にさらに対数変換部の出力を蓄積するための積分回路を配置した撮像素子を利用して行える。
【0012】
すなわち、例えば、対数変換用トランジスタに通常の撮像のための第1電圧を印加して撮像を行った後、該トランジスタにリセットのための第2電圧を印加するとき、該第2電圧を制御することで行える。
【0013】
しかしこの考え方は、撮像領域中の輝度変化しない部分に対する輝度変化する部分を動体としてとらえようとするものであるため、撮像素子の撮像フレームレートが撮像素子により撮像される被撮像領域の照明光の変化周波数と同期していないときは、動体及び静止背景部のいずれもが撮像素子からみて輝度変化する結果となり、そのために動体抽出を行えない事態が生じることがある。これを解決するには、該照明光変化周波数に撮像素子のフレームレートを同期させ得るフレームレート変更手段を設ければよい。
【0014】
該照明光変化周波数は、地域によって異なることがある照明光の光源電源周波数に支配されることがある。例えば、50HzのAC電源による蛍光灯の照明光の周波数は100Hzとなり、60HzのAC電源による蛍光灯の照明光の周波数は120Hzとなる。従って、前記のフレームレート変更手段は、例えば、被撮像領域の照明光の光源電源であるAC電源の周波数に応じて前記撮像素子の撮像フレームレートを変更するものとすればよい。
【0015】
また、被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部を採用し、フレームレート変更部は、該検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するものとしてもよい。
【0016】
本発明は前記知見に基づき次の第1、第2の撮像装置を提供する。
<第1の撮像装置>
動体検知モードで撮像可能の撮像素子と、
前記撮像素子により撮像される被撮像領域の照明光の変化周波数に応じて前記撮像素子の撮像フレームレートを変更可能のフレームレート変更部とを備えており、
前記撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現できる撮像装置。
<第2の撮像装置>
動体検知モードで撮像可能の撮像素子と、
前記撮像素子により撮像される被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部と、
前記照明光周波数検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するフレームレート変更部とを備えており、
前記撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現できる撮像装置である。
いずれにしても本発明に係る撮像装置は監視カメラ等への応用が可能である。
【0017】
【発明の実施の形態】
以下、本発明の実施形態である撮像装置について説明する。
実施形態の撮像装置は撮像モードを通常撮像モードと動体検知モードとで切り替え可能の固体撮像素子を含んでいる。さらに、該固体撮像素子の撮像フレームレートを被撮像領域の照明光の変化周波数に応じて変更可能のフレームレート変更部を備えている。
【0018】
本明細書において「照明光の変化周波数」とは、照明光の光量及び(又は)強度が変化する場合のその変化周波数である。例えば、50HzのAC電源にて点灯する蛍光灯の変化周波数は100Hzであり、60HzのAC電源にて点灯する蛍光灯の変化周波数は120Hzである。
【0019】
該固体撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号(画像データ)とは異なるレベルの動体存在を示す画像信号(画像データ)を出力できる動体抽出撮像状態を実現でき、通常撮像モードと動体検知モードとの切り替えが可能な撮像素子である。
【0020】
この撮像装置によると、撮像素子は上記動体抽出撮像状態を実現でき、これにより動体存在を複雑な信号処理や画像処理を要することなく簡単に検出できる。
【0021】
また、この撮像装置は、撮像素子の撮像フレームレートを被撮像領域の照明光の変化周波数に応じて変更可能のフレームレート変更部を備えているので、該フレームレート変更部により、照明光変化周波数に応じて撮像素子の撮像フレームレートを照明光変化周波数に同期するように変更することができ、これにより照明光の周期的変化に拘らず動体存在を検出することができる。
【0022】
被撮像領域照明光の光源へ電力供給する電源が例えばAC電源である場合、該電源周波数が被撮像領域の照明光の光量等の変化をもたらす。そこで、前記フレームレート変更部として、例えば、被撮像領域の照明光の光源電源(例えばAC電源)の周波数に応じて前記撮像素子の撮像フレームレートを変更できるものを挙げることができる。この場合、電源(例えばAC電源)周波数に応じて手動でフレームレートを切り替え変更できるものでもよい。
また、フレームレート変更のために、被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部を採用してもよい。
【0023】
この場合前記フレームレート変更部として、該照明光周波数検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するものを採用することができる。
【0024】
かかる照明光周波数検出部としては、被撮像領域照明光に基づいて照明光変化周波数を検出するものを例示できる。さらにそのような検出部として、光電変換素子(例えばフォトダイオード)を備えた検出部を例示できる。
【0025】
また、照明光の光源電源(例えばAC電源)の周波数が被撮像領域の照明光に変化をもたらすときは、照明光周波数検出部は該電源の周波数を検出することで照明光変化周波数を検出するものでもよい。撮像素子の電源が光源電源と同じ電源であるときには、該撮像素子への電力供給と同時的に該電源の周波数を検出することで照明光変化周波数を検出するものでもよい。
【0026】
いずれにしても、前記フレームレート変更部としては、例えば、前記撮像素子の撮像フレームレートを照明光の変化周波数の1/n(nは自然数)のフレームレートに設定するものを挙げることができる。フレームレートを照明光変化周波数の1/n(nは自然数)のフレームレートに設定することで、フレームレートを照明光変化周波数に同期させることができ、これにより確実に動体存在を検出できる。
【0027】
また、いずれにしても、フレームレート変更部は、照明が明るい又は暗いことにより、或いはオペレータの指示等により、フレームレートを変更する必要が生じたときには、手動により、或いは自動的にフレームレートを変更できるものとしてもよい。
【0028】
この場合、照明光変化周波数或いは電源周波数の1/n(nは自然数)の値にもっとも近い値に(フレームレートを高くするなら、大きい方の値に、フレームレートを低くするなら、小さい方の値に)に変更すればよい。さらなる変更が必要なら、nの値を順番に変えて同様の手順を繰り返せばよい。
【0029】
次に、前記の撮像素子の代表例として次のものを挙げることができる。
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させるものであり、動体検知モードにおいては、該第2電圧を通常撮像状態が得られる場合とは異ならせることで撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像素子である。
【0030】
ここで、「動体検知モードにおいては、該第2電圧を通常撮像状態が得られる場合とは異ならせる」とは、対数変換用トランジスタにリセット残しが生じるように、「第2電圧を第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定すること」や、「第2電圧の印加期間(換言すれば、第2電圧のパルス幅)を通常撮像状態が得られる場合のそれより短く設定すること」等を指している。
【0031】
この撮像装置によると、動体抽出撮像状態の実現により、例えば、静止背景部を表す一様濃度の背景画像に対し、輝度の変化をもたらす動体の少なくとも一部を暗く又は明るく表示できる画像データを生成することができる。それにより、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
既述のとおり、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0032】
そこで、いま述べた撮像素子の電圧制御部に係わる
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」と、或いは
「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出撮像状態を実現し、」と言い換えることができる。
【0033】
いずれにしてもかかる撮像素子における前記電圧制御部は、輝度変化をもたらす動体の抽出をより確実に行えるようにするために、電圧制御部として、動体抽出撮像状態において、被撮像領域に含まれる静止背景部全体を均一な中間的濃度で表示する撮像信号を生成するように第1電圧及び第2電圧を設定するものを採用することができる。
【0034】
電圧制御部は、例えば、前記第1電圧と第2電圧の差の絶対値が、例えば、通常撮像状態が実現される場合の略半分の値となるように該第2電圧を制御することで動体抽出撮像状態を実現してもよい。
【0035】
また、前記光電変換素子と対数変換用トランジスタとを電気的に接離するためのスイッチをさらに備えていてもよい。その場合、電圧制御部として該スイッチをオフした状態で該対数変換用トランジスタに前記第2電圧を印加することによって該トランジスタをリセットするものを採用してもよい。
【0036】
以下、図1から図8を参照して固体撮像装置の具体例について説明する。
図1は固体撮像素子10を含む全体構成を示すブロック図、図2は画素の配列された画素部等の構成を示す図、図3は一つの画素の構成を示す図、図4は通常撮像状態を実現するときの駆動電圧印加タイミングを示すタイミングチャート、図5は動体抽出撮像状態を実現するときの駆動電圧印加タイミングを示すタイミングチャートである。
【0037】
撮像素子10は、図1に示すとおり、画素部G、これに接続された垂直走査回路1及び出力回路8を備えており、出力回路8には水平走査回路2が接続されているとともに出力アンプAmが接続されている。この出力アンプAmから画像データが出力され、図示省略のディスプレイによる画像表示や記録媒体への画像データの記録等に供される。
【0038】
撮像素子10はまた、画素部G等へ電圧レギュレータRgを介して所定の各種電圧信号等を供給するための電圧制御部VCを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータTGも備えている。
【0039】
タイミングジエネレータTGはタイミングジエネレータコントローラ20の指示により各部を所定のタイミングで動作させ、また、撮像素子10の撮像フレームレート、すなわち、単位時間(ここでは1秒間)あたりの撮像フレーム数(f/s)を制御する。この撮像装置はさらに被撮像領域を照明する照明光の変化周波数(以下、「照明光周波数」又は「光源周波数」ということがある。)を直接検出する検出部30を備えている。検出部30はここでは光電変換素子であるフォトダイオードを備えており、それに流れる電流値から光変動周波数(光源周波数)を検出できるものである。
【0040】
検出部30は、図1の検出部30にカッコ書きで示すように、図示省略の被撮像領域照明用の光源のAC電源の周波数を検出するものでもよい。
【0041】
コントローラ20は、検出部30にて検出される光源周波数(或いはAC電源周波数)に応じて、タイミングジエネレータTGを介して、撮像素子10のフレームレートを制御する。このような構成により、撮像素子10の撮像フレームレートを検出部30にて検出される光源周波数(或いはAC電源周波数)の予め定めた1/n(nは自然数)のフレームレートに設定でき、フレームレートがそのように設定されることで動体検知モードにおける動体検出が可能である。
【0042】
コントローラ20には、照明が明るい又は暗いことにより、或いはオペレータの指示等により、フレームレートを変更する必要が生じたときに、フレームレートを光源周波数(或いはAC電源周波数)の1/n(nは自然数)の範囲で手動によりさらにフレームレートを変更できる手動設定部Mnも備えている。なお、手動設定部Mnに変えて、例えば照明が明るい又は暗いことによりフレームレートがさらに自動的に変更されるようにコントローラ20を構成しておいてもよい。この場合、照明の「明るさ」、「暗さ」は検出部30におけるフォトダイオードに流れる電流値の大きさから判断できる。
【0043】
次に撮像素子10についてさらに説明する。撮像素子10における電圧制御部VCは外部からの制御信号に呼応して動作する。また、撮像素子10は外部からの制御信号により電圧制御部VCに内蔵された通常撮像状態と動体抽出撮像状態との切換え回路に指示して、通常撮像状態(通常撮像モード)と動体抽出撮像状態(動体検知モード)との切り替えを行うことができる。
【0044】
画素部Gには、図2に示すように、撮像用の画素G11〜Gmnが行列配置(マトリクス配置)されている。垂直走査回路1は、各画素に走査用信号φVを与える行(ロウ)ライン31、32、・・・3nを順次走査していくとともに、ライン41、42、・・・4nを介して各画素の後述するキャパシタCに電圧φVDを供給する。
【0045】
水平走査回路2は、各画素から出力信号線61、62、・・・6mに導出される光電変換信号を画素ごとに水平方向(行方向)に順次読み出す。図2において5は電源ラインである。
なお、後ほど説明する図3においては行(ロウ)ラインは3で、φVD供給ラインは4で、出力信号線は6で示してある。
【0046】
各画素には、以上述べたライン31、32、・・・3n、41、42、・・・4n、出力信号線61、62、・・・6m、電源ライン5だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図2ではこれらの図示を省略している。
【0047】
図1に示す出力回路8は、図2に示す定電流電源71、72、・・・7m、選択回路81、82、・・・8m及び補正回路9を含んでいる。
【0048】
定電流電源71、72、・・・7mは出力信号線61、62、・・・6mにそれぞれ接続されている。選択回路81、82、・・・8mは信号線61〜6mを介して画素G11〜Gmnから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路9は選択回路81、82、・・・8mから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力して画像表示に供する。なお、定電流源71〜7mのそれぞれの一端には直流電圧VPSが印加される。
【0049】
かかる固体撮像素子10においては、画素Gab(a:1≦a≦mの自然数、b:1≦b ≦nの自然数)からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線6aを介して出力されるとともに、この出力信号線6aに接続された定電流電源7aによって増幅される。そして、画素Gabから出力された映像信号及びノイズ信号が順番に選択回路8aに送出されるとともに、この選択回路8aにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路8aより、サンプルホールドされた映像信号が補正回路9に送出された後、同じくサンプルホールドされたノイズ信号が補正回路9に送出される。
【0050】
補正回路9では、選択回路8aより与えられた映像信号を、同じく選択回路8aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプAmを介して増幅して外部に出力する。選択回路81〜8m及び補正回路9のそれぞれの構成例として、本出願人が特開平2001−223948号公報において提示した構成などが挙げられる。なお、選択回路81、82、・・・8mに補正回路を含ませてもよい。
【0051】
次に画素G11〜Gmnのそれぞれの1例を図3を参照して説明する。
図3に示す画素は、光電変換素子の1例であるフォトダイオードPD、該フォトダイオードPDの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用MOSトランジスタT2を含む対数変換部L及び対数変換部Lの出力を蓄積するためのキャパシタCを含む積分回路IT等を備えている。
【0052】
さらに説明すると、各画素においては、アノード電位をVPDとした(接地電位でもよい)フォトダイオードPDのカソードにスイッチング用のMOSトランジスタT1のドレインが接続され、トランジスタT1のソースに対数変換用のMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続されている。トランジスタT3は対数変換された信号に相当する電流を流すためのものである。
【0053】
また、MOSトランジスタT3のソースにソースフォロワ増幅用のMOSトランジスタT5のゲート及びキャパシタリセット用のMOSトランジスタT4のドレインが接続され、MOSトランジスタT5のソースにスイッチング用(信号読み出し用)のMOSトランジスタT6のドレインが接続されている。そして、MOSトランジスタT6のソースが出力信号線6(図3の出力信号線61〜6mに相当)に接続されている。なお、MOSトランジスタT1〜T6はいずれもPチャンネル型のトランジスタである。
【0054】
対数変換用MOSトランジスタT2のソースには信号φVPSが入力される。MOSトランジスタT3、T5のドレインの電位はVPDとされる。なお、該ドレインは接地されていてもよい。MOSトランジスタT3のソースにはキャパシタCが接続され、該キャパシタCにはフォトダイオードPDからの電気信号をキャパシタCで積分するための参照電圧(信号φVD)が入力される。
【0055】
また、MOSトランジスタT4のソースには直流電圧RSBが入力され、該トランジスタT4のゲートに信号φRSTが入力される。さらに、MOSトランジスタT1のゲートにはトランジスタT1のオン、オフ操作のための信号φSが、MOSトランジスタT6のゲートにはトランジスタT6のオン、オフ操作のための信号φVが入力される。
【0056】
このように構成された画素において、MOSトランジスタT6及び出力信号線6を介して、−端に直流電圧VPSが印加された定電流電源7(図2の定電流電源71〜7mに相当する)が、MOSトランジスタT5のソースに接続される。
【0057】
従って、MOSトランジスタT6がオンのとき、MOSトランジスタT5はソースフオロワのMOSトランジスタとして動作し、定電流電源7によって増幅された電圧信号を出力信号線6に出力する。
【0058】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路(図示せず)での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源71〜7mを画素内に設けずに、列(カラム)方向に配置された複数の画素が接続される出力信号線61〜6m毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【0059】
次に、先ず、以上説明した撮像素子による通常の撮像動作及び各画素の感度バラツキ検出動作について説明し、そのあと動体存在の検出動作について説明する。
【0060】
対数変換用MOSトランジスタT2のソースに供給する信号φVPSは通常撮像状態を得るときにはハイ(High) とロー(Low) の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタT2をサブスレッショルド領域で動作させるための電圧をロー(Low)とし、トランジスタT2をリセットするときには、該電圧よりも高くトランジスタT2にローの信号φVPSを与えた時よりも大きい電流が流れ得るようにするハイ(Hi)の電圧を採用する。
【0061】
なお、後述するように、ノイズ信号読出し後キャパシタCをリセットするときには、光電変換素子の残存信号除去のために、トランジスタT2のソースにハイとローの中間程度の値の電圧を印加する。
【0062】
しかし、動体の存在検出のための動体抽出撮像状態を得るときには、トランジスタT2をリセットするとき、前記ハイ電圧に代えて、ここではロー電圧とハイ電圧との中間程度の値の電圧を採用する(図5参照)。
【0063】
キャパシタCに与える参照電圧φVDについては、通常撮像状態、動体抽出撮像状態のいずれにおいても3値の電圧信号を採用する。すなわち、キヤパシタCを積分動作させる際の電圧値を最も高いVhとし、映像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりもさらに低いVlとする。
【0064】
以下の説明において、電圧信号等の画素等への印加は電圧制御部VCが電圧レギュレータRgを介して行う。
(1)通常撮像状態での撮像動作
先ず、撮像素子10を通常撮像状態(通常撮像モード)に設定する。
(1−1)映像信号(画像信号)出力
以下の説明において、MOSトランジスタT1をオン、オフする信号φSは撮像動作の間、常にロー(Low)であり、トランジスタT1はオン状態である。また、キャパシタリセット用トランジスタT4へ与える信号φRSTをハイ(Hi)としてトランジスタT4をオフとする。そしてMOSトランジスタT2がサブスレッシヨルド領域で動作するように、トランジスタT2のソースに与える信号φVPSをローとするとともにキャパシタCに与える信号φVDの電圧値をVhとしてキャパシタCによる積分動作を可能とする。
【0065】
このような状態においてフォトダイオードPDに被撮像領域からの光が入射されると、光電流が発生し、トランジスタT2のサブスレッショルド特性により、トランジスタT2、T3のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【0066】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタT3で電流増幅されたドレイン電流がキヤパシタCから流れて、キヤパシタCが放電する。よって、MOSトランジスタT5のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キヤパシタCが積分動作を行うことで得られる映像信号を読み出すために、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にローのパルス信号φVを与える。これによりMOSトランジスタT5のゲート電圧に応じたソース電流がMOSトランジスタT6を介して出力信号線6へ流れる。
【0067】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6には映像信号が電圧信号としてあらわれる。その後、信号φVをハイにしてトランジスタT6をオフするとともに、信号φVDの電圧値をVhとする。このようにトランジスタT5、T6を介して出力される映像信号は、トランジスタT5のゲート電圧に比例した値となり、そのためフォトダイオードPDへの入射光量の積分値の自然対数値に比例した信号となる。
(1−2)感度バラツキ検出(ノイズ信号出力)
図4に示すように、電圧値Vmのパルス信号φVDとローのパルス信号φVが与えられて映像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてトランジスタT1をオフにしてリセット動作を開始させる。このとき、トランジスタT2のソース側より正の電荷が流れ込み、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタT2のゲート及びドレインのポテンシャルが上がる。
【0068】
しかし、トランジスタT2のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい被撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタT2のソースに与える信号φVPSをハイにする。このように、トランジスタT2のソース電圧を高くすることで、トランジスタT2のソース側から流入する正の電荷の量が増加し、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSTをローとしてトランジスタT4をオンにして、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧を初期化する。
【0069】
そして、信号φVPSをハイにすることで、トランジスタT2のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタT2のソースに与える信号φVPSをローにして、トランジスタT2のポテンシャル状態をもとの状態に戻す。このように、トランジスタT2のポテンシャルの状態がもとの状態にリセットされると、信号φRSTをハイにして、トランジスタT4をオフにする。
【0070】
すると、キヤパシタCが積分動作を行って、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧が、リセットされたトランジスタT2のゲート電圧に応じたものとなる。そこで、パルス信号φVをトランジスタT6のゲートに与えてトランジスタT6をオンにするとともに信号φVDの電圧値をVlにする。これにより、トランジスタT2、T3の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線6に流れる。
【0071】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6にはノイズ信号が電圧信号としてあらわれる。その後、信号φSをローにしてトランジスタT1を導通させてトランジスタT2のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φRSTをトランジスタT4に与えて、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【0072】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタCに与える電圧φVDをVh、Vm、Vlの3値としたが、該電気信号積分のためにキャパシタCに与える電圧φVDは一定であっても構わない。しかし、前記のような3値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ/デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタCに与える信号φVDの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【0073】
また、以上説明した撮像素子では、PチヤンネルのMOSトランジスタを用いて各画素を構成したが、画素をNチヤンネルのMOSトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源71〜7mについても、図2と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
(2)動体抽出撮像状態での撮像動作
撮像素子10を動体抽出撮像状態(動体検知モード)に設定する。
【0074】
映像信号出力のための動作は前記通常撮像状態の場合と同様である。しかし、ノイズ信号出力動作において、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、図5に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出を行える。それ以外は通常撮像状態におけるノイズ出力処理と同様である。なお、通常撮像状態の場合におけるノイズ信号出力の場合のロー信号φVPSに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【0075】
この動体抽出撮像状態においても、通常撮像状態の場合と同様に、φVPSをローにして撮像を行ったときに各画素から出力される映像信号と、φVPSをハイとローの中間程度の値にしてMOSトランジスタT2をリセットしたとき各画素から出力される雑音信号(ノイズ信号)との差分が、補正回路9による差分処理により該映像信号から差し引かれて出力される。
【0076】
しかし、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、MOSトランジスタT2にリセット残しが生じる。しかも、該リセット残しはMOSトランジスタT2の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない撮像領域部分を撮像した各画素については同様の値となる。かくして撮像領域における静止背景部については略一様にグレー表示可能の信号が出力される。これを用いて静止背景部については略一様にグレーで表示させることが可能である。
【0077】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【0078】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子10への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【0079】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子10への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【0080】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【0081】
撮像素子10を通常撮像モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(A)に示すような画像となり、素子10を動体検知モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(B)に示すような画像となる。
【0082】
図6(A)及び図6(B)において、動体は黒いボールであり、白い壁の前に置いたテーブルの上を図中右から左へ転動している。例えばボールの左右のエッジ部分に着目すると、ボールの左側のエッジ部分の左方への移動により撮像素子から見ると輝度が「明」から「暗」に変化する部分が幅と向きを持った明るい部分Pとして表示され、ボールの右側のエッジ部分の左方への移動により撮像素子から見ると輝度が「暗」から「明」に変化する部分が幅と向きを持った暗い部分Qとして表示される。
【0083】
次に、被撮像領域照明用の光源電源等として用いるAC電源の周波数が60Hz又は50Hzの地域で撮像装置を用い、且つ、被撮像領域照明を蛍光灯により行う場合を例にとって、タイミングジエネレータコントローラ20の動作の概略を図7及び図8を参照して説明する。まず、図7を参照して、検出部30として光源周波数を直接検出する検出部30を採用する場合を説明する。
【0084】
当初は撮像素子10のフレームレート(f/s)をAC電源周波数が60Hzのときの標準的な30(f/s)に設定する(ステップS11)。このフレームレートにより各部動作のタイミングを制御して撮像を開始させる(ステップS12)。次いで光源周波数が120Hzか否かを判断し(ステップS13)、「YES」であれば、ステップS12へ戻り、フレームレート30(f/s)のまま撮像を続けさせる。ステップS13で光源周波数が120Hzでないときは、光源周波数が100Hzであるから、該光源周波数の1/nのフレームレート(ここでは25(f/s))を設定し(ステップS14)、そのフレームレートで撮像させる(ステップS15)。
【0085】
ステップS12及びS15での撮像は電圧制御部VCの電圧制御のもとにおける通常撮像モードによる撮像又は動体検知モードによる撮像であり、動体検知モードの撮像においては、光源周波数とフレームレートが同期していることで動体検出が可能である。
【0086】
検出部30としてAC電源周波数検出部を用いる場合のコントローラ20の動作は図8に示すとおりであり、それは、図7のフローチャートにおけるステップS13をAC電源周波数が60Hzか否かを判断するステップS13’に置き替え、それに伴って図7のフローチャートにおけるステップS14、S15をAC電源周波数に応じてフレームレートを設定するステップS14’、そのフレームレートで撮像を行わせるステップS15’にそれぞれ置き替えた以外は図7に示す動作と同じである。
【0087】
照明が明るい又は暗いことにより、或いはオペレータの指示等により、フレームレートを変更する必要が生じたときには、手動設定部Mnを操作して、フレームレートを光源周波数(或いはAC電源周波数)の1/n(nは自然数)の範囲でさらに変更すればよい。
【0088】
その場合、光源周波数(或いはAC電源周波数)の1/n(nは自然数)の値にもっとも近い値に(フレームレートを高くするなら、大きい方の値に、フレームレートを低くするなら、小さい方の値に)に変更すればよい。さらなる変更が必要なら、nの値を順番に変えて同様の手順を繰り返せばよい。
【0089】
【発明の効果】
以上説明したように本発明によると、複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することができる。
また、本発明によると、動体存在の検出を行う状態、通常の撮像を行う状態のいずれにでも設定可能の撮像装置を提供することができる。
【図面の簡単な説明】
【図1】撮像装置構成を示すブロック図である。
【図2】撮像素子における画素の配列された画素部等の構成を示す図である。
【図3】一つの画素の構成を示す図である。
【図4】図1から図3に示す撮像素子において通常撮像状態(通常撮像モード)を実現する駆動電圧印加タイミング例を示すタイミングチャートである。
【図5】図1から図3に示す撮像素子において動体抽出撮像状態(動体検知モード)を実現する駆動電圧印加タイミング例を示すタイミングチャートである。
【図6】図6(A)は通常撮像状態による、動体(ボール)を含む被撮像領域の撮像例を示し、図6(B)は動体抽出撮像状態による、動体を含む被撮像領域の撮像例を示している。
【図7】タイミングジエネレータコントローラの動作の1例を示すフローチャートである。
【図8】タイミングジエネレータコントローラの動作の他の例を示すフローチャートである。
【符号の説明】
10 撮像素子
20 タイミングジエネレータコントローラ
30 光源周波数(AC電源周波数)検出部
G 画素部 81〜8m 選択回路
1 垂直走査回路 9 補正回路
2 水平走査回路 10 電圧制御部
3、31〜3n 行(ロウ)ライン Am 出力アンプ
4、41〜4n ライン Rg 電圧レギュレータ
5 電源ライン TG タイミングジエネレータ
6、61〜6m 出力信号線 G11〜Gmn 画素
71〜7m 定電流電源 PD フォトダイオード
8 出力回路
T1 スイッチング用MOSトランジスタ
T2 対数変換用MOSトランジスタ
T3 MOSトランジスタ
T4 キャパシタリセット用MOSトランジスタ
T5 ソースフォロワ増幅用MOSトランジスタ
T6 信号読出し用MOSトランジスタ
C キャパシタ(積分用コンデンサ)
【発明の属する技術分野】
本発明は動体を検出することができる撮像装置に関する。
【0002】
【従来の技術】
撮像装置についてはこれまで様々のものが提案されている。
ダイナミックレンジの広い撮像装置として、撮像のための画素に、光電変換素子及び光電変換素子への入射光量を自然対数的に光電変換して出力する対数変換部を配置した固体撮像装置が提案されている。特開平3−192764号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、光電変換素子として例えばフォトダイオードを採用し、対数変換部に対数変換用のMOSトランジスタを採用している。同公報は対数変換部の出力を蓄積する積分回路も組み合わせた画素も開示している。
【0003】
また、対数変換型撮像装置において、画素間での感度のバラツキをキャンセル処理できる撮像装置も提案されている。特開2001−94878号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、各画素に一様に光を照射して画素間の感度バラツキを検出してその感度バラツキをキャンセル処理するという手法によらずに、感度のバラツキをキャンセル処理するものである。
【0004】
一方、撮像の分野では、例えば不法侵入者その他のものの監視等のために移動体を検出することについても研究されており、フレーム間差分法(前画面と現画面のフレーム間差分画面をとる方法)や背景差分法(背景画像と入力画像の差分をとる方法)といった手法が提案されている。特開平5−145823号公報はフレーム間差分法を紹介しており、特開平7−336694号公報は背景差分法を開示している。
【0005】
【特許文献1】特開平3−192764号公報
【特許文献2】特開2001−94878号公報
【特許文献3】特開平5−145823号公報
【特許文献4】特開平7−336694号公報
【0006】
【発明が解決しようとする課題】
しかしながら、撮像装置による動体の検出についてみれば、従来のフレーム間差分法や背景差分法による動体検出は撮像素子からの信号の複雑な処理を必要とするものであり、そのような複雑な信号処理を行わずに簡単に動体の存在を検出できる撮像装置の出現が望まれる。そのような撮像装置があれば、監視分野等に応用しやすい。
【0007】
そこで本発明は、複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することを課題とする。
【0008】
また、本発明は動体存在の検出を行う状態、通常の撮像を行う状態のいずれにでも設定可能の撮像装置を提供することを課題とする。
【0009】
【課題を解決するための手段】
本発明者は前記課題を解決するため研究を重ね、次のことを見いだした。
撮像領域中を動体が移動する場合、例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。換言すれば、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。従って、撮像領域に含まれる輝度が変化する部分、換言すれば該輝度変化をもたらす動体の少なくとも一部を該撮像領域に含まれる輝度変化しない部分或いは静止背景部とは異なる濃度で表示できる画像データを取得できれば、複雑な信号処理或いは画像処理を要することなく動体の存在を検出できる。
【0010】
例えば、撮像領域中における輝度の変化しない部分については一様な濃度で表示し、換言すれば一様な濃度で背景部として表示し、輝度の変化する部分についてはその一様な濃度の背景部に対し高い濃度で、又は低い濃度で表示できれば、その濃度の高い又は低い表示部分があることをもって動体の存在を検出できる。
【0011】
このような表示は、例えば、光電変換素子及び該光電変換素子の出力をそれへの入射光量の対数値に比例する電気信号に変換する対数変換用トランジスタを含む対数変換部を撮像用画素に配置した、或いは該撮像用画素にさらに対数変換部の出力を蓄積するための積分回路を配置した撮像素子を利用して行える。
【0012】
すなわち、例えば、対数変換用トランジスタに通常の撮像のための第1電圧を印加して撮像を行った後、該トランジスタにリセットのための第2電圧を印加するとき、該第2電圧を制御することで行える。
【0013】
しかしこの考え方は、撮像領域中の輝度変化しない部分に対する輝度変化する部分を動体としてとらえようとするものであるため、撮像素子の撮像フレームレートが撮像素子により撮像される被撮像領域の照明光の変化周波数と同期していないときは、動体及び静止背景部のいずれもが撮像素子からみて輝度変化する結果となり、そのために動体抽出を行えない事態が生じることがある。これを解決するには、該照明光変化周波数に撮像素子のフレームレートを同期させ得るフレームレート変更手段を設ければよい。
【0014】
該照明光変化周波数は、地域によって異なることがある照明光の光源電源周波数に支配されることがある。例えば、50HzのAC電源による蛍光灯の照明光の周波数は100Hzとなり、60HzのAC電源による蛍光灯の照明光の周波数は120Hzとなる。従って、前記のフレームレート変更手段は、例えば、被撮像領域の照明光の光源電源であるAC電源の周波数に応じて前記撮像素子の撮像フレームレートを変更するものとすればよい。
【0015】
また、被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部を採用し、フレームレート変更部は、該検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するものとしてもよい。
【0016】
本発明は前記知見に基づき次の第1、第2の撮像装置を提供する。
<第1の撮像装置>
動体検知モードで撮像可能の撮像素子と、
前記撮像素子により撮像される被撮像領域の照明光の変化周波数に応じて前記撮像素子の撮像フレームレートを変更可能のフレームレート変更部とを備えており、
前記撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現できる撮像装置。
<第2の撮像装置>
動体検知モードで撮像可能の撮像素子と、
前記撮像素子により撮像される被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部と、
前記照明光周波数検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するフレームレート変更部とを備えており、
前記撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現できる撮像装置である。
いずれにしても本発明に係る撮像装置は監視カメラ等への応用が可能である。
【0017】
【発明の実施の形態】
以下、本発明の実施形態である撮像装置について説明する。
実施形態の撮像装置は撮像モードを通常撮像モードと動体検知モードとで切り替え可能の固体撮像素子を含んでいる。さらに、該固体撮像素子の撮像フレームレートを被撮像領域の照明光の変化周波数に応じて変更可能のフレームレート変更部を備えている。
【0018】
本明細書において「照明光の変化周波数」とは、照明光の光量及び(又は)強度が変化する場合のその変化周波数である。例えば、50HzのAC電源にて点灯する蛍光灯の変化周波数は100Hzであり、60HzのAC電源にて点灯する蛍光灯の変化周波数は120Hzである。
【0019】
該固体撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号(画像データ)とは異なるレベルの動体存在を示す画像信号(画像データ)を出力できる動体抽出撮像状態を実現でき、通常撮像モードと動体検知モードとの切り替えが可能な撮像素子である。
【0020】
この撮像装置によると、撮像素子は上記動体抽出撮像状態を実現でき、これにより動体存在を複雑な信号処理や画像処理を要することなく簡単に検出できる。
【0021】
また、この撮像装置は、撮像素子の撮像フレームレートを被撮像領域の照明光の変化周波数に応じて変更可能のフレームレート変更部を備えているので、該フレームレート変更部により、照明光変化周波数に応じて撮像素子の撮像フレームレートを照明光変化周波数に同期するように変更することができ、これにより照明光の周期的変化に拘らず動体存在を検出することができる。
【0022】
被撮像領域照明光の光源へ電力供給する電源が例えばAC電源である場合、該電源周波数が被撮像領域の照明光の光量等の変化をもたらす。そこで、前記フレームレート変更部として、例えば、被撮像領域の照明光の光源電源(例えばAC電源)の周波数に応じて前記撮像素子の撮像フレームレートを変更できるものを挙げることができる。この場合、電源(例えばAC電源)周波数に応じて手動でフレームレートを切り替え変更できるものでもよい。
また、フレームレート変更のために、被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部を採用してもよい。
【0023】
この場合前記フレームレート変更部として、該照明光周波数検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するものを採用することができる。
【0024】
かかる照明光周波数検出部としては、被撮像領域照明光に基づいて照明光変化周波数を検出するものを例示できる。さらにそのような検出部として、光電変換素子(例えばフォトダイオード)を備えた検出部を例示できる。
【0025】
また、照明光の光源電源(例えばAC電源)の周波数が被撮像領域の照明光に変化をもたらすときは、照明光周波数検出部は該電源の周波数を検出することで照明光変化周波数を検出するものでもよい。撮像素子の電源が光源電源と同じ電源であるときには、該撮像素子への電力供給と同時的に該電源の周波数を検出することで照明光変化周波数を検出するものでもよい。
【0026】
いずれにしても、前記フレームレート変更部としては、例えば、前記撮像素子の撮像フレームレートを照明光の変化周波数の1/n(nは自然数)のフレームレートに設定するものを挙げることができる。フレームレートを照明光変化周波数の1/n(nは自然数)のフレームレートに設定することで、フレームレートを照明光変化周波数に同期させることができ、これにより確実に動体存在を検出できる。
【0027】
また、いずれにしても、フレームレート変更部は、照明が明るい又は暗いことにより、或いはオペレータの指示等により、フレームレートを変更する必要が生じたときには、手動により、或いは自動的にフレームレートを変更できるものとしてもよい。
【0028】
この場合、照明光変化周波数或いは電源周波数の1/n(nは自然数)の値にもっとも近い値に(フレームレートを高くするなら、大きい方の値に、フレームレートを低くするなら、小さい方の値に)に変更すればよい。さらなる変更が必要なら、nの値を順番に変えて同様の手順を繰り返せばよい。
【0029】
次に、前記の撮像素子の代表例として次のものを挙げることができる。
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させるものであり、動体検知モードにおいては、該第2電圧を通常撮像状態が得られる場合とは異ならせることで撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像素子である。
【0030】
ここで、「動体検知モードにおいては、該第2電圧を通常撮像状態が得られる場合とは異ならせる」とは、対数変換用トランジスタにリセット残しが生じるように、「第2電圧を第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定すること」や、「第2電圧の印加期間(換言すれば、第2電圧のパルス幅)を通常撮像状態が得られる場合のそれより短く設定すること」等を指している。
【0031】
この撮像装置によると、動体抽出撮像状態の実現により、例えば、静止背景部を表す一様濃度の背景画像に対し、輝度の変化をもたらす動体の少なくとも一部を暗く又は明るく表示できる画像データを生成することができる。それにより、複雑な信号処理或いは画像処理を要することなく、動体の存在を検出できる。
既述のとおり、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0032】
そこで、いま述べた撮像素子の電圧制御部に係わる
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」と、或いは
「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出撮像状態を実現し、」と言い換えることができる。
【0033】
いずれにしてもかかる撮像素子における前記電圧制御部は、輝度変化をもたらす動体の抽出をより確実に行えるようにするために、電圧制御部として、動体抽出撮像状態において、被撮像領域に含まれる静止背景部全体を均一な中間的濃度で表示する撮像信号を生成するように第1電圧及び第2電圧を設定するものを採用することができる。
【0034】
電圧制御部は、例えば、前記第1電圧と第2電圧の差の絶対値が、例えば、通常撮像状態が実現される場合の略半分の値となるように該第2電圧を制御することで動体抽出撮像状態を実現してもよい。
【0035】
また、前記光電変換素子と対数変換用トランジスタとを電気的に接離するためのスイッチをさらに備えていてもよい。その場合、電圧制御部として該スイッチをオフした状態で該対数変換用トランジスタに前記第2電圧を印加することによって該トランジスタをリセットするものを採用してもよい。
【0036】
以下、図1から図8を参照して固体撮像装置の具体例について説明する。
図1は固体撮像素子10を含む全体構成を示すブロック図、図2は画素の配列された画素部等の構成を示す図、図3は一つの画素の構成を示す図、図4は通常撮像状態を実現するときの駆動電圧印加タイミングを示すタイミングチャート、図5は動体抽出撮像状態を実現するときの駆動電圧印加タイミングを示すタイミングチャートである。
【0037】
撮像素子10は、図1に示すとおり、画素部G、これに接続された垂直走査回路1及び出力回路8を備えており、出力回路8には水平走査回路2が接続されているとともに出力アンプAmが接続されている。この出力アンプAmから画像データが出力され、図示省略のディスプレイによる画像表示や記録媒体への画像データの記録等に供される。
【0038】
撮像素子10はまた、画素部G等へ電圧レギュレータRgを介して所定の各種電圧信号等を供給するための電圧制御部VCを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータTGも備えている。
【0039】
タイミングジエネレータTGはタイミングジエネレータコントローラ20の指示により各部を所定のタイミングで動作させ、また、撮像素子10の撮像フレームレート、すなわち、単位時間(ここでは1秒間)あたりの撮像フレーム数(f/s)を制御する。この撮像装置はさらに被撮像領域を照明する照明光の変化周波数(以下、「照明光周波数」又は「光源周波数」ということがある。)を直接検出する検出部30を備えている。検出部30はここでは光電変換素子であるフォトダイオードを備えており、それに流れる電流値から光変動周波数(光源周波数)を検出できるものである。
【0040】
検出部30は、図1の検出部30にカッコ書きで示すように、図示省略の被撮像領域照明用の光源のAC電源の周波数を検出するものでもよい。
【0041】
コントローラ20は、検出部30にて検出される光源周波数(或いはAC電源周波数)に応じて、タイミングジエネレータTGを介して、撮像素子10のフレームレートを制御する。このような構成により、撮像素子10の撮像フレームレートを検出部30にて検出される光源周波数(或いはAC電源周波数)の予め定めた1/n(nは自然数)のフレームレートに設定でき、フレームレートがそのように設定されることで動体検知モードにおける動体検出が可能である。
【0042】
コントローラ20には、照明が明るい又は暗いことにより、或いはオペレータの指示等により、フレームレートを変更する必要が生じたときに、フレームレートを光源周波数(或いはAC電源周波数)の1/n(nは自然数)の範囲で手動によりさらにフレームレートを変更できる手動設定部Mnも備えている。なお、手動設定部Mnに変えて、例えば照明が明るい又は暗いことによりフレームレートがさらに自動的に変更されるようにコントローラ20を構成しておいてもよい。この場合、照明の「明るさ」、「暗さ」は検出部30におけるフォトダイオードに流れる電流値の大きさから判断できる。
【0043】
次に撮像素子10についてさらに説明する。撮像素子10における電圧制御部VCは外部からの制御信号に呼応して動作する。また、撮像素子10は外部からの制御信号により電圧制御部VCに内蔵された通常撮像状態と動体抽出撮像状態との切換え回路に指示して、通常撮像状態(通常撮像モード)と動体抽出撮像状態(動体検知モード)との切り替えを行うことができる。
【0044】
画素部Gには、図2に示すように、撮像用の画素G11〜Gmnが行列配置(マトリクス配置)されている。垂直走査回路1は、各画素に走査用信号φVを与える行(ロウ)ライン31、32、・・・3nを順次走査していくとともに、ライン41、42、・・・4nを介して各画素の後述するキャパシタCに電圧φVDを供給する。
【0045】
水平走査回路2は、各画素から出力信号線61、62、・・・6mに導出される光電変換信号を画素ごとに水平方向(行方向)に順次読み出す。図2において5は電源ラインである。
なお、後ほど説明する図3においては行(ロウ)ラインは3で、φVD供給ラインは4で、出力信号線は6で示してある。
【0046】
各画素には、以上述べたライン31、32、・・・3n、41、42、・・・4n、出力信号線61、62、・・・6m、電源ライン5だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図2ではこれらの図示を省略している。
【0047】
図1に示す出力回路8は、図2に示す定電流電源71、72、・・・7m、選択回路81、82、・・・8m及び補正回路9を含んでいる。
【0048】
定電流電源71、72、・・・7mは出力信号線61、62、・・・6mにそれぞれ接続されている。選択回路81、82、・・・8mは信号線61〜6mを介して画素G11〜Gmnから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路9は選択回路81、82、・・・8mから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力して画像表示に供する。なお、定電流源71〜7mのそれぞれの一端には直流電圧VPSが印加される。
【0049】
かかる固体撮像素子10においては、画素Gab(a:1≦a≦mの自然数、b:1≦b ≦nの自然数)からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線6aを介して出力されるとともに、この出力信号線6aに接続された定電流電源7aによって増幅される。そして、画素Gabから出力された映像信号及びノイズ信号が順番に選択回路8aに送出されるとともに、この選択回路8aにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路8aより、サンプルホールドされた映像信号が補正回路9に送出された後、同じくサンプルホールドされたノイズ信号が補正回路9に送出される。
【0050】
補正回路9では、選択回路8aより与えられた映像信号を、同じく選択回路8aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプAmを介して増幅して外部に出力する。選択回路81〜8m及び補正回路9のそれぞれの構成例として、本出願人が特開平2001−223948号公報において提示した構成などが挙げられる。なお、選択回路81、82、・・・8mに補正回路を含ませてもよい。
【0051】
次に画素G11〜Gmnのそれぞれの1例を図3を参照して説明する。
図3に示す画素は、光電変換素子の1例であるフォトダイオードPD、該フォトダイオードPDの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用MOSトランジスタT2を含む対数変換部L及び対数変換部Lの出力を蓄積するためのキャパシタCを含む積分回路IT等を備えている。
【0052】
さらに説明すると、各画素においては、アノード電位をVPDとした(接地電位でもよい)フォトダイオードPDのカソードにスイッチング用のMOSトランジスタT1のドレインが接続され、トランジスタT1のソースに対数変換用のMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続されている。トランジスタT3は対数変換された信号に相当する電流を流すためのものである。
【0053】
また、MOSトランジスタT3のソースにソースフォロワ増幅用のMOSトランジスタT5のゲート及びキャパシタリセット用のMOSトランジスタT4のドレインが接続され、MOSトランジスタT5のソースにスイッチング用(信号読み出し用)のMOSトランジスタT6のドレインが接続されている。そして、MOSトランジスタT6のソースが出力信号線6(図3の出力信号線61〜6mに相当)に接続されている。なお、MOSトランジスタT1〜T6はいずれもPチャンネル型のトランジスタである。
【0054】
対数変換用MOSトランジスタT2のソースには信号φVPSが入力される。MOSトランジスタT3、T5のドレインの電位はVPDとされる。なお、該ドレインは接地されていてもよい。MOSトランジスタT3のソースにはキャパシタCが接続され、該キャパシタCにはフォトダイオードPDからの電気信号をキャパシタCで積分するための参照電圧(信号φVD)が入力される。
【0055】
また、MOSトランジスタT4のソースには直流電圧RSBが入力され、該トランジスタT4のゲートに信号φRSTが入力される。さらに、MOSトランジスタT1のゲートにはトランジスタT1のオン、オフ操作のための信号φSが、MOSトランジスタT6のゲートにはトランジスタT6のオン、オフ操作のための信号φVが入力される。
【0056】
このように構成された画素において、MOSトランジスタT6及び出力信号線6を介して、−端に直流電圧VPSが印加された定電流電源7(図2の定電流電源71〜7mに相当する)が、MOSトランジスタT5のソースに接続される。
【0057】
従って、MOSトランジスタT6がオンのとき、MOSトランジスタT5はソースフオロワのMOSトランジスタとして動作し、定電流電源7によって増幅された電圧信号を出力信号線6に出力する。
【0058】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路(図示せず)での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源71〜7mを画素内に設けずに、列(カラム)方向に配置された複数の画素が接続される出力信号線61〜6m毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【0059】
次に、先ず、以上説明した撮像素子による通常の撮像動作及び各画素の感度バラツキ検出動作について説明し、そのあと動体存在の検出動作について説明する。
【0060】
対数変換用MOSトランジスタT2のソースに供給する信号φVPSは通常撮像状態を得るときにはハイ(High) とロー(Low) の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタT2をサブスレッショルド領域で動作させるための電圧をロー(Low)とし、トランジスタT2をリセットするときには、該電圧よりも高くトランジスタT2にローの信号φVPSを与えた時よりも大きい電流が流れ得るようにするハイ(Hi)の電圧を採用する。
【0061】
なお、後述するように、ノイズ信号読出し後キャパシタCをリセットするときには、光電変換素子の残存信号除去のために、トランジスタT2のソースにハイとローの中間程度の値の電圧を印加する。
【0062】
しかし、動体の存在検出のための動体抽出撮像状態を得るときには、トランジスタT2をリセットするとき、前記ハイ電圧に代えて、ここではロー電圧とハイ電圧との中間程度の値の電圧を採用する(図5参照)。
【0063】
キャパシタCに与える参照電圧φVDについては、通常撮像状態、動体抽出撮像状態のいずれにおいても3値の電圧信号を採用する。すなわち、キヤパシタCを積分動作させる際の電圧値を最も高いVhとし、映像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりもさらに低いVlとする。
【0064】
以下の説明において、電圧信号等の画素等への印加は電圧制御部VCが電圧レギュレータRgを介して行う。
(1)通常撮像状態での撮像動作
先ず、撮像素子10を通常撮像状態(通常撮像モード)に設定する。
(1−1)映像信号(画像信号)出力
以下の説明において、MOSトランジスタT1をオン、オフする信号φSは撮像動作の間、常にロー(Low)であり、トランジスタT1はオン状態である。また、キャパシタリセット用トランジスタT4へ与える信号φRSTをハイ(Hi)としてトランジスタT4をオフとする。そしてMOSトランジスタT2がサブスレッシヨルド領域で動作するように、トランジスタT2のソースに与える信号φVPSをローとするとともにキャパシタCに与える信号φVDの電圧値をVhとしてキャパシタCによる積分動作を可能とする。
【0065】
このような状態においてフォトダイオードPDに被撮像領域からの光が入射されると、光電流が発生し、トランジスタT2のサブスレッショルド特性により、トランジスタT2、T3のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【0066】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタT3で電流増幅されたドレイン電流がキヤパシタCから流れて、キヤパシタCが放電する。よって、MOSトランジスタT5のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キヤパシタCが積分動作を行うことで得られる映像信号を読み出すために、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にローのパルス信号φVを与える。これによりMOSトランジスタT5のゲート電圧に応じたソース電流がMOSトランジスタT6を介して出力信号線6へ流れる。
【0067】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6には映像信号が電圧信号としてあらわれる。その後、信号φVをハイにしてトランジスタT6をオフするとともに、信号φVDの電圧値をVhとする。このようにトランジスタT5、T6を介して出力される映像信号は、トランジスタT5のゲート電圧に比例した値となり、そのためフォトダイオードPDへの入射光量の積分値の自然対数値に比例した信号となる。
(1−2)感度バラツキ検出(ノイズ信号出力)
図4に示すように、電圧値Vmのパルス信号φVDとローのパルス信号φVが与えられて映像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてトランジスタT1をオフにしてリセット動作を開始させる。このとき、トランジスタT2のソース側より正の電荷が流れ込み、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタT2のゲート及びドレインのポテンシャルが上がる。
【0068】
しかし、トランジスタT2のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい被撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタT2のソースに与える信号φVPSをハイにする。このように、トランジスタT2のソース電圧を高くすることで、トランジスタT2のソース側から流入する正の電荷の量が増加し、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSTをローとしてトランジスタT4をオンにして、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧を初期化する。
【0069】
そして、信号φVPSをハイにすることで、トランジスタT2のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタT2のソースに与える信号φVPSをローにして、トランジスタT2のポテンシャル状態をもとの状態に戻す。このように、トランジスタT2のポテンシャルの状態がもとの状態にリセットされると、信号φRSTをハイにして、トランジスタT4をオフにする。
【0070】
すると、キヤパシタCが積分動作を行って、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧が、リセットされたトランジスタT2のゲート電圧に応じたものとなる。そこで、パルス信号φVをトランジスタT6のゲートに与えてトランジスタT6をオンにするとともに信号φVDの電圧値をVlにする。これにより、トランジスタT2、T3の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線6に流れる。
【0071】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6にはノイズ信号が電圧信号としてあらわれる。その後、信号φSをローにしてトランジスタT1を導通させてトランジスタT2のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φRSTをトランジスタT4に与えて、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【0072】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタCに与える電圧φVDをVh、Vm、Vlの3値としたが、該電気信号積分のためにキャパシタCに与える電圧φVDは一定であっても構わない。しかし、前記のような3値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ/デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタCに与える信号φVDの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【0073】
また、以上説明した撮像素子では、PチヤンネルのMOSトランジスタを用いて各画素を構成したが、画素をNチヤンネルのMOSトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源71〜7mについても、図2と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
(2)動体抽出撮像状態での撮像動作
撮像素子10を動体抽出撮像状態(動体検知モード)に設定する。
【0074】
映像信号出力のための動作は前記通常撮像状態の場合と同様である。しかし、ノイズ信号出力動作において、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、図5に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出を行える。それ以外は通常撮像状態におけるノイズ出力処理と同様である。なお、通常撮像状態の場合におけるノイズ信号出力の場合のロー信号φVPSに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【0075】
この動体抽出撮像状態においても、通常撮像状態の場合と同様に、φVPSをローにして撮像を行ったときに各画素から出力される映像信号と、φVPSをハイとローの中間程度の値にしてMOSトランジスタT2をリセットしたとき各画素から出力される雑音信号(ノイズ信号)との差分が、補正回路9による差分処理により該映像信号から差し引かれて出力される。
【0076】
しかし、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、MOSトランジスタT2にリセット残しが生じる。しかも、該リセット残しはMOSトランジスタT2の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない撮像領域部分を撮像した各画素については同様の値となる。かくして撮像領域における静止背景部については略一様にグレー表示可能の信号が出力される。これを用いて静止背景部については略一様にグレーで表示させることが可能である。
【0077】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【0078】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子10への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【0079】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子10への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【0080】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【0081】
撮像素子10を通常撮像モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(A)に示すような画像となり、素子10を動体検知モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図6(B)に示すような画像となる。
【0082】
図6(A)及び図6(B)において、動体は黒いボールであり、白い壁の前に置いたテーブルの上を図中右から左へ転動している。例えばボールの左右のエッジ部分に着目すると、ボールの左側のエッジ部分の左方への移動により撮像素子から見ると輝度が「明」から「暗」に変化する部分が幅と向きを持った明るい部分Pとして表示され、ボールの右側のエッジ部分の左方への移動により撮像素子から見ると輝度が「暗」から「明」に変化する部分が幅と向きを持った暗い部分Qとして表示される。
【0083】
次に、被撮像領域照明用の光源電源等として用いるAC電源の周波数が60Hz又は50Hzの地域で撮像装置を用い、且つ、被撮像領域照明を蛍光灯により行う場合を例にとって、タイミングジエネレータコントローラ20の動作の概略を図7及び図8を参照して説明する。まず、図7を参照して、検出部30として光源周波数を直接検出する検出部30を採用する場合を説明する。
【0084】
当初は撮像素子10のフレームレート(f/s)をAC電源周波数が60Hzのときの標準的な30(f/s)に設定する(ステップS11)。このフレームレートにより各部動作のタイミングを制御して撮像を開始させる(ステップS12)。次いで光源周波数が120Hzか否かを判断し(ステップS13)、「YES」であれば、ステップS12へ戻り、フレームレート30(f/s)のまま撮像を続けさせる。ステップS13で光源周波数が120Hzでないときは、光源周波数が100Hzであるから、該光源周波数の1/nのフレームレート(ここでは25(f/s))を設定し(ステップS14)、そのフレームレートで撮像させる(ステップS15)。
【0085】
ステップS12及びS15での撮像は電圧制御部VCの電圧制御のもとにおける通常撮像モードによる撮像又は動体検知モードによる撮像であり、動体検知モードの撮像においては、光源周波数とフレームレートが同期していることで動体検出が可能である。
【0086】
検出部30としてAC電源周波数検出部を用いる場合のコントローラ20の動作は図8に示すとおりであり、それは、図7のフローチャートにおけるステップS13をAC電源周波数が60Hzか否かを判断するステップS13’に置き替え、それに伴って図7のフローチャートにおけるステップS14、S15をAC電源周波数に応じてフレームレートを設定するステップS14’、そのフレームレートで撮像を行わせるステップS15’にそれぞれ置き替えた以外は図7に示す動作と同じである。
【0087】
照明が明るい又は暗いことにより、或いはオペレータの指示等により、フレームレートを変更する必要が生じたときには、手動設定部Mnを操作して、フレームレートを光源周波数(或いはAC電源周波数)の1/n(nは自然数)の範囲でさらに変更すればよい。
【0088】
その場合、光源周波数(或いはAC電源周波数)の1/n(nは自然数)の値にもっとも近い値に(フレームレートを高くするなら、大きい方の値に、フレームレートを低くするなら、小さい方の値に)に変更すればよい。さらなる変更が必要なら、nの値を順番に変えて同様の手順を繰り返せばよい。
【0089】
【発明の効果】
以上説明したように本発明によると、複雑な信号処理を要することなく、簡単に動体の存在を検出できる撮像装置を提供することができる。
また、本発明によると、動体存在の検出を行う状態、通常の撮像を行う状態のいずれにでも設定可能の撮像装置を提供することができる。
【図面の簡単な説明】
【図1】撮像装置構成を示すブロック図である。
【図2】撮像素子における画素の配列された画素部等の構成を示す図である。
【図3】一つの画素の構成を示す図である。
【図4】図1から図3に示す撮像素子において通常撮像状態(通常撮像モード)を実現する駆動電圧印加タイミング例を示すタイミングチャートである。
【図5】図1から図3に示す撮像素子において動体抽出撮像状態(動体検知モード)を実現する駆動電圧印加タイミング例を示すタイミングチャートである。
【図6】図6(A)は通常撮像状態による、動体(ボール)を含む被撮像領域の撮像例を示し、図6(B)は動体抽出撮像状態による、動体を含む被撮像領域の撮像例を示している。
【図7】タイミングジエネレータコントローラの動作の1例を示すフローチャートである。
【図8】タイミングジエネレータコントローラの動作の他の例を示すフローチャートである。
【符号の説明】
10 撮像素子
20 タイミングジエネレータコントローラ
30 光源周波数(AC電源周波数)検出部
G 画素部 81〜8m 選択回路
1 垂直走査回路 9 補正回路
2 水平走査回路 10 電圧制御部
3、31〜3n 行(ロウ)ライン Am 出力アンプ
4、41〜4n ライン Rg 電圧レギュレータ
5 電源ライン TG タイミングジエネレータ
6、61〜6m 出力信号線 G11〜Gmn 画素
71〜7m 定電流電源 PD フォトダイオード
8 出力回路
T1 スイッチング用MOSトランジスタ
T2 対数変換用MOSトランジスタ
T3 MOSトランジスタ
T4 キャパシタリセット用MOSトランジスタ
T5 ソースフォロワ増幅用MOSトランジスタ
T6 信号読出し用MOSトランジスタ
C キャパシタ(積分用コンデンサ)
Claims (5)
- 動体検知モードで撮像可能の撮像素子と、
前記撮像素子により撮像される被撮像領域の照明光の変化周波数に応じて前記撮像素子の撮像フレームレートを変更可能のフレームレート変更部とを備えており、
前記撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現できることを特徴とする撮像装置。 - 動体検知モードで撮像可能の撮像素子と、
前記撮像素子により撮像される被撮像領域の照明光の変化周波数を検出するための照明光周波数検出部と、
前記照明光周波数検出部により検出される照明光変化周波数に応じて前記撮像素子の撮像フレームレートを変更するフレームレート変更部とを備えており、
前記撮像素子は、前記動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号とは異なるレベルの動体存在を示す画像信号を出力する動体抽出撮像状態を実現できることを特徴とする撮像装置。 - 前記照明光周波数検出部は前記照明光の光源へ電力供給する電源の周波数を検出することで前記照明光変化周波数を検出する請求項2記載の撮像装置。
- 前記フレームレート変更部は、前記撮像素子の撮像フレームレートを前記照明光変化周波数の1/n(nは自然数)のフレームレートに設定する請求項1、2又は3記載の撮像装置。
- 前記撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットし、該リセットにより前記対数変換部から得られる第2信号を前記積分回路に蓄積させるものであり、動体検知モードにおいては、該第2電圧を通常撮像状態が得られる第2電圧とは異ならせることで撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する請求項1から4のいずれかに記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003093005A JP2004304378A (ja) | 2003-03-31 | 2003-03-31 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003093005A JP2004304378A (ja) | 2003-03-31 | 2003-03-31 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004304378A true JP2004304378A (ja) | 2004-10-28 |
Family
ID=33405899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003093005A Withdrawn JP2004304378A (ja) | 2003-03-31 | 2003-03-31 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004304378A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006259899A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
JP2009205386A (ja) * | 2008-02-27 | 2009-09-10 | Nikon Corp | 車載カメラシステムおよびその制御方法 |
CN114093333A (zh) * | 2014-01-21 | 2022-02-25 | 三星显示有限公司 | 栅极驱动电路及包括栅极驱动电路的显示装置 |
-
2003
- 2003-03-31 JP JP2003093005A patent/JP2004304378A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006259899A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
JP4635663B2 (ja) * | 2005-03-15 | 2011-02-23 | オムロン株式会社 | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
JP2009205386A (ja) * | 2008-02-27 | 2009-09-10 | Nikon Corp | 車載カメラシステムおよびその制御方法 |
CN114093333A (zh) * | 2014-01-21 | 2022-02-25 | 三星显示有限公司 | 栅极驱动电路及包括栅极驱动电路的显示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10771718B2 (en) | Imaging device and imaging system | |
JP4377840B2 (ja) | デジタルカメラ | |
US7586523B2 (en) | Amplification-type CMOS image sensor of wide dynamic range | |
JP3685686B2 (ja) | 撮像エリアセンサおよび撮像装置 | |
JP4607006B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
US7046238B2 (en) | Solid state imaging apparatus and method for driving the same | |
JP4840578B2 (ja) | 撮像装置のフリッカ検出方法と装置 | |
KR101939402B1 (ko) | 고체 촬상 소자 및 구동 방법, 및 전자 기기 | |
JP4013700B2 (ja) | 撮像装置 | |
JP2004297546A (ja) | 撮像装置 | |
US7295237B2 (en) | Image capturing apparatus capable of extracting a moving object | |
US20060268155A1 (en) | Image pickup apparatus | |
JP3823919B2 (ja) | 撮像装置 | |
JP2004304378A (ja) | 撮像装置 | |
JP2012065309A (ja) | 撮像装置 | |
JP2000295533A (ja) | 固体撮像素子およびその駆動方法、並びに固体撮像素子の信号処理方法 | |
US20060268154A1 (en) | Image pickup apparatus | |
EP1549046A2 (en) | Solid-state imaging device, digital camera and digital video camera | |
JP2004304377A (ja) | 撮像装置 | |
GB2365650A (en) | Method of operating imaging array to reduce noise and increase signal dynamic range. | |
JP4693602B2 (ja) | 撮像装置、及び画像用信号処理方法 | |
JP2000165752A (ja) | 固体撮像装置の信号処理方法及び固体撮像装置 | |
JP2004304380A (ja) | 撮像装置 | |
JP2008118386A (ja) | 撮像装置及びその制御方法並びに撮像システム | |
JP2004048438A (ja) | 固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |