JP2004304375A - Photographing apparatus - Google Patents
Photographing apparatus Download PDFInfo
- Publication number
- JP2004304375A JP2004304375A JP2003092984A JP2003092984A JP2004304375A JP 2004304375 A JP2004304375 A JP 2004304375A JP 2003092984 A JP2003092984 A JP 2003092984A JP 2003092984 A JP2003092984 A JP 2003092984A JP 2004304375 A JP2004304375 A JP 2004304375A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- moving object
- mode
- optical system
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は動体を検出し、所定の撮像を行える撮像装置に関する。
【0002】
【従来の技術】
従来、動体を検出する方法として、被撮像領域を撮像し、それにより得られる画像データから背景差分法やフレーム差分法等によって動体の有無を検知する方法が知られている。
【0003】
また、動体の有無を検知し、動体が検出されたときその動体を撮像する方法として、動体の有無を検知するカメラと、検出された動体を撮像するカメラを含む複数台のカメラを用いる方法と、1台のカメラで動体有無の検知及び動体撮像の両方を行う方法が知られている。
【0004】
後者方法は前者方法に比べると、カメラの使用台数が少なく、それだけコス ト安に済み、消費エネルギーが低く済むので有利である。さらに、動体撮像を行うカメラ自身の視野内に動体を捕捉しているので、動体検出から動体撮像開始までに要する時間を短くするのに有利であり、それだけ動体を撮り逃がす恐れが少ないと言える。
【0005】
後者方法、すなわち1台のカメラで動体有無の検知及び動体撮像の両方を行う方法は例えば特開平5−145823号公報及び特開平5−153459号公報や特開平9−212770号公報に開示されている。特開平5−145823号公報及び特開平5−153459号公報に開示された方法によると、カメラが動体を検出すると、該検出情報に基づいてカメラ駆動部がカメラを動かし、それにより動体が追尾される。特開平9−212770号公報に開示された方法によると、カメラが動体を検出すると、該カメラの撮像方向や撮像倍率が該動体撮像のために制御され、それにより動体が撮像される。
【0006】
【特許文献1】特開平5−145823号公報
【特許文献2】特開平5−153459号公報
【特許文献2】特開平9−212770号公報
【0007】
【発明が解決しようとする課題】
しかしながら、従来の動体検知手法は既述のように背景差分法やフレーム差分法等によるものであり、これら方法は複雑な画像処理を必要とし、そのため動体の検知に時間がかかり、たとえ1台のカメラで動体動体有無の検知及び動体撮像の両方を行う場合でも、動体を十分追尾できない場合がある。特に、高速で移動する動体を追尾したり、動体を拡大撮像状態のまま追尾することは困難である。
【0008】
そこで本発明は、先ず、確実に安価に、動体を検知して動体の撮像を行える撮像装置を提供することを課題とする。
また本発明は、確実に安価に、動体を検知して動体追尾を行うのに適する撮像装置を提供することを課題とする。
【0009】
【課題を解決するための手段】
本願発明者の一人は、撮像モードを動体検知モードと通常撮像モードとで切り替え可能の撮像素子を開発した(特願平2002−375029)。この撮像素子は複雑な画像処理を必要とすることなく、簡単、迅速に動体の有無を検知することができる。このような撮像素子を用いれば、動体を検知し動体撮像を開始するまでの処理を迅速に行うことができる。
【0010】
そこで本願第1発明は、前記課題を解決するため、
撮像モードを通常撮像モードと動体検知モードとで切り替え可能の撮像素子と、
前記撮像素子に被写体像を導く光学系と、
前記光学系を所定の状態に設定するための光学系操作部と、
前記撮像素子の撮像モードの切替え及び前記光学系操作部の動作を制御するための制御装置と、
を備えた撮像装置を提供する。
【0011】
ここで「撮像モードを動体検知モードと通常撮像モードとで切り替え可能の撮像素子」とは、動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号(画像データ)とは異なるレベルの動体存在を示す画像信号(画像データ)を出力し、通常撮像モードにおいては撮像領域の通常撮像データを出力し、これら動体検知モードと通常撮像モード間で切り替え可能の撮像素子である。
また、「光学系の状態」とは、光学系による広角撮像状態、望遠(拡大)撮像状態、撮像倍率、撮像方向、撮像位置等のうち1又は2以上のことである。
本願第1発明に係る撮像装置によると、1台の撮像素子を用いて、或いは該撮像素子を含む1台のカメラを用いて、確実に安価に、動体を検知することができるとともに、動体検知モードに設定された該撮像素子の出力に基づいて光学系操作部を制御し光学系を適切な状態に設定することで、確実に動体を撮像することができ、また、動体の追尾に適した構成となる。
【0012】
また、本願第2発明は、前記課題を解決するため、
撮像モードを通常撮像モードと動体検知モードとで切り替え可能の撮像素子と、
前記撮像素子に被写体像を導く光学系と、
前記撮像素子の撮像モードの切替え及び駆動を制御するための制御装置とを備えており、
該制御装置は所定の時間間隔で撮像モードを通常撮像モードと動体検知モードとの間で交互に切り替える撮像装置を提供する。
この撮像装置によると、通常撮像と動体検出とが実質的に常時行われることになり、モード切替えのための制御が簡素化され、また、動体が検知されない間も通常撮像を行うことができる。
【0013】
【発明の実施の形態】
本願第1発明の実施形態に係る撮像素子は基本的に、撮像モードを通常撮像モードと動体検知モードとで切り替え可能の撮像素子と、前記撮像素子に被写体像を導く光学系と、前記光学系を所定の状態に設定するための光学系操作部と、前記撮像素子の撮像モードの切替え及び前記光学系操作部の動作を制御するための制御装置とを備えている。
【0014】
該撮像素子は、動体検知モードにおいて、該撮像素子による撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す画像信号(画像データ)とは異なるレベルの動体存在を示す画像信号(画像データ)を出力し、通常撮像モードにおいては撮像領域の通常撮像データを出力し、これら動体検知モードと通常撮像モード間で切り替え可能の撮像素子である。
【0015】
該制御装置は、動体検知モードに設定された前記撮像素子の出力に応じて前記撮像素子の撮像モード及び前記光学系操作部による前記光学系の状態のうち少なくとも一方を変更する。
【0016】
前記光学系操作部としては、代表例として、前記撮像素子による撮像を広角撮像と望遠撮像とで切り替え可能のものを挙げることができる。
かかる光学系操作部を採用する場合、前記制御装置は、動体検知にあたり、前記撮像素子を前記動体検知モードに設定するとともに前記光学系操作部を前記撮像素子の撮像状態が前記広角撮像状態に設定されるように制御し、該撮像素子が動体を検出すると、前記光学系操作部を前記撮像素子の撮像状態が前記望遠撮像状態に切り替え設定されるように制御してもよい。
【0017】
ここで「広角撮像状態」とは広い領域を撮像する状態であり、「望遠撮像状態」とはズーム機構等により撮像倍率を大きくして拡大撮像する状態である。
このような光学系操作部及び制御装置を採用すると、動体を詳細に撮像することができる。
【0018】
前記制御装置は、前記光学系操作部を前記光学系が所定パターンで動かされるように制御するとともに、所定タイミングで前記撮像素子を前記動体検知モードに設定し、また、動体が検出されると前記所定パタンーン動作が解除されるように前記光学系操作部を制御してもよい。
ここで「所定パターン」とは、予め定められた規則に沿って実行される、旋回(回転)や首振り、移動、撮像倍率の変更等の動作を意味し、間欠的な動きだけでなく連続的な動きも含まれる。
【0019】
かかる制御装置を採用すると、広角な光学系を採用しなくても、光学系を所定パターンで動かして広い領域にわたり動体検知を行うことが可能となる。また、高解像度の画像を得やすい。
この場合、光学系が停止している間だけ撮像素子を動体検知モードに設定してもよいし、光学系が動いている間も撮像素子を動体検知モードに設定するようにしてもよい。後者の場合、誤動作を防止するために、光学系が動いているときと、光学系停止中とで動体有無の判定方法を異ならせるようにしてもよい。
【0020】
前記制御装置は、前記動体検知モードに設定された前記撮像素子が動体を検出すると、該撮像素子を前記通常撮像モードに切り替え設定するものでもよい。このように動体を通常撮像モードで撮像できるようにすることで動体の正体を把握し易くなる。
【0021】
前記制御装置は、前記動体検知モードに設定された前記撮像素子が動体を検出すると、該撮像素子を前記通常撮像モードに切り替えて撮像を行わせたのち、該撮像素子を前記動体検知モードに切り替えるものでもよい。
この場合、動体が検出されるごとに通常撮像が実施され、その後再び動体検知モードが設定されるので、動体追尾が可能となる。
【0022】
また、本願第2発明の実施形態に係る撮像装置は、撮像モードを通常撮像モードと動体検知モードとで切り替え可能の撮像素子と、前記撮像素子に被写体像を導く光学系と、前記撮像素子の撮像モードの切替え及び駆動を制御するための制御装置とを備えている。
動体追尾を可能とするするため、前記の制御装置は、所定の時間間隔で撮像モードを通常撮像モードと動体検知モードとの間で交互に切り替える。より具体的には撮像素子を連続する所定数フレーム(例えば所定複数フレーム)通常撮像モードに設定し、その後所定数フレーム(コマ落ちにならない範囲のフレーム数、例えば1フレーム)動体検知モードに設定し、これを繰り返すものでもよい。
【0023】
前記撮像素子の代表例は次のものである。すなわち、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第1電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第1信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第2電圧を印加して該トランジスタをリセットして該リセットにより得られる第2信号を前記積分回路に蓄積させ、動体検知モードにおいては、該第2電圧を前記第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、
前記出力回路は前記第1信号と前記第2信号との差分に相当する信号を出力する撮像素子である。
【0024】
この撮像素子は前記出力回路からの出力信号に基づいて動体の有無を判断し、動体の有無を示す信号を出力する動体判定部を備えていてもよい。
かかる動体判定部は撮像素子外に設けられてもよい。
【0025】
いずれにしても、かかる動体判定部としては、例えば前記出力回路からの差分処理後の出力信号を所定の閾値と比較して動体有無を示す信号を出力するものを挙げることができる。
【0026】
ところで、被撮像領域中を動体が移動する場合において例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。従って、動体により輝度が変化する被撮撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【0027】
そこで、いま述べた撮像素子の電圧制御部に係わる
「撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」との点は、
「撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第1信号と前記第2信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」と、或いは
「撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出撮像状態を実現し、」と言い換えることができる。
【0028】
いずれにしてもかかる撮像素子における前記電圧制御部は、前記第1電圧と第2電圧の差の絶対値が、例えば、通常撮像状態が実現される場合の略半分の値となるように該第2電圧を制御することで動体抽出撮像状態を実現してもよい。
なお、動体検知モードにおいて、前記のように第2電圧を第1電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することに代えて、例えば、第2電圧の大きさは変更せずに、該第2電圧の印加期間(第2電圧のパルス幅)を、対数変換用トランジスタにリセット残しが生じるように通常撮像状態が得られる場合より短く設定してもよい。
【0029】
また、前記光電変換素子と対数変換用トランジスタとを電気的に接離するためのスイッチをさらに備えていてもよい。その場合、電圧制御部として該スイッチをオフした状態で該対数変換用トランジスタに前記第2電圧を印加することによって該トランジスタをリセットするものを採用してもよい。
【0030】
次に図面を参照して撮像装置の幾つかの例について説明する。
以下に説明する撮像装置はいずれも基本的には図1に示す構成のものである。しかし、制御装置40の動作が各撮像装置によって異なっている。
【0031】
図1に示す撮像装置構成は、撮像モードを通常撮像モードと動体検知モードとで切り替え可能の撮像素子10と、撮像素子10に被写体像を導く光学系20と、光学系20を所定の状態に設定するための光学系操作部30と、アナログ/デジタルコンバータA/Dと、マイクロコンピュータ等で構成された制御装置40と、画像メモリ50と、画像処理部60とを含んでいる。これらにより撮像装置(カメラ)が構成されている。
【0032】
制御装置40及び画像処理部60はインターフエースI/F及び通信回線70を介して制御元部80と接続される。撮像装置を例えば不法侵入者の監視に使用するのであれば、撮像素子10等は不法侵入者を監視すべき場所に設置し、制御元部80は監視員等が居る監視所等に設置することが考えられる。
【0033】
光学系操作部30により設定される光学系20の状態とは、ここでは撮像素子10による撮像方向、広角・望遠撮像、望遠撮像における撮像倍率等である。さらに言えば、光学系操作部30は光学系駆動部301並びに撮像素子10による撮像方向を制御するチルト駆動部302及びパン駆動部303を含んでいる。
【0034】
光学系駆動部301は光学系20の焦点調整(ピント調整)及びズーム調整(撮像倍率調整)を行う。該ズーム調整には望遠撮像(拡大撮像)と広角撮像の切り替えも含まれる。
【0035】
チルト駆動部302は撮像素子10を光学系駆動部301とともにチルト動作(上下方向の首振り動作)させるものであり、パン駆動部303は撮像素子10を光学系駆動部301とともにパン動作(左右方向乃至水平方向の首振り乃至回転動作)させるものである。なおここでは、パン・チルト・回転等の撮像方向を変える例を挙げているが、これだけでなく、例えばガイドに沿って撮像装置を移動させるなどして撮像位置を変更するものであってもよい。
【0036】
制御装置40は、マイクロコンピュータを構成する中央演算処理装置CPU、これに接続されたROM及びRAMを含んでいる。制御装置40はさらに、CPUの指示に基づいて撮像素子10の駆動を制御するコントローラCONT1、CPUの指示に基づいて光学系操作部30の各部動作を制御するコントローラCONT2及び動体有無を判定する判定部JG等を含んでいる。該判定部JGは、ここでは撮像素子10から画像メモリ50を介して供給される信号を所定の閾値と比較して動体有無を判断するものである。
【0037】
ROMは各種プログラムやパラメータを記憶している。後述するように動体検知モードにおいて撮像素子10を動体検知のために所定パターンで動かすときにはその動作パターンに関するデータも記憶させておく。
【0038】
撮像素子10の撮像モードの切替え及び駆動(撮像動作)並びに光学系操作部30の各部(301、302、303)の動作等は制御装置40、特にその中央演算処理装置CPUの指示のもとになされる。
【0039】
撮像素子10からの信号はアナログ/デジタルコンバータA/Dによりデジタル化され、画像メモリ50に格納される。画像メモリ50に格納された画像データは、動体検知モードにおいてはCPUの指示のもとでの前記判定部JGによる動体有無の判定や、動体存在エリア、動体の移動速度及び方向を求めること等に供され、通常撮像モードでは、CPUの指示のもとに画像処理部60に読み出され、該処理部において所定の画像処理(色補間処理、AE(露出制御)処理、γ補正処理等のうち1又は2以上)が施された後、通信回線70を介して制御元部80に送信される。
【0040】
制御元部80は、マイクロコンピュータを構成する中央演算処理装置CPU’、これに接続されたROM’及びRAM’を含んでいる。制御元部80はさらに、画像処理部801、画像メモリ802、ディスプレイモニター803、ビデオレコーダ804及び操作パネル805を含んでいる。
【0041】
カメラ側から送信されてきた画像データはCPU’の指示のもとに画像処理部801にて必要な処理が施されたのち画像メモリ802に格納され、格納された画像データは一方でモニター803に表示され、他方では必要に応じ、CPU’の指示のもとにビデオレコーダ804において記録媒体に記録される。カメラ側の各部は制御元部80の操作パネル805からの指示により制御できる。
【0042】
次に図2から図6を参照して撮像素子10を詳細に説明する。図2は撮像素子10の全体構成を示すブロック図、図3は画素の配列された画素部等の構成を示す図、図4は一つの画素の構成を示す図、図5は通常撮像状態を実現するときの駆動電圧印加のタイミングチャートである。図6は動体抽出撮像状態を実現するときの駆動電圧印加のタイミングチャートである。
【0043】
撮像素子10は、図2に示すとおり、画素部G、これに接続された垂直走査回路1及び出力回路8を備えており、出力回路8には水平走査回路2が接続されているとともに出力アンプAmが接続されている。この出力アンプAmから前記の画像メモリ50へ画像データが出力される。
【0044】
撮像素子10はまた、画素部G等へ電圧レギュレータRgを介して所定の各種電圧信号等を供給するための電圧制御部VCを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータTGも備えている。
【0045】
この撮像素子10は、前記の制御装置40からの指示に基づきコントローラCONT1(図1参照)にて電圧制御部VCに内蔵された通常撮像状態と動体抽出撮像状態との切換え回路に指示して、通常撮像状態(通常撮像モード)と動体抽出撮像状態(動体検知モード)との切り替えを行うことができる。
【0046】
画素部Gには、図3に示すように、撮像用の画素G11〜Gmnが行列配置(マトリクス配置)されている。垂直走査回路1は、各画素に走査用信号φVを与える行(ロウ)ライン31、32、・・・3nを順次走査していくとともに、ライン41、42、・・・4nを介して各画素の後述するキャパシタCに電圧φVDを供給する。
【0047】
水平走査回路2は、各画素から出力信号線61、62、・・・6mに導出される光電変換信号を画素ごとに水平方向(行方向)に順次読み出す。図3において5は電源ラインである。
なお、後ほど説明する図4においては行(ロウ)ラインは3で、φVD供給ラインは4で、出力信号線は6で示してある。
【0048】
各画素には、以上述べたライン31、32、・・・3n、41、42、・・・4n、出力信号線61、62、・・・6m、電源ライン5だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図3ではこれらの図示を省略している。
【0049】
図2に示す出力回路8は、図3に示す定電流電源71、72、・・・7m、選択回路81、82、・・・8m及び補正回路9を含んでいる。
【0050】
定電流電源71、72、・・・7mは出力信号線61、62、・・・6mにそれぞれ接続されている。選択回路81、82、・・・8mは信号線61〜6mを介して画素G11〜Gmnから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路9は選択回路81、82、・・・8mから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力して画像表示に供する。なお、定電流源71〜7mのそれぞれの一端には直流電圧VPSが印加される。
【0051】
かかる固体撮像素子10においては、画素Gab(a:1≦a≦mの自然数、b:1≦b ≦nの自然数)からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線6aを介して出力されるとともに、この出力信号線6aに接続された定電流電源7aによって増幅される。そして、画素Gabから出力された映像信号及びノイズ信号が順番に選択回路8aに送出されるとともに、この選択回路8aにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路8aより、サンプルホールドされた映像信号が補正回路9に送出された後、同じくサンプルホールドされたノイズ信号が補正回路9に送出される。
【0052】
補正回路9では、選択回路8aより与えられた映像信号を、同じく選択回路8aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプAmを介して増幅して外部に出力する。選択回路81〜8m及び補正回路9のそれぞれの構成例として、本出願人が特開平2001−223948号公報において提示した構成などが挙げられる。なお、選択回路81、82、・・・8mに補正回路を含ませてもよい。
【0053】
次に画素G11〜Gmnのそれぞれの1例を図4を参照して説明する。
図4に示す画素は、光電変換素子の1例であるフォトダイオードPD、該フォトダイオードPDの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用MOSトランジスタT2を含む対数変換部L及び対数変換部Lの出力を蓄積するためのキャパシタCを含む積分回路IT等を備えている。
【0054】
さらに説明すると、各画素においては、アノード電位をVPDとした(接地電位でもよい)フォトダイオードPDのカソードにスイッチング用のMOSトランジスタT1のドレインが接続され、トランジスタT1のソースに対数変換用のMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続されている。トランジスタT3は対数変換された信号に相当する電流を流すためのものである。
【0055】
また、MOSトランジスタT3のソースにソースフォロワ増幅用のMOSトランジスタT5のゲート及びキャパシタリセット用のMOSトランジスタT4のドレインが接続され、MOSトランジスタT5のソースにスイッチング用(信号読み出し用)のMOSトランジスタT6のドレインが接続されている。そして、MOSトランジスタT6のソースが出力信号線6(図3の出力信号線61〜6mに相当)に接続されている。なお、MOSトランジスタT1〜T6はいずれもPチャンネル型のトランジスタである。
【0056】
対数変換用MOSトランジスタT2のソースには信号φVPSが入力される。MOSトランジスタT3、T5のドレインの電位はVPDとされる。なお、該ドレインは接地されていてもよい。MOSトランジスタT3のソースにはキャパシタCが接続され、該キャパシタCにはフォトダイオードPDからの電気信号をキャパシタCで積分するための参照電圧(信号φVD)が入力される。
【0057】
また、MOSトランジスタT4のソースには直流電圧RSBが入力され、該トランジスタT4のゲートに信号φRSTが入力される。さらに、MOSトランジスタT1のゲートにはトランジスタT1のオン、オフ操作のための信号φSが、MOSトランジスタT6のゲートにはトランジスタT6のオン、オフ操作のための信号φVが入力される。
【0058】
このように構成された画素において、MOSトランジスタT6及び出力信号線6を介して、−端に直流電圧VPSが印加された定電流電源7(図3の定電流電源71〜7mに相当する)が、MOSトランジスタT5のソースに接続される。従って、MOSトランジスタT6がオンのとき、MOSトランジスタT5はソースフオロワのMOSトランジスタとして動作し、定電流電源7によって増幅された電圧信号を出力信号線6に出力する。
【0059】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路(図示せず)での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源71〜7mを画素内に設けずに、列(カラム)方向に配置された複数の画素が接続される出力信号線61〜6m毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【0060】
次に、先ず、以上説明した撮像素子による通常の撮像動作及び各画素の感度バラツキ検出動作について説明し、そのあと動体存在の検出動作について説明する。
【0061】
対数変換用MOSトランジスタT2のソースに供給する信号φVPSは通常撮像状態を得るときにはハイ(High) とロー(Low) の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタT2をサブスレッショルド領域で動作させるための電圧をロー(Low)とし、トランジスタT2をリセットするときには、該電圧よりも高くトランジスタT2にローの信号φVPSを与えた時よりも大きい電流が流れ得るようにするハイ(Hi)の電圧を採用する。
なお、後述するように、ノイズ信号読出し後キャパシタCをリセットするときには、光電変換素子の残像信号除去のために、トランジスタT2のソースにハイとローの中間程度の値の電圧を印加する。
【0062】
しかし、動体の存在検出のための動体抽出撮像状態を得るときには、トランジスタT2をリセットするとき、前記ハイ電圧に代えて、ここではロー電圧とハイ電圧の中間程度の値の電圧を採用する(図6参照)。
【0063】
キャパシタCに与える参照電圧φVDについては、通常撮像状態、動体抽出撮像状態のいずれにおいても3値の電圧信号を採用する。すなわち、キヤパシタCを積分動作させる際の電圧値を最も高いVhとし、映像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりもさらに低いVlとする。
【0064】
以下の説明において、画素等に与える電圧信号等は電圧制御部VCが電圧レギュレータRgを介して行う。
(1)通常撮像状態での撮像動作
先ず、撮像素子10を通常撮像状態(通常撮像モード)に設定する。
【0065】
(1−1)映像信号(画像信号)出力
以下の説明において、MOSトランジスタT1をオン、オフする信号φSは撮像動作の間、常にロー(Low)であり、トランジスタT1はオン状態である。また、キャパシタリセット用トランジスタT4へ与える信号φRSTをハイ(Hi)としてトランジスタT4をオフとする。そしてMOSトランジスタT2がサブスレッシヨルド領域で動作するように、トランジスタT2のソースに与える信号φVPSをローとするとともにキャパシタCに与える信号φVDの電圧値をVhとしてキャパシタCによる積分動作を可能とする。
【0066】
このような状態においてフォトダイオードPDに被撮像領域からの光が入射されると、光電流が発生し、トランジスタT2のサブスレッショルド特性により、トランジスタT2、T3のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【0067】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタT3で電流増幅されたドレイン電流がキヤパシタCから流れて、キヤパシタCが放電する。よって、MOSトランジスタT5のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キヤパシタCが積分動作を行うことで得られる映像信号を読み出すために、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にローのパルス信号φVを与える。これによりMOSトランジスタT5のゲート電圧に応じたソース電流がMOSトランジスタT6を介して出力信号線6へ流れる。
【0068】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6には映像信号が電圧信号としてあらわれる。その後、信号φVをハイにしてトランジスタT6をオフするとともに、信号φVDの電圧値をVhとする。このようにトランジスタT5、T6を介して出力される映像信号は、トランジスタT5のゲート電圧に比例した値となり、そのためフォトダイオードPDへの入射光量の積分値の自然対数値に比例した信号となる。
【0069】
(1−2)感度バラツキ検出(ノイズ信号出力)
図5に示すように、電圧値Vmのパルス信号φVDとローのパルス信号φVが与えられて映像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてトランジスタT1をオフにしてリセット動作を開始させる。このとき、トランジスタT2のソース側より正の電荷が流れ込み、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタT2のゲート及びドレインのポテンシャルが上がる。
【0070】
しかし、トランジスタT2のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい被撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタT2のソースに与える信号φVPSをハイにする。このように、トランジスタT2のソース電圧を高くすることで、トランジスタT2のソース側から流入する正の電荷の量が増加し、トランジスタT2のゲート及びドレイン、そしてトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSTをローとしてトランジスタT4をオンにして、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧を初期化する。
【0071】
そして、信号φVPSをハイにすることで、トランジスタT2のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタT2のソースに与える信号φVPSをローにして、トランジスタT2のポテンシャル状態をもとの状態に戻す。このように、トランジスタT2のポテンシャルの状態がもとの状態にリセットされると、信号φRSTをハイにして、トランジスタT4をオフにする。
【0072】
すると、キヤパシタCが積分動作を行って、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧が、リセットされたトランジスタT2のゲート電圧に応じたものとなる。そこで、パルス信号φVをトランジスタT6のゲートに与えてトランジスタT6をオンにするとともに信号φVDの電圧値をVlにする。これにより、トランジスタT2、T3の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線6に流れる。
【0073】
このとき、トランジスタT5がソースフオロワ型のMOSトランジスタとして動作するため、出力信号線6にはノイズ信号が電圧信号としてあらわれる。その後、φSをローにしてトランジスタT1を導通させてトランジスタT2のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φRSTをトランジスタT4に与えて、キヤパシタCとトランジスタT5のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【0074】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタCに与える電圧φVDをVh、Vm、Vlの3値としたが、該電気信号積分のためにキャパシタCに与える電圧φVDは一定であっても構わない。しかし、前記のような3値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ/デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタCに与える信号φVDの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【0075】
また、以上説明した撮像素子では、PチヤンネルのMOSトランジスタを用いて各画素を構成したが、画素をNチヤンネルのMOSトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源71〜7mについても、図3と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
【0076】
(2)動体抽出撮像状態での撮像動作
撮像素子10を動体抽出撮像状態(動体検知モード)に設定する。
映像信号出力のための動作は前記通常撮像状態の場合と同様である。しかし、ノイズ信号出力動作において、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、図6に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出を行える。それ以外は通常撮像状態におけるノイズ出力処理と同様である。なお、通常撮像状態の場合におけるノイズ信号出力の場合のロー信号φVPSに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【0077】
この動体抽出撮像状態においても、通常撮像状態の場合と同様に、φVPSをローにして撮像を行ったときに各画素から出力される映像信号と、φVPSをハイとローの中間程度の値にしてMOSトランジスタT2をリセットしたとき各画素から出力される雑音信号(ノイズ信号)との差分が、補正回路9による差分処理により該映像信号から差し引かれて出力される。
【0078】
しかし、MOSトランジスタT2のリセット処理において採用する信号φVPSとして、通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φVPSに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、MOSトランジスタT2にリセット残しが生じる。しかも、該リセット残しはMOSトランジスタT2の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない被撮像領域部分を撮像した各画素については同様の値となる。かくして被撮像領域における静止背景部については略一様にグレー表示可能の信号が出力される。これを用いて静止背景部については略一様にグレーで表示させることが可能である。
【0079】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【0080】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子10への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【0081】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子10への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【0082】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【0083】
撮像素子10を通常撮像モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図7(A)に示すような画像となり、素子10を動体検知モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図7(B)に示すような画像となる。
【0084】
図7(A)及び図7(B)において、動体は黒いボールであり、白い壁の前に置いたテーブルの上を図中右から左へ転動している。例えばボールの左右のエッジ部分に着目すると、ボールの左側のエッジ部分の左方への移動により撮像素子から見ると輝度が「明」から「暗」に変化する撮像領域部分が幅と向きを持った明るい部分Pとして表示され、ボールの右側のエッジ部分の左方への移動により撮像素子から見ると輝度が「暗」から「明」に変化する撮像領域部分が幅と向きを持った暗い部分Qとして表示される。
【0085】
次に、以上説明した撮像装置構成を用い、しかし、制御装置40の制御がそれぞれ異なる幾つかの撮像装置(カメラ)について、制御装置40の動作を示すフローチャート等を参照しながら説明する。
【0086】
<撮像装置例1>
図8はこの撮像装置による撮像の例を示しており、図9はこの撮像装置における制御装置40の動作のフローチャートを示している。
この撮像装置は、図8(A)に示すように撮像素子10を広角撮像状態に設定するとともに動体検知モードに設定し(ステップS111、S112)、広い範囲にわたり動体の出現を監視する。動体が検出されると(ステップS113)、動体の存在エリア(換言すれば動体存在位置と動体の大きさ)、移動速度及び方向を判定し(ステップS114)、撮像モードを通常撮像モードに切り替える(ステップS115)。次いで、光学系操作部30により、図8(B)に示すように、先に求めた動体の存在エリア、移動速度及び方向に基づいて撮像方向及び撮像倍率を動体撮像用に変更して動体をクローズアップで通常撮像開始し(ステップS116)、所定フレーム数の撮像後(ステップS117)、図8(C)に示すように再び撮像素子10を広角撮像状態に設定するとともに動体検知モードに設定し(ステップS111、S112)、新たに動体の出現を待つ。
【0087】
通常撮像モードへの切り替えは制御装置40における判定部JGによる動体有りの判定に基づいてなされる。動体の存在エリアは、動体検知モードにおいて画像メモリ50に記憶される画像データから求められる。動体の移動速度及び移動方向は、画像メモリ50に記憶された画像データ中における少なくとも動体の一部をある幅及び方向で「明」又は「暗」で表示できる画像データから求められる。何故なら、「明」又は「暗」の幅は動体の移動速度を示し、該幅の方向は動体の移動方向を示しているからである。
この撮像装置によると、かなりの高速で移動する動体でなければ、静止画で、又は一定時間の動画で動体を撮像できる。
【0088】
<撮像装置例2>
図10はこの撮像装置による撮像の例を示しており、図11はこの撮像装置における制御装置40の動作のフローチャートを示している。
【0089】
図10(A)に示すように、撮像素子10を広角撮像状態に設定するとともに動体検知モードに設定し(ステップS211、S212)、広い範囲にわたり動体の出現を監視する。動体が検出されると(ステップS213)、動体の存在エリア、移動速度及び方向を判定し(ステップS214)、撮像モードを通常撮像モードに切り替える(ステップS215)。次に、光学系操作部30により、図10(B)に示すように、先に求めた動体の存在エリア、移動速度及び方向に基づいて撮像方向及び撮像倍率を動体撮像用に変更して動体を通常撮像開始し(ステップS216)、所定フレーム数の撮像を行う(ステップS217)。
【0090】
所定フレーム数の撮像後は撮像素子10を動体検知モードに戻し(ステップS218)、再度動体情報が得られるようにする。これにより再び動体が検出されると(ステップS219)、動体の存在エリア、移動速度及び方向を判定し(ステップS220)、撮像モードを通常撮像モードに切り替える(ステップS221)。そして光学系操作部30により、図10(C)に示すように、撮像方向及び撮像倍率を動体撮像用に変更して動体を通常撮像開始し(ステップS222)、所定フレーム数の撮像後(ステップS223)、再び撮像素子10を動体検知モードに切り替える(ステップS218)。このようにして図10(C)及び図10(D)に示すように動体を追尾撮像する。所定時間動体が検出されなくなると(ステップS224)、図10(E)に示すように当初の状態に戻って新たな動体検出に備える(ステップS211、S212)。
【0091】
<撮像装置例3>
図12はこの撮像装置による撮像の例を示しており、図13はこの撮像装置における制御装置40の動作のフローチャートを示している。
この撮像装置は動体検知にあたり撮像素子10等を所定パターンで動作させ、より詳しくは、撮像素子10等を旋回させ、動体が検出されると、該動体を撮像するものである。
【0092】
図12(A)に示すように、撮像素子10を広角撮像状態に設定するとともに動体検知モードに設定し、撮像方向を一定にして動体検知を行う(ステップS311、S312、S313)。動体が検出されないまま所定時間が経過すると(ステップS314)、光学系操作部30により撮像素子10等を所定量旋回させる(ステップS315)。このようにして図12(A)及び図12(B)に示すように動体が検出されるまで、所定時間経過する毎に撮像素子10等を所定量ずつ旋回させ、広い領域にわたり動体検知を行う。
【0093】
図12(C)に示すように動体が検出されると(ステップS313)、動体の存在エリア、移動速度及び方向を判定し(ステップS316)、撮像モードを通常撮像モードに切り替える(ステップS317)。次いで光学系操作部30により、図12(D)に示すように、先に求めた動体の存在エリア、移動速度及び方向に基づいて撮像方向及び撮像倍率を動体撮像用に変更して動体を通常撮像開始し(ステップS318)、所定フレーム数の撮像後(ステップS319)、撮像素子10を動体検知モードに切り替える(ステップS320)。
【0094】
これにより再び動体が検出されると(ステップS321)、動体の存在エリア、移動速度及び方向を判定し(ステップS322)、撮像モードを通常撮像モードに切り替える(ステップS323)。そして光学系操作部30により、図12(D)に示すように、撮像方向及び撮像倍率を動体撮像用に変更して動体を通常撮像開始し(ステップS324)、所定フレーム数の撮像後(ステップS325)、再び撮像素子10を動体検知モードに切り替える(ステップS320)。このようにして動体を追尾撮像する。所定時間動体が検出されなくなると(ステップS326)、当初の状態に戻って次の動体検出に備える(ステップS311、S312)。
【0095】
撮像素子10等の旋回動作に関連して次の三つの状態のうち何れかを採用することができる。
(a)撮像素子10等の旋回、停止を繰り返すとき、動体検知は撮像素子10等の停止状態のとき行う。旋回中は通常撮像モードにしておくか、動体検知モードを維持したままで判定部JGによる判定を行わないようにする。これにより、旋回することで静止体を動体と認識してしまうことを防止する。
【0096】
(b)撮像素子10等の旋回、停止を繰り返すとき、動体検知は撮像素子10等の停止状態のときだけでなく、旋回中も行う。旋回中の動体検知において静止体を動体と認識してしまうことを防止するため、停止中とは動体有無の判定方法を異ならせる。すなわち、撮像素子等の旋回方向と旋回速度とから旋回によるいわゆる尾引きを特定し、尾引きが旋回に起因するものであれば動体とみなさず、旋回によるものとは異なる尾引きが検出されると動体有りと判定する。なお、撮像素子等の旋回方向と旋回速度に関するデータは予め制御装置40に記憶させておけばよく、判定部JGを演算処理部CPUの指示のもとにこのような判定を行うものに構成しておけばよい。
【0097】
(c)撮像素子10等を常時旋回させ、旋回中も動体検知を行う。この場合、撮像素子10等を所定方向に一定速度で旋回させることにより静止体については一様な尾引きが生じるようにしておき、その尾引きとは長さや方向が異なる尾引きが検出されると動体有りと判定するようにしてもよい。
【0098】
<撮像装置例4>
図14はこの撮像装置による撮像の例を示しており、図15はこの撮像装置における制御装置40の動作のフローチャートを示している。
この撮像装置は撮像装置例3において、ステップS319とステップS320との間に撮像素子10を広角撮像状態に切り替えるか、又はそれ以前の撮像倍率より倍率を小さく変更するステップS300を挿入したものであり、それ以外は撮像装置例3と同じである。
【0099】
例えばステップS318、S319において動体を通常撮像した後、動体を追尾すべく再び撮像素子10を動体検知モードに切り替えるとき、図14(A)に示すように動体が撮像可能領域外へ出ようとする、又は出たときに備えて、ステップS300で撮像素子10を広角撮像状態に切り替えるか、又はそれ以前の撮像倍率より倍率を小さく変更して、図14(A)及び(C)に示すように動体を見失うことを防止するものである。それだけこの撮像装置は動体を追尾し易い。
【0100】
なお、動体を検出すると該動体を通常撮像した後、動体を追尾すべく再び撮像素子10を動体検知モードに切り替えるときに、動体が撮像可能領域外へ出ようとする、又は出たときに備えて、撮像素子10を広角撮像状態に切り替えるか、又はそれ以前の撮像倍率より倍率を小さく変更するという手法は、撮像装置を手動操作して動体を追尾する場合にも適用できる。
【0101】
<撮像装置例5>
図16に示すように、所定タイミングで動体検知モードにする、より詳しくは、通常撮像モードで所定フレーム数を撮像する毎に1フレーム分動体検知モードに切り替えることを繰り返して動体検知を行う(以下、「中間モード」という。)撮像装置である。図17のフローチャートはこの撮像装置における制御装置40の動作を示している。通常撮像モードで所定フレーム数を撮像する毎に1フレーム分動体検知モードに切り替え、再び通常撮像モードに切り替える操作は、撮像素子10の駆動電圧波形を変更するだけで行えるので、かかる高速の切り替えは可能である。
このようにすると、動体が検知されるか否かに拘らず、実質的に常時動体検知及び通常撮像が行われることになる。従って、モード切替えのための制御が簡素化される。また、動体が検知されていない間も観察対象の撮像を行うことかできる。なお、モードの切替えは、撮像素子10に内蔵されたタイミングジエネレータTG、或いはCPUに内蔵されたタイマ等に基づいて行われる。
【0102】
図17に示すように、撮像素子10を広角撮像状態に設定するとともに中間モードに設定し、撮像方向を一定にして動体検知を行う(ステップS511、S512、S513)。動体が検出されないまま所定時間が経過すると(或いは所定数フレームの撮像が終了すると)(ステップS514)、光学系操作部30により撮像素子10等を所定量旋回させる(ステップS515)。このようにして動体が検出されるまで、所定時間経過する毎に(或いは所定数フレームの撮像が終了する毎に)撮像素子10等を所定量ずつ旋回させ、広い領域にわたり動体検知を行う。
【0103】
動体が検出されると(ステップS513)、動体の存在エリア、移動速度及び方向を判定し(ステップS516)、次いで光学系操作部30により、先に求めた動体の存在エリア、移動速度及び方向に基づいて撮像方向及び撮像倍率を動体撮像用に変更し、撮像素子10が通常撮像モードにあるフレームでは被写体の拡大映像を撮像させ、動体抽出モード(動体検知モード)にあるフレームでは動体検知情報を出力させる(ステップS517)。
【0104】
その後動体が検出されなくなると(ステップS518)、光学操作部30を当初状態にリセットして撮像方向及び撮像倍率を当初状態に戻すとともに撮像素子10を広角撮像状態に戻し(ステップS519、S520)、ステップS513へ戻る。
【0105】
なお、撮像装置例5において、通常撮像データのコマ落ちが許容される範囲内で、動体検知モードで動作する期間を複数フレームとし、動体検知の精度を高めるようにしてもよい。また、固体撮像素子のフレームレートを十分高くできる場合や、通常撮像データにあまり高いフレームレートが要求されない(換言すれば、コマ送りのような動画になっても許される用途などの)場合、通常撮像モードでのフレーム数を動体検知モードでのフレーム数以下になるようにしてもよい。さらに、各モードのフレーム数を可変にしてもよく、例えば動体を検知したときには動体検知モードのフレーム数が多くなるように変更してもよい。
【0106】
また、上記各撮像装置例において、動体が検出されない間はビデオレコーダ804における記録媒体への撮像データの記録を停止しておき、動体が検出されている間だけ画面表示や記録媒体への記録を行うようにしてもよい。こうすると、動体が撮像されているシーンのみを記録することができ、後で記録内容を確認する際に、動体撮像シーンの確認が容易になる。また、記録媒体を無駄に消費することが抑制される。勿論ビデオレコーダ804を常時作動状態としてもよい。この場合、特に撮像装置例5の中間モードのように、所定時間間隔で二つのモードを交互に切り替える場合において、動体が検知されない間の様子も通常撮像したい場合に適する。また、モニタ803への表示についても、目的に合わせて、常時表示・動体検知時のみ表示のどちらかの態様を採用すればよい。
【0107】
さらに、カメラに対して撮像モードの切り替えを指示する信号を送るためのケーブルに電源供給機能を持たせるようにし、このケーブルへの供給電圧の変更により、撮像モードを切り替えるようにして1本のケーブルで電源供給と信号送信とを行えるようにしてもよい。
【0108】
【発明の効果】
以上説明したように本発明によると、確実に安価に、動体を検知して動体の撮像を行える撮像装置を提供することができる。
また本発明によると、確実に安価に、動体を検知して動体追尾を行うのに適した撮像装置を提供することができる。
【図面の簡単な説明】
【図1】撮像装置の基本構成を示すブロック図である。
【図2】撮像素子例の全体構成を示すブロック図である。
【図3】画素の配列された画素部等の構成を示す図である。
【図4】一つの画素の構成を示す図である。
【図5】図2から図4に示す撮像素子において通常撮像状態(通常撮像モード)を実現する素子駆動電圧印加の様子を示すタイミングチャートである。
【図6】図2から図4に示す撮像素子において動体抽出撮像状態(動体検知モード)を実現する素子駆動電圧印加の様子を示すタイミングチャートである。
【図7】図7(A)は通常撮像状態による、動体(ボール)を含む被撮像領域の撮像例を示し、図7(B)は動体抽出撮像状態による、動体を含む被撮像領域の撮像例を示している。
【図8】図8(A)から図8(C)は撮像装置の1例による動体検知の説明図である。
【図9】図8に示す動体検知を行う撮像装置の制御部の動作を示すフローチャートである。
【図10】図10(A)から図10(E)は撮像装置の他の例による動体検知の説明図である。
【図11】図10に示す動体検知を行う撮像装置の制御部の動作を示すフローチャートである。
【図12】図12(A)から図12(D)は撮像装置のさらに他の例による動体検知の説明図である。
【図13】図12に示す動体検知を行う撮像装置の制御部の動作を示すフローチャートである。
【図14】図14(A)から図14(C)は撮像装置のさらに他の例による動体検知の説明図である。
【図15】図14に示す動体検知を行う撮像装置の制御部の動作を示すフローチャートである。
【図16】撮像モードの切替えのさらに他の例を示す図である。。
【図17】図16に示す撮像モード切替えを行う撮像装置の制御部の動作を示すフローチャートである。
【符号の説明】
10 撮像素子 60 画像処理部
20 光学系 I/F インターフエース
30 光学系操作部 70 通信回線
301 光学系駆動部 80 制御元制御部
302 チルト駆動部 CPU’中央演算処理装置
303 パン駆動部 801 画像処理部
A/D アナログ/デジタルコンバータ 802 画像メモリ
40 制御装置 803 モニタ
CPU 中央演算処理装置 804 ビデオレコーダ
JG 判定部 805 操作パネル
50 画像メモリ
G 画素部 81〜8m 選択回路
1 垂直走査回路 9 補正回路
2 水平走査回路 10 電圧制御部
3、31〜3n 行(ロウ)ライン Am 出力アンプ
4、41〜4n ライン Rg 電圧レギュレータ
5 電源ライン TG タイミングジエネレータ
6、61〜6m 出力信号線 G11〜Gmn 画素
71〜7m 定電流電源 PD フォトダイオード
8 出力回路
T1 スイッチング用MOSトランジスタ
T2 対数変換用MOSトランジスタ
T3 MOSトランジスタ
T4 キャパシタリセット用MOSトランジスタ
T5 ソースフォロワ増幅用MOSトランジスタ
T6 信号読出し用MOSトランジスタ
C キャパシタ(積分用コンデンサ)[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device capable of detecting a moving object and performing predetermined imaging.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a method of detecting a moving object, there has been known a method of imaging a region to be imaged and detecting the presence or absence of the moving object from image data obtained by the background difference method, the frame difference method, or the like.
[0003]
In addition, as a method of detecting the presence or absence of a moving object and capturing an image of the moving object when the moving object is detected, a method of using a plurality of cameras including a camera for detecting the presence or absence of the moving object and a camera for imaging the detected moving object is provided. There is known a method in which a single camera performs both detection of the presence or absence of a moving object and imaging of a moving object.
[0004]
The latter method is advantageous in that the number of cameras used is smaller, the cost is lower, and the energy consumption is lower than the former method. Furthermore, since the moving object is captured in the field of view of the camera that performs the moving object imaging, it is advantageous to shorten the time required from the detection of the moving object to the start of the moving object imaging.
[0005]
The latter method, that is, a method of performing both detection of the presence or absence of a moving object and imaging of a moving object with one camera is disclosed in, for example, JP-A-5-145823, JP-A-5-153449, and JP-A-9-21770. I have. According to the methods disclosed in JP-A-5-145823 and JP-A-5-153449, when a camera detects a moving object, a camera driving unit moves the camera based on the detection information, whereby the moving object is tracked. You. According to the method disclosed in Japanese Patent Application Laid-Open No. 9-212770, when a camera detects a moving object, the imaging direction and the imaging magnification of the camera are controlled for the moving object imaging, whereby the moving object is imaged.
[0006]
[Patent Document 1] JP-A-5-145823
[Patent Document 2] JP-A-5-153449
[Patent Document 2] Japanese Patent Application Laid-Open No. 9-21770
[0007]
[Problems to be solved by the invention]
However, the conventional moving object detection method is based on the background subtraction method, the frame difference method, or the like as described above, and these methods require complicated image processing, and therefore require a long time to detect a moving object. Even when the camera performs both detection of the presence or absence of a moving object and imaging of the moving object, the moving object may not be sufficiently tracked in some cases. In particular, it is difficult to track a moving object that moves at a high speed, or to track a moving object in an enlarged imaging state.
[0008]
Therefore, an object of the present invention is to provide an imaging apparatus capable of reliably detecting a moving object and imaging the moving object at low cost.
Another object of the present invention is to provide an imaging apparatus suitable for detecting a moving object and performing moving object tracking reliably and inexpensively.
[0009]
[Means for Solving the Problems]
One of the inventors of the present application has developed an image sensor capable of switching the imaging mode between a moving object detection mode and a normal imaging mode (Japanese Patent Application No. 2002-375029). This imaging device can easily and quickly detect the presence or absence of a moving object without requiring complicated image processing. If such an image sensor is used, processing from detection of a moving object to the start of moving object imaging can be performed quickly.
[0010]
Therefore, the first invention of the present application is to solve the above-mentioned problem,
An image sensor capable of switching an imaging mode between a normal imaging mode and a moving object detection mode,
An optical system for guiding a subject image to the image sensor,
An optical system operation unit for setting the optical system to a predetermined state,
A control device for switching an imaging mode of the imaging device and controlling an operation of the optical system operation unit,
An imaging device provided with:
[0011]
Here, “an image sensor capable of switching the imaging mode between the moving object detection mode and the normal imaging mode” means, in the moving object detection mode, when there is a portion where the brightness changes due to the moving object in the imaging region of the imaging device. An image signal (image data) indicating the presence of a moving object at a different level from an image signal (image data) indicating another portion in which the luminance in the imaging region does not change is output. In the normal imaging mode, the normal imaging data of the imaging region is output. And an image sensor that can switch between the moving object detection mode and the normal imaging mode.
The “state of the optical system” refers to one or more of a wide-angle imaging state, a telephoto (enlargement) imaging state, an imaging magnification, an imaging direction, an imaging position, and the like by the optical system.
ADVANTAGE OF THE INVENTION According to the imaging device which concerns on the 1st invention of this application, a moving body can be reliably and inexpensively detected using one imaging element, or using one camera including the imaging element, and also detecting a moving body. By controlling the optical system operation unit based on the output of the imaging device set in the mode and setting the optical system in an appropriate state, it is possible to reliably capture an image of the moving object, and it is also suitable for tracking the moving object. Configuration.
[0012]
In addition, the second invention of the present application is to solve the above-mentioned problem,
An image sensor capable of switching an imaging mode between a normal imaging mode and a moving object detection mode,
An optical system for guiding a subject image to the image sensor,
A control device for controlling the switching and driving of the imaging mode of the imaging device,
The control device provides an imaging device that alternately switches an imaging mode between a normal imaging mode and a moving object detection mode at predetermined time intervals.
According to this imaging apparatus, the normal imaging and the moving object detection are substantially always performed, so that the control for mode switching is simplified, and the normal imaging can be performed even when the moving object is not detected.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
The image sensor according to the first embodiment of the present invention basically includes an image sensor capable of switching an image capturing mode between a normal image capturing mode and a moving object detection mode, an optical system for guiding a subject image to the image sensor, and the optical system. And a control device for switching the imaging mode of the image sensor and controlling the operation of the optical system operation unit.
[0014]
In the moving object detection mode, when there is a portion in which the luminance changes due to a moving object in the imaging region of the imaging device in the moving object detection mode, an image signal (image data indicating the other portion of the imaging region where the luminance does not change) ) Outputs an image signal (image data) indicating the presence of a moving object at a different level from that of the imaging device, outputs normal imaging data of the imaging region in the normal imaging mode, and is switchable between the moving object detection mode and the normal imaging mode. It is.
[0015]
The control device changes at least one of an imaging mode of the imaging device and a state of the optical system by the optical system operation unit according to an output of the imaging device set to a moving object detection mode.
[0016]
As a typical example of the optical system operation unit, an optical system operation unit that can switch the imaging by the imaging element between wide-angle imaging and telephoto imaging can be given.
In the case of employing such an optical system operation unit, the control device sets the imaging device to the moving object detection mode and sets the imaging state of the optical system operation unit to the wide-angle imaging state when detecting the moving object. May be controlled so that when the imaging element detects a moving object, the optical system operation unit is set so that the imaging state of the imaging element is switched to the telephoto imaging state.
[0017]
Here, the “wide-angle imaging state” is a state in which an image of a wide area is captured, and the “telephoto imaging state” is a state in which an imaging magnification is increased by a zoom mechanism or the like to enlarge an image.
When such an optical system operation unit and control device are employed, a moving object can be imaged in detail.
[0018]
The control device controls the optical system operation unit so that the optical system is moved in a predetermined pattern, sets the imaging device to the moving object detection mode at a predetermined timing, and, when a moving object is detected, The optical system operation unit may be controlled so that the predetermined pattern operation is canceled.
Here, the “predetermined pattern” means an operation performed in accordance with a predetermined rule, such as turning (rotating), swinging, moving, and changing an imaging magnification, and is not only an intermittent motion but also a continuous one. Movements are also included.
[0019]
When such a control device is employed, the moving object can be detected over a wide area by moving the optical system in a predetermined pattern without employing a wide-angle optical system. In addition, it is easy to obtain a high-resolution image.
In this case, the imaging device may be set to the moving object detection mode only while the optical system is stopped, or the imaging device may be set to the moving object detection mode while the optical system is moving. In the latter case, in order to prevent a malfunction, the method of determining the presence or absence of a moving object may be different between when the optical system is moving and when the optical system is stopped.
[0020]
The control device may switch and set the imaging device to the normal imaging mode when the imaging device set to the moving object detection mode detects a moving object. In this way, by enabling the moving body to be imaged in the normal imaging mode, the identity of the moving body can be easily grasped.
[0021]
When the imaging device set to the moving object detection mode detects a moving object, the control device switches the imaging device to the normal imaging mode to perform imaging, and then switches the imaging device to the moving object detection mode. It may be something.
In this case, normal imaging is performed each time a moving object is detected, and then the moving object detection mode is set again, so that tracking of the moving object is possible.
[0022]
Further, an imaging device according to an embodiment of the second invention of the present application includes an imaging device capable of switching an imaging mode between a normal imaging mode and a moving object detection mode, an optical system for guiding a subject image to the imaging device, and A control device for controlling switching and driving of the imaging mode.
In order to enable moving object tracking, the control device alternately switches the imaging mode between the normal imaging mode and the moving object detection mode at predetermined time intervals. More specifically, the image sensor is set to a predetermined number of continuous frames (for example, a plurality of predetermined frames) in a normal imaging mode, and then set to a predetermined number of frames (the number of frames in a range where frames are not dropped, for example, one frame). This may be repeated.
[0023]
Representative examples of the image sensor are as follows. That is,
Each is a photoelectric conversion element, a logarithmic conversion unit including a logarithmic conversion transistor for converting the output of the photoelectric conversion element into an electric signal proportional to the logarithmic value of the amount of light incident on the element, and the output from the logarithmic conversion unit. A plurality of pixels having an integrating circuit for storing;
A voltage control unit for controlling a voltage applied to the logarithmic conversion transistor,
An output circuit for receiving and outputting a signal from each of the pixels,
The voltage control unit includes:
In a state where a first voltage for imaging is applied to the logarithmic conversion transistor during imaging, a first signal output from the photoelectric conversion element via the logarithmic conversion unit is accumulated in the integration circuit, and the logarithmic conversion is performed. At the time of resetting the transistor, a second voltage is applied to the logarithmic conversion transistor to reset the transistor and accumulate a second signal obtained by the reset in the integration circuit. By setting the absolute value of the difference from the first voltage to be smaller than the value obtained when the normal imaging state is obtained, when there is a portion where the brightness changes due to a moving object in the imaging region, the integration circuit is used for the portion. Moving object extraction in which the difference between the first signal and the second signal respectively stored in the image pickup region is different from that of the other portion of the imaging region where the luminance does not change. To realize an imaging state,
The output circuit is an image sensor that outputs a signal corresponding to a difference between the first signal and the second signal.
[0024]
The imaging device may include a moving object determining unit that determines the presence or absence of a moving object based on an output signal from the output circuit, and outputs a signal indicating the presence or absence of the moving object.
Such a moving object determination unit may be provided outside the image sensor.
[0025]
In any case, examples of such a moving object determination unit include a unit that compares an output signal after the difference processing from the output circuit with a predetermined threshold value and outputs a signal indicating the presence or absence of a moving object.
[0026]
By the way, in the case where the moving object moves in the imaged area, for example, focusing on the edge of the moving object, the luminance of the stationary background portion with respect to the edge changes when the moving object edge moves, as viewed from the image sensor. Therefore, it can be said that a portion in the imaging region where the luminance changes depending on the moving object indicates at least a part of the moving object.
[0027]
Therefore, it is related to the voltage control unit of the image sensor just described.
"When there is a portion in the imaging region where the luminance changes due to a moving object, the difference between the first signal and the second signal stored in the integration circuit is the difference between the first signal and the second signal, respectively. To realize a moving object extraction imaging state that is different from that of the part,
"When a moving object is included in the imaging region, a difference between the first signal and the second signal respectively stored in the integration circuit is at least partly different from that of the still background portion included in the imaging region. Realizes a different moving object extraction imaging state, "or
In other words, when a moving object is included in the imaging region, a moving object extraction imaging state that generates an imaging signal that can display at least a part of the moving object with a different density from the still background portion included in the imaging region is realized. it can.
[0028]
In any case, the voltage control unit in such an image sensor is configured so that the absolute value of the difference between the first voltage and the second voltage is, for example, substantially half the value in a case where a normal imaging state is realized. The moving object extraction imaging state may be realized by controlling the two voltages.
In the moving object detection mode, instead of setting the absolute value of the difference between the second voltage and the first voltage to be smaller than the value when the normal imaging state is obtained, for example, Without changing the magnitude of the voltage, the application period (pulse width of the second voltage) of the second voltage is set to be shorter than that in the case where the normal imaging state is obtained so that a reset remains in the logarithmic conversion transistor. Is also good.
[0029]
Further, a switch for electrically connecting and disconnecting the photoelectric conversion element and the logarithmic conversion transistor may be further provided. In this case, a voltage control unit that resets the logarithmic conversion transistor by applying the second voltage to the logarithmic conversion transistor while the switch is turned off may be employed.
[0030]
Next, some examples of the imaging apparatus will be described with reference to the drawings.
Each of the imaging devices described below basically has the configuration shown in FIG. However, the operation of the
[0031]
The imaging apparatus configuration shown in FIG. 1 includes an imaging element 10 capable of switching an imaging mode between a normal imaging mode and a moving object detection mode, an
[0032]
The
[0033]
Here, the state of the
[0034]
The optical
[0035]
The
[0036]
The
[0037]
The ROM stores various programs and parameters. As will be described later, when the image sensor 10 is moved in a predetermined pattern for moving object detection in the moving object detection mode, data on the operation pattern is also stored.
[0038]
Switching and driving (imaging operation) of the imaging mode of the imaging device 10 and operation of each unit (301, 302, 303) of the optical
[0039]
A signal from the image sensor 10 is digitized by an analog / digital converter A / D and stored in the
[0040]
The
[0041]
The image data transmitted from the camera side is subjected to necessary processing by the
[0042]
Next, the image sensor 10 will be described in detail with reference to FIGS. FIG. 2 is a block diagram showing the overall configuration of the image sensor 10, FIG. 3 is a diagram showing the configuration of a pixel unit or the like in which pixels are arranged, FIG. 4 is a diagram showing the configuration of one pixel, and FIG. 6 is a timing chart of driving voltage application when realizing. FIG. 6 is a timing chart of driving voltage application when realizing the moving body extraction imaging state.
[0043]
As shown in FIG. 2, the image sensor 10 includes a pixel unit G, a
[0044]
The image sensor 10 also includes a voltage control unit VC for supplying various predetermined voltage signals and the like to the pixel unit G and the like via the voltage regulator Rg. A timing generator TG for operating each unit at a predetermined timing is also provided.
[0045]
The imaging device 10 instructs the controller CONT1 (see FIG. 1) to the switching circuit between the normal imaging state and the moving body extraction imaging state built in the voltage control unit VC based on the instruction from the
[0046]
As shown in FIG. 3, pixels G11 to Gmn for imaging are arranged in a matrix (matrix arrangement) in the pixel unit G. The
[0047]
The
In FIG. 4, which will be described later, the row (row) line is indicated by 3, the φVD supply line is indicated by 4, and the output signal line is indicated by 6.
[0048]
3n, 41, 42,... 4n,
[0049]
The
[0050]
7m are connected to
[0051]
In the solid-state imaging device 10, a video signal and a noise signal output from the pixel Gab (a: a natural number of 1 ≦ a ≦ m, b: 1 ≦ b ≦ n) are output to the output signal line 6a, respectively. And is amplified by a constant current power supply 7a connected to the output signal line 6a. The video signal and the noise signal output from the pixel Gab are sequentially sent to the selection circuit 8a, and the video signal and the noise signal are sampled and held in the selection circuit 8a. After the held video signal is transmitted to the
[0052]
The
[0053]
Next, one example of each of the pixels G11 to Gmn will be described with reference to FIG.
The pixel shown in FIG. 4 is a photodiode PD, which is an example of a photoelectric conversion element, and a logarithmic conversion MOS transistor T2 for converting the output of the photodiode PD into an electric signal proportional to the logarithmic value of the amount of incident light. And an integration circuit IT including a capacitor C for storing the output of the logarithmic conversion unit L.
[0054]
More specifically, in each pixel, the drain of the switching MOS transistor T1 is connected to the cathode of the photodiode PD whose anode potential is VPD (or may be the ground potential), and the source of the transistor T1 is a MOS transistor for logarithmic conversion. The gate and drain of T2 are connected to the gate of MOS transistor T3. The transistor T3 flows a current corresponding to the logarithmically converted signal.
[0055]
The source of the MOS transistor T3 is connected to the gate of the source follower amplification MOS transistor T5 and the drain of the capacitor reset MOS transistor T4, and the source of the MOS transistor T5 is connected to the switching (signal reading) MOS transistor T6. The drain is connected. The source of the MOS transistor T6 is connected to the output signal line 6 (corresponding to the
[0056]
The signal φVPS is input to the source of the logarithmic conversion MOS transistor T2. The drain potentials of the MOS transistors T3 and T5 are set to VPD. Note that the drain may be grounded. A capacitor C is connected to the source of the MOS transistor T3, and a reference voltage (signal φVD) for integrating the electric signal from the photodiode PD with the capacitor C is input to the capacitor C.
[0057]
The DC voltage RSB is input to the source of the MOS transistor T4, and the signal φRST is input to the gate of the transistor T4. Further, a signal φS for turning on and off the transistor T1 is input to the gate of the MOS transistor T1, and a signal φV for turning on and off the transistor T6 is input to the gate of the MOS transistor T6.
[0058]
In the pixel thus configured, the constant current power supply 7 (corresponding to the constant current power supplies 71 to 7m in FIG. 3) to which the DC voltage VPS is applied to the minus terminal via the MOS transistor T6 and the output signal line 6 is provided. , Connected to the source of the MOS transistor T5. Therefore, when the MOS transistor T6 is on, the MOS transistor T5 operates as a source follower MOS transistor and outputs a voltage signal amplified by the constant current power supply 7 to the output signal line 6.
[0059]
By configuring the source follower circuit in this way, an amplifier circuit that outputs a large signal is configured. Therefore, a signal which is sufficiently amplified by this amplifier circuit is obtained, so that processing in a subsequent signal processing circuit (not shown) is facilitated. Further, the constant current power supplies 71 to 7m constituting the load resistance portion of the amplifier circuit are not provided in the pixels but are provided for each of the
[0060]
Next, the normal imaging operation and the sensitivity variation detection operation of each pixel by the above-described imaging device will be described first, and then the detection operation of the moving object will be described.
[0061]
As the signal φVPS supplied to the source of the logarithmic conversion MOS transistor T2, a high (High) and low (Low) voltage signal is used to obtain a normal imaging state. That is, the voltage for operating the transistor T2 in the sub-threshold region is set to low when reading out the video signal and the noise signal due to the sensitivity variation, and when the transistor T2 is reset, the voltage applied to the transistor T2 is higher than the voltage. A high (Hi) voltage that allows a larger current to flow than when the signal φVPS is applied is adopted.
As will be described later, when the capacitor C is reset after reading the noise signal, a voltage having a value between about high and low is applied to the source of the transistor T2 in order to remove an afterimage signal from the photoelectric conversion element.
[0062]
However, when obtaining a moving body extraction imaging state for detecting the presence of a moving body, when resetting the transistor T2, a voltage having a value intermediate between a low voltage and a high voltage is employed here instead of the high voltage (FIG. 6).
[0063]
As the reference voltage φVD applied to the capacitor C, a ternary voltage signal is employed in both the normal imaging state and the moving body extraction imaging state. That is, the voltage value when the capacitor C is integrated is set to the highest Vh, the voltage value for reading the video signal is set to Vm lower than Vh, and the voltage value for reading the noise signal is set to Vl lower than Vm.
[0064]
In the following description, a voltage signal or the like given to a pixel or the like is performed by a voltage control unit VC via a voltage regulator Rg.
(1) Imaging operation in normal imaging state
First, the imaging device 10 is set to a normal imaging state (normal imaging mode).
[0065]
(1-1) Video signal (image signal) output
In the following description, the signal φS for turning on and off the MOS transistor T1 is always low during the imaging operation, and the transistor T1 is on. Further, the signal φRST applied to the capacitor resetting transistor T4 is set high (Hi) to turn off the transistor T4. Then, the signal φVPS applied to the source of the transistor T2 is set low and the voltage value of the signal φVD applied to the capacitor C is set to Vh so that the integration operation by the capacitor C is enabled so that the MOS transistor T2 operates in the sub-threshold region. .
[0066]
When light from the imaging area enters the photodiode PD in such a state, a photocurrent is generated, and a photocurrent is applied to the gates of the transistors T2 and T3 due to the sub-threshold characteristic of the transistor T2. As a result, a voltage corresponding to a value converted so as to change in a natural logarithm is generated.
[0067]
Based on the voltage which changes in a natural logarithm with respect to the incident light amount, the drain current amplified by the transistor T3 flows from the capacitor C, and the capacitor C discharges. Therefore, the gate voltage of the MOS transistor T5 becomes a voltage proportional to the natural logarithm of the integrated value of the amount of incident light. Then, in order to read a video signal obtained by performing the integration operation by the capacitor C, the voltage value of the signal φVD is set to Vm, and a low pulse signal φV is given to the MOS transistor T6. As a result, a source current corresponding to the gate voltage of the MOS transistor T5 flows to the output signal line 6 via the MOS transistor T6.
[0068]
At this time, since the transistor T5 operates as a source follower type MOS transistor, a video signal appears on the output signal line 6 as a voltage signal. Thereafter, the signal φV is set high to turn off the transistor T6, and the voltage value of the signal φVD is set to Vh. As described above, the video signal output via the transistors T5 and T6 has a value proportional to the gate voltage of the transistor T5, and is therefore a signal proportional to the natural logarithm of the integrated value of the amount of light incident on the photodiode PD.
[0069]
(1-2) Sensitivity variation detection (noise signal output)
As shown in FIG. 5, when a pulse signal φVD having a voltage value Vm and a low pulse signal φV are supplied and a video signal is output, the signal φVD is set to Vh, and then the signal φS is set high to turn off the transistor T1. To start the reset operation. At this time, positive charges flow from the source side of the transistor T2, and the negative charges accumulated in the gate and drain of the transistor T2 and the gate of the transistor T3 are recombined. Goes up.
[0070]
However, when the potential of the gate and drain of the transistor T2 rises to a certain value, the reset speed becomes slow. In particular, this tendency becomes remarkable when a bright imaging region suddenly becomes dark. Therefore, next, the signal φVPS applied to the source of the transistor T2 is set to high. As described above, by increasing the source voltage of the transistor T2, the amount of positive charges flowing from the source side of the transistor T2 increases, and the negative and accumulated charges at the gate and drain of the transistor T2 and the gate of the transistor T3. The charges recombine quickly. At this time, the signal φRST is set to low to turn on the transistor T4, thereby initializing the voltage of the connection node between the capacitor C and the gate of the transistor T5.
[0071]
When the potential of the gate and the drain of the transistor T2 is further increased by raising the signal φVPS to high, the signal φVPS supplied to the source of the transistor T2 is lowered to return the potential state of the transistor T2 to the original state. As described above, when the potential state of the transistor T2 is reset to the original state, the signal φRST is set high and the transistor T4 is turned off.
[0072]
Then, the capacitor C performs an integration operation, and the voltage at the connection node between the capacitor C and the gate of the transistor T5 becomes in accordance with the reset gate voltage of the transistor T2. Therefore, a pulse signal φV is supplied to the gate of the transistor T6 to turn on the transistor T6 and set the voltage value of the signal φVD to Vl. As a result, an output current representing a variation in sensitivity of each pixel due to a variation in the characteristics of the transistors T2 and T3 flows through the output signal line 6.
[0073]
At this time, since the transistor T5 operates as a source follower type MOS transistor, a noise signal appears on the output signal line 6 as a voltage signal. Then, φS is made low to make the transistor T1 conductive, so that the voltage applied to the source of the transistor T2 is set to a voltage of an intermediate value between high and low, the pulse signal φRST is applied to the transistor T4, And reset the voltage of the connection node to the state where the imaging operation can be performed.
[0074]
In the above description, the voltage φVD applied to the capacitor C for integrating the electric signal obtained by the photoelectric conversion is set to the three values of Vh, Vm, and Vl, but the voltage applied to the capacitor C for integrating the electric signal is described. φVD may be constant. However, by adopting the three values as described above, it is possible to reduce the offset in the video signal from which noise has been removed, thereby reducing the operating range of an analog / digital converter or the like connected downstream of the image sensor. Can be used effectively. Note that the voltage value of the signal φVD applied to the capacitor C at the time of reading the video signal may be higher than the voltage value applied at the time of integration.
[0075]
In the above-described imaging device, each pixel is configured using a P-channel MOS transistor. However, the pixel may be configured using an N-channel MOS transistor. At this time, the polarity of each element is reversed. The polarity of the constant current power supplies 71 to 7m provided in the solid-state imaging device is opposite to that of FIG. Except for the above, the imaging device is substantially the same as the already described imaging device.
[0076]
(2) Imaging operation in moving object extraction imaging state
The imaging device 10 is set to a moving object extraction imaging state (moving object detection mode).
The operation for outputting the video signal is the same as that in the normal imaging state. However, in the noise signal output operation, as shown in FIG. 6, instead of the high signal φVPS in the case of the noise signal output in the normal imaging state, the signal φVPS employed in the reset processing of the MOS transistor T2 is changed to a high level as shown in FIG. And a voltage signal having a value approximately between the low and high values. Thus, moving object extraction can be performed. Otherwise, the process is the same as the noise output process in the normal imaging state. It should be noted that a voltage signal having an intermediate value between high and low may be employed instead of the low signal φVPS in the case of outputting a noise signal in the normal imaging state.
[0077]
In this moving object extraction imaging state, similarly to the case of the normal imaging state, the video signal output from each pixel when φVPS is set to low and imaging is performed by setting φVPS to a value intermediate between high and low. The difference from the noise signal (noise signal) output from each pixel when the MOS transistor T2 is reset is subtracted from the video signal by the difference processing by the
[0078]
However, as the signal φVPS employed in the reset processing of the MOS transistor T2, a voltage signal having an intermediate value between high and low is employed instead of the high signal φVPS in the case of a noise signal output in the normal imaging state. As a result, a reset remains in the MOS transistor T2. In addition, the reset residue is larger for a pixel having a larger incident light amount and smaller for a pixel having a smaller incident light amount due to the characteristics of the MOS transistor T2. Therefore, the video signal after the difference processing has the same value for each pixel that has imaged the imaged region where the luminance does not change. In this manner, a signal capable of gray display is output substantially uniformly with respect to the still background portion in the imaging region. By using this, the still background portion can be displayed almost uniformly in gray.
[0079]
On the other hand, for moving objects, the brightness is “dark” → “bright”, “dark” → “bright” → “dark”, “bright” → “dark”, “bright” → “dark” → “bright”, etc. It changes during the integration period of the signal.
[0080]
If the brightness changes from “dark” to “bright” and remains in the “bright” state until the start of the reset period, the video signal will be higher than in the “bright” state during the integration period. Become. Since the noise signal has a value depending only on the voltage of the integration circuit input section at the start of reset, the noise signal is in the “bright” state at the start of reset, and thus the noise signal is always the same as in the “bright” state. Then, the video signal output after the difference processing decreases, and the portion where the light incident on the element 10 changes from “dark” to “bright” can be displayed dark. In addition, when compared with the case where the video signal is always in the “dark” state, the video signal is lower and the noise signal is lower, but the amount of the video signal lower than the amount of the noise signal is smaller, and the video after the difference processing is performed. The signal output decreases.
[0081]
If the brightness changes from “dark” to “bright” to “dark” and remains in the “dark” state until the start of the reset period, the video signal will always be in the “dark” state during the integration period. It is lower than the comparison. Since the noise signal has a value dependent only on the voltage of the integration circuit input portion at the start of reset, the noise signal is in the “dark” state at the start of reset, and thus the noise signal is always the same as in the “dark” state. Then, the output of the video signal after the difference processing increases, and a portion where the light incident on the element 10 changes from “dark” to “bright” to “dark” can be displayed brightly.
[0082]
When the brightness changes from “bright” to “dark”, the video signal output after the difference processing increases for the same reason, and the brightness change portion can be displayed brightly.
When the brightness changes from “bright” to “dark” to “bright”, the output of the video signal after the difference processing decreases, and the brightness change portion can be displayed dark.
The portion where the incident light changes due to such a phenomenon can be extracted, and thereby the presence of a moving object can be detected.
[0083]
If the imaging element 10 is set to the normal imaging mode and an imaging area including a moving object is imaged and displayed on the display, for example, an image as shown in FIG. 7A is obtained, and the element 10 is set to the moving object detection mode. If the imaging area including the moving object is imaged and displayed on the display, for example, an image as shown in FIG. 7B is obtained.
[0084]
In FIGS. 7A and 7B, the moving object is a black ball, which rolls from right to left on the table placed in front of a white wall. For example, focusing on the left and right edge portions of the ball, when the left edge portion of the ball moves to the left, the imaging region portion where the brightness changes from “bright” to “dark” when viewed from the image sensor has a width and a direction. Is displayed as a bright portion P, and when the right edge portion of the ball moves leftward, when viewed from the image sensor, the brightness changes from “dark” to “bright”. Displayed as Q.
[0085]
Next, several imaging devices (cameras) using the above-described imaging device configuration but different in control by the
[0086]
<Imaging device example 1>
FIG. 8 shows an example of imaging by this imaging device, and FIG. 9 shows a flowchart of the operation of the
As shown in FIG. 8A, the imaging device sets the imaging device 10 to the wide-angle imaging state and sets the moving object detection mode (steps S111 and S112), and monitors the appearance of the moving object over a wide range. When a moving object is detected (step S113), the area where the moving object exists (in other words, the position of the moving object and the size of the moving object), the moving speed and the direction are determined (step S114), and the imaging mode is switched to the normal imaging mode (step S114). Step S115). Next, as shown in FIG. 8B, the optical
[0087]
Switching to the normal imaging mode is performed based on the determination that there is a moving object by the determination unit JG in the
According to this imaging apparatus, a moving object can be imaged as a still image or a moving image for a certain period of time unless the moving object moves at a considerably high speed.
[0088]
<Imaging device example 2>
FIG. 10 shows an example of imaging by this imaging device, and FIG. 11 shows a flowchart of the operation of the
[0089]
As shown in FIG. 10A, the image sensor 10 is set to the wide-angle imaging state and the moving object detection mode is set (steps S211, S212), and the appearance of the moving object is monitored over a wide range. When a moving object is detected (step S213), the existence area, moving speed, and direction of the moving object are determined (step S214), and the imaging mode is switched to the normal imaging mode (step S215). Next, as shown in FIG. 10B, the imaging direction and the imaging magnification are changed by the optical
[0090]
After the imaging of the predetermined number of frames, the imaging device 10 is returned to the moving object detection mode (step S218), so that moving object information can be obtained again. As a result, when the moving object is detected again (step S219), the existence area, moving speed, and direction of the moving object are determined (step S220), and the imaging mode is switched to the normal imaging mode (step S221). Then, as shown in FIG. 10C, the imaging direction and the imaging magnification are changed to the imaging of the moving object by the optical
[0091]
<Imaging device example 3>
FIG. 12 shows an example of imaging by this imaging device, and FIG. 13 shows a flowchart of the operation of the
This imaging apparatus operates the image sensor 10 and the like in a predetermined pattern when detecting a moving object, and more specifically, turns the image sensor 10 and the like to capture an image of the moving object when the moving object is detected.
[0092]
As shown in FIG. 12A, the imaging device 10 is set to the wide-angle imaging state and the moving object detection mode is set, and the imaging direction is fixed to perform the moving object detection (steps S311, S312, and S313). When a predetermined time has elapsed without detecting a moving object (step S314), the image sensor 10 and the like are turned by a predetermined amount by the optical system operation unit 30 (step S315). As shown in FIGS. 12A and 12B, the imaging device 10 and the like are turned by a predetermined amount every time a predetermined time elapses until a moving object is detected as shown in FIGS. .
[0093]
When a moving object is detected as shown in FIG. 12C (step S313), the existence area, moving speed, and direction of the moving object are determined (step S316), and the imaging mode is switched to the normal imaging mode (step S317). Next, as shown in FIG. 12D, the moving direction of the moving object is changed by changing the imaging direction and the imaging magnification for the moving object imaging based on the existing area, moving speed, and direction of the moving object, as shown in FIG. The imaging is started (Step S318), and after the imaging of a predetermined number of frames (Step S319), the imaging device 10 is switched to the moving object detection mode (Step S320).
[0094]
As a result, when the moving object is detected again (step S321), the existence area, moving speed, and direction of the moving object are determined (step S322), and the imaging mode is switched to the normal imaging mode (step S323). Then, as shown in FIG. 12 (D), the imaging direction and the imaging magnification are changed to the imaging of the moving object by the optical
[0095]
Any one of the following three states can be adopted in relation to the turning operation of the image sensor 10 and the like.
(A) When the turning and stopping of the imaging device 10 and the like are repeated, the moving object detection is performed when the imaging device 10 and the like are in a stopped state. During the turning, the normal imaging mode is set or the determination by the determination unit JG is not performed while the moving object detection mode is maintained. This prevents the stationary body from being recognized as a moving body by turning.
[0096]
(B) When turning and stopping the imaging device 10 and the like are repeated, the moving object detection is performed not only when the imaging device 10 and the like are stopped but also during turning. In order to prevent a stationary body from being recognized as a moving body in the detection of a moving body during turning, the method of determining the presence or absence of a moving body is different from that during stoppage. That is, a so-called tailing by turning is specified from the turning direction and the turning speed of the image sensor or the like, and if the tailing is due to the turning, it is not regarded as a moving object, and a tailing different from that by the turning is detected. It is determined that there is a moving object. It should be noted that the data relating to the turning direction and the turning speed of the image pickup device and the like may be stored in the
[0097]
(C) The imaging device 10 and the like are constantly turned, and the moving object is detected even during the turning. In this case, by turning the image sensor 10 or the like at a constant speed in a predetermined direction, a uniform tailing is generated for a stationary body, and a tailing having a different length or direction from the tailing is detected. It may be determined that there is a moving object.
[0098]
<Imaging device example 4>
FIG. 14 shows an example of imaging by this imaging device, and FIG. 15 shows a flowchart of the operation of the
This imaging apparatus is different from the imaging apparatus example 3 in that a step S300 for switching the imaging element 10 to the wide-angle imaging state or for changing the imaging magnification to be smaller than the previous imaging magnification is inserted between step S319 and step S320. The rest is the same as the imaging device example 3.
[0099]
For example, after the moving object is normally imaged in steps S318 and S319, when the imaging device 10 is switched to the moving object detection mode again to track the moving object, the moving object attempts to move out of the imageable area as shown in FIG. In step S300, the imaging device 10 is switched to the wide-angle imaging state, or the magnification is changed to a smaller magnification than the previous imaging magnification, as shown in FIG. 14A and FIG. This prevents the moving object from being lost. As a result, this imaging device can easily track a moving object.
[0100]
When a moving object is detected, after the moving object is normally imaged, when the imaging device 10 is switched to the moving object detection mode again to track the moving object, the moving object attempts to move out of the imageable area or prepares for the moving object. The technique of switching the imaging element 10 to the wide-angle imaging state or changing the imaging magnification to a smaller magnification than the previous imaging magnification can also be applied to the case where the imaging device is manually operated to track a moving object.
[0101]
<Imaging device example 5>
As shown in FIG. 16, the moving object detection mode is set at a predetermined timing. More specifically, the switching to the moving object detection mode for one frame is repeated every time a predetermined number of frames are captured in the normal imaging mode, and the moving object detection is performed (hereinafter, referred to as “moving object detection mode”). , "Intermediate mode"). The flowchart of FIG. 17 shows the operation of the
In this way, regardless of whether or not the moving object is detected, substantially always, the moving object detection and the normal imaging are performed. Therefore, control for mode switching is simplified. In addition, the imaging of the observation target can be performed even while the moving object is not detected. The switching of the mode is performed based on a timing generator TG built in the image sensor 10 or a timer built in the CPU.
[0102]
As shown in FIG. 17, the imaging device 10 is set to the wide-angle imaging state and is set to the intermediate mode, and the moving object is detected with the imaging direction kept constant (steps S511, S512, S513). When a predetermined time has elapsed without detecting a moving object (or when imaging of a predetermined number of frames is completed) (step S514), the image sensor 10 and the like are rotated by a predetermined amount by the optical system operation unit 30 (step S515). Until a moving object is detected in this way, the image sensor 10 and the like are turned by a predetermined amount each time a predetermined time elapses (or each time imaging of a predetermined number of frames is completed), and the moving object is detected over a wide area.
[0103]
When a moving object is detected (step S513), the presence area, moving speed, and direction of the moving object are determined (step S516), and then the moving object existing area, moving speed, and direction obtained by the optical
[0104]
Thereafter, when no moving object is detected (step S518), the
[0105]
Note that, in the imaging apparatus example 5, the period during which the operation in the moving object detection mode is performed may be set to a plurality of frames within a range where the drop of frames of the normal imaging data is allowed, and the accuracy of the moving object detection may be increased. In addition, when the frame rate of the solid-state imaging device can be made sufficiently high, or when a very high frame rate is not required for normal imaging data (in other words, in applications where moving images such as frame-by-frame motion are allowed), The number of frames in the imaging mode may be equal to or less than the number of frames in the moving object detection mode. Further, the number of frames in each mode may be variable, and for example, when a moving object is detected, the number of frames in the moving object detection mode may be changed so as to increase.
[0106]
In each of the above-described imaging apparatus examples, the recording of the imaging data on the recording medium in the
[0107]
Further, a cable for sending a signal for instructing the camera to switch the imaging mode is provided with a power supply function, and by changing the supply voltage to the cable, the imaging mode is switched so that one cable is provided. The power supply and the signal transmission may be performed by using the power supply.
[0108]
【The invention's effect】
As described above, according to the present invention, it is possible to provide an imaging apparatus capable of reliably detecting a moving object and imaging the moving object at low cost.
Further, according to the present invention, it is possible to provide an imaging apparatus suitable for detecting a moving object and performing moving object tracking reliably and inexpensively.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a basic configuration of an imaging apparatus.
FIG. 2 is a block diagram illustrating an overall configuration of an example of an image sensor.
FIG. 3 is a diagram illustrating a configuration of a pixel unit and the like in which pixels are arranged.
FIG. 4 is a diagram showing a configuration of one pixel.
FIG. 5 is a timing chart showing a state of application of an element driving voltage for realizing a normal imaging state (normal imaging mode) in the imaging element shown in FIGS. 2 to 4;
FIG. 6 is a timing chart showing a state of application of an element driving voltage for realizing a moving object extraction imaging state (moving object detection mode) in the imaging element shown in FIGS. 2 to 4;
FIG. 7A shows an example of imaging of an imaging region including a moving object (ball) in a normal imaging state, and FIG. 7B shows imaging of an imaging region including a moving object in a moving object extraction imaging state; An example is shown.
FIGS. 8A to 8C are explanatory diagrams of moving object detection by an example of an imaging apparatus.
FIG. 9 is a flowchart illustrating an operation of a control unit of the imaging apparatus that performs the moving object detection illustrated in FIG. 8;
FIGS. 10A to 10E are diagrams illustrating moving object detection by another example of the imaging apparatus.
11 is a flowchart illustrating an operation of a control unit of the imaging apparatus that performs the moving object detection illustrated in FIG.
FIGS. 12A to 12D are explanatory diagrams of moving object detection by still another example of the imaging apparatus.
13 is a flowchart illustrating an operation of a control unit of the imaging apparatus that performs the moving object detection illustrated in FIG.
FIGS. 14A to 14C are explanatory diagrams of moving object detection according to still another example of the imaging apparatus.
15 is a flowchart illustrating an operation of a control unit of the imaging apparatus that performs the moving object detection illustrated in FIG.
FIG. 16 is a diagram showing still another example of switching of the imaging mode. .
17 is a flowchart illustrating an operation of a control unit of the imaging apparatus that performs the imaging mode switching illustrated in FIG.
[Explanation of symbols]
10
20 Optical system I / F interface
30 Optical
301 Optical
302 Tilt driver CPU 'central processing unit
303
A / D analog /
40
CPU
50 image memory
G pixel section 81-8m selection circuit
1
2 horizontal scanning circuit 10 voltage controller
3, 31-3n Row (Row) Line Am Output Amplifier
4, 41-4n line Rg voltage regulator
5 Power line TG Timing generator
6, 61 to 6 m Output signal line G11 to Gmn Pixel
71-7m constant current power supply PD photodiode
8 Output circuit
T1 switching MOS transistor
T2 MOS transistor for logarithmic conversion
T3 MOS transistor
T4 MOS transistor for capacitor reset
T5 MOS transistor for source follower amplification
T6 MOS transistor for signal reading
C capacitor (capacitor for integration)
Claims (5)
前記撮像素子に被写体像を導く光学系と、
前記光学系を所定の状態に設定するための光学系操作部と、
前記撮像素子の撮像モードの切替え及び前記光学系操作部の動作を制御するための制御装置と、
を備えたことを特徴とする撮像装置。An image sensor capable of switching an imaging mode between a normal imaging mode and a moving object detection mode,
An optical system for guiding a subject image to the image sensor,
An optical system operation unit for setting the optical system to a predetermined state,
A control device for switching an imaging mode of the imaging device and controlling an operation of the optical system operation unit,
An imaging device comprising:
前記撮像素子に被写体像を導く光学系と、
前記撮像素子の撮像モードの切替え及び駆動を制御するための制御装置とを備えており、
該制御装置は所定の時間間隔で撮像モードを通常撮像モードと動体検知モードとの間で交互に切り替えることを特徴とする撮像装置。An image sensor capable of switching an imaging mode between a normal imaging mode and a moving object detection mode,
An optical system for guiding a subject image to the image sensor,
A control device for controlling the switching and driving of the imaging mode of the imaging device,
An imaging apparatus, wherein the control device alternately switches an imaging mode between a normal imaging mode and a moving object detection mode at predetermined time intervals.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003092984A JP2004304375A (en) | 2003-03-31 | 2003-03-31 | Photographing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003092984A JP2004304375A (en) | 2003-03-31 | 2003-03-31 | Photographing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004304375A true JP2004304375A (en) | 2004-10-28 |
Family
ID=33405883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003092984A Withdrawn JP2004304375A (en) | 2003-03-31 | 2003-03-31 | Photographing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004304375A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006217355A (en) * | 2005-02-04 | 2006-08-17 | Olympus Corp | Imaging apparatus |
JP2010098695A (en) * | 2008-10-20 | 2010-04-30 | Sony Computer Entertainment Inc | Device, method and program for controlling picked-up image storage, and storage medium with program for controlling picked-up image storage stored therein |
JP2017055373A (en) * | 2015-09-13 | 2017-03-16 | 中越エンジニアリング株式会社 | Salesroom crime prevention program, tablet terminal and salesroom |
-
2003
- 2003-03-31 JP JP2003092984A patent/JP2004304375A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006217355A (en) * | 2005-02-04 | 2006-08-17 | Olympus Corp | Imaging apparatus |
JP2010098695A (en) * | 2008-10-20 | 2010-04-30 | Sony Computer Entertainment Inc | Device, method and program for controlling picked-up image storage, and storage medium with program for controlling picked-up image storage stored therein |
JP2017055373A (en) * | 2015-09-13 | 2017-03-16 | 中越エンジニアリング株式会社 | Salesroom crime prevention program, tablet terminal and salesroom |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7948538B2 (en) | Image capturing apparatus, image capturing method, exposure control method, and program | |
US8675110B2 (en) | Imaging apparatus, method of controlling imaging apparatus, and program for continuous image capturing | |
EP1331809B1 (en) | Method of fast automatic exposure or gain control in a mos image sensor | |
US20080284872A1 (en) | Image pickup apparatus, image pickup method, exposure control method, and program | |
US20080231728A1 (en) | Image capturing apparatus, light metering method, luminance calculation method, and program | |
JP2009524283A (en) | Method and apparatus for providing pixel storage gate charge sensing for electrical stabilization in an imaging device | |
EP0878965A3 (en) | Method for tracking entering object and apparatus for tracking and monitoring entering object | |
EP3261331A2 (en) | Dual mode image sensor and method of using same | |
US7920180B2 (en) | Imaging device with burst zoom mode | |
CN101326814A (en) | Imaging system with adjustable optical device | |
JP2006203395A (en) | Moving body recognition system and moving body monitor system | |
WO2019082831A1 (en) | Image capturing device, method for controlling image capturing device, and program | |
JP2007281555A (en) | Imaging apparatus | |
EP1829361A1 (en) | Method for extracting of multiple sub-windows of a scanning area by means of a digital video camera | |
US7295237B2 (en) | Image capturing apparatus capable of extracting a moving object | |
DE112017005810T5 (en) | Image pickup device and control method therefor | |
JP2004304375A (en) | Photographing apparatus | |
US7319486B2 (en) | High-speed event imaging device | |
CN115334260B (en) | Image sensor and pixel-level exposure control method | |
JP4260003B2 (en) | Electronic camera | |
JP3823919B2 (en) | Imaging device | |
JP4931231B2 (en) | Imaging apparatus and control method thereof | |
JP2006311367A (en) | Imaging apparatus and imaging method | |
JP2019114956A (en) | Image processing system, imaging system, mobile | |
JP4956094B2 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |