JP2008228232A - 撮像装置、撮像方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】２つの撮像素子を使用して、高空間解像度と高リアルタイム性を実現する。
【解決手段】第１及び第２の撮像素子を備え、第２の撮像素子が出力する画像データから注目領域を抽出する注目領域抽出手段と、注目領域の位置に対応する注目領域情報を記憶する注目領域情報記憶手段と、第１の撮像素子の全画素領域を駆動して得られる画像データを記憶する第１の記憶手段と、第１の撮像素子の前記注目領域に対応する画素領域のみを、第１の撮像素子の全画素領域を駆動するよりも高速に駆動して得られる画像データを記憶する第２の記憶手段と、第１の記憶手段に記憶した画像データと第２の記憶手段に記憶した画像データを合成して合成された画像データを生成する合成手段を備える撮像装置。
【選択図】図１

Description

本発明は、２つの撮像素子を備える撮像装置、及び撮像方法に関する。

従来、半導体よりなる固体撮像素子として、ＣＣＤ撮像素子及びＣＭＯＳ撮像素子が広く知られ、用いられている。ＣＣＤ撮像素子は、画素内に配置された光電変換素子で光を信号電荷に変換し、その信号電荷を全画素から同時に読み出して転送し、転送された信号電荷を電気信号に変えて映像信号として出力する機能を有する。

一方、ＣＭＯＳ撮像素子は、画素内に配置された光電変換素子で光を信号電荷に変換し、その信号電荷を画素ごとに増幅し、映像信号として出力する機能を有する。

近年、民生用のＣＭＯＳ撮像素子は、同じ撮像素子であるＣＣＤ撮像素子に比べ、読み出し速度が飛躍的に高速化している。たとえば、６４０万画素から構成される１フレームを１秒間に６０回出力でき、あるいは２７６万画素から構成される１フレームを１秒間に１８０回出力できるＣＭＯＳ撮像素子を有する撮像装置が試作されている。これらは、たとえば、非特許文献１で紹介されている。この機能を備えるＣＭＯＳ撮像素子によれば、多画素での高フレームレートの撮像が可能となる。したがって、動画像を構成する１枚、１枚のフレーム画像に静止画像に必要とされる解像度を持たすことができ、動画像と静止画像を、解像度が同じ状態でシームレスに読み出すことを可能にしている。

また一方で、ＣＭＯＳ撮像素子は、全画素領域の画像信号を同時に読み出すＣＣＤ撮像素子とは異なり、撮像素子の一部の画素領域のみを部分的に読み出すことが可能なランダムアクセス、すなわち部分読み出し機能を備えている。たとえばロボットビジョンやビジョンチップの世界では、ＣＭＯＳ撮像素子の高速読み出し機能及びランダムアクセス機能を生かして、ランダアクセス、すなわち部分読み出し機能を利用した高速視覚システムの研究が行われている。これらは、特許文献１及び非特許文献２で紹介されている。

ロボットビジョンにおいては、高空間解像度及び高リアルタイム性を多くの場面で両立させることが要求される。この場合、一般に画像特徴量を計算する際に全ての画素情報を必要としない、という前提の元に、フレーム画像の中で注視している注視領域の画像信号のみを読み出し、読み出したその情報に基づいて次フレームで注視する注視領域を更新することが行われている。この技術は、知的画素選択機能と呼ばれる。また、民生用カメラでもランダムアクセス機能を生かし、フレーム画像に含まれる画像を、その画像の注視領域と、それ以外の周辺領域とで画像データの解像度を変更させることが提案されている。すなわち、注視領域は高解像度とし、周辺領域は低解像度として、１フレーム画像当たりの動画像の処理量及び処理時間を低減させることが特許文献２に開示されている。
特開２００３−３１９２６２号公報 特開２００６−６０４９６号公報 Satoshi Yoshihara，"A 1/1.8" 6.4M Pixel, 60Frames/s CMOS Image Sensor with Seamless Mode Change"。IEEE International Solid-State Circuits Conference，Feb 2006。 Ulrich Muehlmann, et al."A New High Speed CMOS Camera for Real-Time Tracking Applications"。IEEE International Conference on Robotic & Automation, April 2004。

しかしながら、このような高速読み出し可能な撮像素子を有する撮像装置において、大量の動画像を扱う場合、高度なタスクになるほど、撮像素子の性能に見合うだけのリアルタイム（高速）性の高い処理は困難となる。またさらに、撮像素子のコストも高くなってしまう。画像データをリアルタイムで高速に処理するには、画像データの情報量を削減するのが好ましい。しかしながら、それにより空間解像度が失われ、画像データの細部の情報量が落ちてしまう。

本発明は、上述した高速読み出し可能な撮像素子を有する撮像装置の高空間解像度と高リアルタイム性の両立を解決するために、撮像素子そのものを能動的に制御する。それにより、フレーム画像内の注目領域のみをランダムアクセスにより読み出し、注目領域とは異なる周辺領域はフレーム画像を生成するために必要且つ最低限の画像を読み出すことで、画像のデータ量を減らし、処理負荷の軽減を図る。

また、注目領域の読み出しをしている間に、周辺領域において新たな動きが発生した際には、動きの検出を高速に行うために、シーン全体、すなわち撮像する光学像の全体を監視する別の撮像素子を用意する。これにより、高速読み出し可能な撮像素子を有する撮像装置の高空間解像度と高リアルタイム性の両立と可能な限りの効率性を重視した撮像装置を提供することが可能となる。

したがって、本発明の目的は、２つの撮像素子を備え、高空間解像度と高リアルタイム性を備えた撮像装置を提供することにある。

上記の目的を達成するため、本発明の実施形態に係る撮像装置は、
第１及び第２の撮像素子を備える撮像装置であって、
前記第１および第２の撮像素子に光学像を結像させる光学系と、
前記第２の撮像素子が出力する画像データから注目領域を抽出する注目領域抽出手段と、
前記注目領域の位置に対応する注目領域情報を記憶する注目領域情報記憶手段と、
前記第１の撮像素子の全画素領域を駆動して得られる画像データを記憶する第１の記憶手段と、
前記注目領域情報記憶手段に記憶された前記注目領域情報の前記注目領域に対応する前記第１の撮像素子の画素領域のみを、前記第１の撮像素子の全画素領域を駆動するよりも高速に駆動して得られる画像データを記憶する第２の記憶手段と、
前記第１の記憶手段に記憶した画像データと前記第２の記憶手段に記憶した画像データを合成して、合成された画像データを生成する合成手段と、を備えることを特徴とする。

上記の目的を達成するため、本発明の実施形態に係る撮像方法は、
第１及び第２の撮像素子、及び前記第１および第２の撮像素子に光学像を結像させる光学系と、を備える撮像装置の撮像方法であって、
前記第２の撮像素子が出力する画像データから注目領域を抽出する注目領域抽出工程と、
前記注目領域の位置に対応する注目領域情報を記憶する注目領域情報記憶工程と、
前記第１の撮像素子の全画素領域を駆動して得られる画像データを第１の記憶手段に記憶する第１の記憶工程と、
前記注目領域情報記憶工程で記憶された前記注目領域情報の前記注目領域に対応する前記第１の撮像素子の画素領域のみを、前記第１の撮像素子の全画素領域を駆動するよりも高速に駆動して得られる画像データを第２の記憶手段に記憶する第２の記憶工程と、
前記第１の記憶手段に記憶した画像データと前記第２の記憶手段に記憶した画像データを合成して合成された画像データを生成する合成工程と、を備えることを特徴とする。

本発明によれば、２つの撮像素子を備え、高空間解像度と高リアルタイム性を備えた撮像装置を提供することが可能となる。

以下、本発明の実施形態に係る撮像装置に関し、図面を参照しながら詳述する。図１は、本発明の実施形態に係る撮像装置の機能的な構成図であり、図２は、ランダムアクセス可能な２次元の撮像素子を用いた、本発明の実施形態に係る撮像装置で使用される撮像素子の構成を示す概観図である。

図１において、光学系１は、被写体と撮像素子４との間に設けられ、レンズ群２を含み、動画像である被写体の光学像を撮像素子４に結像させる。尚、図においては、レンズ群２は簡略化のため１枚で図示する。また、光学系１は、後で説明する撮像素子１６にも動画像である被写体の光学像を結像させる必要がある。そのため、たとえばビームスプリッタ３を含む。しかし、基本的に撮像素子４と撮像素子１６に同じ動画像である被写体の光学像を結像させることができるのであれば、撮像素子４のレンズ群２とは別にレンズ群を設けることも可能である。

撮像素子４は、ＣＭＯＳ撮像素子等の、高速読み出し及びランダムアクセス、すなわち部分読出し可能な２次元の撮像素子であり、図示しない筐体内部に設けられる。撮像素子４は、光電変換機能を有する半導体素子であり、光学系１により結像された動画像であるシーン、すなわち光学像に応じた電荷を電気信号（アナログ信号）に変換して出力する。

ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５は、撮像素子４に接続され、撮像素子４から電気信号（アナログ信号）を受け取る。ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５は、電気信号（アナログ信号）に対してＣＤＳ処理を行い、ＣＤＳ処理後の信号をＡＧＣ動作により増幅し、最後に電気信号（アナログ信号）を画像データ（デジタル信号）に変換する。

画像データ処理部６は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５及びマイクロコンピュータ１４、記録回路１２、及び表示部１３に接続されている。これにより、画像データ処理部６は、画像データをＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５から受け取り、マイクロコンピュータ１４からの制御信号に基づき、画像データを処理し、表示部１３に供給して表示する。さらに必要に応じて、図示しないが、記録回路１２で取り外し可能な記録媒体に画像データを記録する。

画像データ処理部６は、画像データ記憶回路７及び画像データ合成回路８、注目領域画像データ記憶回路９、スイッチ１０、及び画像データ処理回路１１からなる。

画像データ記憶回路７は、撮像素子４を撮像素子の駆動回路１５の制御により、全画素領域読み出しした際に、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５から得られた画像データの１フレーム分を記憶する回路である。記憶された１フレーム分の画像データは、次の１フレームの画像データが入力されると更新される。

ここで記憶されたフレーム画像は、撮像素子４から部分読み出し（ランダムアクセス）された注目領域の画像データから１枚のフレーム画像を生成するための背景の画像データとなる。

画像データの合成が必要ない（すなわち通常モード読み出しの）場合は、画像データ記憶回路７に記憶された１フレームの画像データは、そのまま画像データ処理回路１１に入力される。しかし、画像データの合成が必要な場合は、画像データ記憶回路７に記憶された１フレームの画像データは、画像データ合成回路８に入力される。したがって、撮像素子４における、通常読み出しモードである全画素領域の読み出し動作では、この画像データ合成回路８の機能は使用されない（後述するステップＳ１０２参照）。

画像データ合成回路８は、画像データ記憶回路７に記憶された１フレームの画像データを背景の画像データとする。そして、注目領域画像データ記憶回路９に記憶された注目領域画像データを、画像データ記憶回路７に記憶された１フレームの画像データの対応する画像領域に位置合わせをして合成し、１フレームのフレーム画像を生成する。これは、マイクロコンピュータ１４の制御により、スイッチ１０を切り替えることで実行される。

すなわち、注目領域画像データ記憶回路９に記憶された注目領域画像データは、注目領域情報記憶回路１９に、フレーム（すなわち背景）画像の全体の中での位置の情報である注目領域情報が記憶されている。したがって、その注目領域情報を元にスイッチ１０を制御して位置合わせを行い、１フレームの合成画像データを生成する。生成された画像データは、画像データ処理回路１１へ入力される。

注目領域画像データ記憶回路９は、撮像素子４から部分読み出し（ランダムアクセス）された注目領域画像データを記憶する回路である。この注目領域画像データ記憶回路９に入力される注目領域画像データは、特定の被写体が抽出された注目領域画像データのみでは、１フレームの画像データを生成できない。そのため、画像データ合成回路８に入力され、画像データ記憶回路７に記憶された１フレームの画像データと合成されて完成された１フレームの画像データとされる。

画像データ処理回路１１は、画像データにアパーチャ補正、ＷＢ補正、γ補正などの画像処理を施し、記録回路１２や表示部１３に出力する回路である。記録回路１２は、取り外し可能な、たとえば半導体メモリに画像データ処理回路１１から出力された画像データを記録し、表示部１３は、画像データ処理回路１１から出力された画像データの表示を行う。

駆動回路１５は、撮像素子４を駆動するため、マイクロコンピュータ１４に接続されている。これにより駆動回路１５は、マイクロコンピュータ１４から受け取った制御信号に基づき、撮像素子４を駆動する。具体的には、駆動回路１５は、撮像素子４を駆動するための駆動パルス等を生成して撮像素子４に供給する。

図２はＣＭＯＳ等のランダムアクセス可能な２次元撮像素子を用いた撮像素子４の概観図である。Ｂ１１〜Ｂｍｎ（ｍ、ｎは整数である。以下同じ。）は、光学像が結像される撮像面に２次元に配置された画素である。各画素には、光電変換素子と、光電変換素子で変換された信号電荷を画素ごとに増幅して出力するトランジスタとが少なくとも配置されているが、図では省略されている。

垂直シフトレジスタ２２０は、水平出力線ＶＳＥＬ１〜ＶＳＥＬｍ毎に画素から電気信号を読み出す制御パルスを出力する。水平出力線ＶＳＥＬ１〜ＶＳＥＬｍにより選択された各画素の電気信号は、垂直出力線ＶＳＩＧ１〜ＶＳＩＧｎにより読み出され、加算回路２２１に蓄積される。加算回路２２１に蓄積された電気信号は、水平シフトレジスタ２２２により順次読み出し走査が行われ、時系列的に出力される。

撮像素子１６は、マイクロコンピュータ１４で制御される駆動回路１７で駆動され、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路１８に撮像信号を出力する。そして、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路１８からの画像データは注目領域抽出回路２０に与えられる。注目領域抽出回路２０では、マイクロコンピュータ１４の制御により、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路１８からの画像データから特定の注目画像領域に係る注目領域情報を抽出する。抽出された位置の情報である注目領域情報は、マイクロコンピュータ１４を介して、注目領域情報記憶回路１９を順次更新することとなる。

尚、注目領域を最初に特定するには、撮像素子１６の出力を使用して特定してもよい。たとえば、撮像素子１６の出力の動きのある部分を検出し、これを注目する被写体とし、この被写体を包含する画像の領域を注目領域とする。あるいは、撮像素子４の出力の画像データを注目領域認識回路２１で調べ、たとえば、特定の特徴情報を有する被写体の画像データの領域を注目領域と特定することも可能である。いずれにしても注目領域の位置を特定する注目領域情報は、あとで述べる画像の全画素領域を分割した画素の領域で表現される。

このようにして、注目領域の位置を特定するが、つぎに、撮像素子４として使用が可能なＭＯＳの撮像素子について、図２を参照して説明する。

具体的には、図２において、垂直シフトレジスタ２２０から水平出力線ＶＳＥＬ１〜ＶＳＥＬｍのうち、部分読み出し（ランダムアクセス）の対象である注目領域に属する画素に接続された水平出力線に制御パルスを出力する。そして、水平シフトレジスタ２２２から垂直出力線ＶＳＩＧ１〜ＶＳＩＧｎのうち、部分読み出しの対象である注目領域に属する画素に接続された垂直出力線に制御パルスを出力する。

水平出力線の制御パルスによって選択された注目領域に属する各画素の電気信号は、垂直出力線の制御パルスより加算回路２２１に読み出され、加算回路２２１に蓄積されずに加算回路２２１を通過する。

マイクロコンピュータ１４は、撮像装置全体の統合的な処理を行っている。マイクロコンピュータ１４は、通常／高速読み出しモードを切り替えるモードスイッチ２２によって、通常読み出しモードと高速読み出しモードを切り替える。この時、モードスイッチ２２が高速読み出しモードに切り替わった場合は、たとえば撮像素子１６の注目領域抽出回路２０から抽出される情報から、注目領域情報を生成し、注目領域情報記憶回路１９に記憶され注目領域情報を順次更新する。

また、高速読み出しモードにおいて、撮像素子４において全画素領域読み出しが行われる際には、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５の出力先を画像データ記憶回路７に切り替える。また、、部分読み出し（ランダムアクセス）が行われるタイミングにおいては、スイッチ１０で、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５の出力先を注目領域画像データ記憶回路９に切り替える。通常読み出しモードでは、撮像素子４において常に全画素領域読み出しが行われるため、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５の出力先は画像データ記憶回路７のままである。

注目領域情報記憶回路１９は、撮像素子４において注目領域の部分読み出し（ランダムアクセス）が行われる際に、マイクロコンピュータ１４から、撮像素子４の該当する被写体の注目領域情報を受け取り、撮像素子４の駆動回路１５へ入力する。

通常／高速読み出しモード切り替えのモードスイッチ２２は、マイクロコンピュータ１４を通じて、駆動回路１５を制御して撮像素子４の通常及び高速読み出しモードの切り替えを行う。モードスイッチ２２は、例えばコマンドダイアルやボタンなど構成され、ユーザによって操作される。

撮像素子１６は、撮像素子４とは別に、（図示しない筐体）外部において光学系１付近に設けられた撮像素子である。撮像素子１６の出力は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路１８で画像データに変換されたあと、注目領域抽出回路２０に入力され、注目領域抽出回路２０で抽出した画像領域の情報は、マイクロコンピュータ１４に入力される。

ここで、撮像素子１６は、画像データ全体を常に監視するものであり、例えば数フレームに１回など常に一定間隔で画像データ全体を監視していても良いし、画像データ中で何か動きがあった時にだけ、動作させても良い。

なお、ここで使用する撮像素子１６とは、たとえば、動きの検出に特化したような撮像素子であれば如何なる撮像素子でも使用可能である。例えば、赤外線を検出する撮像素子のようなものや、温度でも動作する撮像素子などでも良い。したがって、素子の数も多くある必要はない。結像される光学像の明るさにあまり影響を受けず、ロバストな検出が可能であるという点では、赤外線用の撮像素子が望ましい。本実施形態では、撮像素子１６に赤外線用の撮像素子を用いた例を説明する。

＜実施形態１＞
次に、本発明の実施形態１に係る撮像装置の撮像素子制御方法について、図３乃至図５を用いて説明を行う。図３は、撮像装置が撮像素子４の読み出しを制御する処理の流れを示すフローチャートである。図４は、撮像素子４の読み出しの遅延時間を示す概念図である。図５は、被写体検出情報を撮像素子４の読み出しに反映させるタイミングを示す概念図である。

先ず、図４について説明する。図４の上段は、撮像素子（外測撮像素子）１６から得られる画像データを時系列で示したものである。濃い部分が被写体として検出された特定の被写体領域である。次に図４の中段は、１フレームの画像データ内での注目領域を時系列で示している。

ここでは例えば、１フレームの画像データの領域を４×４の１６領域に分割している。また各領域は複数の画素から形成される。この被写体の注目領域に基づいて撮像素子４の読み出しを行う。撮像素子４において、全画素領域読み出しの場合は、黒とされたフレーム画像の全画素領域を読出し、注目領域の部分読み出し（ランダムアクセス）の場合は、読み出すべき被写体の領域である黒く塗られている注目領域を読み出す。黒く塗られた以外の白い部分では、撮像素子４は駆動されない。

最後に図４の下段は、表示部１３に表示される合成されたフレーム画像を時系列で表している。この場合、撮像素子４の全画素領域読み出しの場合は、画像データ記憶回路７から出力された１フレームの画像データである。一方、注目領域の部分読み出し（ランダムアクセス）の場合は、背景の画像データを所定の位置で合成した画像データ合成回路８から出力された画像合成後の１フレームの画像データである。

図４では、例えば、撮像素子４は、通常読み出しモードでは、60frame/secで動作し、高速読み出しモードでは、600frame/secで動作していると仮定する。また画像データ監視用の撮像素子（外測撮像素子）１６は、常に、通常読み出しモード（この場合は、60frame/sec）で動作する。

この図４において、tの時系列に沿って、t00、t10、t20、t30…の間隔は、60frame/secを表しており、t1i、t2i、（0 ＜i＜9）・・・の間隔は、600frame/secを表す。従って、t10からt20までは、撮像素子４から１０枚の画像データが読み出される。t11、t19、t21、t29の３種類の画像データは図示されていない（詳細は図５を参照）。

本実施形態では、通常読み出しモードの間隔（60frame/sec）で、最初の１フレーム（t00）を除いて、背景となる画像データを更新するために、撮像素子４では無条件で全画素読み出しを行う。そして、通常読み出しモードで読み出しが行われる時以外は高速読み出しモード（600frame/sec）で被写体の画像領域のデータを読み出すことになる（図５）。なお、t00では、撮像素子（外測撮像素子）１６から抽出された被写体の画像領域を撮像素子４（内測撮像素子）にリアルタイムに反映するために遅延が発生することから、撮像素子４を動作させず、従って表示される１フレームの画像データも存在しない。

従って、本実施形態では、図５に示すように被写体の検出情報である注目領域情報が更新される際には、通常読み出しモード60frame/secの間隔で１フレーム分の遅延が発生することとなる。

次に、撮像素子４の読み出しを制御する処理の流れを示す図３のフローチャートに従って、撮像装置の動作について説明する。ステップＳ１０１では、撮像装置が、電源投入を指示する情報を受け付ける。撮像装置は、電源投入を指示する情報に基づき、初期設定等の所定の動作を行う。すなわち光学系１は、被写体の光学像を撮像素子４に結像させる。

撮像素子４は、結像された光学像に応じた電荷を電気信号（アナログ信号）を受け取る。ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５は、電気信号（アナログ信号）に対してＣＤＳ処理を行い、ＣＤＳ処理後の信号をＡＧＣ動作により増幅し、アナログ信号をデジタルデータ（デジタル信号）である画像データに変換する。画像データ処理部６は画像データを受け取り、マイクロコンピュータ１４から受け取った制御信号に基づき、画像データを処理する。

ステップＳ１０２では、撮像装置が通常読み出しを開始する。すなわち、マイクロコンピュータ１４は、駆動回路１５を制御し、撮像素子４の通常読み出しを行う。ここで出力された電気信号（アナログ信号）は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５で、それぞれ所定の処理を施され、画像データとして画像データ処理部６に入力される。

ここでマイクロコンピュータ１４は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５の画像データの出力先をスイッチ１０を切り替えることで、画像データ記憶回路７に切り替える。出力された画像データ（フレーム画像データ）は、画像データ記憶回路７を通って、画像データ処理回路１１で所定の画像処理が施された後に、表示部１３で表示される。さらに記録回路１２で、取り外し可能な記録媒体に記録される。

ここで、本来であれば画像データ記憶回路７は、撮像素子４を全画素領域読み出しした際に、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５から得られた１フレームの画像データを記憶するが、このステップでは、この回路の機能は使用されない。

ステップＳ１０３では、高速読み出しモードが選択されたか否かを判定する。すなわち、マイクロコンピュータ１４は、通常／高速読み出しモードを切り替えるモードスイッチ２２から高速読み出しモードの開始信号を受け取ったかどうかを判定する。

高速読み出しモードが選択された場合、マイクロコンピュータ１４は注目領域情報記憶回路１９を接続し、処理をステップＳ１０４へ進める。高速読み出しモードの開始信号を受け取っていない場合は、処理をＳ１０２の通常読み出しに戻す。

ステップＳ１０４では、撮像素子（赤外撮像素子）１６が、被写体の注目領域の抽出を開始する（図４の上段の「撮像素子１６から得られる領域情報」参照）。すなわち、撮像素子１６の出力から抽出される被写体の注目領域を撮像素子４の該当駆動箇所の情報としてある被写体の注目領域へマッピングする。これにより、１６の領域に分割した画素領域に関連させ、注目領域情報として注目領域情報記憶回路１９に記憶される（図４の中段の「フレーム画像内の被写体の注目領域」参照）。先に述べたように、本実施形態では、撮像素子（外測撮像素子）１６は通常読み出しモード（この場合は60frame/sec）で動作させている。

ステップＳ１０５では、ステップＳ１０４で得られた注目領域情報を元に、撮像素子４を駆動させる。すなわち、背景となる画像データを生成するために、撮像素子４で全画素読み出しを行う場合（図４のt00、t10、t20、t30 ・・・）は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５の出力先を画像データ記憶回路７に切り替える。

また撮像素子４で部分読み出し（ランダムアクセス）を行う場合（図４のt1i、t2i、（1＜ i＜9）・・・）は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５の出力先を、スイッチ１０で注目領域画像データ記憶回路９に切り替える。

ステップＳ１０６では、ステップＳ１０５で出力された画像データを元に、表示部１３で表示可能なフレーム画像データとして生成する。すなわち、ステップＳ１０５で全画素読み出しが行われたとする。この場合（図４のt00、t10、t20、t30 ・・・）は、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５から出力された画像データは、既に１フレームの画像データであるので、画像データは、加工せずそのまま画像データ処理回路１１に入力される。

次に撮像素子４で部分読み出し（ランダムアクセス）が行われたとする。この場合（図４のt1i、t2i、（1 ＜ i＜9）・・・）には、ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換回路５から出力された画像データは、被写体の抽出された注目領域のみの画像データであり、１フレームの画像データを生成できない。そのため、１フレームの画像データを生成するため、画像データ記憶回路７に記憶された１フレームの画像データを画像データ合成回路８に入力する。

そして画像データ合成回路８で、先に述べた画像データ記憶回路７に記憶されたフレーム画像データを背景画像とし、注目領域画像データ記憶回路９に記憶された注目領域画像データを該当する個所にはめ込む合成を行い、１フレームの画像データを生成する。ここで合成された１フレームの画像データを画像データ処理回路１１に入力する。

ステップＳ１０７では、Ｓ１０６で生成されたフレームデータを表示部１３に表示する（図４の下段の「表示されるフレーム画像」参照）。すなわち、画像データ処理回路１１で所定の画像処理が施された１フレームの合成された画像データを表示部１３に出力する。

ステップＳ１０８では、マイクロコンピュータ１４が、通常／高速読み出しモード切り替えのモードスイッチ２２から高速読み出しモードの終了信号を受け取ったかどうかを判定する。ここで、高速読み出しモードの終了信号を受け取った場合、ステップＳ１０２に進み、通常読み出しモードに進む。

高速読み出しモードの終了信号を受け取らなかった場合、ステップＳ１０４に進み、被写体の注目領域の検出を行い、終了信号を受け取るまでＳ１０４乃至Ｓ１０８を繰り返す。順次更新される注目領域の画像データは、領域が狭く情報量が抑えられているので、画像の処理にかかる時間は短縮される。

以上説明した本発明の実施形態１によれば、撮像素子（外測撮像素子）による注目領域の認識から高速読み出し可能な撮像素子による処理能力の範囲内で、高空間解像度と高リアルタイム性の両立させた撮像装置を提供することができる。

＜実施形態２＞
次に、本発明の実施形態２に係る撮像装置の制御方法について、図６乃至図８を用いて説明を行う。図６は撮像装置が撮像素子４の読み出しを制御する処理の流れを示すフローチャートである。図７は撮像素子４の読み出しの遅延時間を示す概念図である。図８は被写体の注目領域情報を撮像素子４の読み出しに反映させるタイミングを示す概念図である。

なお、本発明の実施形態２に係る撮像装置の構成図は、図１及び図２の構成と同じでよく、したがって、その説明を割愛する。また以下、実施形態１と共通の構成に関しても、説明を割愛し、異なる部分を中心に説明する。

実施形態２の実施形態１との相違点は、背景となる画像データを生成するために「プレ撮影」を設け、あらかじめ背景となる画像データを用意しておく。これにより、撮像素子１６からの注目領域情報の更新を、通常読み出しモード（60frame/sec）の間隔でなく、高速読み出しモード（600frame/sec）の間隔で実行できるようにした点である。これにより、さらに高速追従性が高まり、高速読み出しの利点を活かすことが可能となる。

実施形態２について、図７及び図８を用いて説明する。基本的な動作は、図４及び図５で説明した実施形態１の動作と同様である。本実施形態２では、撮影動作は、後述する「プレ撮影」と「本撮影」に分かれている。図７の左側のＴの時系列に沿っているT0は「プレ撮影」に相当する。また右側のtの時系列に沿っている、t00、t10、t20、t30…は、「本撮影」となる。

本実施形態でも実施形態１と同様に、撮像素子４の通常読み出しモードの間隔（60frame/sec） で、背景となる画像データを更新するために、無条件で撮像素子４の全画素読み出しを行う。また実施形態１では、被写体の抽出情報である被写体の注目領域情報が更新される際には、１フレーム分の遅延が発生し、通常読み出しモード60frame/secの間隔となってしまっていた。

しかしながら本実施形態では、「プレ撮影」にてあらかじめ背景となる画像データを取得している。そのため、被写体の注目領域情報が更新されるときの遅延量が少ない（被写体の動作が検出されて、撮像素子４の駆動に必要となる注目領域情報が駆動回路１５に到達するまでの物理的な時間のみ）。

つまり被写体の動作が検出された場合、検出の次に行われる無条件の全画素領域読み出しのタイミングを待たずに、被写体の注目領域情報を更新することが可能である。すなわちt0i、t1i、t2i、t3i …のいずれにおいても、被写体の動作の検出が行われた場合、0 ＜ i＜ 9の間で被写体の注目領域情報の更新が可能である（図７参照）。

次に、図６に示す撮像装置が撮像素子４の読み出しを制御する処理の流れを示すフローチャートに従って、撮像装置の動作について説明する。詳細な処理に関しては、実施形態１と同様のためここでは割愛し、相違点だけを述べる。

ステップＳ２０１では、撮像装置が、電源投入を指示する情報を受け付ける。撮像装置は、電源投入を指示する情報に基づき、初期設定等の所定の動作を行う。

ステップＳ２０２では、撮像装置が撮像素子４の通常読み出しを開始する。先に述べた「プレ撮影」はこの段階で行われる。すなわち、ステップＳ２０３で撮像素子４で「プレ撮影」が実行されると、画像データ記憶回路７は、高速読み出しモードで必要となる背景の画像データ（図７のT0）を記憶する。

ステップＳ２０４では、モードスイッチ２２により、高速読み出しモードが選択されたか否かを判定する。高速読み出しモードが選択された場合、マイクロコンピュータ１４は画像データ記憶回路７及び被写体の注目領域情報記憶回路１９をそれぞれ接続し、処理をステップＳ２０５へ進める。高速読み出しモードの開始信号を受け取っていない場合は、処理をＳ２０２へ進める。

ステップＳ２０５では、撮像素子（赤外撮像素子）１６が、被写体の抽出する注目領域の抽出を開始する（図７の上段の「撮像素子から得られる被写体の領域情報」参照）。ここで撮像装置は「本撮影」を開始する。

ステップＳ２０６では、ステップＳ２０５で得られ、注目領域情報記憶回路１９に記憶された注目領域情報を元に、撮像素子４を駆動させる。

ステップＳ２０７では、Ｓ２０６で出力された画像データを元に、表示部１３で表示可能な１フレームの画像データを画像データ合成回路８での合成により、生成する。

ステップＳ２０８では、Ｓ２０７で生成された１フレームの画像データを表示部１３に出力し表示する（図４の下段の「表示されるフレーム画像」参照）。

ステップＳ２０９では、マイクロコンピュータ１４が、モードスイッチ２２から高速読み出しモードの終了信号を受け取ったかどうかを判定する。ここで、高速読み出しモードの終了信号を受け取った場合、ステップＳ２０２に進み、通常読み出しを行う。高速読み出しモードの終了信号を受け取らなかった場合、ステップＳ２０５に進み、被写体の注目領域の抽出を行い、終了信号を受け取るまでＳ２０５乃至Ｓ２０９を繰り返す。

第２実施形態によれば、第１実施形態と異なり、撮像素子１６からの注目領域情報の更新を、通常読み出しモード（60frame/sec）の間隔でなく、高速読み出しモード（600frame/sec）の間隔で実行している。また撮像素子１６を、たとえば通常読み出しモードの読み出し間隔よりも短く動作させれば、被写体の注目領域の抽出から撮像素子４の読み出しまでの遅延量はさらに減り、リアルタイムに近い速度での読み出しが可能となる。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行いこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明の実施形態１、２に係る撮像装置の構成図である。 本発明の実施形態１、２に係る撮像装置で使用するランダムアクセス可能な２次元撮像素子の概略構成図である。 本発明の実施形態１に係る撮像装置が撮像素子の読み出しを制御する処理の流れを示すフローチャートである。 本発明の実施形態１に係る撮像装置の撮像素子の読み出しの遅延時間を示す概念図である。 被写体検出情報を撮像素子の読み出しに反映させるタイミングを示す概念図である。 撮像装置が撮像素子の読み出しを制御する処理の流れを示すフローチャートである。 撮像素子の読み出しの遅延時間を示す概念図である。 被写体の注目領域情報を撮像素子の読み出しに反映させるタイミングを示す概念図である。

符号の説明

１ 光学系
２ レンズ群
３ ビームスプリッタ
４、１６ 撮像素子
５、１８ ＣＤＳ・ＡＧＣ・ＡＤ変換回路
６ 画像データ処理部
７ 画像データ記憶回路
８ 画像データ合成回路
９ 注目領域画像データ記憶回路
１０ スイッチ
１１ 画像データ処理回路
１２ 記録回路
１３ 表示部
１４ マイクロコンピュータ
１５、１７ 駆動回路
１９ 注目領域情報記憶回路
２０ 注目領域抽出回路
２１ 注目領域認識回路
２２ モードスイッチ

Claims (6)

1. 第１及び第２の撮像素子を備える撮像装置であって、
   前記第１および第２の撮像素子に光学像を結像させる光学系と、
   前記第２の撮像素子が出力する画像データから注目領域を抽出する注目領域抽出手段と、
   前記注目領域の位置に対応する注目領域情報を記憶する注目領域情報記憶手段と、
   前記第１の撮像素子の全画素領域を駆動して得られる画像データを記憶する第１の記憶手段と、
   前記注目領域情報記憶手段に記憶された前記注目領域情報の前記注目領域に対応する前記第１の撮像素子の画素領域のみを、前記第１の撮像素子の全画素領域を駆動するよりも高速に駆動して得られる画像データを記憶する第２の記憶手段と、
   前記第１の記憶手段に記憶した画像データと前記第２の記憶手段に記憶した画像データを合成して、合成された画像データを生成する合成手段と、を備えることを特徴とする撮像装置。
2. 前記合成手段は、前記第１の記憶手段が、前記第１の撮像素子の全画素領域を駆動して得られる次の画像データを記憶するまでの間に、前記第１の記憶手段に記憶された画像データと、前記第２の記憶手段に記憶された画像データを合成して前記合成された画像データを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の撮像素子は、ランダムアクセス可能な撮像素子であることを特徴とする請求項１又は２に記載の撮像装置。
4. 第１及び第２の撮像素子、及び前記第１および第２の撮像素子に光学像を結像させる光学系と、を備える撮像装置の撮像方法であって、
   前記第２の撮像素子が出力する画像データから注目領域を抽出する注目領域抽出工程と、
   前記注目領域の位置に対応する注目領域情報を記憶する注目領域情報記憶工程と、
   前記第１の撮像素子の全画素領域を駆動して得られる画像データを第１の記憶手段に記憶する第１の記憶工程と、
   前記注目領域情報記憶工程で記憶された前記注目領域情報の前記注目領域に対応する前記第１の撮像素子の画素領域のみを、前記第１の撮像素子の全画素領域を駆動するよりも高速に駆動して得られる画像データを第２の記憶手段に記憶する第２の記憶工程と、
   前記第１の記憶手段に記憶した画像データと前記第２の記憶手段に記憶した画像データを合成して合成された画像データを生成する合成工程と、を備えることを特徴とする撮像方法。
5. 請求項４に記載の撮像方法の各工程を、コンピュータに実行させるためのプログラム。
6. 請求項４に記載の撮像方法の各工程を、コンピュータに実行させるためのプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。

Images