JP2013236232A - 撮像装置、撮像装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】移動体の追尾を効率よく行う。
【解決手段】撮像装置であって、撮像素子の全画素範囲から読み出しを行う第１の撮像モードと、前記撮像素子の一部の画素範囲から読み出しを行う第２の撮像モードと、を有する撮像手段と、前記第１の撮像モードで撮像された画像から移動体を検出する検出手段と、前記移動体の移動速度を測定する測定手段と、前記移動体の前記移動速度に応じて、前記第２の撮像モードでの読み出し頻度を制御する制御手段と、を備える。
【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関する。

監視カメラシステムの分野では、映像解析技術を利用して映像中の被写体を検出する技術が知られている。さらに、検出された被写体のうち移動体に対してラベルを付加し、常に移動体を捉えるように認識する技術が移動体追尾技術として知られている。

特許文献１では、これらの技術を利用して、撮像画像から移動体を検出すると、移動体を含む特定エリアの画像データのみ全画面映像データから抜き出して外部に送出する技術が開示されている。

また近年の高画質化の進展により、デジタルカメラ、デジタルビデオカメラに搭載されている撮像素子にＣＭＯＳセンサが多く使用されるようになった。ＣＭＯＳセンサは、従前のＣＣＤセンサと比較して、自由な読み出し制御が可能である。例えば、読み出しの領域指定を行なうことにより、不要な部分を読み飛ばすことや、数画素おきに読み出し間隔を指定することにより、読み出す画素数は減るものの高速化を図ることができる。よって、これらの技術を利用すると、ＣＭＯＳセンサで数画素おきに間引いて読み出し、高速で撮像された映像から移動体を検出して、検出された移動体を追尾するように領域指定を行った上で読み出しすることにより、高精度な撮像が可能になる。

特開２００９−１４７４７９号公報

しかしながら、全画素範囲の間引き読み出しと、移動体の検出エリアの部分領域の読み出しとを、同時にあるいは時分割で行う場合、検出される移動体の数が多くなるにつれて、単位時間当たりに読み出される速度が遅くなってしまう。これにより、撮像画像を用いて移動体の追尾を行なう際に、追随性能が低下してしまう。

上記の課題に鑑み、本発明は、移動体の追尾を効率よく行う技術を提供することを目的とする。

上記の目的を達成する本発明に係る撮像装置は、
撮像素子の全画素範囲から読み出しを行う第１の撮像モードと、前記撮像素子の一部の画素範囲から読み出しを行う第２の撮像モードと、を有する撮像手段と、
前記第１の撮像モードで撮像された画像から移動体を検出する検出手段と、
前記移動体の移動速度を測定する測定手段と、
前記移動体の前記移動速度に応じて、前記第２の撮像モードでの読み出し頻度を制御する制御手段と、
を備えることを特徴とする。

本発明によれば、移動体の追尾を効率よく行う技術を提供することができる。

第１実施形態に係る撮像装置のブロック構成図。 第１実施形態に係る撮像センサの読み出し範囲を示した図。 第１実施形態に係る撮像装置の画面表示例を示した図。 第２実施形態に係る撮像装置のブロック構成図。

（第１実施形態）
図１は、第１実施形態に係る撮像装置１０を示したブロック構成図である。撮像装置１０は、撮像センサ部１０１と、現像処理部１０２と、撮像センサ制御部１０３と、移動体検出部１０４と、移動体速度測定部１０５と、描画表示処理部１０６とを備えている。また撮像装置１０は、ディスプレイ装置２０１およびディスプレイ装置２０２と接続されている。

撮像センサ部１０１は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子により構成されており、撮像素子の全画素範囲から読み出しを行う第１の撮像モード（全画素読み出しモード）と、撮像素子の一部の画素範囲から読み出しを行う第２の撮像モード（一部読み出しモード）と、を有する。現像処理部１０２は、撮像センサ部１０１により光電変換されて得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、ＲＧＢあるいはＹＵＶなどのデジタル画像を生成する。また、現像処理部１０２は、現像を施した後のデジタル画像を用いて所定の演算処理を行い、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行う。撮像センサ制御部１０３は、移動体検出部１０４および移動体速度測定部１０５から取得した検出情報および測定情報に基づいて、全画素範囲に対する数画素おきの間引き読み出し制御、領域を指定した部分読み出し制御、読み出し頻度制御などを撮像センサ部１０１に対して行う。なお、読み出し画素範囲や読み出し頻度は必ずしも同時に設定する必要はない。移動体の移動速度の大きさに応じて読み出し頻度のみを優先的に制御する構成であってもよい。

移動体検出部１０４は、現像処理部１０２により現像処理、画像処理を施されたデジタル画像に対して、撮影された被写体のうち移動体の検出を行う。移動体検出方法としては、背景差分、フレーム間差分、動きベクトルなど、どのような方法を用いてもよい。さらに、この移動体の一部をテンプレートとして記憶して移動体の追尾をも行なうことができるものとする。移動体速度測定部１０５は、移動体検出部１０４により検出されて追尾された移動体に対して、画像フレーム間の移動量を算出することによって、移動体の速度を測定する。描画表示処理部１０６は、撮像センサ部１０１により撮像されて、現像処理部１０２により現像処理、画像処理を施されたデジタル画像に対して、ウィンドウ枠や、様々なグラフィック表示を重畳させた画面を作成し、画面上の配置などの適切な処理を行なう。

ディスプレイ装置２０１、ディスプレイ装置２０２は、それぞれ描画表示処理部１０６により作成された画面を表示させる。２つのディスプレイ装置のうち１つは、撮像センサ部１０１の全画素範囲の間引き読み出しにより撮像された映像を表示する。もう１つは、撮像センサ制御部１０３の制御により部分領域に対して読み出されて撮像された映像を表示する。全画素範囲の間引き読み出しにより得られた画像、あるいは部分領域に対する読み出しにより得られた画像を、２つのディスプレイ装置の何れに表示してもよい。ただし、以降の説明では便宜上、ディスプレイ装置２０１が、撮像センサ制御部１０３による制御により部分領域に対して読み出されて撮像された映像の画面表示を行なうものとする。そして、ディスプレイ装置２０２が、撮像センサ制御部１０３による制御により全画素範囲で読み出されて撮像された映像の画面表示を行なうものとする。

移動体検出部１０４が起動される前、あるいは移動体検出部１０４により被写体のうち移動体が検出されていない状態を通常状態とする。この通常状態では、撮像センサ制御部１０３は、撮像センサ部１０１に対して全画素範囲で読み出しを行うように制御する。この通常状態では、移動体が検出されていないため、撮像して現像処理部１０２で現像処理、画像処理を行う画像データ量として、処理する速度に余裕があれば、全画素範囲の間引きなしで読み出しを行ってもよい。しかしながら、一定程度処理速度を向上したい場合には、数画素おきに全画素範囲で間引き読み出しを行うようにする。この時、撮像センサ部１０１により撮像され、現像処理部１０２により現像処理、画像処理を施されたデジタル画像データは、移動体検出部１０４へ出力される。この撮像された映像の被写体の中に移動体が検出されていなければ、移動体検出部１０４、移動体速度測定部１０５、描画表示処理部１０７を介して、そのままディスプレイ装置２０２に映像が表示される。

次に、撮像センサ部１０１により撮像された被写体の中に移動体が検出された時の状態を説明する。通常状態において、撮像センサ部１０１により全画素範囲で読み出しがなされて撮像されているときに、現像処理部１０２から移動体検出部１０４に入力された映像の被写体の中に移動体が検出されたとする。被写体の中に移動体が検出されると、移動体検出部１０４は、当該移動体に識別子となるＩＤを付加して移動体の追尾を行い、当該ＩＤとともに位置情報を含んだ検出情報の通知を、全画素範囲で読み出し撮像された画像データとともに移動体速度測定部１０５へ出力する。

撮像センサ部１０１が全画素範囲で間引きなしの読み出しを行っていた場合、移動体検出部１０４は、移動体を検出した検出情報を撮像センサ制御部１０３へ通知し、撮像センサ制御部１０３は、撮像センサ部１０１に対して全画素範囲で数画素おきの間引き読み出しを行うように制御する。移動体速度測定部１０５は、移動体の位置情報およびＩＤを含む検出情報とともに入力された画像データに基づいて、移動体ＩＤごとに、画像フレーム間での移動体の移動量を移動体速度情報として測定する。そして、移動体速度測定部１０５は、測定した移動体速度情報を、移動体検出部１０４から入力された検出情報および画像データとともに、撮像センサ制御部１０３および描画表示処理部１０７へ出力する。

移動体ＩＤごとの検出情報および移動体速度情報が入力された撮像センサ制御部１０３は、これらの情報に基づいて、ターゲットとなる移動体ＩＤごとに撮像センサ部１０１により第２の撮像モード（一部読み出しモード）で読み出しを行う読み出し画素範囲や、読み出し頻度を設定する。

図２は、撮像センサ部１０１が読み出す部分領域を表した例を示す。例えば、撮像センサ部１０１により、全画素範囲で読み出し撮像された被写体のうち、車、動物、人が移動体として検出されたとする。この場合、車である最も移動速度が速いと考えられる移動体３０１について読み出す範囲を最も広く、読み出す頻度を最も高く設定し、動物である移動体３１１、人である移動体３２１に移るにつれて、順にそれぞれ読み出し範囲を狭く、頻度を低く設定する。

このとき、撮像センサ部１０１から現像処理部１０２へ出力される全画像データの転送容量から数画素おきに全画素範囲を間引いて読み出す画像データ容量を差し引いた転送容量が、各移動体に対する部分読み出しに使用される画像データの転送容量に割り当てられる。この画像データの転送容量の上限値の範囲内で、各移動体の移動速度に従って比例配分して、撮像センサ部１０１からの読み出し画素範囲や、読み出し頻度を設定する。この時、特に重要である移動体であれば、読み出し範囲、読み出し頻度（読み出し方法）を優先的に設定することも可能である。そして、撮像センサ制御部１０３は、設定された読み出し方法に従って、撮像センサ部１０１を制御する。

撮像センサ部１０１は、それぞれ設定された読み出し方法で、全画素範囲で間引いて読み出す画像データと、各移動体に対する部分領域を読み出す画像データとを、現像処理部１０２へ出力する。画像データを現像処理部１０２へ出力する方法としては、それ相応のプロセッサがあれば、同時並列処理でも時分割処理でも構わない。現像処理部１０２に入力された各々の画像データは、同様に現像処理、画像処理は施されて、映像として描画表示処理部１０６へ出力される。描画表示処理部１０６は、入力された映像のうち、各移動体に対する部分領域を読み出す映像は、ディスプレイ装置２０１に移動体ごとにウィンドウ表示させ、全画素範囲で間引いて読み出す映像は、各移動体に検出枠を重畳させてディスプレイ装置２０２に表示させる。

図３は、ディスプレイ装置２０１、ディスプレイ装置２０２に表示される画面の例を示す。ディスプレイ装置２０１には、各移動体に対する部分領域が、ウィンドウ移動体ごとにウィンドウ表示されている。具体的には、人である移動体３２１に対応するウィンドウ３２２、動物である移動体３１１に対応するウィンドウ３１２、および車である移動体３０１に対応するウィンドウ３０２がそれぞれ表示されている。また、ディスプレイ装置２０２には、全画素範囲で間引いて読み出す映像が表示されており、各移動体に検出枠が重畳されている。その際、移動速度の速い車、動物、人の順に、ウィンドウ表示や検出枠の太さを変えてもよい。例えば、速いもの程太くしてもよい。

以上説明したように、本実施形態によれば、撮像センサから全画素範囲の読み出しを行い、撮像された被写体から移動体が複数検出されたとき、移動体の移動速度の速さに応じて、移動体の検出領域を読み出す頻度や、移動体の検出領域に対する撮像センサの部分読み出し範囲を変化させて撮像を行うようにする。これにより、撮像センサの部分領域の読み出し撮像による移動体の追尾を効率よく行うことができる。

（第２実施形態）
図４は、第２実施形態に係る撮像装置４０を示したブロック構成図である。撮像装置４０は、全画素読み出し撮像センサ部４０１と、部分読み出し撮像センサ部４０２と、全画素現像処理部４０３と、部分画素現像処理部４０４と、撮像センサ制御部１０３と、移動体検出部１０４と、移動体速度測定部１０５と、描画表示処理部１０６とを備えている。撮像装置４０は、ディスプレイ装置２０１およびディスプレイ装置２０２と接続されている。

全画素読み出し撮像センサ部４０１は、全画素範囲を撮像するための撮像センサ部であり、全画素範囲で読み出しを行なうことに特化したセンサ部である。部分読み出し撮像センサ部４０２は、全画素読み出し撮像センサ部４０１により撮像された全画素範囲の映像から移動体が検出されたときに、各移動体に対して、撮像センサ制御部１０３により設定された読み出し範囲、頻度に従って、撮像を行なうことに特化したセンサ部である。

全画素現像処理部４０３は、全画素読み出し撮像センサ部４０１により撮像された画像データに、現像処理、画像処理を施す。部分画素現像処理部４０４は、部分読み出し撮像センサ部４０２により撮像された画像データに、現像処理、画像処理を施す。撮像センサ制御部１０３乃至描画表示処理部１０６、ディスプレイ装置２０１およびディスプレイ装置２０２の構成は第１実施形態と同様であるため、説明を省略する。

以上説明したように、第１実施形態で説明した撮像センサ部１０１を、全画素読み出し撮像センサ部４０１および部分読み出し撮像センサ部４０２に分けて構成し、現像処理部１０２を、全画素現像処理部４０３および部分画素現像処理部４０４に分けて構成してもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像素子の全画素範囲から読み出しを行う第１の撮像モードと、前記撮像素子の一部の画素範囲から読み出しを行う第２の撮像モードと、を有する撮像手段と、
   前記第１の撮像モードで撮像された画像から移動体を検出する検出手段と、
   前記移動体の移動速度を測定する測定手段と、
   前記移動体の前記移動速度に応じて、前記第２の撮像モードでの読み出し頻度を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記検出手段により複数の移動体が検出された場合、前記測定手段により測定された複数の移動体の移動速度が大きい順に、当該移動体のそれぞれに対する前記第２の撮像モードでの読み出し頻度を高く設定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記検出手段により複数の移動体が検出された場合、前記測定手段により測定された複数の移動体の移動速度が大きい順に、当該移動体のそれぞれに対する前記第２の撮像モードでの読み出し頻度を、所定の上限値の範囲で比例配分して設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記移動体の前記移動速度に応じて、前記第２の撮像モードでの読み出し画素範囲をさらに制御することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記制御手段は、前記検出手段により複数の移動体が検出された場合、前記測定手段により測定された複数の移動体の移動速度が大きい順に、前記第２の撮像モードでの読み出し画素範囲を、当該移動体を含めて広く設定することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記検出手段により複数の移動体が検出された場合、前記測定手段により測定された複数の移動体の移動速度が大きい順に、前記第２の撮像モードでの読み出し画素範囲を、所定の上限値の範囲内で比例配分して設定することを特徴とする請求項４または５に記載の撮像装置。
7. 撮像手段と、検出手段と、測定手段と、制御手段とを備える撮像装置の制御方法であって、
   前記撮像手段が、撮像素子の全画素範囲から読み出しを行う第１の撮像モードと、前記撮像素子の一部の画素範囲から読み出しを行う第２の撮像モードと、を有する撮像工程と、
   前記検出手段が、前記第１の撮像モードで撮像された画像から移動体を検出する検出工程と、
   前記測定手段が、前記移動体の移動速度を測定する測定工程と、
   前記制御手段が、前記移動体の前記移動速度に応じて、前記第２の撮像モードでの読み出し頻度を制御する制御工程と、
   を有することを特徴とする撮像装置の制御方法。
8. 請求項７に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images