JP2022158305A - 撮像装置、その制御方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】 良好な流し撮り画像を撮像する。【解決手段】 撮像装置１００は、撮像部１０１と算出部１０２と動体検出１０３と領域決定部１０４と制御部１０５とを有する。撮像部１０１は動体の像を撮像して画像を生成し、生成された複数枚の画像に基づいて、画像の動き情報を算出部１０２が算出する。動体検出部１０３は、算出された動き情報に基づいて、画像上の動体の領域を検出し、検出された動体の領域に対応する撮像部１０１の撮像領域を領域決定部１０４が決定する。制御部１０５は、決定された撮像領域とそれ以外の領域とで露光時間が異ならせるように撮像部１０１による撮像の露光時間を制御する。【選択図】 図１

Description

本発明は、撮像装置、その制御方法、プログラムおよび記憶媒体に関する。

従来、流し撮りにおけるカメラの露光時間やゲインなどの撮像条件を制御する技術が知られている（特許文献１）。

特開２００９－６５５７３

本発明が解決しようとする課題は、良好な流し撮り画像を撮像することである。

上記課題を解決するために、本発明の一態様に係る撮像装置は、動体の像を撮像し、画像を生成する撮像部と、前記撮像部が生成した複数の画像に基づいて、前記画像に関する動き情報を算出する算出部と、前記取得部が取得した前記動き情報に基づき、前記撮像部の撮像領域から前記動体に対応する第１の領域を決定する領域決定部と、前記領域決定部が決定した前記第１の領域と前記第１の領域を除く前記撮像領域である第２の領域とで異なる露光時間となるように前記撮像部による撮像の露光時間を制御する制御部とを有することを特徴とする撮像装置。

本発明によれば、良好な流し撮り画像を撮像することができる。

本発明の実施形態１に係る撮像装置の構成例を示すブロック図。 本発明の実施形態１に係る撮像装置の制御方法を示すフローチャート。 本発明の実施形態１に係る撮像画像および動きベクトルを示す図。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
本実施形態では、現撮像時と次撮像時における、動きベクトルの向きと量の変化に基づき、流し撮りの対象となる主要な被写体（鳥、車、電車など）を検出する。そして、主要な被写体の撮像領域における露光時間よりも背景の撮像領域における露光時間が長くなるように各領域の露光時間を設定する。

（機能構成）
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。

図１に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

図１において、撮像装置１００は、撮像部１０１、算出部１０２、動体検出部１０３、領域決定部１０４、制御部１０５、移動検出部１０６、システム制御部１０７を備える。撮像部１０１はレンズ群１０１ａ、撮像素子１０１ｂ、増幅器１０１ｃおよび画像処理部１０１ｄを備える。

撮像部１０１は、被写体からの光に基づいて撮像を行う。レンズ群１０１ａは、被写体からの光を撮像素子１０１ｂの受光面に集光する。図１では、１枚のレンズのみ示しているが、複数のレンズを備えてもよく、例えば、ズームレンズ、フォーカスレンズおよびぶれ補正レンズなどが含まれていてもよい。撮像素子１０１ｂは、被写体からの光を画素ごとに電気信号に変換して出力する。撮像素子１０１ｂは、画像を複数の領域に分割した分割領域毎に露光時間を変更可能である。分割領域は、１以上の画素で構成することができる。撮像素子１０１ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの半導体素子および周辺回路である。増幅器１０１ｃは、撮像素子１０１ｂから出力された電気信号を増幅して撮像信号を出力する。増幅器１０１ｃの増幅率は前述した分割領域毎に調整することができる。画像処理部１０１ｄは、増幅器１０１ｃからの撮像信号を受け、不図示の映像処理部で現像処理等の画像処理を行い、撮像画像を生成する。例えば、画像処理部１０１ｄは、増幅器１０１ｃからの撮像信号をＡ／Ｄ変換してデジタルデータに変換した後、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを含む信号処理を行ってデジタル画像を生成する。また、画像処理部１０１ｄは前述した分割領域それぞれに対応する画像領域に対して個別にそのデジタル値を増幅させることによって明るさ補正を行う。生成されたデジタル画像はＳＲＡＭやＤＲＡＭといった揮発性メモリ、フラッシュメモリといった不揮発性メモリに一時的に保存される。この際、画像処理部１０１ｄは、例えばＪＰＥＧやＨ．２６４、Ｈ．２６５等の所定のフォーマットの画像ファイル、または動画ファイルをメモリへ出力する。

算出部１０２は、撮像部１０１によって撮像、生成され、メモリに一時的に保存された複数枚のデジタル画像を参照する。これらの画像情報を基に、画像の動き情報として、動きベクトルを算出する。算出部１０２は、少なくとも前述した分割領域に対応する画像領域の動きベクトルを算出する。換言すれば、動きベクトルが算出される画像領域の最小単位は撮像素子の分割領域のサイズに対応する。算出部１０２は、参照した複数枚の画像データを基に、各領域に対してブロックマッチング法などの既知の方法を用いて領域毎の動きベクトルの方向と量とを算出する。算出部１０２が算出した領域毎の動きベクトルの情報は、前述したメモリに保存される。

動体検出部１０３は算出部１０２が算出し、メモリに保存された領域毎の動きベクトルの向きおよび量に関する情報と後述する移動検出部１０６から出力される撮像装置１００の移動情報を基に、流し撮りの対象となる動体を検出する。ここでは、画像上の動体の画像領域を検出する。動体の具体的な検出方法は本実施形態に係る撮像装置の制御方法の説明で後述する。

領域決定部１０４は後述する制御部１０５が撮像部１０２による撮像の露光時間を制御する領域を決定する。具体的には、動体検出部１０３によって検出された主要な被写体の画像領域に基づいて、主要な被写体（即ち動体）撮像素子１０２ｂの撮像領域と背景となる主要な被写体以外の画像領域に対応する撮像領域とを決定する。決定した撮像領域の情報はメモリに一時的に保存される。

制御部１０５は領域決定部によって決定された撮像領域それぞれに対して露光時間やゲイン等撮像条件を制御する。各撮像領域に対する具体的な露光時間の制御方法については本実施形態に係る撮像装置の制御方法の説明で後述する。

移動検出部１０６は、ジャイロセンサをはじめとする加速度センサや角速度検出センサを持ち、撮像部１００が移動する方向や速度を検出する。

システム制御部１０７は、ＣＰＵおよびメモリを含み、撮像装置１００の各構成要素を統括的に制御し、各種パラメータの設定を行う。このとき、システム制御部１０７は、撮像部１０１、算出部１０２、動体検出部１０３、領域決定部１０４、制御部１０５および移動検出部１０６が協調して動作するように統括的に制御する。

（動作説明）
図２は、本実施形態に係る撮像装置の制御方法の一例を示すフローチャートである。なお、いかに示す図２のフローチャートの説明においては、図１に示す撮像装置を示す図と、図３の撮像画像の一例を用いて説明する。

ステップＳ２００において、システム制御部１０７は移動検出部１０６から撮像装置１００の移動情報を取得する。移動情報とは、撮像装置１００が移動する方向と速さに関する情報を指す。

ステップＳ２０１において、撮像部１０１が撮像した複数枚の画像から算出部１０２は領域毎の動きベクトルを算出する。算出部１０２が算出する評価領域は、図３（Ａ）の画像の外枠３００内の格子上の領域３０１とする。動きベクトルは、複数枚の画像間の動き情報をベクトルの向きと量で表現する。

ステップＳ２０２において、システム制御部１０７はステップＳ２００で取得した移動情報とステップＳ２０１で算出した領域毎の動きベクトルとをそれぞれ比較する。具体的には、撮像装置１００の移動する方向と動きベクトルの向きを比較し、撮像装置の速さと動きベクトルの量を比較する。

ステップＳ２０３において、動体検出部１０３はステップＳ２０２の比較結果に基づいて、撮像装置１００の移動情報と動きベクトルとが異なる領域が存在するか否かを判定し、被写体が存在する領域を検出する。撮像装置１００の移動情報と動きベクトルとが異なる領域が存在しない場合について説明する。流し撮りの対象となる主要な被写体が撮像装置１００の画角に存在しない場合、全領域において撮像装置１００の移動情報と動きベクトルとが一致する。従って、Ｓ２０３における判定はＮоとなり、ステップＳ２００へと遷移する。次に、撮像装置１００の移動情報と移動ベクトルとが異なる領域が存在する場合について説明する。図３（Ｂ）のように、流し撮りの対象となる主要な被写体が撮像装置１００の画角に存在する場合、被写体の領域における動きベクトルが被写体以外の領域における動きベクトルと異なり、撮像装置１００の移動情報と被写体の領域における動きベクトルとが異なる。従って、Ｓ２０３における判定はＹｅｓとなり、動体検出部１０３は被写体領域３０２を検出する。なお、本実施形態では撮像値１００の移動情報と領域毎の動きベクトルとの比較結果に基づいて被写体が存在する領域を検出しているが、その限りではない。例えば、領域毎の動きベクトルのみに基づいて被写体が存在する領域を検出しても良い。具体的には、領域毎の動きベクトルを示すマップを作成する方法がある。作成したマップから画像上を占める割合が最少の動きベクトルを見つけることによっても被写体の検出は可能である。

ステップＳ２０４において、領域決定部１０４はステップＳ２０３で動体検出部１０３が検出した被写体領域３０２に対応する、撮像素子１０１ｂの撮像領域を決定する。

ステップＳ２０５において、制御部１０５はステップＳ２０４で決定した被写体領域３０２に対応する撮像領域とそれ以外の撮像領域とで異なる露光時間となるように撮像部１０１による撮像の露光時間を制御する。具体的には、被写体領域３０２に対応する撮像領域の露光時間をそれ以外の撮像領域の露光時間よりも短くなるように制御する。また、制御部１０５は、被写体領域３０２に対応する撮像領域の露光時間とそれ以外の撮像領域の露光時間との差に応じて、被写体領域３０２に対応する撮像領域のゲインとそれ以外の撮像領域のゲインとを異ならせる制御を行ってもよい。これにより、画面全体の輝度をそろえることができる。また、被写体領域３０２に対応する撮像領域とそれ以外の撮像領域とは、夫々第１の領域と第２の領域である。

ここで、被写体領域３０２に対応する撮像領域とそれ以外の撮像領域とで同じ露光時間となるように制御する場合を考える。この場合、露光時間は全ての領域で同じとなってしまうため、背景の露光時間に合わせると流し撮りの対象となる主要な被写体がブレてしまう。また、主要な被写体に露光時間を合わせると、背景のブレが低減されてしまう。従って、良好な流し撮り画像を撮像できない可能性が高くなる。

一方、本実施形態では被写体領域３０２に対応する撮像領域の露光時間がそれ以外の領域よりも短くなるように制御するため、流し撮りの対象となる主要な被写体の被写体ブレの発生を低減でき、かつ背景をブレさせることができる。従って、良好な流し撮り画像を撮像することができる。なお、被写体領域３０２に対応する撮像領域の露光時間とそれ以外の撮像領域の露光時間とはステップＳ２０２の動きベクトルの情報に基づいて制御してもよい。具体的には、被写体領域３０２とそれ以外の領域との移動ベクトルの差に基づき、夫々に対応する撮像領域のうち、一方または両方の露光時間を制御する。これにより、それぞれの移動ベクトルに鑑みて、適切な露光時間の差をつけることができ、より良好な流し撮り画像の撮像を撮像できる。

また、監視カメラのようなパンニングやチルトが可能な撮像装置の場合、パンニング、チルトの動作情報がネットワークを介してクライアントから入力される。この場合、領域毎の動きベクトルとクライアントからの動作情報とを比較することによっても被写体の検出は可能である。追尾機能などによって撮像装置１００内でパンニング、チルトの動作が決定される場合も同様である。これにより、移動検出部による撮像装置１００の出力を待つことなく被写体の検出が行えるため、より遅延の少ない露光制御が可能になる。

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 撮像部
１０１ａ レンズ群
１０１ｂ 撮像素子
１０１ｃ 増幅器
１０１ｄ 画像処理部
１０２ 算出部
１０３ 動体検出部
１０４ 領域決定部
１０５ 制御部
１０６ 移動検出部
１０７ システム制御部

Claims (14)

1. 動体の像を撮像し、画像を生成する撮像部と、
   前記撮像部が生成した複数の画像に基づいて、前記画像の動き情報を算出する算出部と、
   前記算出部が算出した前記動き情報に基づき、前記撮像部の撮像領域から前記動体に対応する第１の領域を決定する領域決定部と、
   前記領域決定部が決定した前記第１の領域と前記第１の領域を除く前記撮像領域である第２の領域とで異なる露光時間となるように前記撮像部による撮像の露光時間を制御する制御部と、
   を有することを特徴とする撮像装置。
2. 前記制御部は、前記第２の領域における露光時間よりも前記第１の領域における露光時間が短くなるように前記撮像部による露光時間を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記第１の領域に関する動き情報と前記第２の領域に関する動き情報との差に基づいて、前記第１の領域と前記第２の領域とのうち、一方または両方の露光時間を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御部は、前記制御部が制御した前記第１の領域における露光時間と前記制御部が制御した前記第２の領域における露光時間とに基づいて、前記第１の領域と前記第２の領域とにおける前記撮像部のゲインを制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像装置の移動情報を検出する移動検出部と、
   前記移動検出部が検出した移動情報と前記算出部が算出した前記動き情報とに基づいて、前記画像における前記動体の領域を検出する動体検出部とをさらに有し、
   前記領域決定部は、前記動体検出部が検出した前記動体の領域に基づいて前記第１の領域を決定することを特徴とする請求項１に記載の撮像装置。
6. 前記動き情報は、前記複数の画像間の変化の向きを示す第１の動き情報と前記複数の画像の間の変化の量を示す第２の動き情報とを含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 動体の像を撮像し、画像を生成する撮像ステップと、
   前記撮像部が生成した複数の画像に基づいて、前記画像の動き情報を算出する算出ステップと、
   前記算出部が算出した前記動き情報に基づき、前記撮像部の撮像領域から前記動体に対応する第１の領域を決定する領域決定ステップと、
   前記領域決定部が決定した前記第１の領域と前記第１の領域を除く前記撮像領域である第２の領域とで異なる露光時間となるように前記撮像部による撮像の露光時間を制御する制御ステップと、
   を有することを特徴とする撮像装置の制御方法。
8. 前記制御ステップでは、前記第２の領域における露光時間よりも前記第１の領域における露光時間が短くなるように前記撮像部による露光時間を制御することを特徴とする請求項７に記載の撮像装置の制御方法。
9. 前記制御ステップでは、前記第１の領域に関する動き情報と前記第２の領域に関する動き情報との差に基づいて、前記第１の領域と前記第２の領域とのうち、一方または両方の露光時間を制御することを特徴とする請求項７または８に記載の撮像装置の制御方法。
10. 前記制御ステップでは、前記制御ステップで制御した前記第１の領域における露光時間と前記制御ステップが制御した前記第２の領域における露光時間とに基づいて、前記第１の領域と前記第２の領域とにおける前記撮像ステップでのゲインを制御することを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置の制御方法。
11. 前記撮像装置の移動情報を検出する移動検出ステップと、
    前記移動検出ステップで検出した移動情報と前記算出ステップで算出した前記動き情報とに基づいて、前記画像における前記動体の領域を検出する動体検出ステップとをさらに有し、
    前記領域決定ステップでは、前記動体検出ステップで検出した前記動体の領域に基づいて前記第１の領域を決定することを特徴とする請求項７に記載の撮像装置の制御方法。
12. 前記動き情報は、前記複数の画像間の変化の向きを示す第１の動き情報と前記複数の画像の間の変化の量を示す第２の動き情報とを含むことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置の制御方法。
13. 請求項７乃至１２のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
14. 請求項７乃至１２のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
    

Images