JP2010021897A

JP2010021897A - 撮像装置

Info

Publication number: JP2010021897A
Application number: JP2008181992A
Authority: JP
Inventors: Ryoji Ogino; 亮司荻野
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-07-11
Filing date: 2008-07-11
Publication date: 2010-01-28
Anticipated expiration: 2028-07-11
Also published as: JP5011226B2

Abstract

【課題】動体の動きが大きい場合にも、動体を視認しやすい画像を提供することができる撮像装置を提供する。
【解決手段】撮像装置１０００は、被写体を撮像して画像信号を生成する撮像素子１０２と、画像信号の時間的変化に基づいて被写体中の動体をフレーム毎に検出し、この動体の位置および大きさを示す動体情報を出力する動体検出部１０４と、動体の位置および大きさのフレーム間での変化量を調整する調整処理を動体情報に対して行い、調整処理が行われた動体情報を補正動体情報として出力する検出結果フィルタ部１０７と、画像信号に対して、補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正する明るさ補正処理部１０８とを備えている。
【選択図】図１

Description

本発明は、撮像した被写体中の動体を検出し、動体の動きに対応した画像処理を行う撮像装置に関する。

カメラの撮像画像の明るさをＣＰＵ（Central Processing Unit）で調整する一般的な技術として、撮像画像中の照度を計測する領域を予め指定して、指定領域の照度に基づいて、ゲインの調整やレンズの光量の調整を行うものが知られている。

近年では、ＣＰＵの高度化も手伝って、撮像された被写体画像を解析することにより利用者が所望する領域を推定して、推定された領域を中心に露出を調整するカメラも登場してきている。このようなカメラはインテリジェントカメラと呼ばれている。具体的な例として、静止画像を撮影するカメラでは、静止撮像画像の中から顔を検出し、顔の領域に露出を合わせるものが知られている。これにより、顔を適切な明るさで撮影することができる。

また、動画像を撮影するカメラでは、暗がりなどにいる不審者を撮影するための監視用カメラとして、動き検出部で現画像の動きの量を検出し、検出結果のうちで最も動きの大きい領域の照度が一定範囲より大きい場合に、当該領域の照度が一定範囲内に収まるように補正するものが知られている（例えば特許文献１参照）。これにより、撮像画像中に不審者などの動体が現れた際に、この動体を適切な明るさで撮影することができる。
特開２００１−２１６５８３号公報

しかしながら、特許文献１などの従来の動き検出処理の技術は、動体の誤検出が発生したり、検出された動体の位置および大きさにブレが生じたり、動体の動きが早く移動量が大きい場合や動体が急に動き出す場合に動体を適切に検出できないことがあった。これにより、撮像対象である被写体のシーンによっては、動体の動きがフレーム間で連続せず、動体の動きに連続性がなくなり、ばらつきが生じる場合があった。

また、このような動体検出処理の結果に基づいて、画像信号の明るさを補正しても、動体の動きの検出結果のばらつきが画像信号の明るさの補正結果にそのまま表れてしまい、画像にチラつきが生じる等、動体の動きが不鮮明な画像になってしまうという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、動体の動きが大きい場合にも、動体を視認しやすい画像を提供することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体を撮像して画像信号を生成する撮像素子と、前記画像信号に基づいて、前記被写体中の動体をフレーム毎に検出し、この動体の位置および大きさを示す動体情報を出力する動体検出部と、前記動体の位置および大きさのフレーム間での変化量を調整する処理を前記動体情報に対して行い、前記調整処理が行われた動体情報を補正動体情報として出力するフィルタ部と、前記画像信号に対して、前記補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正する処理を行う明るさ補正部とを備えた構成を有している。

この構成により、調整処理によって求めた補正動体情報にて示される動体の位置および大きさがフレーム間で大幅に変化することを抑えることができる。特に、動体が急に動き出す場合や動体の動きが急に早くなる場合など、動体の動きの変化が大きい場合において、動体の位置および大きさがフレーム間で大きく変化するのを緩やかにして、動体の動きの変化を小さくすることができる。明るさ補正部は、補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正するので、動体の動きが大きい場合にも、動体を視認しやすい画像を提供することができる。

また、本発明に係る撮像装置において、前記明るさ補正部は、前記補正動体情報によって示される動体の位置および大きさに基づいて、前記補正動体領域の明るさのレベルを補正する処理を行う構成を有している。この構成により、調整された補正動体情報に基づいて明るさのレベルを補正するので、動体を明るくしつつ、画像がチラつく現象を抑制できる。

また、本発明に係る撮像装置において、前記フィルタ部は、前記複数フレームのうち、連続する２つのフレームにおける動体の位置および大きさの間にある値を前記補正動体情報として求める構成を有している。これにより、簡単な方法で、動体の位置および大きさがフレーム間で大きく変化することを抑える調整処理を動体情報に対して行うことができる。

また、本発明に係る撮像装置において、前記フィルタ部は、前記複数フレームのうち、連続する２つのフレーム中の前フレームの補正動体情報と次のフレームにおける動体の位置および大きさの間にある値を新たに前記補正動体情報として求める構成を有している。これにより、簡単な方法で、動体の位置および大きさがフレーム間で大きく変化することを抑える調整処理を動体情報に対して行うことができる。

また、本発明に係る撮像装置において、前記フィルタ部は、前記連続する２つのフレームにおける動体の位置および大きさに重み付けをした後に前記補正動体情報を求める構成を有している。これにより、動体情報に対する調整処理において、フレーム間で調整の度合いを調整することができる。

また、本発明に係る撮像装置において、前記フィルタ部は、前記動体が初めて出現してからのフレーム数に応じて、前記調整処理を前記動体情報に対して行う構成を有している。これにより、明るさ補正部による補正処理において、補正動体領域が明るさの補正対象として徐々に有効になるようにすることができ、動体を検出した直後に動体の明るさが急激に変化するのを抑制できる。

また、本発明に係る撮像装置において、前記明るさ補正部は、前記画像信号に対して、前記補正動体領域の周縁部の明るさを補正する処理を行う構成を有している。このように補正動体領域の周縁部を明るくすることにより、動体の動きがより鮮明な画像を得ることができる。

また、本発明に係る撮像装置において、前記明るさ補正部は、前記補正動体領域を前記動体が初めて出現してからのフレーム数に応じた明るさのレベルに補正する構成を有している。これにより、補正動体領域の明るさのレベルが徐々に変化するので、動体を検出した直後に動体の明るさが急激に変化するのを抑制できる。

また、本発明に係る撮像装置は、前記動体情報に基づいて、所定数のフレームに亘って連続して含まれる動体を追跡する動体追跡部を備え、前記フィルタ部は、前記動体追跡部による追跡対象の動体に対して、前記調整処理を行う構成を有している。この構成により、前後のフレームにて連続しない単発的な動体情報をノイズとして除去し、被写体中の動体を的確に追跡することができる。また、フィルタ部にて、動体追跡部による追跡対象の動体に対して調整処理を行うので、追跡対象の動体の動きに注目した補正動体情報を得ることができる。

また、本発明に係る撮像装置は、前記撮像素子に入射する前記被写体の光の入射量を調整するための絞りを備え、前記絞りを用いて前記被写体の光の入射量を調整することにより、前記画像信号の明るさを調整する構成を有している。これにより、画像全体の明るさを簡単に調整することができる。

本発明は、フィルタ部にて、動体の位置および大きさのフレーム間での変化量を調整する調整処理を動体情報に対して行い、調整処理がされた動体情報を補正動体情報として出力し、明るさ補正部にて、補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正するので、動体の動きが大きい場合にも、動体を視認しやすい画像を提供することができるというすぐれた効果を有する。

以下、本発明の実施の形態に係る撮像装置について、図面を用いて説明する。
本発明の実施の形態の撮像装置を示すブロック図を図１に示す。図１において、撮像装置１０００は、レンズ部１０１と、撮像素子１０２と、カメラ信号処理部１０３と、動体検出部１０４と、検出結果蓄積部１０５と、動体追跡部１０６と、検出結果フィルタ部１０７と、明るさ補正処理部１０８と、画像出力部１０９とを備えている。

レンズ部１０１は、被写体の像を集光することにより、被写体の像を撮像素子１０２に結像する。撮像素子１０２は、レンズ部１０１が結像する被写体の像を被写体画像として撮像して、画像信号を生成する。撮像素子１０２はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサにより構成される。

カメラ信号処理部１０３は、撮像素子１０２により生成される画像信号に対して、予めプログラムされた所定の画像処理を行う。ここでは、カメラ信号処理部１０３は、輝度信号および色差信号を算出する。カメラ信号処理部１０３は、ＤＳＰ（Digital Signal Processor）などのデバイスにより構成される。

動体検出部１０４は、カメラ信号処理部１０３から出力された画像信号を用いて、被写体中の動体をフレーム毎に検出し、この動体の位置（座標）および大きさ（領域のサイズ）等を示す情報を動体情報として検出結果蓄積部１０５へ出力する。なお、各フレームの動体情報は、メタデータ（Metadata）として扱われる。

ここでの動体の検出処理は、撮像画像のうちで、背景となる領域と、移動する動体（人、動物、物などの有体物）の領域とを切り分けることにより、動体を検出する。具体的には、動体検出部１０４が、前のフレームと現在のフレームとの間の画像信号の差分を算出することで、画像信号を解析して、変化のあった領域を動体の領域としてフレーム毎に検出する。

なお、動体検出の方法は、連続する２つのフレーム間の画像信号の差分検出による方法に限られない。例えば、基準となる背景フレームを予め作成し、現在のフレームとこの背景フレームとの間の画像信号の差分を算出することで、動体を検出してもよい。

検出結果蓄積部１０５は、動体検出部１０４の検出結果である動体情報を複数フレームに亘って記憶する。動体追跡部１０６は、検出結果蓄積部１０５から複数フレームの動体情報を取得し、この複数フレームの動体情報に基づいて、複数フレーム間の動体の時間的および位置的な相関性を解析することで、動体を追跡する処理を行う。具体的には、動体追跡部１０６は、複数フレームの動体情報に基づいて、連続する２つのフレームにおける動体が互いに空間的に重なる部分を有する否かを判断する。そして、動体の一部が互いに重なり合う場合、動体追跡部１０６は、連続する２つのフレームにおいて同一の動体が連続して検出されていると判定する。動体追跡部１０６は、この判定を複数のフレームについて順次行なうことにより、所定のフレームに亘って連続して含まれる動体を追跡する。

検出結果フィルタ部１０７は、動体追跡部１０６により追跡対象とされた動体の位置および大きさのフレーム間での変化量を調整する調整処理を動体情報に対して行い、この調整処理が行われた動体情報を補正動体情報として出力する。ここでの調整処理は、特に、動体追跡部１０６により追跡対象とされた動体の位置および大きさがフレーム間で大きく変化することを抑える緩和処理をいう。この検出結果フィルタ部１０７の詳細については、後述の動作説明にて行う。なお、検出結果フィルタ部１０７は、動体追跡部１０６の追跡対象の動体ではなく、動体検出部１０４により検出された動体に対して、緩和処理を行っても良い。検出結果フィルタ部１０７は、本発明のフィルタ部に対応する。

明るさ補正処理部１０８は、画像信号に対して、補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさ（例えば輝度や階調）を補正する。この明るさ補正処理部１０８の詳細についても、後述の動作説明にて行う。なお、明るさ補正処理部１０８は、本発明の明るさ補正部に対応する。画像出力部１０９は、明るさ補正処理部１０８により明るさの補正がなされた画像信号を出力する。

次に、本発明の実施の形態における撮像装置１０００の動作について、図に基づいて説明する。図２は、撮像装置１０００の動作フローを示す図である。
まず、撮像素子１０２が、レンズ部１０１により結像された被写体を撮像して、画像信号を生成する（ステップ（ＳＴＥＰ：以下、Ｓと称する）１）。カメラ信号処理部１０３は、撮像素子１０２により生成された画像信号に対して、所定の画像処理を行う（Ｓ２）。

次に、動体検出部１０４が、カメラ信号処理部１０３で得られる画像信号に基づいて、被写体中の動体をフレーム毎に検出し、この動体の位置および大きさを示す情報をメタデータにして、これを動体情報として出力する（Ｓ３）。このとき、動体検出部１０４は、撮像画像のうちで、背景となる領域と、移動する動体（人、動物、物などの有体物）とを切り分けて、前のフレームと現在のフレームとの間の画像信号の差分を算出することで、画像信号の時間的変化を解析して、変化のあった領域から動体を検出する。そして、動体検出部１０４は、この動体の位置および大きさを示す動体情報をメタデータにして検出結果蓄積部１０５へ出力する。検出結果蓄積部１０５には、複数フレームに亘って、動体情報が記憶される。

次に、動体追跡部１０６は、検出結果蓄積部１０５から複数フレームの動体情報を取得する（Ｓ４）。動体追跡部１０６は、複数フレームの動体情報に基づいて、複数フレームの動体の時間的および位置的な相関性を解析することで、動体を追跡する処理を行う（Ｓ５）。具体的には、動体追跡部１０６は、連続する２つのフレームにおける動体が互いに空間的に重なる部分を有する否かを判断する。そして、動体の一部が互いに重なり合う場合、動体追跡部１０６は、連続する２つのフレームにおいて同一の動体が連続して検出されていると判定する。動体追跡部１０６は、この判定を複数のフレームについて順次行なうことにより、所定のフレームに亘って連続して含まれる動体を追跡する。

図３は、動体追跡部１０６による追跡処理を説明するための図である。図３には、動体情報の内容として、動体検出部１０４による動体の検出結果が示されている。具体的には、図３には、フレームｔｍ１における動体がフレームｔｍ１の動体検出結果２０１として表され、フレームｔｍ２における動体がフレームｔｍ２の動体検出結果２０２として表されている。フレームｔｍ２はフレームｔｍ１の次のフレームである。動体の検出結果は、図３の矢印の通り、フレームｔｍ１では動体検出結果２０１、フレームｔｍ２では動体検出結果２０２というように移行している。

動体追跡部１０６は、フレームｔｍ１の動体検出結果２０１とフレームｔｍ２の動体検出結果２０２とが空間的に重なり合う領域を有するか否かを判断する。この判断結果において、両フレームｔｍ１、ｔｍ２における動体検出結果２０１、２０２が重なり合う領域を有する場合に、動体追跡部１０６は、同一の動体が２つのフレームに亘って連続して検出されていると判定する。動体追跡部１０６は、この判定を複数のフレームについて順次行うことにより、所定のフレームに亘って連続して含まれる動体を追跡する。

このように、動体追跡部１０６は、所定のフレームに亘って連続して含まれる動体を追跡するので、前後のフレームにおいて連続しない単発的な動体情報をノイズとして除去することができ、これにより、被写体中の動体の移動を的確に追跡することができる。

ここで、動体検出部１０４による動体情報の出力処理と、動体追跡部１０６による動体の追跡処理のみしか行わない場合、動体が急に動き出す場合や動体の動きが急に早くなる場合など、動体の動きの変化が大きい場合において、動体の位置および大きさがフレーム間によって大きくばらついてしまう。そして、動体の大きさおよび位置がフレーム間でばらついたまま、明るさ補正処理部１０８で画像信号の明るさを補正すると、明るさの補正後の画像信号にもばらつきが生じ、ちらつきのような現象が起きてしまう。

そこで、本発明の実施の形態では、上述の動体の追跡処理（Ｓ５）の後、検出結果フィルタ部１０７が、動体追跡部１０６により追跡対象とされた動体の位置および大きさがフレーム間で大きく変化することを抑える緩和処理を動体情報に対して行い、この緩和処理が行われた動体情報を補正動体情報として明るさ補正処理部１０８に出力する（Ｓ６）。

図４は、検出結果フィルタ部１０７による緩和処理を説明するための図である。図４には、動体追跡部１０６による追跡対象の動体の追跡経過が示されている。具体的には、図４には、追跡対象の動体についての動体情報の内容として、フレームｔｃ１、ｔｃ２、ｔｃ３の動体検出結果が表されている。フレームｔｃ１の次にフレームｔｃ２、フレームｔｃ２の次にフレームｔｃ３が続いている。動体の検出結果は、フレームｔｃ１では動体検出結果３０１、フレームｔｃ２では動体検出結果３０２、フレームｔｃ３では動体検出結果３０３というように移行している。

ここでは、図４に例示するように、フレームｔｃ１の動体検出結果３０１からフレームｔｃ３の動体検出結果３０３に移行することにより、追跡対象の動体の位置座標がＣ１（ｃｘ１，ｃｙ１）からＣ２（ｃｘ２，ｃｙ２）を経てＣ３（ｃｘ３，ｃｙ３）に変動し、追跡対象の動体の大きさ（領域のサイズ）が縦サイズＨｃ１、横サイズＷｃ１から縦サイズＨｃ２、横サイズＷｃ２を経て縦サイズＨｃ３、横サイズＷｃ３へ変動する場合について説明する。

この場合において、検索結果フィルタ部１０７は、連続する２つのフレームにおける動体の位置座標の間にある値を補正動体情報として求め、この補正動体情報の位置座標を後のフレームにおける動体の位置座標に置き換える処理を行う。同様に、検索結果フィルタ部１０７は、フレームにおける動体の大きさの間にある値を補正動体情報として求め、この補正動体情報の大きさを後のフレームにおける動体の大きさに置き換える処理を行う。

具体的には、検索結果フィルタ部１０７は、最初に式（１）に示すように、追跡対象の動体の位置座標について、フレームｔｃ１における動体の位置座標Ｃ１（ｃｘ１，ｃｙ１）とフレームｔｃ２における動体の位置座標Ｃ２（ｃｘ２，ｃｙ２）の平均座標値Ｃ２’（ｃｘ２’，ｃｙ２’）を補正動体情報として算出し、この補正動体情報の位置座標Ｃ２’をフレームｔｃ２における追跡対象の動体の位置座標に置き換える。

以後、検索結果フィルタ部１０７は、式（２）に示すように、先ほど求めた補正動体情報Ｃ２’（ｃｘ２’，ｃｙ２’）とフレームｔｃ３における動体の位置座標Ｃ３（ｃｘ３，ｃｙ３）の平均座標値Ｃ３’（ｃｘ３’，ｃｙ３’）を補正動体情報として求め、この補正動体情報の位置座標Ｃ３’をフレームｔｃ３における追跡対象の動体の位置座標に置き換える。

また、検索結果フィルタ部１０７は、最初に式（３）に示すように、追跡対象の動体の大きさについて、フレームｔｃ１における動体の大きさ（縦サイズＨｃ１、横サイズＷｃ１）とフレームｔｃ２における動体の大きさ（縦サイズＨｃ２、横サイズＷｃ２）の平均値Ｈｃ２’、Ｗｃ２’を補正動体情報として求め、この補正動体情報の大きさＨｃ２’、Ｗｃ２’をフレームｔｃ２における追跡対象の動体の大きさ（縦サイズ、横サイズ）に置き換える。

以後、検索結果フィルタ部１０７は、式（４）に示すように、先ほど求めた補正動体情報（縦サイズＨｃ２’、横サイズＷｃ２’）とフレームｔｃ３における動体の大きさ（縦サイズＨｃ３、横サイズＷｃ３）の平均値Ｈｃ３’、Ｗｃ３’を補正動体情報として求め、この補正動体情報の大きさＨｃ３’、Ｗｃ３’をフレームｔｃ３における追跡対象の動体の大きさ（縦サイズ、横サイズ）に置き換える。

以上の通り、検索結果フィルタ部１０７は、連続する２つのフレームにおける動体の位置および大きさの間にある値を補正動体情報として求め、この補正動体情報を後のフレームにおける動体の位置および大きさに置き換える処理を行う。これにより、動体の位置および大きさがフレーム間で大きく変化することを抑えることができる。

なお、上記説明では、前後のフレームにおける動体の位置および大きさの平均値を補正動体情報として算出するとしたが、補正動体情報は前後のフレームにおける動体の位置および大きさの間にある値であればよく、前後のフレームの平均値に限定されない。また、検出結果フィルタ部１０７は、動体追跡部１０６の追跡対象の動体ではなく、動体検出部１０４により検出された動体に対して、緩和処理を行っても良い。

このように、動体の位置および大きさがフレーム間で大きく変化することを抑える緩和処理を動体情報に対して行い、緩和処理が行われた動体情報を補正動体情報として出力するので、緩和処理によって求めた補正動体情報にて示される動体の位置および大きさのフレーム間の変化は、動体が急激に止まる場合などを除いて、緩和処理前に比べて小さくなる。この結果、補正動体情報で示される動体の位置および大きさがフレーム間で大きく異ならないようにすることができ、フレーム間によって大きくばらつかないようにすることができる。

なお、上記説明では、緩和処理後の動体の位置および大きさを用いて補正動体情報を求めたが、緩和処理前の動体の位置および大きさを用いて補正動体情報を求めてもよい。例えば、緩和処理後のフレームｔｃ３における動体の位置および大きさを算出するのに、検索結果フィルタ部１０７は、緩和処理後のフレームｔｃ２における動体の位置および大きさとフレームｔｃ３における動体の位置および大きさの平均値を補正動体情報として求め、この補正動体情報の値をフレームｔｃ３における追跡対象の動体の位置および大きさに置き換えてもよい。このようにしても、上述した効果を得ることができる。

次に、明るさ補正処理部１０８が、画像信号に対して、補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正する（Ｓ７）。これにより、フレーム間で大きく変化することを抑えた後の動体の位置および大きさに対応して明るさを補正することができる。この結果、動体の動きが大きい場合にも、動体を視認しやすく、動体の動きが鮮明な画像を得ることができる。この場合において、補正動体領域の明るさのレベルは、補正動体情報によって示される動体の位置および大きさによって、決められてもよい。例えば、補正動体情報によって示される動体の位置が画像の中央部の場合は、動体の位置が画像の周縁部の場合と比較して、補正動体領域をより明るくする補正をする。また、補正動体情報によって示される動体の大きさが大きければ大きい程、補正動体領域をより明るくする補正をする。このようにして、動体を明るくしつつ、画像がチラつく現象を抑制できる。

なお、レンズ部１０１と撮像素子１０２の間には、撮像素子１０２に入射する被写体の光の入射量を調整するための絞り（不図示）が設けられている。明るさ補正処理部１０８は、この絞りを用いて被写体の光の撮像素子１０２への入射量を調整することで、画像信号の明るさを補正している。これにより、簡単な構成で、画像全体の明るさを補正することができる。

また、好適には、ステップＳ７において、明るさ補正処理部１０８は、画像信号に対して、補正動体領域の周縁部の明るさを補正してもよい。これにより、動体の動きがより鮮明な画像を得ることができる。

そして、画像出力部１０９が、明るさ補正処理部１０８により明るさの補正がなされた画像信号を出力する（Ｓ８）。

このような本発明の実施の形態の撮像装置１０００によれば、検出結果フィルタ部１０７にて、動体の位置および大きさのフレーム間での変化量を調整する調整処理を動体情報に対して行い、調整処理が行われた動体情報を補正動体情報として出力する。ここでの調整処理は、特に、動体追跡部１０６により追跡対象とされた動体の位置および大きさがフレーム間で大きく変化することを抑える緩和処理をいう。これにより、緩和処理によって求めた補正動体情報にて示される動体の位置および大きさのフレーム間の変化は、動体が急激に止まる場合などを除いて、緩和処理前に比べて小さくなる。この結果、補正動体情報で示される動体の位置および大きさがフレーム間で大きく異ならないようにすることができ、フレーム間によって大きくばらつかないようにすることができる。特に、動体が急に動き出す場合や動体の動きが急に早くなる場合など、動体の動きの変化が大きい場合において、動体の位置および大きさのフレーム間で大きく変化するのを緩やかにして、動体の動きの変化を小さくすることができる。そして、明るさ補正処理部１０８にて、補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正するので、フレーム間で大きく変化することを抑えた後の動体の位置および大きさに対応して、明るさを補正することができる。これにより、ちらつきを抑えながら、動体が鮮明な画像を得ることができる。

また、明るさ補正処理部１０８にて、補正動体情報によって示される動体の位置および大きさに基づいて、補正動体領域の明るさを補正するので、撮像した被写体に含まれる動体の動きに合わせて動体の明るさが大きく変化することがなく、動体の動きが鮮明な画像を得ることができる。この結果、動体を明るくしつつ、画像がチラつく現象が生じるのを低減することができる。このため、利用者に対して、違和感がなく、適切な明るさで動体の画像を提供することができる。

また、本発明の実施の形態の撮像装置１０００によれば、検出結果フィルタ部１０７にて、複数フレームのうち、連続する２つフレームにおける動体の位置および大きさの間にある値を補正動体情報として求めるので、簡単な方法で、動体の位置および大きさのフレーム間で大きく変化することを抑える緩和処理を動体情報に対して行うことができ、これを補正動体情報として得ることができる。

また、本発明の実施の形態の撮像装置１０００によれば、検出結果フィルタ部１０７にて、複数フレームのうち、前フレームの補正動体情報と次のフレームにおける動体の位置および大きさの間にある値を新たに補正動体情報として求めるので、簡単な方法で、動体の位置および大きさのフレーム間で大きく変化することを抑える緩和処理を動体情報に対して行うことができる。

また、本発明の実施の形態の撮像装置１０００によれば、明るさ補正処理部１０８は、画像信号に対して、補正動体領域の周縁部の明るさを補正するので、動体の動きがより鮮明な画像を得ることができる。

また、本発明の実施の形態の撮像装置１０００によれば、動体情報に基づいて、所定数のフレームに亘って連続して含まれる動体を追跡する処理を行う動体追跡部１０６を備え、検出結果フィルタ部１０７は、動体追跡部１０６による追跡対象の動体に対して、緩和処理を行う構成を有している。この構成により、前後のフレームで連続的しない単発的な動体情報をノイズとして除去することができ、これにより、被写体中の動体を的確に追跡することができる。また、検出結果フィルタ部１０７にて、動体追跡部１０６による追跡対象の動体に対して、緩和処理を行うので、追跡対象の動体の動きに注目した補正動体情報を得ることができる。

また、本発明の実施の形態の撮像装置１０００によれば、撮像素子１０２に入射する被写体の光の入射量を調整するための絞りを備え、撮像装置１０００は、絞りを用いて被写体の光の入射量を調整することにより、画像信号の明るさを調整するので、画像全体の明るさを簡単に調整することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

上述した実施の形態では、図４を用いて説明したように、検出結果フィルタ部１０７において、連続する２つのフレームにおける動体の位置および大きさの間にある値（例えば平均値）をそのまま補正動体情報として求めたが、２つのフレームにおける動体の位置および大きさに重み付けをした後に、２つのフレームにおける動体の位置および大きさの間にある値（例えば平均値）を求めて、これを補正動体情報としてもよい。これにより、動体情報の緩和処理において、動体の位置および大きさのフレーム間で緩和の度合いを調整することができる。例えば、動体が急に大きく移動する場合、実際の画像上の動体の動きに対して、補正動体領域の移動が大きく遅れることがある。このような場合において、連続する２つのフレームのうちで後のフレームの動体情報に重み付けをしてから、当該２つのフレームにおける動体の位置および大きさの間にある値を補正動体情報として算出するとよい。これにより、後のフレームにおける動体の位置および大きさが重み付けにより強調され、補正動体情報においても後のフレームの動体の位置および大きさが強調される。この結果、動体が急に大きく移動する場合であっても、実際の画像上の動体の変動に対して、補正動体領域の変動が大きく遅れないようにすることができる。

上記した実施の形態において、検出結果フィルタ部１０７は、動体が初めて出現してからのフレーム数に応じて、動体の位置および大きさがフレーム間で大きく変化することを抑える緩和処理を動体情報に対して行うようにしてもよい。例えば、検出結果フィルタ部１０７は、動体が初めて出現してから一定のフレームにおいては、動体の大きさに係数を変化させて乗じる。すなわち、検出結果フィルタ部１０７は、動体が出現してからのフレーム数が増えるにつれて、０．１、０．２、０．３、・・・０．８、０．９、１のように係数を変化させて、この係数を動体の大きさ（縦サイズ、横サイズ）に乗じて、前述の緩和処理（図２のＳ６）を行う。

これにより、明るさ補正処理部１０８の明るさ補正処理において、補正動体領域が明るさの補正対象として徐々に有効になるようにでき、動体を検出した直後に動体の明るさのレベルが急激に変化するのを抑制できる。例えば、動体がある程度の大きさをもっているような場合であっても、追跡対象の動体があるフレームに突如として明るくなるような違和感を少なくできる。

上記した実施の形態において、明るさ補正処理部１０８は、動体が初めて出現してからのフレーム数に応じた明るさのレベルに補正動体領域を補正してもよい。例えば、明るさはレベル０からレベル５で設定する。このとき、補正後における目標レベルをレベル５とした場合、明るさ補正処理部１０８が、動体が初めて出現してからのフレーム数が増えるにつれて、レベル０、レベル１、・・・、レベル４、レベル５と徐々にレベルを上げていくように、画像信号に対する明るさを補正する。これにより、補正動体領域の明るさのレベルをいきなり目標レベルに上昇させるのではなく、徐々に変化させるので、動体を検出した直後に動体の明るさのレベルが急激に変化するのを抑制し、違和感を少なくできる。

以上のように、本発明は、動体の動きが大きい場合にも、動体を視認しやすい画像を提供することができるという効果を有し、暗がりなどにいる不審者を撮影するための監視用カメラ等の撮像装置等として有用である。

本発明の実施の形態の撮像装置を示すブロック図本発明の実施の形態の撮像装置の動作フローを示す図本発明の実施の形態の撮像装置の動体追跡部による追跡処理を説明するための図本発明の実施の形態の撮像装置の検出結果フィルタ部による緩和処理を説明するための図

符号の説明

１０１レンズ部
１０２撮像素子
１０３カメラ信号処理部
１０４動体検出部
１０５検出結果蓄積部
１０６動体追跡部
１０７検出結果フィルタ部
１０８明るさ補正処理部
１０９画像出力部
１０００撮像装置

Claims

被写体を撮像して画像信号を生成する撮像素子と、
前記画像信号に基づいて、前記被写体中の動体をフレーム毎に検出し、この動体の位置および大きさを示す動体情報を出力する動体検出部と、
前記動体の位置および大きさのフレーム間での変化量を調整する処理を前記動体情報に対して行い、前記調整処理が行われた動体情報を補正動体情報として出力するフィルタ部と、
前記画像信号に対して、前記補正動体情報によって示される動体の位置および大きさに対応する補正動体領域の明るさを補正する処理を行う明るさ補正部とを備えたことを特徴とする撮像装置。
前記明るさ補正部は、前記補正動体情報によって示される動体の位置および大きさに基づいて、前記補正動体領域の明るさのレベルを補正する処理を行うことを特徴とする請求項１に記載の撮像装置。
前記フィルタ部は、前記複数フレームのうち、連続する２つのフレームにおける動体の位置および大きさの間にある値を前記補正動体情報として求めることを特徴とする請求項１または２に記載の撮像装置。
前記フィルタ部は、前記複数フレームのうち、連続する２つのフレーム中の前フレームの補正動体情報と次のフレームにおける動体の位置および大きさの間にある値を新たに前記補正動体情報として求めることを特徴とする請求項１または２に記載の撮像装置。
前記フィルタ部は、前記連続する２つのフレームにおける動体の位置および大きさに重み付けをした後に前記補正動体情報を求めることを特徴とする請求項３または４に記載の撮像装置。
前記フィルタ部は、前記動体が初めて出現してからのフレーム数に応じて、前記調整処理を前記動体情報に対して行うことを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
前記明るさ補正部は、前記画像信号に対して、前記補正動体領域の周縁部の明るさを補正する処理を行うことを特徴とする請求項１ないし６のいずれかに記載の撮像装置。
前記明るさ補正部は、前記補正動体領域を、前記動体が初めて出現してからのフレーム数に応じた明るさのレベルに補正することを特徴とする請求項１ないし７のいずれかに記載の撮像装置。
前記動体情報に基づいて、所定数のフレームに亘って連続して含まれる動体を追跡する動体追跡部を備え、
前記フィルタ部は、前記動体追跡部による追跡対象の動体に対して、前記調整処理を行うことを特徴とする請求項１ないし８のいずれかに記載の撮像装置。
前記撮像素子に入射する前記被写体の光の入射量を調整するための絞りを備え、
前記絞りを用いて前記被写体の光の入射量を調整することにより、前記画像信号の明るさを調整することを特徴とする請求項１ないし９のいずれかに記載の撮像装置。