JP2010021597A

JP2010021597A - 撮像装置および撮像方法

Info

Publication number: JP2010021597A
Application number: JP2008177457A
Authority: JP
Inventors: Masako Etsuno; 理子越野; Norikatsu Niinami; 紀克新浪; Atsushi Sugita; 淳杉田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2008-07-08
Filing date: 2008-07-08
Publication date: 2010-01-28
Anticipated expiration: 2028-07-08
Also published as: JP4985569B2

Abstract

【課題】導出された画面全体の動きベクトルを用い、さらに移動体および移動体の動きベクトルを適切かつ迅速に抽出することで、移動体を用いた様々な画像処理を実行することを目的とする。
【解決手段】本発明の撮像装置１００は、被写体を撮像して画像データを生成する撮像部１２０と、撮像された画像データに基づいて画面全体の動きベクトルを生成する全体ベクトル生成部１８０と、画面を複数のブロックに分割し、各ブロックの動きベクトルから画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成するベクトル減算部１６２と、絶対動きベクトルから所定カットオフ周波数の低域成分を抽出する低域通過フィルタ１６４と、各ブロックへの移動体の進入および退出判定により、各ブロックに移動体が存在するか否かを判定する移動体判定部１７４と、を備えることを特徴とする。
【選択図】図２

Description

本発明は、画面（画像）中の移動体を検出可能な撮像装置および撮像方法に関する。

ビデオカメラ等の撮像装置では、移動している物体の動きベクトルを認識する機能を有する。このような動きベクトルを検出する方法として、例えば代表点マッチング法が用いられる（例えば、特許文献１）。

かかる代表点マッチング法は、代表点画素として定められた任意の画素の１つ前のフィールドにおける画像信号レベルと、探索範囲として定められた領域内の全画素の現在のフィールドにおける画像信号レベルとの差分絶対値の和を算出して相関値を計算し、さらに、相関値がもっとも小さい相関性の高いサンプリング点画素を求め、このサンプリング点画素と代表点画素との位置の差を、動きベクトルとする方法である。

かかる代表点マッチング法を用いると、例えば画面（画像）を複数に分割したブロック毎の動きベクトルを導出することができる。しかし、かかる動きベクトルには物体の実際の動きと手振れによる動きとが重畳しているので、物体の動きベクトルのみを抽出することはできなかった。このような状況下では、移動している物体である移動体を手振れと判断したり、手振れを移動体と判断してしまったりして正常に手振れ補正が為されない場合があった。

そこで、本願発明者は、画面内における移動体の有無に拘わらず、画面全体の動きベクトルを高い精度で検出可能な技術を生み出した（例えば、特許文献２）。
特許第３２００９５０号特開２００７−２３５７６９号公報

本願発明者による上述した画面全体の動きベクトルを検出する技術により、画面全体の動きベクトル即ち手振れ動作のみを抽出することができ、高精度の手振れ補正が可能となった。かかる技術を応用すると、撮像中の画像から手振れ要素を除去することができ、画面中の静止した被写体と移動している被写体とを識別することができるはずである。従って、今後は更なる付加価値を付与すべく、移動体の推移導出や追尾を正確に遂行するための移動体の適切な抽出技術が望まれている。

また、画面中の所定位置を対象に焦点調整や露光調整等の撮像制御を行っているときに、その所定位置を移動体が横切ると、異なる距離の被写体（移動体）に撮像制御が働いてしまい、所望する画質を維持できないといった問題が生じてしまう。

本発明は、このような課題に鑑み、導出された画面全体の動きベクトルを用い、さらに移動体および移動体の動きベクトルを適切かつ迅速に抽出することで、移動体を用いた様々な画像処理を実行することが可能な撮像装置および撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の撮像装置の代表的な構成は、被写体を撮像して画像データを生成する撮像部と、撮像された画像データに基づいて画面全体の動きベクトルを生成する全体ベクトル生成部と、画面を複数のブロックに分割し、各ブロックの動きベクトルから画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成するベクトル減算部と、絶対動きベクトルから所定カットオフ周波数の低域成分を抽出する低域通過フィルタと、抽出された絶対動きベクトルの低域成分に基づく、各ブロックへの移動体の進入および退出判定により、各ブロックに移動体が存在するか否かを判定する移動体判定部と、を備えることを特徴とする。

本発明では、各ブロックの動きベクトルから画面全体の動きベクトルを減算し、さらにブロック毎に低域成分のみを抽出することで手振れ成分を除去した移動体の純粋な動きベクトル（絶対動きベクトル）を取得することができる。また、このような絶対動きベクトルの低域成分によって、移動体の存在を判定することができ、移動体を対象とする、例えば監視カメラ等による移動体の推移導出や追尾といった様々な画像処理が可能となる。

撮像装置は、ブロック毎に抽出された絶対動きベクトルの低域成分を積算し、その結果がブロックサイズと実質的に等しいことで隣接するブロックへの移動体の進入を予測する移動体進入予測部をさらに備え、移動体判定部は、移動体の進入予測によっても移動体の存在を判定してもよい。

手振れ成分を排除するための上述した低域通過フィルタは、移動体が進入するブロックにおける移動体の認識遅延を招く可能性がある。かかる移動体進入予測部により、フィルタ出力による移動体の認識に先駆けてそのブロックへの移動体の進入を予測することができ、適切なタイミングで移動体を対象とする様々な画像処理が可能となる。

撮像装置は、ブロック中における移動体の滞在推定時間到達に従うタイムアウトによって移動体の退出を予測する移動体退出予測部をさらに備え、移動体判定部は、移動体の退出予測によっても移動体の存在を判定してもよい。

任意のブロックにおいて遮蔽物等により移動体を認識できない場合に、隣接するブロックによって移動体の進入予測のみ為されることがある。しかし、実際の進入判定を伴わない場合にその進入予測に対する退出予測が為されない。本発明では、滞在推定時間によるタイムアウトを用いて退出予測を実行するので、移動体判定部は、移動体が通過する適切なタイミングで移動体の存在を判定することが可能となる。

撮像装置は、移動体が存在すると判定された場合、移動体が存在するブロックを焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御の対象から除く対象排除部をさらに備えてもよい。

かかる構成により、移動体が存在するブロックに対する撮像制御を排除し、撮像制御対象となる被写体の前を移動体が横切ることによって誤った撮像制御が為されてしまう現象を回避することが可能となり、撮影者の所望する高画質の撮像データを維持することができる。

全体ベクトル生成部は、画面を複数のブロックに分割し、各ブロックの動きベクトルを導出するブロックベクトル導出部と、動きベクトルが類似する複数のブロックをグループ化するグループ化部と、同一のグループに属する複数のブロックの動きベクトルの履歴と、画面全体の動きベクトルの履歴とに基づいて、グループが移動体を含むか否かを判定し、移動体を含むグループを除外する動きベクトル信頼性判定部と、移動体を含まないグループを構成するブロックの動きベクトルを用いて画面全体の動きベクトルを導出する全体ベクトル導出部と、を含んで構成されてもよい。

かかる構成により、手振れ成分である画面全体の動きベクトルを適切かつ迅速に抽出することが可能となり、高精度の手振れ補正ができる。また、後段の移動体の抽出精度も向上し、移動体の推移導出や追尾、撮像制御対象の切り換えといった様々な画像処理が可能となる。

本発明にかかる撮像方法の代表的な構成は、被写体を撮像して画像データを生成し、撮像された画像データに基づいて画面全体の動きベクトルを生成し、画面を複数のブロックに分割し、各ブロックの動きベクトルから画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成し、絶対動きベクトルから所定カットオフ周波数の低域成分を抽出し、抽出された絶対動きベクトルの低域成分に基づく、各ブロックへの移動体の進入および退出判定により、各ブロックに移動体が存在するか否かを判定することを特徴とする。

上述した撮像装置の技術的思想に基づく構成要素やその説明は、当該撮像方法にも適用可能である。

以上説明した本発明によれば、導出された画面全体の動きベクトルを用い、さらに移動体および移動体の動きベクトルを適切かつ迅速に抽出することで、移動体を用いた様々な画像処理を実行できる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

ビデオカメラ等の撮像装置では、主たる被写体の焦点を自動的に合わせるオートフォーカス（ＡＦ）機能や、シャッター速度や絞りの大きさにより露光を自動的に調整するオートエキスポージャ（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等）で補正して被写体を明瞭に撮像することが可能である。また、焦点調整や露光調整は、任意の距離に位置する被写体にのみ行われるので、通常、撮影者が所望する例えば人物といった被写体がその対象として選択される。

しかし、撮像制御の対象となる被写体の前に移動体が横切ると、その移動体に対して撮像制御が働いてしまい正常な撮像制御が為されないといった問題が生じる。本実施形態では、導出された画面全体の動きベクトルを用い、さらに移動体および移動体の動きベクトルを適切かつ迅速に抽出することで、移動体を用いた様々な画像処理を実行することが可能となり、さらに撮像制御の対象から上記移動体を排除することで移動体の有無に関係なく正常な撮像制御を遂行することができる。以下、本実施形態の代表的な撮像装置および撮像方法を述べる。

（撮像装置１００）
図１は、本実施形態における撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有するものが多く、本体１０２と、撮像レンズ１０４と、操作キー１０６と、ビューファインダ１０８とを含んで構成される。

本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作キー１０６へのユーザ入力に応じてその記録タイミングや画角が調整される。また、画像データにおける画面内の所望する被写体の焦点および露光が所望する値になるよう自動調節される。ビューファインダ１０８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)等で構成され、実録される画像データを視認することができる。撮影者は、そのビューファインダ１０８に表示された画像を参照しながら被写体を所望する位置および大きさで捉えることが可能となる。

図２は、本実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像部１２０と、中央制御部１２２と、信号出力部１２４と、記録部１２６とを含んで構成される。

撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。具体的に、撮像部１２０は、焦点調整に用いられるフォーカスレンズ１４０、露光調整に用いられる絞り１４２、撮像レンズ１０４を通じて入射する光を電気信号に変換し色分離やγ補正等の信号処理を施す撮像回路（撮像素子）１４４、フォーカスレンズ１４０および絞り１４２を駆動させる駆動回路１４６、を含んで構成される。かかる撮像部１２０によって撮像された画像データは、中央制御部１２２に転送される。

中央制御部１２２は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）を含む半導体集積回路により撮像装置１００全体を管理および制御し、撮像部１２０で撮像された画像データに基づいて画面全体の動きベクトル、移動体の抽出、焦点調整や露光調整等の撮像制御等を実行する。当該中央制御部１２２の詳細な構成は後ほど説明する。

信号出力部１２４は、手振れ補正された画像データを視聴可能な画像信号に加工してビューファインダ１０８に出力する。撮影者は、かかるビューファインダ１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先をビューファインダ１０８としたが、別体のモニタ等様々な画像表示装置に接続することも可能である。

記録部１２６は、符号化処理を通じて符号化された記録信号（データストリーム）を生成し、画像データを任意の記録媒体１４８に記録する。任意の記録媒体１４８としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、外部から接続可能な別体の記録媒体を用いることもできる。

また、中央制御部１２２は、ブロックベクトル導出部１５０と、相関信頼性判定部１５２と、グループ化部１５４と、動きベクトル信頼性判定部１５６と、距離信頼性判定部１５８と、全体ベクトル導出部１６０と、ベクトル減算部１６２と、低域通過フィルタ１６４と、移動体進入判定部１６６と、移動体退出判定部１６８と、移動体進入予測部１７０と、移動体退出予測部１７２と、移動体判定部１７４と、手振れ補正部１７６と、対象排除部１７８としても機能する。特に、ブロックベクトル導出部１５０、相関信頼性判定部１５２、グループ化部１５４、動きベクトル信頼性判定部１５６、距離信頼性判定部１５８、全体ベクトル導出部１６０は、撮像された画像データに基づいて画面全体の動きベクトルを生成する全体ベクトル生成部１８０として機能する。

ブロックベクトル導出部１５０は、撮像部１２０で撮像された画像データの画像（画面）を複数のブロック、例えば水平方向に４つ、垂直方向に４つの１６ブロックに分割し、代表点マッチング法を通じてブロック毎の動きベクトルの検出を行う。かかる代表点マッチング法では、各ブロックをさらに水平方向に８つ、垂直方向に４つの画素に分割し、１つ前のフィールドの代表点画素と相関性の高いサンプリング点画素を求め、代表点画素との位置の差によって動きベクトルを求めている。また、動きベクトルと併せて相関値の最小値、平均値、勾配等の相関値データもブロック毎に導出し、相関信頼性判定部１５２およびベクトル減算部１６２に伝達する。

相関信頼性判定部１５２は、ブロックベクトル導出部１５０からの動きベクトルと相関値データとを用いて各ブロックの信頼性判定、即ち各ブロックが画面全体の動きベクトルを生成する上で有効であるか否かの判定を実行する。従って、相関信頼性判定部１５２で無効と判定されたブロックは以降の処理には利用されない。

グループ化部１５４は、相関信頼性判定部１５２が有効と判定したブロックを対象として、各ブロックの動きベクトルを比較、動きベクトルが類似しているか否かを判定し、動きベクトルが類似しているブロックをグループ化する。こうして、有効と判定した全てのブロックを任意の数のグループに分けることができる。

詳細には、比較する２つのブロックの動きベクトルの水平方向の差分絶対値と垂直方向の差分絶対値の和（以下「ブロック相関値」という）を求め、算出したブロック相関値が相関閾値より小さいときは、比較する２つのブロックは同じグループに属する（動きベクトルが類似する）と判定する。さらに具体的には有効と判定した任意のブロックの動きベクトルを（Ｘ１，Ｙ１）とし、同じく有効と判定した他のブロックの動きベクトルを（Ｘ２，Ｙ２）としたとき、ブロック相関値は、｜Ｘ１−Ｘ２｜＋｜Ｙ１−Ｙ２｜から算出される。算出されたブロック相関値が相関閾値より小さいときは、上記２つのブロックは同じグループに属していると判定する。

動きベクトル信頼性判定部１５６は、グループ化部１５４によってグループ化されたブロックに関して、動きベクトルの履歴データを用い、グループの信頼性判定、即ち、移動体に起因するグループであるか否かの判定を行い、そのような移動体に起因するグループのブロックを無効化する。

詳細には、まず、同一履歴時刻において同一グループに属するブロックの動きベクトル（ＢＸk[n]，ＢＹk[n]）をグループ内で平均化することによりグループ動きベクトル（ＧＸＡＶ[n]，ＧＹＡＶ[n]）を数式１および数式２を用いて算出する。ここで、ＧＸＡＶ[n]は、グループ動きベクトルのＸ成分（水平方向成分）、ＧＹＡＶ[n]はＹ成分（垂直方向成分）である。

…（数式１）

…（数式２）
ここでは、同一履歴時刻をｎとし、現時刻を０、１フィールド前の時刻を１とし、ｎフィールド前の時刻であればｎとなる。また、ｋはグループ内におけるブロックの識別番号であり、ＮＢＬはグループに含まれる総ブロック数である。従って、ｋは１からＮＢＬまでの値をとる。

次に、第１判定パラメータのＸ成分であるＳＸＰおよびＹ成分であるＳＹＰのそれぞれについて、数式３および数式４を用いて算出する。

…（数式３）

…（数式４）
ただし、ＦＸ[n]、ＦＹ[n]は、画面全体の動きベクトルを表し、ＮＲＦは、所定フィールド数である。ここで積算の対象に現時点（ｎ＝０）が含まれていないのは、画面全体の動きベクトルがそもそも最終的な計算値であって、最初のフィールドの動きベクトル（ＦＸ[0]，ＦＹ[0]）は算出されていないからである。

第１判定パラメータＳＸＰおよびＳＹＰは、グループ動きベクトルと画面全体の動きベクトルとの類似の度合を表し、第１判定パラメータＳＸＰおよびＳＹＰの値が大きくなるほど、動きベクトルの類似性が小さくなることを示している。従って、第１判定パラメータの値が大きいときは、検出されたグループ動きベクトルは、パンニング操作や手振れに起因するものではない可能性が高いこととなる。

次に、数式５および数式６を用いて第２判定パラメータＧＸＩおよびＧＹＩを算出する。

…（数式５）

…（数式６）
ここで、第２判定パラメータは、直近（ＮＲＦ＋１）のフィールドにおけるグループ動きベクトルのＸ成分およびＹ成分の積算値の絶対値であり、グループ動きベクトルが手振れによるものであれば小さな値に収束する。従って、第２判定パラメータＧＸＩまたはＧＹＩの値が大きいときは、そのグループは動く物体を含むか、カメラのパンニング中であるかのいずれかの状態であることが考えられる。

動きベクトル信頼性判定部１５６は、以上のようにして算出された第１判定パラメータＳＸＰ、ＳＹＰ、および第２判定パラメータＧＸＩ、ＧＹＩと、対応する所定閾値ＳＸＴＨ、ＳＹＴＨ、ＧＸＴＨ、およびＧＹＴＨとを比較し、ＳＸＰ＞ＳＸＴＨかつＧＸＩ＞ＧＸＴＨ、および、ＳＹＰ＞ＳＹＴＨかつＧＹＩ＞ＧＹＴＨの条件が満たされると、グループが移動体を含むと判定し、そのグループを画面全体の動きベクトルの計算において無効にする。かかる条件が満たされるときは、グループの動きベクトルが、カメラのパンニングによるものでなく、かつ手振れによるものでもないと判定できるからである。

このように画面内に存在する移動体に起因する動きベクトルを除外することで、手振れに起因する画面全体の動きベクトルの検出を高い精度で行うことができる。しかし、動きベクトル信頼性判定部１５６による動きベクトルの履歴を用いた判定では、任意のブロックに移動体が進入した後、数フィールドの時間を費やして初めて移動体が認識される。従って、任意のブロックに進入した直後では、その移動体を検出できず、移動体を含まないブロック、即ち有効ブロックと判定してしまう。そこで、本実施形態の撮像装置１００は進入直後の移動体を認識して無効化する距離信頼性判定部１５８も備えている。

距離信頼性判定部１５８は、画面上でのグループの広がり度合を示すパラメータであるグループ距離を用いた信頼性判定を行う。詳細には、グループの水平方向のブロック数（水平距離）と垂直方向のブロック数（垂直距離）との和を求め、その和が小さなグループのブロックを、画面全体の動きベクトルの計算処理に利用されないようにする。これは、移動体が画面へ進入する際には画面の一部分にのみ影響し、そのグループは全画面に対してはそれほど広い範囲を占有しないからである。従って、移動体進入直後のブロックはグループ距離も小さな値となる。

これに対し、手振れは画面全体に影響する動きであり、手振れを表すグループは画面の広範囲を占有し、また、画面上に離散するため、手振れを表すグループ距離は大きな値（例えば最大値）になる。上記距離（和）が最大となるグループが同値により複数存在する場合、複数の有効なグループに含まれる全てのブロックの動きベクトルの平均値を算出し、画面全体の動きベクトルとする。このようにグループ距離の判定を行うことで、画面に進入した直後の移動体を含むブロックを除外し、手振れに起因する動きベクトルを正確に検出することができる。

全体ベクトル導出部１６０は、動きベクトル信頼性判定部１５６および距離信頼性判定部１５８によって有効と判定された１または複数のグループを構成するブロックの動きベクトルを用いて画面全体の動きベクトルを導出する。

このとき、画面内に有効となるグループが１つも存在しない場合には、画面全体の動きベクトルを、１フィールド前の画面全体の動きベクトルに任意の定数α（０＜α＜１）を乗じた値とする。こうして、画面内に移動体が存在し、移動体がある程度の時間、画面上に滞在する場合においても、また、移動体が画面に進入した直後の場合においても画面全体単位の動きベクトルを高い精度で検出することができる。

ベクトル減算部１６２は、ブロックベクトル導出部１５０で導出された各ブロックの動きベクトルから全体ベクトル導出部１６０で導出された画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成する。ブロックベクトル導出部１５０で導出された各ブロックの動きベクトルは、手振れ成分を含む相対的な値を示している。かかる動きベクトルから移動体に起因する絶対動きベクトルを導出するため、上述したように手振れ成分である画面全体の動きベクトルを減算する。

ただし、上述した相関信頼性判定部１５２、動きベクトル信頼性判定部１５６、距離信頼性判定部１５８において無効と判定されたブロックに関しては、誤ったベクトルを提示している可能性が高いため、１フィールド前の動きベクトル（前回値）に任意の定数β（０＜β＜１）を乗じた値を今回値とする。

低域通過フィルタ（ＬＰＦ）１６４は、ベクトル減算部１６２で導出された絶対動きベクトルからさらに手振れ成分を除去すべく所定カットオフ周波数（例えば１Ｈｚ）の低域成分をブロック毎に抽出する。かかる低域通過フィルタ１６４により、画面全体の動きベクトルの値が適切ではなく、ベクトル減算部１６２では手振れ成分を排除しきれなかったとしても、個々のブロックの正確な絶対動きベクトルを抽出することができる。また、１５Ｈｚ以上の例えばＣＣＤのノイズ等も除去することが可能となる。

通常、手振れは１〜１５Hzの振動を伴う。従って、カットオフ周波数１Ｈｚ、サンプリング周波数６０Ｈｚ（ＮＴＳＣ方式、フィールド単位）の低域通過フィルタをＩＩＲ（Infinite Impulse Response）フィルタで実現する。このときの伝達関数は数式７で示される。

…（数式７）
ただし、ａ_０は０．０４９９１０４、ａ_１は０．０４９９１０４、ｂ_１は−０．９００１７９２である。

かかる低域通過フィルタをプログラム上で実現する場合、以下の手順で実行される。
out ＝ a₁×filIn1 ＋ a₀×in − b₁×filOut1;
filIn1 = in;
filOut1 = out;
ここで、inはフィルタ入力、outはフィルタ出力であり、filIn1、filOut1は前回値保存用のレジスタである。また、係数にa₁＝a₀、b₁＝1−2×a₀の関係があることに着目すると、
out ＝ a₀×( in ＋ filIn1 ＋ filOut1＜＜1) − filOut1;
のように乗算回数を１度に抑えることができる。ただし、「＜＜１」は左に１ビットシフトする演算処理を示す。

このように、絶対動きベクトルから手振れ帯域（１〜１５Ｈｚ）を除去することで、移動体の純粋な移動成分のみを抽出することができる。

移動体進入判定部１６６は、低域通過フィルタ１６４のフィルタ出力に基づいて、ブロック毎の移動体の進入を判定する。

しかしながら、上述した低域通過フィルタ１６４の位相特性によりフィルタ出力は遅延を伴い、低域通過フィルタ１６４の出力が移動体と認識可能な任意の閾値に到達したときには、移動体は既に移動しており、移動体進入判定部１６６の移動体認識が遅れてしまう。

図３は、低域通過フィルタ１６４の出力遅延を説明するための説明図である。移動体が進入したことにより図３（ａ）のような滞在時間と入力値を有する信号がベクトル減算部１６２で生成された場合、低域通過フィルタ１６４のフィルタ出力は図３（ｂ）に実線で示したように時定数を伴った遅れを生じ、移動体が進入したと判断できる閾値δに到達するまで遅延時間ｄを費やすこととなる。

そこで、移動体進入判定部１６６は、低域通過フィルタ１６４の出力に加え、同一方向カウンタを利用して移動体の進入を判定する。かかる同一方向カウンタは、ブロックの絶対動きベクトルが連続して同じ方向を示した回数をカウントし、異なる方向を示したときにリセットする。

移動体進入判定部１６６は、移動体の移動速度が比較的遅い場合（所定の閾値以下の場合）２００、同一方向カウンタ＞γかつフィルタ出力値＞εの条件を満たすとき（但し、0＜γ、0＜ε）、図３（ｂ）のように、移動体が当該ブロック中に存在していることを示す移動体確定フラグをオンする。

また、移動体の移動速度が比較的速い場合（所定の閾値以上の場合）２０２、フィルタ出力値＞δの条件のみで（但し、ε＜δ）、図３（ｂ）のように、移動体確定フラグをオンする。移動速度が速い場合に同一方向カウントを用いないのは、同一方向カウンタが所定の閾値を超える前に移動体が対象となるブロックを通過してしまう可能性があるからである。

移動体退出判定部１６８は、移動体が各ブロックを通過し終えたと判断した時点で、移動体進入判定部１６６がオンに設定した移動体確定フラグをオフにする。従って、移動体確定フラグがオンの状態のときブロック中に移動体が存在していると認識されていることになる。

移動体退出判定部１６８は、移動体進入判定部１６６同様に低域通過フィルタ１６４の出力に基づいて移動体の退出を判定するが、低域通過フィルタ１６４の遅延を補償するため、フィルタ出力の推移の勾配（傾斜）も利用する。

図４は、フィルタ出力の推移の勾配を説明するための説明図である。移動体が各ブロックを進入時と同速度で退出する場合２１０と、徐々に速度を弱めてブロック中で停止する場合２１２では、図４に示すようにその勾配が相異する。特に移動体がブロックを高速度で通過する場合は勾配がきつくなり（傾斜角が大きくなり）、勾配が急峻となった時点で移動体の退出を判定することができる。具体的には、現在のフィルタ出力から所定時間前のフィルタ出力を減算した勾配の絶対値が所定値以上となると、移動体確定フラグをオフにする。また、フィルタ出力が０に近い値になったときも移動体の退出と判断することができる。

さらに、移動体退出判定部１６８は、このような勾配による退出の誤判定を回避するために、移動体確定フラグがオンの間はフィルタ出力の最大値を常に更新し、フィルタ出力がこの最大値以下となった後に勾配を計算する。こうすることで勾配が正の値となる進入時を誤って退出したと判定することがなくなる。

移動体進入予測部１７０は、移動体進入判定部１６６と独立してブロック毎の移動体の進入を予測する。移動体退出判定部１６８が同一方向カウンタも用いることで移動体の認識は多少早くなるものの、その動きベクトルが手振れであるか移動体であるかを判定するのに費やす数フィールドを短縮することはできない。そこで、移動体進入予測部１７０による移動体の進入予測が為される。移動体進入予測部１７０は、移動体が、その動きベクトルと動きベクトルの方向とから次にどのブロックに進入するか予測することができる。そして、移動体の進入が予測されるブロックの移動体予測フラグをオンする。

図５は、移動体進入予測部１７０の動作を説明するための説明図である。図５（ａ）のように所定のブロック２２０に移動体としてのトラック（貨物自動車）２２２が進入しようとしたとき、移動体進入判定部１６６によっては、ブロック２２０の移動体確定フラグが直ちにオンにならない。しかし、移動体進入予測部１７０は、かかるトラック２２２のブロック２２０への進入を予測できるため、ブロック２２０の移動体予測フラグをオンする。そして、数フィールド後には、移動体進入判定部１６６もトラック２２２の存在を認識し、図５（ｂ）の如く、移動体予測フラグおよび移動体確定フラグの両フラグがオンとなる。

移動体進入予測部１７０は、移動体進入判定部１６６と移動体退出判定部１６８とによって制御される移動体確定フラグがオンとなっている間、ブロック毎に絶対動きベクトルを積算する。

図６は、絶対動きベクトルの積算を説明するための説明図である。図６では、移動体としてのトラック２２２がブロック２２０を図６（ａ）、（ｂ）、（ｃ）、（ｄ）の順で推移し、隣接するブロック２２４に進入する状況が示されている。移動体進入予測部１７０は、ブロック２２０の移動体確定フラグがオンしている間、図６（ａ）、（ｂ）、（ｃ）、（ｄ）に矢印で示した絶対動きベクトルＡ、Ｂ、Ｃ、Ｄを積算し、その積算値が図６（ｅ）のようにブロックサイズ（ブロック間に間隔がある場合ブロック間隔も含む）と実質的に等しくなったとき、トラック２２２は移動方向に隣接するブロック２２４に進入した、またはその寸前であると判断でき、ブロック２２４の移動体予測フラグをオンする。

かかるブロック毎の絶対動きベクトルの積算値は、ブロックサイズと一致するのが理想的ではあるが、低域通過フィルタ１６４の出力遅延によって移動体確定フラグがオンしている時間が実際のトラック２２２の滞在時間と異なるためブロックサイズに到達しない。従って、ブロック２２４へトラック２２２が進入すると判定できる絶対動きベクトルの積算値の目標値は、ブロックサイズより小さな値に設定するのが望ましい。この小さな値は、ブロックサイズから所定値を減算した値でも、ブロックサイズに所定値ζ（０＜ζ＜１）を乗算した値でもよい。また、絶対動きベクトルの積算だけでは速度が速い移動体を正しく認識できないことがあるため、移動体確定フラグオンと同様、同一方向カウンタを併用することもできる。

移動体進入予測部１７０は、上述したように、移動体確定フラグをオンしたブロック２２０の移動方向側に隣接するブロック２２４への同一の移動体が進入する可能性を判断する。そして、更に正確な判断を下すため、動きベクトルの類似性と最小相関値とを確認することもできる。

図７は、動きベクトルの類似性の確認を説明するための説明図である。かかる図７は、図６同様、所定のブロック２２０と隣接するブロック２２４に移動体としてのトラック２２２が通過している。移動体の存在が検出されたブロック２２０と、そのブロック２２０に隣接するブロック２２４に同一のトラック２２２が存在すれば、その２つのブロックにおける矢印で示した動きベクトルは近い値を示すはずである。従って、所定のブロック２２０と隣接するブロック２２４との動きベクトルの差分が所定範囲内であれば動きベクトルは類似していると判断でき、移動体予測フラグのオンを維持する。

図８は、最小相関値による確認を説明するための説明図である。上述したブロックベクトル導出部１５０では、動きベクトルの算出に代表点マッチング法を用いている。かかる代表点マッチング法は現在の画像と１つ前の画像とで一致する画像の位置を求める手段である。このような代表点マッチング法の下、ブロック内に移動体、例えばトラック２２２が進入すると、現在の画像２２６と１つ前の画像２２８が一致しなくなり最小相関値が前回値より大きな値となる。このような最小相関値の変位により移動体の進入を認識することができ、移動体予測フラグのオンを維持することができる。

移動体退出予測部１７２は、移動体退出判定部１６８と独立してブロック毎の移動体の退出を予測する。

図９は、移動体退出予測部１７２の動作を説明するための説明図である。図９（ａ）は、図５（ｂ）に対応しており、図９（ｂ）は、図５（ｂ）の所定時間後の状態を示している。図９（ａ）のように移動体予測フラグおよび移動体確定フラグの両フラグがオンとなっている状態において、移動体退出判定部１６８が対象となるブロック２２０のトラック２２２の退出を認識したとき、図９（ｂ）のように、移動体退出判定部１６８が移動体確定フラグをオフしたのを受けて、移動体退出予測部１７２も同一のブロック２２０における移動体予測フラグをオフする。

一方、移動体が物陰に隠れたり、移動体が直前で停止したりすることで、隣接するブロックに進入しない場合、移動体退出予測部１７２は、いつまでも移動体予測フラグをオフできない状態に陥ってしまう。

図１０は、移動体が物陰に隠れてしまう場合の移動体予測フラグの動作を説明するための説明図である。まず、ブロック２２０において、隣接するブロック２２４へのトラック２２２の進入が予測され、図１０（ａ）に示すようにブロック２２４の移動体予測フラグがオンされる。しかし、ブロック２２４には撮像装置１００とトラック２２２との間に境界２３０を端部とする遮蔽物２３２があり、ブロック２２４の移動体進入判定部１６６は、トラック２２２の進入を認識することができない。従って、ブロック２２４の移動体確定フラグはオンにならず、当然移動体確定フラグがオンからオフになる契機も訪れない。

かかる状態を回避するため、移動体予測フラグをオンにしたトラック２２２が存在するブロック２２０に関して、図１０（ｂ）のように、移動体確定フラグがオフとなるとき、トラック２２２が進入するであろうブロック２２４中のトラック２２２の滞在時間を推定し、その推定時間のタイムアウト、即ち、図１０（ｃ）のようにトラック２２２がブロック２２４を退出した時刻に、ブロック２２４の移動体確定フラグがオフであることを確認して移動体予測フラグをオフする。かかるタイムアウトはフィールド毎に１デクリメントするカウンタを用いて為される。

移動体判定部１７４は、移動体進入判定部１６６、移動体退出判定部１６８、移動体進入予測部１７０、移動体退出予測部１７２によって制御される移動体確定フラグおよび移動体予測フラグに基づいて、各ブロックに移動体が存在するかまたは存在している可能性が高いか判定する。

手振れ補正部１７６は、撮像された画像データを全体ベクトル導出部１６０が導出した画面全体の動きベクトル分逆方向に変位させ手振れによる画面振れを補正する。このとき、移動体判定部１７４によって移動体が存在すると判定されたブロックを無効化することでより確実かつ高精度に手振れ補正を遂行することが可能となる。

対象排除部１７８は、焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御の対象となる被写体が存在するブロックが、移動体判定部１７４によって移動体が存在すると判定されたブロックと一致した場合、かかる移動体が存在するブロックを撮像制御の対象から除くよう駆動回路１４６に指令する。対象から除く手段としては、撮像制御の対象領域を移動または拡大したり、予め定められた領域に切り換えたりすることが考えられる。

（撮像方法）
また、画面中の移動体を検出可能な撮像方法も提供される。

図１１は、当該撮像方法の具体的な処理を示したフローチャートである。まず、撮影者が撮像装置１００を用いて撮像を開始すると、撮像装置１００の撮像部１２０は、被写体を撮像して画像データを生成する（Ｓ３００）。

そして、ブロックベクトル導出部１５０は、撮像された画面を複数のブロックに分割、各ブロックの動きベクトルを導出し（Ｓ３０２）、グループ化部１５４は、動きベクトルが類似する複数のブロックをグループ化する（Ｓ３０４）。

続いて、動きベクトル信頼性判定部１５６は、同一のグループに属する複数のブロックの動きベクトルの履歴と、画面全体の動きベクトルの履歴とに基づいて、グループが移動体を含むか否かを判定し（Ｓ３０６）、距離信頼性判定部１５８は、グループ距離を用いて信頼性を判定し（Ｓ３０８）、全体ベクトル導出部１６０は、移動体を含まないグループを構成するブロックの動きベクトルを用いて画面全体の動きベクトルを導出する（Ｓ３１０）。かかる画面全体の動きベクトルは、手振れ補正に利用することができる。

次に、ベクトル減算部１６２は、各ブロックの動きベクトルから画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成し（Ｓ３１２）、低域通過フィルタ１６４は、絶対動きベクトルから所定カットオフ周波数の低域成分を抽出する（Ｓ３１４）。移動体判定部１７４は、抽出された絶対動きベクトルの低域成分に基づく、各ブロックへの移動体の進入および退出判定により、各ブロックに移動体が存在するか否かを判定する（Ｓ３１６）。

最後に、対象排除部１７８は、任意のブロックに移動体が存在すると判定された場合、その移動体が存在するブロックを焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御の対象から除く（Ｓ３１８）。

かかる撮像方法においても、移動体を用いた様々な画像処理を実行することが可能となり、撮像制御の対象から上記移動体を排除することで移動体の有無に関係なく正常な撮像制御を遂行することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、画面（画像）中の移動体を検出可能な撮像装置および撮像方法に利用することができる。

本実施形態における撮像装置の一例を示した外観図である。本実施形態における撮像装置の構成を示すブロック図である。低域通過フィルタの出力遅延を説明するための説明図である。フィルタ出力の推移の勾配を説明するための説明図である。移動体進入予測部の動作を説明するための説明図である。絶対動きベクトルの積算を説明するための説明図である。動きベクトルの類似性の確認を説明するための説明図である。最小相関値による確認を説明するための説明図である。移動体退出予測部の動作を説明するための説明図である。移動体が物陰に隠れてしまう場合の移動体予測フラグの動作を説明するための説明図である。撮像方法の具体的な処理を示したフローチャートである。

符号の説明

１００ …撮像装置
１２０ …撮像部
１５０ …ブロックベクトル導出部
１５２ …相関信頼性判定部
１５４ …グループ化部
１５６ …動きベクトル信頼性判定部
１５８ …距離信頼性判定部
１６０ …全体ベクトル導出部
１６２ …ベクトル減算部
１６４ …低域通過フィルタ
１６６ …移動体進入判定部
１６８ …移動体退出判定部
１７０ …移動体進入予測部
１７２ …移動体退出予測部
１７４ …移動体判定部
１７６ …手振れ補正部
１７８ …対象排除部
１８０ …全体ベクトル生成部

Claims

被写体を撮像して画像データを生成する撮像部と、
前記撮像された画像データに基づいて画面全体の動きベクトルを生成する全体ベクトル生成部と、
前記画面を複数のブロックに分割し、各ブロックの動きベクトルから前記画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成するベクトル減算部と、
前記絶対動きベクトルから所定カットオフ周波数の低域成分を抽出する低域通過フィルタと、
前記抽出された絶対動きベクトルの低域成分に基づく、各ブロックへの移動体の進入および退出判定により、各ブロックに移動体が存在するか否かを判定する移動体判定部と、
を備えることを特徴とする撮像装置。
ブロック毎に前記抽出された絶対動きベクトルの低域成分を積算し、その結果がブロックサイズと実質的に等しいことで隣接するブロックへの移動体の進入を予測する移動体進入予測部をさらに備え、
前記移動体判定部は、前記移動体の進入予測によっても移動体の存在を判定することを特徴とする請求項１に記載の撮像装置。
ブロック中における移動体の滞在推定時間到達に従うタイムアウトによって移動体の退出を予測する移動体退出予測部をさらに備え、
前記移動体判定部は、前記移動体の退出予測によっても移動体の存在を判定することを特徴とする請求項１または２に記載の撮像装置。
前記移動体が存在すると判定された場合、前記移動体が存在するブロックを焦点調整もしくは露光調整のいずれか一方または両方を含む撮像制御の対象から除く対象排除部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記全体ベクトル生成部は、
前記画面を複数のブロックに分割し、各ブロックの動きベクトルを導出するブロックベクトル導出部と、
前記動きベクトルが類似する複数のブロックをグループ化するグループ化部と、
同一のグループに属する複数のブロックの動きベクトルの履歴と、画面全体の動きベクトルの履歴とに基づいて、前記グループが移動体を含むか否かを判定し、移動体を含むグループを除外する動きベクトル信頼性判定部と、
前記移動体を含まないグループを構成するブロックの動きベクトルを用いて画面全体の動きベクトルを導出する全体ベクトル導出部と、
を含んで構成されることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
被写体を撮像して画像データを生成し、
前記撮像された画像データに基づいて画面全体の動きベクトルを生成し、
前記画面を複数のブロックに分割し、各ブロックの動きベクトルから前記画面全体の動きベクトルを減算して、ブロック毎の絶対動きベクトルを生成し、
前記絶対動きベクトルから所定カットオフ周波数の低域成分を抽出し、
前記抽出された絶対動きベクトルの低域成分に基づく、各ブロックへの移動体の進入および退出判定により、各ブロックに移動体が存在するか否かを判定することを特徴とする撮像方法。