JP2017059974A - 撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影画面内の所定の領域に被写体が侵入することを待ち構える撮影をアシストする撮像装置を提供する。【解決手段】本発明の一実施形態の撮像装置は、撮影画像において被写体を検出する被写体検出回路（１２１）と、撮影画像から被写体の動きベクトルを検出する動きベクトル検出回路（１２２）と、動きベクトルに基づき、撮影画像の侵入検出領域に被写体が侵入するか否かを予測する被写体侵入予測回路（１２４）と、被写体が侵入すると予測された場合に、被写体の強調表示を行うシステム制御回路（１１２）と、を備える。【選択図】図１

Description

本発明は、撮像装置、制御方法、及びプログラムに関する。

被写体を検出し、その検出結果を用いて撮影状況に適するように撮像装置の各種制御を行う技術が提案されている。例えば、静止した被写体の場合、撮影直前に検出した被写体領域に対して適切な明るさの撮影画像が得られるようにＡＥ制御を行う技術や、被写体領域でコントラストＡＦを行うことでピンボケを抑制する技術がある。また、動きのある被写体の場合、得られた動画像に対して被写体領域を更新していくことにより被写体追従が可能となる。これにより、ＡＥ制御や、ＡＦ制御における精度悪化や、撮影までのタイムラグが長くなることを回避できる。

特許文献１は、検出された被写体の顔の所定時間経過後の位置及びサイズを予測し、撮影者に通知する撮像装置を開示している。
特許文献２は、所定のタイミング毎に取得される画像が一時記憶され、既に記録済みの画像と比較されることにより、画像に大きな変化が発生し、その画像変化が収束することを感知して自動的に撮影を行う撮像装置を開示している。

特許第４５７２８１５号 特許第４６１３７２４号

しかしながら、背景となる撮影画面の構図（フレーミング）を決定し、所定の領域へ被写体が侵入することを待ち構えて撮影するような場合に、特許文献１では、追従の候補となる被写体が撮影画面に入る度に被写体を指示する必要があり、操作が煩わしい。また、特許文献２では、動きのある被写体に対して画像変化の収束を待つことは、タイミングよく撮影することを困難にする。また、画像変化を評価するにあたり、画像変化を評価する撮影画面内の所定の領域の大きさと、画像変化の要因となりうる被写体の大きさとの関係により、画像変換の評価値の変動の大きさは様々に変化する。このため、例えば、撮影画面に対して小さく写る被写体の場合には画像変化が小さく、自動的に撮影されない可能性がある。

本発明は、撮影画面内の所定の領域に被写体が侵入することを待ち構える撮影をアシストする撮像装置を提供することを目的とする。

本発明の一実施形態の撮像装置は、撮影画像において被写体を検出する被写体検出手段と、撮影画像から被写体の動きベクトルを検出する動きベクトル検出手段と、動きベクトルに基づき、撮影画像の所定の領域に被写体が侵入するか否かを予測する予測手段と、被写体が侵入すると予測された場合に、被写体の強調表示を行う表示手段と、を備える。

本発明の撮像装置によれば、撮影画面内の所定の領域に被写体が侵入することを待ち構える撮影を待ち構える撮影をアシストする撮像装置を提供することが可能となる。

本発明の第１実施形態に係る撮像装置の概略構成を示す図である。 撮影装置の撮影動作を説明するフローチャートである。 第１実施形態に係るＥＶＦ動作を説明するフローチャートである。 被写体検出処理部における処理を説明する図である。 撮影動作を説明するフローチャートである。 第２実施形態に係る撮像装置の概略構成を示す図である。 第１実施形態に係るＥＶＦ動作を説明するフローチャートである。 被写体検出処理部における処理を説明する図である。

以下、本発明を実施するための形態について図面などを参照して説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置の概略構成を示す図である。
本実施形態に係る撮像装置は、光学系１０１より入射した光を固体撮像素子上に結像させることで被写体を撮像する。光学系制御回路１０２は、光学系１０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。固体撮像素子１０３は、結像させた光学像を電気信号に変換する。撮像系制御回路１０４は、固体撮像素子１０３を駆動するための制御系である。

アナログ信号処理回路１０５は、固体撮像素子１０３の出力にクランプ、ゲインをかける等の処理を行う。アナログ／デジタル（Ａ／Ｄ）変換器１０６は、アナログ信号のデジタル変換を行い画像データとして出力する。本実施形態では、光学系１０１からＡ／Ｄ変換器１０６までを含めて撮像手段とし、撮像装置は、撮像手段から出力された画像データを単独、または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。

デジタル信号処理回路１０７は、Ａ／Ｄ変換されたデジタル画像データの現像処理および圧縮処理を行って出力画像データを生成する。内部記憶媒体１０８は、デジタル信号処理回路１０７にて出力画像データを生成する際の画像データや、ライブ画像を表示する電子ビューファインダ（以下ＥＶＦと記す）動作用の画像データなどを一時的に格納する。インターフェース（Ｉ／Ｆ）部１０９は、生成された出力画像データを最終的に保存するための外部記録装置とつながっている。画像表示器１１０は、ＥＶＦ動作の表示機能を備え、ライブ画像のほか撮像装置の各種設定情報などを表示する。

被写体検出処理部１１１は、被写体検出回路１２１、動きベクトル検出回路１２２、被写体侵入検出回路１２３、被写体侵入予測回路１２４から構成され、デジタル信号処理回路１０７にて現像処理された撮影画像について被写体の検出に関する各種処理を行う。被写体検出処理部１１１における各種処理の詳細は後述する。また、被写体検出処理部１１１における各種処理の履歴情報などは、必要に応じて内部記憶媒体１０８に一時記憶される。

システム制御回路１１２は、後述するフローチャートに従って光学系制御回路１０２や撮像系制御回路１０４、被写体検出処理部１１１などのシステム全体の制御を行う。スイッチ１１３は、撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）である。スイッチ１１４は、ＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）である。スイッチ１１５は、システムに電源を投入するためのメインスイッチ（以下メインＳＷと記す）である。

図２は、本実施形態に係る撮像装置の撮影動作を説明するフローチャートである。
まず、ステップＳ２０１では、システム制御回路１１２が、システムに電源を投入するメインＳＷの状態を検出し、ＯＮであればステップＳ２０２へ進む。ステップＳ２０２では、システム制御回路１１２が、インターフェース部１０９を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ２０３へ進み、０でなければステップＳ２０４へ進む。

ステップＳ２０３では、システム制御回路１１２が、外部記録装置の残容量が０であることを警告してステップＳ２０１に戻る。警告は、画像表示器１１０に表示するか又は図示しない音声出力部から警告音を出すか、又はその両方を行ってもよい。ステップＳ２０４では、システム制御回路１１２が、撮像手段から出力されたライブ画像を画像表示器１１０に表示するとともに、被写体検出処理部１１１において被写体の検出に関する各種処理を行う。詳細には、後述する図３のフローチャートにしたがってＥＶＦ動作が行われる。

ステップＳ２０５では、システム制御回路１１２が、ステップＳ２０４のＥＶＦ動作にて自動撮影フラグが立ったか否かを調べ、自動撮影フラグが立っていればステップＳ２１６へ進み、フラグが立っていなければステップＳ２０６へ進む。自動撮影フラグは、撮影者によるＳＷ１およびＳＷ２の操作なしに撮影動作を実施するための判定フラグである。ステップＳ２０６では、システム制御回路１１２が、スイッチＳＷ１の状態を調べ、ＯＮであればステップＳ２０８へ進み、ＯＮでなければステップＳ２０７へ進む。ＳＷ１の機能は、ＡＦやＡＥなどの撮影スタンバイ動作を行うことである。

ステップＳ２０７では、システム制御回路１１２が、メインＳＷの状態を調べ、ＯＮであればステップＳ２０４へ進み、ＯＮでなければステップＳ２０１へ進む。ステップＳ２０８では、システム制御回路１１２が、光学系制御回路１０２を介してＡＥ処理を行い、ステップＳ２０９では、光学系制御回路１０２を介してＡＦ処理を行う。なお、ステップＳ２０４のＥＶＦ動作にて被写体が検出されている場合には、例えば、逆光シーンにおいても撮影画像の被写体領域の明るさを最適化するなどの、被写体領域情報を用いた制御を行うことが可能である。

撮影スタンバイ動作を済ませた後のステップＳ２１０では、ＳＷ２のＯＮにより撮影動作がスタートする前の準備状態であり、撮像手段から出力されたライブ画像を画像表示器１１０に表示し、撮影者のＳＷ２の操作を待つ。ステップＳ２１１では、システム制御回路１１２が、ＳＷ２の状態を調べ、ＯＮであればステップＳ２１３へ、ＯＮでなければステップＳ２１２へ進む。ＳＷ２の機能は、ＳＷ１の操作後に撮影動作を開始することである。ステップＳ２１２では、システム制御回路１１２が、ＳＷ１の状態を調べ、ＯＮであればステップＳ２１０へ戻り、ＯＮでなければステップＳ２０４へ戻る。

ステップＳ２１３では、システム制御回路１１２が、後述する図５のフローチャートにしたがって撮影動作を行う。ステップＳ２１４では、システム制御回路１１２が、インターフェース部１０９を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ２０３へ進み、残容量が０でなければステップＳ２１５へ進む。ステップＳ２１５では、システム制御回路１１２が、ＳＷ２の状態を調べ、ＯＮであればステップＳ２１５を繰り返し、ＯＮでなければステップＳ２１２へ進む。

ステップＳ２１６では、システム制御回路１１２が、ステップＳ２０８と同様にＡＥ処理を行い、ステップＳ２１７ではステップＳ２０９と同様にＡＦ処理を行う。ステップＳ２１８では、システム制御回路１１２が、ステップＳ２１３と同様に後述する図５のフローチャートにしたがって撮影動作を行う。ステップＳ２１９では、システム制御回路１１２が、インターフェース部１０９を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ２０３へ進み、残容量が０でなければステップＳ２０４へ進む。

次に、被写体検出処理部１１１を構成する複数の被写体検出に関する処理部について説明する。
図３は、図２のステップＳ２０４のＥＶＦ動作の詳細を説明するためのフローチャートである。図３に示すフローチャートは、主にＥＶＦ動作中の被写体検出処理部１１１における検出処理に関するものであり、検出結果から、例えば、撮影画面（撮影画像）内の所定領域に被写体が侵入した場合に自動撮影する機能などを実現するものである。また、図４は、被写体検出処理部１１１における被写体検出処理を説明する図である。

ステップＳ３０１では、デジタル信号処理回路１０７が、現像処理されたライブ画像を取得する。ステップＳ３０２では、被写体検出回路１２１が、取得されたライブ画像から被写体検出処理を行う。なお、本実施形態では、検出された被写体の撮影画面に対する位置とサイズを含む被写体領域情報を求め、内部記憶媒体１０８に記憶する。

被写体検出の方法については、公知のものを用いればよい。例えば、画像をブロック分割して各ブロックの周波数特性や色相を求め、特徴的なブロックのグループを被写体として抽出する方法がある。また、例えば、画像をブロックに分割し、各ブロックに位置する被写体の距離をコントラストＡＦにより求め、比較的距離の近いブロックのグループを被写体として抽出する方法がある。また、例えば、画像の特徴点を抽出してあらかじめ用意したテンプレートと比較する方法などがある。

ステップＳ３０４では、システム制御回路１１２が、ステップＳ３０１で取得したライブ画像を画像表示器１１０へ表示する。ステップＳ３０５では、動きベクトル検出回路１２２が、ステップＳ３０２にて求めた被写体領域情報を内部記憶媒体１０８より読み出し、検出された被写体の位置とサイズを元に撮影画面内における被写体の動きベクトルを検出する。検出された動きベクトルは、内部記憶媒体１０８に記憶される。

動きベクトル検出の方法については、例えば、検出された被写体領域から抽出した画像の特徴点について、撮像手段から得られる連続する複数フレーム画像における位置変化を動きベクトルとして求める方法がある。具体的には、図４（Ａ）に示すように、ある時間のｔフレームで検出された被写体領域から抽出した画像の特徴点と、前の時間のｔ−１フレームで検出された被写体領域から抽出した画像の特徴点との位置変化から動きベクトルを求めることが可能である。動きベクトル検出の方法については、その他の公知の方法を用いてもよい。

ステップＳ３０６では、被写体侵入検出回路１２３が、あらかじめ撮影者によって撮影画面内に侵入検出領域が設定されているか否かを調べ、侵入検出領域が設定されていればステップＳ３０７へ進み、設定されていなければステップＳ３０４へ進む。ステップＳ３０７では、被写体侵入検出回路１２３が、ステップＳ３０２にて検出された被写体が設定中の侵入検出領域に侵入したか否かを検出する。被写体の侵入検出の方法については、図４（Ｂ）に示すように、侵入検出領域と被写体検出回路１２１で求めた被写体領域とが重なったか否かを調べればよい。

なお、本実施形態では、領域の重なりから侵入検出を行うが、これに限られるものではなく、例えば、侵入検出領域の輝度信号の平均値が閾値以上に変化したか否かで検出してもよい。領域の重なり以外を用いて侵入検出を行う方法については第２実施形態で説明する。

ステップＳ３０８では、ステップＳ３０７の侵入検出処理にて侵入検出領域への被写体侵入が検出されればステップＳ３０９へ進み、侵入が検出されなければステップＳ３１０へ進む。ステップＳ３０９では、システム制御回路１１２が、自動撮影フラグを設定し、ステップＳ３０４へ進む。ステップＳ３１０では、ステップＳ３０５の動きベクトル検出処理にて動きベクトルが検出されていればステップＳ３１１へ進み、検出されていなければステップＳ３０４へ進む。

ステップＳ３１１では、被写体侵入予測回路１２４が、ステップＳ３０２にて求めた被写体領域情報とステップＳ３０５で検出された動きベクトルとを内部記憶媒体１０８より読み出す。そして、被写体侵入予測回路１２４が、所定時間経過後までにステップＳ３０２にて検出された被写体が設定中の侵入検出領域に侵入するか否かの予測処理を行う。予測処理の結果は、内部記憶媒体１０８に記憶される。

簡単な侵入予測処理の方法について図４（Ｃ）に示す。読み出された動きベクトルは、ＥＶＦ動作のフレーム更新時間に対する動きベクトルであるので、検出中の被写体領域を動きベクトル分移動させた領域と侵入検出領域とが重なっていれば、フレーム更新時間後に侵入すると予測できる。このようにして（所定時間／フレーム更新時間）回数繰り返し算出することで所定時間経過後までの侵入予測が可能となる。

また、同様に検出中の被写体領域を動きベクトル分移動させた領域の重心位置と侵入検出領域の重心位置との重心位置間の距離について繰り返し算出することで、侵入すると予測されない場合であっても次のことが予測可能である。すなわち、ステップＳ３０２にて検出された被写体が、前述した所定時間内に侵入検出領域に最も接近すると予測される経過時間、すなわち最接近予測時間を予測することが可能である。

さらに、内部記憶媒体１０８に記憶された連続する過去複数回の動きベクトルについて、それぞれひとつ前の時間に検出された動きベクトルとの差分ベクトルを求め、さらに差分ベクトルの絶対値を積分する。この積分値の大きさを評価することで、検出された被写体の動きが一定に持続されているか否かを判断することが可能である。すなわち、積分値が小さければ被写体の動きが一定に維持されており、前述したような簡単な侵入予測の方法であっても予測結果の確実性が高いと判断できる。

ステップＳ３１２では、ステップＳ３１１の被写体侵入予測処理にて被写体の領域侵入が予測されればステップＳ３１３へ進み、被写体の領域侵入が予測されなければステップＳ３０４へ進む。ステップＳ３１３では、システム制御回路１１２が、ステップＳ３０２にて求めた被写体領域情報を元に、検出中の被写体領域を強調表示して画像表示器１１０に表示するための設定を行う。強調表示の一例として図４（Ｃ）に示すように、ステップＳ３０１で取得したライブ画像に対して検出中の被写体領域に枠を追加して表示してもよい。

なお、強調表示の方法は、枠の追加表示に限るものではなく、検出中の被写体領域のコントラストや色を変更して表示してもよい。また、例えば、Ｓ３１１で評価した予測結果の確実性（確度）に応じて、枠の表示方法を変えて表示してもよい。具体的には、確実性が高ければ、枠は実線表示とし、確実性が低ければ、枠は点線表示とするなど、表示方法を変更してもよい。

ステップＳ３１４では、システム制御回路１１２が、最接近予測時間の通知を撮影者に行う。具体的には、ステップＳ３０２にて検出された被写体が、侵入検出領域に最も接近するとステップＳ３１１にて予測された最接近予測時間を、画像表示器１１０に表示するなどして撮影者に知らせる。ステップＳ３１５では、ステップＳ３１１で侵入されないと予測された結果が内部記憶媒体１０８に連続して繰り返し記憶されている場合、すなわち、所定の回数以上連続して侵入しないことが予測された場合に次のことを行う。システム制御回路１１２が、被写体侵入検出回路１２３で設定されている侵入検出領域を再度設定するように撮影者に促す表示を画像表示器１１０に表示する。

図５は、図２のステップＳ２１３およびステップＳ２１８の撮影動作を詳細に説明するためのフローチャートである。
ステップＳ５０１では、システム制御回路１１２が、図２のフローチャートにおけるＡＥ処理（ステップＳ２０８）で決定した露出条件に従って固体撮像素子１０３への露光を行う。ステップＳ５０２では、撮像素子面上に結像された像が、光電変換されてアナログの画像信号となりＡ／Ｄ変換器１０６へと送られ、Ａ／Ｄ変換器１０６が、固体撮像素子１０３の出力ノイズ除去や非線形処理などの前処理の後にデジタル信号に変換する。

ステップＳ５０３では、デジタル信号処理回路１０７が、Ａ／Ｄ変換器１０６より出力される画像信号に対して現像処理を行い、ステップＳ５０４では、さらに圧縮処理を行う。ステップＳ５０５では、デジタル信号処理回路１０７が、画像信号のフォーマット変換を行い、ステップＳ５０６ではインターフェース部１０９を介して生成した画像データを外部記録装置へ記録する。

以上のように、本実施形態によれば、検出された被写体が撮影画面内の所定の領域に侵入するか否かを予測し、所定の領域に侵入すると予測される被写体について枠表示等を行うことで、被写体を待ち構える撮影をアシストすることが可能となる。検出された被写体（被写体領域）を表示装置などに表示することで、撮影者は自分の撮影したい被写体が撮影範囲に入っているか、撮影したい被写体を撮像装置が検出できているか、などを確認して撮影することができる。このため、撮影タイミングを計るうえで、撮影者のアシストとして有用である。

（第２実施形態）
次に、本発明の第２実施形態に係る撮像装置について説明する。第１実施形態では、被写体の侵入予測処理（被写体が侵入検出領域に侵入する時間の予測）を行うことにより、被写体を待ち構える撮影をアシストすることを可能とした。これに対して、本実施形態は、最適な撮影タイミングで自動撮影することにより、被写体を待ち構える撮影をアシストすることを可能にする。具体的には、被写体の侵入検出において、第１実施形態で説明した領域の重なりから検出する方法以外に、領域評価値を用いる点が異なる点である。本実施形態では、この２つの方法を用いることにより、より確実な検出を行うことが可能となる。

図６は、本実施形態に係る撮像装置の概略構成を示す図である。
なお、本実施形態に係る撮像装置は、被写体検出処理部１１１が異なる以外は、第１実施形態に係る撮像装置と同一構成とする。そこで、以下、本実施形態に係る撮像装置では、第１実施形態に係る撮像装置と同一構成のものには同一の符号を付し、その説明を省略する。

被写体検出処理部１１１は、被写体検出回路１１６、被写体侵入検出回路１１７から構成され、デジタル信号処理回路１０７にて現像処理された撮影画像について被写体の検出に関する各種処理を行う。被写体検出処理部１１１における各種処理の詳細は後述する。また、被写体検出処理部１１１における各種処理の履歴情報などは、必要に応じて内部記憶媒体１０８に一時記憶される。

次に、本実施形態に係る撮影動作について説明する。
なお、本実施形態に係る撮影動作は、第１実施形態に係る撮影動作（図２）とＥＶＦ動作（ステップＳ２０４）が異なる以外は同様とする。そこで、以下、撮影動作（図２）の差分であるＥＶＦ動作（ステップＳ２０４）についてのみ説明する。

図７は、本実施形態に係る、図２の撮影動作におけるステップＳ２０４のＥＶＦ動作の詳細を説明するフローチャートである。
図７に示すフローチャートは、主にＥＶＦ動作中の被写体検出処理部１１１における検出処理に関するものであり、検出結果から、例えば、撮影画面内の所定領域に被写体が侵入した場合に自動撮影する機能などを実現するものである。

具体的には、撮像手段より順次取得されるライブ画像に対して画像表示のための処理、および被写体検出処理部１１１における被写体検出処理を行う。そして、被写体が撮影画面内に設定された侵入検出領域に侵入したことを検出すると自動撮影検出フラグを立て、図２のステップＳ２１８における自動撮影を実現する。また、図８は、被写体検出処理部１１１における被写体の侵入検出を説明した図である。

ステップＳ７０１では、デジタル信号処理回路１０７が、現像処理されたライブ画像を取得する。ステップＳ７０２では、被写体検出回路１１６が、取得されたライブ画像から被写体検出処理を行う。被写体検出の方法については、図３のステップＳ３０２において説明したように、公知の例を用いればよい。ステップＳ７０３では、ステップＳ７０２の被写体検出処理で被写体が検出されていればステップＳ３０５へ進み、検出されていなければステップＳ７０４へ進む。ステップＳ７０４では、システム制御回路１１２が、ステップＳ７０１で取得したライブ画像を画像表示器１１０へ表示する。

ステップＳ７０５では、被写体検出回路１１６が、ステップＳ７０２の被写体検出処理で検出された被写体について、検出された被写体の撮影画面に対する位置とサイズ、および検出された被写体領域の領域評価値を算出する。また、被写体検出回路１１６が、算出した領域評価値を被写体領域情報として内部記憶媒体１０８に記憶する。なお、本実施形態では、領域評価値として対象領域の輝度信号の平均値を用いる。また、ステップＳ７０２において被写体が複数検出されていた場合には、それぞれ検出された被写体に対して被写体領域情報を記憶する。

ステップＳ７０６では、被写体侵入検出回路１１７が、あらかじめ撮影者によって撮影画面内に侵入検出領域が設定されているか否かを調べ、侵入検出領域が設定されていればステップＳ７０７へ進み、設定されていなければステップＳ７０４へ進む。ステップＳ７０７では、被写体侵入検出回路１１７が、侵入検出領域の領域評価値を算出し、内部記憶媒体１０８へ記憶する。内部記憶媒体１０８は、ステップＳ７０５およびステップＳ７０７で算出し記憶した各値について、各値の変化履歴を評価することができるように過去に算出し記録した各値を所定時間保持する。

ステップＳ７０８では、被写体侵入検出回路１１７が、侵入検出領域について被写体の侵入検出を行う。被写体の侵入検出の方法は、まず、図８（Ａ）に示すように、侵入検出領域と被写体検出回路１１６が検出した被写体領域とが重なったか否かを調べる。複数の被写体が検出されている場合には、侵入検出領域に被写体領域が重なった当該被写体を特定する。さらに、ステップ７０７で算出し内部記憶媒体１０８に記憶された侵入検出領域の領域評価値について、直近の過去に取得した複数のライブ画像から算出した領域評価値と比較し、設定された閾値以上の変化があるか否かを調べる。

領域の重なりおよび領域評価値の２つの点で侵入検出を行うことで、より適切で確実な検出を行うことが可能となる。例えば、被写体検出が色情報による検出であった場合には、輝度に関する領域評価値を用いることで、画像信号の色と輝度の両方の情報から被写体の侵入検出を行うことができる。閾値の設定は、侵入検出領域に重なった被写体領域の大きさと、その被写体領域における領域評価値とから決定する。

例えば、侵入検出領域が侵入検出領域と重なった被写体領域と同じ大きさであれば、侵入検出領域の領域評価値と当該侵入検出領域と重なった被写体領域における領域評価値との差分の半分を閾値として設定する。また、例えば、侵入検出領域と重なった被写体領域が、侵入検出領域の半分の大きさであれば、上述した差分の１／４を閾値として設定する。

図８（Ｂ）は、前述した閾値と、被写体領域の大きさとの関係について説明した図である。図８（Ｂ）に示すグラフは、侵入検出領域の領域評価値の時間変化を示している。また、図８（Ｂ）に示す図は、検出した被写体領域の大きさが異なる２つのシーンを示している。侵入検出領域に被写体が侵入する前の侵入検出領域は、スケートリンクの一様な氷面であり、領域評価値（輝度信号の平均値）は、高めのＶ１の値を示す。

ｔｉｎ時間に侵入検出領域に被写体が侵入を開始し、その後に侵入検出領域に被写体が停止した場合、領域評価値は、検出した被写体領域の大きさが小さい場合にはＶ２、検出した被写体領域の大きさが大きい場合にはＶ３に、時間経過とともに変化し収束する。侵入検出領域の領域評価値の変化量が半分となった場合に、設定された侵入検出領域に被写体領域の半分程度が侵入していると考えられ、このタイミングで侵入したと検出するものとする。

この場合、領域評価値の変化量の閾値は、検出した被写体領域の大きさ（第２の値）が小さい場合にはＴｈ１（第２の閾値）、検出した被写体領域の大きさ（第１の値）が大きい場合にはＴｈ２（第１の閾値）に設定することが適切である。すなわち、被写体の大きさが第１の値であるときは第１の閾値を設定し、被写体の大きさが第１の値よりも小さい第２の値であるときは第１の閾値よりも小さい第２の閾値を設定する。言い換えると、第１の値被写体の大きさが大きいほど、大きい閾値を設定する。これは、例えば、閾値の設定が小さすぎた場合には侵入検出領域への侵入開始直後に侵入したと検出されてしまう。そして、検出結果を受けて自動撮影（ステップＳ２１８）された撮影画像において、設定した侵入検出領域の中心から離れた位置に被写体が写ることになってしまうためである。

図７の説明に戻る。ステップＳ７０９では、侵入検出領域への被写体の侵入が検出されればステップＳ７１０へ進み、侵入が検出されなければステップＳ７０４へ進む。ステップＳ７１０では、システム制御回路１１２が、自動撮影フラグを設定し、ステップＳ７０４へ進む。

なお、本実施形態における領域評価値は、輝度信号の平均値を用いたがこれに限定されるものでなく、輝度信号を高域バンドパスフィルタに通して得られたエッジ信号や、色信号を対象領域の領域評価値としても良い。領域評価値として、被写体検出方法と異なる信号を用いることにより、侵入検出領域における被写体検出の信頼度（確度）をあげることができる。また、検出中の被写体の距離が変化すると被写体の大きさも変化するため、内部記憶媒体１０８に記憶した被写体の大きさの履歴から被写体が侵入検出領域に侵入するときの大きさを予測し、閾値設定に反映してもよい。すなわち、リアルタイムに被写体領域の大きさに応じた閾値を設定するのではなく、予測した大きさに基づき算出した閾値を用いてもよい。

このように、本実施形態によれば、侵入検出領域に侵入する被写体の大きさに応じて、領域評価値の評価に用いる閾値を決定する。これにより、侵入検出領域に対して被写体が最適な位置にある場合など、最適な撮影タイミングで自動撮影を行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１１１ 被写体検出処理部
１１２ システム制御回路
１２１ 被写体検出回路
１２２ 動きベクトル検出回路
１２４ 被写体侵入予測回路

Claims (14)

1. 撮影画像において被写体を検出する被写体検出手段と、
   撮影画像から前記被写体の動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルに基づき、撮影画像の所定の領域に前記被写体が侵入するか否かを予測する予測手段と、
   前記被写体が侵入すると予測された場合に、前記被写体の強調表示を行う表示手段と、を備える
   ことを特徴とする撮像装置。
2. 前記被写体が前記所定の領域に侵入しないと予測された場合に、前記予測手段は、前記動きベクトルに基づき、該被写体が該所定の領域に最も接近する時間を算出し、通知する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体が前記所定の領域に侵入しないことが、所定の回数以上連続して予測された場合に、前記所定の領域を再度設定するよう通知する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記表示手段は、被写体領域を枠で囲うことにより強調表示を行う
   ことを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記予測手段は、前記動きベクトル検出手段により検出された連続する動きベクトルの差分ベクトルを積分した値に基づき予測の確度を算出し、
   前記表示手段は、前記確度に応じて前記被写体領域を囲う枠を実線か点線かで表示する
   ことを特徴とする請求項４に記載の撮像装置。
6. 撮影画像において被写体を検出する被写体検出手段と
   撮影画像の所定の領域に対して領域評価値を算出する算出手段と、
   前記被写体の被写体領域と前記所定の領域とが重なったことを検出する重なり検出手段と、
   前記被写体領域と前記所定の領域とが重なったことが検出された場合であって、前記領域評価値の変化量が閾値以上のときに、前記被写体が前記所定の領域に侵入したと判断する判断手段と、を備え、
   前記判断手段は、前記被写体の大きさが第１の値であるときは第１の閾値を設定し、前記被写体の大きさが前記第１の値よりも小さい第２の値であるときは前記第１の閾値よりも小さい第２の閾値を設定する
   ことを特徴とする撮像装置。
7. 前記領域評価値は、前記所定の領域の輝度信号、色信号、またはエッジ信号に基づく値のいずれかである、
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記被写体検出手段により複数の被写体が検出された場合に、前記判断手段は、前記複数の被写体のうち前記重なり検出手段が前記所定の領域と重なったと検出した被写体を特定する、
   ことを特徴とする請求項６または７に記載の撮像装置。
9. 撮影画像において前記被写体の大きさが変化する場合に、前記判断手段は、前記所定の領域に該被写体が侵入するときの大きさを予測し、該予測された大きさを用いて前記閾値を設定する
   ことを特徴とする請求項７ないし９のいずれか１項に記載の撮像装置。
10. 前記被写体が前記所定の領域に侵入した場合に、自動撮影を行う
    ことを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
11. 撮影画像において被写体を検出する被写体検出工程と、
    撮影画像から前記被写体の動きベクトルを検出する動きベクトル検出工程と、
    前記動きベクトルに基づき、撮影画像の所定の領域に前記被写体が侵入するか否かを予測する予測工程と、
    前記被写体が侵入すると予測された場合に、前記被写体の強調表示を行う表示工程と、を有する
    ことを特徴とする撮像装置の制御方法。
12. 請求項１１に記載した撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 撮影画像において被写体を検出する被写体検出工程と
    撮影画像の所定の領域に対して領域評価値を算出する算出工程と、
    前記被写体の被写体領域と前記所定の領域とが重なったことを検出する重なり検出工程と、
    前記被写体領域と前記所定の領域とが重なったと検出された場合に、前記領域評価値の変化量が閾値以上の場合に、前記被写体が前記所定の領域に侵入したと判断する判断工程と、を有し、
    前記判断工程において、前記被写体の大きさが第１の値であるときは第１の閾値が設定され、前記被写体の大きさが前記第１の値よりも小さい第２の値であるときは前記第１の閾値よりも小さい第２の閾値が設定される
    ことを特徴とする撮像装置の制御方法。
14. 請求項１３に記載した撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images