JP2011097502A - 撮影制御装置および撮影制御方法 - Google Patents

Abstract

【課題】リモコン送信機を用いないでワイヤレスに遠隔操作の撮影制御を行う撮影制御装置において、撮影操作者が意図したタイミングでの撮影を確実に行うのに、撮影操作者に求める操作はごく簡単なもので、より高い操作性、より速い高速性が得られるようにする。
【解決手段】画像データにおける被写体の顔領域Ｋを検出する顔領域検出手段２と、検出顔領域Ｋが位置的に安定するかを監視し、安定した検出顔領域Ｋを基準にして所定範囲内に画像認識領域Ｎを定める認識領域設定手段３と、設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出する動きベクトル抽出手段４と、動きベクトル変化Ｖが所定のものであるかの認識を行う画像認識手段５と、画像認識手段５による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御手段６とを備える。
【選択図】図１

Description

本発明は、リモコン送信機を用いないでワイヤレスに遠隔操作の撮影制御を行うもので、画像認識に基づいた自動撮影が可能なデジタルカメラなどの撮影制御装置にかかわり、特には、撮影操作者が意図したタイミングでの撮影を確実に行うのに、操作性、効率性を高めるための技術に関する。また、撮影制御方法に関する。

従来より赤外光利用のリモコンシステムを搭載したカメラが提案されている。これにより、カメラ本体のレリーズボタンを直接に押下げるのではなく、離れた位置でリモコン送信機の撮影ボタンを押せば撮影が可能になる。しかし、カメラのコストアップや大型化の要因になることも事実である。そこで、リモコンを用いなくても遠隔操作でレリーズ動作が可能なカメラが提案されている。それは、画像認識に基づいた自動撮影である。

特許文献１においては、撮像素子により取得した画像データに対して、被写体におけるＶサインなどの形状認識（図１０（ａ）参照）、または被写体におけるＳ字カーブなどの動きの軌跡の認識（図１０（ｂ）参照）、または被写体に含まれるバーコードなどのパターンまたは色の認識（図１０（ｃ）参照）を通じて、該当するものが検出されたときにレリーズ制御を行うことが開示されている。

また、特許文献２においては、撮影操作者が装置本体の表示画面上でターゲットマークを指定し、その後、撮影操作者が撮影視野内に写り込むように移動して、ターゲットマーク相当位置に顔を置けばトリガーがかかるという方法が開示されている。すなわち、スルー画像表示の画面上に表示されるターゲットマークを撮影操作者が移動操作して撮影視野内の所望の位置を指定する。その後、指定位置に対応するターゲット領域を対象として、特定人物の顔の画像認識を行い、認識すればそれをトリガーとして撮影に関する所定の動作を行う。

また、特許文献３においては、オートフォーカスの成立で直ちに撮影をトリガーしてしまう場合の、意図しないタイミングでの撮影といった不都合をなくす。例えば被写体人物の手のＶサインを撮影トリガーとすれば、意図したタイミングでの撮影が可能となる。しかし、オートフォーカスがそのＶサインを対象とすれば、被写体人物の顔へのピント合わせができなくなる。この２つの課題をクリアするのが特許文献３に開示の技術である。そこでは、カメラの操作者が２人想定されている。カメラのシャッタボタンを操作する者と、カメラに映っていて撮影のトリガー操作を行う者とである。まず操作者Ａによるカメラ本体を持っての操作により被写体である操作者Ｂの顔を認識し、次いでオートフォーカスを行う。シャッタボタンを全押した操作者Ａは操作者Ｂに近づき自らも被写体となる。そして、操作者ＢがＶサインを出す。このＶサインと手の肌色の認識を行い、認識すると、それを撮影トリガーとして撮影処理を実行する（段落［００３５］〜［００５１］、特に［００４７］、［００４８］、［００５０］、［００５１］および図２、図３、図５参照）。

特開２００２−１２２９３４号公報 特開２００８−２８３５０２号公報 特開２００９−１４７５７４号公報

特許文献１の場合は、Ｖサインなどの形状認識、Ｓ字カーブなどの動き認識、バーコードなどのパターン認識の基準となる所定の形状データ、動きデータ、パターンデータをあらかじめ所定の記憶領域に登録しておかなければならない煩わしさがある。腕を振った掌の例えば「Ｓ」字の軌跡や人間が動作可能な軌跡（丸・三角・四角・アルファベット・ひらがな・マーク等の軌跡）を検出するためには、軌跡なるものが時間的にも空間的にも連続しているものである以上、レリーズ動作前に連続撮影を行い、その軌跡を検出する前処理が必ず必要になる。しかし、そのような連続撮影と前処理には時間がかかり、これが意図したタイミングでの撮像をむずかしいものとする。これを検出精度を高くして実現可能とするためには、ＣＰＵとして高機能で大規模なものを搭載する必要があるが、コスト面からもその実現はむずかしい。加えて、取得した画像データにおいて動きを検出する領域は画面の全領域となっているが、画面全領域の監視にはＣＰＵに大きな負荷をかけることになる。また、画面全領域を監視対象とするゆえ、背景に鳥や飛行機など動体が入ってくれば、それをサインと誤認識してしまい、まったく意図しないタイミングで撮影が行われてしまう可能性もある。これら不都合の原因は、監視領域（画像認識領域）が画面全領域であって小面積領域に限定されておらず、広く拡散していることにあるといえる。

また、特許文献２の場合は、撮影に先立って撮影操作者に強いる作業が多すぎる。特定人物の画像登録、セルフタイマーモードの設定、登録人物内での特定人物の選択、ターゲットマークの移動によるターゲット領域の設定などの操作が必要であり、それらが複数ステップにわたるので、非常に煩わしいものとなっている。さらにターゲット領域の指定について必ずしも撮影操作者が最適な領域を指定するとは限らず、認識対象の動き検出の精度が悪くなりやいという問題がある。また、指定したターゲット領域の大きさによっては画像処理するデータ量が多くなりすぎて、レリーズ処理に要する時間が長くかかり、最適なタイミングでのレリーズ動作が行えなくなるという問題もある。

また、特許文献３の場合は、特許文献１と同様に、取得した画像データにおいてサインを検出する領域は画面全領域となっているが、画面全領域の監視にはＣＰＵに大きな負荷をかけることになる。また、画面全領域を監視対象とするゆえ、背景に鳥や飛行機など動体が入ってくれば、それをサインと誤認識してしまい、まったく意図しないタイミングで撮影が行われてしまう可能性もある。また、「１」の字を描くような手の動きを画像データ間の動きベクトルをもって検出するので、処理すべきデータ量が膨大となり、ＣＰＵとして高機能で大規模なものを搭載する必要が生じるが、コスト面からもその実現はむずかしい。検出する精度が低いと実使用において時間がかかり、レリーズ処理に要する時間が長くかかり、最適なタイミングでレリーズ動作が行えない場合がある。

本発明は、このような事情に鑑みて創作したものであり、リモコン送信機を用いないでワイヤレスに遠隔操作の撮影制御を行う撮影制御装置において、撮影操作者が意図したタイミングでの撮影を確実に行うのに、被写体ともなる撮影操作者に求める操作はごく簡単なものでありながら、より高い操作性、より速い高速性が得られるようにすることを目的としている。

本発明は、次のような手段を講じることにより上記の課題を解決する。

本発明では、次のように考える。まず被写体の顔領域を検出し、次いで検出顔領域が位置的に安定するかを監視し、安定すれば、その安定した検出顔領域を基準にして所定範囲内に画像認識領域（トリガー領域）を定める。この画像認識領域については、胸元の一定範囲、顔の横の一定範囲、頭の上側の一定範囲、腰の横の一定範囲など任意であり、またその大きさや数も任意である。この画像認識領域は単一でも複数でもよい。単一の場合は、検出顔領域から一定方向、一定距離に定められることになる。複数の場合は、検出顔領域からの方向や距離が様々な複数の画像認識領域のうちから所望するものを選択するものとする。続いてその定めた画像認識領域を調べ、画像認識領域において動きがあるかどうか、その動きが所定のものかを監視する。この動きについては、手を動かす（回転、左右往復（手を振る）、上下往復、斜め往復など）、結んで開いてをするなど任意である。検出した被写体の動きが所定のものであるときは、その動きの認識結果に応じて撮影に関する所定の制御信号を生成させる。所定のものというのは、回転、左右往復、上下往復、斜め往復や結んで開いてなどのことを指す。「所定のもの」、「認証結果」は単に１項目だけでもよいし、複数項目でもよい。１項目だけのときは、画像認識領域での動きがありさえすればよい、ということになる。この場合、所定の制御については、画像認識領域において動きを検出すれば、例えばシャッタを切るといった１つの動作に関する制御となる。複数項目の場合は、第１の動き検出に対しては第１の制御を行い、第２の動き検出に対しては第２の制御を行い、第ｎの動き検出に対しては第ｎの制御を行うといったように構成する。あるいは、Ａの動きを検出し次いでＢの動きを検出したときは第１の制御を行い、逆に、Ｂの動きを検出し次いでＡの動きを検出したときは第２の制御を行うといったように構成する。

検出顔領域が位置的に安定するのを検出するということは「静」の検出ということができる。また、動きを検出し、その動きが所定のものであるかということは「動」の検出ということができる。この「静」の検出から「動」の検出への遷移が１つの条件となっている。被写体でもある撮影操作者は、撮影視野内でまず体の動きを止め（顔位置の安定）、そして手など体の一部を特定範囲で動かす。それだけで、撮影制御装置側は所定の制御信号を生成する。撮影操作者が行うのは、撮影視野内で体の動きを止め、手など体の一部を特定範囲で動かすだけでよい。ただそれだけで、意図したタイミングでの撮影が行えるのである。

これを画像データの面から観察すると、検出顔領域の位置の安定化の判断と、画像認識領域の設定と、画像認識領域での動きベクトル変化の検出ということになる。顔領域の検出の技術はすでに様々なものが開発されている。検出顔領域の位置の安定化を判断することも容易である。画像認識領域での動きベクトル変化の技術についてもすでに様々なものが開発されている。本発明の技術ポイントは、画像認識領域を検出顔領域基準で所定範囲内に定めることであるが、このこと自体は技術的にそれほどむずかしいことではない。画像認識領域の位置については、位置が安定化した検出顔領域から例えば水平・垂直両走査方向にそれぞれ何画素分変位した位置かをあらかじめ決めておけばよいし、画像認識領域のサイズについても例えば水平・垂直両走査方向で何画素分かをあらかじめ決めておけばよい。したがって、位置が安定化した検出顔領域が確定すれば、それを基準とする画像認識領域の割り出し・設定はたやすいものである。画像認識領域を検出顔領域基準で所定範囲内に定めることは、技術的にはそれほどむずかしいことではないが、このことが課題の解決に大いに有効に作用するのであり、本発明の技術ポイントとなっている。

本発明は、このように、
〔１〕「静」の検出である、顔領域の検出とその検出顔領域の位置の安定化待ち
〔２〕位置が安定化した検出顔領域を基準とする画像認識領域の割り出し・設定
〔３〕「動」の検出である画像認識領域での所定の動きの検出
の一連のステップの組み合わせからなっている。「静」→画像認識領域→「動」である。従来技術に認められた課題を解決するために、この３つの技術的事項を有機的に結びつけたことに本発明の技術的ポイントがある。

以下、本発明の構成を図１を用いて説明する。

上記の一連のステップの組み合わせを実現するために、本発明の撮影制御装置は、撮像手段１、顔領域検出手段２、認識領域設定手段３、動きベクトル抽出手段４、画像認識手段５、撮影制御手段６を備える。顔領域検出手段２は、撮像手段１によって得られる被写体の画像データを取り込み、その画像データにおいて被写体の顔の位置情報と大きさ情報からなる顔領域Ｋを検出し、その顔領域Ｋの情報を認識領域設定手段３に渡す機能を有するものとして構成されている。認識領域設定手段３は、顔領域検出手段２による検出顔領域Ｋが位置的に安定するかを監視し、安定した検出顔領域Ｋを基準にして所定範囲内に画像認識領域Ｎを定め、その定めた画像認識領域Ｎの情報を動きベクトル抽出手段４に渡す機能を有するものとして構成されている。動きベクトル抽出手段４は、認識領域設定手段３によって設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出し、抽出した動きベクトル変化Ｖを画像認識手段５に渡す機能を有するものとして構成されている。画像認識手段５は、動きベクトル変化Ｖが所定のものであるかどうかの認識を行い、その認識結果を撮影制御手段６に渡す機能を有するものとして構成されている。撮影制御手段６は、画像認識手段５による認識結果に応じて撮影に関する所定の制御信号を生成するものとして構成されている。

以上を要するに、本発明による撮影制御装置は、
撮像手段１から送られてくる画像データにおける被写体の顔の位置情報と大きさ情報からなる顔領域Ｋを検出する顔領域検出手段２と、
顔領域検出手段２による検出顔領域Ｋが位置的に安定するかを監視し、安定した検出顔領域Ｋを基準にして所定範囲内に画像認識領域Ｎを定める認識領域設定手段３と、
認識領域設定手段３によって設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出する動きベクトル抽出手段４と、
動きベクトル抽出手段４による動きベクトル変化Ｖが所定のものであるかの認識を行う画像認識手段５と、
画像認識手段５による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御手段６とを備えた構成とされている。

なお、この構成では、撮像手段１自体は必須の構成要素ではなく、外的な構成要素である。

上記の解決手段を撮影制御方法として記述すると、次のようになる。すなわち、本発明による撮影制御方法は、
撮像によって送られてくる画像データにおける被写体の顔の位置情報と大きさ情報からなる顔領域Ｋを検出するステップと、
検出顔領域Ｋが位置的に安定するかを監視し、安定した検出顔領域Ｋを基準にして所定範囲内に画像認識領域Ｎを定めるステップと、
設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出するステップと、
動きベクトル変化Ｖが所定のものであるかの認識を行うステップと、
動きベクトル変化Ｖについての認識結果に応じて撮影に関する所定の制御信号を生成するステップとを含むものである。

本発明の上記の構成では、被写体でもある撮影操作者が撮影視野内で体の動きを止め、顔位置を定め、次いで手など体の一部を画像認識領域Ｎ相当の特定範囲で動かすだけで、撮影制御装置側は所定の制御信号を生成することができる。すなわち、被写体の動きは撮像手段１によって捉えられ、顔領域検出手段２に渡される。顔領域検出手段２は、取り込んだ被写体画像データにおいて被写体の顔の位置情報と大きさ情報からなる顔領域Ｋを検出し（図１（ｂ）参照）、その検出顔領域Ｋの情報を認識領域設定手段３に渡す。認識領域設定手段３は、検出顔領域Ｋが位置的に安定するかを監視し、安定すれば、その安定した検出顔領域Ｋを基準にして所定範囲内に画像認識領域Ｎを設定し（図１（ｃ）参照）、動きベクトル抽出手段４に伝える。動きベクトル抽出手段４は、画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について、時間軸での動きベクトル変化Ｖを抽出し、抽出した動きベクトル変化Ｖを画像認識手段５に渡す。画像認識手段５は、動きベクトル変化Ｖが所定のものであるかどうか認識し（図１（ｄ）参照）、その認識結果を撮影制御手段６に渡す。撮影制御手段６は、画像認識手段５による認識結果に応じて撮影に関する所定の制御信号を生成する。

この一連の過程の中で撮影操作者が行うのは、被写界内で体の動きを止め、手など体の一部を画像認識領域Ｎ相当の特定範囲で動かすだけでよい。ただそれだけで、意図したタイミングでの撮影が行える。画像認識領域Ｎは検出顔領域Ｋを基準にして所定範囲内に定められるもので、検出顔領域Ｋからどの方向にどれだけ隔たっているかは、あらかじめ定められているから、その画像認識領域Ｎにおける動き検出の精度は高いものとなる。撮影視野は検出顔領域Ｋに比べて広い。その広い撮影視野内のどこでサインが発せられるのかを見極めることは、撮影視野の全領域を隈なく探索する従来技術では、大きな負担となっているが、本発明では、検出顔領域Ｋを基準にして所定範囲内に比較的小さな画像認識領域Ｎが定められるから、その見極めが迅速・容易なものとなり、精度も高いものとなる。結果、検出ミスによる誤動作が抑えられるとともに、装置制御部、演算部の負担は大幅に軽減される。すなわち、トリガタイミングが早期のものとなる。その結果として、撮影操作者が意図したタイミングでの撮影は確実なものとなる。これは、送受信機を必要としないワイヤレスリモコンであり、遠隔的なレリーズ制御にも適用可能である。

本発明の特徴は次のようにいうことができる。取り決め事を実現するための手段が従来技術のように装置内部に集約されているのではなく、取扱説明書を介して装置と撮影操作者とが結び付けられ、撮影操作者の記憶のうちにある事柄が大きなウェイトを占めている。つまり、「撮影視野内で体の動きを止め、顔位置を定め、次いで手など体の一部を特定範囲で動かす」という記憶である。しかし、「撮影視野内で体の動きを止め、顔位置を定め、次いで手など体の一部を特定範囲で動かす」という記憶と動作とは、撮影操作者にとってほとんど負担とはならないものである。装置側としても、被写体の画像データから顔領域Ｋを検出し、検出顔領域Ｋの安定を待って、検出顔領域Ｋを基準に画像認識領域Ｎを設定し、画像認識領域Ｎにおける動きベクトル変化Ｖを抽出し判断することは、従来技術の場合に認められた複雑なステップを踏む膨大な処理の演算に比べれば、比較的軽微なものですむ。装置には、回路規模の増大やコストの増大の負担をあまり強いることなく、実現が可能となっている。画像認識領域Ｎの設定は、迅速・容易に行え、この点での処理スピードと効率のアップを図ることが可能となる。

本発明の上記構成によれば、以上のトータルで、撮影操作者が意図したタイミングでの確実な撮影の効果を、回路規模の増大を抑制しながら、簡単な操作性の下で実現することが可能となっている。

（２）上記（１）の構成の撮影制御装置では、上記の一連のステップからなるシーケンスを開始するのに先立って、撮影制御装置の振れがないことを検査し、振れがないことが確認されたときに初めて、上記のシーケンスを開始するように構成することが考えられる。この場合には、図２に示すように、さらに、装置本体の振動を検出する手振れ検出手段７を利用するものとする。この手振れ検出手段７は、撮影制御装置の継続的な振動無し状態を検出することを通じて、撮影制御装置が例えば三脚などに固定された状態であると判定するものである。つまり、手振れ検出による遠隔撮影状況そのものの自動検出である。

要するに、上記（１）の構成の撮影制御装置において、さらに、撮影制御装置の振動を検出し継続的な振動がないと判定すると、認識領域設定手段３、画像認識手段５を起動する手振れ検出手段７を備えているという態様である。

このように構成すれば、手振れ検出手段７による装置本体の手振れ検出の検出結果（否定の結果：振動なし）を利用して、遠隔撮影状況であることそのものの自動検出が可能となる。手振れ検出手段７において撮影制御装置の振動があると判定すれば認識領域設定手段３、画像認識手段５の起動はなく、上記の一連のシーケンスは機能しないが、手振れ検出手段７において撮影制御装置の継続的な振動がないと判定すれば認識領域設定手段３、画像認識手段５を起動し、上記の一連のシーケンスを機能させることになる。

遠隔操作ではない通常の手持ち撮影処理において、装置本体を持っている撮影操作者が自己の意図したタイミングで撮影を行いたい場合に、撮影操作者以外の者で被写体となっている者が特定の動きをしたために、撮影操作者の意図に反したタイミングで制御が行われてしまうといった不都合を回避することが可能となる。

撮影制御装置が固定された状態であると判定するということは「静」の検出ということができる。前述の〔１〕，〔２〕，〔３〕に先立つ条件として、〔０〕「静」の検出である撮影制御装置の固定状態判定を置けば、
〔０〕「静」の検出である撮影制御装置の固定状態判定
〔１〕「静」の検出である、顔領域の検出とその検出顔領域の位置の安定化待ち
〔２〕位置が安定化した検出顔領域を基準とする画像認識領域の割り出し
〔３〕「動」の検出である画像認識領域Ｎでの所定の動きの検出
の一連のステップの組み合わせからなっている。「静」→「静」→画像認識領域→「動」である。上記（１）の場合に比べて条件が１つ追加となっているので、制御の信頼性を高めることが可能で、しかも一般に搭載されることの多い手振れ検出手段７の機能を援用するので、構成の過剰な複雑化を招かなくてすむ。

本発明によれば、位置が安定化した検出顔領域を基準に画像認識領域を定め、画像認識領域での動きベクトル変化が所定のものであるかの認識を行った上でその認識結果に応じた制御を行わせるように構成したので、撮影操作者としては被写界内で体の動きを止め、手など体の一部を画像認識領域相当の特定範囲で動かすだけでよく、それだけで撮影操作者が意図したタイミングでの確実な撮影を実現することができる。加えて、画像認識領域を検出顔領域基準で所定範囲内に定めることは技術的に比較的容易であり、その画像認識領域は比較的小さくて動きベクトル変化の判定の精度が高く、検出ミスによる誤動作が抑えられることから、装置制御部、演算部の負担は大幅に軽減され、回路規模の増大を抑制すること、ならびに処理スピードと効率を上げることも可能である。

本発明における撮影制御装置の基本的構成を示すブロック図 本発明における撮影制御装置の基本的構成の１態様の構成を示すブロック図（その１） 本発明における撮影制御装置の基本的構成の１態様の構成を示すブロック図（その２） 本発明における撮影制御装置の基本的構成の１態様の動作の説明図 本発明の実施例における撮影制御装置の構成を示すブロック図 本発明の実施例における撮影制御装置の動作を示すフローチャート 本発明の実施例における撮影制御装置の動作を説明する被写体構図 本発明の実施例における撮影制御装置の動作の説明図（その１） 本発明の実施例における撮影制御装置の動作の説明図（その２） 従来の自動撮影モードを実現する画像処理の説明図

上記した（１），（２）の構成の本発明の撮影制御装置は、次のような実施の形態においてさらに有利に展開することが可能である。

（３）上記（２）の構成の手振れ検出手段７について、これをジャイロセンサで構成するという好ましい態様がある。ジャイロセンサを用いて実施すれば、簡単でありながら手ぶれ検出の精度が高い。

（４）上記（１）〜（３）の構成の認識領域設定手段３については、次のような好ましい態様がある。それは、顔領域検出手段２による安定した検出顔領域Ｋを基準にして所定範囲内に定める画像認識領域Ｎについて、検出顔領域Ｋの被写体人物の胸元の所定範囲に対応する胸元エリアを定めるというものである。この胸元エリアにおける任意の動作について時間軸での動きベクトル変化Ｖが抽出されることになる。被写体でもある撮影操作者は、撮影に関する所定の制御信号を生成するための動作を行うに当たって、その動作を行うべきエリアについては、自らの胸元のエリアが最も分かりやすく、記憶しやすく、動作もしやすいエリアである。装置側でも、検出顔領域Ｋからの相対位置関係（方向および距離）が非常に単純な関係であり、演算処理量も少なくてすむ。

（５）上記（１）〜（４）の構成の顔領域検出手段２については、次のような好ましい態様がある。その顔領域検出手段２は、撮像手段１からのスルー画像の表示中に、動画を構成する複数フレームのうち所定のフレームの画像データ内の人物についてその顔領域を検出する。このとき、フレーム毎に連続的に検出するものとする。

一般的に、撮像手段１からの画像データに対する一連のシーケンス処理（画像信号処理、リサイズ処理、顔検出処理、動きベクトル検出処理、圧縮処理、表示処理の並行処理）をスルー画像の表示中に行うモニタモードがある。このモニタモードでのシーケンス処理において、当該の顔検出処理も行うこととするものである。動画を実現する複数フレームのうち所定のフレーム画像内の人物についてその顔領域（顔の位置と大きさ情報）をフレーム毎に連続的に検出し、その検出で得た情報を次段の動きベクトル抽出手段４に渡すものである。

（６）上記（２）の手振れ検出手段７をもつ構成において、その動きベクトル抽出手段４および画像認識手段５については、次のような好ましい態様がある。撮像手段１からのスルー画像の表示中において、手振れ検出手段７により当該画像装置が固定された状態であると判定すれば、顔領域検出手段２、認識領域設定手段３に引き続いて動きベクトル抽出手段４と画像認識手段５を起動するように構成されているという態様である。これは、これら複数の手段による一連の動作を有機的に結びつけるものである。

（７）上記（１）〜（６）の構成の動きベクトル抽出手段４について、次のような好ましい態様がある。図３を用いて説明する。動画圧縮手段８は、リサイズ画像に対して動画圧縮を行うが、動きベクトル抽出手段４はその動画圧縮手段８における動画圧縮の中間処理として機能するものとして構成されており、基本ブロック単位の動きベクトルの方向と動画を構成する複数のフレーム間の時間的変化を抽出する。そのような動きベクトル抽出手段４を利用して、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出するのである。ここで、リサイズ画像としては、任意にリサイズされた動画規格サイズの動画画像でもよいし、あるいは装置本体での表示サイズにリサイズされた画像でもよい。一般的に撮影制御装置に搭載されている動画圧縮手段８は、その動画圧縮の中間処理として動きベクトル抽出を行う機能を備えている。この動きベクトル抽出手段４を利用するという趣旨である。

（８）上記（１）〜（７）の構成の動きベクトル変化Ｖが所定のものであるかの認識を行う画像認識手段５については、次のような好ましい態様がある。それは、撮像手段１からのスルー画像の表示中に、画像認識手段５が、動きベクトル抽出手段４による一定期間中の動きベクトル変化Ｖが所定のものであることを認識すれば撮影トリガー信号を発生するというものである。これはいわゆるモニタモードにおいて、本発明のメインテーマの処理を遂行するということである。

（９）画像認識手段５についてはまた、次のような好ましい態様がある。撮影トリガー信号を発生する条件は、一定期間中の動きベクトル変化Ｖが所定のものであることであるが、これを動きベクトル変化Ｖが周期的な変化であることとする。つまり、画像認識手段５は、動きベクトル抽出手段４による動きベクトル変化Ｖが周期的な変化であると認識すると、撮影トリガー信号を発生するというものである。周期的変化を捉えるので、動きベクトル変化Ｖの検出の精度が高くなる。

（１０）また、画像認識手段５は、撮像手段１からのスルー画像の表示中に、画像認識領域Ｎ内で一定期間の継続的な回転運動を認識するという態様もある。

（１１）また、画像認識手段５は、撮像手段１からのスルー画像の表示中に、画像認識領域Ｎ内で一定期間の継続的な直線運動を認識するという態様もある。

（１２）画像認識手段５は、動きベクトル抽出手段４による動きベクトル変化Ｖが画像認識領域Ｎの範囲を超える大きな変化であると認識したときは、さらにその変化が周期的に繰り返されるかを判断し、繰り返しを認識したときに撮影トリガー信号を発生するという態様もある。図４（ａ），（ｂ）のように、画像認識領域Ｎの内部で周期的な動きベクトル変化Ｖがあるときは、それが周期的なものと判断することは比較的容易である。これに対して、図４（ｃ），（ｄ）のように、動きベクトル変化Ｖが画像認識領域Ｎをはみ出している場合は、画像認識領域Ｎ内では周期的でなく一過性の動きと判断されてしまう。そこで、動きベクトル変化Ｖがはみ出すような場合には、画像認識領域Ｎに対して、その辺縁への入りと辺縁からの出とを同じように繰り返すか否かの判断を行うこととする。この同じような動きが繰り返されることを画像認識手段５が認識したときは、撮影制御手段６にその旨の認識結果を渡し、撮影制御手段６によって撮影に関する所定の制御信号が生成されることになる。

（１３）上記（１）〜（１２）の構成の撮影制御手段６について、次のような好ましい態様がある。画像認識手段５による所定の認識対象の画像認識が成立した場合にレリーズ動作の制御を実行し、画像認識が成立しない場合には画像認識動作の継続を実行することである。

（１５）上記の〔課題を解決するための手段〕で説明した撮影制御方法に関しては、
さらに、前記撮影制御装置が位置固定されていることを表示するステップと、
表示されている画像の顔領域ならびにその胸元エリアを示す矩形枠を表示するステップと、
前記胸元エリアにおいて所定の動作を撮影操作者が行った際に、あらかじめ設定された認識確認完了動作を行うステップと、
レリーズ動作を行うステップとを含む場合のものは好ましい。

以上で、本発明の概要を説明した。以下、図面を参照して本発明の実施例について説明する。

図５は本発明の実施例における撮影制御装置が搭載された撮像装置の構成を示すブロック図である。この撮像装置１００は、撮像した被写体の光学像をデジタルの画像データに変換して記録メディア３５に記録する単板式のデジタルカメラである。

まず、撮像装置１００の全体的な概要を説明し、次いで、発明相当部分に関する説明へと移る。

〔全体的概要の説明〕
撮像部１０は、光学レンズ１１、光学ローパスフィルタ（ＬＰＦ）１２、カラーフィルタ１３、撮像素子１４、アナログフロントエンド部１５を含む。撮像素子１４は、ＣＣＤ型あるいはＣＭＯＳ型などに代表されるイメージセンサである。撮像素子１４の受光面には多数のフォトダイオード（感光画素）が二次元的に配列されており、光学レンズ１１を通過した被写体情報を光電変換する。光学ローパスフィルタ１２は、撮像素子１４の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアジング（キー信号の高周波成分が低周波成分に折り返す現象）の発生を防止する。カラーフィルタ１３は、撮像素子１４の一画素に対応する位置にＲ，Ｇ，Ｂの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。光学レンズ１１を通過した光は、光学ローパスフィルタ１２とカラーフィルタ１３を通過して撮像素子１４に入射する。撮像素子１４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。撮像素子１４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子１４の動作（露光、読み出し等）はＣＰＵ２１により制御される。撮像素子１４から出力された画像信号はアナログフロントエンド部１５に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理の後、Ａ／Ｄ変換処理によりデジタル信号に変換される。また、ＣＭＯＳ型に代表される撮像素子１４においては、高速読み出しを実現する手段として、素子内にノイズ処理部とＡ／Ｄ変換器を実装し、撮像素子から直接デジタル信号として出力する形態もある。Ａ／Ｄ変換された画像データは、撮像装置１００の動作モードに従い必要な信号処理を経て、または信号処理を省略して、記録メディア３５に記録される。本例の撮像装置１００は、ＪＰＥＧ形式、ＭＰＥＧ形式、Ｈ．２６４形式などの圧縮データ形式での静止画像記録と動画像記録が可能であるとともに、Ａ／Ｄ変換した直後のＲＡＷ画像データ（生データ）を記録することができる。また、手振れ検出部４０を用いて撮像装置１００のぶれを検出し、検出したぶれ量を光学レンズ１１と撮像素子１４を含むセンサユニット部にフィードバックし、光学手振れ補正、センサシフトによる手振れ補正が行われる。手振れ検出部４０はジャイロセンサが用いられる。

圧縮データ形式で記録する場合、Ａ／Ｄ変換された画像データは前処理部２４を経て画像信号処理部２７に送られる。前処理部２４と画像信号処理部２７は、同時化（カラーフィルタ配列に伴う色信号の空間的なずれを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などの各種処理を実施する画像処理手段であり、ＣＰＵ２１からのコマンドに従って画像信号を処理する。前処理部２４と画像信号処理部２７は、メモリ制御部２５を介して処理途中の画像を一時記憶できる画像メモリ２６を備えており、画像メモリ２６を利用しながら画像信号の処理を行う。前処理部２４と画像信号処理部２７において所定の信号処理を経た画像データは、規格化されたサイズの画像データとして記録する場合や、モニタインターフェース３３を介して液晶モニタに表示するため、リサイズ処理部２９で画像サイズを規格サイズに変更する。

リサイズされた画像データに対しては必要に応じて顔領域検出部３０で人物の顔の位置・大きさ・傾きなどの情報検出を行う。また、リサイズされた画像データは圧縮伸張部２８に送ることで、各種形式の圧縮フォーマットに従って圧縮される。このとき使用される圧縮形式に対応した圧縮符号化アルゴリズムが用いられる。ＭＰＥＧ形式、Ｈ．２６４形式などの動画圧縮データ形式に従って規格化サイズで画像データを圧縮する場合は、並行処理によって圧縮伸張部２８でメモリ制御部２５を介して画像メモリ２６からリサイズデータまたはリサイズ画像を入力として周期的に読み出し、入力されるフレームデータの圧縮を行った後、画像メモリ２６に書き戻すことにより、圧縮データをメモリ空間内に格納する。その際、動画圧縮の中間処理として基本ブロック単位の動き検出ベクトル検出処理が実施され、検出された動き検出ベクトルデータはメモリ制御部２５により画像メモリ２６に格納したり、圧縮伸張部２８の内部のレジスタに格納することができる。圧縮された画像データは、記録メディアインターフェース３１を介して記録メディア３５に記録される。画像データを保存する記録メディア３５は、メモリカードで代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１００に内蔵された記録媒体（内部メモリ）であってもよい。

ＣＰＵ２１は所定のプログラムに従って本カメラシステムを統括制御する制御部であり、操作パネル３４からの指示信号に基づいて撮像装置１００内の各回路の動作を制御する。ＲＯＭ２２にはＣＰＵ２１が実行するプログラムおよび制御に必要な各種データ等が格納され、ＲＡＭ２３はＣＰＵ２１の作業用領域として利用される。

操作パネル３４は撮像装置１００に対してユーザが各種の指示を入力するための手段であり、例えば撮像装置１００の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作手段を含む。

ＣＰＵ２１は操作パネル３４から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像素子１４などの撮像部１０を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア３５の読み書き制御などを行う。

例えばＣＰＵ２１は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光および読み出し制御を開始する。また、ＣＰＵ２１は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。

前処理部２４は、自動露出制御、自動焦点調節制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算などを行い、その演算結果をＣＰＵ２１に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ２１は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１１を合焦位置に移動させるとともに、絞りや電子シャッタを制御して露出制御を行う。こうして、取り込まれた画像データは、記録モードに従って記録メディア３５に記録される。また、このデジタルカメラは、液晶モニタにより構成される表示を実現するために、表示処理部３２とモニタインターフェース３３を有している。

本発明に関係する撮影制御方法を実施する際には、電源投入後、モニタモードと呼ばれる基本モードで動作スタートし、連続的に撮像素子１４から出力されるフレームデータに対して、前記の前処理、画像信号処理、リサイズ処理、顔領域検出処理、圧縮処理、動きベクトル検出処理、表示処理を１シーケンス処理として並列処理を行い、スルー画像を液晶モニタに表示する。

〔発明相当部分の説明〕
撮像部１０は上述した〔課題を解決するための手段〕の撮像手段１に相当し、顔領域検出部３０は顔領域検出手段２に相当し、ＣＰＵ２１は認識領域設定手段３と画像認識手段５とに相当し、圧縮伸張部２８は動きベクトル抽出手段４の機能を含み、ＣＰＵ２１のプログラムは、所定の認識対象の認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御手段６に相当し、手振れ検出部４０は手振れ検出手段７に相当する。

図６に撮像装置１００を用いて本発明に関係する撮影制御方法を実施する際に基本となる動作のフローチャートを示す。

ステップＳ１において、撮像装置１００は、操作パネル３４に割り当てられた電源投入動作により撮影動作を開始する。

次いでステップＳ２において、ＣＰＵ２１は操作パネル３４に割り当てられた動作モードが撮影モードであることを認識した場合、撮像素子１４から連続的に出力されるフレームデータに対して、前記の前処理、画像信号処理、リサイズ処理、表示処理を１シーケンス処理として連続的な並列処理を行う。これをモニタモードと称する。

次いでステップＳ３において、モニタモード動作中に、撮像装置１００の本体が手持ちの状態にあるか、固定設置されているかの判断処理を実施する。判断処理に当たっては、ＣＰＵ２１が手振れ検出部４０を用いてカメラの振動が継続的にほとんどないことを検出することで、カメラが手持ちではなく任意の場所に固定された状態であると判定する。手振れ検出部４０は、ジャイロセンサを用いて実施することが簡単で精度が良い。カメラの振動が検出され、手持ちであると判断された場合は、本発明に関係する撮影制御処理は実施せず、通常の手持ち撮影処理を実施する。固定設置撮影であると判断された場合は、次のステップＳ４へ進む。

ステップＳ４においては、ＣＰＵ２１が顔領域検出部３０を用いて顔領域検出処理を行う。顔領域検出処理は、モニタモードおいて撮像部１０からのスルー画像の表示中に、動画を構成する複数フレームのうち所定のフレーム画像内の顔の位置と大きさ情報を連続的に検出し、検出情報をＣＰＵ２１により読み出す。

次いでステップＳ５において、動きベクトルを抽出する。すなわち、圧縮伸張部２８の圧縮動作をスタートして中間処理機能が働くと、任意の動画規格サイズまたは本体の表示サイズにリサイズし、そのリサイズ画像において基本ブロック単位の動きベクトルを抽出し、抽出した動きベクトルを画像メモリ２６に転送する。この動作はモニタモードでのスルー画像表示中に行われる。画像メモリ２６に格納された動きベクトルは、ＣＰＵ２１によりメモリ制御部２５を介して読み出される。

次いでステップＳ６において、ＣＰＵ２１はスルー画像の表示中に検出顔領域の位置が安定するのを待つ。安定すれば、次のステップＳ７に進む。

次いでステップＳ７において、ＣＰＵ２１はフレーム画像内の人物の顔の下となる胸元位置の所定範囲のエリアを画像認識領域Ｎとして定める。

次いでステップＳ８において、胸元エリアＮ内の動きベクトル情報のみを抽出して、メモリ制御部２５を介して画像メモリ２６に転送し、ＣＰＵ２１により読み出すことでデータ転送量を制限する。画像認識手段５となるＣＰＵ２１では胸元エリアＮ内の動きベクトルのその時間的変化情報から想定するサイン動作を検出する。

次いでステップＳ９において、ＣＰＵ２１が画像認識処理として胸元エリアＮの動きベクトルの変化を認識処理していく。所定の変化がない場合には、ステップＳ６に戻り、再度顔の位置と大きさに変化がないかどうかの認識処理を実施する。以降、ステップＳ６→Ｓ７→Ｓ８→Ｓ９を繰り返し、ＣＰＵ２１が画像認識処理として、撮影視野内の人物の顔の位置と大きさ情報の変化と胸元エリアＮの動きベクトルの変化を同時に認識処理していく。その際、顔の位置と大きさがほとんど変化しない条件で、胸元エリアＮ内の動きベクトルが一定期間中所定の変化をしたとき、ステップＳ１０へ移り、設定動作をスタートさせるための撮影トリガー信号を発生する。

次に、胸元エリアＮ内の動きベクトルが一定期間中所定の変化として、一定期間周期的な変化をすることを認識して撮影トリガー信号を発生する場合について説明する。

図７を用いて家族写真を撮影する場合を説明する。図７は家族の写真構図での画像における胸元エリアＮの設定と画像認識の概念図である。画面内に３人の人物である、お父さん、お母さん、子供が入っており、撮影操作者がお父さんであるとする。それぞれの顔領域Ｋを検出したのち、胸元位置に矩形枠で胸元エリアＮを設定し、顔領域Ｋの検出と胸元位置の動きベクトルを同時に検出して、画像認識している状態を示す。ここでは、お父さんが胸元位置で手を回すという動作を行うことにより所定の動作がスタートする。「手を回すという動作」はあらかじめ約束事として登録されているものではない。具体的には胸元位置で手を一定期間にわたって継続的に回転運動させることにより、動きベクトルが時間軸で一定期間周期的な変化をすることを認識する。

図８を用いて胸元位置で手を一定期間にわたって継続的に回転運動させることにより、動きベクトルが時間軸で一定期間周期的な変化Ｖをすることを認識する方法を詳細に説明する。

図８（ａ）は被写体人物の胸元エリアＮでの周期的な回転動作を説明する概念図である。図８（ｂ）は回転動作の円周上の任意の位置の動きベクトル変化Ｖを示す概念図である。

動きベクトルの検出は図８（ａ）の点線で囲まれた胸元エリアＮ内で例えば太い実線で矩形状に示す基本小ブロックａ，ｂ，ｃ，ｄごとに検出される。撮影操作者が胸元位置で継続的な回転運動を行った場合、円周上を手が移動することになる。動きベクトル検出の基本動作としてはこの円周上の動きベクトルの時間的変化をＣＰＵ２１で検出することにより、被写体人物が胸元で手を回しているということを検出することができる。

また、手を継続的に回転運動させることにより、胸元エリアＮで動きベクトルが時間軸で一定期間周期的な変化をすることを認識する際、胸元エリアＮ内の全部の動きベクトル変化Ｖを検出することはせず、円運動を想定してエリア内の任意の円周上の位置の動きベクトルの変化のみ検出する。回転検出としては右回し、左回しの認識をすることが可能である。

図９を用いて胸元位置で手を継続的に上下または左右に往復運動させることにより、動きベクトルが時間軸で一定期間周期的な変化をすることを認識する方法を詳細に説明する。

図９（ａ）は胸元エリアＮでの周期的上下方向動作を説明する概念図である。図９（ｂ）は周期的上下方向動作の任意の位置の動きベクトル変化Ｖを示す概念図である。図９（ｃ）は胸元エリアＮでの周期的左右方向動作を説明する概念図である。図９（ｄ）は周期的左右方向動作の任意の位置の動きベクトル変化Ｖを示す概念図である。

動きベクトルの検出は点線で囲まれた胸元エリアＮ内で、例えば太い実線で矩形状に示す基本小ブロックａで検出される。撮影操作者が胸元位置で継続的に上下方向動作を行った場合、図９（ｂ）に示すような任意のａエリアを手が上下に移動することになる。動きベクトル検出の基本動作としては、この任意のａエリア上の動きベクトルの時間的変化をＣＰＵ２１で検出することで、被写体人物が胸元で手を上下方向に動作させているということを検出することができる。

撮影操作者が胸元位置で継続的な左右方向動作を行った場合、図９（ｄ）に示すような任意のａエリアを手が左右に移動することになる。動きベクトル検出の基本動作としては、この任意のａエリア上の動きベクトルの時間的変化をＣＰＵ２１で検出することで、被写体人物が胸元で手を左右方向に動作させているということを検出することができる。

このような認識による所定の動作として、被写体でもあるお父さんが胸元位置で手を回すという動作を行うことにより、三脚などで固定設置されたデジタルカメラの撮影レリーズ動作を自動で行うことができる。

特に、本実施例では、ターゲット位置の指定を撮影視野内において顔領域検出を用いて自動で行わせるため、指定された胸元位置において上記周期的動作（合図）の認識を確実に行わせることができる。したがって、前述したターゲット領域の大きさを胸元エリアＮの一部分として必要最小限とすることができ、それによっても上記画像認識に伴う処理負担（本実施例ではＣＰＵの処理負担）を軽減することができる。

また、実際の動きベクトル検出においては、任意画像部分のベクトル変化が検出範囲を超える大きな変化となる場合がある。その際は、大きな変化の検出フラグデータを出力し、胸元エリア内で大きな変化エリアの位置が時間的に周期的に変化することを認識して、被写体人物が胸元で手を上下方向に周期的に早く動作させているということを検出することができる。

また、本実施例における自動撮影モードでは、撮影操作者に対して、撮影視野内のターゲット領域の動作が認識できたことをＬＥＤの点滅開始により報知することで、カメラ側の処理状態を確認できるため、撮影操作者等は、その後における撮影に関する動作タイミングを明確に知ることができ、これによっても使い勝手がよい。

以上に述べたように、本実施例においては、撮影視野内の胸元位置で例えば手を周期的に回転動作させたり、周期的な上下動作や左右動作を行うことで、被写体である撮影操作者自身が意図したタイミングでの撮影を確実に行うことができる。

つまり、送受信機を必要としないワイヤレス・リモートコントロールシステムにより、遠隔的なレリーズが可能なカメラを提供し、手振れ検出により遠隔撮影状況そのものを自動検出するとともに、画像認識に基づいた自動撮影時においては被写体の人物が顔の位置を静止して胸元位置で所定の周期的なサイン動作を行うだけで、意図したタイミングでの撮影を確実に行うことができる。しかも、その際の撮影動作の具体的内容を適宜選択することができる。

上記の実施例はあくまで一例に過ぎず、本発明の趣旨を逸脱しない範囲で様々な改変が可能であることはいうまでもない。

なお、本発明を実施する際の制御処理の手順、それに関わる手段の機能をパソコンやマイクロコンピュータなどのコンピュータ上でプログラムにより実現することも可能である。また、画像処理はその処理の一部または全部を専用のハードウェア（信号処理回路）態様に限らず、一部分をプログラムで実現してもよい。そのためのプログラムと、それが記録された各種の記録（記憶）媒体も本発明に包含される。また、そのような手順による処理の方法も本発明に包含されることは当然である。

本発明は、取得した画像データを介してレリーズ動作を遠隔的に行わせるデジタルスチルカメラなどの画像処理装置等に有用である。

１ 撮像手段
２ 顔領域検出手段
３ 認識領域設定手段
４ 動きベクトル抽出手段
５ 画像認識手段
６ 撮影制御手段
７ 手振れ検出手段
８ 動画圧縮手段
１０ 撮像部
１４ 撮像素子
２１ ＣＰＵ
２４ 前処理部
２５ メモリ制御部
２６ 画像メモリ
２７ 画像信号処理部
２８ 圧縮伸張部（動きベクトル検出含む）
２９ リサイズ処理部
３０ 顔領域検出部
４０ 手振れ検出部
１００ 撮像装置
Ｋ 検出顔領域
Ｖ 動きベクトル変化
Ｎ 画像認識領域（胸元エリア）

Claims (15)

1. 撮像手段から送られてくる画像データにおける被写体の顔の位置情報と大きさ情報からなる顔領域を検出する顔領域検出手段と、
   前記顔領域検出手段による検出顔領域が位置的に安定するかを監視し、安定した検出顔領域を基準にして所定範囲内に画像認識領域を定める認識領域設定手段と、
   前記認識領域設定手段によって設定された前記画像認識領域を調べ、前記画像認識領域における任意の動作について時間軸での動きベクトル変化を抽出する動きベクトル抽出手段と、
   前記動きベクトル抽出手段による動きベクトル変化が所定のものであるかの認識を行う画像認識手段と、
   前記画像認識手段による認識結果に応じて撮影に関する所定の制御信号を生成する撮影制御手段とを備えた撮影制御装置。
2. さらに、撮影制御装置の振動を検出し継続的な振動がないと判定すると、前記認識領域設定手段および前記画像認識手段を起動する手振れ検出手段を備えている請求項１に記載の撮影制御装置。
3. 前記手振れ検出手段は、ジャイロセンサで構成されている請求項２に記載の撮影制御装置。
4. 前記認識領域設定手段は、前記顔領域検出手段による安定した検出顔領域を基準にして所定範囲内に定める前記画像認識領域について、前記検出顔領域の被写体人物の胸元の所定範囲に対応する胸元エリアを定めるように構成されている請求項１から請求項３までのいずれかに記載の撮影制御装置。
5. 前記顔領域検出手段は、前記撮像手段からのスルー画像の表示中に、動画を構成する複数フレームのうち所定のフレーム画像内の人物についてその顔領域をフレーム毎に検出するように構成されている請求項１から請求項４までのいずれかに記載の撮影制御装置。
6. 前記動きベクトル抽出手段は、前記撮像手段からのスルー画像の表示中に、前記手振れ検出手段により当該画像装置が固定された状態であると判定されたときに、前記顔領域検出手段、前記認識領域設定手段に引き続いて前記動きベクトル抽出手段および前記画像認識手段を起動するように構成されている請求項２に記載の撮影制御装置。
7. 前記動きベクトル抽出手段は、動画圧縮の中間処理として機能するものとして構成され、任意にリサイズされた動画規格サイズの動画画像または装置本体での表示サイズにリサイズされた画像において、基本ブロック単位の動きベクトルの方向と動画を構成する複数のフレーム間の時間的変化を抽出するように構成されている請求項１から請求項６までのいずれかに記載の撮影制御装置。
8. 前記画像認識手段は、前記撮像手段からのスルー画像の表示中に、一定期間中の前記動きベクトル抽出手段による前記動きベクトル変化が所定のものであると認識したときに撮影トリガー信号を発生するように構成されている請求項１から請求項７までのいずれかに記載の撮影制御装置。
9. 前記画像認識手段は、前記動きベクトル抽出手段による前記動きベクトル変化が周期的な変化であることを認識したときに撮影トリガー信号を発生するように構成されている請求項１から請求項８までのいずれかに記載の撮影制御装置。
10. 前記画像認識手段は、前記撮像手段からのスルー画像の表示中に、前記画像認識領域内で一定期間の継続的な回転運動を認識するように構成されている請求項１から請求項９までのいずれかに記載の撮影制御装置。
11. 前記画像認識手段は、前記撮像手段からのスルー画像の表示中に、前記画像認識領域内で一定期間の継続的な直線運動を認識するように構成されている請求項１から請求項９までのいずれかに記載の撮影制御装置。
12. 前記画像認識手段は、前記動きベクトル抽出手段による前記動きベクトル変化が前記画像認識領域の範囲を超える大きな変化であると認識したときは、さらにその変化が周期的に繰り返されるかを判断し、繰り返しを認識したときに前記撮影トリガー信号を発生するように構成されている請求項１から請求項１１までのいずれかに記載の撮影制御装置。
13. 前記撮影制御手段は、前記画像認識手段による所定の認識対象の画像認識が成立した場合はレリーズ動作制御実行し、画像認識が成立しない場合は画像認識動作の継続を実行する請求項１から請求項１２までのいずれかに記載の撮影制御装置。
14. 撮像によって送られてくる画像データにおける被写体の顔の位置情報と大きさ情報からなる顔領域Ｋを検出するステップと、
    検出顔領域Ｋが位置的に安定するかを監視し、安定した検出顔領域Ｋを基準にして所定範囲内に画像認識領域Ｎを定めるステップと、
    設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出するステップと、
    動きベクトル変化Ｖが所定のものであるかの認識を行うステップと、
    動きベクトル変化Ｖについての認識結果に応じて撮影に関する所定の制御信号を生成するステップとを含む撮影制御方法。
15. さらに、前記撮影制御装置が位置固定されていることを表示するステップと、
    表示されている画像の顔領域ならびにその胸元エリアを示す矩形枠を表示するステップと、
    前記胸元エリアにおいて所定の動作を撮影操作者が行った際に、あらかじめ設定された認識確認完了動作を行うステップと、
    レリーズ動作を行うステップとを含む請求項１４に記載の撮影制御方法。

Images