JP2009020163A - 撮像装置及びそのプログラム - Google Patents

Abstract

【課題】 迅速に自動撮影を行なう撮像装置及びそのプログラムを実現する。
【解決手段】 シャッタボタンが半押しされると顔検出処理を開始し（Ｓ３）、顔が検出されたか否かを判断する（Ｓ４）。顔が検出されたと判断すると、該検出された顔に対してＡＦ処理を行うとともに（Ｓ５）、該ＡＦ処理が行なわれた顔領域に顔検出枠２２を表示させ（Ｓ６）、顔検出の対象となる領域を該ＡＦ処理が行なわれた顔領域に限定する（Ｓ７）。そして、シャッタボタンが全押しされると、顔検出処理により顔が検出されなくなったか否かを判断し（Ｓ９）、顔が検出されなくなったと判断し、その後、再び顔か検出されたと判断すると（Ｓ１０でＹ）、ＡＦ動作を行なうことなく静止画撮影処理を行う（Ｓ１１）。
【選択図】 図２

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、被写体の種類を判定する撮像装置及びそのプログラムに関する。

近年、電子カメラ等の撮像装置においては、撮像された画像データ内に顔があるか否かを検出する技術が登場し、それに伴い、顔が検出されると自動的にＡＦ動作を行なって被写体を撮影するという技術が開発された（特許文献１）。

公開特許公報 特開２００６−２３７９６１

しかしながら、従来の技術では、顔を検出すると、ＡＦ動作を行なってから撮影を行なうため、ＡＦ動作によって撮影するタイミングが遅れてしまい、シャッタチャンスを逃してしまうという問題があった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、迅速に自動撮影を行なう撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、撮像素子を用いて動画撮像を行なう動画撮像制御手段と、
前記動画撮像手段により撮像された画像データ内にある顔を検出していく顔検出手段と、
前記顔検出手段によりあるタイミングで検出された顔に対してオートフォーカスを行なうオートフォーカス制御手段と、
前記オートフォーカス制御手段によりオートフォーカスが行なわれてから、所定のタイミング以後に前記顔検出手段により顔が検出された場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させる静止画撮影制御手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記オートフォーカス制御手段によるオートフォーカスの後に、前記顔検出手段により顔が検出されなくなったか否かを判断する判断手段を備え、
前記所定のタイミングは、
前記判断手段により前記顔検出手段により顔が検出されなくなったと判断されたタイミングであるようにしてもよい。

また、例えば、請求項３に記載されているように、前記所定のタイミングは、
前記オートフォーカス制御手段によりオートフォーカスが行なわれてから、所定時間経過したときのタイミングであるようにしてもよい。

また、例えば、請求項４に記載されているように、前記オートフォーカス制御手段は、
前記顔検出手段により複数の顔が検出された場合は、１つ、又は複数の顔に対してオートフォーカスを行なうようにしてもよい。

また、例えば、請求項５に記載されているように、前記オートフォーカス制御手段は、
前記顔検出手段により複数の顔が検出された場合は、ユーザによって手動選択された顔、又は、各顔の優先順位に基づいて自動選択された顔、あるいは、検出された全ての顔に対してオートフォーカスを行なうようにしてもよい。

また、例えば、請求項６に記載されているように、前記自動選択は、
前記顔検出手段により検出された各顔の大きさ、各顔の画角中心からの近さ、予め登録されている顔であるか否か、の各要件のうち少なくとも１つ以上の要件に基づいて、前記顔検出手段により検出された各顔の優先順位を決定し、優先順位の高い顔を自動選択するようにしてもよい。

また、例えば、請求項７に記載されているように、前記顔検出手段は、
前記動画撮像手段により撮像された画像データの中央領域又は所定領域にある顔を検出するようにしてもよい。

また、例えば、請求項８に記載されているように、前記オートフォーカス制御手段によりオートフォーカスされた顔の領域に対して、以後顔検出を行なうようにしてもよい。

また、例えば、請求項９に記載されているように、前記判断手段は、
前記オートフォーカス制御手段によりオートフォーカスされた顔が検出されなくなったか否かを判断し、
前記静止画撮影制御手段は、
前記判断手段により顔が検出されなくなったと判断された後に、再度、前記顔検出手段により前記オートフォーカス制御手段によりオートフォーカスされた顔が検出された場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させるようにしてもよい。

また、例えば、請求項１０に記載されているように、前記動画撮像手段により撮像された画像データに基づいて、被写体の動きを検出する動き検出手段を備え、
前記静止画撮影制御手段は、
前記判断手段により顔が検出されなくなったと判断された後に、前記顔検出手段により再度顔が検出され、且つ、前記動き検出手段により再度検出された被写体の動きが所定値以下であると判断した場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させるようにしてもよい。

また、例えば、請求項１１に記載されているように、半押し全押しの２段階操作の可能なシャッタボタンを備え、
前記顔検出手段は、
前記シャッタボタンが半押しされた場合に、前記動画撮像手段により撮像された画像データ内にある顔を検出し、
前記オートフォーカス制御手段は、
前記シャッタボタンが半押しされた場合に、前記顔検出手段により検出された顔に対してオートフォーカスを行なうようにしてもよい。

また、例えば、請求項１２に記載されているように、半押し全押しの２段階操作の可能なシャッタボタンを備え、
前記判断手段は、
前記シャッタボタンが全押しされた場合に、前記顔検出手段により顔が検出されなくなったか否かを判断し、
前記静止画撮影制御手段は、
前記シャッタボタンが全押しされた場合に、前記判断手段により顔が検出されなくなったと判断された後に、再度、前記顔検出手段により顔が検出された場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、前記撮像素子を用いて被写体の静止画撮影を実行させるようにしてもよい。

上記目的達成のため、請求項１３記載の発明によるプログラムは、撮像素子を用いて動画撮像を行なう動画撮像制御処理と、
前記動画撮像処理により撮像された画像データ内にある顔を検出していく顔検出処理と、
前記顔検出処理によりあるタイミングで検出された顔に対してオートフォーカスを行なうオートフォーカス制御処理と、
前記オートフォーカス制御処理によりオートフォーカスが行なわれてから、所定のタイミング以後に前記顔検出処理により顔が検出された場合は、前記オートフォーカス制御処理によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させる静止画撮影制御処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。

本願発明によれば、迅速に自動撮影を行なうことができる。

以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成され、フォーカスレンズ２Ａを少なくとも有する。そして、フォーカスレンズ２Ａにはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ２Ａを光軸方向に沿って駆動させるフォーカスモータ、ＣＰＵ１０のＡＦ制御部１０２から送られてくる制御信号にしたがって、フォーカスモータを駆動させるフォーカスモータドライバから構成されている（図示略）。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。

ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。

画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。

ＣＰＵ１０は、ＣＣＤ５への撮像制御、バッファメモリに記憶された画像データを圧縮してフラッシュメモリ１４に記録する記録処理、バッファメモリに記憶された画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含む。

特に、ＣＰＵ１０は、画像データ内に人の顔があるか否かを検出する顔検出部１０１、被写体に対してＡＦ（オートフォーカス）処理を行うＡＦ制御部１０２を有する。このＡＦ制御部１０２は、レンズ駆動ブロック３に制御信号を送ることによりフォーカスレンズ２Ａを駆動可能範囲内でレンズ端からレンズ端まで駆動させ、そのときのＣＣＤ出力である撮像信号からコントラスト成分を検出し、その波形を解釈して、つまり、高周波成分が最も大きくなるレンズの位置に、レンズを合わせてピントを合わせる。

キー入力部１１は、半押し全押し可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー、キャンセルキー等の複数の操作キーを含み、撮影者のキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。

Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２のフローチャートに従って説明する。
ユーザ（撮影者）のモード切替キーの操作により自動撮影モードに設定されると、ステップＳ１で、ＣＰＵ１０は、ＣＣＤ５に所定のフレームレートで被写体を撮像させる処理を開始させ（動画撮像）、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する。

次いで、ステップＳ２で、ＣＰＵ１０は、撮影者によってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。

ステップＳ２で、シャッタボタンが半押しされていないと判断すると、半押しされるまでステップＳ２に留まり、シャッタボタンが半押しされたと判断すると、ステップＳ３に進み、ＣＰＵ１０の顔検出部１０１は、ＣＣＤ５により順次撮像され、バッファメモリに記憶されていくそれぞれの画像データ内に人の顔があるか否かを検出していく処理を開始する。このとき、顔検出部１０１は、撮像された画像データの全領域（画角の全範囲）内に人の顔があるか否かを検出する。つまり、顔検出処理の対象となる範囲は画像データの全領域ということになる。

また、この顔検出処理は、周知技術なので詳しく説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳等の特徴データ）と撮像された画像データとを比較照合することにより、撮像された該画像データの中に人の顔の画像データがあるか否かを検出する方法であってもよいし、他の方法であってもよい。要は、人の顔を検出する方法であればよく、撮像された人が「誰であるか？」を具体的に認識する必要は全くない。

次いで、ステップＳ４で、ＣＰＵ１０は、該顔検出により人の顔が検出されたか否かを判断する。なお、撮影者は、通常、撮影したい被写体（人物）を画角内におさめてからシャッタボタンの半押操作を行なうので、シャッタボタンの半押し直後に顔検出処理により人の顔が検出されたと判断されることになる。

ステップＳ４で、顔が検出されていないと判断すると顔が検出されるまでステップＳ４に留まり、顔が検出されたと判断すると、ステップＳ５に進み、ＣＰＵ１０のＡＦ制御部１０２は、該検出された顔に対してＡＦ処理を行う。
つまり、フォーカスレンズ２Ａを移動させていき、フォーカスレンズ２Ａの各レンズ位置で撮像された画像データのうち、該検出された顔領域の画像データのコントラスト成分が最も高くなるレンズ位置を検出する。そして、該検出したレンズ位置にフォーカスレンズ２Ａを移動させることによりＡＦ処理を行う。

次いで、ステップＳ６で、ＣＰＵ１０は、該ＡＦ処理された顔領域（検出された顔領域）に、顔検出枠を表示させ、ステップＳ７で、ＣＰＵ１０は、顔検出部１０１により顔検出の対象となる画像データの領域を、該ＡＦ処理された顔領域に限定する。
ここで、図３は、時間の経過とともに画像表示部１５に表示される画像の様子の一例を示したタイムチャートであり、図３（Ａ）→図３（Ｂ）→図３（Ｃ）という順番で時間が経過する。

図３（Ａ）は、顔検出枠が表示されたときの画像表示部１５の様子の一例を示すものである。
図３（Ａ）を見ると、人物２１が撮像されているので、該人物２１の顔領域に顔検出枠２２が表示されているのがわかる。この顔検出枠２２が表示されている領域に対してＡＦ処理が行なわれており、また、以後、顔検出部１０１は該顔領域内にある顔、つまり、顔検出枠２２内にある顔を検出することになる。

顔検出枠２２を表示して、顔検出の対象となる領域を顔領域に限定すると、ステップＳ８に進み、ＣＰＵ１０は、撮影者によってシャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。

ステップＳ８で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ８に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ９に進み、ＣＰＵ１０は、顔検出部１０１による顔検出処理により顔が検出されなくなったか否かを判断する。ここで、顔検出部１０１は、ステップＳ７で限定されたＡＦ処理が行われた顔領域内にある顔を検出しているので、該顔領域内において人の顔が検出されなくなったか否かを判断することになる。

ここで、図３（Ｂ）は、顔検出処理により顔が検出されなくなったと判断されたときに画像表示部１５に表示される画像の様子の一例を示すものである。
図３（Ｂ）を見ると、ＡＦ処理が行なわれた顔の人物２１が手で顔を覆っているのがわかる。これにより、顔検出部１０１は、顔検出枠２２内にある顔を検出することができないので、顔検出部１０１によって顔が検出されなくなったと判断されることになる。また、図３（Ｂ）を見ると、被写体２３も撮像されて画像表示部１５に表示されているが、この被写体２３については後で説明する。

なお、ここでは、顔検出処理により顔が検出されなくするために、顔を手で覆うことにしたが、顔を横に向ける（この場合は、撮像される顔が横顔ということになる）等、顔検出処理により顔が検出されなくなる方法であればよい。

ステップＳ９で、顔が検出されていると判断すると、顔が検出されなくなるまでステップＳ９に留まり、顔が検出されなくなったと判断すると、ステップＳ１０に進み、ＣＰＵ１０は、顔検出部１０１による顔検出処理により、再び顔が検出されたか否かを判断する。ここで、顔検出部１０１は、ステップＳ７で限定されたＡＦ処理が行われた顔領域内にある顔を検出するので、該顔領域内に再び顔があると検出されたか否かを判断することになる。

ここで、図３（Ｃ）は、顔検出処理により再び顔が検出されたと判断されたときに画像表示部１５に表示される画像の様子の一例を示すものである。
図３（Ｃ）を見ると、手で顔を覆っていた人物２１が手を下ろしているのが分かる。これにより、顔検出部１０１は、顔検出枠２２内にある顔を検出することができるので、顔検出部１０１によって顔が再び検出されたと判断されることになる。また、図３（Ｃ）を見ると、被写体２３も撮像されて画像表示部１５に表示されているが、この被写体２３については後で説明する。

ステップＳ１０で、顔検出処理により顔が未だ検出されていないと判断するとステップＳ１０に留まり、顔検出処理により顔が再び検出されたと判断すると、ステップＳ１１に進み、ＣＰＵ１０は、ＡＦ動作を行なうことなく自動的に静止画撮影処理を行う。つまり、セルフ撮影を行なうことができる。このとき、顔検出部１０１は、顔検出処理を終了させる。

次いで、ステップＳ１２で、ＣＰＵ１０は、該撮像された静止画像データをフラッシュメモリ１４に記録させる。
このように、顔が検出されると該検出された顔に対してＡＦ処理を行い、シャッタボタン全押し後、一度顔が検出されなくなり、再び顔が検出されると静止画撮影を行なうので、例えば、シャッタボタン全押し後、顔が検出されなくなり、再度顔が検出されるまでの間に、図３（Ｂ）に示すように被写体２３がＣＣＤ５の画角内に入れば、図３（Ｃ）に示すように被写体２２、被写体２３を一緒に自動撮影することができる。したがって、この被写体２３は、撮影者（デジタルカメラ１のユーザ）であってもよく、この撮影者がシャッタボタンを全押し操作した後、被写体２２が顔を隠している間にＣＣＤ５の画角に入れば一緒にセルフ撮影を行なうことができる。

以上のように、実施の形態においては、顔検出処理により顔が検出されると、該検出された顔に対してＡＦ処理を行い、その後、該顔検出処理により顔が検出されなくなり、その後、再び顔が検出されると、ＡＦ処理を行うことなく静止画撮影処理を行うので、迅速に自動撮影することができる。

また、ＡＦ処理後の顔検出処理は、ＡＦ処理が行なわれた顔領域に対して行なうので、顔検出処理の負担を軽減させることができる。また、ＡＦ処理が行なわれた顔領域に対して顔検出処理を行うので、他の人物が画角内に入ってきても、謝って他の顔（例えば、図３（Ｂ）の被写体２３の顔）を検出してしまうという弊害を防止させることができる。また、ＡＦ処理が行なわれた領域以外に顔があっても、再び顔が検出されたか否かの判断には影響を及ぼさないので、適切な撮影タイミングで撮影することもできる。例えば、ＡＦ処理後、顔検出処理の対象となる領域を、画像データの全領域としてしまうと、図３（Ｂ）のようなタイミングで、再び顔が検出されたと判断されて（被写体２３の顔によって）撮影されてしまうので、ユーザが望まない撮影タイミングで撮影されてしまうからである。

［変形例］
Ｃ．上記実施の形態は以下のような変形例も可能である。

（０１）上記各実施の形態においては、ＡＦ処理を行うまでは、顔検出処理の対象を撮像された画像データの全領域としたが、つまり、撮像された画像データの全領域内にある顔を検出するようにしたが、画角の中央領域若しくはユーザによって任意に指定された領域を顔検出処理の対象とするようにしてもよい。これにより、顔検出処理の処理負担を軽減させることができる。要は、画像データの全領域のうち、１部の領域に対して顔検出するものであればよい。
また、この顔認識の対象となる領域の大きさもユーザが指定することができるようにしてもよい。
また、ＡＦ処理後は、オートフォーカスが行なわれた顔領域に対して顔検出処理を行うようにしたが、画角の中央領域若しくはユーザによって任意に指定された領域、画像データの全領域に対して顔検出処理を行うようにしてもよい。例えば、撮影したい被写体が１人の場合は顔検出処理の対象を画像データの全領域としても不都合はないからである。

（０２）上記各実施の形態においては、顔検出処理により検出される顔を１つの場合について説明したが、複数の人が撮像されている場合はもちろん複数の顔が検出されることになる。
この場合、複数の顔が検出された場合は、ステップＳ５で該検出された複数の顔すべてに対してピントが合うようにＡＦ処理を行い、ステップＳ６でＡＦ処理が行なわれた複数の顔領域に顔検出枠を表示させ、ステップＳ７で顔検出処理の対象となる領域を該ＡＦ処理が行なわれた複数の顔領域に限定する。これにより、顔に対してピントを合わせることができる。
また、ステップＳ９での顔が検出されなくなったか否かの判断は、ステップＳ７で限定された複数の顔領域のうち、１つ以上の顔領域、または全ての顔領域で顔が検出されなくなったか否かを判断する。
また、ステップＳ１０での再び顔が検出されたか否かの判断は、ステップＳ７で限定された全ての顔領域で顔が検出されたか否かを判断する。

（０３）上記実施の形態においては、顔検出処理により検出される顔を１つの場合について説明したが、複数の顔が検出された場合は、ユーザによって手動選択された１つの顔、若しくは自動選択された１つの顔に対してＡＦ処理を行うようにしてもよい。
ここで、自動選択は、検出された各顔の優先順位に基づいて、優先順位が一番高い顔を選択する。

この優先順位とは、検出された各顔の大きさ、画角の中央から顔までの距離、検出された各顔の顔が予め登録された顔であるか、を総合的に判断することにより、優先順位が決められる。
通常、撮影者が真に撮影したい被写体（メイン被写体）ほど、画角の中央よりになったり、顔を大きくして撮像したりするからであり、画角の中央に近い顔ほど、顔の大きさが大きいほどメイン被写体であると考えられるからであり、画角の中央に近い顔ほど、大きい顔ほど優先順位を高くする。
これにより、優先順位が一番高い顔、若しくはユーザによって指定された１つの顔に対してピントを合わせることができる。

また、検出された各顔の顔が予め登録された顔であるかとは、検出された複数の顔の中に、ユーザによって予め登録された顔があるかを顔認識し、登録された顔であると認識された顔は優先順位を高くする。
この検出された複数の顔の中に登録された顔があるか否かの顔認識は、上記説明した顔検出処理のように単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行い、例えば、撮像された画像データに基づいて、検出された顔の目の位置、口の位置、鼻の位置等の認識、及びそれらの位置関係なども認識し、それらを数値化した数値データ（顔特徴データ）を算出し、登録されている人物の顔の顔特徴データと比較照合することにより顔認識を行なう。

ここで、ユーザは、顔登録モード等において、人物の顔を登録することができる。この顔登録モード等においては、ユーザが登録したい人物の顔画像を指定すると、ＣＰＵ１０は、該人物の顔画像から顔認識により算出された数値データ（顔特徴データ）を登録する。この登録された顔特徴データはメモリ１２に記録される。ユーザは顔登録の際に、登録する顔に優先順位も設定し、これらを考慮して検出された各顔の優先順位を決めるようにしてもよい。

なお、検出された各顔の優先順位は、検出された各顔の大きさ、画角の中央から顔までの距離、検出された各顔の顔が予め登録された顔であるか、を総合的に判断することにより決められたが、検出された各顔の大きさ、画角の中央から顔までの距離、検出された各顔の顔が予め登録された顔であるか、各要件のうち、１つ以上の要件に基づいて、各顔の優先順位を決めるようにしてもよい。
これにより、撮影者が真に撮影したい被写体に対してピントを合わせることができる。

また、本変形例では、手動選択、又は、自動選択により１つの顔を選択するようにしたが、複数の顔を選択するようにしてもよい。この場合の動作は、上記変形例（０２）で説明したように、ステップＳ５で手動選択、又は自動選択された複数の顔すべてに対してピントが合うようにＡＦ処理を行い、ステップＳ６でＡＦ処理が行なわれた複数の顔領域に顔検出枠を表示させ、ステップＳ７で顔検出処理の対象となる領域を該ＡＦ処理が行なわれた複数の顔領域に限定する。これにより、優先順位が高い顔、若しくはユーザによって指定された顔に対してピントを合わせることができる。
また、ステップＳ９での顔が検出されなくなったか否かの判断は、ステップＳ７で限定された複数の顔領域のうち、１つ以上の顔領域、または全ての顔領域で顔が検出されなくなったか否かを判断する。
また、ステップＳ１０での再び顔が検出されたか否かの判断は、ステップＳ７で限定された全ての顔領域で顔が検出されたか否かを判断する。

（０４）上記実施の形態においては、顔検出処理の対象をＡＦ処理が行なわれた顔領域に限定し（ステップＳ７）、該限定された顔領域に対して以後、顔検出処理を行い、顔が検出されなくなったか（ステップＳ９）、再び顔が検出されたかの判断を行うようにしたが（ステップＳ１０）、ステップＳ５で検出された顔に対してＡＦ処理を行うと、ＡＦ処理が行なわれた顔領域の画像データに基づいて顔の特徴データ（目の位置、口の位置、鼻の位置等の認識、及びそれらの位置関係なども認識し、それらを数値化した数値データ）を算出する。そして、ステップＳ９では、検出された顔に対して個人認識を行なうことにより、該ＡＦ処理が行なわれた顔が検出されなくなったか否かの判断を行い（顔が１つも検出されなかった場合はＡＦ処理が行われた顔が検出されなくなったと判断する）、ステップＳ１０では、検出された顔に対して個人認識を行なうことにより、該ＡＦ処理が行なわれた顔が再び検出されたか否かの判断を行うようにしてもよい。
このときの、顔検出処理に対象となる領域は、画像データの全領域であってもよいし、画角の中央領域又はユーザによって指定された領域であってもよいし、ＡＦ処理が行なわれた顔領域であってもよい。
これにより、顔検出処理の負担を軽減させることができる。また、ＡＦ処理が行なわれた顔が検出されなくなったか否かを判断し、その後、該ＡＦ処理が行なわれた顔が再度検出された場合に静止画撮影を行なうので、他の人物が画角内に入って検出されても、撮影を行なうことがなく、適切なタイミングで撮影することができる。

（０５）上記実施の形態においては、ステップＳ２でシャッタボタンが半押し操作されると顔検出処理を開始するようにしたが、ステップ２の処理を無くしてもよい。つまり、自動撮影モードに設定されると、ステップＳ１でスルー画像表示を開始して、ステップＳ３に進むようにしてもよい。
また、ステップＳ８でシャッタボタンが全押し操作されると、顔が検出されなくなったか否かを判断するようにしたが、ステップＳ８の処理を無くしてもよい。つまり、ステップＳ７で顔検出の対象となる領域をＡＦ処理が行なわれた顔領域に限定すると、ステップＳ９に進むようにしてもよい。

（０６）上記実施の形態においては、ステップＳ２でシャッタボタンが半押し操作されると顔検出処理を開始するようにしたが、ステップＳ１でスルー画像表示を開始すると、顔検出処理を開始してステップＳ２に進み、シャッタボタンが半押しされたと判断すると、ステップＳ４に進み、直近に撮像された画像データ内に顔があると検出されたか否かを判断するようにしてもよい。

（０７）上記実施の形態においては、ステップＳ１０で、再び顔が検出されたと判断すると、静止画撮影処理を行うようにしたが、ステップＳ１０で、再び顔が検出されたと判断し、且つ、被写体の動きが止まったと判断したときに、ステップＳ１１に進み、静止画撮影処理を行うようにしてもよい。
ここで、この被写体の動きが止まったか否かを判断する理由としては、再び顔を検出すると直ちに静止画撮影を行なうとすると、例えば、図３（Ｂ）にように、手で顔を隠している状態で、手を顔から離した瞬間に、顔検出処理により顔が検出されて静止画撮影されてしまうので、つまり、図３（ｃ）のような状態になる前に静止画撮影されてしまうので、被写体２１にとって意外なタイミングで撮影されてしまうことになりかねない。したがって、再び顔が検出されても被写体の動きが止まるまで静止画撮影処理の実行を行なわないというものである。
また、複数の顔が検出された場合は、全ての被写体の顔領域に対して動きが止まったか否かの判断を行い、全ての顔領域で被写体の動きが止まったと判断したときに、ステップＳ１１に進み、静止画撮影処理を行うようにしてもよい。
これにより、被写体にとって意外なタイミングで撮影をすることがない。

この被写体の動きを検出する方法は種々あり周知技術であるが、例えば、ＣＣＤ５により撮像された２枚の画像データに基づいて、該画像データ間の動きベクトルを検出することにより行なわれる。このとき、検出された動きベクトルが完全に０にならなくても所定値以下になった場合は、被写体の動きが止まったと判断するようにしてもよい。被写体が止まっている状態であっても、被写体の微妙なブレ、撮影者の微妙な手振れなどによっても動きベクトルが検出されてしまうので、所定値以下になった場合は被写体の動きが止まったと判断する。

（０８）上記実施の形態においては、ＡＦ動作を行なうための顔検出と、撮影を行なうための顔検出を分けるために、一度顔が検出されなくなったか否かを判断するようにしたが、他の方法によって分けるようにしてもよい。
例えば、ステップＳ８でシャッタボタンが全押しされてから、若しくは、ステップＳ５でＡＦ処理を行ってから所定時間（例えば、１０秒）経過した後に、顔が検出された場合は、撮影を行なうようにしてもよい。つまり、ＡＦ動作を行なうための顔検出と、撮影を行なうための顔検出を、時間を挟むことによって分けるようにしてもよい。また、上記所定時間は、ユーザが任意に設定することができるようにしてもよい。
これにより、迅速に自動撮影することができる。

（０９）上記実施の形態においては、ＡＦ処理が行なわれた顔領域に顔検出枠２２を表示させるようにしたが、顔検出枠２２を表示させないようにしてもよい。
また、ＡＦ処理が行なわれた顔領域に顔検出枠を表示させるようにしたが、顔検出処理により検出された顔に対して顔検出枠２２を表示させるようにしてもよい。

（１０）上記実施の形態は、上記変形例（０１）〜（０９）を任意に組み合わせた態様であってもよい。

（１１）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像し、顔を検出することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラのブロック図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 時間の経過とともに画像表示部１５に表示される画像の様子の一例を示したタイムチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス

Claims (13)

1. 撮像素子を用いて動画撮像を行なう動画撮像制御手段と、
   前記動画撮像手段により撮像された画像データ内にある顔を検出していく顔検出手段と、
   前記顔検出手段によりあるタイミングで検出された顔に対してオートフォーカスを行なうオートフォーカス制御手段と、
   前記オートフォーカス制御手段によりオートフォーカスが行なわれてから、所定のタイミング以後に前記顔検出手段により顔が検出された場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させる静止画撮影制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記オートフォーカス制御手段によるオートフォーカスの後に、前記顔検出手段により顔が検出されなくなったか否かを判断する判断手段を備え、
   前記所定のタイミングは、
   前記判断手段により前記顔検出手段により顔が検出されなくなったと判断されたタイミングであることを特徴とする請求項１記載の撮像装置。
3. 前記所定のタイミングは、
   前記オートフォーカス制御手段によりオートフォーカスが行なわれてから、所定時間経過したときのタイミングであることを特徴とする請求項１記載の撮像装置。
4. 前記オートフォーカス制御手段は、
   前記顔検出手段により複数の顔が検出された場合は、１つ、又は複数の顔に対してオートフォーカスを行なうことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記オートフォーカス制御手段は、
   前記顔検出手段により複数の顔が検出された場合は、ユーザによって手動選択された顔、又は、各顔の優先順位に基づいて自動選択された顔、あるいは、検出された全ての顔に対してオートフォーカスを行なうことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
6. 前記自動選択は、
   前記顔検出手段により検出された各顔の大きさ、各顔の画角中心からの近さ、予め登録されている顔であるか否か、の各要件のうち少なくとも１つ以上の要件に基づいて、前記顔検出手段により検出された各顔の優先順位を決定し、優先順位の高い顔を自動選択することを特徴とする請求項５記載の撮像装置。
7. 前記顔検出手段は、
   前記動画撮像手段により撮像された画像データの中央領域又は所定領域にある顔を検出することを特徴とする請求項１乃至６の何れかに記載の撮像装置。
8. 前記オートフォーカス制御手段によりオートフォーカスされた顔の領域に対して、以後顔検出を行なうことを特徴とする請求項１乃至７の何れかに記載の撮像装置。
9. 前記判断手段は、
   前記オートフォーカス制御手段によりオートフォーカスされた顔が検出されなくなったか否かを判断し、
   前記静止画撮影制御手段は、
   前記判断手段により顔が検出されなくなったと判断された後に、再度、前記顔検出手段により前記オートフォーカス制御手段によりオートフォーカスされた顔が検出された場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させることを特徴とする請求項２記載の撮像装置。
10. 前記動画撮像手段により撮像された画像データに基づいて、被写体の動きを検出する動き検出手段を備え、
    前記静止画撮影制御手段は、
    前記判断手段により顔が検出されなくなったと判断された後に、前記顔検出手段により再度顔が検出され、且つ、前記動き検出手段により再度検出された被写体の動きが所定値以下であると判断した場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させることを特徴とする請求項２記載の撮像装置。
11. 半押し全押しの２段階操作の可能なシャッタボタンを備え、
    前記顔検出手段は、
    前記シャッタボタンが半押しされた場合に、前記動画撮像手段により撮像された画像データ内にある顔を検出し、
    前記オートフォーカス制御手段は、
    前記シャッタボタンが半押しされた場合に、前記顔検出手段により検出された顔に対してオートフォーカスを行なうことを特徴とする請求項１乃至１０の何れかに記載の撮像装置。
12. 半押し全押しの２段階操作の可能なシャッタボタンを備え、
    前記判断手段は、
    前記シャッタボタンが全押しされた場合に、前記顔検出手段により顔が検出されなくなったか否かを判断し、
    前記静止画撮影制御手段は、
    前記シャッタボタンが全押しされた場合に、前記判断手段により顔が検出されなくなったと判断された後に、再度、前記顔検出手段により顔が検出された場合は、前記オートフォーカス制御手段によるオートフォーカスを行なうことなく、前記撮像素子を用いて被写体の静止画撮影を実行させることを特徴とする請求項２記載の撮像装置。
13. 撮像素子を用いて動画撮像を行なう動画撮像制御処理と、
    前記動画撮像処理により撮像された画像データ内にある顔を検出していく顔検出処理と、
    前記顔検出処理によりあるタイミングで検出された顔に対してオートフォーカスを行なうオートフォーカス制御処理と、
    前記オートフォーカス制御処理によりオートフォーカスが行なわれてから、所定のタイミング以後に前記顔検出処理により顔が検出された場合は、前記オートフォーカス制御処理によるオートフォーカスを行なうことなく、直ちに前記撮像素子を用いて被写体の静止画撮影を実行させる静止画撮影制御処理と、
    を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
    

Images