JP2008283379A - 撮像装置及びプログラム - Google Patents

Abstract

【課題】被写体を見失う時間を減少させて、被写体の撮像を適正に行う。
【解決手段】撮像装置１００であって、撮像部１により生成された複数の画像フレームから被写体の顔画像を検出する顔検出処理と、顔検出処理の結果に応じて顔画像の検出状態であるか非検出状態であるかを判定する処理と、顔画像の非検出状態であると判定された場合に、複数の画像フレームのうちの隣合う画像フレーム間で、顔画像に対応する顔画像対応部を動体解析により追跡する処理と、顔検出処理によって検出された顔画像及び動体解析により追跡された顔画像対応部に基づいて、画像の撮像を制御する処理と、顔画像対応部の追跡開始後、顔画像の検出状態であると判定された場合に、顔画像対応部の追跡を停止する処理とを実行するＣＰＵ８１を備える。
【選択図】図１

Description

本発明は、被写体を撮像する撮像装置及びプログラムに関する。

一般的なディジタル・スチル・カメラにおいては、平均測光、中央重点測光などにより測光値が得られ、得られた測光値を用いて自動露出制御が行われる。自動露出制御が終わると、自動合焦制御が行われる。
しかしながら，人物などの所望の被写体が撮影範囲の中央などに存在しない場合には正確な自動露出制御、自動合焦制御が行われないことがある。このために顔などの対象物を検出して自動露出制御を行うもの（例えば、特許文献１参照）、自動合焦制御を行うもの（例えば、特許文献２参照）、自動露出制御および自動合焦制御の両方を行うもの（例えば、特許文献３参照）などがある。さらには顔の検出を確実にするために露出量を変えながら複数回の撮影を行って顔を検出するものもある（例えば、特許文献４参照）。
特開２００３−１０７５５５号公報 特開２００３−１０７３３５号公報 特開２００３−３４４８９１号公報 特開２００７−５９６６号公報

しかしながら、上記特許文献１乃至４等の場合、被写体である人物の「正面の顔」から「横顔」にかけて一定の角度までしか検出性能が保証されていない。即ち、例えば、人物が完全に横を向いてしまった場合には、顔を検出できずに被写体を見失った状態（「ロスト」の状態）となる。また、例えば、被写体がカメラを意識せずに自然に動いていると、被写体は下を向いたり、上を向いたり、或いは目深に目を伏せてしまう場合があるが、かかる場合にも、顔の検出に失敗してしまう。

なお、最近の顔検出技術の向上によって、顔の上下左右のアングルの保証値は年々向上しているため、顔がかなり横を向いていても顔の検出に成功するようになっている。しかしながら、顔が完全に横を向いてしまったり下を向いてしまった場合には、顔検出を適正に行うことができないのが現状である。
このように顔の検出に失敗した場合には所望の被写体を見失い、被写体の撮像を適正に行うことができないといった問題がある。

そこで、本発明の課題は、被写体を見失う時間を減少させることができ、被写体の撮像を適正に行うことができる撮像装置及びプログラムを提供することである。

請求項１に記載の発明の撮像装置は、
被写体を連続して撮像して、複数の画像フレームを生成する撮像手段と、
前記撮像手段により生成された前記複数の画像フレームから前記被写体の顔画像を検出する顔検出手段と、
前記顔検出手段による前記顔検出の結果に応じて前記顔画像の検出状態であるか非検出状態であるかを判定する顔検出判定手段と、
前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、前記複数の画像フレームのうちの隣合う画像フレーム間で、前記顔画像に対応する顔画像対応部を追跡する顔画像対応部追跡手段と、
前記顔検出手段によって検出された前記顔画像及び前記顔画像対応部追跡手段により追跡された前記顔画像対応部に基づいて、撮像制御を行う撮像制御手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記顔画像対応部追跡手段は、
前記顔検出手段により検出された前記顔画像の座標を取得する第一の座標取得手段と、
前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、前記第一の座標取得手段により取得された前記顔画像の座標に基づいて、前記顔画像対応部を特定する顔画像対応部特定手段と、
前記顔画像対応部特定手段により特定されて当該顔画像対応部追跡手段により追跡された前記顔画像対応部の座標を取得する第二の座標取得手段と、を備えることを特徴としている。

請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、前記顔検出手段は前記第二の座標取得手段によって取得された座標の近傍に対して顔検出を行うことを特徴としている。

請求項４に記載の発明は、請求項３に記載の撮像装置において、
前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、当該非検出状態となっている時間を計時する非検出時間計測手段と、
前記非検出時間計測手段により計時される時間が所定時間を超えたか否かを判定する非検出時間判定手段と、をさらに備え、
前記非検出時間判定手段により所定時間を超えたと判定された場合に、前記顔検出手段は前記所定の領域よりも広い範囲の領域に対して顔検出を行うことを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記撮像制御手段は、
前記撮像手段に備わる撮像レンズの合焦位置を調整する合焦位置調整手段と、
前記撮像手段により撮像された前記画像フレームの所定領域の明るさに基づいて、当該画像フレームの明るさを調整する明るさ調整手段と、
前記撮像手段により撮像された前記画像フレームの所定領域の色調に基づいて、当該画像フレームの色調を調整する色調調整手段と、をさらに備え、
前記撮像手段による前記被写体の撮像の際、前記顔画像の検出状態にて、前記明るさ調整関連処理実行手段による明るさ調整処理及び前記色調調整処理実行手段による色調調整処理の少なくとも何れか一方と、前記合焦位置調整手段による合焦位置調整処理の実行を制御する一方で、前記顔画像の非検出状態にて、前記合焦位置調整手段による前記合焦位置調整処理の実行を制御することを特徴としている。

請求項６に記載の発明のプログラムは、
被写体を連続して撮像して、複数の画像フレームを生成する撮像手段を備える撮像装置に、
前記撮像手段により生成された前記複数の画像フレームから前記被写体の顔画像を検出する顔検出する機能と、
顔検出処理の結果に応じて前記顔画像の検出状態であるか非検出状態であるかを判定する機能と、
前記顔画像の非検出状態であると判定された場合に、前記複数の画像フレームのうちの隣合う画像フレーム間で、前記顔画像に対応する顔画像対応部を追跡する機能と、
前記顔検出処理によって検出された前記顔画像及び追跡された前記顔画像対応部に基づいて、前記撮像手段により撮像される画像の撮像を制御する機能と、
前記顔画像対応部の追跡開始後、前記顔画像の検出状態であると判定された場合に、前記顔画像対応部の追跡を停止する機能と、
を実現させることを特徴としている。

本発明によれば、ひとたび顔を検出できた被写体をより長い時間追いかけて当該被写体を見失う時間を減少させることができ、この結果、被写体画像の撮像制御を適正に行って被写体の撮像を適正に行うことができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、被写体の顔画像を検出する顔検出処理を実行し、顔画像Ｆ（図２参照）の非検出状態となると、当該顔画像Ｆに対応する顔画像対応部Ｃ（図５参照）を動体解析により追跡し、顔検出処理によって検出された顔画像Ｆ及び動体解析により追跡された顔画像対応部Ｃに基づいて、撮像される画像の撮像制御を行う。
具体的には、撮像装置１００は、例えば、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、ＵＳＢ端子６と、計時部７と、制御部８等を備えて構成されている。

撮像部１は、撮像手段として、被写体を連続して撮像して複数の画像フレームＧ、…を生成する。具体的には、撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。

撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等から構成されている。
映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。

撮影制御部１５は、ＣＰＵ８１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御する。具体的には、撮影制御部１５は、電子撮像部１２に所定の露出時間で被写体を撮像させ、当該電子撮像部１２の撮像領域から画像信号（画像フレームＧ）を所定のフレームレートで読み出す処理の実行を制御する。

撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、例えば、フォーカス駆動部２１と、ズーム駆動部２２、ストロボ発光部２３と、ストロボ駆動部２４等を備えている。

フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
ストロボ駆動部２４は、ストロボ発光部２３を発光させる。
なお、フォーカス駆動部２１、ズーム駆動部２２及びストロボ駆動部２４は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。

表示部３は、撮像部１により撮像された画像を表示するものであり、例えば、表示制御部３１と、画像表示部３２等を備えている。

表示制御部３１は、ＣＰＵ８１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。

画像表示部３２は、表示制御部３１からの出力信号に基づいて撮像部１により撮像された画像（図２等参照）等の所定画像を表示する液晶モニタ等を備えている。
また、画像表示部３２は、顔検出処理（後述）にて検出された顔画像に重畳させて顔検出枠Ａ１（図２等参照）を表示する。具体的には、例えば、シャボン玉をしている人物Ｈを主要被写体として撮像する場合、画像表示部３２は、図２〜図７に示すように、人物Ｈがシャボン玉作成器具を所定方向に動かしている状態に係る複数の画像フレームＧを逐次表示する。このとき、顔検出処理にて顔画像Ｆが検出されると、画像表示部３２は、当該顔画像Ｆに重畳させて略矩形状の顔検出枠Ａ１を表示する。
さらに、画像表示部３２は、動体追跡処理（後述）にて追跡される顔画像対応部Ｃに重畳させて追跡枠Ａ２（図５参照）を表示する。具体的には、人物Ｈが後ろ向きとなって顔画像Ｆの非検出状態となると、画像表示部３２は、動体追跡処理にて追跡する顔画像対応部Ｃに重畳させて略矩形状の追跡枠Ａ２を表示する。
また、顔画像対応部Ｃの追跡中に、顔画像対応部Ｃを見失ったり第二の追跡停止処理（後述）にて顔画像対応部Ｃの追跡を停止した場合には、画像表示部３２は、撮像画像に対する追跡枠Ａ２の重畳表示を停止する（図７参照）。

なお、顔検出枠Ａ１及び追跡枠Ａ２として、略矩形状に形成されたものを例示したが、枠形状はこれに限られるものではなく、顔画像Ｆや顔画像対応部Ｃと対応付けられるものであれば如何なる形状であっても良い。

操作部４は、当該撮像装置１００の所定操作を行うためのものであり、例えば、シャッターボタン４１ａ等を備える操作入力部４１と、入力回路４２等を備えている。

シャッターボタン４１ａは、撮像部１による被写体の撮像を指示する。また、シャッターボタン４１ａは、例えば、半押し操作及び全押し操作の２段階の押圧操作が可能に構成され、各操作段階に応じた所定の操作信号を出力する。具体的には、シャッターボタン４１ａは、半押し操作された場合に、制御部８の制御下にて自動合焦処理（ＡＦ）、自動露出処理（ＡＥ）、フラッシュ調光処理（ＦＥ）、色調調整処理等の実行指示を出力し、全押し操作された場合に、撮像部１による本画像（記録画像）の撮像の実行指示を出力する。

入力回路４２は、操作入力部４１から入力された操作信号をＣＰＵ８１に入力するためのものである。

記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により撮像された画像の画像ファイルＧを複数記憶する。

ＵＳＢ端子６は、外部機器との接続用の端子であり、ＵＳＢケーブル（図示略）等を介してデータの送受信を行う。

計時部７は、例えば、タイマーや計時回路等を備えて構成されている。そして、計時部７は、非検出時間計測手段として、制御部８の制御下にて、顔検出判定処理（後述）にて顔画像Ｆの非検出状態であると判定された場合に、当該非検出状態となっている時間を計時する。

制御部８は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ８１と、プログラムメモリ８２と、データメモリ８３等を備えている。

ＣＰＵ８１は、プログラムメモリ８２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。

データメモリ８３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ８１によって処理されるデータ等を一時記憶する。
具体的には、データメモリ８３は、第一の座標取得処理（後述）や第二の座標取得処理（後述）にて取得された顔画像Ｆの座標（顔座標）を記憶する。

プログラムメモリ８２は、ＣＰＵ８１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ８２は、顔検出プログラム８２ａ、第一の座標取得プログラム８２ｂ、顔検出判定プログラム８２ｃ、顔画像対応部特定プログラム８２ｄ、顔画像対応部追跡プログラム８２ｅ、第二の座標取得プログラム８２ｆ、第一の追跡停止プログラム８２ｇ、合焦位置調整プログラム８２ｈ、露出条件調整プログラム８２ｉ、ストロボ発光量調整プログラム８２ｊ、色調調整プログラム８２ｋ、第一の撮像制御プログラム８２ｌ、第二の撮像制御プログラム８２ｍ、非検出時間判定プログラム８２ｎ、第二の追跡停止プログラム８２ｏ等を記憶している。

顔検出プログラム８２ａは、ＣＰＵ８１を顔検出手段として機能させるものである。即ち、顔検出プログラム８２ａは、撮像部１により生成された複数の画像フレームＧ、…の各々から被写体の顔を逐次検出する顔検出処理の実行に係る機能をＣＰＵ８１に実現させるためのプログラムである。
具体的には、ＣＰＵ８１による顔検出プログラム８２ａの実行に基づいて、複数の画像フレームＧ、…のうちの、一の画像フレームＧ（例えば、画像フレームＧ_ｎ−１）について顔画像探索範囲Ｒ１を画像全体として顔画像探索枠Ａ３（図８参照）を所定方向に走査して、目、鼻、ロなどに相当する特徴部分（顔パーツ）を特定して、各顔パーツの位置関係から顔であるか否かを判定し、顔であると判定されると当該探索枠領域を顔画像Ｆとみなす。また、所定の画像フレームＧにて顔画像Ｆが検出されると、図９に示すように、次の画像フレームＧ（例えば、画像フレームＧ_ｎ）にて、検出された顔画像Ｆの近傍の所定領域を顔画像探索範囲Ｒ１として、顔検出する。
そして、顔画像Ｆが検出されると、画像表示部３２は、当該顔画像Ｆに重畳させて顔検出枠Ａ１を表示する（図２参照）。

また、顔画像の非検出状態にあっては、ＣＰＵ８１による顔検出プログラム８２ａの実行に基づいて、第二の座標取得処理（後述）により取得された顔画像対応部Ｃの座標に基づいて、顔検出する。
即ち、顔画像Ｆの非検出状態の場合、ＣＰＵ８１は、データメモリ８３に記憶されている顔座標を顔画像対応部Ｃの座標により更新して、画像フレームＧにおける顔画像対応部Ｃの座標近傍の所定領域を顔画像探索範囲Ｒ１として、顔検出する。

第一の座標取得プログラム８２ｂは、ＣＰＵ８１を第一の座標取得手段として機能させるものである。即ち、第一の座標取得プログラム８２ｂは、顔検出処理にて検出された顔画像Ｆの座標（顔座標）を取得する第一の座標取得処理に係る機能をＣＰＵ８１に実現させるためのプログラムである。
具体的には、ＣＰＵ８１は第一の座標取得プログラム８２ｂを実行することで、顔検出処理にて検出された顔画像Ｆに重畳して画像表示部３２に表示される顔検出枠Ａ１の各角部の座標（ｘ_１，ｙ_１）、（ｘ_１，ｙ_２）、（ｘ_２，ｙ_１）、（ｘ_２，ｙ_２）を取得する（図１０参照）。

顔検出判定プログラム８２ｃは、ＣＰＵ８１を顔検出判定手段として機能させるものである。即ち、ＣＰＵ８１は顔検出判定プログラム８２ｃを実行することで、顔検出処理の結果に応じて顔画像Ｆの検出状態であるか非検出状態であるかを判定する。

顔画像対応部特定プログラム８２ｄは、ＣＰＵ８１を顔画像対応部特定手段として機能させるものである。即ち、ＣＰＵ８１は顔画像対応部特定プログラム８２ｄを実行することで、顔検出判定処理にて顔画像Ｆの非検出状態であると判定された場合に、第一の座標取得処理にて取得された顔画像Ｆの座標（顔座標）に基づいて、顔画像対応部Ｃを特定する。

顔画像対応部追跡プログラム８２ｅは、ＣＰＵ８１を顔画像対応部追跡手段として機能させるものである。即ち、ＣＰＵ８１は顔画像対応部追跡プログラム８２ｅを実行することで、顔検出判定処理にて顔画像Ｆの非検出状態であると判定された場合に、複数の画像フレームＧ、…のうちの隣合う画像フレーム間で、顔画像Ｆに対応する顔画像対応部Ｃを動体解析により追跡する。

第二の座標取得プログラム８２ｆは、ＣＰＵ８１を第二の座標取得手段として機能させるものである。即ち、ＣＰＵ８１は第二の座標取得プログラム８２ｆを実行することで、動体追跡処理にて追跡された顔画像対応部Ｃの座標を取得する。

ここで、動体解析について詳細に説明する。
先ず、顔画像Ｆの非検出状態となると、ＣＰＵ８１による顔画像対応部特定プログラム８２ｄの実行に基づいて、データメモリ８３に記憶されている顔座標を取得して、当該顔座標で囲まれた領域を顔画像対応部Ｃとして特定する。その後、ＣＰＵ８１による顔画像対応部追跡プログラム８２ｅの実行に基づいて、顔画像対応部Ｃの輝度情報や色情報等の画像情報をテンプレートとして、次の画像フレームＧ（例えば、画像フレームＧ_ｎ＋ｍ）にて顔座標近傍の所定の動体探索範囲Ｒ２内を所定方向に走査してマッチングを行い、最も近似性の高い部分を顔画像対応部Ｃとする（図１１参照）。
そして、最も近似性が高いと判定された顔画像対応部Ｃの縁部を追跡枠Ａ２とし、ＣＰＵ８１による第二の座標取得プログラム８２ｆの実行に基づいて、追跡枠Ａ２の各角部の座標を取得した後、当該追跡枠Ａ２の座標によりデータメモリ８３に記憶されている顔座標を更新する。さらに追跡枠Ａ２の輝度情報や色情報等の画像情報をテンプレートとして更新する。
上記の処理を撮像部１により生成される連続した画像フレームＧ、…の各々に対して逐次実行することにより、マッチングに用いるテンプレートが更新されていく。そのため被写体が時間がたつにつれて変化しても顔画像対応部Ｃを動体として追跡することができる。

第一の追跡停止プログラム８２ｇは、ＣＰＵ８１を顔検出追跡停止手段として機能させるものである。即ち、ＣＰＵ８１は第一の追跡停止プログラム８２ｇを実行することで、顔画像対応部Ｃの追跡開始後、顔検出判定処理にて顔画像Ｆの検出状態であると判定された場合に、顔画像対応部Ｃの追跡を停止する。具体的には、顔画像Ｆの検出状態となると、画像表示部３２の追跡枠Ａ２の表示を停止して顔画像対応部Ｃの追跡を停止させる。

合焦位置調整プログラム８２ｈは、ＣＰＵ８１を合焦位置調整手段として機能させるものである。即ち、ＣＰＵ８１は合焦位置調整プログラム８２ｈを実行することで、撮像部１の撮像レンズ群１１の合焦位置を調整する。具体的には、ユーザによるシャッターボタン４１ａの半押し操作に基づいて、顔検出枠Ａ１や追跡枠Ａ２を測距エリアとしてその合焦位置をフォーカス駆動部により撮像レンズを光軸方向に移動させて調整する。

露出条件調整プログラム８２ｉは、ＣＰＵ８１を明るさ調整手段として機能させるものである。具体的には、ユーザによるシャッターボタン４１ａの半押し操作に基づいて、ＣＰＵ８１が露出条件調整プログラム８２ｉを実行して、顔検出枠Ａ１（所定領域）を測光エリアとして撮像部１による撮像の際の露出条件（例えば、シャッター速度や絞り等）を調整する自動露出処理を行う。

ストロボ発光量調整プログラム８２ｊは、ＣＰＵ８１を明るさ調整手段として機能させるものである。具体的には、ユーザによるシャッターボタン４１ａの半押し操作に基づいて、ＣＰＵ８１がストロボ発光量調整プログラム８２ｊを実行して、ストロボ駆動部２４によりストロボ発光部２３をプリ発光させて、画像フレームＧ中の顔検出枠Ａ１（所定領域）に対応する部分の反射光量からストロボ発光量（発光時間）を調整するフラッシュ調光処理を行う。
なお、画像表示部３２に顔検出枠Ａ１が表示されていない状態、即ち、顔画像Ｆの非検出状態にあっては、ＣＰＵ８１による露出条件調整プログラム８２ｉの実行に基づいて、画像フレームＧ全体やその中央部を重点的に測光して、画面全体の平均的な明るさからストロボ発光量を調整するようにしても良い。

このように、ＣＰＵ８１は、露出条件調整プログラム８２ｉ及びストロボ発光量調整プログラム８２ｊの実行に基づいて、撮像部１により撮像された画像フレームＧの顔検出枠Ａ１（所定領域）の明るさに基づいて、当該画像フレームＧの明るさを調整する。

色調調整プログラム８２ｋは、ＣＰＵ８１を色調調整手段として機能させるものである。即ち、ＣＰＵ８１は色調調整プログラム８２ｋを実行することで、撮像部１により撮像された画像フレームＧの顔検出枠Ａ１（所定領域）内の色調に基づいて、当該画像フレームＧの色調を調整する。具体的には、ユーザによるシャッターボタン４１ａの半押し操作に基づいて、画像フレームＧの顔検出枠Ａ１内の色調に基づいて、顔画像Ｆの肌色のトーンを調整するように当該画像フレームＧの色調を調整する。

第一の撮像制御プログラム８２ｌは、撮像部１による被写体の撮像の際に、顔画像Ｆの検出状態にてユーザによりシャッターボタン４１ａが半押し操作されると、検出された顔画像Ｆに基づいて、自動合焦処理、自動露出処理、フラッシュ調光処理及び色調調整処理の実行を制御する第一の撮像制御処理に係る機能をＣＰＵ８１に実現させる。

第二の撮像制御プログラム８２ｍは、撮像部１による被写体の撮像の際に、顔画像Ｆの非検出状態にてユーザによりシャッターボタン４１ａが半押し操作されると、動体解析により追跡される顔画像対応部Ｃに基づいて、自動合焦処理の実行を制御する第二の撮像制御処理に係る機能をＣＰＵ８１に実現させる。

このように、ＣＰＵ８１は、第一の撮像制御プログラム８２ｌ、第二の撮像制御プログラム８２ｍに基づいて、合焦位置調整プログラム８２ｈ、露出条件調整プログラム８２ｉ、ストロボ発光量調整プログラム８２ｊ、色調調整プログラム８２ｋ等の所定プログラムを実行し、撮像制御手段として、顔検出処理にて検出された顔画像Ｆ及び動体解析により追跡された顔画像対応部Ｃに基づいて、撮像部１による画像の撮像を制御する。

非検出時間判定プログラム８２ｎは、ＣＰＵ８１を非検出時間判定手段として機能させるものである。即ち、非検出時間判定プログラム８２ｎは、計時部７により計時される顔画像Ｆの非検出状態となっている時間が所定時間（例えば、４秒）を超えたか否かを判定する非検出時間判定処理に係る機能をＣＰＵ８１に実現させるためのプログラムである。

第二の追跡停止プログラム８２ｏは、ＣＰＵ８１を時間追跡停止手段として機能させるものである。即ち、第二の追跡停止プログラム８２ｏは、非検出時間判定処理にて顔画像Ｆの非検出状態となっている時間が所定時間を超えたと判定された場合に、動体解析による顔画像対応部Ｃの追跡を停止させる処理に係る機能をＣＰＵ８１に実現させるためのプログラムである。
具体的には、顔画像の非検出状態では、主要被写体である人物Ｈが障害物の後側に隠れたり、暗所に移動することにより、人物Ｈを見失っている可能性もあるため、顔画像Ｆの非検出状態となっている時間が所定時間を超えると、ＣＰＵ８１による第二の追跡停止プログラム８２ｏの実行に基づいて、画像表示部３２の追跡枠Ａ２の表示を停止して顔画像対応部Ｃの追跡を停止させる。

次に、撮像処理について図１２及び図１３を参照して説明する
図１２及び図１３は、撮像処理に係る動作の一例を示すフローチャートである。
なお、以下の撮像処理にあっては、画角に被写体として一人の人物Ｈを捉えて撮像するものとする。

図１２に示すように、撮像部１による被写体の撮像が開始されると、ＣＰＵ８１は、プログラムメモリ８２から顔検出プログラム８２ａを読み出して実行し、撮像部１により生成された複数の画像フレームＧ、…のうちの一の画像フレームＧ（例えば、画像フレームＧ_ｎ−１；図８参照）について顔画像探索範囲Ｒ１を画像全体として顔画像探索枠Ａ３を走査して顔画像Ｆを検出する（ステップＳ１）。
次に、ＣＰＵ８１は、プログラムメモリ８２から顔検出判定プログラム８２ｃを読み出して実行して、顔画像Ｆの検出状態であるか非検出状態であるか否かを判定する顔検出判定する（ステップＳ２）。ここで、顔画像Ｆを検出していない（非検出状態）と判定されると（ステップＳ２；ＮＯ）、顔画像探索枠Ａ３の走査位置をずらして顔画像Ｆの探索を行う。
一方、ステップＳ２にて、顔画像Ｆが検出された（検出状態）と判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ８１は、計時部７を制御して、顔画像Ｆの非検出時間を計時するタイマーカウンタをクリアする（ステップＳ３）。また、ＣＰＵ８１は、画像表示部３２を制御して、当該顔画像Ｆに重畳させて顔検出枠Ａ１を表示させる。

そして、ＣＰＵ８１は、プログラムメモリ８２から第一の座標取得プログラム８２ｂを読み出して実行して、顔検出処理にて検出された顔画像Ｆの座標（顔座標）を取得してデータメモリ８３に出力して（ステップＳ４）、当該顔座標を記録させる（ステップＳ５）。

その後、ユーザによるシャッターボタン４１ａの半押し操作が行われると（ステップＳ６；ＹＥＳ）、ＣＰＵ８１は、プログラムメモリ８２から第一の撮像制御プログラム８２ｌを読み出して実行して、顔検出処理にて検出された顔画像Ｆに基づいて、自動合焦処理、自動露出処理、フラッシュ調光処理及び色調調整処理等の撮像制御処理の実行を制御する（ステップＳ７）。その後、ユーザによるシャッターボタン４１ａの全押し操作に基づいて、ＣＰＵ８１は、撮像制御処理にて調整された画質（撮像条件）に従って、撮像部１に本画像（記録画像）を撮像させる撮像処理の実行を制御する（ステップＳ８）。

一方、ステップＳ６にて、ユーザにより半押し操作が行われない場合には（ステップＳ６；ＮＯ）、ＣＰＵ８１は、顔検出プログラム８２ａの実行に基づいて、次の画像フレームＧ（例えば、画像フレームＧ_ｎ；図９参照）にて、検出された顔座標近傍の所定領域を顔画像探索範囲Ｒ１として顔画像探索枠Ａ３を走査させて顔検出する（ステップＳ９）。

続けて、ＣＰＵ８１は、顔検出判定プログラム８２ｃの実行に基づいて、顔画像Ｆをロストしたか否か、即ち、顔画像Ｆの検出状態であるか非検出状態であるか否かを判定する（ステップＳ１０）。ここで、ＣＰＵ８１により顔画像Ｆをロストしてない（検出状態）と判定されると（ステップＳ１０；ＮＯ）、ステップＳ３に戻る。
一方、ステップＳ１０にて、顔画像Ｆをロストした（非検出状態）と判定されると（ステップＳ１０；ＹＥＳ）、ＣＰＵ８１は、画像表示部３２を制御して顔検出枠Ａ１の表示を停止させた後、プログラムメモリ８２から顔画像対応部特定プログラム８２ｄを読み出して実行して、データメモリ８３に記憶されている顔座標を読み出して取得して（ステップＳ１１）、当該顔座標で囲まれた領域を顔画像対応部Ｃとして特定して、当該顔画像対応部Ｃの輝度情報や色情報等の画像情報を取得する（ステップＳ１２）。
次に、ＣＰＵ８１は、プログラムメモリ８２から顔画像対応部追跡プログラム８２ｅを読み出して実行して、次の画像フレームＧ（例えば、画像フレームＧ_ｎ＋ｍ；；図１１参照）にて、顔画像対応部Ｃの画像情報をテンプレートとして顔座標近傍の所定の動体探索範囲Ｒ２内を所定方向に走査して（ステップＳ１３）、マッチングを行って画像情報の近似性を評価する（ステップＳ１４）。そして、ＣＰＵ８１は、動体探索範囲Ｒ２内におけるテンプレートの走査が完了したか否かを判定する（ステップＳ１５）。ここで、走査が完了していないと判定されると（ステップＳ１５；ＮＯ）、ＣＰＵ８１は、走査座標を所定量インクリメントして（ステップＳ１６）、走査を継続する。
一方、ステップＳ１５にて、走査が完了したと判定されると（ステップＳ１５；ＹＥＳ）、ＣＰＵ８１は、近似性の評価点が最高となる部分（顔画像対応部Ｃ）を追跡枠Ａ２とした後、プログラムメモリ８２から第二の座標取得プログラム８２ｆを読み出して実行して、当該追跡枠Ａ２の座標を新たな顔座標として取得して、データメモリ８３に記憶されている顔座標を更新する。さらに追跡枠Ａ２の輝度情報や色情報等の画像情報をテンプレートとして更新する（ステップＳ１７）。また、ＣＰＵ８１は、画像表示部３２を制御して、当該顔画像Ｆに重畳させて追跡枠Ａ２を表示させる。
上記の動体解析は、撮像部１により生成される連続した画像フレームＧ、…の各々に対して逐次行われることにより、顔画像対応部Ｃを動体として追跡する。

その後、ユーザによるシャッターボタン４１ａの半押し操作が行われると（ステップＳ１８；ＹＥＳ）、ＣＰＵ８１は、プログラムメモリ８２から第二の撮像制御プログラム８２ｍを読み出して実行して、動体解析により追跡された顔画像対応部Ｃに基づいて、自動合焦処理等の撮像制御処理の実行を制御する（ステップＳ１９）。その後、ユーザによるシャッターボタン４１ａの全押し操作に基づいて、ＣＰＵ８１は、撮像制御処理にて調整された画質（撮像条件）に従って、撮像部１により本画像（記録画像）を撮像させる撮像処理の実行を制御する（ステップＳ２０）。

一方、ステップＳ１８にて、ユーザにより半押し操作が行われない場合には（ステップＳ１８；ＮＯ）、ＣＰＵ８１は、顔検出プログラム８２ａの実行に基づいて、当該画像フレームＧにて、取得された顔画像対応部Ｃの座標近傍の所定領域を顔画像探索範囲Ｒ１として顔画像探索枠Ａ３を走査させて顔検出する（ステップＳ２１）。
そして、ＣＰＵ８１は、顔検出判定プログラム８２ｃの実行に基づいて、顔画像Ｆの検出状態であるか非検出状態であるか否かを判定する顔検出判定する（ステップＳ２２）。ここで、顔画像Ｆの検出状態であると判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ８１は、プログラムメモリ８２から第一の追跡停止プログラム８２ｇを読み出して実行して、画像表示部３２の追跡枠Ａ２の表示を停止して顔画像対応部Ｃの追跡を停止させた後、ステップＳ３に戻る。
一方、ステップＳ２２にて、顔画像Ｆの非検出状態であると判定されると（ステップＳ２２；ＮＯ）、ＣＰＵ８１は、計時部７を制御して、非検出状態となっている時間の計時を開始させてタイマーカウンタをインクリメントする（ステップＳ２３）。

そして、ＣＰＵ８１は、プログラムメモリ８２から非検出時間判定プログラム８２ｎを読み出して実行して、顔画像Ｆの非検出状態となっている時間が所定時間を超えたか否かを判定する（ステップＳ２４）。ここで、ＣＰＵ８１により非検出状態となっている時間が所定時間を超えていないと判定されると、ステップＳ１１に戻る。
一方、ステップＳ２４にて、非検出状態となっている時間が所定時間を超えたと判定されると（ステップＳ２４；ＹＥＳ）、ＣＰＵ８１は、プログラムメモリ８２から第二の追跡停止プログラム８２ｏを読み出して実行して、画像表示部３２の追跡枠Ａ２の表示を停止して顔画像対応部Ｃの追跡を停止させた後、ステップＳ１に戻る。

以上のように、本実施形態の撮像装置１００によれば、被写体の顔画像Ｆを検出してこの座標を顔位置とする。そして、顔画像Ｆの非検出状態となると、顔画像Ｆの座標から当該顔画像Ｆに対応する顔画像対応部Ｃを特定して動体解析により追跡する。さらに、顔画像対応部Ｃの座標を顔位置の座標として更新することにより、顔画像Ｆの非検出状態であっても、動体解析によって顔位置の検出を適正に行うことができ、これにより、被写体をより長い時間追いかけることができ、当該被写体を見失う時間を減少させることができる。
そして、ユーザによりシャッターボタン４１ａが半押し操作されると、顔検出処理によって検出された顔位置（顔画像Ｆの座標）や動体解析により追跡された顔位置（顔画像対応部Ｃの座標）に基づいて、撮像部１により撮像される被写体画像の撮像制御を適正に行って被写体の撮像を適正に行うことができる。

また、被写体の撮像の際に、顔画像Ｆの検出状態であると、当該顔位置に基づいて、自動合焦処理、自動露出処理、フラッシュ調光処理及び色調調整する一方で、顔画像Ｆの非検出状態であると、自動合焦処理のみを実行するので、画像の撮像ミスを適正に防止することができる。即ち、顔画像Ｆの非検出状態では、動体解析により顔画像対応部Ｃを追跡中であっても、被写体が顔をこちら側に向けているという保証がないため、この状態で、自動露出処理、フラッシュ調光処理及び色調調整処理等を実行すると、撮像制御に失敗する虞がある。例えば、被写体が後ろを向いている場合に、髪の毛の黒色から逆光であると判定して、露出を上げると、極端に白飛びした画像になってしまうこととなる。
従って、顔画像Ｆの非検出状態である場合には、自動露出処理、フラッシュ調光処理及び色調調整処理等を実行せずに自動合焦処理のみを実行するので、被写体にピントを合わせることができ、画像の撮像ミスを適正に防止することができる。

さらに、顔画像Ｆの非検出状態となっている時間が所定時間を超えた場合には、フレーム内に被写体がいなくなっている可能性もあることから、動体解析による顔画像対応部Ｃの追跡を停止させることにより、次の顔画像Ｆの検出機会に備えることができ、被写体の撮像を適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、撮像処理にて、画角に一人の人物Ｈを捉えて撮像する場合を例示して説明したが、例えば、複数の人物Ｈがいる場合には、顔認識に優先順位を付けて所定順に顔検出処理を行ったり、顔画像Ｆの非検出状態となる毎に人物Ｈを任意に選択して当該人物Ｈに対して顔検出処理を行うようにしても良い。

また、上記実施形態では、撮像制御処理として、自動合焦処理、自動露出処理、フラッシュ調光処理及び色調調整処理を例示したが、これに限られるものではなく、撮像される画像の撮像制御する処理であれば如何なる処理であっても良い。
即ち、第一の撮像制御処理にて、自動合焦処理、自動露出処理、フラッシュ調光処理及び色調調整処理の実行を制御するようにしたが、これら以外の撮像制御処理の実行を制御するようにしても良い。さらに、第一の撮像制御処理にあっては、自動露出処理及びフラッシュ調光処理等の明るさ調整処理と色調調整処理は、必ずしも両方行う必要はなく、少なくとも何れか一方の処理を行えば良い。また、第二の撮像制御処理にて、自動合焦処理のみの実行を制御するようにしたが、自動露出処理、フラッシュ調光処理及び色調調整処理以外の撮像制御処理であって、白飛びした画像等の撮像ミスを生じさせることのない処理の実行を制御するようにしても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。

加えて、上記実施形態では、顔検出手段、第一の座標取得手段、顔検出判定手段、顔画像対応部特定手段、顔画像対応部追跡手段、第二の座標取得手段、顔検出追跡停止手段、撮像制御手段、合焦位置調整手段、明るさ調整手段、色調調整手段、第一の撮像制御手段、第二の撮像制御手段、非検出時間判定手段、時間追跡停止手段としての機能を、ＣＰＵ８１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図１の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図１の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図１の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図１の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図１の撮像装置の表示部に表示される画像の一例を模式的に示す図である。 図１の撮像装置による顔検出処理を説明するための図である。 図１の撮像装置による顔検出処理を説明するための図である。 図１の撮像装置による第一の座標取得処理を説明するための図である。 図１の撮像装置による動体追跡処理を説明するための図である。 図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。 図１２の撮像処理の続きを示す図である。

符号の説明

１００ 撮像装置
１ 撮像部（撮像手段）
３ 表示部
７ 計時部（非検出時間計測手段）
８１ ＣＰＵ（顔検出手段、第一の座標取得手段、顔検出判定手段、顔画像対応部特定手段、顔画像対応部追跡手段、第二の座標取得手段、顔検出追跡停止手段、撮像制御手段、合焦位置調整手段、明るさ調整手段、色調調整手段、非検出時間判定手段、時間追跡停止手段）
Ａ１ 顔検出枠
Ａ２ 追跡枠
Ｃ 顔画像対応部
Ｆ 顔画像
Ｒ１ 顔画像探索範囲
Ｒ２ 動体探索範囲

Claims (6)

1. 被写体を連続して撮像して、複数の画像フレームを生成する撮像手段と、
   前記撮像手段により生成された前記複数の画像フレームから前記被写体の顔画像を検出する顔検出手段と、
   前記顔検出手段による前記顔検出の結果に応じて前記顔画像の検出状態であるか非検出状態であるかを判定する顔検出判定手段と、
   前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、前記複数の画像フレームのうちの隣合う画像フレーム間で、前記顔画像に対応する顔画像対応部を追跡する顔画像対応部追跡手段と、
   前記顔検出手段によって検出された前記顔画像及び前記顔画像対応部追跡手段により追跡された前記顔画像対応部に基づいて、撮像制御を行う撮像制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記顔画像対応部追跡手段は、
   前記顔検出手段により検出された前記顔画像の座標を取得する第一の座標取得手段と、
   前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、前記第一の座標取得手段により取得された前記顔画像の座標に基づいて、前記顔画像対応部を特定する顔画像対応部特定手段と、
   前記顔画像対応部特定手段により特定されて当該顔画像対応部追跡手段により追跡された前記顔画像対応部の座標を取得する第二の座標取得手段と、を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、前記顔検出手段は前記第二の座標取得手段によって取得された座標の近傍に対して顔検出を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記顔検出判定手段により前記顔画像の非検出状態であると判定された場合に、当該非検出状態となっている時間を計時する非検出時間計測手段と、
   前記非検出時間計測手段により計時される時間が所定時間を超えたか否かを判定する非検出時間判定手段と、をさらに備え、
   前記非検出時間判定手段により所定時間を超えたと判定された場合に、前記顔検出手段は前記所定の領域よりも広い範囲の領域に対して顔検出を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像制御手段は、
   前記撮像手段に備わる撮像レンズの合焦位置を調整する合焦位置調整手段と、
   前記撮像手段により撮像された前記画像フレームの所定領域の明るさに基づいて、当該画像フレームの明るさを調整する明るさ調整手段と、
   前記撮像手段により撮像された前記画像フレームの所定領域の色調に基づいて、当該画像フレームの色調を調整する色調調整手段と、をさらに備え、
   前記撮像手段による前記被写体の撮像の際、前記顔画像の検出状態にて、前記明るさ調整関連処理実行手段による明るさ調整処理及び前記色調調整処理実行手段による色調調整処理の少なくとも何れか一方と、前記合焦位置調整手段による合焦位置調整処理の実行を制御する一方で、前記顔画像の非検出状態にて、前記合焦位置調整手段による前記合焦位置調整処理の実行を制御することを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
6. 被写体を連続して撮像して、複数の画像フレームを生成する撮像手段を備える撮像装置に、
   前記撮像手段により生成された前記複数の画像フレームから前記被写体の顔画像を検出する顔検出する機能と、
   顔検出処理の結果に応じて前記顔画像の検出状態であるか非検出状態であるかを判定する機能と、
   前記顔画像の非検出状態であると判定された場合に、前記複数の画像フレームのうちの隣合う画像フレーム間で、前記顔画像に対応する顔画像対応部を追跡する機能と、
   前記顔検出処理によって検出された前記顔画像及び追跡された前記顔画像対応部に基づいて、前記撮像手段により撮像される画像の撮像を制御する機能と、
   前記顔画像対応部の追跡開始後、前記顔画像の検出状態であると判定された場合に、前記顔画像対応部の追跡を停止する機能と、
   を実現させることを特徴とするプログラム。

Images