JP2008172368A - 撮像装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】撮影画像のうちの拡大範囲外にある顔の検出漏れを抑制しつつ、なるべく小さな顔まで検出できるようにする。
【解決手段】被写体像を撮像する撮像素子１と、撮像素子により撮像された撮像画像を表示する表示部９と、撮像画像から目的とする撮影対象を検出する検出処理部１０と、撮像素子により被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示部に逐次表示して、表示部を電子ビューファインダとして動作させている状態において、撮像画像の指定された領域を拡大して検出処理部により撮影対象を検出するか、拡大しないで撮影対象を検出するかを、逐次撮像された画像のうちの前回撮像された画像に対する撮影対象の検出結果に応じて切り替える切り替え部１２と、を具備する
【選択図】図１

Description

本発明は、画像データから識別対象（撮影対象）、詳しくは、人物の顔の位置を特定する技術に関するものである。

撮像装置として、ＣＣＤイメージセンサなどの固体撮像素子で撮像した被写体像をデジタルの画像データに変換し、内蔵メモリやメモリカードなどの記録媒体に記録するデジタルカメラが既によく知られている。このようなデジタルカメラには、撮影した画像から人物の顔を検出し、検出した顔に対して焦点合わせや露出制御を行うものがある（特許文献１参照）。
特開２００２−５１２５５号公報

上述したような、撮影した画像から人物の顔を検出する機能を備えた撮像装置においては、顔検出システムの性能上、検出できる顔のサイズに限度があり、あるサイズ以下の小さな顔は検出することができない。そのため、顔検出システムで検出できないような小さな顔を検出したい場合には、撮影画像を拡大してから顔検出を行うという方法がある。その場合、顔検出システムに入力する画像サイズには上限があるため、撮影画像の一部分を切り抜いて元の撮影画像と同じサイズまで拡大するという方法をとることになる。

図５（ａ）は撮影画像を示しており、通常はこの画像を顔検出システムに入力して顔検出を行う。一方で、撮影画像を拡大してから顔検出を行う場合には、図５（ｂ）のように撮影画像の内側の領域を指定し、その指定した領域を図５（ｃ）のように元の図５（ａ）の画像と同じサイズにまで拡大し、その画像を顔検出システムに入力して顔検出を行う。

しかし、この方法では、撮影画像の中の切り抜いて拡大する部分に入っている顔は検出することができるが、切り抜き部分の外側に存在する顔は、大きな顔であっても検出できなくなるという問題がある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影画像のうちの拡大範囲外にある顔の検出漏れを抑制しつつ、なるべく小さな顔まで検出できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、前記撮像画像から目的とする撮影対象を検出する検出手段と、前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を拡大して前記検出手段により前記撮影対象を検出するか、拡大しないで前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、前記撮像画像から目的とする撮影対象を検出する検出手段と、前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を第１の拡大率で拡大して前記検出手段により前記撮影対象を検出するか、第２の拡大率で拡大して前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備える撮像装置を制御する方法であって、前記撮像画像から目的とする撮影対象を検出する検出工程と、前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を拡大して前記検出工程で前記撮影対象を検出するか、拡大しないで前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え工程と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備える撮像装置を制御する方法であって、前記撮像画像から目的とする撮影対象を検出する検出工程と、前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を第１の拡大率で拡大して前記検出工程で前記撮影対象を検出するか、第２の拡大率で拡大して前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、撮影画像のうちの拡大範囲外にある顔の検出漏れを抑制しつつ、なるべく小さな顔まで検出することが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

（撮像装置の構成）
図１は、本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。

図１において、レンズ系１によって被写体像を表す光線が集光され、ＣＣＤ、ＣＭＯＳセンサ等からなる撮像素子２に入射する。被写体像を光電変換する撮像素子２から出力された画像信号には、アナログ信号処理回路３において相関二重サンプリング等のアナログ信号処理が施される。アナログ信号処理回路３から出力された画像信号は、Ａ／Ｄ変換回路４においてデジタルデータに変換され、制御回路１２およびデジタル信号処理回路５に入力される。デジタル信号処理回路５において、ガンマ補正、ホワイトバランス処理などのデジタル信号処理が行われる。デジタル信号処理回路５から出力された画像信号は、メモリ６を介して表示装置９に送られる。そして表示装置９の表示画面上に被写体像が表示される。撮像素子２で逐次光電変換（撮像）され、画像処理された画像信号（撮像画像）を表示装置９に逐次表示することにより、電子ビューファインダ（ライブビュー表示）が実現される。

また、デジタル信号処理回路５から出力された画像信号は、顔検出処理回路１０にも入力される。顔検出処理回路１０において、入力された画像信号から顔画像（撮影対象）が検出される。この顔画像の検出処理は、ライブビュー表示のために撮像素子２で逐次光電変換されたそれぞれの画像信号に対して行われる。

ここで、不図示のシャッタボタンの押下が行われると、被写体像が撮像素子２により本撮像（ライブビュー表示のためだけではない実際に記録して保存するための撮像）され、被写体像を表す画像データが得られる。画像データはデジタル信号処理回路５からメモリ６に与えられ、一時的に記憶される。画像データはメモリ６から読み出され、記録制御回路７によってメモリカード８に記録される。

なお、上記のシャッタボタンは、レリーズスイッチ１４に接続されており、シャッタボタンの半押しによりレリーズスイッチ１４のスイッチＳＷ１がＯＮして、ＡＥ（自動露出）処理、ＡＦ（オートフォーカス）処理等の撮影準備動作が行われる。また、シャッタボタンが全押しされると、レリーズスイッチ１４のスイッチＳＷ２がＯＮして、撮影動作が行われる。

（撮像装置の動作）
ここでは、図１の撮像装置における顔検出処理回路１０において、撮影画像を拡大して顔検出する場合と、拡大しないで顔検出する場合とを条件によって切り替える動作について説明する。

図２は、撮影画像から顔を検出する顔検出処理の動作を示すフローチャートである。

なお、図２に示す動作は、上述したライブビュー表示の状態において行われるものである。

まずステップＳ１１において、あるタイミングで撮像素子２により光電変換され画像処理された画像データを取得する。この画像データの取得とは、ライブビューで表示するための画像を取得する動作である。

そしてステップＳ１２において、その画像データに対して顔検出が実行される。

なお、顔領域を検出する技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目、鼻、口、および、顔の輪郭といった物理的な形状の特徴のある部位を画像データからテンプレートマッチングを用いて識別する手法がある。他にも、肌の色や目の形といった画像データの特徴量を検出し統計的解析を用いた手法があげられる（例えば、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報等を参照）。さらに、直前の顔領域が検出された位置の近傍であるかを判定したり、服の色を加味するために顔領域の近傍の色を判定したり、あるいは、画面の中央付近ほど顔識別のための閾値を低く設定したりする方法がある。または予め主被写体が存在する領域を指定させてヒストグラムや色情報を記憶し、相関値を求めることで主被写体を追尾する方法がある。本実施形態では、その形状から一対の目（両目）、鼻、口、および、顔の輪郭を検出し、これらの相対位置より人物の顔領域を決定する手法により顔領域の識別処理を行っている。そして検出された顔領域の大きさに沿って、この顔領域を囲む方形領域を設定し、この方形領域の座標を求める。この顔領域を囲む方形領域の座標が、対象となる主被写体の位置を示す識別領域となる。なお、顔領域を囲む領域は方形に限定されるものではなく、楕円などの他の形状や、検出された顔の輪郭に沿う形状であっても構わない。

次にステップＳ１３に進んで、顔が検出されたかどうかを判定する。顔が検出されていればステップＳ１４に進み、顔が検出されていなければステップＳ１６に進む。

ステップＳ１４ではステップＳ１２で検出された顔が、画面内の指定領域内にあるかどうかを判定する。図３（ａ）のように例えば顔Ａ、顔Ｂの２個の顔が検出されたとして、検出された顔Ａ、顔Ｂがすべて指定領域内に入っている場合はステップＳ１６に進む。また、図３（ｂ）のように、検出された顔Ａは指定領域内に入っているが、顔Ｂのように指定領域内に入っていない顔が１個でもある場合にはステップＳ１４ａに進む。

ステップＳ１４ａでは、後述する撮影処理を行い、ステップＳ１５に進む。

ステップＳ１５では撮影が終了したかどうかを判定して、撮影が終了していれば本フローチャートの処理を終了する。撮影が終了していなければ、ステップＳ１１に戻って上述のフローを繰り返す。

また、ステップＳ１３で顔が検出されていないと判定された場合と、ステップＳ１４で検出された顔がすべて指定領域内に入っていると判定された場合は、いずれもステップＳ１６に進む。

そして、ステップＳ１６では、新たにライブビュー用の画像データを取得する。

そしてステップＳ１７に進み、図５に示したように画像を拡大して顔検出を実行する。

その後、ステップＳ１８に進んで、顔が検出されたかどうかを判定する。顔が検出されていればステップＳ１８ａに進み、顔が検出されていなければステップＳ１４ａに進む。 ステップＳ１８ａでは、後述する撮影処理を行い、ステップＳ１９に進む。

ステップＳ１９では撮影が終了したかどうかを判定して、撮影が終了していれば本フローチャートの処理を終了する。撮影が終了していなければ、ステップＳ２０に進む。

ステップＳ２０では、ステップＳ１７で画像を拡大して検出された顔のうち、最小の顔サイズが閾値以上かどうかを判定する。最小の顔サイズが閾値以上であれば、ステップＳ１１に進んで新たにライブビュー用の画像データを取得して顔検出を実行するという処理に戻る。最小の顔サイズが閾値未満であれば、ステップＳ１６に進んで新たにライブビュー用の画像データを取得し、ステップＳ１７で顔を拡大して検出するという処理に戻る。

次に、図４は、図３のステップＳ１４ａとステップＳ１８ａで実行されるサブルーチンである撮影処理ステップを示すフローチャートである。

撮影処理ステップが開始されると、まず、ステップＳ４１において、シャッタボタンが半押しされて、レリーズスイッチ１４のスイッチＳＷ１がＯＮしているか否かが判断される。そして、スイッチＳＷ１がＯＮしている場合には、ステップＳ４２に進み、ＯＮしていない場合には、このサブルーチンを終了して、図２のステップＳ１５又はステップＳ１９に戻る。

ステップＳ４２では、不図示の測光センサにより被写体の輝度を検出して、レンズ系１の絞り値を算出すると共に、シャッタースピードを算出するＡＥ処理を行う。また、撮像素子２からの画像データのコントラストから合焦状態を検出し、被写体像が合焦状態となるようにレンズ系１のフォーカスレンズを駆動するＡＦ処理を行う。

次にステップＳ４３では、シャッタボタンが全押しされて、レリーズスイッチ１４のスイッチＳＷ２がＯＮしているか否かが判断される。そして、スイッチＳＷ２がＯＮしている場合には、ステップＳ４４に進み、ＯＮしていない場合には、このサブルーチンを終了して、図２のステップＳ１５又はステップＳ１９に戻る。

ステップＳ４４では、ステップＳ４２において算出された絞り値とシャッタースピードを用いて、撮像素子２の本露光を行う撮影処理を実行する。

ステップＳ４５では、ステップＳ４４で撮影された画像を表示装置９に表示する。

ステップＳ４６では、ステップＳ４４で撮影された画像データをメモリカード８に記録する。

そして、これらの処理が終了すると、このサブルーチンを終了して、図２のステップＳ１５又はステップＳ１９に戻る。

以上のように、本実施形態によれば、初めに画像を拡大しないで顔検出を行う。その後、ステップＳ１４で検出された顔がすべて指定領域内に入っているかどうかを判定し、１個でも入っていない顔が存在する場合には、次回の顔検出時には、画像を拡大せずに顔検出を行う。ここでの指定領域には、図３（ｂ）に示すように、画像を拡大する部分の領域、もしくはそれよりも内側の領域を指定する。そうすることにより、指定領域外で顔が検出された場合には、次回の顔検出時には、画像を拡大せずに顔検出を行うことになるため、画像を拡大して顔検出を行うことによって、その顔が検出されなくなることの弊害を防ぐことができる。また、全ての顔が指定領域内にあった場合は、画像を拡大して検出しても、顔が検出されなくなる恐れがないため、次回の顔検出時には、画像を拡大して顔検出を行う。

また、初めに画像を拡大しないで顔検出を行ったときに顔が全く検出されなかった場合には、顔は存在するがサイズが小さいために検出されなかった可能性があるため、次回の顔検出時には、画像を拡大して顔検出を行う。

そして、ステップＳ１７で画像を拡大して顔検出を行ったときに、顔が検出されなかった場合には小さな顔は存在しないことになるため、次回の顔検出時には、画像を拡大せずに顔検出を行う。また、画像を拡大して顔検出を行ったときに顔が検出された場合、検出された最小の顔サイズが閾値以上かどうかを判定する。ここでの閾値には、顔検出システムで検出できる最小の顔サイズを指定する。画面内の最小の顔サイズが閾値未満であれば画像を拡大しなければ顔を検出できないため、次回の顔検出時には、画像を拡大して顔検出を行う。画面内の最小の顔サイズが閾値以上であれば画像を拡大しなくても顔を検出できるため、次回の顔検出時には、画像を拡大せずに顔検出を行うことによって画像全体から顔検出を行うことができる。

以上のように、画像を拡大して顔検出する場合と拡大しないで顔検出する場合とを、例えば本実施形態のように、検出された顔の位置や顔のサイズなどの条件によって切り替える。これにより、より小さな顔まで検出できるとともに、画像を拡大して検出することによって拡大領域外に顔がある場合に、その顔が検出されなくなることの弊害を抑制することができる。さらに、画像を拡大しなくてもすべての顔を検出できる場合には、画像を拡大しないようにするため、拡大するときに顔が検出されなくなる領域が生じることがなく、画像全体で顔検出を行うことができる。また、検出された顔の位置や顔のサイズによって、第１の拡大率、第２の拡大率というように、画像の拡大率を複数段階設定してもよい。例えば、検出された顔のうち最も小さいもののサイズが小さくなるほど、次の顔検出のために読み出す画像の拡大率を大きくすることも可能である。あるいは、検出された顔のうち最も端部に存在するものの位置が中央部に近いほど、次の顔検出のために読み出す画像の拡大率を大きくすることも可能である。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の一実施形態に係わる撮像装置の概略構成を示すブロック図である。 撮影画像から顔を検出する顔検出処理の動作を示すフローチャートである。 画像の指定した領域の例を示した図である。 図３のステップＳ１４ａとステップＳ１８ａで実行されるサブルーチンである撮影処理ステップを示すフローチャートである。 画像を拡大して顔を検出する場合の例を示した図である。

符号の説明

１ レンズ系
２ 撮像素子
３ アナログ信号処理回路
４ Ａ／Ｄ変換回路
５ デジタル信号処理回路
６ メモリ
７ 記録制御回路
８ メモリカード
９ 表示装置
１０ 顔検出処理回路
１２ 制御回路
１４ レリーズスイッチ

Claims (9)

1. 被写体像を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像を表示する表示手段と、
   前記撮像画像から目的とする撮影対象を検出する検出手段と、
   前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を拡大して前記検出手段により前記撮影対象を検出するか、拡大しないで前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え手段と、
   を具備することを特徴とする撮像装置。
2. 被写体像を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像を表示する表示手段と、
   前記撮像画像から目的とする撮影対象を検出する検出手段と、
   前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を第１の拡大率で拡大して前記検出手段により前記撮影対象を検出するか、第２の拡大率で拡大して前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え手段と、
   を具備することを特徴とする撮像装置。
3. 前記撮影対象とは、人物の顔であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記指定された領域を拡大して前記撮影対象の検出を行う場合には、前記撮像画像の前記指定された領域を切り取って、切り取る前の元の画像と同じサイズに拡大してから前記撮影対象の検出を行うことを特徴とする請求項１又は２に記載の撮像装置。
5. 前回撮像された撮像画像に対する前記撮影対象の前記検出結果とは、前記撮像画像の画面内での前記撮影対象の位置とサイズの情報であることを特徴とする請求項１又は２に記載の撮像装置。
6. 被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備える撮像装置を制御する方法であって、
   前記撮像画像から目的とする撮影対象を検出する検出工程と、
   前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を拡大して前記検出工程で前記撮影対象を検出するか、拡大しないで前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え工程と、
   を具備することを特徴とする撮像装置の制御方法。
7. 被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を表示する表示手段と、を備える撮像装置を制御する方法であって、
   前記撮像画像から目的とする撮影対象を検出する検出工程と、
   前記撮像手段により前記被写体像を逐次撮像し、その逐次撮像された撮像画像を前記表示手段に逐次表示して、前記表示手段を電子ビューファインダとして動作させている状態において、前記撮像画像の指定された領域を第１の拡大率で拡大して前記検出工程で前記撮影対象を検出するか、第２の拡大率で拡大して前記撮影対象を検出するかを、前記逐次撮像された撮像画像のうちの前回撮像された撮像画像に対する前記撮影対象の検出結果に応じて切り替える切り替え工程と、
   を具備することを特徴とする撮像装置の制御方法。
8. 請求項６又は７に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images