JP2008227569A - 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム - Google Patents

Abstract

【課題】ストロボ撮影により被写体を撮影する場合であっても、撮像画像から顔候補領域を確実に抽出することができるようにする。
【解決手段】被写体を撮像し撮像画像データを生成する撮像部３７と、ストロボ光源を有するストロボ装置とを有した撮影装置１であって、前記ストロボ装置のストロボ光源を発光させずに前記被写体を前記撮像部３７に撮像させ第１撮像画像データを生成させると共に、前記ストロボ装置のストロボ光源を発光させ当該ストロボ光が照射された前記被写体を前記撮像部３７に撮像させ第２撮像画像データを生成させるストロボ制御部３０と、前記第１撮像画像データと、前記第２撮像画像データとに基づいて、前記第２撮像画像データから前記被写体の顔を検出する顔検出部３３とを備える構成とした。
【選択図】図２

Description

本発明は、被写体を撮像した撮像画像データから該被写体の検出対象物であるオブジェクトの領域を抽出する技術に関する。

従来、画像内のオブジェクトを検出する技術として、例えば人物の顔を自動的に検出する様々な顔検出技術が提案されており、デジタルカメラやプリンタ装置への応用が図られている。
デジタルカメラにおいては、顔検出技術を応用して、撮像画像に含まれる被写体の顔を自動的に検出し、検出された顔の情報に基づいて、例えばオートフォーカス機能制御といった撮像に関する各種制御を行うことが提案されている。また、プリンタ装置においては、印刷対象の画像に含まれている人物の顔を自動的に検出し、その顔が適切な明るさ及び好ましい肌色で表現するための画像補正が行われている。

従来の顔検出においては、画像データを構成する各画素データのそれぞれに対し顔の一部の画素か否かを判定し、いわば全数探索を実施することで顔検出が行われている。
しかしながら、デジタルカメラやプリンタ等では、被写体の撮影時や画像の印刷時に顔検出がリアルタイムに行われる必要があるため、顔検出処理の高速化が必要である。

そこで、顔検出の高速化を図るために、顔検出対象の画像から人物の肌色を示す肌色領域を抽出するとともに、その肌色領域のエッジ部分を抽出し、このエッジ部分で囲まれた肌色領域を顔領域の候補（以下、「顔候補領域」と言う）として扱い、この顔候補領域に対して顔か非顔かの判定を行う技術が提案されている（例えば、特許文献１参照）。この技術によれば、顔領域の候補の抽出によって、顔か非顔かの判定処理を行う領域が絞り込まれるため、顔か非顔かの判定処理の回数を減らし，上記全数探索に対し、いわば部分探索を行うことで、顔検出処理の高速化が図られる。
特開平９−１０１５７９号公報

しかしながら、撮影環境における光源の特性によっては，撮像画像に色かぶりが発生してしまうことがあり、被写体の撮像画像における色が予め定義された色の色空間から外れることがある。また、撮影時の環境光の明るさによっては，撮像画像に白とびや黒つぶれが発生し，オブジェクト候補領域の輪郭線が不鮮明になる場合がある。
特に、ストロボ装置をストロボ発光させて撮影を行うストロボ撮影時には、上記の色かぶりや白とびが生じ易く、本来、オブジェクト候補領域として抽出すべき領域が抽出されないといったケースが起こり得る。

本発明は、上述した事情に鑑みてなされたものであり、ストロボ撮影により被写体を撮影する場合であっても、撮像画像からオブジェクト候補領域を抽出することのできる撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラムを提供することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の撮影装置は、被写体を撮影する撮影装置であって、前記被写体を撮像し撮像画像データを生成する撮像部と、前記被写体を撮像するのに用いる光源部と、前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させると共に、前記光源部を発光させ、前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させるように前記撮影装置を制御する制御部と、前記第１撮像画像データと前記第２撮像画像データとを比較して、前記被写体の領域を抽出する領域抽出部と、前記領域抽出部によって抽出された領域に基づいて、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出するオブジェクト検出部とを備えたことを特徴とする。

このような構成によれば、光源部の発光前後の撮像画像データである第１及び第２撮像画像データ同士の比較により、光源部による光が照射された被写体の領域が抽出される。
したがって、撮影時に光源部による光によって、色かぶりや白とびが生じた場合であっても、被写体の領域を確実に抽出することが可能となり、オブジェクト検出を行う領域を絞り込むことで高速なオブジェクト検出が実現可能となる。

〔形態２〕 さらに、形態２の撮影装置は、形態１の撮影装置において、前記領域抽出部は、前記第１撮像画像データを構成する画素の明度と、前記第２撮像画像データを構成する画素の明度との差に基づいて前記被写体の領域を抽出することを特徴とする。
この構成によれば、第１及び第２撮像画像データのそれぞれの画素の明度差を求めることで、光が照射された被写体の領域を簡単に抽出することができる。

〔形態３〕 さらに、形態３の撮影装置は、形態１又は２の撮影装置において、前記第２撮像画像データと、前記オブジェクト検出部により検出された前記オブジェクトの情報とを対応付けて出力する出力部を備えることを特徴とする。
この構成によれば、光源部の発光後の撮像画像データである第２撮像画像データと、オブジェクトの情報とが対応付けて出力されるため、例えばプリンタ装置等の外部機器に第２撮像画像データを出力する際に、外部機器側で第２撮像画像データのオブジェクトの情報を得ることが可能となり、例えばオブジェクトとしての顔の色補正など種々の応用が可能となる。

〔形態４〕 さらに、形態４の撮影装置は、形態１乃至３のいずれかの撮影装置において、前記制御部は、前記第２撮像画像データを複数生成させ、前記領域抽出部は、前記第１撮像画像データと、複数の前記第２撮像画像データとに基づいて、前記第２撮像画像データのそれぞれについて前記被写体の領域を検出することを特徴とする。
この構成によれば、光源部の発光時に時間的或いは空間的な照度ムラが生じている場合であっても、光源部の発光後に複数の第２撮像画像データを生成し、それぞれの第２撮像画像データから被写体の領域を抽出するため、照度ムラに影響されずに確実に被写体の領域を抽出することができる。

〔形態５〕 さらに、形態５の電子機器は、形態１ないし４のいずれか１の撮影装置を備えたことを特徴とする。
この構成によれば、形態１ないし形態４のいずれか１の撮影装置を様々な電子機器に応用することができる。

〔形態６〕 上記目的を達成するために、形態６の撮影制御方法は、被写体を撮像し撮像画像データを生成する撮像部と、光源部とを備えた撮影装置の撮影制御方法であって、前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させる第１ステップと、前記光源部を発光させ前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させる第２ステップと、前記第１撮像画像データ及び前記第２撮像画像データに基づいて、前記被写体の領域を抽出する第３ステップと、前記第３ステップにおいて抽出された領域と、前記第２撮像画像データとを比較して、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出する第４ステップとを備えたことを特徴とする。
この撮影制御方法によれば、形態１の撮影装置と同等の効果が得られる。

〔形態７〕 上記目的を達成するために、形態７の撮影制御プログラムは、被写体を撮像し撮像画像データを生成する撮像部と、光源部とを備えた撮影装置を、前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させる手段と、前記光源部を発光させ前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させる手段と、前記第１撮像画像データと前記第２撮像画像データとを比較して、前記被写体の領域を抽出する手段と、抽出された前記被写体の領域に基づいて、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出する手段として機能させることを特徴とする。
この撮影制御プログラムによれば、撮影装置のコンピュータによってプログラムが読み取られ、読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の撮影装置と同等の作用及び効果が得られる。

〔形態８〕 上記目的を達成するために、形態８の記録媒体は、被写体を撮像し撮像画像データを生成する撮像部と、光源部とを備えた撮影装置を、前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させる手段と、前記光源部を発光させ前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させる手段と、前記第１撮像画像データと前記第２撮像画像データとを比較して、前記被写体の領域を抽出する手段と、抽出された前記被写体の領域に基づいて、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出する手段として機能させる撮影制御プログラムを記録したコンピュータ読取可能な記録媒体である。
この記録媒体によれば、撮影装置のコンピュータによってプログラムが記録媒体から読み取られ、読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の撮影装置と同等の作用及び効果が得られる。
ここで、記録媒体とは、ＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記録型／光学的読取方式記録媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録媒体であってもよい。

以下、図面を参照して本発明の実施形態について説明する。なお、以下の説明では、人物の顔をオブジェクトとして検出する場合について説明するが、本発明はこれに限定されるものではない。
＜第１実施形態＞
図１は、本実施形態に係る撮影装置１の機能的構成を示すブロック図である。
この撮影装置１はデジタルカメラとして構成されており、各部を中枢的に制御する制御部２を有している。
また、図１において、撮影レンズユニット３はＣＣＤユニット４上に被写体の光学像を結像するものであり、焦点位置を調整可能に複数のレンズを有して構成されている。図示を省略するが、撮影レンズユニット３は、光学像を取り込む際の光量を調整する絞り機構を有している。
ＣＣＤユニット４は、撮影レンズユニット３によって結像された光学像を電気信号に変換するイメージセンサであり、ＣＣＤユニット４が出力する電気信号はアナログ信号処理回路５に入力される。なお、ＣＣＤユニット４と上記撮影レンズユニット３との間には、シャッタースピードに応じた時間（露光時間）だけ開放する図示しないメカニカルシャッタが設けられている。

アナログ信号処理回路５は、ＣＣＤユニット４から出力された電気信号に対して各種信号処理を行い、Ａ／Ｄ変換器６に出力する。
Ａ／Ｄ変換器６は、アナログ信号処理回路５から出力された電気信号をＡ／Ｄ変換し無加工の原画像データたるＲＡＷデータを生成して、信号バス７を介して画像処理部８に出力する。
画像処理部８は、Ａ／Ｄ変換器６から出力されたＲＡＷデータに対し、３原色（ＲＧＢ）の濃淡レベルを持つカラー画像を形成する画像形成処理、ホワイトバランス補正、ガンマ補正等を施して画像データを生成し、信号バス７を介して圧縮／伸張部９に出力する。
圧縮／伸張部９は、画像処理部８から出力された画像データを、例えばＪＰＥＧ等の所定の圧縮／伸張規格に基づいて圧縮して撮像画像データ１００を生成し、信号バス７及びインタフェース（Ｉ／Ｆ）１０を介して外部記録メモリ１１に出力する。
外部記録メモリ１１は、例えば半導体メモリ、光ディスク、磁気ディスク又はハードディスク等の記録媒体であり、圧縮／伸張部９から出力された撮像画像データ１００を記録する。外部記録メモリ１１は、Ｉ／Ｆ１０に対して着脱自在に構成され、撮像画像データ１００を記録した外部記録メモリ１１を撮影装置１から取り外し、例えばプリンタ装置やパーソナルコンピュータ等の他の機器に装着することで、撮像画像データ１００を他の機器に簡単に読み取らせることができる。

ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１２は、操作メニュの表示や撮像画像の表示等の各種情報を表示する情報出力手段として機能し、表示制御部１３は、制御部２の制御の下、ＬＣＤ１２に表示データを出力し各種表示を行わせる。
より詳細には、撮影装置１は、動作モードとして静止画を撮影する撮影モードおよび撮影済みの撮像画像を再生表示する再生表示モードの少なくとも２つの動作モードを備えている。撮影モードにおいては、表示制御部１３は、上記撮影レンズユニット３から取り込まれている光学像に基づいて画像処理部８によって生成された画像データをプレビュー画像としてＬＣＤ１２に表示し、いわゆるファインダーの機能を実現する。また、再生モードにおいては、表示制御部１３は、外部記録メモリ１１から読み出され、圧縮／伸張部９により伸張された撮像画像データ１００を表示する。

操作モジュール１４は、撮影者によって操作される複数の操作子を有し、この操作子には、撮影開始を指示入力する押下式のシャッターボタンの他、動作モードや撮影条件の設定等を行う操作キー等の各種の操作子が設けられている。
ストロボ装置１５は、ストロボ光源１５Ａを有し、制御部２の制御の下、ストロボ光源を発光させストロボ光を被写体に照射する。
ＲＯＭ１６は、制御部２によって実行される制御プログラム１７や各種データを格納するものであり、ＲＡＭ１８は、制御部２のワークエリアとして機能するものである。
制御プログラム１７は、磁気記録媒体、光記録媒体、半導体記録媒体等のコンピュータ読み取り可能な記録媒体に記録して配布したり、通信ネットワーク上の配信サーバからダウンロード可能にすることができる。さらに、パーソナルコンピュータと撮影装置１とを通信可能にケーブル等で接続し、パーソナルコンピュータが記録媒体から読み取った制御プログラム１７を撮影装置１に出力することで、この制御プログラム１７をＲＯＭ１６に格納し、或いは、書き換えることも可能である。

制御部２は、プログラム実行手段としてのＣＰＵ２０と、撮影レンズユニット３のレンズ系を制御してフォーカス調整を行うレンズ制御回路２１と、操作モジュール１４に対する撮影者の撮影指示に連動して各部を制御し撮影を実行するカメラ制御回路２２と、ストロボ撮影時にカメラ制御回路２２による撮影制御に連動してストロボ装置１５を制御しストロボ光源１５Ａを発光させるストロボ制御回路２３とを有している。
なお、ストロボ撮影は、撮影者が操作モジュール１４を操作してストロボ撮影を指示入力した場合、或いは、図示しない照度計により計測された撮影環境光の照度が低く、ストロボ発光無しでは十分な明るさの撮像画像が得られない場合に行われる。

上記制御プログラム１７には、ストロボ撮影時に実行されるストロボ撮影制御プログラム１７Ａが含まれている。このストロボ撮影制御プログラム１７Ａは、ストロボ装置１５の発光制御および撮影制御の他に、撮像画像から人物などの被写体の領域を顔候補領域として抽出する抽出制御、この顔候補領域に対して顔検出を行う顔検出制御を撮影装置１に実現させるものである。
さらに詳述すると、ストロボ撮影が行われる場合、制御部２がストロボ撮影制御プログラム１７Ａを実行することで、図２に示すように、制御部２やＲＯＭ１６、ＲＡＭ１８等の上述した各部の協働によって、撮影装置１が、ストロボ制御部３０、映像処理部３１、顔候補領域抽出部３２、顔検出部３３、タグ付け部３４、画像格納部３５、及び、表示部３６として機能し、また、この場合、ストロボ制御部３０及び映像処理部３１が被写体を撮像する撮像部３７として機能する。

ストロボ制御部３０は、操作モジュール１４に対する撮影者の撮影指示入力をトリガーとした撮影動作と、ストロボ装置１５のストロボ発光動作とを連動させる制御機能を有している。より詳述すると、ストロボ制御部３０は、図３に示すように、撮影指示が操作モジュール１４に入力された場合、撮影指示入力タイミングｔ０からストロボ光源１５Ａを発光させるストロボ発光タイミングｔ１までの間に、カメラ制御回路２２等を制御して、ストロボ発光を行わない状態で少なくとも１回以上被写体を撮影する撮影動作を行う。また、ストロボ制御部３０は、ストロボ発光を行った後、カメラ制御回路２２及びストロボ制御回路２３を制御して、ストロボ光が照射された状態の被写体を撮影する撮影動作を行う。

映像処理部３１は、ストロボ制御部３０による撮影動作に伴って撮像画像データ１００を生成し格納するものであり、例えばＣＣＤユニット４、アナログ信号処理回路５、Ａ／Ｄ変換器６、ＣＰＵ２０、ＲＡＭ１８等により構成されている。なお、以下の説明においては、ストロボ発光前であって露光不足の状態で被写体を撮影した撮像画像データを「第１撮像画像データ１００Ａ」と称し、また、ストロボ発光によってストロボ光が照射された被写体を撮影した撮像画像データを「第２撮像画像データ１００Ｂ」と称して両者を区別する。なお、ストロボ撮影時においては、第２撮像画像データ１００Ｂがストロボ撮影による実際の撮像画像データ１００として外部記録メモリ１１に保存される。

顔候補領域抽出部３２は、上記２種類の第１及び第２撮像画像データ１００Ａ、１００Ｂを解析して、撮像画像における被写体の領域を顔候補領域として抽出する機能を有する。
より具体的には、顔候補領域抽出部３２は、ストロボ発光前の第１撮像画像データ１００Ａを構成する画素の明度と、ストロボ発光後の第２撮像画像データ１００Ｂを構成する画素の明度との各々の差分を求め、その差分値を画素の明度とした差分画像データ１０１を生成する。

すなわち、夜間や暗所のように撮影環境光の照度が低い場合、図４に示すように、ストロボ発光前の第１撮像画像データ１００Ａは、露光が不足した状況で撮影された撮像画像のデータであるため、各画素の明度が全体に一様に低くなる。これに対して、ストロボ発光後の第２撮像画像データ１００Ｂは、ストロボ光が照射された被写体を撮影した撮像画像のデータであるため、被写体に対応する画素の明度が背景の画素の明度よりも高くなる。
そこで、顔候補領域抽出部３２は、撮像画像データ１００Ａ、１００Ｂのそれぞれの画素の明度の差分を求めて生成した差分画像データ１０１を、明度が一定閾値以上であるか否かに基づいて２値化すると共に、明度が一定閾値以上の画素の集合を抽出し、それらの画素の集合を顔候補領域１１０として設定する。

上記一定閾値は、ストロボ光が照射された被写体を示す明度の下限値であり、経験的或いは実験的により求められている。また、撮像画像がカラー画像である場合、各画素の明度を算出する際には、例えば一般的に用いられている次式により算出可能である。
すなわち、カラー画像の各画素のＲ値、Ｇ値及びＢ値のそれぞれを用いて、
明度Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
として算出可能である。

また上記顔候補領域１１０の設定においては、顔候補領域抽出部３２は、図４に示すように、差分画像データ１０１に含まれる顔候補領域１１０のそれぞれに対し、例えば番号などの互いを識別するラベル（識別子）１１２を付与し、顔候補領域１１０の座標情報と対応付けて保持する。この座標情報は、顔候補領域１１０の輪郭線の（ｘ、ｙ）座標情報であっても良く、また、図５に示すように、顔候補領域１１０を包括する最小面積の矩形領域１１３の４頂点の（ｘ、ｙ）座標情報であっても良い。なお、座標情報の原点位置は、例えば撮像画像の４隅のいずれかの画素に設定される。

次いで、図２に示す顔検出部３３は、顔候補領域抽出部３２によって設定された顔候補領域１１０に基づいて、ストロボ発光後の第２撮像画像データ１００Ｂを解析し人物の顔を検出する機能を有する。
顔検出の手法としては、任意の技術を採用することが可能であり、例えば、予め顔画像を多数収集し、これらの収集した顔画像を元に特定の大きさの画像を、顔画像と顔以外の画像（非顔画像）に識別する顔検出器を予め構成し、この顔検出器を用いて、顔候補領域１１０に顔が含まれているか否かを検出する。
より具体的には、上記顔検出器においては、例えば輝度やエッジから生成される画像特徴量を用いて顔が表現されており、この画像特徴量と、顔候補領域１１０の画像の特徴量とを比較することにより顔を検出する。また、顔検出器は多層ニューラルネットワーク、サポートベクトルマシンや判別分析等の統計的な手法によっても実現することができる。

また、顔検出のその他の手法として、例えば「背景と顔の方向に依存しない顔の検出と顔方向の推定」信学技報、ＰＲＭＵ２００１−２１７、ｐｐ．８７−９４（２００２−０１）、荒木祐一、島田伸敬、白井良明に示されている技術を用いることも可能である。この技術の概要を説明すると、顔の部位を確率付きで求め、弛緩法を用いて顔の検出を行い、さらに、顔の部位の検出結果を用いて顔方向の検出を行うものである。該技術を本発明の顔検出に用いる場合には、顔候補領域１１０に対する顔の検出のみを行い、顔の方向検出は必要としない。

タグ付け部３４は、上記顔検出部３３によって第２撮像画像データ１００Ｂから被写体の顔が検出された場合に、該第２撮像画像データ１００Ｂと、検出された顔の座標情報（タグ）とを対応付けるものであり、例えば第２撮像画像データ１００Ｂの識別子（例えば画像ファイル名）と、顔の座標情報（タグ）とを対応付けてテーブルデータ１２０に記録する。

画像格納部３５は、ストロボ発光後に撮影された撮像画像のデータである第２撮像画像データ１００Ｂをストロボ撮影時に撮影された画像の撮像画像データ１００として格納すると共に、この第２撮像画像データ１００Ｂに写っている顔の座標情報（タグ）が記録された上記テーブルデータ１２０を保持する。
表示部３６は、前掲図４に示すように、第２撮像画像データ１００Ｂと、上記顔の座標情報（タグ）とに基づいて、検出された顔の領域１３０を撮像画像に重ねて表示することで、撮影者などのユーザに顔検出結果を表示する。

上記画像格納部３５は、図１に示す外部記録メモリ１１により構成されており、この外部記録メモリ１１を例えばプリンタ装置などの外部機器に読み込ませることで、外部機器においては、ストロボ撮影時の撮像画像データ１００である第２撮像画像データ１００Ｂと共に、上記テーブルデータ１２０に基づいて、第２撮像画像データ１００Ｂにおける顔の座標情報（タグ）を取得することが可能となり、顔画像に対する肌色補正といった各種の応用が可能となる。
なお、外部機器への第２撮像画像データ１００Ｂ及びテーブルデータ１２０の出力の態様は、上記外部記録メモリ１１への出力に限らず、例えば所定の通信規格の通信により撮影装置１から外部機器に対して送信する構成としても良い。

次いで、本実施形態の動作として、ストロボ撮影時の動作、すなわち、上記ストロボ撮影制御プログラム１７Ａに基づく制御動作について説明する。
図６はストロボ撮影処理のフローチャートである。
ストロボ撮影時においては、撮影者によって操作モジュール１４から撮影指示が入力されると（ステップＳ１）、ストロボ制御部３０は、カメラ制御回路２２等を制御して、ストロボ発光を行わない状態で被写体を撮影する撮影動作を行い、この撮影動作による第１撮像画像データ１００Ａを映像処理部３１が生成する（ステップＳ２）。

次いで、ストロボ制御部３０は、ストロボ装置１５にストロボ発光させ（ステップＳ３）、ストロボ光が照射された状態の被写体を撮影する撮影動作を行い、この撮影動作による第２撮像画像データ１００Ｂを映像処理部３１が生成する（ステップＳ４）。
次いで、顔候補領域抽出部３２は、ストロボ発光前後の第１及び第２撮像画像データ１００Ａ、１００Ｂに基づいて、上記の差分画像データ１０１を生成し（ステップＳ５）、この差分画像データ１０１に基づいて顔候補領域１１０を抽出し（ステップＳ６）、各顔候補領域１１０にラベル付けを行う（ステップＳ７）。
次に、顔検出部３３は、ステップＳ６において抽出された顔候補領域１１０と、第２撮像画像データ１００Ｂとに基づいて、該第２撮像画像データ１００Ｂから顔を検出する（ステップＳ８）。

図７は顔検出処理のフローチャートである。
この図に示すように、顔検出部３３は、ステップＳ７においてラベル付けした顔候補領域の１つ目（ラベル番号１）の顔候補領域１１０の座標情報を読み込み（ステップＳ２０）、この座標情報に基づいて、ストロボ発光後の第２撮像画像データ１００Ｂから顔候補領域１１０のみの画像データを抽出し（ステップＳ２１）、この画像データに対して上記顔検出の手法に基づく顔検出を実行する（ステップＳ２２）。
次いで、顔検出部３３は、顔検出の結果、顔候補領域１１０に顔があるか否かを判断し（ステップＳ２３）、顔がある場合（ステップＳ２３：Ｙｅｓ）、検出された顔の領域を示す座標情報（タグ）をタグ付け部３４が第２撮像画像データ１００Ｂと対応付けてテーブルデータ１２０に記録する（ステップＳ２４）。

一方、顔候補領域１１０に顔がなかった場合（ステップＳ２３：Ｎｏ）、或いは、ステップＳ２４において検出された顔に対するタグ付けを行った後、顔検出部３３は、第２撮像画像データ１００Ｂにおいて、未だ顔検出を行っていない未処理の顔候補領域１１０があるか否かを判断し（ステップＳ２５）、未処理の顔候補領域１１０がある場合には（ステップＳ２５：Ｙｅｓ）、処理手順をステップＳ２０に戻し、未処理の顔候補領域１１０に対して顔検出を行う。また、未処理の顔候補領域１１０がない場合には（ステップＳ２５：Ｎｏ）、顔検出部３３は、顔検出処理を終了する。

上記のようにして、第２撮像画像データ１００Ｂから顔を検出した後、図６に示すように、表示部３６は、第２撮像画像データ１００Ｂと、ステップＳ２４において記録された顔の座標情報（タグ）とに基づいて、検出された顔の領域１３０を撮像画像に重ねて表示し（ステップＳ９）、次のストロボ撮影に備え、処理手順をステップＳ１に戻す。
なお、このステップＳ９において、検出された顔の座標や顔の領域に誤差が生じている場合に、撮影者が操作モジュール１４を操作して、その誤差を修正する構成としても良い。

以上説明したように、本実施形態の撮影装置１によれば、ストロボ装置１５のストロボ光源１５Ａを発光させずに被写体を撮像し第１撮像画像データ１００Ａを生成すると共に、前記ストロボ装置１５のストロボ光源１５Ａを発光させ当該ストロボ光が照射された被写体を撮像し第２撮像画像データ１００Ｂを生成し、これら第１及び第２撮像画像データ１００Ａ、１００Ｂを比較して、被写体の領域を抽出する構成としたため、ストロボ光が照射された被写体を第２撮像画像データ１００Ｂから簡単に抽出することが可能となる。
特に、ストロボ撮影時にストロボ光によって、色かぶりや白とびが生じた場合であっても、被写体の領域を確実に抽出することが可能となる。
したがって、顔検出を行う領域を確実に絞り込むことで高速な顔検出が実現可能となる。

さらに、本実施形態の撮影装置１によれば、第１撮像画像データ１００Ａを構成する各画素の明度と、第２撮像画像データ１００Ｂを構成する各画素の明度との差に基づいて被写体の領域を抽出する構成としたため、第１及び第２撮像画像データ１００Ａ、１００Ｂのそれぞれの画素の明度差を求めるだけで、ストロボ光が照射された被写体の領域を簡単に抽出することができる。

また、本実施形態の撮影装置１によれば、第２撮像画像データ１００Ｂと、顔検出部３３により検出された被写体の顔の座標情報（タグ）とを対応付けてテーブルデータ１２０に記録し、当該第２撮像画像データ１００Ｂ及びテーブルデータ１２０を着脱自在な外部記録メモリ１１に格納する構成とした。これにより、この外部記録メモリ１１を例えばプリンタ装置などの外部機器に読み込ませることで、外部機器においては、ストロボ撮影時の撮像画像データ１００である第２撮像画像データ１００Ｂと共に、上記テーブルデータ１２０に基づいて、第２撮像画像データ１００Ｂにおける顔の座標情報（タグ）を取得し、顔画像に対する肌色補正といった各種の応用が可能となる。

＜第２実施形態＞
次いで本発明の第２実施形態について説明する。
上述した第１実施形態では、ストロボ装置１５をストロボ発光させた後、ストロボ光が照射された状態の被写体を撮影する動作を１回だけ行って、第２撮像画像データ１００Ｂを生成した。これに対して、本実施形態では、ストロボ発光の後、複数回の撮影動作により、複数の第２撮像画像データ１００Ｂを生成する。

詳述すると、図８（Ａ）に示すように、一般的な撮像画像１５０においては、複数の物体１５２が含まれている。これらの物体１５２は、撮影装置１からの距離が全て同じ訳ではなく、図８（Ｂ）に示すように、撮影装置１の近くに位置するものから遠方に位置するものまで様々である。またストロボ装置１５のストロボ光は撮影装置１から遠ざかるにしたがって減衰するため、ストロボ光により十分な照度が得られる光源有効範囲１６０が存在する。したがって、ストロボ撮影時には、光源有効範囲１６０内に存在する物体１５２がストロボ光に照射されて照度が高まるものの、光源有効範囲１６０の外側にある物体１５２においては、ストロボ光が届かないため、黒つぶれした不鮮明な状態となる。

ところで、ストロボ発光における発光強度の時間的変化特性や、或いは、空間的な照度ムラなどにより、光源有効範囲１６０内に存在する全ての物体１５２が一様にストロボ光で照射される訳ではない。これに起因して、ストロボ発光後の撮影タイミングが異なると、それぞれの撮像画像データ１００の照度分布が異なる場合があり、例えば全体的に露光不足であったり、或いは、一部の物体１５２の露光が不足するなどして、被写体領域の検出精度が劣化する恐れがある。

そこで本実施形態では、ストロボ制御部３０は、図９に示すように、ストロボ発光タイミングｔ１から撮影動作を複数回繰り返して複数の第２撮像画像データ１００Ｂを生成する。なお、これらの第２撮像画像データ１００Ｂには、通常のストロボ撮影時のタイミングで撮影したデータも含まれており、そのデータが今回のストロボ撮影時の撮像画像データ１００として画像格納部３５に記録される。

図１０は本実施形態におけるストロボ撮影処理のフローチャートである。なお、第１実施形態と重複した説明を避けるために、第１実施形態で説明したステップについては同じ符号を付し、その説明を省略する。
この図に示すように、ストロボ制御部３０は、ステップＳ３においてストロボ装置１５をストロボ発光させた後、ストロボ光が照射された状態の被写体を撮影する撮影動作を、規定の撮影回数に達するまで繰り返し実行し、規定の撮影回数分の第２撮像画像データ１００Ｂを生成する（ステップＳ４及びＳ１０）。

このようにして複数の第２撮像画像データ１００Ｂが取得されると、顔候補領域抽出部３２は、各第２撮像画像データ１００Ｂに対して、第１実施形態にて説明した差分画像データ１０１の生成（ステップＳ５）、差分画像データ１０１に基づく顔候補領域抽出（ステップＳ６）及び顔候補領域１１０へのラベル付け（ステップＳ７）を実行する（ステップＳ１１）。

この結果、それぞれの差分画像データ１０１において、互いに異なる顔候補領域１１０が抽出された場合には、それらすべての顔候補領域１１０にラベルが付されて記録されることとなる。
これにより、ストロボ装置１５の照度ムラなどによって第２撮像画像データ１００Ｂのそれぞれにおいて物体１５２の明度が異なっている場合でも、ストロボ撮影時にストロボ光が一度でも照射された物体１５２を抽出することが可能となり、被写体の領域をより確実に抽出することが可能となる。

このように、本実施形態によれば、ストロボ装置１５のストロボ光源１５Ａを発光させときから、撮影動作を複数回繰り返し行わせて第２撮像画像データ１００Ｂを複数生成させ、第１撮像画像データ１００Ａと、第２撮像画像データ１００Ｂの各々とに基づいて、第２撮像画像データ１００Ｂのそれぞれから被写体の領域を検出する構成とした。
この構成により、第１実施形態で述べた効果に加え、さらに、ストロボ発光時に時間的或いは空間的な照度ムラが生じている場合であっても、各第２撮像画像データ１００Ｂのそれぞれに基づいて、照度ムラに影響されずに確実に被写体の領域を抽出することができる。

なお、本実施形態においては、第２撮像画像データ１００Ｂの各々について第１撮像画像データ１００Ａとの差分画像データ１０１を生成し、それぞれの差分画像データ１０１から被写体の領域を抽出する構成としたが、これに限らない。
すなわち、複数の第２撮像画像データ１００Ｂの各々の画素の明度を、同一の画素ごとに加算して、全部の第２撮像画像データ１００Ｂの明度の情報が反映された撮像画像データを生成し、この撮像画像データと、上記第１撮像画像データ１００Ａとの各画素の明度の差を示す差分画像データ１０１を生成し、被写体の領域を抽出する構成としても良い。
この構成によれば、差分画像データ１０１の生成が１回で済むため、処理を高速化が図られる。

また、上述した各実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上述した第１及び第２実施形態では、撮影時の環境光が足りず、第１撮像画像データ１００Ａとして、被写体の露光が不足した撮像画像のデータが得られる場合を例示したがこれに限らず、例えば、逆光により被写体が黒つぶれした撮像画像データを第１撮像画像データ１００Ａとし、ストロボ発光により被写体にストロボ光が照射された状態の撮像画像データを第２撮像画像データ１００Ｂとした場合であっても、第１及び第２撮像画像データ１００Ａ、１００Ｂの比較により、被写体の領域を抽出することが可能である。要するに、第１及び第２撮像画像データ１００Ａ、１００Ｂの間で、被写体に明度差が生じる状況であれば本発明を適用することが可能である。

また、上述した各実施形態においては、オブジェクトとして顔を検出する場合について説明したが、顔に限らず、手、足等の人物の他の部分、動物、植物、花瓶等の静物など特定の検出対象物であればどのようなものであっても本発明を適用することが可能である。
また、上述した各実施形態においては、光を照射せず撮影した撮像画像データを生成後、光を照射して撮影した撮像画像データを生成する構成としたが、これに限らず、光を照射して撮影した撮像画像データを生成後、光を照射せず撮影した撮像画像データを生成するようにしてもよい。このような構成にすることにより、外部記憶メモリ１１に保存される、光を照射して撮影した撮像画像データを撮影者が撮影指示入力した時点のものとできるため、撮影者が撮影したい時点における撮像画像データを保存しつつ、光を照射せず撮影した撮像画像データを用いてオブジェクトを検出することが可能となる。
また、本発明に係る撮影装置１は、例えば携帯電話機やラップトップコンピュータ、ＰＤＡ等の携帯型の電子機器に組み込んで実施することが可能である。

本発明の第１実施形態に係る撮影装置の構成を示すブロック図。 撮影装置の機能的構成を示すブロック図。 ストロボ撮影時の撮影動作の概要と共に、第１撮像画像データ及び第２撮像画像データを示す図。 ストロボ撮影時の撮影動作の概要と共に顔検出動作の概要を示す図。 顔検出結果のタグの他の態様を示す図。 ストロボ撮影処理のフローチャート。 顔検出処理のフローチャート。 物体に対するストロボ光の照射を示す図。 本発明の第２実施形態に係るストロボ撮影時の撮影動作の概要と共に、第１撮像画像データ及び第２撮像画像データを示す図。 ストロボ撮影処理のフローチャート。

符号の説明

１…撮影装置、２…制御部、１５…ストロボ装置、１５Ａ…ストロボ光源、１７Ａ…ストロボ撮影制御プログラム、２０…ＣＰＵ、３０…ストロボ制御部、３１…映像処理部、３２…顔候補領域抽出部、３３…顔検出部、３５…画像格納部、３６…表示部、３７…撮像部、１００…撮像画像データ、１００Ａ…第１撮像画像データ、１００Ｂ…第２撮像画像データ、１１０…顔候補領域。

Claims (7)

1. 被写体を撮影する撮影装置であって、
   前記被写体を撮像し撮像画像データを生成する撮像部と、
   前記被写体を撮像するのに用いる光源部と、
   前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させると共に、前記光源部を発光させ、前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させるように前記撮影装置を制御する制御部と、
   前記第１撮像画像データと前記第２撮像画像データとを比較して、前記被写体の領域を抽出する領域抽出部と、
   前記領域抽出部によって抽出された領域に基づいて、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出するオブジェクト検出部と
   を備えたことを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記領域抽出部は、
   前記第１撮像画像データを構成する画素の明度と、前記第２撮像画像データを構成する画素の明度との差に基づいて前記被写体の領域を抽出する
   ことを特徴とする撮影装置。
3. 請求項１又は２に記載の撮影装置において、
   前記第２撮像画像データと、前記オブジェクト検出部により検出された前記オブジェクトの情報とを対応付けて出力する出力部を備える
   ことを特徴とする撮影装置。
4. 請求項１乃至３のいずれかに記載の撮影装置において、
   前記制御部は、
   前記第２撮像画像データを複数生成させ、
   前記領域抽出部は、
   前記第１撮像画像データと、複数の前記第２撮像画像データとに基づいて、前記第２撮像画像データのそれぞれについて前記被写体の領域を検出する
   ことを特徴とする撮影装置。
5. 請求項１乃至４のいずれかに記載の撮影装置を備えたことを特徴とする電子機器。
6. 被写体を撮像し撮像画像データを生成する撮像部と、光源部とを備えた撮影装置の撮影制御方法であって、
   前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させる第１ステップと、
   前記光源部を発光させ前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させる第２ステップと、
   前記第１撮像画像データ及び前記第２撮像画像データに基づいて、前記被写体の領域を抽出する第３ステップと、
   前記第３ステップにおいて抽出された領域と、前記第２撮像画像データとを比較して、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出する第４ステップと
   を備えたことを特徴とする撮影制御方法。
7. 被写体を撮像し撮像画像データを生成する撮像部と、光源部とを備えた撮影装置を、
   前記光源部を発光させずに前記被写体を前記撮像部に撮像させた第１撮像画像データを生成させる手段と、
   前記光源部を発光させ前記光源部による光が照射された前記被写体を前記撮像部に撮像させた第２撮像画像データを生成させる手段と、
   前記第１撮像画像データと前記第２撮像画像データとを比較して、前記被写体の領域を抽出する手段と、
   抽出された前記被写体の領域に基づいて、前記第２撮像画像データから前記被写体の検出対象物であるオブジェクトを検出する手段
   として機能させることを特徴とする撮影制御プログラム。

Images