JP2009128969A - 撮像装置および方法並びにプログラム - Google Patents

Abstract

【課題】デジタルカメラ等の顔検出機能を備えた撮像装置において、簡単な操作で、疑似三次元画像データを作成する。
【解決手段】記録された第一の画像データから疑似三次元画像を生成するために用いる参考画像データを生成し、顔検出手段により新たに顔が検出された際に、新たな顔を含むスルー画像データと、参考画像データとの相関値を算出し比較し、比較された相関値が所定の値より高い際に、取得された新たな顔を含む第二の画像データと、記録された第一の画像データから疑似三次元画像を生成する。
【選択図】図３

Description

本発明は顔検出機能を備えた撮像装置、特に検出された顔を含む画像から疑似三次元画像を生成する撮像装置および方法並びにプログラムに関するものである。

近年、ステレオカメラ等の撮像装置において、異なる角度により撮像された複数の画像を取得し、その取得された複数の画像に基づいて疑似三次元画像を生成する疑似三次元画像生成手法が提案されている。特許文献１に開示された手法においては、撮像された側面顔と正面顔等の複数の画像データから所定部分の位置情報に基づいて、側面顔と正面顔の外形及び顔部品領域の縁を抽出し、疑似三次元画像を生成する手法等が提案されている。
特開２００２−２５１６３５号公報

しかしながら、上記のように側面顔と正面顔等の異なる角度により撮像された複数の画像データを取得する際には、疑似三次元画像を生成するに適した顔の角度により撮像された画像データを取得することが望まれている。

本発明は上記事情に鑑みなされたものであり、簡単な操作で、疑似三次元画像データを作成するに適した顔の角度により撮像された画像データを取得することを可能とする撮像装置および方法、並びにプログラムを提供することを目的とするものである。

本発明による撮像装置は、被写体を撮像することによりスルー画像データ及び画像データを取得する撮像手段と、スルー画像データから顔を検出する顔検出手段と、撮像手段により取得された、顔を含む第一の画像データを記録した記録手段とを備えてなる撮像装置において、記録された第一の画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成する参考画像生成手段と、顔検出手段により新たに顔が検出された際に、新たな顔を含むスルー画像データと、参考画像データとの相関値を算出し比較する比較手段と、比較手段により比較された相関値が所定の値より高い際に、撮像手段により新たな顔を含む第二の画像データを取得可能とする制御手段と、撮像手段により取得された第二の画像データと、記録された第一の画像データから疑似三次元顔画像を生成する疑似三次元顔画像生成手段と、を備えたことを特徴とするものである。

「参考画像生成手段」とは、記録された画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成するものである。例えば、第一の画像データに含む顔のサイズ及び顔の横向き角度を算出し、顔のサイズを同一とし、かつ顔の横向き角度とは異なる角度となるように第一の画像データを変換することにより参考画像データを生成するものであってもよい。

また、「相関値」とは、画像データ間の相関性を表す値である。例えば、顔を含む画像データと、新たな顔を含む他の画像データとの間における顔のサイズ等の相関性を表す値であってもよい。また、例えば、画像データ間の相互相関値であってもよい。

また「疑似三次元画像」とは、異なる角度から撮影された同一の特定被写体を含む複数の画像から、コンピュータを利用して生成される立体的な画像である。例えば、特定被写体は人間の顔であってもよい。

また「第一の画像データ」とは、撮像手段により顔を含む画像のデータをいう。例えば、画像データ全体のみならず、検出手段により検出された顔の領域部分を抽出した画像データの部分であってもよい。

また「第二の画像データ」とは、撮像手段により新たな顔を含む画像のデータをいう。例えば、画像データ全体のみならず、検出手段により検出された新たな顔の領域部分を抽出した画像データの部分であってもよい。

本発明の撮像装置において、被写体を撮像することによりスルー画像データ及び画像データを取得する撮像手段と、スルー画像データから顔を検出する顔検出手段と、を備えてなる撮像装置において、疑似三次元顔画像を生成するために用いる第一と第二の参考画像データを予め記録する記録手段と、顔検出手段により検出された顔を含むスルー画像データと、記録された第一の参考画像データとの相関値を算出し、また、算出された相関値が所定の値より高い際に、撮像手段により取得された前記顔を含む第一の画像データと、顔検出手段により検出された新たな顔を含むスルー画像データと、記録された第二の参考画像データとの相関値を算出し、算出された相関値が所定の値より高い際に、撮像手段により取得された新たな顔を含む第二の画像データと、から疑似三次元顔画像を生成する疑似 三次元顔画像生成手段と、を備えたものであってもよい。

本発明の撮像装置において、スルー画像データを表示する表示手段を更に備え、表示手段が、顔検出手段により顔が検出された際に、スルー画像データ上に参考画像データのいずれかを重ねて表示することを特徴とするものであってもよい。更に、表示手段に表示される参考画像データを予め選択可能な選択手段を備えるものであってもよい。

本発明の撮像装置において、スルー画像データを表示する表示手段と、顔検出手段により顔が検出された際に、顔を含むスルー画像データに対して輪郭抽出することで輪郭画像を生成する輪郭画像生成手段と、輪郭画像に所定の画像処理を施し、変形マスク画像を生成するマスク生成手段と、を更に備え、表示手段が、スルー画像データ上に変形マスク画像を重ねて表示することを特徴とするものであってもよい。

本発明の撮像装置において、疑似三次元顔画像を生成するために用いる参考画像データの三次元データから第一と第二の参考画像データを生成するように変換する参考画像変換手段を更に備え、記録手段は、参考画像変換手段により変換された第一と第二の参考画像データ及び三次元データを記録するものであってもよい。加えて、スルー画像データを表示する表示手段と、参考画像変換手段により変換された第一と第二の参考画像データのいずれかの参考画像データに対して輪郭抽出することで輪郭画像を生成する輪郭画像生成手段と、輪郭画像に所定の画像処理を施し、変形マスク画像を生成するマスク生成手段と、を更に備え、表示手段が、スルー画像データ上に変形マスク画像を畳重ねて表示することを特徴とするものであってもよい。

本発明の撮像方法は、被写体を撮像することによりスルー画像データを取得し、スルー画像データから顔を検出し、検出された顔を含む第一の画像データを取得した撮像方法において、記録された第一の画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成し、新たな顔が検出された際に、新たな顔を含むスルー画像データと、参考画像データとの相関値を算出し比較し、比較された相関値が所定の値より高い際に、新たな顔を含む第二の画像データを取得し、取得された第一の画像データと第二の画像データから疑似三次元顔画像を生成することを特徴とするものである。

本発明の撮像方法において、被写体を撮像することによりスルー画像データを取得し、スルー画像データから顔を検出する撮影方法において、疑似三次元顔画像を生成するために用いる第一と第二の参考画像データを予め記録し、顔が検出された際に、検出された顔を含むスルー画像データと、記録された第一の参考画像データの相関値を算出し、また、算出された相関値が所定の値より高い際に、第一の画像データを取得し、新たな顔が検出された際に、新たな顔を含むスルー画像データと、記録された第二の参考画像データの相関値を算出し、算出された相関値が所定の値より高い際に、新たな顔を含む第二の画像データを取得し、第一の画像データと前記第二の画像データから疑似三次元顔画像を生成することを特徴とするものであってもよい。

本発明のコンピュータに実行させるためのプログラムにおいて、被写体を撮像することによりスルー画像データ及び画像データを取得する機能と、スルー画像データから顔を検出する機能と、検出された顔を含む第一の画像データを記録した機能をコンピュータに実行させるためのプログラムにおいて、記録された第一の画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成する機能と、新たに顔が検出された際に、新たな顔を含むスルー画像データと、参考画像データとの相関値を算出し比較する機能と、比較された相関値が所定の値より高い際に、新たな顔を含む第二の画像データを取得し、記録された第一の画像データと取得された第二の画像データから疑似三次元顔画像を生成する機能とをコンピュータに実行させることを特徴とするものである。

本発明のコンピュータに実行させるためのプログラムにおいて被写体を撮像することによりスルー画像データ及び画像データを取得する機能と、スルー画像データから顔を検出する機能をコンピュータに実行させるためのプログラムにおいて、疑似三次元顔画像を生成するために用いる第一と第二の参考画像データを予め記録する機能と、顔が検出された際に、検出された顔を含むスルー画像データと、記録された第一の参考画像データの相関値を算出し、また、算出された相関値が所定の値より高い際に、顔を含む第一の画像データを取得し、新たに顔が検出された際に、新たに検出された顔を含むスルー画像データと、記録された第二の参考画像データの相関値を算出し、算出された相関値が所定の値より高い際に、顔を含む第二の画像データを撮像し、第一の画像データと第二の画像データから疑似三次元顔画像を生成する機能とをコンピュータに実行させることを特徴とするものであってもよい。

ここで、本発明の撮像装置は、単一の装置のみならず、例えば、撮像装置（例えば、デジタルカメラ等）および表示装置（例えば、テレビ等）を有線または無線により接続した場合のように、複数の装置を接続することにより一体に構成される装置をも含むものである。

本発明の撮像装置および方法並びにプログラムによれば、記録された第一の画像データから疑似三次元画像を生成するために用いる参考画像データを生成し、顔検出手段により新たに顔が検出された際に、新たな顔を含むスルー画像データと、参考画像データとの相関値を算出し比較し、比較された相関値が所定の値より高い際に、取得された新たな顔を含む第二の画像データと、記録された第一の画像データから疑似三次元画像を生成するものであるから、簡単な操作で、疑似三次元画像を生成するに適した顔の角度の二次元画像データを撮像することができるとともに、適切な疑似三次元画像を作成することができる。

また、本発明によれば、単数かつ単眼の撮像装置を使用するときであっても、疑似三次元画像を生成するに適した顔の角度の二次元画像データを撮像することができる。

以下、本発明における第一の撮像装置の実施形態を、図面を参照して詳細に説明する。

図１及び図２は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た外観図である。デジタルカメラ１の本体２の背面には、図１に示す如く、撮像者による操作のためのインターフェースとして、動作モードダイヤル１１、メニュー／ＯＫボタン１７、ズームボタン１８、十字ボタン１６、表示／戻るボタン２０、フォトモードボタン２２が設けられ、更に撮像のためのファインダ１５、撮像並びに再生のためのモニタ１４及びレリーズボタン７が設けられている。

動作モードダイヤル１１は、撮像モード（風景、夜景、海、雪、山、花、夕焼け、パーティおよび人物、ベビー、スポーツ、ペット等）、顔検出モード等の各撮像モードを切り替えるためのスライドスイッチである。

メニュー／ＯＫボタン１７は、押下される毎に、セルフタイマーＯＮ／ＯＦＦ、記録画素数や撮像素子感度等の設定を行うための各種メニューをモニタ１４に表示させたり、モニタ１４に表示されたメニューに基づく選択・設定を決定したりするためのボタンである。

ズームボタン１８は、左右いずれかのボタンを押すことによって、撮像時には望遠／広角の調整が行われる。

十字ボタン１６は、各種設定時にモニタ１４に表示されるメニュー画面中のカーソルを上下左右に移動して表示させるためのボタンである。

Ｂａｃｋ（戻る）ボタン２０は、押下されることによって各種設定操作を中止し、モニタ１４に１つ前の画面を表示するためのボタンである。また、再生時には、モニタ１４の表示方法を変更することが可能となる。

ファインダ１５は、ユーザが被写体を撮像する際に構図やピントを合わせるために覗くためのものである。ファインダ１５から見える被写体像は、本体２の前面にあるファインダ窓を介して映し出される。

レリーズボタン７は、半押し及び全押しの二段階操作が可能な操作ボタンであり、レリーズボタン７を押下すると、後述の操作系制御部７４を介して半押し信号又は全押し信号をＣＰＵ７５へ出力する。

以上説明した各ボタンやレバー等の操作によって設定された内容は、モニタ１４中の表示や、ファインダ１５内のランプ等によって確認可能となっている。また、モニタ１４には、撮像の際に被写体確認用のスルー画像データが表示される。これにより、モニタ１４は電子ビューファインダとして機能する他、撮像後の静止画や動画の再生表示、各種設定メニューの表示を行う。

更に、本体２の前面には、図２に示す如く、撮像レンズ３、ズームリング４、電源レバー８、フラッシュライト１３及びＡＦ補助光ランプ／セルフタイマーランプ５が設けられ、側面にはメディアスロット２２が設けられている。

撮像レンズ３は、被写体像を所定の結像面上（本体２内部にあるＣＣＤ又はＣＭＯＳ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。

電源レバー８は、デジタルカメラ１の電源のオン／オフを切り替えるためのレバーであり、同時に静止画撮像モード、動画撮像モード、再生モード、の各動作モードを切り替えるためのレバーである。

フラッシュライト１３は、レリーズボタン７が押下され、本体２の内部にあるシャッタが開いている間に、撮像に必要な光を被写体に対して瞬間的に発光するためのものである。フラッシュライト１３はキセノン管により構成されているが、キセノン管以外のフラッシュライトであってもよい。

ＡＦ補助光ランプ／セルフタイマーランプ５は、セルフタイマーによって撮像する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためのものであり、またＡＦ用に発光する補助ランプも兼ねている。

メディアスロット２２は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディアが充填されると、データの読み取り／書き込みが行われる。

図３にデジタルカメラ１の機能構成を示すブロック図を示す。図３に示す如く、デジタルカメラ１の操作系として、前述の動作モードダイヤル１１、メニュー／ＯＫボタン１７、ズームボタン１８、十字ボタン１６、表示／戻るボタン２０、レリーズボタン７、電源レバー８と、フォトモードボタン２２、これらのスイッチ、ボタン、レバー類の操作内容をＣＰＵ７５に伝えるためのインターフェースである操作系制御部７４が設けられている。

また、撮像レンズ３を構成するものとして、フォーカスレンズ３ａ及びズームレンズ３ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。

フォーカスレンズ駆動部５１は、ＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ３ａをステップ駆動する。ズームレンズ駆動部５２は、ズームボタン１８の操作量データに基づいてズームレンズ３ｂのステップ駆動を制御する。

絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、レリーズボタン７の押下信号と、ＡＥ処理部６３から出力されるシャッタ速度データとに応じてシャッタ５６の開閉の制御を行う。

上記光学系の後方には、撮像素子であるＣＣＤ５８（撮像手段）を有している。ＣＣＤ５８は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体像が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。

ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出して画像信号として出力する。各画素における電荷の蓄積時間（即ち露出時間）は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。

ＣＣＤ５８が出力する画像像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、レリーズボタン７の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。

フラッシュ制御部７３は、フラッシュライト１３の発光動作を制御する。

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ６８に書き込む。このフレームメモリ６８は、画像データまたはスルー画像データに対して後述の各種デジタル画像処理を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）から構成されている。

表示制御部７１は、フレームメモリ６８に格納された画像データをスルー画像データとしてモニタ１４に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、モニタ１４に出力する。スルー画像データは、撮像モードが選択されている間、所定時間間隔で取得されてモニタ１４に表示される。また、表示制御部７１は、外部記録メディアに記憶され、メディア制御部６９によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ１４に表示させる。

更に顔検出部６６は、スルー画像データまたは画像データから人物の顔を検出するものである。

例えば、特開２００６−２０２２７６号（以下、参考文献１という）の手法を本発明の撮像装置に用いることができる。参考文献１の手法は、顔の追跡は、動きベクトル、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新していき，できた機械を最後に学習機械に対する重みをつけて足し合わせて統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。例えば、平均フレームモデルを実際の顔画像に嵌め込み、平均フレームモデル上の各ランドマークの位置を、顔から検出された相対応するランドマークの位置に合致するように移動することによって平均フレームモデルを変形させて顔のフレームモデルを構築するのに際し、マシンラーニング手法により、所定のランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件を用いて、顔画像から当該ランドマークを示す点の位置を検出する手法である。

また、特開２００４−３３４８３６号（以下、参考文献２という）の手法を本発明の撮像装置に用いることも可能である。参考文献２の手法は、画像データから一定の大きさの画像データを切り出し、各切出画像データと特徴部分画像データの照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像データの特徴部分抽出方法を使用する手法である。なお、特開２００７−１１９７０号（以下、参考文献３という）の手法を本発明の撮像装置に適用し、スルー画像データ中の人物の顔領域以外に、動物の顔等を特定被写体として検出してもよい。また、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出することも可能とする。

上述した顔を検出する手法は、正面顔検出のみならず、上記手法により、側面顔及び後頭部の検出も可能である。

ＡＦ処理部６２は、顔検出部６６により認識された顔を、枠表示部７８によって表示された追跡枠内に対して焦点位置を検出し、フォーカスレンズ駆動量データを出力する。本実施の形態においては、焦点位置の検出方法としては、例えば、ピントが合った状態では画像の合焦評価値（コントラスト値）が高くなるという特徴を利用して、合焦位置を検出するパッシブ方式が適用される。なお図示しない測距センサによる測距結果を使用するアクティブ方式を適用してもよい。

ＡＥ処理部６３は、枠表示部７８によって表示された追跡枠（図１３のＦ１参照）内に対して被写体輝度を測定し、測定した被写体輝度に基づいて絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力する。

画像処理部６７は、画像データに対してガンマ補正、シャープネス補正、コントラスト補正、色補正等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

この画像データとは、レリーズボタン７が全押しされることによってＣＣＤ５８から画像信号が出力され、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリ６８に格納された画像データに基づいた画像である。

画像データの画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画像データの画素数は画像データより少なくてもよく、例えば、画像データデータの１／１６程度の画素数で取り込まれてもよい。

圧縮／伸長処理部６５は、画像処理部６７によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部６５は、再生モードにおいては外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部７１に出力され、表示制御部７１は画像データに基づいた画像をモニタ１４に表示する。

メディア制御部６９は、図２におけるメディアスロット２２に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またＣＰＵ７５は図示しない内部メモリに画像ファイルを記録する記録手段としても機能する。

またデータバス７６は、画像入力コントローラ６１、各種処理部６２〜６９、７８、１００〜１０２及びＣＰＵ７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。

また、図４にデジタルカメラ１の顔検出部６６内の構成態様を示すブロック図を示す。顔検出部６６ａは、上述した手法（参考文献１〜３等参照）により、スルー画像データまたは画像データから人物の顔を検出するものである。

顔情報生成部６６ｂは、顔検出部６６ａにより検出された顔を含む画像データ部分より顔情報Ｘを生成するものである。また、顔情報Ｘは、画像データ部分のみに限らず、顔の向き角度（例えば、顔の横向き角度）および顔のサイズ等の顔に関する付属情報についても含まれるものである。

なお、後述する参考顔情報においても、画像データ部分のみに限らず、顔の向き角度（例えば、顔の横向き角度）および顔のサイズ等の顔に関する付属情報についても含まれるものである。

また、顔の横向き角度は、撮像時におけるカメラに対する人物の顔の向きを表し、具体的には、顔検出部６６ａにより検出された顔の部品（例えば、ランドマークやランドマークの集合群等）のサイズ、相対位置に基づいて算出される。例えば、検出された左目と右目の横方向の長さを比較し、左目の横方向の長さが、右目の横方向の長さよりも長い場合、撮像時に人物が右方向を向いていたと判断できる。

参考顔情報生成部６６ｃは、顔情報生成部６６ｂにより生成された顔情報Ｘを用いて、参考顔情報Ｙを生成するものである。例えば、顔サイズを同一にし、横向き角度の正負を逆転したものを参考顔情報Ｙとして生成してもよい。

顔情報比較部６６ｄは、顔情報Ｘと参考顔情報Ｙを比較し、互いの相関関係（相関性）を表す値である相関値について算出し、比較を行うものである。比較された結果、相関値が高ければ、所望の顔の状態であるとして判断するものである。

撮像制御部１０１は、顔情報比較部６６ｄにより比較された相関値が高い際に、新たな顔を含む画像データを撮像（取得）するように撮像手段を制御するものである。

次に、以上の構成のデジタルカメラ１において行われる第一の実施態様における処理について説明する。図５はデジタルカメラ１の一連の処理フローチャートである。まず図５に示す如く、第一の撮像が開始されると（ステップＳＴ１）、まず顔検出部６６ａが、画像入力コントローラ６１からスルー画像データを取得し（ステップＳＴ２）、スルー画像データに対して顔検出を行う（ステップＳＴ３）。顔検出部６６ａにより顔が検出されない場合（ステップＳＴ４；ＮＯ）、顔検出部６６ａは、顔検出を繰り返し行う。

一方、顔検出部６６ａにより顔が検出された場合（ステップＳＴ４；ＹＥＳ）、表示制御部７１は、モニタ１４上の検出された顔に枠等を重ねて表示する（図１３のＦ１参照）。ユーザによりレリーズボタン７が押された際、撮像を開始する（ステップＳＴ５）。

顔情報生成部６６ｂは、撮像されたことにより取得された第一の画像データから顔情報Ｘを生成し、外部記録メディア７０に記録する（ステップＳＴ６）。また、第一の画像データも同様に外部記録メディア７０に記録する。参考顔情報生成部６６ｃは、記録された第一の顔情報Ｘから、第一の参考顔情報Ｙを生成する（ステップＳＴ７）。

例えば、図６に示すように第一の顔情報Ｘを左向きの顔とした場合（図６（ａ）参照）、疑似三次元画像データを生成するためには、顔の左側面の情報が欠損している。そこで、第二の撮影では、右向きの顔を含む画像データを取得することが望まれる（図６（ｂ）参照）。そこで、参考顔情報生成部６６ｃは、第一の顔情報Ｘから、顔検出部６６ａにより検出された顔の部品（例えば、ランドマークやランドマークの集合群等）のサイズ、相対位置に基づき、参考顔情報Ｙを生成する。例えば、顔サイズを同一にし、横向き角度の正負を逆転したものを設定するように、右向きの顔を含む画像データである参考顔情報Ｙを生成する。以後の説明において、上記角度は、顔の正面向きを零度、左向きを正、右向きを負とする。生成された顔情報Ｘおよび参考顔情報Ｙは、外部記録メディア７０に記録される。生成された顔情報Ｘおよび参考顔情報Ｙは、フレームメモリ６８に記録されてもよい。

続いて、第二の撮像が開始される（ステップＳＴ８）。まず顔検出部６６ａは、スルー画像データを取得後（ステップＳＴ９）、画像入力コントローラ６１により取得されたスルー画像データに対して顔検出を行う（ステップＳＴ１０）。顔検出部６６ａにより新たに顔が検出されない場合（ステップＳＴ１１；ＮＯ）、顔検出部６６ａは、顔検出を繰り返し行う。

一方、顔検出部６６ａにより新たに顔が検出された場合（ステップＳＴ１１；ＹＥＳ）、顔情報生成部６６ｂは、検出された新たな顔を含む画像データ部分から顔情報Ｘ’を生成し、外部記録メディア７０に記録する。顔情報比較部６６ｄは、顔情報生成部６６ｂにより新たに生成された第二の顔情報Ｘ’と、参考顔情報生成部６６ｃにより生成された参考顔情報Ｙの相関値を算出し比較する。比較された結果、相関値が高く、検出された顔が所望の状態であると判断した場合（ステップＳＴ１２；ＹＥＳ）、撮像制御部１０１は、撮像を可能と判断し、自動的に撮像するように制御する。撮像される前に、顔検出部６６ａにより上記新たな顔を再度検出する（ステップＳＴ１３）。撮像を行い、第二の画像データ及び再度検出された顔を含む第二の画像データから再生成される第二の顔情報Ｘ’を外部記録メディア７０に記録する（ステップＳＴ１４）。一方、相関値が低いことから、検出された顔が所望の状態でないと判断した場合は（ステップＳＴ１１；ＮＯ）、顔検出をやり直す。

ここでいう相関値は、例えば、顔のサイズを例にすると第二の顔情報Ｘ’と参考顔情報Ｙにおける顔のサイズ差であり、第二の顔情報Ｘ’の顔サイズが参考顔情報Ｙに比して同程度の場合に相関値が高いといえる。相関値が高いと判断するためには、例えば、顔のサイズ差に対する閾値を設け、顔サイズ差が閾値以下であれば、相関値が高いと判断してもよい。顔の横向き角度についても同様に閾値を設定し、相関値を算出してもよい。

また、相関値とは、特開平７−３７０３４号（以下、参考文献４という）の手法により算出される相互相関値を用いることも可能である。

疑似三次元画像生成部１００は、記録された第一の顔情報Ｘと第二の顔情報Ｘ’から疑似三次元画像データを生成する（ステップＳＴ１５）。生成された疑似三次元画像データを外部記録メディア７０に記録する（ステップＳＴ１６）。

なお、疑似三次元画像生成部１００は、記録された第一の画像データと第二の画像データから疑似三次元画像データを生成する。生成された疑似三次元画像データを外部記録メディア７０に記録してもよい。その場合において、上記第一の画像データは、画像データ全体であってもよいし、顔検出部６６ａにより検出された顔の領域部分を抽出した画像データ部分（例えば、第一の顔情報Ｘ）であってもよい。また、上記第二の画像データは、画像データ全体であってもよいし、顔検出部６６ａにより検出された新たな顔の領域部分を抽出した画像データ部分（例えば、第二の顔情報Ｘ’）であってもよい。

疑似三次元画像データの生成方法は、周知の技術を適用してもよい。例えば、特開２００３−２４８８４２号（以下、参考文献５という）の手法を本発明の撮像装置に用いることも可能である。まず、被写体の頭部を正面と側面の方向から撮像した撮像情報から、個人特定に必要な顔の特徴点を抽出し、該顔の特徴点に基づき、頭部骨格、鼻、口、眉、目と各顔の部品の三次元構造を復元しこれらの各顔部品を一体化して、顔の三次元形状を復元するものである。

このように第一の顔情報Ｘから参考顔情報Ｙを生成し、デジタルカメラ１が、自動的に撮像するように制御し、疑似三次元画像の生成において不足しているデータを補うように第二の撮像のアシストを可能とする。

なお、撮像制御部１０１は、自動的に撮像の制御するのみならず、検出された顔が所望の状態であると判断されるまでは、レリーズボタン７を押しても撮像されないように制御し、検出された顔が所望の状態であると判断された後に、レリーズボタン７が押されることにより撮像するように制御するものであってもよい。

次に、以上の構成のデジタルカメラ１において行われる第二の実施態様における処理について説明する。

また、図７にデジタルカメラ１の顔検出部６６内の構成態様を示すブロック図を示す。ここでは、上述した第一の実施形態に係る撮像装置と異なる構成についてのみ記載することとし、上述の実施形態と同様の構成要素には同符号を付して詳細な説明を省略する。

上述した第一の実施形態に加え、第二の実施形態においては、第一の参考顔情報Ｙおよび第二の参考顔情報Ｙ‘が外部記録メディア７０の中の外部記録メディア７０ａおよび外部記録メディア７０ｂに予め記録されている。表１のＤ１は、予め記録された第一と第二の参考顔情報の一例である。例えば、参考顔情報は、顔のサイズ、顔の横向き角度、顔の位置等についての情報から構成される。

図８はデジタルカメラ１の一連の処理フローチャートである。まず図８に示す如く、第一の撮像が開始されると（ステップＳＴ２０）、まず顔検出部６６ａは、画像入力コントローラ６１よりスルー画像データを取得し（ステップＳＴ２１）、スルー画像データに対して顔検出を行う（ステップＳＴ２２）。顔検出部６６ａにより顔が検出されない場合（ステップＳＴ２３；ＮＯ）、顔検出部６６ａは、顔検出を繰り返し行う。

一方、顔検出部６６ａにより顔が検出された場合（ステップＳＴ２３；ＹＥＳ）、顔情報比較部６６ｄへと移行する。顔情報比較部６６ｄは、新たに検出された第一の顔情報Ｘと、予め外部記録メディア７０ａに記録された第一の参考顔情報Ｙの相関値を算出し比較する。相関値が高い場合は、相関値が高いことをアイコン又は文字等によりモニタ１４に示す。検出された顔が所望の状態であると判断した場合（ステップＳＴ２４；ＹＥＳ）、撮像制御部１０１は、撮像を可能と判断し、自動的に撮像するように制御する（ステップＳＴ２５）。顔情報生成部６６ｂは、撮像された第一の画像データから顔情報Ｘを生成し、外部記録メディア７０に記録する（ステップＳＴ２６）。一方、相関値が低いことから、検出された顔が所望の状態でないと判断した場合（ステップＳＴ２４；ＮＯ）、顔検出部６６ａは、顔検出をやり直す。

続いて、第二の撮像が開始される（ステップＳＴ２７）。まず顔検出部６６ａは、画像入力コントローラ６１によりスルー画像データを取得し（ステップＳＴ２８）、スルー画像データに対して顔検出を行う（ステップＳＴ２９）。顔検出部６６ａにより新たに顔が検出されない場合（ステップＳＴ３０；ＮＯ）、顔検出部６６ａは、顔検出を繰り返し行う。

また、顔検出部６６ａにより新たに顔が検出された場合（ステップＳＴ３０；ＹＥＳ）、顔情報比較部６６ｄは、新たに検出された第二の顔情報Ｘ’と、予め外部記録メディア７０ｂに記録された第二の参考顔情報Ｙ’の相関値を算出し比較する。相関値が高いことから、検出された顔が所望の状態であると判断した場合（ステップＳＴ３１；ＹＥＳ）、撮像制御部１０１は、自動的に撮像を行うように制御する（ステップＳＴ３２）。撮像された第二の画像データ及び第二の顔情報Ｘ’を外部記録メディア７０に記録する（ステップＳＴ３３）。

一方、相関値が低いことから、検出された顔が所望の状態でないと判断した場合（ステップＳＴ３１；ＮＯ）、顔検出をやり直す。なお、相関値の比較について、第一の実施形態と同様でもよい。疑似三次元画像生成部１００は、記録された第一の顔情報Ｘと第二の顔情報Ｘ’から疑似三次元画像データを生成する（ステップＳＴ３４）。生成された疑似三次元画像データを外部記録メディア７０に記録する（ステップＳＴ３５）。

なお、疑似三次元画像生成部１００は、記録された第一の画像データと第二の画像データから疑似三次元画像データを生成する。生成された疑似三次元画像データを外部記録メディア７０に記録してもよい。その場合において、上記第一の画像データは、画像データ全体であってもよいし、顔検出部６６ａにより検出された顔の領域部分を抽出した画像データ部分（例えば、第一の顔情報Ｘ）であってもよい。また、上記第二の画像データは、画像データ全体であってもよいし、顔検出部６６ａにより検出された新たな顔の領域部分を抽出した画像データ部分（例えば、第二の顔情報Ｘ’）であってもよい。

このように予め記録しておいた参考顔情報を用いることにより、デジタルカメラ１が、簡易に、疑似三次元画像の生成することを可能とする。

なお、撮像制御部１０１は、自動的に撮像の制御するのみならず、第一の画像データ及び第二の画像データの撮像において、検出された顔が所望の状態であると判断されるまでは、レリーズボタン７を押しても撮像されないように制御し、検出された顔が所望の状態であると判断された後に、レリーズボタン７が押されることにより撮像するように制御するものであってもよい。

次に、以上の構成のデジタルカメラ１において行われる第三の実施態様における処理について説明する。

また、図９に示す如くデジタルカメラ１の顔検出部６６内の構成態様を示すブロック図を示す。ここでは、上述した第一の実施形態に係る撮像装置及び顔検出部６６において、説明に必要な構成についてのみ図示及び記載することとし、上述の実施形態と同様の構成要素には同符号を付して詳細な説明を省略する。

輪郭画像生成部６６ｅは、顔を含む画像データから顔の輪郭部分を抽出することで輪郭画像を生成するものである。輪郭画像を生成するにあたり、ハイパスフィルタ処理やバンドパスフィルタ処理を用いて、顔の輪郭部分を抽出することを可能とするものである。

画像変形処理部６６ｆは、輪郭画像に所定の画像処理（例えば、回転や反転等）を施し、変形マスク画像を生成するものである。

また、図１０にデジタルカメラ１のテンプレート選択部１０２の構成態様を示すブロック図を示す。

テンプレート選択部１０２とは、参考顔情報として利用するために、フレームメモリ６８に記録された二次元画像データ（二次元テンプレートデータ、例えば、複数の顔輪郭画像のテンプレート等）または、三次元画像データ（三次元テンプレートデータ）のうちいずれかを選択するものである。なお、フレームメモリ６８に記録せず、外部記録メディア７０に上記二次元テンプレートデータ及び三次元テンプレートデータを記録してもよい。

図１１に示す如く三次元テンプレートデータを利用する場合における、デジタルカメラ１のテンプレート選択部１０２の構成態様を示すブロック図を示す。テンプレート選択部１０２は、主に三次元テンプレート取得部１０２ａと二次元輪郭画像生成部１０２ｂ等により構成される。

三次元テンプレート取得部１０２ａは、フレームメモリ６８に記録された三次元テンプレートデータ、または、外部記録メディア７０に記録された三次元テンプレートデータを取得するものである。

二次元輪郭画像生成部１０２ｂは、疑似三次元顔画像を生成するために、三次元テンプレートデータからを所定の角度、大きさを考慮し、二次元空間へ射影処理することで、第一と第二の参考顔情報を生成するものである。

統計処理部７５ａは、参考顔情報が利用された頻度を算出し、統計データを算出するものである。

選択順序設定部７５ｂは、テンプレートの選択順序を示すデータを更新するものである。

図１２はデジタルカメラ１の一連の処理フローチャートである。

テンプレート選択部１０２は、二次元または三次元のテンプレートデータが、フレームメモリ６８に記録されているか否かを判断し、テンプレートが記録されている場合（ステップＳＴ４０；ＹＥＳ）、二次元テンプレートデータが記録されているか否かを判断する。二次元テンプレートデータが記録されている場合（ステップＳＴ４１；ＹＥＳ）、フレームメモリ６８から二次元テンプレートデータを選択する（ステップＳＴ４５）。

ここで、テンプレート選択部６０は、予めフレームメモリ６８に記録された二次元テンプレートデータから適宜、顔情報生成部６６ｂにより生成された顔情報に基づき、最適なものを選択する。また、テンプレートの種類が多くなることにより、最適なテンプレートを選択するための探索時間が長くなるという問題がある。そこで、上記問題を解消すべく、テンプレート選択部６０及びＣＰＵ７５は、以下のように、テンプレートの選択後に統計処理及び統計データの更新処理を行う。図１５はテンプレート選択部６０及びＣＰＵ７５の上記処理を示すフローチャートである。

ＣＰＵ７５は、選択された二次元テンプレートデータを参考顔情報として、外部記録メディア７０に記録された複数の参考顔情報（二次元テンプレートデータ）を読み込む（ステップＳＴ５１）。ＣＰＵ７５内に構成される統計処理部７５ａは、過去に上記参考顔情報が利用された頻度の統計を算出するように計算し（ステップＳＴ５２）、統計的に利用頻度の多い参考顔情報から探索を開始するように統計データを更新する（ステップＳＴ５３）。ＣＰＵ７５内に構成される選択順序設定部７５ｂは、テンプレートの選択順序を変更するように決定した場合（ステップＳＴ５４；ＹＥＳ）、選択順序を更新する（ステップＳＴ５５）。表２のＤ２は、統計データの更新状況を示す。

更新データは、一例として参考顔情報の顔サイズ、角度を利用している。この更新データでは、テンプレートＨが最も利用頻度が高いので、選択順位が一番目であることとなる。ここでは、上記統計処理により探索順序を変更するような構成を採用することにより、探索時間の短縮を可能とする。

一方、選択順序設定部７５ｂは、テンプレートの選択順序を変更しない場合（ステップＳＴ５４；ＮＯ）、そのまま、次の処理へと移行する（ステップＳＴ４６）。

一方、二次元テンプレートデータがない場合（ステップＳＴ４１；ＹＥＳ）、三次元テンプレート取得部１０２ａはフレームメモリ６８から三次元テンプレートデータを読み出し（ステップＳＴ４２）、二次元輪郭画像生成部１０２ｂは、三次元テンプレートデータを二次元空間へ射影する処理を行う（ステップＳＴ４３）。二次元輪郭画像生成部１０２ｂは、三次元テンプレートデータを射影処理することにより得られた二次元テンプレートデータを生成する。輪郭画像生成部６６ｅは、生成された二次元テンプレートデータから輪郭部分を抽出することで輪郭画像を生成する（ステップＳＴ４４）。図１３は、モニタ１４に表示される人物画像とすると、テンプレートが記録されている場合において、輪郭画像生成部６６ｅにより生成された輪郭画像（図１３（ｂ））を示す。

一方、テンプレートが記録されていない場合（ステップＳＴ４０；ＮＯ）、外部記録メディア７０に予め記録された画像データを読み込み（ステップＳＴ４７）、顔検出部６６ａにより画像データから顔領域を検出する（ステップＳＴ４８）。顔情報生成部６６ｂにより顔情報を生成する。輪郭画像生成部６６ｅにより生成された顔情報から、上述したように輪郭部分を抽出し、輪郭画像を生成する（ステップＳＴ４９）。画像変形処理部６６ｆは、輪郭画像に回転、反転等の変形処理を施す（ステップＳＴ５０）ことで、最終的な輪郭画像が生成される。図１３は、モニタ１４に表示される人物画像とすると、テンプレートが記録されていない場合において、画像変形処理部６６ｆを経て生成された輪郭画像（図１３（ｃ））を示す。

上記生成された輪郭画像を参考顔情報の一種として位置づけ、ステップＳＴ４４，ＳＴ４５，ＳＴ５０によって作成された参考顔情報（輪郭画像を含む）をモニタ１４に表示されるスルー画像データに重ねて表示する（ステップＳＴ４６）。

図１４は、テンプレートが記録されていた場合（ステップＳＴ４０；ＹＥＳ）の輪郭画像をモニタ１４に表示されるスルー画像データに重ねて表示する例（図１４（ａ）参照）と、テンプレートが記録されていない場合（ステップＳＴ４０；ＹＥＳ）の輪郭画像をモニタ１４に表示されるスルー画像データに重ねて表示する例（図１４（ｂ）参照）を示す。

以上のような構成により、人物画像を撮影する際、事前に撮影された人物画像に基づいて生成された輪郭画像や予め記憶されたテンプレートをスルー画像データ上に重ねて表示することにより、疑似三次元画像データを生成するための最適な二次元画像データの撮像を可能とすることができる。

次に、以上の構成のデジタルカメラ１において行われる第四の実施態様における処理について説明する。第四の実施態様は、第一から第三の実施形態において、動画を撮像した際における撮像処理に関するものである。上述した第一から第三の実施形態に係る撮像装置と異なる構成についてのみ記載することとし、上述の実施形態と同様の構成要素には同符号を付して詳細な説明を省略する。

また、図１７Ａ、Ｂにデジタルカメラ１のＣＰＵ７５内の構成態様等を示すブロック図を示す。

記録制御部７５ｃは、動画の特定フレーム（例えば、第Ｎフレーム等）を参考画像としてフレームメモリ６８に記録するか否かを制御するものである。

比較段階指示部７５ｄは、記録された複数の参考顔情報のいずれか一つを選択するように指示し、検出された顔情報と、選択された参考顔情報の相関値を顔情報比較部６６ｄに比較し、算出するように指示するものである。

次に、デジタルカメラ１において行われる第四の実施態様における処理について説明する。図１６はデジタルカメラ１の一連の処理フローチャートである。まず図１７Ａ、Ｂに示す如く、第一の動画撮像が開始されると（ステップＳＴ６０）、撮像終了するまで（ステップＳＴ６１；ＮＯ）撮像を継続する。

一方、レリーズボタン７を押されることにより撮像が終了すると（ステップＳＴ６１；ＹＥＳ）、撮像された動画が外部記録メディア７０に記録される（ステップＳＴ６２）。ＣＰＵ７５は、記録された動画のフレーム総数Ｘをカウント（ステップＳＴ６２）する。また、ＣＰＵ７５は、処理済みフレームをＮ（Ｎ＝カウントされた数）と設定し、初期化（Ｎ＝０）を行う（ステップＳＴ６４）。顔検出部６６ａは、記録された動画の第Ｎフレームに対して顔検出を行う（ステップＳＴ６５）。顔検出部６６ａにより顔が検出されない場合（ステップＳＴ６６；ＮＯ）、Ｎ＝Ｎ＋１のように加算処理を行う（ステップＳＴ６９）。

一方、顔検出部６６ａにより顔が検出された場合（ステップＳＴ６６；ＹＥＳ）、比較段階指示部７５ｄは、顔検出部６６ａにより検出された顔情報と、外部記録メディア７０ａに記録された第一の参考顔情報の相関値を判断する。相関値が高い場合（ステップＳＴ６７；ＹＥＳ）、記録制御部７５ｃは、顔情報比較部６６ｄからフレームメモリ６８に第Ｎフレームを記録する記録指示を受け、第Ｎフレームを第一の参考画像としてフレームメモリ６８に記録する（ステップＳＴ７１）。

一方、相関値が所定の値より低い場合（ステップＳＴ６７；ＮＯ）、比較段階指示部７５ｄは、顔情報比較部６６ｄの比較対象である外部記録メディア７０ｂに記録された第一の参考顔情報から第二の参考顔情報へと切替るための切替指示を発する。比較段階指示部７５ｄは、顔検出部６６ａにより検出された顔情報と、外部記録メディア７０ｂに記録された第二の参考顔情報の相関値を判断する。相関値が高い場合（ステップＳＴ６８；ＹＥＳ）、記録制御部７５ｃは、顔情報比較部６６ｄからフレームメモリ６８に第Ｎフレームを記録する記録指示を受け、第Ｎフレームを第二の参考画像としてフレームメモリ６８に記録する（ステップＳＴ７２）。

フレームメモリ６８に第一、第二の参考画像が記録されていない場合（ステップＳＴ７３；ＮＯ）、Ｎ＝Ｎ＋１のように加算処理を行う（ステップＳＴ６９）。

また、顔情報比較部６６ｄにより検出された顔情報と、外部記録メディア７０ｂに記録された第二の参考顔情報の相関値を比較し、所定より相関値が低い場合（ステップＳＴ６８；ＮＯ）においても、Ｎ＝Ｎ＋１のように加算処理を行う（ステップＳＴ６９）。

Ｎがフレーム総数Ｘより小さい数であれば（ステップＳＴ７０；ＹＥＳ）、顔検出を繰り返す。

一方、フレームメモリ６８に第一及び第二の参考画像が記録されている場合（ステップＳＴ７３；ＹＥＳ）、疑似三次元画像生成部１００が、第一及び第二の参考画像から疑似三次元画像データを生成し（ステップＳＴ７４）、外部記録メディア７０に記録する（ステップＳＴ７５）。Ｎがフレーム総数Ｘと同一である場合（ステップＳＴ７０；ＮＯ）及び疑似三次元画像データを記録した場合（ステップＳＴ７５）、処理は終了する。

以上のような構成により、動画から疑似三次元画像データを生成するに適した二次元画像データの抽出を可能とすることを可能とする。

次に、以上の構成のデジタルカメラ１において行われる第五の実施態様における処理について説明する。また、図１８に主に、デジタルカメラ１の顔検出部６６内の構成態様を示すブロック図を示す。ここでは、上述した第一〜四の実施形態に係る撮像装置と異なる構成についてのみ記載することとし、上述の実施形態と同様の構成要素には同符号を付して詳細な説明を省略する。

図１９はデジタルカメラ１の一連の処理フローチャートである。まず図１９に示す如く、顔検出部６６ａは、画像データを読み込み、画像データから顔を検出し、検出された顔を含む画像データ部分である第一の人物画像を取得する（ステップＳＴ８０）。顔情報生成部６６ｂは、上記第一の人物画像から顔情報を生成し、取得する（ステップＳＴ８１）。顔情報生成部６６ｂは、取得された顔情報が所定の範囲内（適切な範囲）である角度であるか否かを判断する。所定の範囲内とは、閾値角度をＡ，Ｂを設定し、顔の横向き角度をＺとすると、Ａ＜Ｚ＜Ｂの範囲内を示す。所定の範囲内であれば（ステップＳＴ８２；ＹＥＳ）、顔情報生成部６６ｂは、人物画像を左右反転することで、反転画像を生成し、反転画像を第二の人物画像とする（ステップＳＴ８３）。疑似三次元画像生成部１００は、第一及び第二の人物画像から疑似三次元画像データ（三次元顔画像）を生成する（ステップＳＴ８４）。疑似三次元画像生成部１００は、生成された疑似三次元画像データ（三次元顔画像）は外部記録メディア７０に記録する（ステップＳＴ８５）。

以上のような構成により、撮像された画像が一枚であっても、第二の人物画像のような疑似二次元画像データを生成することにより、疑似三次元画像データの生成が可能となる。

また、本発明における撮像装置のモニタ１４により、画像データを再生するように説明したが、撮像装置とテレビ等の表示装置を有線または無線により接続することで、表示装置により画像データを再生してもよい。

尚、上述の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明したが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、電子撮像機能を備えた他の電子機器に対しても適用可能である。

デジタルカメラの背面図 デジタルカメラの前面図 デジタルカメラにおける機能ブロック図 第一の実施形態における参考画像を生成するための機能ブロック図 第一の実施形態における一連のフローチャート 疑似三次元画像を生成するために必要な画像例を示す図 第二の実施形態における機能ブロック図 第二の実施形態における一連のフローチャート 第三の実施形態における機能ブロック図 第三の実施形態におけるテンプレートを選択するための機能ブロック図 第三の実施形態における三次元テンプレートデータから二次元テンプレートデータを生成するための機能ブロック図 第三の実施形態における一連のフローチャート 第三の実施形態におけるデジタルカメラのモニタ表示例及び参考画像例を示す図 第三の実施形態におけるデジタルカメラのモニタ重畳表示例を示す図 第三の実施形態におけるテンプレート選択のフローチャート 第四の実施形態における機能ブロック図 第四の実施形態における一連のフローチャートＡ 第四の実施形態における一連のフローチャートＢ 第五の施形態における機能ブロック図 第五の施形態における一連のフローチャート

符号の説明

１ デジタルカメラ
１４ モニタ
６６ 顔検出部
６７ 画像処理部
７０ 外部記録メディア
７８ 枠表示部
１００ 疑似三次元画像生成部
１０１ 撮像制御部
１０２ テンプレート選択部

Claims (12)

1. 被写体を撮像することによりスルー画像データ及び画像データを取得する撮像手段と、
   前記スルー画像データから顔を検出する顔検出手段と、
   前記撮像手段により取得された、前記顔を含む第一の画像データを記録した記録手段とを備えてなる撮像装置において、
   前記記録された第一の画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成する参考画像生成手段と、
   前記顔検出手段により新たに顔が検出された際に、該新たな顔を含むスルー画像データと、前記参考画像データとの相関値を算出し比較する比較手段と、
   該比較手段により比較された相関値が所定の値より高い際に、前記撮像手段により前記新たな顔を含む第二の画像データを取得可能とする制御手段と、
   前記撮像手段により取得された第二の画像データと、前記記録された第一の画像データから疑似三次元顔画像を生成する疑似三次元顔画像生成手段と、を備えたことを特徴とする撮像装置。
2. 前記参考画像生成手段は、前記第一の画像データに含む顔のサイズ及び該顔の横向き角度を算出し、前記顔のサイズを同一とし、かつ前記顔の横向き角度とは異なる角度になるように前記第一の画像データを変換することにより前記参考画像データを生成するものであることを特徴とする請求項１記載の撮像装置。
3. 被写体を撮像することによりスルー画像データ及び画像データを取得する撮像手段と、
   前記スルー画像データから顔を検出する顔検出手段と、を備えてなる撮像装置において、
   疑似三次元顔画像を生成するために用いる第一と第二の参考画像データを予め記録する記録手段と、
   前記顔検出手段により検出された顔を含むスルー画像データと、前記記録された第一の参考画像データとの相関値を算出し、また、該算出された相関値が所定の値より高い際に、前記撮像手段により取得された前記顔を含む第一の画像データと、
   前記顔検出手段により検出された新たな顔を含むスルー画像データと、前記記録された第二の参考画像データとの相関値を算出し、該算出された相関値が所定の値より高い際に、前記撮像手段により取得された前記新たな顔を含む第二の画像データと、から疑似三次元顔画像を生成する疑似三次元顔画像生成手段と、を備えたことを特徴とする撮像装置。
4. 前記スルー画像データを表示する表示手段を更に備え、
   該表示手段が、前記顔検出手段により顔が検出された際に、前記スルー画像データ上に前記参考画像データのいずれかを重ねて表示することを特徴とするものである請求項３記載の撮像装置。
5. 前記表示手段に表示される参考画像データを予め選択可能な選択手段を更に備えることを特徴とする請求項４記載の撮像装置。
6. 前記スルー画像データを表示する表示手段と、
   前記顔検出手段により顔が検出された際に、該顔を含むスルー画像データに対して輪郭抽出することで輪郭画像を生成する輪郭画像生成手段と、
   該輪郭画像に所定の画像処理を施し、変形マスク画像を生成するマスク生成手段と、を更に備え、
   前記表示手段が、前記スルー画像データ上に前記変形マスク画像を重ねて表示することを特徴とするものである請求項３記載の撮像装置。
7. 疑似三次元顔画像を生成するために用いる参考画像データの三次元データから前記第一と第二の参考画像データを生成するように変換する参考画像変換手段を更に備え、
   前記記録手段は、前記参考画像変換手段により変換された第一と第二の参考画像データ及び前記三次元データを記録するものであることを特徴とする請求項３記載の撮像装置。
8. 前記スルー画像データを表示する表示手段と、
   前記参考画像変換手段により変換された第一と第二の参考画像データのいずれかの参考画像データに対して輪郭抽出することで輪郭画像を生成する輪郭画像生成手段と、
   該輪郭画像に所定の画像処理を施し、変形マスク画像を生成するマスク生成手段と、を更に備え、
   前記表示手段が、前記スルー画像データ上に前記変形マスク画像を畳重ねて表示することを特徴とするものである請求項７記載の撮像装置。
9. 被写体を撮像することによりスルー画像データを取得し、
   前記スルー画像データから顔を検出し、
   該検出された顔を含む第一の画像データを取得した撮像方法において、
   前記記録された第一の画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成し、
   新たな顔が検出された際に、該新たな顔を含むスルー画像データと、前記参考画像データとの相関値を算出し比較し、
   該比較された相関値が所定の値より高い際に、前記新たな顔を含む第二の画像データを取得し、前記取得された第一の画像データと第二の画像データから疑似三次元顔画像を生成することを特徴とする撮像方法。
10. 被写体を撮像することによりスルー画像データを取得し、
    前記スルー画像データから顔を検出する撮影方法において、
    疑似三次元顔画像を生成するために用いる第一と第二の参考画像データを予め記録し、
    前記顔が検出された際に、該検出された顔を含むスルー画像データと、前記記録された第一の参考画像データの相関値を算出し、また、該算出された相関値が所定の値より高い際に、第一の画像データを取得し、
    前記新たな顔が検出された際に、該新たな顔を含むスルー画像データと、前記記録された第二の参考画像データの相関値を算出し、該算出された相関値が所定の値より高い際に、前記新たな顔を含む第二の画像データを取得し、
    前記第一の画像データと前記第二の画像データから疑似三次元顔画像を生成することを特徴とする撮像方法。
11. 被写体を撮像することによりスルー画像データ及び画像データを取得する機能と、
    前記スルー画像データから顔を検出する機能と、
    該検出された顔を含む第一の画像データを記録した機能をコンピュータに実行させるためのプログラムにおいて、
    前記記録された第一の画像データから疑似三次元顔画像を生成するために用いる参考画像データを生成する機能と、
    前記新たに顔が検出された際に、該新たな顔を含むスルー画像データと、前記参考画像データとの相関値を算出し比較する機能と、
    該比較された相関値が所定の値より高い際に、前記新たな顔を含む第二の画像データを取得し、前記記録された第一の画像データと前記取得された第二の画像データから疑似三次元顔画像を生成する機能とをコンピュータに実行させることを特徴とするプログラム。
12. 被写体を撮像することによりスルー画像データ及び画像データを取得する機能と、
    前記スルー画像データから顔を検出する機能をコンピュータに実行させるためのプログラムにおいて、
    疑似三次元顔画像を生成するために用いる第一と第二の参考画像データを予め記録する機能と、
    前記顔が検出された際に、該検出された顔を含むスルー画像データと、前記記録された第一の参考画像データの相関値を算出し、また、該算出された相関値が所定の値より高い際に、前記顔を含む第一の画像データを取得し、
    前記新たに顔が検出された際に、該新たに検出された顔を含むスルー画像データと、前記記録された第二の参考画像データの相関値を算出し、該算出された相関値が所定の値より高い際に、前記顔を含む第二の画像データを撮像し、前記第一の画像データと前記第二の画像データから疑似三次元顔画像を生成する機能とをコンピュータに実行させることを特徴とするプログラム。