JP2009147591A - 撮像装置、および、プログラム - Google Patents

Abstract

【課題】カメラ目線となっている画像をより確実に撮像する。
【解決手段】顔検出機能を有するデジタルカメラ１の制御部２１０は、顔検出機能によって検出された顔画像のうち、選択された顔画像を対象として指定する。制御部２１０は、指定した顔画像における目線がデジタルカメラ１に向けられたことを検出すると、撮像部１００を制御し撮像動作をおこなう。また、制御部２１０は、カメラ目線以外の撮像条件が設定されている場合は、当該条件を検出し、且つ、カメラ目線を検出した場合に撮像動作をおこなう。さらに、制御部２１０は、撮像動作によって得られた撮像画像上の対象がカメラ目線となっているか判別し、撮像画像上でカメラ目線となっていない場合は、撮像部１００を制御して再撮像をおこなう。
【選択図】図１

Description

本発明は、撮像装置、および、プログラムに関し、特に、人物撮影に好適な撮像装置、および、プログラムに関する。

デジタルスチルカメラなどの撮像装置を用いて人物を被写体とした撮影をおこなう場合、被写体の目線がカメラに向いている状態（いわゆる「カメラ目線」）が求められることが多い。しかしながら、例えば、子供を被写体とした場合などでは、撮影者の要望通りにカメラ目線とさせることが難しい場合が多く、カメラ目線の被写体画像を得ることが困難である。

このような不都合を解消するため、複数の撮像画像の中から、カメラ目線となっている被写体像が写し込まれている画像を抽出して記録する手法が提案されている（例えば、特許文献１）。
特開２００７−９６４４０号公報

このような特許文献１の手法では、撮像された複数の画像からカメラ目線の被写体を検出するが、必ずしも撮像画像中にカメラ目線の被写体が写し込まれているとは限らないので、カメラ目線の被写体を確実に得られるものではない。また、複数の画像を撮像した後に処理をおこなう場合、例えば、処理中は撮像動作が中断したり、連写スピードが低下したりするなど、基本的な撮像性能に影響することがあり、この結果シャッタチャンスを逃してしまうおそれもある。

また、リアルタイムにカメラ目線を検出した場合であっても、例えば、被写体が動いている場合などでは、検出された瞬間に撮影者がシャッタ操作をする必要があるので、カメラ目線の被写体画像を確実に得ることは困難である。

さらに、例えば、複数の人物が写り込んでいるような場合において、特定の人物のカメラ目線画像を所望する場合、所望する人物以外がカメラ目線となっていると、その画像が抽出されてしまうことになる。よって、抽出された画像を撮影者がさらに検証し、所望する人物がカメラ目線となっているか判断しなければならず、撮影者の作業がかえって煩雑になってしまうこともある。

本発明は、上記実状に鑑みてなされたものであり、カメラ目線の被写体を確実に撮像することのできる撮像装置、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
顔検出機能を有する撮像装置において、
前記顔検出機能によって検出された顔画像のうち、選択された顔画像を対象として指定する対象指定手段と、
前記対象指定手段が指定した顔画像における目線が前記撮像装置に向けられたことを検出する目線検出手段と、
前記目線検出手段が、前記指定された顔画像における目線が前記撮像装置に向けられたことを検出したことを契機に撮像動作をおこなう撮像手段と、
を備えることを特徴とする。

上記撮像装置において、
前記対象指定手段は、選択された一の顔画像を対象として指定し、
前記目線検出手段は、前記指定された一の顔画像における目線が前記撮像装置に向けられたことを検出することができる。

上記撮像装置において、
前記対象指定手段は、選択された複数の顔画像を対象として指定し、
前記目線検出手段は、前記指定された複数の顔画像のいずれかにおける目線が前記撮像装置に向けられたことを検出することができる。

上記撮像装置において、
前記対象指定手段は、選択された複数の顔画像を対象として指定し、
前記目線検出手段は、前記指定された複数の顔画像すべてにおける目線が前記撮像装置に向けられたことを検出することができる。

上記撮像装置は、
前記対象指定手段が指定した顔画像で、前記撮像動作をおこなう他の条件を検出する撮像条件検出手段をさらに備えていてもよく、この場合、
前記目線検出手段は、前記撮像条件検出手段が前記他の条件を検出した顔画像における目線が前記撮像装置に向けられたことを検出することが望ましい。

この場合、
前記撮像条件検出手段は、前記対象指定手段が指定した対象が、予め指定された状態を示す顔画像となったことを検出することが望ましい。

上記撮像装置は、
前記撮像手段が撮像した画像上で、前記指定された顔画像における目線が前記撮像装置に向けられているか判別する目線確認手段をさらに備えていてもよく、この場合、
前記撮像手段は、前記目線確認手段が、前記指定された顔画像における目線が前記撮像装置に向けられていないと判別した場合、前記撮像動作を再度実行することが望ましい。

上記目的を達成するため、本発明の第２の観点にかかるプログラムは、
顔検出機能を有する撮像装置を制御するコンピュータに、
前記顔検出機能によって検出された顔画像のうち、選択された顔画像を対象として指定する機能と、
前記指定した顔画像における目線が前記撮像装置に向けられたことを検出する機能と、
前記指定された顔画像における目線が前記撮像装置に向けられたことを検出したことを契機に撮像動作をおこなう機能と、
を実現させることを特徴とする。

本発明によれば、所望する被写体がカメラ目線となっている画像を確実に得ることができる。

（実施形態１）
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能に加え、ファインダ画面上で特定の被写体部分を検出し、検出された被写体部分に合わせた撮像設定をおこなう機能を備えているものとする。本実施形態では、ファインダ画面上にある人物の顔を被写体部分として検出するものとする。すなわち、本実施形態にかかるデジタルカメラ１は、いわゆる顔検出機能を備えたデジタルスチルカメラである。

図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図示するように、光学装置１１０やイメージセンサ部１２０などから構成されている。

光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置１１０に含まれるシャッタ機構はいわゆる機械式のシャッタ装置であり、イメージセンサによってシャッタ動作をおこなう場合には、光学装置１１０にシャッタ機構が含まれていなくてもよい。また、光学装置１１０は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１２０は、光学装置１１０によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１２０は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。

なお、デジタルカメラ１のビューファインダとして、液晶画面（後述する表示部３１０など）やＥＶＦ（Electronic View Finder）などが用いられる場合、イメージセンサ部１２０が低解像度の画像信号を常時出力することで、いわゆるライブビュー画像（レックスルー画像）がファインダ画面として表示されるものとする。本実施形態では、後述する表示部３１０をファインダ画面として用いるものとし、デジタルカメラ１での撮像動作時には、ライブビュー画像を表示部３１０のファインダ画面に表示することで、いわゆるライブビュー機能が実現されるものとする。

データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサやＲＡＭ（Random Access Memory）などの主記憶装置などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、撮像部１００によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、画像処理エンジンがバッファされたデジタルデータに対し、いわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。本実施形態では、ファインダ用のライブビュー画像としてイメージセンサ部１２０から出力された画像データを一時的に格納し、格納した画像データを用いて顔検出のための処理がおこなわれるものとする。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムなどが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

次に、データ処理部２００の記憶部２５０についての詳細を、図２を参照して説明する。図示するように、記憶部２５０には、顔検出データ格納領域２５０ａ、条件データ格納領域２５０ｂ、プログラム格納領域２５０ｃ、などの記憶領域が用意され、各記憶領域に応じたデータが格納される。

顔検出データ格納領域２５０ａは、顔検出をおこなう際に参照される参照用画像を格納する記憶領域である。ここで、本実施形態にかかる顔検出機能は、従来の顔検出技術と同様、予め用意されている顔画像を参照画像とし、ライブビュー画像と参照画像が示す特徴部分とを比較することで、ライブビュー画像上に顔に相当する部分があるか検索する。顔検出データ格納領域２５０ａは、このときに参照される顔画像を予め格納したものである。

条件データ格納領域２５０ｂは、デジタルカメラ１によって自動撮像をおこなう際の条件を画像上で検出するために必要となるデータ（条件データ）を格納する。本実施形態では、顔検出機能によって検出された顔がカメラ目線となっていることを検出するためのデータが格納される。ここでは、既知の目線検出技術（例えば、特許文献１など）で用いられる条件データが格納されるものとする。

プログラム格納領域２５０ｃは、制御部２１０が実行する動作プログラムを格納する記憶領域である。

本実施形態では、記憶部２５０のプログラム格納領域２５０ｃに格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。

図３は、本発明にかかる機能を実行する際に制御部２１０によって実現される機能を示した機能ブロック図である。図示するように、制御部２１０は、顔検出部２１１、入出力処理部２１２、対象指定部２１３、自動撮像条件検出部２１４、シャッタ制御部２１５、などとして機能する。

顔検出部２１１は、イメージセンサ部１２０がライブビュー用に出力したライブビュー画像上で人物の顔部分を示す画像領域を検出する。本実施形態では、既知の顔検出技術に基づく動作を顔検出部２１１がおこなうことで、ライブビュー画像上での顔検出がおこなわれる。この場合、例えば、既知の顔検出識別器のアルゴリズム（例えば、ニューラルネット（NN）、アダブースト（Adaboost）、サポートベクターマシン（SVM）、など）を用い、顔検出データ格納領域２５０ａに格納されている参照画像とのマッチングをおこなうことで顔部分の識別をおこなうものとする。

入出力処理部２１２は、表示部３１０や操作部３３０との協働により、顔検出や自動撮像についての画面表示や入力にかかる動作をおこなう。本実施形態では、顔検出部２１１が検出した顔部分の位置に基づいて、表示部３１０に表示するライブビュー画像上に、検出された顔部分を明示する表示をおこなう。例えば、図４（ａ）に示すような、複数の人物が被写体となるように撮像動作をおこなっている場合、表示部３１０に表示されるライブビュー画像上で、例えば、図４（ｂ）に示すような矩形状の枠画像を顔部分に表示する。また、入出力処理部２１２は、顔検出や自動撮像にかかる種々の設定画面などによる入出力動作をおこなう。

対象指定部２１３は、操作部３３０および表示部３１０との協働により、顔検出部２１１によって検出された顔画像（被写体画像）のうち、デジタルカメラ１の使用者が所望する被写体（対象）を指定する。つまり、デジタルカメラ１の使用者による操作部３３０の操作に応じて、表示部３１０に表示された枠画像（図４（ｂ）参照）のうち、選択された枠画像を指定し、図４（ｃ）に示すように、例えば、反転表示などによって強調表示する。

自動撮像条件検出部２１４は、対象指定部２１３によって指定された対象について、所定の自動撮像条件（自動的にシャッタ動作をおこなう条件）として登録されている画像上の特徴を検出する。本実施形態では、指定された対象の目線がデジタルカメラ１の方向（すなわち、カメラ目線）となっていることが自動撮像条件として登録されているものとし、条件データ格納領域２５０ｂに格納されている条件データに基づいて、指定された対象が当該条件に合致する画像となったことを検出する。このようなカメラ目線の検出は、既知の目線検出技術（例えば、特許文献１など）を用いておこなわれるものとする。

シャッタ制御部２１５は、自動撮像条件検出部２１４によって自動撮像条件が検出されたことを契機に撮像部１００を制御することでシャッタ動作（合焦動作や露出調整動作などを含む）をおこなう。つまり、シャッタ制御部２１５による制御により、指定された被写体（人物）がカメラ目線となったことを契機に自動的に撮像動作がおこなわれる。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、シャッタ条件（カメラ目線）となったことで自動撮像をおこなう場合にデジタルカメラ１が実行する「自動撮像処理（１）」を、図５に示すフローチャートを参照して説明する。この自動撮像処理（１）は、例えば、デジタルカメラ１の使用者（撮影者）が操作部３３０を操作することで、デジタルカメラ１の自動撮像機能を有効にしたことを契機に開始されるものとする。

処理が開始されると、顔検出部２１１による、ライブビュー画像上で顔部分を検出する顔検出動作が実行される（ステップＳ１０１）。ここでは、図４（ａ）に示した２人の人物を被写体に撮像しているものとする。

顔検出動作によって顔部分を検出すると（ステップＳ１０２：Ｙｅｓ）、顔検出部２１１はその旨を入出力処理部２１２に通知する。入出力処理部２１２は、顔検出部２１１からの通知に応じて、検出された顔についての自動撮像をおこなう設定を撮影者に指示させるための「自動撮像設定画面」を表示部３１０に表示する（ステップＳ１０３）。

この自動撮像設定画面の表示例を図６に示す。図示するように、自動撮像設定画面には、カメラ目線を自動シャッタ条件とした場合の設定として、「１人指定」、「複数指定（１以上）」、「複数指定（全員）」、などの項目が選択可能に表示される。ここで、「１人指定」とは、検出された顔のうち１人を指定し、その顔がカメラ目線となった時に自動撮像する設定である。「複数指定（１以上）」は、検出された顔を複数指定し、そのうちのいずれかがカメラ目線となった時に自動撮像する設定である。また、「複数指定（全員）」は、検出された顔を複数指定し、その全員がカメラ目線となった時に自動撮像する設定である。

撮影者（デジタルカメラ１の使用者）は、操作部３３０を操作することで、自動撮像設定画面の設定項目を選択する。このときの操作部３３０からの入力信号に応じて、入出力処理部２１２は、撮影者が選択した設定内容をワークエリアなどに保持する（ステップＳ１０４）。

このようにして自動撮像の設定がされると、入出力処理部２１２は、顔検出部２１１による顔検出動作に応じた枠画像を表示部３１０に表示する（ステップＳ１０５）。すなわち、図４（ｂ）に示すような枠画像が、検出された顔部分を囲うように表示される。入出力処理部２１２は、このように枠画像を表示すると、対象指定部２１３にその旨を通知する。

対象指定部２１３は、入出力処理部２１２からの通知に応じて、表示されている枠画像を指定可能対象とし、操作部３３０からの信号入力を待機する。この場合、撮影者は操作部３３０を操作し、カメラ目線の撮影を所望する被写体についての枠画像を選択する。ここで、自動撮像設定として「１人指定」を設定している場合には、検出された枠画像のうちの１つを選択し、「複数指定（１以上）」または「複数指定（全員）」を設定している場合には、所望する複数の枠画像を選択する。

このように、顔検出によって表示された枠画像を選択することで、カメラ目線での撮影対象とする被写体を指定する。対象が指定されると（ステップＳ１０６：Ｙｅｓ）、対象指定部２１３は、その旨を自動撮像条件検出部２１４に通知する。自動撮像条件検出部２１４は、ステップＳ１０４で保持した設定内容に応じた目線検出を、指定された対象についておこなう（ステップＳ１０７）。つまり、顔検出部２１１による顔検出動作により、指定された対象の追従がおこなわれ、顔部分の目線を検出することで、指定した対象がカメラ目線となったか判別する。

この場合において、自動撮像設定として「１人指定」が設定されている場合、指定した１つの対象についてカメラ目線となったか否かを判別する。また、「複数指定（１以上）」が設定されている場合は、指定された複数の対象について同時に目線検出をおこない、いずれか１以上の対象がカメラ目線となったか否かを判別する。「複数指定（全員）」の場合は、指定された複数の対象について同時に目線検出をおこない、すべての対象がカメラ目線となったか否かを判別する。

自動撮像条件検出部２１４は、指定された対象がカメラ目線となったと判別すると（ステップＳ１０８：Ｙｅｓ）、その旨をシャッタ制御部２１５に通知する。シャッタ制御部２１５は、自動撮像条件検出部２１４からの通知に応じて撮像部１００を制御してシャッタ動作を実行することで撮像動作をおこなう（ステップＳ１０９）。

例えば、自動撮像設定が「１人指定」のときは、図７（ａ）に示すように、指定した対象（ここでは、向かって左側の人物）がカメラ目線となったときにシャッタ動作がおこなわれる。

また、自動撮像設定が「複数指定（１以上）」の場合、図７（ｂ）に示すように、いずれかの対象（ここでは、向かって右側の人物）がカメラ目線となったときにシャッタ動作がおこなわれる。

また、自動撮像設定が「複数指定（全員）」の場合、図７（ｃ）に示すように、すべての対象（ここでは、２人の人物）がカメラ目線となったときにシャッタ動作がおこなわれる。

このような撮像動作によって撮像された画像は、外部記憶部２６０などに撮像画像として保存する（ステップＳ１１０）。

そして、所定の終了要件（例えば、撮影モードの終了、自動撮像機能の解除、電源ＯＦＦ、など）がなければ（ステップＳ１１１：Ｎｏ）、ステップＳ１０７に戻り、同様に、指定された対象（被写体）のカメラ目線の検出を契機とした自動撮像がおこなわれ、終了要件の発生とともに処理を終了する（ステップＳ１１１：Ｙｅｓ）。

このような処理により、顔検出機能で検出された顔のうち、指定された顔についてカメラ目線が検出されると自動的にシャッタ動作をおこなって撮像する。

以上のように、本実施形態によれば、所望する被写体がカメラ目線となっている画像を確実に得ることができる。

（実施形態２）
上記実施形態１では、指定した被写体がカメラ目線となったときに自動撮像する例を示したが、他の条件と組み合わせて自動撮像するようにしてもよい。この場合、カメラ目線の検出に必要なデータに加え、他の条件データを条件データ格納領域２５０ｂに格納しておくことで、複数の条件に基づく自動撮像をおこなうことができる。

本実施形態では、「笑顔」が他の条件として設定されている場合の動作を例示する。この場合、条件データ格納領域２５０ｂには、検出された顔が笑顔であるか判別するための参照画像などが条件データとして格納されているものとする。

このような場合にデジタルカメラ１が実行する「自動撮像処理（２）」を、図８に示すフローチャートを参照して説明する。この自動撮像処理（２）は、例えば、デジタルカメラ１の使用者（撮影者）が操作部３３０を操作することで、デジタルカメラ１の自動撮像機能を有効にしたことを契機に開始されるものとする。

処理が開始されると、顔検出部２１１による、ライブビュー画像上で顔部分を検出する顔検出動作が実行され（ステップＳ２０１）、顔部分を検出すると（ステップＳ２０２：Ｙｅｓ）、顔検出部２１１はその旨を入出力処理部２１２に通知する。入出力処理部２１２は、顔検出部２１１からの通知に応じて、検出された顔についての自動撮像をおこなう設定を撮影者に指示させるための「自動撮像設定画面」を表示部３１０に表示する（ステップＳ２０３）。

この場合の自動撮像設定画面の表示例を図９に示す。図示するように、自動撮像設定画面には、自動撮像する条件として、例えば、「笑顔＋カメラ目線」、「カメラ目線」、「笑顔」、などが選択可能に表示され、さらに、これらの各項目について、「１人指定」、「複数指定（１以上）」、「複数指定（全員）」などが設定できるよう、それぞれの項目が選択可能に表示される。

ここで、自動撮像条件としての「笑顔＋カメラ目線」は、対象とする被写体が、「笑顔、且つ、カメラ目線」となったときに撮像することを指定する。また、「カメラ目線」は、対象とする被写体がカメラ目線となったときに撮像することを指定し、「笑顔」は対象とする被写体が笑顔となったときに撮像することを指定する。

これらの自動撮像条件それぞれについての、「１人指定」、「複数指定（１以上）」、「複数指定（全員）」は、実施形態１で例示した設定項目と同じ内容である。

デジタルカメラ１の使用者（撮影者）は、操作部３３０を操作することで、所望する自動撮像設定を選択する。本実施形態では、自動撮像条件として「笑顔＋カメラ目線」が設定されたものとする。

操作部３３０からの入力信号に基づく自動撮像設定をワークエリアに保持すると（ステップＳ２０４）、入出力処理部２１２は、顔検出部２１１による顔検出に応じた枠画像を表示部３１０に表示する（ステップＳ２０５）。撮影者は、表示部３１０を操作することで、所望する被写体についての枠画像を選択する。

このようにして対象が指定されると（ステップＳ２０６：Ｙｅｓ）、対象指定部２１３は、指定された対象を自動撮像条件検出部２１４に通知する。自動撮像条件検出部２１４は、指定された対象について、既知の笑顔検出技術を用いることで、笑顔となったか判別する。この場合、例えば、条件データ格納領域２５０ｂに格納されている、笑顔検出にかかる条件データを参照することなどによって、対象として指定された顔が笑顔となったか判別する。

ここで、自動撮像設定として「１人指定」が設定されている場合は、当該指定された対象が笑顔であるか判別し、「複数指定（１以上）」が設定されている場合は、指定された複数の対象のうちの１以上が笑顔となったか判別し、「複数指定（全員）」が設定されている場合は、指定された複数の対象のすべてが笑顔となったか判別する。

このような設定に応じた判別により、対象が笑顔となったことを検出すると、自動撮像条件検出部２１４は、さらに、当該笑顔を検出した対象についての目線検出を実行し（ステップＳ２０９）、カメラ目線であることを検出すると（ステップＳ２１０：Ｙｅｓ）、その旨をシャッタ制御部２１５に通知する。

シャッタ制御部２１５は、自動撮像条件検出部２１４からの通知に応じて撮像部１００を制御することでシャッタ動作をおこない撮像し、撮像画像を、例えば、外部記憶部２６０などに保存する（ステップＳ２１１）。すなわち、対象が笑顔となったことを第１条件とし、さらに第２条件であるカメラ目線が検出されたことを契機に撮像動作がおこなわれる。

そして、所定の終了要件（例えば、撮影モードの終了、自動撮像機能の解除、電源ＯＦＦ、など）がなければ（ステップＳ２１２：Ｎｏ）、ステップＳ２０７に戻り、同様に、指定された対象（被写体）の「笑顔＋カメラ目線」の検出を契機とした自動撮像がおこなわれ、終了要件の発生とともに処理を終了する（ステップＳ２１２：Ｙｅｓ）。

このような処理により、顔検出機能で検出された顔のうち、指定された顔について、笑顔などの条件を検出し、さらにカメラ目線が検出されると自動的にシャッタ動作をおこなって撮像する。

これにより、撮影意図に応じた被写体像を容易かつ確実に得ることができる。

以上のように、本実施形態によれば、被写体が所望する条件（笑顔など）でカメラ目線となっている画像を確実に得ることができる。

（実施形態３）
上記各実施形態により、所望する被写体がカメラ目線となっている画像を確実に得ることができるが、例えば、自動撮像によるシャッタ動作時に被写体がまばたきをしてしまった場合や、目線の変化を伴う動きのある被写体が一瞬カメラ目線となったことを検出した場合などでは、自動撮像によってもカメラ目線の画像を得ることができない場合もある。

本実施形態では、このような場合でも確実にカメラ目線の画像を得るための動作を例示する。この場合にデジタルカメラ１が実行する「自動撮像処理（３）」を、図１０に示すフローチャートを参照して説明する。この自動撮像処理（３）は、例えば、デジタルカメラ１の使用者（撮影者）が操作部３３０を操作することで、デジタルカメラ１の自動撮像機能を有効にしたことを契機に開始されるものとする。

処理が開始されると、実施形態１または実施形態２で例示した処理による自動撮像がおこなわれる（ステップＳ３０１）。すなわち、実施形態１の自動撮像処理（１）におけるステップＳ１０１〜ステップＳ１０９の動作（図５）、もしくは、実施形態２の自動撮像処理（２）におけるステップＳ２０１〜ステップＳ２１１の動作（図８）をおこなうことで、カメラ目線の検出を契機とした自動撮像をおこなう。

このような自動撮像によって撮像画像が得られると、自動撮像条件検出部２１４は、当該撮像画像上で、自動撮像時に指定された対象についての目線検出をおこなう（ステップＳ３０２）。この場合、例えば、自動撮像時にカメラ目線を検出したときの枠画像や顔画像の座標値などをワークエリアに保持しておき、撮像画像上の当該座標における画像で目線検出をおこなうことで、指定された対象が撮像画像上でもカメラ目線となっているか確認する。

ここで、撮像画像上の対象がカメラ目線ではない場合（ステップＳ３０３：Ｙｅｓ）、自動撮像条件検出部２１４は、シャッタ制御部２１５に再撮像を指示する。シャッタ制御部２１５は、自動撮像条件検出部２１４からの指示に応じて撮像部１００を制御し、再度撮像動作を実行させる（ステップＳ３０４）。このとき、シャッタ制御部２１５は、前回の自動撮像で用いた撮像設定（例えば、シャッタスピード、絞り、など）と同じ撮像設定で撮像動作をおこなうよう制御する。

自動撮像条件検出部２１４は、このような再撮像で得られた撮像画像上で、再度、目線検出をおこない（ステップＳ３０５）、再撮像後の撮像画像上で対象がカメラ目線となっているか判別する（ステップＳ３０６）。

ここで、例えば、静止している被写体が、撮像時にまばたきをしてしまったことなどによってカメラ目線の撮像画像が得られなかったのであれば、直後におこなった再撮像によってカメラ目線の画像が得られる可能性が高い。一方、例えば、動きのある被写体が一瞬カメラ目線となったことでカメラ目線の撮像画像が得られなかったのであれば、直後に再撮像してもカメラ目線の画像を得られる可能性は低い。

よって、再撮像後の撮像画像において、対象がカメラ目線となっていることが検出できなければ（ステップＳ３０６：Ｎｏ）、当該撮像画像を保存せずにステップＳ３０１に戻り、自動撮像の動作をやり直す。

一方、再撮像後の撮像画像において、対象がカメラ目線となっていることが検出できれば（ステップＳ３０６：Ｙｅｓ）、当該撮像画像を、例えば、外部記憶部２６０などに保存する（ステップＳ３０７）。この場合、終了要件の発生がなければ（ステップＳ３０８：Ｎｏ）、ステップＳ３０１に戻り、自動撮像の処理を繰り返しおこなう。

また、ステップＳ３０１の自動撮像で得られた画像において、対象がカメラ目線となっていることが検出されれば（ステップＳ３０３：Ｎｏ）、再撮像をおこなう必要はないので、自動撮像の処理を繰り返しおこなうか（ステップＳ３０８：Ｎｏ）、終了要件の発生に応じて処理を終了する（ステップＳ３０８：Ｙｅｓ）。

このような処理により、カメラ目線の検出による自動撮像で得られた画像上で、さらにカメラ目線となっているか検証し、カメラ目線となっていない場合は、直後に同じ撮像条件で再撮像する。

これにより、シャッタ動作時に被写体がまばたきしてしまった場合などでも確実にカメラ目線の画像を得ることができる。また、撮像画像がカメラ目線でない場合には保存せずに自動撮像を続行するので、不要な撮像画像が保存されてしまうことがない。

このような本実施形態によれば、所望する被写体がカメラ目線となっている画像をより確実に得ることができる。

以上説明したように、本発明を上記実施形態の如く適用することにより、人物を被写体として撮影した場合などにおいて、カメラ目線となっている画像を確実に得ることができる。

この場合において、顔検出により検出された顔（被写体）のうち、選択された被写体がカメラ目線となったときに撮像動作をおこなうので、例えば、多数の人物が写り込む場面において、所望する被写体がカメラ目線となっている画像を確実に得ることができる。

ここで、一の被写体を選択して指定することができるので、特定の被写体がカメラ目線となっている画像を確実に得ることができる。

また、複数の被写体を選択して指定することができるので、特定の被写体が複数ある場合でも、これらの被写体がカメラ目線となっている画像を確実に得ることができる。

この場合において、指定した複数の被写体のうち、いずれかの被写体がカメラ目線となったことを契機に撮像動作をおこなうことができるので、例えば、記念撮影の被写体に大人と子供が混在しているような場合、カメラ目線とさせることが難しいとされる子供がカメラ目線となったことを契機に自動的に撮像することができる。あるいは、特に全員がカメラ目線でなくてもよいスナップ撮影などにおいては、指定した複数の被写体のうちのいずれかがカメラ目線となったときに自動的に撮像するので、失敗のない人物撮影を容易におこなうことができる。

さらに、指定した複数の被写体の全員がカメラ目線となったことを契機に撮像動作をおこなうことで、例えば、集合写真の撮影などにおいて、全員がカメラ目線となる画像を確実かつ容易に得ることができる。

また、カメラ目線以外の条件と組み合わせることができるので、例えば、笑顔だけを条件に自動撮像した場合では、目線を外していても撮像してしまうことがあるが、本発明の適用により、笑顔かつカメラ目線となっている画像を確実かつ容易に得ることができる。

さらに、このような自動撮像で得られた撮像画像上で、指定した対象がカメラ目線であるか再度検出し、カメラ目線となっていない場合は直後に再撮像するので、例えば、まばたきなどによってカメラ目線とならなかった場合などでは、再撮像によってカメラ目線の画像を得ることができ、より確実にカメラ目線の画像を得ることができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態２では、カメラ目線以外の条件として「笑顔」を検出する場合を例示したが、自動撮像条件はこれに限られず任意である。例えば、笑顔以外の顔の状態を条件としてもよい。あるいは、顔の状態だけでなく、撮像パラメータなどを条件としてもよい。例えば、検出された顔部分が適正露出となったことなどを条件としてもよい。

また、本発明を上記で例示したデジタルカメラ１のような撮像装置で実現する場合も、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。

なお、上記実施形態では、撮像装置の例としてデジタルスチルカメラを示したが、撮像装置の形態は任意であり、単体のデジタルスチルカメラで実現可能であることはもとより、これと同様の撮像機能を備えた種々の電子機器（例えば、携帯電話など）に本発明を適用してもよい。

このような場合においても、プログラムを適用することで、既存の装置を本発明にかかる撮像装置として機能させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 図１に示す記憶部を説明するための図である。 図１に示す制御部によって実現される機能を示す機能ブロック図である。 図３に示す機能構成の動作を説明するための図であり、（ａ）は、撮像対象となる被写体の例を示し、（ｂ）は、顔検出機能によって表示される枠画像の例を示し、（ｃ）は、選択された枠画像の例を示す。 本発明の実施形態１にかかる「自動撮像処理（１）」を説明するためのフローチャートである。 図５に示す自動撮像処理（１）で表示される自動撮像設定画面の表示例を示す図である。 図５に示す自動撮像処理（１）における自動撮像動作を説明するための図であり、（ａ）は、自動撮像設定が「１人指定」の場合に撮像動作がおこなわれる被写体像の例を示し、（ｂ）は、自動撮像設定が「複数指定（１以上）」の場合に撮像動作がおこなわれる被写体像の例を示し、（ｃ）は、自動撮像設定が「複数指定（全員）」の場合に撮像動作がおこなわれる被写体像の例を示す。 本発明の実施形態２にかかる「自動撮像処理（２）」を説明するためのフローチャートである。 図８に示す自動撮像処理（２）で表示される自動撮像設定画面の表示例を示す図である。 本発明の実施形態３にかかる「自動撮像処理（３）」を説明するためのフローチャートである。

符号の説明

１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…顔検出部、２１２…入出力処理部、２１３…対象指定部、２１４…自動撮像条件検出部、２１５…シャッタ制御部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２５０ａ…顔検出データ格納領域、２５０ｂ…条件データ格納領域、２５０ｃ…プログラム格納領域、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部

Claims (8)

1. 顔検出機能を有する撮像装置において、
   前記顔検出機能によって検出された顔画像のうち、選択された顔画像を対象として指定する対象指定手段と、
   前記対象指定手段が指定した顔画像における目線が前記撮像装置に向けられたことを検出する目線検出手段と、
   前記目線検出手段が、前記指定された顔画像における目線が前記撮像装置に向けられたことを検出したことを契機に撮像動作をおこなう撮像手段と、
   を備えることを特徴とする撮像装置。
2. 前記対象指定手段は、選択された一の顔画像を対象として指定し、
   前記目線検出手段は、前記指定された一の顔画像における目線が前記撮像装置に向けられたことを検出する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記対象指定手段は、選択された複数の顔画像を対象として指定し、
   前記目線検出手段は、前記指定された複数の顔画像のいずれかにおける目線が前記撮像装置に向けられたことを検出する、
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記対象指定手段は、選択された複数の顔画像を対象として指定し、
   前記目線検出手段は、前記指定された複数の顔画像すべてにおける目線が前記撮像装置に向けられたことを検出する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記対象指定手段が指定した顔画像で、前記撮像動作をおこなう他の条件を検出する撮像条件検出手段をさらに備え、
   前記目線検出手段は、前記撮像条件検出手段が前記他の条件を検出した顔画像における目線が前記撮像装置に向けられたことを検出する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像条件検出手段は、前記対象指定手段が指定した対象が、予め指定された状態を示す顔画像となったことを検出する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記撮像手段が撮像した画像上で、前記指定された顔画像における目線が前記撮像装置に向けられているか判別する目線確認手段をさらに備え、
   前記撮像手段は、前記目線確認手段が、前記指定された顔画像における目線が前記撮像装置に向けられていないと判別した場合、前記撮像動作を再度実行する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 顔検出機能を有する撮像装置を制御するコンピュータに、
   前記顔検出機能によって検出された顔画像のうち、選択された顔画像を対象として指定する機能と、
   前記指定した顔画像における目線が前記撮像装置に向けられたことを検出する機能と、
   前記指定された顔画像における目線が前記撮像装置に向けられたことを検出したことを契機に撮像動作をおこなう機能と、
   を実現させることを特徴とするプログラム。

Images