JP2016129282A - 撮像装置 - Google Patents

Abstract

【課題】メインカメラで主要被写体を決定する方法と、サブカメラで主要撮影者を決定する方法において、異なる方法を用いることを可能とし、それぞれに適した主要者を検出することが可能な撮像装置を提供すること。【解決手段】画像表示装置と、画像表示装置と同一面に配置された撮像部１と、撮像部１による撮像画角と異なる撮像画角を持つ撮像部２と、撮像部により得られた画像から人物顔を検出する顔検出手段と、検出した人物顔の詳細情報解析手段と、を備え、少なくとも、顔の確からしさを示す顔信頼度、顔位置、顔サイズのいずれかを含む顔検出情報に基づいて主要者を特定する際、主要者特定方法あるいは特定時に用いる情報を、撮像部１と撮像部２で個別に設定可能とすることを特徴とする。【選択図】図１２

Description

本発明は、画像内の人物顔から主顔を決定する方法、装置に関する。

被写体を撮影することを目的としてきた従来のカメラは、カメラ操作者である撮影者がカメラを手にした際、被写体の撮影が行いやすいように機器前面にレンズが搭載されている。そして近年のカメラには顔検出機能が搭載されることが一般的となっており、得られた画像内から人物の顔を検出し、検出した顔に対してピント合わせや露出合わせをおこなうことで、好適な画像を得ることが可能となっている。このとき、画像内から複数の人物が検出された場合、誰に主眼をおいてピント合わせや露出合わせを行うかが重要となってくる。

被写体を撮影することがカメラの目的である一方、撮影者側に第２のサブカメラを搭載した機器が存在する。これは、サブカメラで得られた画像をそのまま記録する自分撮りカメラ用途や、テレビ電話のように相手方へ自分の画像を送信する用途などに向いている。

複数のカメラを搭載した機器やシステムにおいて、状況に応じてカメラの動作をコントロールする方法が提案されている。

特許文献１では、視線を検知し、視線が画像表示部を向いている場合、第１の撮像部による画像データを出力し、視線が画像表示部を向いていない場合、第２の撮像部による画像データを出力する形態が提案されている。

特許文献２では、一方の撮影手段で所定状態の顔画像の存在を検出し、もう一方の撮影手段で特定機能の撮影を行わせる形態が提案されている。

特開２０１０−１６１６５５号公報 特開２００９−１５３０８５号公報

メインカメラは被写体を撮像することが主な目的となり、サブカメラは撮影者を撮像することが主な目的となる。その際、撮像された人物が、主要被写体あるいは主要撮影者となりうるかどうかを適切に判断する必要がある。

例えば、メインカメラにより画面端付近に人物顔が検出された場合、一般的には撮影対象となる人物を極端に画面端にフレーミングするケースは少ないと考えられ、主要被写体とはなりにくくしてもよい。一方サブカメラの場合、撮影者は撮影に集中するため、自らがサブカメラの画像中心に入っているかを意識し続けるのは困難であり、主要撮影者が常に画像の中心付近にいない可能性が十分ありうる。

また例えば、被写体の自然な表情や所作を撮影しようとするならば、メインカメラにより検出された被写体の顔の向きや視線がカメラのほうを向いていないことは十分ありうる。一方、サブカメラの場合、カメラ操作者が撮影する意思を持っている場合、撮影者は被写体を捕えるためにファインダーを見るのが通常であると考えられる。撮影者の顔の向きや視線の向きがファインダーから外れていると、主要撮影者ではない可能性が高いか、その時は撮影する意思が低いことが考えられる。

このように、メインカメラとサブカメラはその目的が異なるため、画像内で検出された顔が主要者であるかを判定する判定条件を、メインとサブで同条件を適用してしまっては、求められる性能を提供できない課題がある。

このため、メインカメラとサブカメラでは、それぞれに適した主要者決定方法を適用することが求められている。

本発明の目的は、メインカメラで主要被写体を決定する方法と、サブカメラで主要撮影者を決定する方法において、異なる方法を用いることを可能とし、それぞれに適した主要者を検出することが可能な撮像装置を提供することにある。

上記の目的を達成するために、本発明の撮像装置は、画像表示装置と、画像表示装置と同一面に配置された撮像部１と、撮像部１による撮像画角と異なる撮像画角を持つ撮像部２と、撮像部により得られた画像から人物顔を検出する顔検出手段と、検出した人物顔の詳細情報解析手段と、を備え、少なくとも、顔の確からしさを示す顔信頼度、顔位置、顔サイズのいずれかを含む顔検出情報に基づいて主要者を特定する際、主要者特定方法あるいは特定時に用いる情報を、撮像部１と撮像部２で個別に設定可能とすることを特徴とする。

本発明によれば、メインカメラで主要被写体を決定する方法と、サブカメラで主要撮影者を決定する方法において、異なる方法を用いることを可能とし、それぞれに適した主要者を検出することが可能な撮像装置の提供を実現できる。

全体ブロック図を示す図である。 外観図を示す図である。 主要者選択例を示す図である。 主要者選択例を示す図である。 顔信頼度重みを示す図である。 顔サイズ重みを示す図である。 顔位置重みを示す図である。 視線重みを示す図である。 個人認証連動重みを示す図である。 全体フローを示す図である。 ライブビューフローを示す図である。 メインカメラ主顔選択フローを示す図である。 サブカメラ主顔選択フローを示す図である。 撮影意思判定フローを示す図である。

以下、図面に沿って本発明の実施の形態を説明する。

図１に、実施形態のシステム全体図を示す。レンズ１０により外光を集光する。メカ駆動回路１４にてレンズを光軸方向に沿って駆動することで焦点や画角を調節可能である。また、カメラブレに応じてレンズを光軸方向以外にも駆動することで手ぶれ補正を行うことも可能である。手ぶれ補正は撮像部２０を動かすことでも同様に実現可能である。レンズを通過した光は光量調節機構１２によりその光量を調節することができる。光量調節方法は、口径を変化させる光彩絞り、光透過量を落とすＮＤフィルター、全閉により遮光するメカシャッターなど様々な形態があり、用途に応じて使い分ける。

レンズ１０、光量調節機構１２を通過した光は撮像部２０に受光される。撮像部２０は撮像駆動回路２２からの駆動指示により動作し、受光素子への露光、露光量の調節、露光データの読み出し、読み出した画像信号の増幅／減衰、画像信号のＡ／Ｄ変換などを行う。撮像部２０から出力された画像データは画像処理回路４０に投入されるか、あるいは一時記憶メモリ（ＲＡＭ）４６に記憶される。

図では、レンズ１０の他にレンズ１１を搭載した実施例を示してる。レンズ１０は撮影対象である被写体を撮影することを目的としたメインカメラ、レンズ１１は撮影者自身を撮影することを目的としたサブカメラを示している。図ではレンズ１１による撮像系ブロックからメカ駆動回路を取り除いた例を示しているが、レンズ１１に対してピント調節機能や手ぶれ補正機能を搭載することも可能である。

画像処理回路４０は、撮像部２０、撮像部２１から直接、あるいは一時記憶メモリ４６を経由して入力された画像データの画像処理や画像解析など様々な処理を行うことができる。撮影時の露出合わせ（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅ）やピント合わせ（ＡＦ：ＡｕｔｏＦｏｃｕｓ）では、撮像部から順次出力される画像データを画像処理回路４０を用いて輝度成分や周波数成分を抽出し、これらを評価値として用いることでＡＥ、ＡＦ動作を行う。また、画像処理回路４０は撮像部２０、撮像部２１から得た画像データを現像処理して画質を調節することができ、色合い、階調、明るさ、などを適切に設定して鑑賞に適した写真に仕上げる。

さらに画像処理御回路４０では、入力された画像内から人物顔を代表とする被写体を検出することができ、画像内における人物顔の位置、大きさ、傾き、顔の確からしさ情報などを得ることができる。また、検出した人物顔の特徴情報を抽出し、特定の個人であるかを認証することができる。認証にあたっては、ＲＯＭ４８に記憶されている個人の特徴情報を読み出し、画像処理回路で特徴情報を比較して一致処理を行い、登録済みの個人と一致するかを確認する。また、画像処理回路は人物顔の詳細な解析を行うことができ、例えばその人物の眼を解析して視線方向を検出することができる。

ＬＣＤなどの表示装置５０は、画像処理回路４０で現像処理された画像を表示したり、文字やアイコンを表示することで機器使用者に対する情報伝達手段とすることもできる。

システム１００に対して外部メモリ９０の挿入や、外部機器９２を接続することができる。外部メモリや外部機器を接続することで、画像の授受や互いの機器を動作させるコマンド情報などをやりとりすることができる。

図２に、カメラ外観図を示す。カメラ前面にはレンズ１０が配置され、メインカメラとして被写体像をとらえることができる。これに対し、カメラ背面にはレンズ１１が配置され、サブカメラとして撮影者をとらえることができる。レンズ１０の同一面にストロボユニット３０が配置されている。主被写体が暗い場合にストロボ３０を発光させることで十分な光量を得ることができ、暗い中でも速いシャッター速度を保ち、好適な画像を得ることができる。操作部材２００，２０２，２１０，２２０，２２２，２２４，２２６，２２８は、カメラの電源投入、撮影モード切り替え、各種設定、など、ユーザー操作に応じて機能が発動する。

図３に、メインカメラ１０とサブカメラ１１で得られた画像の用途例を示す。従来のカメラは被写体の撮影を目的としてボディ前面にメインカメラのみを搭載していたが、本実施例ではボディ背面にサブカメラを搭載する。ユーザーがカメラを構えた際、撮影者の顔付近が撮像されるようにサブカメラの取り付け位置や画角が設計されているものとする。また、サブカメラの用途は撮影者の撮像に限定されるため、ズーム機構やＡＦ機構などの複雑なメカ機構を省略することも可能である。

図３（ａ）は撮影者Ａが、被写体ａを撮影しようとカメラを持って構えている様子を表している。撮影者Ａはカメラの表示装置を見ながら被写体ａに対してフレーミング作業を行い、被写体ａは自らが撮影されることを意識し、カメラのメインカメラを見ている。このとき、画像表示装置にはメインカメラにて撮像した被写体ａの画像が表示され、画面端にサブカメラで撮像した撮影者Ａの画像が表示されている。この状況において撮影を行った場合、メインカメラによる被写体ａの画像を記録するのはもちろんのこと、サブカメラによる撮影者Ａの画像を記録することもできる。撮影者Ａと被写体ａの画像をそれぞれ別ファイルとして記録する以外に、被写体ａの画像端に撮影者Ａの画像を重畳させた画像を１枚記録してもよい。このとき、サブカメラによる撮影画像から、撮影者Ａの顔付近のみを切り出し、これを重畳させてもよい。

このように、従来は被写体画像しか記録されていなかったものが、サブカメラにより撮影者の記録も可能となり、いままでにはなかった価値を提供できる。

メインカメラ、サブカメラ、いずれにおいても、得られた画像から的確に主要な被写体、主要な撮影者を特定し、その主要者に対してピント合わせや露出（明るさ）調節を行って撮影することが望ましい。そのためには主要者決定方法が重要となる。

図３（ｂ）は被写体ａがメインカメラを見ていない例を示している。一見すると被写体がカメラを向いていないため、撮影には向かない状況と思われるが、被写体の自然なシーンを撮影している場合ではありうる状況である。このため、図のシチュエーションでは被写体ａが主要な撮影者であると判断してピント合わせが行われることが期待される。

図３（ｃ）は撮影者Ａが画像表示装置を見ていない例を示している。この状態が継続していれば、撮影者Ａに撮影する意思が無いことが想定される。通常、撮影者は画像表示装置に映し出されたメインカメラによる画像を確認して撮影を行う。画像表示装置を見ていないということは、メインカメラにより被写体ａがどのように撮像されているかを確認していないこととなり、撮影の意思がないと判断しても差し支えない。

図４はメインカメラで撮像する被写体が２人、サブカメラで撮像する撮影者が２人の例を示している。被写体が複数人であることは通常ありうるケースであるのに対し、撮影者が複数人であるケースは従来それほど多くは無かった。しかし、搭載される画像表示装置（ＬＣＤ）の大型化や視野率の向上に伴い、複数人が画像表示装置を見ながら撮影するケースが増加してきており、撮影者が複数いるケースを考慮すべき状況になってきた。しかしながら、図のように撮影者を表示する領域はあくまで補助的な意味合いとし、画像表示装置の端に小画面として表示する仕様が想定される。このような小画面に撮影者を表示する場合には複数人を表示するのは困難であり、複数人の撮影者のなかから主要な人物を一人選択し、その人物の顔が含まれる部分画像を表示することが現実的である。

図では、個人認証されている様子も示している。被写体ａはＭｒ．Ｓｕｚｕｋｉとして認証され被写体ｂは未認証である様子を示している。さらに、被写体ａは被写体ｂよりも後ろ側に位置しており、検出された顔のサイズも小さい。このような状況において、被写体ａ，ｂのいずれが主要被写体であるかを決定する必要がある。図では、顔の大きさは相対的に小さいが、個人認証できているａが主要被写体であると判断し、画面表示装置に主要被写体枠を表示する例を示している。

また、撮影者ＢはＭｒ．Ｓａｔｏとして認証され、撮影者Ａは未認証である様子を示している。さらに、撮影者Ｂは撮影者Ａよりも顔サイズが大きいが、図では主要撮影者としてＡが選択されている。これは、撮影者の視線方向を検知し、視線が画像表示装置に視線が向いていない場合には主要被写体ではない、という判断を行った結果である。

ＳｕｂＣａｍｅｒａで捕えた画像イメージを図４（ｂ）に示す。撮影者Ａと撮影者Ｂの顔のサイズ、位置、個人認証結果、視線方向情報を考慮して主要撮影者を決定した結果、撮影者Ａが主要撮影者であると判定し、破線で囲った撮影者Ａの顔画像を画像表示装置へ表示している。

このような、画像内から主要な被写体や主要な撮影者を選択する際に用いる方法の一つとして、重みテーブルがある。重みテーブルは、被写体の状況を表現する要素と、それに応じた重み計数からなるテーブルであり、要素に応じていくつか持つことができる。画像内から検出された人物それぞれに対してこの重みテーブルから重み量を算出し、最も重みの強い人物を主要者とすることができる。

図５〜図８に、各種重みテーブル例を示す。図５は顔検出結果による顔信頼度に応じた重み量を表現したテーブルである。顔信頼度とは、顔の確からしさを数値化したものであり、顔検出時に得られる情報である。本当のヒトを撮像した画像から顔検出を行うと、高い信頼度と共に、顔の大きさや位置情報が顔検出結果として得られる。しかし、目、鼻、口などのパーツのレイアウトが似ているだけの非人物を撮像した画像から顔検出を行うと、顔として検出できないか、顔として検出できたとしても低い信頼度が検出結果として出力される。

図６は画像内における顔サイズに応じた重み量を表現したテーブルである。一般的に、画像内で大きな顔が主要者であるという考えに基づいて、顔サイズが大きくなるほど重みが増していくテーブルとなっている。ここでは、メインカメラ用の重みテーブル１５１１と、サブカメラ用の重みテーブル１５１３をそれぞれ分けて使用することを示している。メインカメラの場合、撮影対象となる被写体の状況は非常に多様な状況が想定される。ポートレート撮影のように人物の胸から頭頂部にかけて撮影される場合や、観光地での記念撮影のように人物の足先から頭頂部にかけて全身が撮影される場合がある。これらメインカメラでの撮影では顔の大きさが大きい撮影から小さい撮影まで想定しなければならない。

これに対してサブカメラの場合、撮影対象となる撮影者の状況がある程度限定される。撮影者は自らの手でカメラを持ち、画像表示装置を見て撮影を行うのが通常であるため、サブカメラにより得られた画像内において、どの程度の大きさで撮影者の顔が検出されるかが推測できる。この推測による顔サイズよりも小さい顔が検出された場合、主要な撮影者ではない可能性が高く、顔サイズが小さくなるほど、より重みをかけない重みテーブルにしておくと良い。

図７は画像中心からの顔位置までの距離に応じた重み量を表現したテーブルである。一般的に、画像の中心に近いほど主要者であるという考えに基づいて、画像中心に近いほど重みが増していくテーブルとなっている。ここでは、メインカメラ用の重みテーブル１５２３と、サブカメラ用の重みテーブル１５２１をそれぞれ分けて使用することを示している。

メインカメラの場合、撮影対象となる被写体を極端に画面の端に配置して撮影することは稀である。通常、画面中心に近い位置になるように撮影する。これに対してサブカメラの場合、撮影者は自らがサブカメラによる画像内において自分がどの位置で撮像されているかを意識せずに被写体の撮影に集中するものである。このため、サブカメラによる画像内で撮影者が画面端に位置することは十分ありうるものと考えられる。このため、サブカメラの重みテーブルは画面中心からの距離が遠くなったとしても、重みをあまり下げない重みテーブルとしておくと良い。

図８は検出した人物の視線方向がカメラ本体に向いている度合に応じて重み量を表現したテーブルである。度合いを詳細に表現すると、メインカメラの場合、得られた画像から検出した視線がメインカメラのレンズに向いているかどうかの度合いであり、サブカメラの場合、得られた画像から検出した視線が画像表示装置に向いているかどうかの度合いである。これは、撮影する人、撮影される人が視線をどこに据えるのが一般的かという思想に基づいている。

メインカメラの場合、撮像する被写体の視線は必ずしもカメラのほうを向いているとは言えず、様々な状況がありうる。このため、視線度が外れていっても、重みをあまり下げないテーブルとなっている１５３１。これに対してサブカメラの場合、撮影者が撮影の意思を持っている場合、ファインダーすなわち画像表示装置を見ていることが容易に想定され、ファインダーを見ていない場合は撮影の意思が低いと解釈することができる。ゆえに、サブカメラ用の視線度に対する重みテーブルは、視線が外れると急速に重みを下げるテーブルとし、主要撮影者にならないよう設計している１５３３。

図９は個人認証結果に応じた相対的な重み付けの組み合わせを示している。図９（ａ）は被写体の重み組み合わせであるが、被写体の認証結果に応じると共に、撮影者の認証結果も考慮する仕組みになっているのがポイントである。重みの相対的な関係はＣ＞Ｂ＞Ａとする。

メインカメラにより撮像された被写体に対して個人認証処理が行われ、カメラに登録されている人物との一致が取れた場合、重みＡとする（１６０１，１６１１）。これに対し、被写体とカメラに登録されている人物との一致が取れた場合重みＢもしくはＣとする（１６０３，１６１３）。重みＢとするか、Ｃとするかは、この被写体を撮影している撮影者の個人認証結果に応じて決定される。撮影者に個人認証処理を行い、カメラに登録されている人物との一致が取れた場合、被写体と撮影者はともに同一のカメラに登録されていることとなり、夫婦や親子など、とても強い結びつきであることが想定され、重みＣとする。

図９（ｂ）は撮影者の重み組み合わせである。重みの相対的な関係はＱ＞Ｐとし、認証処理を行った結果、カメラに登録されている人物との一致が取れた場合にＱとする。

図５〜図９により各重み量を算出したのち、総重み量を算出する。
総重み量＝１．００×信頼度重み×サイズ重み×画像中心からの距離重み×視線度重み×認証重み
画像内から検出された人物それぞれに対して総重み量を算出し、最も重み量の大きい人物を主被写体とする。

このようにメインカメラとサブカメラ各々から顔検出を行い、各々に適した重み処理を行って主顔決定を行う手段を搭載したカメラの動作フローを示す。図１０に、カメラの全体フローを示す。このフローは図２で示したカメラの主電源２００がＯｎされてからのフローである。

システム起動を行う（Ｓ１０３）。ここではカメラシステムが動作するに必要なＣＰＵやＬＳＩへの電源供給、クロック供給をはじめ、メモリやＯＳの初期化など、基本システムの起動が行われる。

このあと、メインカメラとサブカメラの起動シーケンスが発動する。図では、それぞれが平行動作するフローを示しているが、排他的に起動するシーケンスとすることも可能である。メインカメラ内のＣＣＤやＣＭＯＳといった撮像素子の起動や、フォーカスレンズやズームレンズといった鏡筒系デバイスの起動が行われる（Ｓ１１１）。メカシャッターやメカ絞りが動作し、撮像素子に外光が導かれ始める。続いて、撮像素子から読み出したデータを元に明るさ、色、ピント状況を計測し、それぞれを好適な状態にするＡＥ，ＡＦ，ＡＷＢ処理が開始される（Ｓ１１３）。画像の明るさ、色、ピント制御が起動したあと、ライブ映像の生成を開始する。ここで生成されたライブ映像は画像表示装置に表示される一方、顔検出、個人認証、視線検出などの検出系処理に使用される（Ｓ１１７）。

このメインカメラ起動シーケンスと並行して、サブカメラシーケンスを行う。まずはサブカメラを起動すべきかを判定する（Ｓ１２１）。サブカメラを搭載しているカメラ機器であっても、撮影者の撮影を行わない設定になっている場合にはここで何も行われない。Ｓｕｂカメラが有効な場合、サブカメラの撮像系デバイス、鏡筒系デバイスの起動がメインカメラと同様に行われる。これ以降もメインカメラの起動シーケンスと基本的には同じように、ＡＥ，ＡＦ，ＡＷＢ処理が開始され（Ｓ１２５）、続いてライブ映像の生成開始（Ｓ１２７）、顔検出、個人認証、視線検出などの検出系処理（Ｓ１２９）が開始される。

起動が完了したのち、ライブビューの定常状態に入る。ここでの処理（Ｓ２０１）は図１１にて別途説明する。

ライブビュー定常状態から撮影準備指示ボタンとしてＳＷ１が押下されたことを検出する（Ｓ１３１）。ＳＷ１押下に反応して撮影のためのＡＥ、ＡＦ処理が行われる（Ｓ１３３）。ここでのＡＥ、ＡＦ処理はライブビュー中に行っていたＡＥ、ＡＦとな異なり、静止画に適した条件、適した精度で撮影する条件を決定する。静止画撮影用の条件（絞り値、シャッター速度、感度、ピント位置、）が決定したのち、撮影指示手段であるＳＷ２ボタンが押下されたことに応じて（Ｓ１３５）、静止画撮影をおこなう（Ｓ１３７）。

図１１に、ライブビュー定常状態で実行される処理を示す。様々な処理が平行動作している様子が示されている。メインカメラ側の処理として、メインカメラのＡＥ、ＡＦ、ＡＷＢ、ライブ映像生成、顔検出、個人認証、視線検出（Ｓ２１１，Ｓ２１３，Ｓ２１５）が行われている。サブカメラ側の処理として、サブカメラのＡＥ、ＡＦ、ＡＷＢ、ライブ映像生成、顔検出、個人認証、視線検出（Ｓ２２１，Ｓ２２３，Ｓ２２５）が行われている。これらはいわゆるコンティニュアス処理として、ライブビュー中に周期的に実行されている。

別フローとして、図１２図１３に主顔判定フロー、図１４に撮影意思判定フローを示す。図１２に示したメインカメラの主顔判定フローを説明する。ここでは画像を顔検出処理にかけ、画像内の顔のサイズ、位置、信頼度、視線度、個人認証結果などの必要情報が既に揃っていることを前提とする。

顔があるかどうかを判定する（Ｓ３０３）。顔が無い場合は現在の画像内に主顔は無い、と判定するＳ３５１。顔が有る場合、全ての顔の重みを算出するフローに入る（Ｓ３０５）。図５で示したテーブルに従って顔信頼度に応じた重み算出を行う（Ｓ３１１）。図６で示した顔サイズに応じた重み算出を行う（Ｓ３１３）。図７で示した画像中心からの距離に応じた重み算出を行う（Ｓ３１５）。図８で示した視線度に応じた重み算出を行う（Ｓ３１７）。

対象人物がカメラ内に登録された人物と認証一致しているかをチェックし（Ｓ３２１）、一致が取れなかった場合は認証重みＡとする。一致が取れた場合、さらに現在の主要撮影者の認証一致がとれているかをチェックし（Ｓ３２３）、一致が取れなかった場合は認証重みＢ、一致が取れた場合は認証重みＣとする。認証重みＡ、Ｂ、Ｃは前述したようにＣ＞Ｂ＞Ａという相対的な重み関係を持つ。

全ての項目の重みが算出できたのち、総重み量を算出する（Ｓ３３７）。
総重み量＝１．００×信頼度重み×サイズ重み×画像中心からの距離重み×視線度重み×認証重み
画像内のすべての顔の総重み量の算出が完了したら、最大の重み量を持つ顔を主要者として決定する（Ｓ３６１）。

図１３に示したサブカメラの主顔判定フローを説明する。フローの多くは図１４で示したメインカメラフローと同様であるため、差異を説明する。サブカメラで撮影した画像から検出した人物が個人認証一致したかをチェックする（Ｓ４２１）。その後、メインカメラによる被写体の状況によらず、撮影者の認証一致が取れなかった場合は重みＰ、撮影者の認証一致が取れた場合は重みＱと設定される。認証重みＰ、Ｑは前述したようにＱ＞Ｐという相対的な重み関係を持つ。

図１４に、サブカメラで撮像した画像から決定した主撮影者が、撮影する意思があるかどうかを判定するフローを示す。図１３で示したフローにて、サブカメラ内の人物の中から主要撮影者が決定されたかどうかをチェックする（Ｓ５０３）。主要撮影者が決定されている場合、その人物の視線はずれ度のみが所定内かどうかをチェックする。視線が画像表示装置に対して視線を外している度合が小さい場合、撮影意思有りと判定する（Ｓ５０９）。視線が外している度合が大きい場合、撮影意思無しと判定する（Ｓ５０７）。

図１１のライブビュー定常状態で実行される処理フローの説明に戻る。メインカメラにより生成され続けているライブ映像（Ｓ２１３）、サブカメラにより生成され続けているライブ映像（Ｓ２２３）の結果をどのように画像表示装置に表示するかを判定する。図１４のフローにより、サブカメラによる画像内から主要撮影者が検出され、さらに、その主要撮影者が撮影の意思を持っているかどうかが判定され、撮影の意思が有った場合、さまざまな処理を実行することができる。

図１１では、サブカメラによる主要撮影者が画像表示装置を見て撮影する意思があると判定された場合、メインカメラによる画像にサブカメラの画像を重畳表示する例を示している。

フローでは図示していないが、この重畳画像をそのまま動画として記憶媒体に記憶することが可能である。

また、サブカメラによる主要撮影者が画像表示措置を見ていない場合、画像表示装置自体の省電を目的に、ＬＣＤのバックライトを消灯するなど、他のデバイス制御を行っても良い。

以上述べた実施例の構成、フローにおいて、メインカメラからの主要被写体検出、サブカメラからの主要撮影者検出が行われ、その主要者に対する露出、ピント調整や、各種デバイス制御をおこなうことが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０ レンズ、１２ 光量調節機構、１４ メカ駆動回路、２０ 撮像部

Claims (8)

1. 画像表示装置と、
   画像表示装置と同一面に配置された撮像部１と、
   撮像部１による撮像画角と異なる撮像画角を持つ撮像部２と、
   撮像部により得られた画像から人物顔を検出する顔検出手段と、
   検出した人物顔の詳細情報解析手段と、
   を備え、
   少なくとも、顔の確からしさを示す顔信頼度、顔位置、顔サイズのいずれかを含む顔検出情報に基づいて主要者を特定する際、主要者特定方法あるいは特定時に用いる情報を、撮像部１と撮像部２で個別に設定可能とすることを特徴とする撮像装置。
2. 撮像部１は撮像部２に対し、顔サイズが小さくなるほどその人物を主要者としないようにすることを特徴とする請求項１に記載の撮像装置。
3. 撮像部２は撮像部１に対し、画面中心からの顔距離がはなれるほど、その人物を主要者としないようにすることを特徴とする請求項１に記載の撮像装置。
4. 検出した人物顔の視線方向を検出する手段を備え、撮像部１は撮像部２に対し、人物の視線が画像表示装置から外れる度合いに応じて、その人物を主要者としないようにすることを特徴とする請求項１に記載の撮像装置。
5. 個人の特徴情報を記憶する手段と、
   撮像部から得られた人物顔の特徴情報抽出手段と、
   記憶済みの特徴情報と撮像部から得られた特徴情報を比較することで個人を特定する個人認証手段と、
   を備え、
   撮像部２により主要被写体を判定する際、撮像部１による撮影者が個人認証できているか否かに応じて、認証被写体がより主要被写体になりやすくすることを特徴とする請求項１に記載の撮像装置。
6. 決定した主要者に対して、少なくともピント、明るさ、色のいずれかを適切に調節することを特徴とする請求項１に記載の撮像装置。
7. 撮像部１により得られた画像と、撮像部２により得られた画像を画像表示装置に同時表示可能な手段を備え、
   撮像部１もしくは撮像部２により得られた画像のいずれか一方を画像表示装置に表示する領域を、主要者の顔付近に限定することを特徴とする請求項１に記載の撮像装置。
8. 撮像部１により得られた主要撮影者の視線が画像表示装置から外れ、主要撮影者ではないと判断された場合、画像表示装置への表示を行わないことを特徴とする請求項４又は請求項７に記載の撮像装置。