JP2014068281A - 撮像装置 - Google Patents

Abstract

【課題】複数の人物を撮影する視線検知セルフシャッターで撮影者を適切に撮影可能にする。
【解決手段】撮影動作を撮像装置に指示を行う撮影指示手段と、人物の顔を検出する顔検出手段と、検出された顔の目の状態を検出する目の状態検出手段を有し、撮影指示手段により撮影指示を行った後に検出された顔の目の状態に応じて、撮影動作を行うことを特徴とする。
【選択図】図１

Description

本発明は、セルフシャッター動作を行うための、撮像装置に関する。

従来、人物の撮影を行う時に視線がカメラに向いていない時に撮影が行われる問題があった。この課題を解決するため、撮影画像から顔検出を行い、カメラに視線が向けられているかを判別し、視線が向けられていな場合は再撮影を行うデジタルカメラの発明が行われている（例えば、特許文献１参照）。

特開２０１０−１７８１１９号公報

しかしながら、前記特許文献１の発明では、セルフシャッター撮影時において、記念写真の様な複数の人物の撮影を行う場合に、撮影画像内の人物が視線を向けていると、撮影者自身が撮影されているか否かに関わらず、撮影撮影が終了する。このため、撮影者自身が撮影されない問題がある。

本発明に係る撮像装置の構成は、撮像装置に撮影指示を行う撮影指示手段と、人物の顔を検出する顔検出手段と、検出された顔の目の状態を検出する目の状態検出手段を有し、撮影指示手段により撮影指示を行った後に検出された顔の目の状態に応じて、撮影動作を行うことを特徴とする。

本発明によれば、撮影者自身を適切に撮影可能な、視線検知セルフシャッターを行う事ができる。

撮像装置の構成図 動作フロー図 撮影実行条件の説明図 実施例１における経過時間と閾値の関係図 実施例２における経過時間と閾値の関係図

（実施例１）
図１は本実施形態の撮像装置の構成を示す図である。

撮像レンズ１０１は、入射した光を撮像素子上に結像させることで被写体を撮像する。光学制御部１１０は、撮像レンズ１０１を制御し、露出やズームを可変する。フォーカスレンズ１０２は、光学制御部により任意の被写体にフォーカスを合わせる。撮像部１０３は、撮像素子の制御を行い、結像させた光学像を電気信号に変換し、アナログゲインをかける等の処理を行なう。さらに、アナログ信号をデジタル信号に変換を行ない出力する。

信号処理部１０４は、デジタル信号から画像データを生成し画像処理を行う。

画像メモリ１０５は、画像データを一時的に記憶する。信号処理部１０４は、システム制御部１１１の指示により画像メモリ１０５に記憶された画像データを読み書き可能な構成となっている。信号処理部１０４およびシステム制御部１１１の指示により、顔検出及び目の状態検出を行う事が可能な構成となっている。

記録再生部１０６は、画像データを記録媒体１０７に記録する。記録媒体１０７は、半導体記録媒体等の取り外し可能な記録媒体を使用してもよい。記録媒体には画像データを静止画として記録したり、連続したフレームを記録する事により動画像として記録する事も可能である。

表示装置１０９は、表示制御部１０８を介し生成された画像データを表示する。表示装置１０９は、画像データを連続して表示を行う事により、ライブ画像表示を行う。さらに、表示装置１０９は、システム制御部でのプログラムの実行にしたがって、撮影情報の表示や警告の表示などを行う。

システム制御部１１１は、撮像装置の全体の動作を制御するＣＰＵ等を備える。システム制御部１１１は、撮像して得られる画像データを用いて予め定めた演算処理を信号処理部１０４で実行し、その演算結果に基づいて、光学制御部１１０及び撮像部１０３を制御する。光学制御部１１０が制御を行ない自動焦点制御（ＡＦ）を実行する。光学制御部１１０が絞り及びシャッタ、さらには撮像部１０３の電子シャッタに対して制御を行い、自動露出制御（ＡＥ）を実行する。

信号処理部１０４に備わった、顔検出部は、画像データから顔の数、顔の位置、顔の大きさ、顔の向き、目鼻口の位置や大きさなどの顔情報をシステム制御部に伝達する。システム制御部は、検出された顔毎に顔情報を記憶する。顔検出部による顔の検出方法は、顔の特徴点のパターンマッチングで行う。

システム制御部１１１の指示より記憶された任意の顔について、目の状態を検出する。目の状態検出は、視線方向、ウインクや目瞑り等の目の状態を検出する。目の状態検出は、目の形状や瞳などの特徴点のパターンマッチングで行う。予め記録してあるデーターベースと、撮影された目とのパターンマッチングを行う事で目の状態を検出する。尚、目の状態検出方法は他の方法でも良く、例えば顔位置から特定した目の切り出し画像の、瞳位置と目の輪郭から目の状態を検出するなどしてもよい。

１１４は操作部である。操作部１１４には、カーソルキーや、決定及び取り消しなどを撮像装置に伝達する操作スイッチなどを備える。さらに、撮影前の予備動作を撮像装置に指示を行うシャッターＳＷ１（１１５）および、撮像装置に撮影動作の指示を行うシャッターＳＷ２（１１６）を備える。システム制御部１１１は、前記シャッターＳＷ１の検出により、ＡＥなどの予備動作を行い、前記シャッターＳＷ２の検出により撮影動作を行う。撮影動作を行う時にＡＦ、ＡＥなどの動作を行う事も可能である。

本発明では、セルフシャッター撮影を行うため、撮影者がＳＷ２を操作後に撮影者が撮影画角内へ移動する。このため、ＳＷ２操作後に直ぐに撮影を行わない。セルフシャッター撮影においては、シャッターＳＷ２を操作後に新しく検出された顔を、撮影者自身の顔と推定する。また、ＳＷ２操作前から検出されて続けている顔は、撮影者が撮影者と同時に撮影したい人物と推定する。

なお、図１に示し説明した撮像装置の構成は１例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

図２を用いて、本発明の動作について説明する。

撮像動作が開始されると、ライブ画像の撮影を行う（Ｓ２０１）。
Ｓ２０１で撮影した画像から、顔検出を行い顔の数や位置など、ＳＷ２オン前の顔情報を記憶する（Ｓ２０２）。

検出された顔情報や撮影情報を含むライブ画像を表示する（Ｓ２０３）。
ＳＷ２がＯＦＦの場合は、Ｓ２０１へ進み、ＳＷ２オンの時はＳ２０５へ進む（Ｓ２０４）。

タイマーをリセットする。本発明では、セルフシャッター撮影を行うため、撮影指示後に撮影者が撮影画角内へ移動するため、所定の時間経過するまで、撮影動作を待機してもよい。尚、待機中は撮影動作は継続し、表示装置１０９に動作状況の表示を行う（Ｓ２０５）。

ライブ画像の撮影を行う（Ｓ２０６）。

Ｓ２０６で撮影した画像から、顔検出を行い顔の数や位置など、Ｓ２０１で記憶した顔情報と比較する（Ｓ２０７）。

Ｓ２０７で検出された画像の顔の目の状態を検出する（Ｓ２０８）。

タイマー検出を行う。（Ｓ２０９）
Ｓ２０７、Ｓ２０８、Ｓ２０９の検結果が撮影実行条件に合致していれば撮影動作Ｓ２１１へ進む。撮影条件に合致していない場は、Ｓ２０６の処理へ進む（Ｓ２１０）。

撮影動作を行う（Ｓ２１１）。

Ｓ２１０の撮影実行条件を図３を用いて説明する。

本発明の撮影実行条件は、タイマーの経過時間によって変化する。

ＳＷ２オン後に新しく検出された顔の目の状態を検出し、撮影に適した目の状態で有る場合に撮影動作をおこなう。

Ｔ１以後の期間は、ＳＷ２操作前に検出されていた顔の目の状態の検出結果に応じて撮影を実行する。

Ｔ２以後の期間は、検出された顔の状態応じて撮影動作を行う。

Ｔ３となった場合は、撮影を行う（強制シャッター）。

目の状態は、たとえば視線が撮像装置へ向いている視線度合いを評価してもよい。

図４は、時間の経過と視線度合いの閾値を図示したものである。

実線４０１はＳＷ２オン後に、新しく検出された顔の視線度合いの閾値、点線４０２はＳＷ２オン前から検出されていた顔の視線度合いの閾値である。Ｔ１までの期間は、新しく検出された顔の視線度合で撮影するか否かを判断する。Ｔ２経過後は、ＳＷ２オン前から検出されていた顔の視線度合が閾値を超えた場合にも撮影動作を行う。

なお、Ｔ１、Ｔ２、Ｔ３は、予め設定された時間の他、ユーザーにより時間設定を可変しても良い。また、目の状態としては、視線の向きの他に、前述したウインク動作や目瞑りの状態を検出しても良い。検出された顔の両目の状態から、ウインク動作中であるかを判断し、撮影条件に合致しているかを判断する。この場合は、目を瞑っている人物や、視線を撮像装置でない場所に向けている人物の撮影を行うことも可能である。

（実施例２）
実施例１で説明した撮像装置の構成及び動作については省略する。

図５は、時間の経過と視線度合いの閾値を図示したものである。

実線は、ＳＷ２オン後に新しく検出された顔の視線度合いの閾値、点線はＳＷ２オン前から検出されていた顔の視線度合いの閾値である。

新しく検出された顔は、撮影者自身であると推定される。また、ＳＷ２操作前から検出されている顔は、撮影者と同時に撮影したい人物と推定される。

図５（ａ）は、実線の閾値を点線より低くすることにより、新しく検出された顔すなわち、撮影者自身の視線状態を優先し撮影動作を行う行う事が可能となる。

図５（ｂ）は、所定の時刻Ｔ２以後の期間では、撮影者自身よりも同時撮影する人物の視線状態を優先し撮影を行う。

図５（ｃ）は、所定の時刻Ｔ２までは、撮影者を優先し、Ｔ２以後の期間は、撮影者自身と同時撮影を行う人物の視線度合いの閾値を同じ値とする。また、所定の期間以後の、視線度合いの閾値を下げる事により、視線の状態検出が困難な撮影条件であっても、視線の向きが撮影に適した状態の撮影が可能となる。

時刻Ｔ３経過までに、所望の撮影条件に合致しない場合は、目の状態に関わらず撮影動作を行う。

１０３ 撮像部
１０４ 信号処理部
１１０ 光学制御部

Claims (7)

1. 撮像装置に撮影指示を行う撮影指示手段と、
   人物の顔を検出する顔検出手段と、
   検出された顔の目の状態を検出する目の状態検出手段を有し、
   撮影指示手段により撮影指示を行った後に検出された顔の目の状態に応じて、撮影動作を行うことを特徴とする撮像装置。
2. 所定の時間経過しても目の状態が、所定の状態とならない場合は、目の状態に関わらす撮影動作を行うことを特徴とする請求項１に記載の撮像装置。
3. 撮影指示前に検出された顔及びまたは、撮影指示を行った後に検出された顔の目の状態に応じて、撮影動作を行うことを特徴とする請求項１に記載の撮像装置。
4. 目の状態が所定の閾値を超えた場合に撮影動作を行うことを特徴とする請求項１に記載の撮像装置。
5. 所定時間内は、撮影指示前に検出された顔の目の状態の閾値と、撮影指示を行った後に検出された顔の目の状態の閾値に差があることを特徴とする請求項３又は請求項４に記載の撮像装置。
6. 目の状態は、視線の向きで有ることを特徴とする請求項１乃至請求項５の何れか１項に記載の撮像装置。
7. ウインクをしている目の状態を検出することを特徴とする請求項１乃至請求項５の何れか１項に記載の撮像装置。