JP2015072319A - 撮像装置 - Google Patents

Abstract

【課題】撮影する前の撮影者の表情評価値の変化に基づいて撮影タイミングの前に撮影準備を完了させ、ユーザーが撮影したいタイミングで撮影することを可能にする撮像装置を提供する。【解決手段】撮像装置は第１のカメラ部、撮影を行う際に撮影者に向けられるように配置された第２のカメラ部、第１のカメラ部からの画像を記憶する手段及び撮影指示部を備える。第２のカメラ部により撮影された画像中に含まれる顔の笑顔度、目瞑り度、視線方向、顔の角度に基づいて表情評価値を算出し、撮影指示部を操作した時よりも所定時間前の表情評価値を基準表情評価値として記憶する。表情評価値の算出を周期的に行って算出した時間とともに記憶し、表情評価値が基準表情評価値に対して所定範囲内となった場合にホワイトバランス制御、露出制御、オートフォーカス制御を含む撮影準備を実行する。【選択図】図３

Description

本発明は、撮像装置、その制御方法及びプログラムに関する。

従来より、電子スチルカメラなどにおいて、被写体である人物の顔認識や笑顔などの表情認識の情報に基づいて、撮影のタイミングを決定する方法が用いられている。

例えば、第１のカメラ、第２のカメラを備え、それぞれから出力される画像信号に対応する画像の中の特徴的領域の状態に応じて出力される検出信号に基づいて、画像の記録制御をするものがある（特許文献１参照）。また、自動撮影モードにおいて、インカメラ画像の顔の笑顔度が閾値を越えたら、その時間から後の所定時間経過内における最大の笑顔度の画像を記憶するものがある（特許文献２参照）。

特開２０１１−５５２５１号公報 特開２０１０−１４８０５２号公報

撮影を行う前には、被写体に適した ホワイトバランス(WB)制御、自動露出(AE)制御、オートフォーカス(AF)制御を行うためのタイムラグが発生するため、撮影者が撮りたいタイミングで撮影をすることができない。動いている被写体を撮影する場合には、事前に撮影準備をしておいても、撮影の直前には被写体の状態が変わってしまうため、撮影する直前に撮影準備をやり直さなければならない。

特許文献１や特許文献２では、WB制御、AE制御、AF制御などの撮影準備時間が考慮されていないため、笑顔度が最大のタイミングで適した画像となるように撮影できないという問題がある。また、特許文献１や特許文献２は、撮影者、または被写体である人物の笑顔度が最大のときが撮影タイミングであるという思想であり、カメラが笑顔度に基づいて自動で撮影タイミングを決定しているため、その撮影タイミングがユーザーにとって本当に撮影したいタイミングではない場合がある。本発明の目的は、撮影タイミングはユーザーに任せ、撮影する前の撮影者の表情評価値の変化に基づいて撮影タイミングの前に撮影準備を完了させることで、ユーザーが撮影したいタイミングで撮影することを可能にすることである。

第１のカメラ部、前記第１のカメラ部を用いて撮影を行う際に撮影者に向けられるように配置された第２のカメラ部、ホワイトバランス制御、露出制御、オートフォーカス制御のうち少なくとも１つを含む撮影準備手段、第１のカメラ部からの画像を記憶する記憶手段、前記撮影準備手段の実行を指示する撮影準備指示部、前記記憶手段の実行を指示する撮影指示部、第２のカメラ部により撮影された画像中に含まれる顔の笑顔度、目瞑り度、視線方向、顔の角度のうち少なくとも１つに基づいて表情評価値を算出する算出手段、前記算出手段を周期的に行って前記表情評価値を算出した時間とともに記憶する表情評価値記憶手段、前記撮影指示部を操作した時間よりも所定時間前の前記表情評価値を基準表情評価値として記憶する基準表情評価値記憶手段を備え、
前記表情評価値が前記基準表情評価値に対して所定範囲内となった場合に前記撮影準備手段を実行することを特徴とする。

また、第１のカメラ部、前記第１のカメラ部を用いて撮影を行う際に撮影者に向けられるように配置された第２のカメラ部、ホワイトバランス制御、露出制御、オートフォーカス制御のうち少なくとも１つを含む撮影準備手段、第１のカメラ部からの画像を記憶する記憶手段、前記撮影準備手段の実行を指示する撮影準備指示部、前記記憶手段の実行を指示する撮影指示部、第２のカメラ部により撮影された画像中に含まれる顔の笑顔度、目瞑り度、視線方向、顔の角度のうち少なくとも１つにおいて、それぞれ別々に表情評価値を算出する算出手段、前記算出手段を周期的に行って前記表情評価値をそれぞれにおいて算出した時間とともに記憶する表情評価値記憶手段、前記撮影指示部を操作した時間よりも所定時間前の前記表情評価値をそれぞれにおいて基準表情評価値として記憶する基準表情評価値記憶手段を備え、
前記表情評価値すべてが、対応する前記各基準表情評価値に対して所定範囲内となった場合に前記撮影準備手段を実行することを特徴とする。

また、第１のカメラ部により撮影された画像中に含まれる顔画像の笑顔度を判断する第１カメラ笑顔度検出手段をさらに備え、前記第１カメラ笑顔度検出手段で得られた笑顔度が所定よりも低い場合には、前記撮影準備を実行しないことを特徴とする。

また、カメラ本体の傾きを判断する傾き判断手段をさらに備え、前記カメラ本体の傾きが正位置に対して所定の範囲内となっていないと判断した場合は、前記撮影準備を実行しないことを特徴とする。

また、前記算出手段では、前記顔の笑顔度、前記目瞑り度、前記視線方向、前記顔の角度それぞれに異なる所定の係数を乗算して前記表情評価値を算出することを特徴とする。

撮影者が撮りたいタイミングで画像を撮影することが可能となる。

本発明の実施例を適用した撮像装置の構成を示すブロック図である。 本発明の実施例を適用した電子カメラの外観の例を示す図である。 本発明の実施例適用した撮像装置の動作を説明するフローチャート図である。 本発明の実施例を適用した図３における撮影準備実行判定を説明するフローチャート図である。 本発明の実施例を適用した図３における撮像装置の動作と並行して周期的に実行される表情評価値算出を説明するフローチャート図である。

［実施例］
以下、図１〜図５を参照しながら本発明の実施例を説明する。図１は本発明の実施例を適用した電子カメラの構成を示すブロック図である。

１０１はズーム機構を含む撮影レンズ、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ処理部、１０４は後述する撮像素子上に焦点をあわせるためのフォーカスレンズ、１０５はフォーカスレンズを駆動するモータ、１０６はＡＦ処理部、１０７は被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子である。１０８〜１１２は、１０１〜１０７のメインカメラ用のモジュールとは別に設けているサブカメラ用のモジュールである。

１０８はズーム機構を含む撮影レンズ、１０９は光量を制御する絞り及びシャッター、１１０は後述する撮像素子上に焦点をあわせるためのフォーカスレンズ、１１１はフォーカスレンズを駆動するモータ、１１２は被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子である。１１３は撮像素子１０７または撮像素子１１２の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部、１１４はＷＢ処理部、１１５は顔検出モージュール、１１６は画像処理部、１１７はフォーマット変換部である。

１１８は高速な内蔵メモリ(例えばランダムアクセスメモリなど、以下DRAMと記す)、１１９はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部、１２０は撮影シーケンスなどシステムを制御するシステム制御部（以下、ＣＰＵと記す）、１２１は手ぶれやパンなどのよるカメラの動きやカメラの傾きを検知するための角速度センサ部、１２２は画像表示用メモリ(以下VRAMと記す)、１２３は画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と、測距領域を表示する画像表示部、１２４はカメラを外部から操作するための操作部である。

１２５は、マクロモード、遠景モード、スポーツモードなどの撮影モードを選択するための撮影モードスイッチ、１２６はシステムに電源を投入するためのメインスイッチ、１２７はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ(以下ＳＷ１と記す)、１２８はＳＷ１の操作後、撮影を行う撮影スイッチ(以下ＳＷ２と記す)である。前記１１８のDRAMは一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。前記１２４の操作部は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチなどである。前記１２５の撮影モードスイッチは、ユーザーが選択した撮影モードに応じて測距距離範囲やＡＦ動作などを変更するようになっている。

図２は本発明の実施例を適用した電子カメラの外観の例を示す図である。本発明の実施例を適用した電子カメラには、メインカメラ用の撮影用レンズ２０１、ＳＷ１(１２７)及びＳＷ２(１２８)を備えたレリーズボタン２０２、メインＳＷ２０３、サブカメラ用の撮影レンズ２０４、液晶パネル２０５、操作部１２４や撮影モードＳＷ１２５を備えた操作ボタン２０６を設けている。（a）は、撮影時に被写体に向けられる面であり、(b)は被写体を撮影するユーザーに向けられる面となる。サブカメラ用の撮影レンズ２０４は、被写体を撮影するユーザーの顔を撮影することができるようになされている。

以下、本発明の実施例の動作について図３〜図５を用いて詳細に説明する。図３は、撮像装置の動作を説明するフローチャート図である。まず、Ｓ３０１では、撮影準備が完了したことを示すＰｒｅＦｌｇをＦＡＬＳＥにしてＳ３０２へ進む。Ｓ３０２では、後述する撮影準備実行判定を行ったあとＳ３０３へ進む。Ｓ３０３では、Ｓ３０２で行った撮影準備実行判定の結果がＯＫであるかどうかを調べ、ＯＫであればＳ３０４へ進み、そうでなければＳ３０８へ進む。Ｓ３０４では、ＡＥ処理部１０３で画像処理部１１６の出力からＡＥ処理を行ってＳ３０５へと進む。Ｓ３０５では、ＷＢ処理部１１４で画像処理部１１６の出力からＷＢ処理を行ってＳ３０６へ進む。

Ｓ３０６では、ＡＦ処理部１０６でＡＦ処理を行ってＳ３０７へ進む。Ｓ３０７では、ＰｒｅＦｌｇをＴＲＵＥにしてＳ３０８へ進む。Ｓ３０８では、ＳＷ１の状態を調べ、ＯＮであればＳ３０９へ進み、そうでなければＳ３１３へ進む。Ｓ３０９では、ＰｒｅＦｌｇがＴＲＵＥかどうかを調べ、ＴＲＵＥであればＳ３１０へ進み、そうでなければＳ３０４へ進む。Ｓ３１０では、ＳＷ２の状態を調べＯＮであればＳ３１１へ進み、そうでなければＳ３０８へ進む。Ｓ３１１では、後述する基準表情評価値を現在から所定時間前の表情評価値で更新してＳ３１２へ進む。ここで記述した所定時間は、Ｓ３０４〜Ｓ３０６までの間にかかる時間に基づいて決定する。表情評価値の算出のしかたについては後述する。Ｓ３１２では、撮影動作を行ったあと、Ｓ３１３へ進む。Ｓ３１３では、ＰｒｅＦｌｇをＦＡＬＳＥにしてＳ３０２へ進む。

図４は、図３におけるＳ３０２の撮影準備実行判定を説明するフローチャート図である。まず、Ｓ４０１では、サブカメラで検出した撮影者の顔に対応した基準表情評価値データがすでに取得できているかどうかを調べ、取得できていればＳ４０２へ進み、なければＳ４０６へ進む。Ｓ４０２では、サブカメラで検出している顔の現在の表情評価値が基準表情評価値に対して所定範囲内に入っているかを調べ、入っていればＳ４０３へ進み、入っていなければＳ４０６へ進む。ここで記述している所定量は、例えば同じ表情をしている顔検出データから表情評価値を繰り返し算出した時のばらつき量に基づいて決定する。

Ｓ４０３では、角速度センサ部１２１で検出したカメラの傾きを調べ、正位置に対して所定範囲内に入っているかどうかを調べ、入っていればＳ４０４へ進み、入っていなければＳ４０６へ進む。Ｓ４０４では、メインカメラで検出した人物の顔の笑顔度が所定値以上かどうかを調べ、そうであればＳ４０５へ進み、そうでなければＳ４０６へ進む。Ｓ４０５では、撮影準備実行判定をＯＫとしてＳ３０３へ進む。Ｓ４０６では撮影準備実行判定をＮＧとしてＳ３０３へ進む。

図５は、図３における撮像装置の動作と並行して周期的に実行される表情評価値算出を説明するフローチャート図である。まずＳ５０１では、メインカメラで検出した顔の笑顔度を算出してＳ５０１へ進む。これはＳ３０２の撮影準備実行判定におけるＳ５０４で使用する。Ｓ５０２では、サブカメラで検出した顔の笑顔度を算出してＳ５０３へ進む。Ｓ５０３では、サブカメラで検出した顔の視線方向を算出して５０４へ進む。Ｓ５０４では、サブカメラで検出した顔の角度を算出してＳ５０５へ進む。Ｓ５０５では、サブカメラで検出した顔の目瞑り度を算出してＳ５０６へ進む。

Ｓ５０６では、Ｓ５０２〜Ｓ５０５においてサブカメラで検出した笑顔度、視線方向、顔の角度目瞑り度から表情評価値を計算してＳ５０７へ進む。ここで、表情評価値の算出例を説明する。Ｓ５０２で算出した笑顔度をFaceSml、Ｓ５０３で算出した視線方向を真正面を向いた時の視線方向からのずれ量をEyeDir、Ｓ５０４で算出した顔の角度を真正面を向いた時の顔の角度からのずれ量をFaceInc、Ｓ５０５で算出した目瞑り度をEyeClsとて、
表情評価値 ＝ FaceSml ＋EyeDir ＋ FaceInc ＋ EyeCls
で算出する。算出の際には、FaceSml、EyeDir、FaceInc、EyeClsそれぞれに異なる所定の係数を乗算してもよい。

また、別の方法として、FaceSml、EyeDir、FaceInc、EyeSlsをそれぞれ表情評価値として記憶しておいてもよい。その場合は、Ｓ３１１においても同様に各基準表情評価値を記憶しておき、Ｓ４０２では全ての表情評価値において所定範囲内かどうかを判定するようにする。また、算出の際には、FaceSml、EyeDir、FaceInc、EyeClsそれぞれに異なる所定の係数を乗算してもよい。Ｓ５０７では、サブカメラで検出した顔の認証処理を行ってＳ５０８へ進む。Ｓ５０８では、Ｓ５０７で行った顔認証結果と現在の時間とともにＳ５０６で算出した表情評価値を記憶して終了する。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

101：撮影レンズ 102：絞り及びシャッター 103：ＡＥ処理部 104：フォーカスレンズ 105：モータ 106：ＡＦ処理部 107：撮像素子 108：撮影レンズ 109：絞り及びシャッター 110：フォーカスレンズ 111：モータ 112：撮像素子 113：Ａ／Ｄ変換部 114：ＷＢ処理部 115：顔検出モジュール 116：画像処理部 117：フォーマット変換部 118：ＤＲＡＭ 119：画像記録部 120：システム制御部 121：角速度センサ部 122：ＶＲＡＭ 123：画像表示部 124：操作部 125：撮影モードスイッチ 126：メインスイッチ 127：撮影スタンバイスイッチ 128：撮影スイッチ

Claims (7)

1. 第１のカメラ部、前記第１のカメラ部を用いて撮影を行う際に撮影者に向けられるように配置された第２のカメラ部、ホワイトバランス制御、露出制御、オートフォーカス制御のうち少なくとも１つを含む撮影準備手段、第１のカメラ部からの画像を記憶する記憶手段、前記撮影準備手段の実行を指示する撮影準備指示部、前記記憶手段の実行を指示する撮影指示部、第２のカメラ部により撮影された画像中に含まれる顔の笑顔度、目瞑り度、視線方向、顔の角度のうち少なくとも１つに基づいて表情評価値を算出する算出手段、前記算出手段を周期的に行って前記表情評価値を算出した時間とともに記憶する表情評価値記憶手段、前記撮影指示部を操作した時間よりも所定時間前の前記表情評価値を基準表情評価値として記憶する基準表情評価値記憶手段を備え、
   前記表情評価値が前記基準表情評価値に対して所定範囲内となった場合に前記撮影準備手段を実行することを特徴とした撮像装置。
2. 第１のカメラ部、前記第１のカメラ部を用いて撮影を行う際に撮影者に向けられるように配置された第２のカメラ部、ホワイトバランス制御、露出制御、オートフォーカス制御のうち少なくとも１つを含む撮影準備手段、第１のカメラ部からの画像を記憶する記憶手段、前記撮影準備手段の実行を指示する撮影準備指示部、前記記憶手段の実行を指示する撮影指示部、第２のカメラ部により撮影された画像中に含まれる顔の笑顔度、目瞑り度、視線方向、顔の角度のうち少なくとも１つにおいて、それぞれ別々に表情評価値を算出する算出手段、前記算出手段を周期的に行って前記表情評価値をそれぞれにおいて算出した時間とともに記憶する表情評価値記憶手段、前記撮影指示部を操作した時間よりも所定時間前の前記表情評価値をそれぞれにおいて基準表情評価値として記憶する基準表情評価値記憶手段を備え、
   前記表情評価値すべてが、対応する前記各基準表情評価値に対して所定範囲内となった場合に前記撮影準備手段を実行することを特徴とした撮像装置。
3. 第２のカメラ部により撮影された画像中に含まれる顔の認証を行う顔認証手段をさらに備え、前記表情評価値記憶手段及び前記基準表情評価値記憶手段では、前記顔認証手段による認証情報ごとに表情評価値を記憶することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記所定時間は、前記撮影準備手段に必要な時間に基づいて決定することを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
5. 第１のカメラ部により撮影された画像中に含まれる顔画像の笑顔度を判断する第１カメラ笑顔度検出手段をさらに備え、前記第１カメラ笑顔度検出手段で得られた笑顔度が所定よりも低い場合には、前記撮影準備を実行しないことを特徴とする請求項１乃至請求項４の何れか１項に記載の撮像装置。
6. カメラ本体の傾きを判断する傾き判断手段をさらに備え、前記カメラ本体の傾きが正位置に対して所定の範囲内となっていないと判断した場合は、前記撮影準備を実行しないことを特徴とする請求項１乃至請求項５の何れか１項に記載の撮像装置。
7. 前記算出手段では、前記顔の笑顔度、前記目瞑り度、前記視線方向、前記顔の角度それぞれに異なる所定の係数を乗算して前記表情評価値を算出することを特徴とする請求項１乃至請求項６の何れか１項に記載の撮像装置。