JP2016181773A - 表示制御装置、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】撮像操作にかかる余計な手間を減らす表示制御装置、表示制御方法、及びプログラムを提供する。【解決手段】撮像部１６と、被写体検出部５３と、動作判定部５４と、記憶制御部５５と、出力制御部５６と、出力部１９と、を備える。被写体検出部５３は、被写体に関連する情報を取得する。動作判定部５４は、被写体検出部５３により取得された被写体に関連する情報に基づいて、被写体の動作が出力部１９を見る動作か否かを判定する。記憶制御部５５は、動作判定部５４により、被写体の動作が出力部１９を見る動作でないと判定された場合に、当該撮像部１６によって撮像された画像を記憶部２０に記憶させるように制御する。出力制御部５６は、動作判定部５４により、被写体の動作が出力部１９を見る動作であると判定された場合、記憶部２０に記憶された画像を出力部１９に表示させるように制御する。【選択図】図３

Description

本発明は、表示制御装置、表示制御方法、及びプログラムに関する。

従来より、撮影操作を行う際に、一度撮影した画像を保持し、ユーザがその画像を確認して構図を調整する技術がある（特許文献１参照）。

特開２００１−９４８５９号公報

しかしながら、上記の文献１に記載の技術では、構図を確認する際に、構図確認用の画像の撮像のためにユーザは撮像操作を行わなければならず、ユーザにとって余計な手間が増える虞があった。

本発明は、このような状況に鑑みてなされたものであり、撮像操作にかかる余計な手間を減らすことを目的とする。

上記目的を達成するため、本発明の一態様の表示制御装置は、
被写体に関連する情報を取得する情報取得手段と、
前記情報取得手段により取得された前記被写体に関連する情報に基づいて、前記被写体の動作が表示手段を見る動作か否かを判定する判定手段と、
前記判定手段により、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、撮像手段によって撮像された画像を記憶手段に記憶させるように制御する記憶制御手段と、
前記判定手段により、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御手段と、
を備えたことを特徴とする。

本発明によれば、撮像操作にかかる余計な手間を減らすことができる。

本発明の一実施形態に係る表示制御装置のハードウェアの構成を示すブロック図である。 本実施形態の表示制御装置における構図確認撮影の具体例について説明するための模式図である。 図１の表示制御装置の機能的構成のうち、構図確認撮影処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図１の表示制御装置が実行する構図確認撮影処理の流れを説明するフローチャートである。 構図確認撮影処理のうち再生処理の流れを説明するフローチャートである。 図３の機能的構成を有する図１の表示制御装置が実行する構図確認撮影処理の他の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る表示制御装置のハードウェアの構成を示すブロック図である。
表示制御装置１は、例えばデジタルカメラとして構成される。

表示制御装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

センサ部１７は、撮像部１６と出力部１９への視線を検出するセンサである。例えば、撮像部１６と出力部１９の近傍に配置されて、照射した赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等からの反射で視線を検出する。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

このように構成される表示制御装置１では、被写体が撮像部１６の方向を見て撮影可能状態となった場合に撮影を行い、撮影結果の確認を行う者が出力部１９を見ている状態となった場合に、撮影結果を出力部１９に表示出力することができる機能を有する。被写体と撮影結果の確認を行う者が同じである場合には、被写体の動作から撮像部１６や出力部１９での撮影や表示を切り替える。即ち、撮影者がカメラ（表示制御装置１）を持ち、カメラと表示画面を撮影者に向けて撮影する自分撮り状態において、撮影者が構図を調整するときは、表示画面を見ながら行うが、表示画面には撮像部１６への視線方向で撮影された過去の画像を表示する。その結果、”カメラ目線の自分”を確認しながら、構図調整が可能となる。
また、被写体と撮影結果の確認を行う者が別の場合には、被写体の動作、例えば、顔を登録した撮影結果の確認を行う者の視線方向が撮像部１６や出力部１９の別で、撮影と表示を切り替える。その結果、撮影結果の確認を行う者により再撮影の指示等の構図の調整が可能となる。
さらに、入力部１８への操作の特段の操作を行わないために、撮像操作にかかる余計な手間を減らすことができ、ユーザへの操作負担を図り、撮影に集中させることができる。また、出力部１９においては常に画面表示を行わないために、表示の必要がない撮影時は表示がオフされることで、自分撮りの場合、画面表示によって集中を妨げられることがない上に、電力消費も抑えることができる。

図２は、本実施形態の表示制御装置１における構図確認撮影の具体例について説明するための模式図である。
図２（ａ）の例に示すように、表示制御装置１において、出力部１９の表示面が撮像部１６の撮影方向と同一になるように回動する機構を備えているような場合には、自分撮り状態において、視線方向１の撮像部１６の方向を見ている場合には、撮影が行われる。これに対して、視線方向２の出力部１９の方向を見ている場合には、直近で撮影された画像が表示される。
これにより、ユーザは、特段の操作を行うことなく、構図の確認ができる上で、自分撮りを行うことができる。自分撮りの場合、装置を持った状態で撮影を行うために、入力部１８に対して表示の操作を行うのは困難であり、撮影指示時に手元がぶれる場合があるため、表示と撮影指示を操作なしに行うことは、より満足する撮影を行うために必要となる。
また、図２（ｂ）の例に示すように、表示制御装置１において、撮像部１６が出力部１９の表示方向と同一になるように回動する機構を備えているような場合、又は出力部１９の表示方向と同一であるインカメラを備えている場合にも、構図の確認ができる上で、自分撮りを行うことができる。
また、図２（ｃ）の例に示すように、被写体となる者と構図を確認する者が異なる場合にも、被写体と同一方向か否かに関わらず、構図の確認ができる上で、被写体の視線が撮像部１６に向くことで撮影を行うことができる。この場合、構図を確認する者に関しては、予め登録した画像等により特定して、視線に合わせた表示を行う。

図３は、このような表示制御装置１の機能的構成のうち、構図確認撮影処理を実行するための機能的構成を示す機能ブロック図である。
構図確認撮影処理とは、ユーザが視線を撮像部１６や出力部１９に向けることにより、構図確認用／保存用の画像を撮影したり、構図確認用の画像を出力部１９に表示させたりする一連の処理をいう。
また、構図確認撮影処理は、再生処理を含む。再生処理とは、ユーザが視線を出力部１９に向けることにより、構図確認用の画像を出力部１９に表示させる一連の処理をいう。

構図確認撮影処理を実行する場合には、図３に示すように、ＣＰＵ１１において、モード設定部５１と、撮像制御部５２と、被写体検出部５３と、動作判定部５４と、記憶制御部５５と、出力制御部５６と、が機能する。
また、記憶部２０の一領域には、画像記憶部７１と、画像記録部７２とが設定される。
画像記憶部７１には、一時記憶用に撮影された撮像画像のデータが記憶される。
画像記録部７２には、撮像画像のデータが記録される。

モード設定部５１は、ユーザによる入力部１８等への操作（本実施形態においては、図２（ａ）に示すような出力部１９の向きを変える操作）によって構図確認モードや自分撮りを行うセルフ撮影モード等のモードの設定を行う。

撮像制御部５２は、仮撮影動作や本撮影動作として撮像処理を行うように撮像部１６を制御する。本実施形態においては、撮像制御部５２は、仮撮影動作として撮像処理を行って再生用の動画を撮影し、本撮影動作として撮像処理って保存用の撮像画像を撮影するように撮像部１６を制御する。なお、撮像制御部５２は、保存用の撮像画像や視線検出用／確認用のライブビュー画像を撮影するように撮像部１６を制御してもよい。この場合、確認用のライブビュー画像は、動画化されて、マルチ再生や倍速再生用の動画となったり、スライドショー再生用の静止画となったりする。
撮像制御部５２は、被写体の視線検出用のライブビュー画像を撮影するように撮像部１６を制御したり、撮像部１６への視線が検出されることにより、確認用のライブビュー画像を撮影するように撮像部１６を制御したり、ユーザ操作や確認用のライブビュー画像が表示された後に、撮像部１６への視線が検出されたり、所定の動作（例えば、頭部を写す動作）が検出されたりすることにより、保存用の撮像画像を撮影するように撮像部１６を制御したりする。

被写体検出部５３は、センサ部１７や撮像部１６からの情報に基づいて、被写体を検出する。
詳細には、被写体検出部５３は、センサ部１７からの情報に基づいて、視線の有無を検出する。また、被写体検出部５３は、撮像部１６側に配置されたセンサ部１７か出力部１９側に配置されたセンサ部１７から視線の有無を検出する。
また、被写体検出部５３は、撮像部１６によって撮影された画像（視線検出用のライブビュー画像）を解析して、視線方向を特定して、視線を検出する。なお、画像解析の結果、例えば、黒目の方向（位置）や特定の瞬きの動作（例えば、瞬きの回数）をもって視線方向を特定する。
また、被写体検出部５３は、撮像部１６によって撮影された画像を解析して、予め登録した特定の被写体を検出する。

動作判定部５４は、被写体検出部５３によって検出された視線方向に基づいて、動作を検出する。
詳細には、動作判定部５４は、どちら側（撮像部１６側や出力部１９側）のセンサ部１７から視線が検出されたかや被写体検出部５３によって検出された視線方向によって、撮像部１６を見ている動作や出力部１９を見ている動作を判定する。なお、動作判定部５４は、所定の時間、同一の視線方向（撮像部１６方向や出力部１９方向）であった場合を、撮像部１６を見ている動作や出力部１９を見ている動作を判定する。
また、動作判定部５４は、本撮影を行うか否かを判定する。具体的には、動作判定部５４は、再生処理後に撮像部１６側のセンサ部１７で視線が検出されたか、画像解析により頭部が検出されたか、ユーザが本撮影を行う明示的な操作を入力部１８に対して行ったか、再生処理後に所定の時間が経過したか等の動作で、本撮影を行うかを判定する。

記憶制御部５５は、画像記憶部７１に画像を一時的に記憶させたり、画像記録部７２に恒久的に記憶（記録）させるように制御する。詳細には、記憶制御部５５は、撮像部１６への視線が検出されることにより、確認用のライブビュー画像により構成される動画や静止画を画像記憶部７１に記憶させるように制御する。また、記憶制御部５５は、保存用の撮像画像を画像記録部７２に記録させたりするように制御する。

出力制御部５６は、出力部１９に画像を出力するように制御する。詳細には、出力制御部５６は、出力部１９への視線が検出されることにより、画像記憶部７１に記憶される確認用の動画、ライブビュー画像の静止画、ライブビュー画像により構成される動画、動画から生成した静止画等を出力部１９に出力（通常再生／マルチ再生／倍速再生、静止画によるスライドショー再生）するように制御する。

図４は、図３の機能的構成を有する図１の表示制御装置１が実行する構図確認撮影処理の流れを説明するフローチャートである。
構図確認撮影処理は、ユーザによる入力部１８への構図確認撮影処理開始の操作により開始される。

ステップＳ１１において、モード設定部５１は、ユーザによる入力部１８等への操作（本実施形態においては、図２（ａ）に示すような出力部１９の向きを変える操作）によって、構図確認モードに切り替える設定を行う。構図確認モードに切り替えによって、撮像制御部５２は、視線検出用のライブビュー画像を撮影するように撮像部１６を制御する。

ステップＳ１２において、被写体検出部５３は、撮像部１６側のセンサ部１７での視線の有無を検出し、動作判定部５４は、撮像部１６への視線であるか否か判定する。
撮像部１６への視線が検出されなかった場合には、ステップＳ１２においてＮＯと判定されて、待機状態となる。
撮像部１６への視線が検出された場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、撮像制御部５２は、仮撮影動作として撮像処理を行い、画像を撮影するように撮像部１６を制御する。

ステップＳ１４において、記憶制御部５５は、仮撮影動作として記憶処理を行い、構図確認の再生用の画像を画像記憶部７１に一時的に記憶させるように制御する。その結果、構図確認の再生用の画像が画像記憶部７１に記憶される。

ステップＳ１５において、被写体検出部５３は、視線検出用のライブビュー画像を解析し、視線の検出を行い、動作判定部５４は、検出結果が出力部１９への視線であるか否かを判定する。
出力部１９への視線が検出されなかった場合には、ステップＳ１５においてＮＯと判定されて、処理はステップＳ１３に戻る。
出力部１９への視線が検出された場合には、ステップＳ１５においてＹＥＳと判定されて、処理はステップＳ１６に進む。

ステップＳ１６において、出力制御部５６及び記憶制御部５５は、再生処理を実行する。再生処理が実行されることにより、出力部１９に構図確認用の画像が表示出力される。構図確認用の画像の再生表示では、画像の再生表示や、複数の画像を記憶した場合には、画像から生成した動画によるマルチ再生／倍速再生、静止画によるスライドショー再生が行われる。なお、再生処理の流れについては後述する。

ステップＳ１７において、動作判定部５４は、本撮影を行うか否かを判定する。具体的には、動作判定部５４は、再生処理後に撮像部１６側のセンサ部１７で視線が検出されたか、画像解析により頭部が検出されたか、ユーザが本撮影を行う明示的な操作を入力部１８に対して行ったか、再生処理後に所定の時間が経過したか等の動作で、本撮影を行うかを判定する。
本撮影を行わない場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ２０に進む。
本撮影を行う場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。

ステップＳ１８において、撮像制御部５２は、本撮影動作として撮像処理を行い、保存用の撮像画像を撮影するように撮像部１６を制御する。

ステップＳ１９において、記憶制御部５５は、本撮影動作として記憶処理を行い、保存用の撮像画像を画像記録部７２に記録させるように制御する。その結果、保存用の撮像画像が画像記録部７２に記録される。

ステップＳ２０において、ＣＰＵ１１は、例えば、ユーザによる入力部１８への操作や保存用の撮像画像が画像記憶部７１に記憶されたことをもって、構図確認動作が終了したか否かを判定する。
構図確認動作が終了していない場合には、ステップＳ２０においてＮＯと判定されて、処理はステップＳ１２に戻る。
構図確認動作が終了した場合には、ステップＳ２０においてＹＥＳと判定されて、構図確認処理は終了する。

図５は、構図確認撮影処理のうち、再生処理の流れを説明するフローチャートである。

ステップＳ３１において、出力制御部５６は、画像記憶部７１から構図確認用の画像を読み出す。

ステップＳ３２において、出力制御部５６は、読み出された出力部１９に構図確認用の画像を再生表示させる。構図確認用の画像の再生表示では、画像の再生表示や、複数の画像を記憶した場合には、画像から生成した動画によるマルチ再生／倍速再生、静止画によるスライドショー再生が行われる。

ステップＳ３３において、記憶制御部５５は、再生させた構図確認用の画像を保存用の撮像画像として画像記録部７２に記録させるか否かの判定を行う。表示させた構図確認用だった画像を保存用の撮像画像として画像記録部７２に記録させるか否かの判定は、ユーザにより入力部１８を介して、保存用の撮像画像として記憶させるかの明示的な操作があったか否かで行う。
保存用の撮像画像として記録させる場合には、ステップＳ３３においてＹＥＳと判定されて、処理はステップＳ３４に進む。

ステップＳ３４において、記憶制御部５５は、再生させた構図確認用だった画像を保存用の撮像画像として画像記録部７２に記録させるように制御する。その結果、画像記録部７２に表示させた構図確認用だったライブビュー画像を保存用の撮像画像として記録される。その後、処理はステップＳ３５に進む。

これに対して、保存用の撮像画像として記録させない場合には、ステップＳ３３においてＮＯと判定されて、処理はステップＳ３５に進む。

ステップＳ３５において、ＣＰＵ１１は、再生を終了するか否かを判定する。再生を終了するか否かを判定は、例えば、所定の時間が経過したかで行う。
再生を終了しない場合には、ステップＳ３５においてＮＯと判定されて、処理はステップＳ３１に戻る。
再生を終了する場合には、ステップＳ３５においてＹＥＳと判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、記憶制御部５５は、読み出された画像を画像記憶部７１から削除する。その後、再生処理は終了する。

上述した実施形態では、主に、撮像部１６への視線がセンサ部１７で検出された場合に、構図確認用に静止画を撮影して、記憶する仮撮影動作を行い、出力部１９への視線がセンサ部１７で検出された場合に、構図確認用に撮影した静止画を表示出力するように構成している。その後、撮像部１６への視線がセンサ部１７で検出された場合等の動作があった場合に、保存用の撮像画像を撮影して、記録する本撮影動作を行うように構成している。

なお、本実施形態においては、視線の検出結果を判定して、撮像部１６への視線を検出した際に、出力部１９への視線の検出により構図確認用の画像を撮影する仮撮影モードへのモード変更を行うように構成してもよい。
この際、仮撮影モードの終了操作を検出するようにして、再生処理に移行するように構成することができる。仮撮影モードの終了動作の検出は、出力部１９への視線の検出か、所定の時間が経過したか、自分撮りでない場合には確認者として予め登録した人物を検出したか等の動作を検出することで行う。

＜変形例＞
上述した実施形態では、視線検出をセンサ部１７によって行っていたが、本例では、画像解析により行うように構成する。本例では、視線の検出の用途としての利用も含めて動画を撮影し続けて、検出した動作に応じて、構図確認用に撮影した動画を記憶し、保存用に撮影した動画のフレーム画像を記録するように構成する。
図６は、図３の機能的構成を有する図１の表示制御装置１が実行する構図確認撮影処理の他の流れを説明するフローチャートである。
構図確認撮影処理は、ユーザによる入力部１８への構図確認撮影処理開始の操作により開始される。

ステップＳ５１において、モード設定部５１は、セルフ撮影モードに切り替える設定を行う。セルフ撮影モードに切り替えることにより、その後の処理が実行される。

ステップＳ５２において、撮像制御部５２は、撮像処理を開始する。撮像処理が開始された結果、撮像部１６から撮像画像が出力される。

ステップＳ５３において、被写体検出部５３は、画像解析の結果、撮像部１６から出力された撮像画像内に、セルフ撮影の対象である被写体を検出したか否かを判定する。
被写体を検出しない場合には、ステップＳ５３においてＮＯと判定されて、待機状態となる。
これに対して、被写体を検出した場合には、ステップＳ５３においてＹＥＳと判定されて、処理はステップＳ５４に進む。

ステップＳ５４において、動作判定部５４は、第１の動作が検出されたか否かを判定する。第１の動作の検出は、取得した画像を解析して視線方向を特定するか、特定の瞬き動作（例えば、瞬きの回数）で特定して行う。
第１の動作が検出されなかった場合には、ステップＳ５４においてＮＯと判定されて、処理はステップＳ５８に進む。ステップＳ５８以降の処理については後述する。
これに対して、第１の動作が検出された場合には、ステップＳ５４においてＹＥＳと判定されて、処理はステップＳ５５に進む。

ステップＳ５５において、記憶制御部５５は、第１の動作が検出された時点のフレーム画像を画像記憶部７１に記憶させるように制御する。その結果、画像記憶部７１にフレーム画像が記憶される。

ステップＳ５６において、動作判定部５４は、第２の動作が検出済み（表示後の第１の動作の検出）であるか否かを判定する。ここでは、表示後の第１の動作であるか否かであるかが判定される。
第２の動作が検出済みでない場合には、ステップＳ５６においてＮＯと判定されて、処理はステップＳ５３に戻る。
これに対して、第２の動作が検出済みの場合には、ステップＳ５６においてＹＥＳと判定されて、処理はステップＳ５７に進む。

ステップＳ５７において、記憶制御部５５は、フレーム画像を画像記録部７２に記録させるように制御する。その結果、画像記録部７２にフレーム画像が記録される。

ステップＳ５８において、動作判定部５４は、第２の動作が検出されたか否かを判定する。第２の動作の検出は、取得した画像を解析して視線方向を特定して行う。
第２の動作が検出されなかった場合には、ステップＳ５８においてＮＯと判定されて、処理はステップＳ５３に戻る。
これに対して、第２の動作が検出された場合には、ステップＳ５８においてＹＥＳと判定されて、処理はステップＳ５９に進む。

ステップＳ５９において、記憶制御部５５は、記憶されたフレーム画像があるか否かを判定する。
記憶されたフレーム画像がない場合には、ステップＳ５９においてＮＯと判定されて、処理はステップＳ５３に戻る。
これに対して、記憶されたフレーム画像がある場合には、ステップＳ５９においてＹＥＳと判定されて、処理はステップＳ６０に進む。

ステップＳ６０において、出力制御部５６は、画像記憶部７１に記憶された最新のフレーム画像を出力部１９に出力させる制御を行う。その結果、記憶された最新のフレーム画像が出力部１９に表示出力される。

ステップＳ６１において、動作判定部５４は、第２の動作の終了を検出したか否かを判定する。
第２の動作が終了していない場合には、ステップＳ６１においてＮＯと判定されて、処理はステップＳ６０に戻る。
これに対して、第２の動作が終了している場合には、ステップＳ６１においてＹＥＳと判定されて、処理はステップＳ６２に進む。

ステップＳ６２において、記憶制御部５５は、表示出力したフレーム画像を画像記憶部７１から削除するように制御する。その結果、画像記憶部７１からフレーム画像が削除される。

ステップＳ６３において、動作判定部５４は、構図確認動作が終了したか否かを判定する。
構図確認動作が終了していない場合には、ステップＳ６３においてＮＯと判定されて、処理はステップＳ５２に戻る。
これに対して、構図確認動作が終了した場合には、ステップＳ６３においてＹＥＳと判定されて、構図確認撮影処理は終了する。

表示制御装置１においては、デジタルカメラやスマートフォンにおいて、撮影者自信を容易に撮影できる自分撮り機能があり、撮像部１６と出力部１９とが撮影者側に向けられる構造となっている。このような構造の場合、自分撮りの構図を調整するときに、自分の目線をカメラに向けている間は表示モニターが見えない。そのためテスト撮影しながら構図を調整する必要がある。
そこで、表示制御装置１においては、自分撮り機能として、目線が合っている状態での構図調整が可能となる機能を有する。
即ち、表示制御装置１においては、以下のような動作を行う。
１．撮影者が表示制御装置１を持ち、撮像部１６と出力部１９の表示画面を撮影者に向ける。
２．本機能をＯＮとする。本機能により、撮影と表示画面に時間差（例えば、時間差を２秒とする。）がある状態にする。その結果、表示画面には、例えば、２秒前のデータが表示されるようになる。
３．撮影者が構図を調整するとき、表示画面を見ながら行うが、このとき２秒前の撮影情報（画像）を確認しながら行っている。そのため、”カメラ目線の自分”等のユーザが所望する撮影状態を確認しながら、構図調整が可能となる。
即ち、デジタルカメラやスマートフォンでの自分撮り撮影における画面表示内容について、時間差のある表示内容にすることで、構図の調整時にカメラ目線の自分の状態を確認しながら、行うことができる。
したがって、表示制御装置１においては、特殊な機能やデバイスを必要とせず、使用者が特別な操作をする必要がない上に、テスト撮影とその確認作業が不要となる。

以上のように構成される表示制御装置１は、撮像部１６と、被写体検出部５３と、動作判定部５４と、記憶制御部５５と、出力制御部５６と、出力部１９と、を備える。
被写体検出部５３は、被写体に関連する情報を取得する。
動作判定部５４は、被写体検出部５３により取得された被写体に関連する情報に基づいて、被写体の動作が出力部１９を見る動作か否かを判定する。
記憶制御部５５は、動作判定部５４により、被写体の動作が出力部１９を見る動作でないと判定された場合に、当該撮像部１６によって撮像された画像を記憶部２０に記憶させるように制御する。
出力制御部５６は、動作判定部５４により、被写体の動作が出力部１９を見る動作であると判定された場合、記憶部２０に記憶された画像を出力部１９に表示させるように制御する。
これにより、表示制御装置１においては、構図の確認と撮影が特段の操作を行わずにできるために、撮像操作にかかる余計な手間を減らすことができる。

また、表示制御装置１は、視線を検出するセンサ部１７を更に備える。
被写体検出部５３は、センサ部１７によって検出された被写体又は確認者の視線方向を被写体に関連する情報として取得する。
動作判定部５４は、被写体検出部５３により取得された被写体又は確認者の視線方向から、撮像部１６又は出力部１９を見る動作であるか否かを判定する。
これにより、表示制御装置１においては、精度の高い動作検出を行うことができる。

また、表示制御装置１は、撮像部１６により撮像された画像内の被写体又は確認者の動作を解析する被写体検出部５３を更に備える。
被写体検出部５３は、被写体検出部５３の解析結果を被写体に関連する情報として取得する。
これにより、表示制御装置１においては、精度の高い動作検出を行うことができる。

また、表示制御装置１は、被写体検出部５３により、撮像される画像内に被写体の頭部があると解析された場合に、記憶制御部５５は、撮像画像を記憶部２０に記憶させる。
これにより、表示制御装置１においては、例えば、後頭部を撮影するような場合に自動的に撮影を行うことができる。

また、動作判定部５４は、被写体に関連する情報に基づいて、前記被写体の動作が撮像手段を見る動作であるか否かを判定する。
記憶制御部５５は、動作判定部５４により被写体の動作が撮像部１６を見る動作であると判定された場合、撮像画像を記憶部２０に記憶させる。
これにより、表示制御装置１においては、視線検出を契機に自動的に撮影を行うことができる。

記憶制御部５５は、出力部１９に表示された画像を順次消去するように記憶部２０を制御する。
これにより、表示制御装置１においては、撮像部１６への視線検出を契機に自動的に撮影を行うことができる。

記憶制御部５５と、出力制御部５６は、所定時間が経過した場合に、画像の表示と記憶を交互に切り替えるように記憶部２０及び出力部１９を制御する。
これにより、表示制御装置１においては、所定時間毎に撮影と表示を自動的に行うことができる。

出力制御部５６は、記憶部２０に複数の画像が記憶されていた場合、出力部１９に複数の画像を、フレーム画像とする動画像又は１つの画像に複数の画像を配置した画像として表示させるように制御する。
これにより、表示制御装置１においては、例えば、マルチ表示やダイジェスト動画表示等を行うことができ、ユーザが構図を把握しやすくなる。

撮像部１６により得られた画像を記憶部２０に記録させる記憶制御部５５を更に備える。
これにより、表示制御装置１においては、恒久的に画像を記憶（記録）させることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、出力部１９を反転させて表示面を被写体側に向けるようにして自分撮りを行う表示制御装置１として構成したが、これに限られない。撮影者が表示を見ながら自分自身を撮影可能な表示制御装置１であればよく、例えば、被写体側に出力部１９の表示面と同一方向を撮影可能な撮像部１６や撮像部１６を被写体側に向けて反転させるような表示制御装置１として構成してもよい。

また、上述の実施形態では、出力部１９への視線を検出しなくなった場合に、撮影を行わせるように構成してもよし、撮影を行い続けて、出力部１９への視線を検出した場合に表示させるように構成してもよい。この際、撮影を継続してもよいし、撮影を中断するように構成してもよい。

また、上述の実施形態では、再生／表示中に、例えば、ユーザの操作により、再生／表示している画像を記録するように構成してもよい。

また、上述の実施形態では、モードの切り替えにより動作させてもよく、例えば、撮影を行う場合には、撮影モード（例えば、仮撮影モード、本撮影モード）、表示を行う場合には、表示モードとして、モードを切り替えて、当該切り替えに応じて撮像部１６や出力部１９や記憶部２０が動作するように構成してもよい。

また、上述の実施形態では、表示制御装置１において、撮像部１６、センサ部１７、出力部１９を備えるように構成したが、例えば、外部の撮像機能や表示機能を有する装置を、外部からの視線検出の有無や撮像画像に基づいて、制御するように構成してもよい。

また、上述の実施形態では、本発明が適用される表示制御装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、構図確認撮影処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が表示制御装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体に関連する情報を取得する情報取得手段と、
前記情報取得手段により取得された前記被写体に関連する情報に基づいて、前記被写体の動作が表示手段を見る動作か否かを判定する判定手段と、
前記判定手段により、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、撮像手段によって撮像された画像を記憶手段に記憶させるように制御する記憶制御手段と、
前記判定手段により、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御手段と、
を備えたことを特徴とする表示制御装置。
［付記２］
視線を検出する視線検出手段を更に備え、
前記情報取得手段は、前記視線検出手段によって検出された被写体の視線方向を前記被写体に関連する情報として取得し、
前記判定手段は、前記情報取得手段により取得された前記被写体の視線方向から、前記表示手段を見る動作であるか否かを判定する、
ことを特徴とする付記１に記載の表示制御装置。
［付記３］
前記撮像手段により撮像された前記画像内の被写体の動作を解析する解析手段を更に備え、
前記情報取得手段は、前記解析手段の解析結果を前記被写体に関連する情報として取得する、
ことを特徴とする付記１乃至３の何れか１つに記載の表示制御装置。
［付記４］
前記解析手段により、前記撮像される画像内に被写体の頭部があると解析された場合に、前記記憶制御手段は前記撮像画像を前記記憶手段に記憶させる、
ことを特徴とする付記３に記載の表示制御装置。
［付記５］
前記判定手段は、前記被写体に関連する情報に基づいて、前記被写体の動作が撮像手段を見る動作であるか否かを判定する第２の判定手段を更に備え、
前記記憶制御手段は、前記第２の判定手段により前記被写体の動作が前記撮像手段を見る動作であると判定された場合、前記撮像画像を前記記憶手段に記憶させる、
ことを特徴とする付記１乃至４の何れか１つに記載の表示制御装置。
［付記６］
前記記憶制御手段は、前記表示手段に表示された画像を順次消去するように前記記憶手段を制御する、
ことを特徴とする付記１乃至５の何れか１つに記載の表示制御装置。
［付記７］
前記記憶制御手段と、前記表示制御手段は、所定時間が経過した場合に、画像の表示と記憶を交互に切り替えるように前記記憶手段及び前記表示手段を制御する、
ことを特徴とする付記１乃至６の何れか１つに記載の表示制御装置。
［付記８］
前記表示制御手段は、前記記憶手段に複数の画像が記憶されていた場合、前記表示手段に前記複数の画像を、フレーム画像とする動画像又は１つの画像に複数の前記画像を配置した画像として表示させるように制御する、
ことを特徴とする付記１乃至９の何れか１つに記載の表示制御装置。
［付記９］
前記撮像手段により得られた画像を記録手段に記録させる記録制御手段を更に備える、
ことを特徴とする付記１乃至１０の何れか１つに記載の表示制御装置。
［付記１０］
画像を撮像する撮像手段と、表示手段と、記憶手段とを備える表示制御装置で実行される表示制御方法であって、
被写体に関連する情報を取得する情報取得ステップと、
前記情報取得ステップにより取得された前記被写体に関連する情報に基づいて、前記被写体の動作が前記表示手段を見る動作か否かを判定する判定ステップと、
前記判定ステップにより、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、前記撮像手段によって撮像された画像を前記記憶手段に記憶させるように制御する記憶制御ステップと、
前記判定ステップにより、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御ステップと、
を含むことを特徴とする表示制御方法。
［付記１１］
画像を撮像する撮像手段と、表示手段と、記憶手段とを備える表示制御装置を制御するコンピュータを、
被写体に関連する情報を取得する情報取得手段と、
前記情報取得手段により取得された前記被写体に関連する情報に基づいて、前記被写体の動作が前記表示手段を見る動作か否かを判定する判定手段と、
前記判定手段により、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、前記撮像手段によって撮像された画像を前記記憶手段に記憶させるように制御する記憶制御手段と、
前記判定手段により、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御手段と、
として機能させることを特徴とするプログラム。

１・・・表示制御装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・モード設定部，５２・・・撮像制御部，５３・・・被写体検出部，５４・・・動作判定部，５５・・・記憶制御部，５６・・・出力制御部，７１・・・画像記憶部，７２・・・画像記録部

Claims (11)

1. 被写体に関連する情報を取得する情報取得手段と、
   前記情報取得手段により取得された前記被写体に関連する情報に基づいて、前記被写体の動作が表示手段を見る動作か否かを判定する判定手段と、
   前記判定手段により、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、撮像手段によって撮像された画像を記憶手段に記憶させるように制御する記憶制御手段と、
   前記判定手段により、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御手段と、
   を備えたことを特徴とする表示制御装置。
2. 視線を検出する視線検出手段を更に備え、
   前記情報取得手段は、前記視線検出手段によって検出された被写体の視線方向を前記被写体に関連する情報として取得し、
   前記判定手段は、前記情報取得手段により取得された前記被写体の視線方向から、前記表示手段を見る動作であるか否かを判定する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記撮像手段により撮像された前記画像内の被写体の動作を解析する解析手段を更に備え、
   前記情報取得手段は、前記解析手段の解析結果を前記被写体に関連する情報として取得する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
4. 前記解析手段により、前記撮像される画像内に被写体の頭部があると解析された場合に、前記記憶制御手段は前記撮像画像を前記記憶手段に記憶させる、
   ことを特徴とする請求項３に記載の表示制御装置。
5. 前記判定手段は、前記被写体に関連する情報に基づいて、前記被写体の動作が撮像手段を見る動作であるか否かを判定する第２の判定手段を更に備え、
   前記記憶制御手段は、前記第２の判定手段により前記被写体の動作が前記撮像手段を見る動作であると判定された場合、前記撮像画像を前記記憶手段に記憶させる、
   ことを特徴とする請求項１乃至４の何れか１項に記載の表示制御装置。
6. 前記記憶制御手段は、前記表示手段に表示された画像を順次消去するように前記記憶手段を制御する、
   ことを特徴とする請求項１乃至５の何れか１項に記載の表示制御装置。
7. 前記記憶制御手段と、前記表示制御手段は、所定時間が経過した場合に、画像の表示と記憶を交互に切り替えるように前記記憶手段及び前記表示手段を制御する、
   ことを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 前記表示制御手段は、前記記憶手段に複数の画像が記憶されていた場合、前記表示手段に前記複数の画像を、フレーム画像とする動画像又は１つの画像に複数の前記画像を配置した画像として表示させるように制御する、
   ことを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
9. 前記撮像手段により得られた画像を記録手段に記録させる記録制御手段を更に備える、
   ことを特徴とする請求項１乃至１０の何れか１項に記載の表示制御装置。
10. 画像を撮像する撮像手段と、表示手段と、記憶手段とを備える表示制御装置で実行される表示制御方法であって、
    被写体に関連する情報を取得する情報取得ステップと、
    前記情報取得ステップにより取得された前記被写体に関連する情報に基づいて、前記被写体の動作が前記表示手段を見る動作か否かを判定する判定ステップと、
    前記判定ステップにより、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、前記撮像手段によって撮像された画像を前記記憶手段に記憶させるように制御する記憶制御ステップと、
    前記判定ステップにより、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御ステップと、
    を含むことを特徴とする表示制御方法。
11. 画像を撮像する撮像手段と、表示手段と、記憶手段とを備える表示制御装置を制御するコンピュータを、
    被写体に関連する情報を取得する情報取得手段と、
    前記情報取得手段により取得された前記被写体に関連する情報に基づいて、前記被写体の動作が前記表示手段を見る動作か否かを判定する判定手段と、
    前記判定手段により、前記被写体の動作が前記表示手段を見る動作でないと判定された場合に、前記撮像手段によって撮像された画像を前記記憶手段に記憶させるように制御する記憶制御手段と、
    前記判定手段により、前記被写体の動作が前記表示手段を見る動作であると判定された場合、前記記憶手段に記憶された画像を前記表示手段に表示させるように制御する表示制御手段と、
    として機能させることを特徴とするプログラム。

Images