JP2016134643A - 携帯機器、表示方法およびプログラム - Google Patents

Abstract

【課題】撮影者がクライアント側の意図を直感的に把握することができる携帯機器、表示方法およびプログラムを提供する。
【解決手段】携帯機器１は、画像を表示可能な外部機器と通信可能であり、撮像部２によって生成された画像データを外部機器に送信するとともに、外部機器から画像に基づく当該携帯機器１による撮影の構図を指示する指示情報を受信可能な通信部３と、被写体の特徴を検出する特徴検出部１０２と、特徴検出部１０２が検出した特徴と通信部３が受信した指示情報とに基づいて、画像の構図を補足する補足情報を生成する補足情報生成部１０４と、補足情報生成部１０４が生成した補足情報と画像と重畳したガイド画像を表示部７に表示させる表示制御部１０７と、を備える。
【選択図】図１

Description

本発明は、被写体を撮像して該被写体の画像データを生成する携帯機器、表示方法およびプログラムに関する。

近年、デジタルカメラ等の撮像装置において、ネットワークを介して撮影を指示する技術が知られている（特許文献１参照）。この技術では、まず、撮像装置で撮影した画像データをクライアント側の携帯電話にネットワークを介して送信する。携帯電話で表示される画像をクライアント側が確認しながら、携帯電話の使用者が携帯電話を介して撮影方法を撮像装置に指示することによって、撮像装置の表示部で文字や画角等の指示が表示される。

特開２００６−１４１１９号公報

しかしながら、上述した特許文献１では、画角変更等の指示が文字で表示されるのみで、具体的な撮影のアドバイスが表示されないため、撮像装置の撮影者がクライアント側の使用者の意図を直感的に把握することができなかった。

本発明は、上記に鑑みてなされたものであって、撮像装置の撮影者がクライアント側の使用者の要求を直感的に把握することができる携帯機器、表示方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る携帯機器は、被写体を撮像し、該被写体の画像データを生成する撮像部と、前記画像データに対応する画像を表示可能な表示部と、を備えた携帯機器であって、前記画像を表示可能な外部機器と通信可能であり、前記画像データを前記外部機器に送信するとともに、前記外部機器から前記画像に基づく当該携帯機器による撮影のガイドを指示する指示情報を受信可能な通信部と、前記被写体の特徴を検出する特徴検出部と、前記特徴検出部が検出した前記特徴と前記通信部が受信した前記指示情報とに基づいて、前記画像に対する撮影のガイドを補足する補足情報を生成する補足情報生成部と、前記補足情報生成部が生成した前記補足情報と前記画像とを重畳したガイド画像を、前記画像から切り換えて前記表示部に表示させる表示制御部と、を備えたことを特徴とする。

また、本発明に係る表示方法は、被写体を撮像し、該被写体の画像データを生成する撮像部と、前記画像データに対応する画像を表示可能な表示部と、を備え、前記画像を表示可能な外部機器と通信可能な携帯機器が実行する表示方法であって、前記外部機器から前記画像に基づく当該携帯機器による撮影のガイドを指示する指示情報を受信する受信ステップと、前記被写体の特徴を検出する特徴検出ステップと、前記特徴検出ステップにおいて検出した前記特徴と前記受信ステップにおいて受信した前記指示情報とに基づいて、前記画像に対する撮影のガイドを補足する補足情報を生成する補足情報生成ステップと、前記補足情報生成ステップにおいて生成した前記補足情報と前記画像とを重畳したガイド画像を、前記画像から切り換えて前記表示部に表示させる表示制御ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、被写体を撮像し、該被写体の画像データを生成する撮像部と、前記画像データに対応する画像を表示可能な表示部と、を備え、前記画像を表示可能な外部機器と通信可能な携帯機器に、前記外部機器から前記画像に基づく当該携帯機器による撮影のガイドを指示する指示情報を受信する受信ステップと、前記被写体の特徴を検出する特徴検出ステップと、前記特徴検出ステップにおいて検出した前記特徴と前記受信ステップにおいて受信した前記指示情報とに基づいて、前記画像に対する撮影のガイドを補足する補足情報を生成する補足情報生成ステップと、前記補足情報生成ステップにおいて生成した前記補足情報と前記画像とを重畳したガイド画像を、前記画像から切り換えて前記表示部に表示させる表示制御ステップと、を実行させることを特徴とする。

本発明によれば、撮影者がクライアント側の意図を直感的に把握することができるという効果を奏する。

図１は、本発明の実施の形態１に係る携帯機器の機能構成を示すブロック図である。 図２は、モデル情報記録部９３が記録するモデル画像データを格納するモデル画像ファイルの一例を模式的に示す図である。 図３は、本発明の実施の形態１に係る携帯機器が実行する処理の概要を示すフローチャートである 図４は、図３の補足表示制御処理の概要を示すフローチャートである。 図５は、補足表示制御処理の実行中における状況を模式的に示す図である。 図６は、本発明の実施の形態１に係るモデル画像取得部が指示情報に応じてモデル情報記録部から検索したモデル画像の一例を示す図である。 図７は、本発明の実施の形態１に係る携帯機器が生成したライブビュー画像の一例を示す図である。 図８は、本発明の実施の形態１に係る携帯機器が表示するライブビュー画像に補足情報を重畳して表示した際の画像の一例を示す図である。 図９は、携帯機器が生成したライブビュー画像の別の一例を示す図である。 図１０は、本発明の実施の形態１に係る携帯機器が表示するライブビュー画像に補足情報を重畳して表示した際の画像の別の一例を示す図である。 図１１は、本発明の実施の形態１の変形例による補足情報の一例を模式的に示す図である。 図１２は、本発明の実施の形態２に係る補足画像表示システムの構成を模式的に示す概略図である。 図１３は、図１２に示すサーバの機能構成を示すブロック図である。 図１４は、本発明の実施の形態２に係る携帯機器が実行する処理の概要を示すフローチャートである。 図１５は、本発明の実施の携帯２に係るサーバが実行する処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態２に係るサーバを介してユーザからの指示を得る際の状況を模式的に示す図である。 図１７は、本発明の実施の形態２に係る携帯機器が生成したライブビュー画像の別の一例を示す図である。 図１８は、本発明の実施の形態２に係るサーバのモデル画像取得部が指示情報に応じてモデル情報記録部から検索したモデル画像の一例を示す図である。 図１９は、本発明の実施の形態２に係るサーバの画像補足情報生成部が順次送信する画像の一例を示す図である。 図２０は、本発明の実施の形態２に係るサーバが送信する地図データに対応する地図の一例を示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、ここで説明する内容は、外部機器からの要望で決められる補足情報に、ライブビュー画像を反映させ、直感的なガイド画像を生成するものであるが、この補足情報がライブビュー画像の結果で変わるようにしても良い。

（実施の形態１）
〔携帯機器の構成〕
図１は、本発明の実施の形態１に係る携帯機器の機能構成を示すブロック図である。図１に示す携帯機器１は、撮像部２と、通信部３と、入力部４と、位置検出部５と、時計６と、表示部７と、タッチパネル８と、記録部９と、制御部１０と、を備える。

撮像部２は、被写体を撮像し、この被写体の画像データを生成する。撮像部２は、複数のレンズ、シャッタ、絞り、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、および撮像素子が生成したアナログの画像データをデジタルの画像データに変換を行うＡ／Ｄ変換回路等を用いて構成される。撮像部２は、制御部１０の制御のもと、被写体を撮像し、この被写体の画像データを制御部１０へ出力する。

通信部３は、制御部１０の制御のもと、外部機器、例えば携帯電話との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。具体的には、通信部３は、撮像部２が生成した画像データを外部機器に送信するとともに、外部機器から画像データに基づく携帯機器による撮影の構図や撮影のガイドを指示する指示情報を受信する。また、通信部３は、Ｗｉ-Ｆｉ（Wireless Fidelity）（登録商標）通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）通信を採用している。なお、通信部３は、Ｗｉ-Ｆｉ通信の他、４Ｇ無線や３Ｇ無線を利用した通信や、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）通信等、他の通信を採用しても構わない。

入力部４は、携帯機器１に関する各種の操作信号の入力を受け付ける。入力部４は、例えば電源スイッチ、レリーズスイッチおよびモード切替スイッチ等を用いて構成される。

位置検出部５は、地上の物体の位置を測位する測定手段であるＧＰＳ（Global Positioning System）を構成する複数のＧＰＳ衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮影時や画像再生時における携帯機器１の位置情報を検出し、この位置情報を制御部１０に出力する。ここで、位置情報は、経度、緯度および時刻情報である。

時計６は、計時機能および撮影日時の判定機能を有する。時計６は、撮像部２によって生成された画像データに日時データを付加するため、日時データを制御部１０へ出力する。

表示部７は、制御部１０の制御のもと、画像データに対応する画像を表示する。表示部７は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルおよび表示駆動回路等を用いて構成される。また、表示部７における画像の表示方法には、撮像直後の画像データを所定時間（例えば３秒間）だけ表示する確認表示、記録部９が記録する画像データに対応する再生画像を表示する再生表示、および撮像部２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー画像表示等が含まれる。また、表示部７は、携帯機器１の操作情報および撮影に関する情報等を適宜表示する。

タッチパネル８は、表示部７の表示画面上に重ねて設けられ、外部からの物体が接触した接触位置（座標情報）を検出し、この検出結果に応じた信号の入力を受け付ける。タッチパネル８の方式としては、抵抗膜方式、静電容量方式および光学方式のいずれの方式も適用可能である。

記録部９は、制御部１０を介して入力される画像データ、携帯機器１を動作させるためのプログラム等を記録する。具体的には、記録部９は、携帯機器１を動作させるためのプログラムを記録するプログラム記録部９１と、画像データを記録する画像データ記録部９２と、通信部３を介して外部機器から撮影を指示する指示情報を携帯機器１が受信した場合において、指示情報の内容に対応する画像データをモデル情報として表示するためのモデル情報記録部９３と、を有する。記録部９は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、Ｆｌａｓｈメモリおよびメモリカード等を用いて構成される。

ここで、モデル情報記録部９３が記録するモデル情報の一例について説明する。図２は、モデル情報記録部９３が記録するモデル画像データを格納するモデル画像ファイルの一例を模式的に示す図である。

図２に示すように、モデル画像ファイルＷ１は、モデル画像を撮影した画像データＤ１と、撮影に関するキーワードＴ１と、モデルを構成する各部位に関する位置情報と、を対応付けて記録する。具体的には、キーワードＴ１には、モデル画像に関する撮影内容、例えばポートレート、バストショット（バストショットアップ）および上半身のキーワードが含まれている。また、位置情報Ｔ２には、画像内における顔の位置（顔の位置座標および大きさ）および画面内における胴体の位置（胴体の座標範囲、画面下１／３の中央および画面幅の１／２）等のモデルを構成する各部分の位置に関する位置情報が含まれている。

図１に戻り、携帯機器１の構成の説明を続ける。
制御部１０は、携帯機器１を構成する各部に対する指示やデータの転送等を行うことによって、携帯機器１の動作を統括的に制御する。制御部１０は、ＣＰＵ（Central Processing Unit）を用いて構成される。制御部１０は、指示判定部１０１と、特徴検出部１０２と、モデル画像取得部１０３と、補足情報生成部１０４と、通信制御部１０５と、撮像制御部１０６と、表示制御部１０７と、を有する。

指示判定部１０１は、通信部３を介して入力された外部機器からの指示情報を解析する。例えば、指示判定部１０１は、外部機器からの指示情報が音声の場合、周知の技術を用いて音声を解析し、この解析結果に基づいて、テキストデータや指示信号に変換する。

特徴検出部１０２は、撮像部２が生成した画像データに対応する画像に含まれる被写体の特徴を検出する。具体的には、特徴検出部１０２は、撮像部２が生成した画像データに対応する画像に対して、パターンマッチング等を行うことによって、画像内における被写体の顔および形状を検出する。なお、特徴検出部１０２は、被写体の顔だけでなく、被写体を構成する各部位の位置（座標情報）、形状および大きさを検出してもよい。

モデル画像取得部１０３は、通信部３を介して外部機器から入力された指示情報に対応するモデル画像データをモデル情報記録部９３から検索して取得する。具体的には、モデル画像取得部１０３は、指示判定部１０１によって解析されたテキストデータや指示信号に基づいて、撮影に関するキーワード（例えばバストショットやポートレート）またはモデルを構成する各部位に関する位置情報に基づいて、モデル情報記録部９３から検索して指示情報に対応するモデル画像データを取得する。

補足情報生成部１０４は、特徴検出部１０２が検出した特徴と通信部３が受信した指示情報とに基づいて、表示部７が表示するライブビュー画像または静止画像に対する撮影のガイドや構図を補足する補足情報を生成する。具体的には、補足情報生成部１０４は、外部からの要望で決められるものであるが、ライブビュー画像を反映させ、ライブビューの画像の内容、状態で変わるようにしても良い。つまり、特徴検出部１０２が検出した特徴と通信部３が受信した外部機器からの指示情報とに基づいて、撮像部２が生成した画像データに対応する画像に対する撮影の構図またはガイドを補足する補足情報を生成する。より具体的には、補足情報生成部１０４は、モデル画像取得部１０３が取得したモデル画像データを用いて画像内の類似部を画像と画像を比較したり、顔検出であれば目、鼻、口などの器官検出結果をモデル画像と被写体画像で対比づけしたりして差異を判断し、その不足を補ったり、余分な部分を削ったりして全体画像の中で、撮影しようとしている被写体がどうあるべきかをユーザに認識させるための補足情報を生成する。例えば、補足情報生成部１０４は、画像データに対応する画像内の被写体の顔がモデル画像データに対応するモデル画像の顔領域に対応する大きさになるように画像データをリサイズ処理した結果も加味して補足情報を生成する。

通信制御部１０５は、通信部３を介して撮像部２によって生成された画像データを外部機器へ送信する。

撮像制御部１０６は、撮像部２の撮像動作を制御する。具体的には、撮像制御部１０６は、入力部４からレリーズ信号が入力された場合、撮像部２に撮像を実行させる。

表示制御部１０７は、表示部７の表示態様を制御する。また、表示制御部１０７は、補足情報生成部１０４が生成した補足情報を撮像部２によって生成された画像データに対応する画像に重畳して表示部７に表示させる。具体的には、表示制御部１０７は、補足情報生成部１０４が生成した補足情報と撮像部２によって生成された画像データに対応する画像とを重畳したガイド画像を、表示部７が表示するライブビュー画像から切り換えて表示部７に表示させる。さらに、表示制御部１０７は、ガイド画像を所定時間表示後、ライブビュー画像を表示部７に表示させる。

〔携帯機器の処理〕
以上の構成を有する携帯機器１が実行する処理について説明する。図３は、携帯機器１が実行する処理の概要を示すフローチャートである。

図３に示すように、まず、携帯機器１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。このとき、表示制御部１０７は、撮像部２が連続的に生成したライブビュー画像データに対応するライブビュー画像を表示部７に表示させる（ステップＳ１０２）。

続いて、通信制御部１０５は、通信部３を介して外部機器へ撮像部２が生成した画像データを送信する（ステップＳ１０３）。具体的には、通信制御部１０５は、通信部３を介して外部機器に撮像部２が生成したライブビュー画像データを送信する。これにより、外部機器のユーザは、携帯機器１から離れていても、携帯機器１の撮影状況を把握することができる。

続いて、通信部３を介して外部機器から撮像部２が生成したライブビュー画像に基づく携帯機器１による撮影の構図を指示する指示情報があった場合、例えば外部機器のユーザがライブビュー画像に基づいて、被写体のバストショット撮影を指示する指示情報があった場合（ステップＳ１０４：Ｙｅｓ）、携帯機器１は、現在の携帯機器１が撮影している構図と、指示情報に対応する構図との差を補足する補足情報を生成して表示する補足表示制御処理を実行する（ステップＳ１０５）。この実行は、指示があった時だけ行っても、指示があったら継続させても良い。直感的なＵＩ（User Interface）であるから、一瞬の表示でも効果がある。なお、補足表示制御処理の詳細は後述する。

続いて、入力部４を介して撮影を指示する指示信号が入力された場合（ステップＳ１０６：Ｙｅｓ）、撮像制御部１０６は、撮像部２に撮影を実行させ（ステップＳ１０７）、撮像部２が生成した画像データと、この画像データに関する撮影情報と、を格納する画像ファイルを生成し、この画像ファイルに画像データと撮影情報とを格納して記録部９に記録する（ステップＳ１０８）。

その後、入力部４から撮影または再生を終了する指示信号が入力された場合（ステップＳ１０９：Ｙｅｓ）、携帯機器１は、本処理を終了する。これに対して、入力部４から撮影または再生を終了する指示信号が入力されていない場合（ステップＳ１０９：Ｎｏ）、携帯機器１は、ステップＳ１０１へ戻る。

ステップＳ１０４において、通信部３を介して外部の機器から撮影の構図を指示する指示情報を受信していない場合（ステップＳ１０４：Ｎｏ）、携帯機器１は、ステップＳ１０６へ移行する。

ステップＳ１０６において、入力部４を介して撮影を指示する指示信号が入力されていない場合（ステップＳ１０６：Ｎｏ）、携帯機器１は、ステップＳ１０９へ移行する。

次に、携帯機器１に撮影モードが設定されておらず（ステップＳ１０１：Ｎｏ）、携帯機器１に再生モードが設定されている場合（ステップＳ１１０：Ｙｅｓ）について説明する。このとき、表示制御部１０７は、画像データ記録部９２が記録する複数の画像データそれぞれに対応する複数の画像の一覧を表示部７に表示させる（ステップＳ１１１）。

続いて、入力部４を介して再生画像が指定された場合（ステップＳ１１２：Ｙｅｓ）、表示制御部１０７は、入力部４を介して指定された再生画像を表示部７に全画面に拡大して再生表示させる（ステップＳ１１３）。ステップＳ１１３の後、携帯機器１は、ステップＳ１０９へ移行する。これに対して、入力部４を介して再生画像が指定されていない場合（ステップＳ１１２：Ｎｏ）、携帯機器１は、ステップＳ１０９へ移行する。

ステップＳ１１０において、携帯機器１に再生モードが設定されていない場合（ステップＳ１１０：Ｎｏ）、携帯機器１は、ステップＳ１０９へ移行する。

〔補足表示制御処理の処理〕
次に、図３のステップＳ１０５で説明した補足表示制御処理の詳細について説明する。図４は、補足表示制御処理の概要を示すフローチャートである。以下においては、ライブビュー画像を利用して、モデル画像を作り出すような処理であり、モデル画像が示唆する撮影のポイントを、実際に撮影対象を観察した画像であるライブビュー画像のリアリティによって分かりやすく伝えるものである。ライブビュー画像とモデル画像の状況に応じた画像合成処理によって、こうした案内表示を可能としている。

図４に示すように、通信部３を介して外部機器からの指示情報を画像によって確認するモードが設定されている場合（ステップＳ２０１：Ｙｅｓ）、指示判定部１０１は、指示を取得する（ステップＳ２０２）。

図５は、補足表示制御処理の実行中における状況を模式的に示す図である。なお、図５に示す外部機器１ａは、携帯機器１と同様の構成を有する。このため、外部機器１ａの構成の説明は省略する。

図５に示すように、撮影者Ｐ０が被写体Ｐ１を撮影している場合において、外部機器１ａの使用者Ｐ３が撮影者Ｐ０に対して現在のライブビュー画像ＬＶ１に基づいて、外部機器１ａによる撮影の構図についてアドバイスを行うとき、携帯機器１から送信された画像データに対応するライブビュー画像ＬＶ１を外部機器１ａで見ながら、音声、例えばバストショット（バストアップショット）と発声して指示を携帯機器１へ送信する。携帯機器１は、通信部３を介して外部機器１ａから送信された指示情報を受信する。なお、使用者Ｐ３は、音声でなく、外部機器１ａを介して文字、図形、画像およびタッチ等で指示を携帯機器１へ送信してもよい。

続いて、モデル画像取得部１０３は、通信部３を介して受信した指示情報に対応するモデル画像を、モデル情報記録部９３から検索する（ステップＳ２０３）。図６は、モデル画像取得部１０３が指示情報に応じてモデル情報記録部９３から検索したモデル画像の一例を示す図である。図６に示すように、モデル画像取得部１０３は、通信部３を介して使用者Ｐ３からバストショットの指示情報を受信した場合、モデル情報記録部９３からバストショットに対応する構図のモデル画像Ｍ１を検索する。この場合、モデル画像取得部１０３は、指示情報に含まれるキーワード、例えばバストショットに基づいて、モデル情報記録部９３からモデル画像Ｍ１を検索する。

その後、モデル画像取得部１０３が外部機器１ａからの指示情報に対応するモデル画像を検索して取得できた場合（ステップＳ２０４：Ｙｅｓ）、特徴検出部１０２は、現在のライブビュー画像ＬＶ１の特徴を検出する（ステップＳ２０５）。具体的には、図７に示すように、特徴検出部１０２は、ライブビュー画像ＬＶ１内の被写体Ｐ１の顔、この顔の位置（座標情報）、形状および被写体の各パーツ（例えば胸、腰、腕）の位置をそれぞれ画像の特徴として検出する。なお、特徴検出部１０２は、被写体Ｐ１の顔以外に、ライブビュー画像ＬＶ１内の特徴、例えば輝度情報、コントラスト情報、撮影シーン等を特徴として検出してもよい。

続いて、モデル画像取得部１０３によって取得されたモデル画像が現在のライブビュー画像の一部に含まれている場合（ステップＳ２０６：Ｙｅｓ）、補足情報生成部１０４は、指示情報に対応するバストアップ撮影に対応する補足情報として、被写体Ｐ１のバストアップの画角に対応する枠を生成し（ステップＳ２０７）、表示制御部１０７は、補足情報生成部１０４が生成したバストアップ撮影に対応する枠と、撮像部３が生成した画像データに対応する画像とを重畳したガイド画像としてのライブビュー画像ＬＶ１上を表示部７に表示させる（ステップＳ２０８）。具体的には、図８に示すように、表示制御部１０７は、撮像部３が生成した画像データに対応する画像とモデル画像Ｍ１に対応する枠Ｆ１とを重畳したガイド画像としてのライブビュー画像ＬＶ１を表示部７に表示させる。これにより、撮影者Ｐ０は、使用者Ｐ３からの指示情報、例えば撮影のガイド、画角および構図を直感的に把握することができる。この場合、撮影者Ｐ０は、使用者Ｐ３からの指示情報に応じた撮影操作、例えばズーム操作や構図の変更を行うことによって、使用者Ｐ３の要望に応えた撮影を行う。ステップＳ２０８の後、携帯機器１は、図３のメインルーチンへ戻る。なお、表示制御部１０７は、ライブビュー画像ＬＶ１に換えて、表示制御部１０７は、補足情報生成部１０４が生成したバストアップ撮影に対応する枠をライブビュー画像ＬＶ１上に重畳して表示部７に表示させるだけでもよい。

ステップＳ２０６において、モデル画像取得部１０３によって取得されたモデル画像が現在のライブビュー画像の一部に含まれていない場合（ステップＳ２０６：Ｎｏ）、補足情報生成部１０４は、ライブビュー画像ＬＶ２のリサイズ処理を行い（ステップＳ２０９）、表示制御部１０７は、補足情報生成部１０４がリサイズ処理を行ったライブビュー画像ＬＶ２をモデル画像Ｍ１の顔領域に合成したガイド画像を表示部７に表示させる（ステップＳ２１０）。具体的には、図９および図１０に示すように、補足情報生成部１０４は、現在のライブビュー画像ＬＶ２の被写体Ｐ１がほぼ顔のみのため、モデル画像取得部１０３が取得したモデル画像Ｍ１の顔領域の大きさになるようにライブビュー画像ＬＶ２のリサイズ処理を行い、表示制御部１０７は、ライブビュー画像ＬＶ２をモデル画像Ｍ１の顔領域に合成したガイド画像ＬＶ３（ライブビュー画像）を表示部７に表示させる。この場合、表示制御部１０７は、モデル画像Ｍ１とライブビュー画像ＬＶ２以外の領域を非表示（黒塗り表示）で表示部７に表示させる。これにより、撮影者Ｐ０は、ユーザが指示した撮影指示や構図を直感的に把握することができる。さらに、撮影者Ｐ０は、現在の撮影の画角が小さい（焦点距離が大きい）と直感的に把握することができる。

このように、モデル画像をそのまま使うのではなく、モデル画像とライブビュー画像を加工したり合成したりして、携帯機器１が撮影者Ｐ０に変わって、二つの画像を比較した結果を直感的に判断できる画像に可視化している。ライブビュー画像は、現在、撮影しようとして目の前にあるものであり、モデル画像は、自分とは関係ないものである場合があるが、これらを繋ぐＵＩとなっている。ライブビュー画像をモデル画像内にはめ込むことによって、画像全体の中の対象物（ライブビュー画像、またはその一部）の位置づけを直感的に判断できる材料となる。直感的な判断が出来れば、はめこみ画像をすぐに消して、ライブビューでの被写体確認にすぐ戻れ、撮影チャンスを逃すことはない。この場合、表示制御部１０７は、ガイド画像を所定時間表示後（例えば３秒後）、ライブビュー画像ＬＶ２を表示部７に表示させるようにしてもよい。

ステップＳ２０４において、モデル画像取得部１０３が外部機器１ａからの指示情報に対応するモデル画像を検索して取得できなかった場合（ステップＳ２０４：Ｎｏ）、表示制御部１０７は、表示部７にモデル画像を取得できなかった旨の警告を表示させる（ステップＳ２１１）。この場合、通信制御部１０５は、通信部３を介して外部機器１ａに指示情報に対応するモデル画像を検索できなかった旨の情報を送信する。これにより、使用者Ｐ３は、撮影者Ｐ０に対する指示が伝わらなかったことを把握することができる。また、撮影者Ｐ０は、使用者Ｐ３から構図の指示があったことを把握することができる。

ステップＳ２０１において、通信部３を介して外部機器からの指示情報を画像によって確認するモードが設定されていない場合（ステップＳ２０１：Ｎｏ）、表示制御部１０７は、指示情報に対応する文字や図形によって表示部７に表示させる（ステップ２１２）。なお、表示制御部１０７は、文字や図形に換えて、音声によって出力させてもよい。

以上説明した本実施の形態１によれば、表示制御部１０７が補足情報生成部１０４によって生成された補足情報、例えば指示情報に対応した画像に対する撮影のガイド、構図および画角のいずれかに対応する枠と撮像部３が生成した画像データに対応する画像とを重畳したガイド画像としてのライブビュー画像ＬＶ１を表示部７に表示させるので、撮影者がクライアント側の意図を直感的に把握することができる。

また、本実施の形態１によれば、補足情報生成部１０４がモデル画像取得部１０３によって取得されたモデル画像データを用いて補足情報を生成するので、撮影者がクライアント側の意図をより直感的に把握することができる。

また、本実施の形態１によれば、補足情報生成部１０４が特徴検出部１０２によって検出された被写体の顔を、モデル画像取得部１０３によって取得されたモデル画像データに対応するモデル画像の顔領域に対応する大きさになるように画像データをリサイズ処理して補足情報を生成するので、撮影者がクライアント側の意図をより直感的に把握することができるうえ、現在の撮影状況で不足する内容を模擬的に把握することができる。

なお、本実施の形態１では、ライブビュー画像ＬＶ１内の被写体Ｐ１の領域がモデル画像Ｍ１より大きい場合、表示制御部１０７がモデル画像の領域に対応する枠Ｆ１をライブビュー画像ＬＶ１に重畳して表示させていたが、例えば補足情報生成部１０４がライブビュー画像ＬＶ１をモデル画像Ｍ１の大きさになるようにリサイズ処理を行い、このリサイズ処理が行われたライブビュー画像とモデル画像Ｍ１とを重畳したガイド画像を表示部７に表示させてもよい。具体的には、図１１（ａ）に示すように、まず、補足情報生成部１０４は、ライブビュー画像ＬＶ１内の被写体Ｐ１の領域がモデル画像Ｍ１より大きい場合、ライブビュー画像ＬＶ１に対して、モデル画像Ｍ１の大きさになるようにリサイズ処理を行う。例えば、補足情報生成部１０４は、ライブビュー画像ＬＶ１内の被写体Ｐ１とモデル画像Ｍ１とが重なり合う領域のみを表示する領域としてリサイズ処理（トリミング処理）を行う（図１１（ｂ）を参照）。その後、表示制御部１０７は、補足情報生成部１０４がリサイズ処理を行ったライブビュー画像とモデル画像Ｍ１とを重畳したガイド画像を表示部７に表示させる（図１１（ｃ）を参照）。これにより、撮影者Ｐ０は、使用者Ｐ３の指示の内容を直感的に把握することができる。

このように、モデル画像をそのまま使うのではなく、モデル画像とライブビュー画像を加工したり合成したりして、携帯機器１が撮影者Ｐ０に変わって、二つの画像を比較した結果を直感的に判断できる画像に可視化している。即ち、ライブビュー画像の一部を利用してモデル画像に近づける表示とも言える。ライブビュー画像は、現在、撮影しようとして目の前にあるものであり、モデル画像は、自分とは関係ないものである場合があるが、これらを繋ぐＵＩとなっている。こうした表示は、常に出ている必要はなく、直感的に判断できるがゆえに、必要な時（例えば、指示があった瞬間）だけ、表示するようにしても撮影者Ｐ０に分かりやすく撮影画像とモデル画像（お手本）との差異を伝達できる。例えば、表示制御部２０２は、２−３秒、あらかじめ決められた時間だけお手本を表示部７に表示させ、ライブビュー画像に切り換えて表示することによって、撮影者Ｐ０が混乱することなく、刻々と変化する撮影シーンに対応することが可能である。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る携帯機器は、サーバから送信された画像をモデル画像として表示する。このため、以下においては、本実施の形態２に係る携帯機器およびサーバを備える撮像システムについて説明する。なお、上述した実施の形態１に係る携帯機器１と同一の構成には同一の符号を付して説明を省略する。

〔補足画像表示システムの構成〕
図１２は、本発明の実施の形態２に係る補足画像表示システムの構成を模式的に示す概略図である。図１２に示す補足画像表示システム１００は、ネットワークＮを介して画像データを含む画像ファイルを送受信する携帯機器１および外部機器１ａと、ネットワークＮを介して画像データを含む画像ファイル等を送受信するサーバ２０と、を備える。なお、外部機器１ａは、上述した実施の形態１に係る携帯機器１と同様の構成を備えるので、説明を省略する。

〔サーバの構成〕
図１３は、サーバ２０の機能構成を示すブロック図である。図１３に示すサーバ２０は、通信部２０１と、画像データベース２０２と、地図データベース２０３と、サーバ制御部２０４と、を備える。

通信部２０１は、所定の通信規格に従って、携帯機器１および外部機器１ａのいずれかと通信を行って撮影指示情報または画像データを含む画像ファイルの受信または送信を行う。

画像データベース２０２は、外部から指示された構図情報に対応するモデル画像データや画像データを記録する。画像データベース２０２は、ＳＤＲＡＭ、Ｆｌａｓｈメモリおよびハードディスクレコード等の記録媒体を用いて構成される。

地図データベース２０３は、外部から指示された構図情報または撮影情報に対応する地図データをモデル画像データとして記録する。具体的には、地図データベース２０３は、対物物の画像データと、対物物の位置と、対象物を撮影可能な撮影スポットと、を対応付けた対象物情報をモデル画像データとして機能する。地図データベース２０３は、ＳＤＲＡＭ、Ｆｌａｓｈメモリおよびハードディスクレコード等の記録媒体を用いて構成される。なお、本実施の形態２では、画像データベースおよび地図データベース２０３がモデル情報記録部として機能する。

サーバ制御部２０４は、ＣＰＵ等を用いて構成され、通信部２０１を介して携帯機器１または外部機器１ａのいずれかから入力される構図情報または撮影情報に応じて、画像データベース２０２のモデル画像データまたは地図データベース２０３の地図データを送信する。サーバ制御部２０４は、指示判定部２１１と、特徴検出部２１２と、モデル画像取得部２１３と、補足情報生成部２１４と、通信制御部２１５と、を有する。指示判定部２１１、特徴検出部２１２、モデル画像取得部２１３、補足情報生成部２１４および通信制御部２１５は、図１で上述した携帯機器１の指示判定部１０１、特徴検出部１０２、モデル画像取得部１０３、補足情報生成部１０４および通信制御部１０５それぞれと同様の機能を有する。このため、指示判定部２１１、特徴検出部２１２、モデル画像取得部２１３、補足情報生成部２１４および通信制御部２１５それぞれの詳細な説明は、省略する。

〔携帯機器の処理〕
次に、本実施の形態２に係る携帯機器１が実行する処理について説明する。図１４は、携帯機器１が実行する処理の概要を示すフローチャートである。

図１４において、ステップＳ３０１、ステップＳ３０２およびステップＳ３０３は、上述した図３のステップＳ１０１、ステップ１０２およびステップＳ１０４にそれぞれ対応する。

ステップＳ３０４において、携帯機器１は、ネットワークＮを介してサーバ２０と連結する。

続いて、通信制御部２１５は、通信部３およびネットワークＮを介してサーバ２０に、撮像部２が生成した現在の画像データを送信する（ステップＳ３０５）。

その後、ネットワークＮおよび通信部３を介してサーバ２０から画像補足情報を受信した場合（ステップＳ３０６：Ｙｅｓ）、表示制御部１０７は、表示部７が表示するライブビュー画像上に、サーバ２０から受信した画像補足情報を受信結果として表示させる（ステップＳ３０７）。ステップＳ３０７の後、携帯機器１は、ステップＳ３０８へ移行する。なお、画像補足情報の詳細は後述する。

ステップＳ３０８〜ステップＳ３１５は、上述した図３のステップＳ１０６〜ステップＳ１１３にそれぞれ対応する。

〔サーバの処理〕
次に、サーバ２０が実行する処理について説明する。図１５は、サーバ２０が実行する処理の概要を示すフローチャートである。

図１５に示すように、まず、通信制御部２１５は、外部機器１ａからの構図の指示情報と、携帯機器１が撮影した現在の画像データを、ネットワークＮを介して取得する（ステップＳ４０１）。

図１６は、外部機器１ａを介して携帯機器１の撮影者に構図を依頼する際の状況を模式的に示す図である。図１６に示すように、撮影者Ｐ０が撮影している場合において、外部機器１ａの使用者Ｐ３が撮影者Ｐ０に対して現在のライブビュー画像ＬＶ１０（図１７を参照）に基づいて、外部機器１ａによる撮影の構図についてアドバイスを行うとき、携帯機器１から送信された画像データに対応するライブビュー画像ＬＶ１０を外部機器１ａで見ながら、音声、例えば一本松を写してと発声して指示をサーバ２０へ送信する。

続いて、モデル画像取得部２１３は、外部機器１ａからの構図の指示情報に対応するモデル画像を画像データベース２０２または地図データベース２０３から検索する（ステップＳ４０２）。

その後、モデル画像取得部２１３の検索によってモデル画像があった場合、例えば図１８に示す一本松が写るモデル画像Ｍ２があった場合（ステップＳ４０３：Ｙｅｓ）、サーバ２０は、後述するステップＳ４０４へ移行する。これに対して、モデル画像取得部２１３の検索によってモデル画像がなかった場合（ステップＳ４０３：Ｎｏ）、サーバ２０は、後述するステップＳ４１１へ移行する。

ステップＳ４０４において、モデル画像取得部２１３によって検索されたモデル画像が地図であった場合（ステップＳ４０４：Ｙｅｓ）、サーバ２０は、後述するステップＳ４１０へ移行する。これに対して、モデル画像取得部２１３によって検索されたモデル画像が地図でない場合（ステップＳ４０４：Ｎｏ）、サーバ２０は、後述するステップＳ４０５へ移行する。

ステップＳ４０５において、サーバ制御部２０４は、通信部２０１およびネットワークＮを介して携帯機器１にモデル画像としての補足画像データを送信する。

続いて、補足情報生成部２１４は、携帯機器１が撮影する現在の画像データとモデル画像としての補助画像とを比較し（ステップＳ４０６）、共通部がある場合（ステップＳ４０７：Ｙｅｓ）、通信部２０１およびネットワークＮを介して現在の画像から補足画像までの情報を順次送信した後（ステップＳ４０８）、外部機器１ａから指示された指示情報に対応する補足画像データを携帯機器１に送信する（ステップＳ４０９）。具体的には、図１９に示すように、補足情報生成部２１４は、現在のライブビュー画像ＬＶ１０の位置からモデル画像Ｍ２の位置までの複数の画像（例えば画像Ｍ１０、画像Ｍ１１およびモデルＭ２）を携帯機器１に順次送信する。これにより、撮影者Ｐ０は、使用者Ｐ３が撮影してほしい対象物までの道のりを直感的に把握することができるうえ、構図を把握することができる。なお、補足情報生成部２１４は、複数の画像を順次送信するに換えて、現在のライブビュー画像からモデル画像までを合成したパノラマの画像を送信してもよい。ステップＳ４０９の後、サーバ２０は、本処理を終了する。

ステップＳ４０７において、共通部がない場合（ステップＳ４０７：Ｎｏ）、サーバ２０は、本処理を終了する。

ステップＳ４１０において、補足情報生成部２１４は、携帯機器１の現在の位置から外部機器１ａの指示に対応する地図データを携帯機器１に送信する。この場合、携帯機器１は、図２０に示すように、携帯機器１の現在の位置から外部機器１ａの指示情報に対応する地図データに対応する地図を表示する。地図には、外部機器１ａから指示された目的の位置までの全体地図Ｍ１００と、現在の位置に対応するライブビュー画像ＬＶ１０と、目的の位置Ｐ２００までに経過する位置で撮影可能な画像Ｍ２０,Ｍ２１（サムネイル画像）と、矢印Ａ１００と、現在位置Ｐ１００と、が含まれる。これにより、撮影者は、携帯機器１が表示する地図を確認することによって、外部機器１ａが指示する撮影場所および構図を直感的に確認することができるうえ、目的の位置Ｐ２００までの道のりを直感的に把握することができる。ステップＳ４１０の後、サーバ２０は、本処理を終了する。

ステップＳ４１１において、サーバ２０は、通信部２０１およびネットワークＮを介して外部機器１ａから入力された指示情報に対応するモデル画像がない旨の警告を外部機器１ａおよび携帯機器１それぞれに送信する。ステップＳ４１１の後、サーバ２０は、本処理を終了する。

以上説明した本実施の形態２によれば、サーバ２０を介してモデル画像データを取得することができるので、携帯機器１のモデル情報記録部９３に外部機器１ａの指示情報に対応するモデル画像がなくても、撮影者がクライアント側の意図を直感的に把握することができる。

なお、本実施の形態２では、ライブビュー画像を利用してモデル画像（補足情報）に近い画像を合成して表示する例を説明したが、即時性にこだわらなければ、ライブビュー画像である必要はなく、撮影済み画像に対して同じ処理を行ってもよい。次回の撮影の参考になれば良いという考え方であれば、このような応用も本発明の範疇に入ると考えて差し支えない。ここでは、バストアップ等、シンプルな例で説明したが、手や足などの位置や姿勢を検出できるシステムであれば、さらに様々な応用が、同様の考え方で可能となる。もちろん、顔に限っても、モデル画像が笑っていて、ライブビュー画像が笑っていない場合など、わざと笑わせたような画像修正を行って、差異を際だたせても良い。このように直感的に理解できるＵＩであるから、瞬間的な変化を行い、元の画像に戻すような案内方法が可能となる。つまり、構図にとらわれず、方向とか位置とか場所とか、ポーズ、姿勢、表情など分かりやすい撮影指示、撮影のガイドが可能となる。

（その他の実施の形態）
また、本発明に係る携帯機器は、デジタルスチイルカメラ以外にも、デジタルビデオカメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。特に、観察を行いながら診断や検査をする用途には、こうした直感的な指示があると、迅速な判断が出来る。撮影済み画像から診断や検査を行う場合でも、上述の理由で有効である。

また、本発明に係る携帯機器に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明に係る携帯機器に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１・・・携帯機器；１ａ・・・外部機器；２・・・撮像部；３,２０１・・・通信部；４,・・・入力部；５・・・位置検出部；６・・・時計；７・・・表示部；８・・・タッチパネル；９・・・記録部；１０・・・制御部；２０・・・サーバ；９１・・・プログラム記録部；９２・・・画像データ記録部；９３・・・モデル情報記録部；１００・・・補足画像表示システム；１０１,２１１・・・指示判定部；１０２,２１２・・・特徴検出部；１０３,２１３・・・モデル画像取得部；１０４,２１４・・・補足情報生成部；１０５,２１５・・・通信制御部；１０６・・・撮像制御部；１０７・・・表示制御部；２０２・・・画像データベース；２０３・・・地図データベース；２０４・・・サーバ制御部

Claims (9)

1. 被写体を撮像し、該被写体の画像データを生成する撮像部と、前記画像データに対応する画像を表示可能な表示部と、を備えた携帯機器であって、
   前記画像を表示可能な外部機器と通信可能であり、前記画像データを前記外部機器に送信するとともに、前記外部機器から前記画像に基づく当該携帯機器による撮影のガイドを指示する指示情報を受信可能な通信部と、
   前記被写体の特徴を検出する特徴検出部と、
   前記特徴検出部が検出した前記特徴と前記通信部が受信した前記指示情報とに基づいて、前記画像に対する撮影のガイドを補足する補足情報を生成する補足情報生成部と、
   前記補足情報生成部が生成した前記補足情報と前記画像とを重畳したガイド画像を、前記画像から切り換えて前記表示部に表示させる表示制御部と、
   を備えたことを特徴とする携帯機器。
2. 前記表示制御部は、前記ガイド画像を所定時間表示後、前記画像を前記表示部に表示させることを特徴とする請求項１に記載の携帯機器。
3. 複数のモデル画像データを記録するモデル情報記録部と、
   前記指示情報に対応する前記モデル画像データを前記モデル情報記録部から検索して取得するモデル画像取得部と、
   をさらに備え、
   前記補足情報生成部は、
   前記モデル画像取得部が取得した前記モデル画像データを用いて前記補足情報を生成することを特徴とする請求項１または２に記載の携帯機器。
4. 前記モデル画像データは、
   撮影に関するキーワードと、モデルを撮影した画像データと、該モデルを構成する各部分の位置に関する位置情報と、を対応付けたモデル情報を含み、
   前記特徴検出部は、
   少なくとも前記被写体の顔の位置および形状を検出し、
   前記補足情報生成部は、
   前記特徴検出部が検出した前記被写体の顔の位置、形状および前記モデル情報に基づいて、前記補足情報を生成することを特徴とする請求項３に記載の携帯機器。
5. 前記補足情報生成部は、
   前記被写体の顔が前記モデル画像データに対応するモデル画像の顔領域に対応する大きさになるように前記画像データをリサイズ処理して前記補足情報を生成することを特徴とする請求項４に記載の携帯機器。
6. 前記補足情報生成部は、
   前記画像内における前記被写体の領域が前記モデルの領域に対応する大きさになるように前記画像データをリサイズ処理して前記補足情報を生成することを特徴とする請求項４に記載の携帯機器。
7. 当該携帯機器の位置情報を検出する位置検出部をさらに備え、
   前記モデル画像データは、
   対象物の画像データと、該対象物の位置と、該対象物を撮影可能な撮影スポットと、を対応付けた対象物情報を含み、
   前記モデル画像取得部は、
   前記指示情報および前記対象物情報に基づいて、前記モデル情報記録部から前記モデル画像データを取得することを特徴とする請求項３に記載の携帯機器。
8. 被写体を撮像し、該被写体の画像データを生成する撮像部と、前記画像データに対応する画像を表示可能な表示部と、を備え、前記画像を表示可能な外部機器と通信可能な携帯機器が実行する表示方法であって、
   前記外部機器から前記画像に基づく当該携帯機器による撮影のガイドを指示する指示情報を受信する受信ステップと、
   前記被写体の特徴を検出する特徴検出ステップと、
   前記特徴検出ステップにおいて検出した前記特徴と前記受信ステップにおいて受信した前記指示情報とに基づいて、前記画像に対する撮影のガイドを補足する補足情報を生成する補足情報生成ステップと、
   前記補足情報生成ステップにおいて生成した前記補足情報と前記画像とを重畳したガイド画像を、前記画像から切り換えて前記表示部に表示させる表示制御ステップと、
   を含むことを特徴とする表示方法。
9. 被写体を撮像し、該被写体の画像データを生成する撮像部と、前記画像データに対応する画像を表示可能な表示部と、を備え、前記画像を表示可能な外部機器と通信可能な携帯機器に、
   前記外部機器から前記画像に基づく当該携帯機器による撮影のガイドを指示する指示情報を受信する受信ステップと、
   前記被写体の特徴を検出する特徴検出ステップと、
   前記特徴検出ステップにおいて検出した前記特徴と前記受信ステップにおいて受信した前記指示情報とに基づいて、前記画像に対する撮影のガイドを補足する補足情報を生成する補足情報生成ステップと、
   前記補足情報生成ステップにおいて生成した前記補足情報と前記画像とを重畳したガイド画像を、前記画像から切り換えて前記表示部に表示させる表示制御ステップと、
   を実行させることを特徴とするプログラム。

Images