JP2013097773A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】被写体を撮像して表示画面に表示させる際に、趣向性に富んだ演出を行う方法を提案する。
【解決手段】被写体が撮像された被写体画像を取得する画像取得部と、前記画像取得部により取得された前記被写体画像中の前記被写体の撮像態様を解析する画像解析部と、前記画像解析部の解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定するコメント決定部と、を備える、情報処理装置。
【選択図】図９

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、撮像装置は多機能化されており、例えば撮像装置で撮像された大量の写真画像を、サムネイル画像として並べて表示する技術が存在する。このような技術としては、例えば複数のサムネイル画像がマトリクス状に表示させるものがある。

また、写真画像を表示させるだけで無く、写真画像中の人物の感情等を知覚させる演出を行う観点から、下記の特許文献１に記載された技術が存在する。この特許文献１には、画像データ内の人物の表情に対応したテンポや音量で音声コメントデータを自動的に出力することができる画像処理装置が記載されている。

特開２０１１−１３３８４号公報

ところで、撮像装置の中には、被写体を自動撮像して表示画面に表示させるものがある。かかる場合に、被写体の撮像態様に変化が無いと、表示画面に表示される画像が同じような構図になり、趣向性が乏しいものとなる。

本開示は、被写体を撮像して表示画面に表示させる際に、趣向性に富んだ演出を行う方法を提案する。

本開示によれば、被写体が撮像された被写体画像を取得する画像取得部と、前記画像取得部により取得された前記被写体画像中の前記被写体の撮像態様を解析する画像解析部と、前記画像解析部の解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定するコメント決定部と、を備える、情報処理装置が提供される。

また、本開示によれば、被写体が撮像された被写体画像を取得することと、取得された前記被写体画像中の前記被写体の撮像態様を解析することと、解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定することとを含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、被写体が撮像された被写体画像を取得することと、取得された前記被写体画像中の前記被写体の撮像態様を解析することと、解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定することと、を実行させるための、プログラムが提供される。

そして、本開示によれば、取得された前記被写体画像中の前記被写体の撮像態様を解析し、解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定する。これにより、例えば被写体は表示画面に表示されたコメントを見て撮像態様を変えることで、その後に撮像されて表示される被写体の構図が変化するので、趣向性に富んだ表示が可能となる。

以上説明したように本開示によれば、被写体を撮像して表示画面に表示させる際に、趣向性に富んだ演出を行うことが可能となる。

一実施形態に係る画像表示システムの概略構成を示す図である。 一実施形態に係る画像表示システムの構成を示すブロック図である。 一実施形態に係る画像表示システムの構成の変形例を示すブロック図である。 一実施形態に係る撮像装置の詳細構成を示すブロック図である。 一実施形態に係る表示装置の詳細構成を示すブロック図である。 被写体画像が配置された仮想三次元空間を概念的に示す図である。 被写体画像が配置された仮想三次元空間を二次元画像として表示画面に表示した例を示す図である。 コメントが付加された被写体画像の表示例を示す図である。 表示制御装置の機能構成を示すブロック図である。 コメントが付加された被写体画像を説明するための図である。 コメントの内容を説明するための図である。 コメント決定部によるコメント決定処理の流れを示す概略図である。 笑顔の度合いと世代に基づくコメント例を説明するための図である。 顔の向きに基づくコメント例を説明するための図である。 人物同士の位置関係に基づくコメント例を説明するための図である。 被写体画像が撮像されて仮想三次元空間上に配置されるまでの期間を示す模式図である。 ユーザの年齢層と、気付き期間及びリアクションとの関係を示すテーブルである。 ユーザの年齢層と、コメント読み期間との関係を示すテーブルである。 被写体に応じたコメント表示処理を示すフローチャートである。 第１コメント決定処理を示すフローチャートである。 コメント決定対象の被写体の顔を示す模式図である。 笑顔と世代に基づくコメント決定処理を示すフローチャートである。 顔情報FacialInfoを説明するための模式図である。 コメントデータベースを示すテーブルである。 顔の向きに基づくコメント決定処理を示すフローチャートである。 コメントデータベースを示すテーブルである。 顔位置に基づくコメント決定処理を示すフローチャートである。 顔番号の抽出を説明するための模式図である。 コメントを付与する被写体の特定処理を示すフローチャートである。 CommentHolder[faceldx]を説明するための模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．画像表示システムの構成
２．撮像装置の構成
３．表示装置の構成
４．表示制御装置の構成
４−１．コメント決定処理
４−２．コメント表示時間の取得処理
５．コメント表示処理時の画像表示システムの動作
５−１．第１コメント決定処理
５−１−１．笑顔と世代に基づくコメント決定処理
５−１−２．顔の向きに基づくコメント決定処理
５−２．顔位置に基づくコメント決定処理
５−３．コメントを付与する被写体の特定処理
６．まとめ

＜１．画像表示システムの構成＞
図１及び図２を参照しながら、本開示の一実施形態に係る画像表示システム１０の構成について説明する。図１は、一実施形態に係る画像表示システム１０の概略構成を示す図である。図２は、一実施形態に係る画像表示システム１０の構成を示すブロック図である。

画像表示システム１０は、撮像された被写体画像を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示する。図１、図２に示すように、画像表示システム１０は、撮像装置２０と、回転雲台３０と、表示装置４０と、大画面表示装置５０とを有する。

撮像装置２０は、例えばデジタルスチルカメラであり、被写体を撮像する。撮像装置２０は、広範囲画像の一例であるパノラマ画像も撮像可能である。撮像装置２０は、例えばパーティ等の集まりの場において、自動的に回転（パン）・角度調整（チルト）・ズームを行なって被写体の顔を検出し、自動撮像する機能（パーティショット機能）を実行可能である。撮像装置２０は、撮像した画像を記憶部に記憶する。

回転雲台３０は、撮像装置２０が載置された状態で、３６０度回転可能な雲台である。回転雲台３０は、パン・チルト・ズームの各動き及び被写体の顔の自動追尾機能を有する。載置された撮像装置２０と回転雲台３０が接続されることで、上記のパーティショット機能が実現される。なお、回転雲台３０には、パノラマ画像を撮像するための操作部が設けられても良い。

撮像装置２０は、無線ネットワーク等を介して表示装置４０と通信を行うことが可能である。そして、撮像装置２０は、パーティショット機能で自動撮像した被写体画像（記憶部に記憶された被写体画像）を、表示装置４０に送信する。この際、撮像装置２０は、被写体画像と共に、被写体画像を撮像した際の回転雲台３０の回転角度等の情報も送信する。なお、撮像装置２０の詳細構成については、後述する。

表示装置４０は、表示画面に各種画像を表示する。撮像装置２０から受信した被写体画像（パーティショット機能で自動撮像された被写体画像）を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示する。表示装置４０は、仮想三次元空間を、表示装置４０の表示画面、又は、表示装置４０に接続された大画面表示装置５０に表示させる。なお、仮想三次元空間の詳細については、後述する。

大画面表示装置５０は、表示装置４０と接続され、データのやり取りを行う。大画面表示装置５０は、撮像装置２０で自動撮像された被写体画像が配置された仮想三次元空間を表示画面に表示する。

なお、上記では、撮像装置２０がデジタルスチルカメラであることとしたが、これに限定されない。撮像装置２０は、被写体を撮像する機能を有すれば良く、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等であっても良い。

また、上記では、表示装置４０は、仮想三次元空間に配置させる被写体画像を撮像装置２０から受信することとしたが、これに限定されない。例えば、表示装置４０は、図３に示すように、サーバ上に格納された被写体画像を受信し、受信した被写体画像を仮想三次元空間上に配置して表示させることとしても良い。

図３は、一実施形態に係る画像表示システム１０の構成の変形例を示すブロック図である。図３の変形例に係る撮像装置２０は、表示装置４０の代わりに、無線ネットワーク等を介してサーバ７０に自動撮像した被写体画像を送信する。サーバ７０は、撮像装置２０から受信した被写体画像を格納し、表示装置４０からの要求に応じて被写体画像を表示装置４０に送信する。

＜２．撮像装置の構成＞
図４を参照しながら、本開示の一実施形態に係る撮像装置２０の詳細構成について説明する。図４は、一実施形態に係る撮像装置２０の詳細構成を示すブロック図である。

図４に示すように、撮像装置２０は、制御部１１０と、表示部１２０と、撮像部１３０と、通信部１４０と、記憶部１５０と、入力部１６０と、電子コンパス１７０と、を有する。

制御部１１０は、撮像装置２０の各ブロックと信号をやり取りして各種演算を行い、撮像装置２０の動作全体を制御する。制御部１１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含む。

表示部１２０は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）であり、表示画面に各種画像を表示する。表示部１２０は、例えば撮像時のプレビュー画像を表示する。

撮像部１３０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等の撮像素子により、静止画（写真）や動画等の被写体画像を撮像する。撮像部１３０は、被写体の顔を検出する機能を有する。また、撮像部１３０は、パノラマ画像を撮像しうる。なお、撮像部１３０は、パーティショット機能の実行中は、複数の被写体画像を自動撮像する。

撮像部１３０は、被写体画像のみならず、撮像日時や撮像位置の情報も取得可能である。撮像日時は、撮像装置２０に内蔵された時計（不図示）から取得される。内蔵時計の日時は、例えばＧＰＳ衛星からＧＰＳセンサ（不図示）により受信される日時情報に基づいて補正されても良い。

通信部１４０は、例えばネットワークインタフェースカードやモデム等を有し、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して、他の機器との間で通信処理を行う。通信部１４０は、無線ＬＡＮモージュル、又はＷＷＡＮ（Wireless Wide Area Network）モージュルを有していても良い。通信部１４０は、撮像された被写体画像やパノラマ画像を他の機器（表示装置４０等）に送信する。

記憶部１５０は、例えばフラッシュメモリであり、撮像部１３０により撮像された被写体画像を記憶する。また、記憶部１５０は、制御部１１０が実行する制御プログラムを記憶する。

入力部１６０は、ユーザの操作を受け付け、入力信号を制御部１１０に出力する。入力部１６０は、例えば電源スイッチ、シャッターボタン等を含む。入力部１６０は、表示部１２０と一体的に設けられたタッチパネルを有しても良い。

電子コンパス１７０は、地球が発する地磁気を検知する磁気センサを有し、検知された地磁気に基づいて、撮像装置２０が向いている方向（方位）を算出する。電子コンパス１７０は、算出した撮像装置２０の方位を制御部１１０に出力する。

＜３．表示装置の構成＞
図５を参照しながら、本開示の一実施形態に係る表示装置４０の詳細構成について説明する。図５は、一実施形態に係る表示装置４０の詳細構成を示すブロック図である。

図５に示すように、表示装置４０は、制御部２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、入力部２５０と、外部Ｉ／Ｆ（インターフェース）２６０と、を有する。

制御部２１０は、表示装置４０の各ブロックと信号をやり取りして各種演算を行い、表示装置４０の動作全体を制御する。制御部２１０は、後述する仮想三次元空間への被写体画像の配置処理等を実行する。制御部２１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含む。

記憶部２２０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）であり、撮像装置２０から受信した被写体画像を記憶する。また、記憶部２２０は、制御部２１０が実行する制御プログラムを記憶する。

通信部２３０は、例えばネットワークインタフェースカードやモデム等を有し、インターネットやＬＡＮ（Local Area Network）等のネットワークを介して、他の機器（撮像装置２０やサーバ７０）との間で通信処理を行う。通信部２３０は、撮像装置２０又はサーバ７０（撮像装置２０等とも呼ぶ）から、撮像装置２０により自動撮像された被写体画像を受信する。

表示部２４０は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）である。表示部２４０は、通信部２３０が撮像装置２０から受信した被写体画像を仮想三次元空間内に配置し、被写体画像が配置された仮想三次元空間を二次元画像として表示画面に表示する。

図６は、被写体画像が配置された仮想三次元空間を概念的に示す図である。図６に示すように、仮想三次元空間は、ユーザの視点を中心とする円の半径方向に被写体画像の撮像日時に対応する時間軸を有し、かつ円の円周方向に被写体画像の撮像位置に対応する方位軸を有する仮想の空間である。

図７は、被写体画像が配置された仮想三次元空間を二次元画像として表示画面Ｓに表示した例を示す図である。表示部２４０は、仮想三次元空間をユーザの視点から見た風景となるように描画して表示する。図７において、仮想三次元空間の横軸が方位に、縦軸が高度に、奥行き軸が時間に、それぞれ対応する。すなわち、横軸が、撮像装置２０の現在位置から見た被写体画像が撮像された場所の方位を示す。奥行き軸は、現在日時から見た被写体画像が撮像された日時を示す。縦軸は、被写体画像が撮像された場所の地表からの高度を示す。

図７においては、撮像日時が異なり、かつ撮像された方位も異なる５個の被写体画像Ｉ１〜Ｉ５が、仮想三次元空間上に配置されて２次元画像として表示されている。また、図１１に示す仮想三次元空間は、奥行き方向に遠近感を有しており、現在位置からの被写体画像の距離に応じて、被写体画像の大きさが異なる。すなわち、現在位置に最も近い被写体画像Ｉ１が最も大きく、現在位置から最も離れた被写体画像Ｉ５が最も小さい。なお、仮想三次元空間が、奥行き方向に遠近感を有さず、被写体画像Ｉ１〜Ｉ５の大きさが同じ大きさであっても良い。このように表示することで、ユーザは、複数の被写体画像の撮像位置や撮像日時の関係が容易に把握できる。

表示部２４０は、被写体画像を仮想三次元空間上に配置する前に、図８に示すように前記被写体画像を所定時間だけ拡大表示させる。この際、表示部２４０は、被写体画像にコメント（「もっとー笑顔ちょーだい」）付きの吹出しＧを付加して表示させる。図８は、コメント付きの吹出しＧが付加された被写体画像の表示例を示す図である。なお、表示部２４０は、図７に示す複数の被写体画像の中から一の被写体画像がユーザによって選択された場合に、選択された被写体画像にコメントを付加して図８のように表示する。

入力部２５０は、例えば表示部２４０と一体的に設けられたタッチパネルである。入力部２５０は、例えば画像表示アプリケーションの実行により画像やＧＵＩ（Graphical User Interface）が表示された状態で、ユーザのタッチ操作を検出し、制御部２１０に出力する。また、タッチパネルは、画像表示アプリケーションの実行中に、ユーザが画像を選択して全画面表示をしたり、視点を移動（ズームイン、ズームアウト）したりするのに用いられる。

外部Ｉ／Ｆ２６０は、例えばＨＤＭＩ（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）等の各種規格に準じて、外部機器（例えば、大画面表示装置５０）と接続し、データのやり取りを行う。例えば、表示装置４０は、外部Ｉ／Ｆ２６０を介して、大画面表示装置５０の表示画面に表示させる被写体画像やパノラマ画像を送信する。

＜４．表示制御装置の構成＞
図９を参照しながら、画像表示システム１０において画像表示を制御する情報処理装置の一例である表示制御装置３００の機能構成について説明する。図９は、表示制御装置３００の機能構成を示すブロック図である。

表示制御装置３００は、撮像装置２０によって撮像された被写体画像に対するコメントを決定し、決定したコメントを被写体画像に付与して表示させるように制御する。図９に示すように、表示制御装置３００は、画像取得部３１０と、画像解析部３２０と、コメント決定部３３０と、表示制御部３４０と、表示時間取得部３５０とを有する。なお、画像取得部３１０、画像解析部３２０、コメント決定部３３０、表示制御部３４０、及び表示時間取得部３５０は、例えば表示装置４０の制御部２１０により構成される。

画像取得部３１０は、被写体が撮像された被写体画像を取得する。例えば、画像取得部３１０は、撮像装置２０又はサーバ７０から被写体画像を取得する。被写体画像は、回転自在な回転雲台３０に載置され回転雲台３０の回転に連動して回転する撮像装置２０によって撮像されている。なお、撮像装置２０によって複数の被写体画像が自動撮像された場合には、複数の被写体画像を順次取得する。取得される一つの被写体画像は、複数の被写体が撮像された画像であっても良い。

画像取得部３１０は、被写体画像を取得する際に、被写体画像の撮像日時を示す撮像日時情報と、被写体画像の撮像位置を示す撮像位置情報も取得する。画像取得部３１０は、被写体画像と撮像日時情報と撮像位置情報を対応付けて取得する。画像取得部３１０は、取得した画像を画像解析部３２０と表示制御部３４０に出力する。

画像解析部３２０は、画像取得部３１０から入力された画像を解析する。例えば、画像解析部３２０は、画像取得部３１０により取得された被写体画像中の被写体の撮像態様を解析する。撮像態様は、複数の態様、例えば被写体の笑顔の度合い、被写体が向いている向き、複数の被写体の位置関係を含む。また、画像解析部３２０は、被写体画像中の被写体（人物）の人数を解析する。さらに、画像解析部３２０は、被写体の年齢を解析し、年齢が予め区分された複数の年齢層のいずれに該当するかを判定する。画像解析部３２０は、解析結果である解析情報をコメント決定部３３０に出力する。

コメント決定部３３０は、画像解析部３２０から入力された解析情報に基づいて、解析対象の被写体画像に付与させるコメントを決定する。コメント決定部３３０は、被写体の撮像態様に対する被写体側へのコメントや、被写体側からのコメントを決定する。また、コメント決定部３３０は、複数の被写体が撮像された被写体画像中の被写体毎に、コメントを決定する。なお、被写体側へのコメントとは、例えば被写体に対して発言するコメント、又は被写体に対して思考しているコメントである。一方で、被写体側からのコメントとは、例えば被写体から発言されるコメント、又は被写体が思考しているコメントである。

例えば、コメント決定部３３０は、被写体の笑顔の度合い、被写体が向いている向き、被写体の年齢、被写体の該当する年齢層に応じてコメントを決定しうる。また、コメント決定部３３０は、一つの被写体画像における複数の被写体の位置関係が所定範囲内にある場合に、位置関係に応じてコメントを決定しうる。さらに、コメント決定部３３０は、複数の態様の度合いを、それぞれスコア化し、複数の態様のうちのスコアが最も大きい態様に関連するコメントを決定しうる。これにより、被写体の態様に応じた適切なコメントが決定されることになる。

コメント決定部３３０は、決定したコメントを表示制御部３４０と表示時間取得部３５０に出力する。なお、コメント決定部３３０によるコメント決定処理の詳細については、後述する。

表示制御部３４０は、画像取得部３１０から入力された被写体画像を表示画面に表示させる。例えば、表示制御部３４０は、仮想三次元空間の所定の描画位置に、コメントが付加された被写体画像を表示する。このような表示を行うことで、自動撮像された画像が表示画面に順次表示されても、飽きることなく楽しむことができる。

表示制御部３４０は、被写体画像を表示画面に順次表示させる際に、コメント決定部３３０により決定されたコメントを被写体画像に付加して表示させる。例えば、表示制御部３４０は、吹出しにコメントが配置するように表示させる（図８参照）。また、表示制御部３４０は、決定された複数のコメントを対応する被写体毎に付加して表示させる。これにより、例えば被写体は表示画面に表示されたコメントを見て撮像態様を変えることで、その後に撮像されて順次表示される被写体の構図が変化するので、趣向性に富んだ表示が可能となる。なお、撮像者側のコメントとしては、例えば、次に撮像するときのポーズや表情をリクエストする内容がある。

表示時間取得部３５０は、コメント決定部３３０により決定されたコメントを被写体画像に付加して表示させる表示時間を取得する。例えば、表示時間取得部３５０は、被写体の該当する年齢層に応じて、コメントを付加した被写体画像を表示させる表示時間を取得する。このように表示画面を見るユーザの年齢層等に応じて表示時間を設定するので、ユーザはコメントを適切に把握できる。

ここで、表示時間は、例えば、表示されたコメントに表示画面を見るユーザが気付く第１時間と、コメントをユーザが読む第２時間と、コメントに対してユーザがリアクションを行う第３時間と、を加えた時間である。なお、一つの被写体画像中に複数の吹出しＧ（コメント）が付与されている場合には、複数のコメントについての第１〜第３時間を加えた時間が、表示時間となる。表示時間取得部３５０は、取得した表示時間を表示制御部３４０に出力する。なお、表示時間の取得処理の詳細については、後述する。

（４−１．コメント決定処理）
コメント決定部３３０によるコメント決定処理の詳細について、図１０〜図１５を参照しながら説明する。

図１０は、コメントが付加された被写体画像Ｉを説明するための図である。図１０には、被写体画像Ｉ１〜Ｉ６毎に、異なるコメントが付加されている。付加されるコメントは、画像中の人物の表情や撮像場面等が反映された内容となっている。なお、図１０に示すコメントが付加された被写体画像は、実際には、表示画面には１つずつ表示される。

図１０では、吹出しＧは、被写体の顔の近くに描画されている。また、一つの被写体画像に一つのコメント（吹出しＧ）が付加されているが、吹出しの数は一つに限られない。画像中の人物の人数に応じた数の吹出しが表示されても良い。例えば、画像中の人物が２人であれば、人物毎に吹出しが表示される。ただし、吹出しの数が多すぎると画像が見難くなるので、表示させる吹出しの最大数を設定しても良い。

図１１は、コメントの内容を説明するための図である。決定されるコメントは、大別すると、主観表現と客観表現とに分けられる。ここで、主観表現は、撮像される被写体である人物Ｐ１側からのコメントである。客観表現は、被写体を撮像する撮像者Ｐ２側のコメント（別言すれば、撮像者Ｐ２から被写体側へのコメント）である。そして、主観表現と客観表現のいずれか一方のコメントが選択されて、被写体画像に付加される。なお、コメントとして文字情報が示されているが、図形等を含んでも良い。

なお、コメント決定部３３０による客観表現と主観表現の選択は、以下のように行われうる。例えば、コメント決定部３３０は、主観表現のコメントと客観表示のコメントとをランダムに選択しても良く、又は主観表現のコメントと客観表示のコメントとを交互に選択しても良い。この際、コメント決定部３３０は、主観表現のコメントの表示数と客観表現のコメントの表示数との差が所定数を超えないように、選択しうる。また、コメント決定部３３０は、画像中の被写体の顔の面積が所定の大きさよりも大きい場合には主観表現のコメントを選択し、顔の面積が所定の大きさよりも小さい場合には客観表現のコメントを選択しても良い。さらに、コメント決定部３３０は、画像中の被写体の顔の向きが所定範囲内の向きである場合には主観表現のコメントを選択し、顔の向きが所定範囲外の向きである場合には客観表現のコメントを選択しても良い。上述したコメントの選択方法により、より趣向性に富んだ表示が可能となる。

ところで、図１０に示すように、主観表現のコメントの基点の位置と、客観表現のコメントの基点の位置とが異なる。具体的には、主観表現のコメントを含む吹出しＧ２、Ｇ４の基点は、被写体画像Ｉ２、Ｉ４内に位置し、客観表現のコメントを含む吹出しＧ１、Ｇ３、Ｇ５、Ｇ６の基点は、被写体画像Ｉ１、Ｉ３、Ｉ５、Ｉ６の外側に位置する。このように、主観表現のコメントと客観表現のコメントの吹出しの位置を異ならせることで、表示画面のコメントを見た際に、主観表現か客観表現かを知覚しやすくなる。

また、コメントの内容は、図１１のテーブルＴａ１に示すように、主観表現と客観表現で、依頼系の内容と、感想系の内容と、中立系の内容とに分けられる。なお、テーブル中のコメントは、予め作成されている。また、テーブルのＵＧＣ（User Generated Contents）は、ユーザが新たに作成したコメントを示す。

図１２は、コメント決定部３３０によるコメント決定処理の流れを示す概略図である。図１２に示すように、コメント決定処理は、５つのステップに分けられる。なお、以下では、客観表現のコメントを決定する場合について説明する。

１つ目のステップでは、コメント決定部３３０は、１つの被写体画像に含まれる人物の人数に応じて、被写体画像を分類する。具体的には、コメント決定部３３０は、人数が１人の画像ＩＭ１と、人数が２人〜３人の画像ＩＭ２と、人数が４人以上の画像ＩＭ３と、人数が０人の画像ＩＭ４と、に分類する。なお、人数が０人とは、画像中に人物が存在しないことを検出した場合と、人物の存在の有無を検出できない場合とを含む。

２つ目のステップでは、コメント決定部３３０は、分類された画像に応じてコメントを決定する。具体的には、コメント決定部３３０は、人数が１人の画像ＩＭ１と、人数が２人〜３人の画像ＩＭ２と、人数が４人以上の画像ＩＭ３について、笑顔の度合い（SmileScore）と世代（GenerationScore）に基づきコメントを決定する。

図１３は、笑顔の度合いと世代に基づくコメント例を説明するための図である。図１３のコメント例に示すように、笑顔の度合い（SmileScore）と世代（GenerationScore）の組み合わせでコメントが定まる。ここで、笑顔の度合いは、６つの区分に分けられている。世代は、高齢者（Elder）、大人（Adult）、子供（Baby）、検出できず（All Generation）に分けられている。なお、何れかの世代に該当する可能性が６０％より高い確率である場合に、当該世代に該当すると判定される。

例えば、世代が大人で、笑顔の度合いが１５％である場合には、「もっと笑顔下さい！」のコメントが決定される。また、世代が子供で、笑顔の度合いが６０％である場合には、「いいえがおだね！」のコメントが決定される。ここで、世代が子供であるため、コメントがひらがな表記になっている。なお、笑顔の度合い（SmileScore）と世代（GenerationScore）の組み合わせに対応したコメントは、複数のコメントの中からランダムに選択される。

図１２に示す２つの目のステップにおいて、人数が０人の画像ＩＭ４については、撮像場面に対応した中立のコメントが決定される。なお、人数が０人の画像ＩＭ４については、後述する３つ目〜５つ目のステップが行われない。

３つ目のステップでは、コメント決定部３３０は、人数が１人の画像ＩＭ１と、人数が２人〜３人の画像ＩＭ２と、人数が４人以上の画像ＩＭ３について、顔の向き（Orientation）に基づきコメントを決定する。具体的には、世代と顔の向きの組み合わせに応じたコメントが、決定される。なお、顔の向きは、直交３軸の方向（Yaw、Roll、Pitchの方向）における顔の向きで判定される。

図１４は、顔の向きに基づくコメント例を説明するための図である。ここでは、顔の向きとして、上記の直交３軸のうちの一の軸方向（Yawの方向）を例に挙げて説明する。図１４では、顔の向きが、左右正面のどちらの方向を向いているかに応じてYawScoreが設定されている。YawScoreは、−４５〜４５の値に設定される。例えば、世代が大人で、YawScoreが−３１度（右向き）の場合には、「こっち向いて下さい！」のコメントが決定される。

４つ目のステップでは、コメント決定部３３０は、人数が２人〜３人の画像ＩＭ２と、人数が４人以上の画像ＩＭ３について、人物同士の位置関係に基づきコメントを決定する。具体的には、コメント決定部３３０は、人物間の相対的な顔の大きさを比較し、コメントを決定する。なお、人数が１人の画像ＩＭ１については、４つ目のステップが行われない。

図１５は、人物同士の位置関係に基づくコメント例を説明するための図である。図１５では、撮像者からの距離が異なる位置に位置する二人の被写体Ｆ１、Ｆ２が撮像されている。撮像者に近い被写体Ｆ１の顔面積は大きく、撮像者から遠い被写体Ｆ２の顔面積は小さい。例えば、顔面積の小さい被写体Ｆ２の世代が大人で、被写体Ｆ２の被写体Ｆ１に対する顔面積の相対大きさ（Relative Size）が０．５以下である場合には、「もっと前に来ませんか？」のコメントが決定される。

５つ目のステップでは、人数が４人以上の画像ＩＭ３について、コメントを付加すべき人物を特定する。これは、一つの被写体画像中に４人以上の人物が含まれている場合に、全ての人物についてコメントを付加すると画像自体が見難くなるため、付加するコメントの数を限定するためである。そして、上述した一連の処理により、画像中の被写体の人数や被写体の態様に応じた適切なコメントが決定されることになる。

（４−２．コメント表示時間の取得処理）
表示時間取得部３５０によるコメントが付与された被写体画像の表示時間の具体的な取得処理について、図１６〜図１８を参照しながら具体的に説明する。

図１６は、被写体画像が撮像されて仮想三次元空間上に配置されるまでの期間を示す模式図である。図１６に示すように、被写体画像が撮像されて仮想三次元空間上に配置されるまでの期間には、画像の転送期間Ｔ１、表示開始期間Ｔ２、コメントの表示期間Ｔ３、画像の配置期間Ｔ４が含まれる。

画像の転送期間Ｔ１は、撮像装置２０で撮像された被写体画像が表示装置４０に転送されるまでの期間である。表示開始期間Ｔ２は、表示装置４０が受信した被写体画像が表示画面に表示されるまでの期間である。例えば、表示開始期間Ｔ２は、被写体画像のフェード・イン等の遷移アニメーションが実行される期間である。

コメント表示期間Ｔ３は、表示された被写体画像にコメントを付与して表示する期間である。コメント表示期間Ｔ３は、気付き期間Ｔ３ａと、コメント読み期間Ｔ３ｂと、リアクション期間Ｔ３ｃで構成される。

気付き期間Ｔ３ａは、ユーザがコメント付きの被写体画像が表示画面に表示されたことを気付くまでの期間である。気付き期間Ｔ３ｂには、例えば、表示画面が切り替わりユーザが振り向く動作を行う時間が含まれても良い。

コメント読み期間Ｔ３ｂは、ユーザがコメントを読み始めてから読み終わるまでの期間である。

リアクション期間Ｔ３ｃは、ユーザがコメントを読み終わった後、リアクションをとる期間である。例えば、リアクション期間Ｔ３ｃは、ユーザがコメントを読んだ後、笑ったり、指さして説明したり、他のユーザと歓談したりする期間である。なお、上記のユーザは、被写体画像中の被写体を想定している。これは、パーティショット機能においては、自動撮像される被写体が、前記被写体が撮像された被写体画像を表示する表示画面を見て、リアクションするためである。

画像の配置期間Ｔ４は、コメントが付与される被写体画像が表示画面から消えて、前記被写体画像が仮想三次元空間に配置されるまでの期間である。例えば、画像の配置期間Ｔ４は、被写体画像のフェード・アウト等の遷移アニメーションが終了するまでの期間である。

次に、図１７及び図１８を参照しながら、コメント表示期間Ｔ３の算出方法について説明する。図１７は、ユーザの年齢層と、気付き期間Ｔ３ａ及びリアクション期間Ｔ３ｃとの関係を示すテーブルＴａ２である。図１８は、ユーザの年齢層と、コメント読み期間Ｔ２ｂとの関係を示すテーブルＴａ３である。

気付き期間Ｔ３ａは、図１７に示すように、ユーザの年齢層に応じた定数に基づいて算出される。気付き期間（ＷＴ：Wakeup Time）Ｔ３ａは、ユーザの年齢層が高くなるに応じて、長くなっている。例えば、子供（Baby）の気付き期間Ｔ３ａは１（ｓ）であり、大人（Adult）の気付き期間Ｔ３ａは２（ｓ）であり、高齢者（Elder）の気付き期間Ｔ３ａは３（ｓ）である。子供（Baby）の気付き期間Ｔ３ｂが最も短い理由は、他の年齢層に比べて子供は表示画面に注目しやすいからである。なお、これらの時間は一例に過ぎず、異なる値が設定されても良い。

コメント読み期間Ｔ３ｂも、図１８に示すように、ユーザの年齢層に応じた定数に基づいて算出される。具体的には、コメント読み期間（ＢＲＴ：Baloon Reading Time）Ｔ３ｂは、下記の式により算出される。
ＢＲＴ＝ＣＣ/ＲＳ＋ＥＭＴ

ここで、ＣＣ（Character Count）は、文章の文字数である。ＣＣは、年齢層に応じて、１行当たりの文字数と、トータルの文字数が決められている。ＲＳ（Reading Speed）は、ユーザが文章を読むスピード（文字数／ｓ）を示すである。ＥＭＴ（Eye Moving Time）は、別の吹出しに視点移動する時間（ｓ）である。なお、吹出しが一つの場合には、ＥＭＴは０（ｓ）である。

例えば、大人の顔が含まれる画像に「もっと笑顔ください」のコメントを付与する場合のコメント読み期間Ｔ３ｂは、９（文字）／３（文字数／ｓ）＝３（ｓ）である。

リアクション期間Ｔ３ｃは、図１７に示すように、ユーザの年齢層に応じた定数に基づいて算出される。リアクション期間Ｔ３ｃも、ユーザの年齢層が高くなるに応じて、長くなっている。

表示時間取得部３５０は、上記のように算出した気付き期間Ｔ３ａとコメント読み期間Ｔ３ｂとリアクション期間Ｔ３ｃとを加えることで、コメント表示期間Ｔ３を取得する。表示制御部３４０は、表示時間取得部３５０により取得されたコメント表示期間Ｔ３だけ、コメントを表示させる。このようにユーザの年齢層等に応じて表示時間を設定するので、ユーザはコメントを適切に把握できる。

＜５．コメント表示処理時の画像表示システムの動作＞
図１９を参照しながら、被写体に応じたコメント表示処理について説明する。図１９は、画像中の被写体に応じたコメント表示処理を示すフローチャートである。図１９に示すフローチャートは、撮像装置２０によって被写体画像が自動撮像されたところから開始される。

本処理は、ＣＰＵがＲＯＭに格納されているプログラムを実行することによって、実現される。なお、実行されるプログラムは、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。

まず、画像取得部３１０は、被写体画像を取得する（ステップＳ１０２）。次に、画像解析部３２０は、取得した被写体画像に基づいて被写体の顔情報を取得する（ステップＳ１０４）。

次に、画像解析部３２０は、取得した顔情報に基づいて顔の数Ｎを判定する（ステップＳ１０６）。そして、ステップＳ１０６で顔の数Ｎが一つ以上であると判定された場合には（Ｙｅｓ）、コメント決定部３３０は、第１コメント決定処理を実行する（ステップＳ１０８）。

（５−１．第１コメント決定処理）
図２０及び図２１を参照しながら、ステップＳ１０８の第１コメント決定処理について説明する。図２０は、第１コメント決定処理を示すフローチャートである。図２１は、コメント決定対象の被写体を示す模式図である。図２１には、１つの画像Ｉ中にコメント決定対象の顔として、faceldx＝１の顔Ｆ１と、faceldx＝２の顔Ｆ２と、faceldx＝３の顔Ｆ３とが、示されている。

まず、コメント決定部３３０は、faceldxを１に設定する（ステップＳ２０２）。そして、コメント決定部３３０は、笑顔と世代に基づくコメント決定処理を実行する（ステップＳ２０４）。

（５−１−１．笑顔と世代に基づくコメント決定処理）
図２２を参照しながら、笑顔と世代に基づくコメント決定処理について説明する。図２２は、笑顔と世代に基づくコメント決定処理を示すフローチャートである。

まず、コメント決定部３３０は、コメント決定対象の顔情報FacialInfoを取得する（ステップＳ３０２）。ここでは、faceldx＝１の顔Ｆ１の顔情報FacialInfoが取得されるものとする。

図２３は、顔情報FacialInfoを説明するための模式図である。顔情報FacialInfoは、対象の顔毎に設定され、図２３では、faceldx＝１の顔Ｆ１の顔情報FacialInfoが示されている。顔情報FacialInfoには、SmileScore、ElderScore、AdultScore、BabyScore等が含まれている。ここで、SmileScoreは、被写体の度合いを示す。ElderScore、AdultScore、BabyScoreは、それぞれ、高齢者、大人、子供のいずれかの世代に該当するかの可能性を示す。また、Roll、Pitch、Yawは、直交３軸方向における被写体の顔の向きを示す。

コメント決定部３３０は、ElderScoreが０．６０より大きいか否かを判定する（ステップＳ３０４）。そして、ステップＳ３０４でElderScoreが０．６０より大きいと判定された場合には（Ｙｅｓ）、コメント決定部３３０は、FacialGeneration（笑顔の世代）をElder（高齢者）と設定する（ステップＳ３１２）。

ステップＳ３０４でElderScoreが０．６０より大きく無い場合には（Ｎｏ）、コメント決定部３３０は、AdultScoreが０．６０より大きいか否かを判定する（ステップＳ３０６）。そして、ステップＳ３０６でAdultScoreが０．６０より大きいと判定された場合には（Ｙｅｓ）、コメント決定部３３０は、FacialGenerationをAdult（成人）と設定する（ステップＳ３１４）。

ステップＳ３０６でAdultScoreが０．６０より大きく無い場合には（Ｎｏ）、コメント決定部３３０は、BabyScoreが０．６０より大きいか否かを判定する（ステップＳ３０８）。そして、ステップＳ３０８でBabyScoreが０．６０より大きいと判定された場合には（Ｙｅｓ）、コメント決定部３３０は、FacialGenerationをBaby（子供）と設定する（ステップＳ３１６）。

ステップＳ３０８でBabyScoreが０．６０より大きく無い場合には（Ｎｏ）、コメント決定部３３０は、Elder、Adult、Babyのいずれにも特定できない世代であるものとして、FacialGenerationがAll（全世代）と設定する（ステップＳ３１０）。

ここでは、図２３に示すfaceldx＝１の顔Ｆ１の顔情報FacialInfoでは、AdultScoreが０．６５であるので、コメント制御部３３０は、顔Ｆ１のFacialGenerationをAdultと設定する。

次に、コメント決定部３３０は、設定したFacialGenerationと、顔情報FacialInfoのSmileScoreとに基づいて、図２４に示すコメントデータベースからコメント一覧を取得する（ステップＳ３１８）。

図２４は、コメントデータベースを示すテーブルＴａ４である。図２４に示すように、コメントデータベースは、SmileScoreとGenerationによってコメントが区分けされている。例えば、顔Ｆ１のFacialGenerationがAdultで、かつSmileScoreが０．８０であるので、コメント決定部３３０は、コメントデータベースにおいて、０．８０≦SmileScoreで、GenerationがAdultである区分Ｃ１のコメント一覧を選択する。

次に、コメント決定部３３０は、取得したコメント一覧からランダムに一つのコメントを選択する（ステップＳ３２０）。これにより、faceldx＝１の顔Ｆ１についての笑顔と世代に基づくコメント決定処理が完了し、図２０に示すフローチャートに戻る。そして、コメント決定部３３０は、faceldx＝１の顔Ｆ１について、顔の向きに基づくコメント決定処理を実行する（ステップＳ２０６）。

（５−１−２．顔の向きに基づくコメント決定処理）
図２５を参照しながら、顔の向きに基づくコメント決定処理について説明する。図２５は、顔の向きに基づくコメント決定処理を示すフローチャートである。

まず、コメント決定部３３０は、コメント決定対象の顔情報FacialInfoを取得する（ステップＳ４０２）。ここでは、faceldx＝１の顔Ｆ１の顔情報FacialInfoが取得されるものとする。

次に、コメント決定部３３０は、顔情報FacialInfoのElderScore、AdultScore、BabyScoreに基づいて、FacialGenerationを設定する（ステップＳ４０４〜Ｓ４１６）。この処理は、上述した笑顔と世代に基づくコメント決定処理におけるステップＳ３０４〜Ｓ３１６と同様であるので、コメント制御部３３０は、顔Ｆ１のFacialGenerationをAdultと設定する。

次に、コメント決定部３３０は、設定したFacialGenerationと、顔情報FacialInfoのRoll、Pitch、Yawの中で最大値とを用いて、図２６に示すコメントデータベースからコメント一覧を取得する（ステップＳ４１８）。

図２６は、コメントデータベースを示すテーブルＴａ５である。図２６に示すように、コメントデータベースは、顔の向き（Orientation）とGenerationによってコメントが区分けされている。例えば、顔Ｆ１のFacialGenerationがAdultで、かつRollが最大値（７）であるので、コメント決定部３３０は、コメントデータベースにおいて、０＜Roll＜９で、かつGenerationがAdultである区分Ｃ２のコメント一覧を選択する。

次に、コメント決定部３３０は、取得したコメント一覧からランダムに一つのコメントを選択する（ステップＳ４２０）。これにより、faceldx＝１の顔Ｆ１についての顔の向きに基づくコメント決定処理が完了し、図２０に示すフローチャートに戻る。

faceldx＝１の顔Ｆ１について、笑顔と世代に基づくコメント及び顔の向きに基づくコメントの決定処理が完了すると、コメント決定部３３０は、faceldxを１だけインクリメントする（ステップＳ２０８）。そして、コメント決定部３３０は、インクリメント後のfaceldxの値が、認識した顔の数Ｎより大きいな否かを判定する（ステップＳ２１０）。

ステップＳ２１０でfaceldxの値がＮより大きく無い場合には（Ｎｏ）、コメント決定部３３０は、上述したステップＳ２０４〜Ｓ２０８の処理を繰り返す。すなわち、コメント決定部３３０は、図２１に示すfaceldx＝２の顔Ｆ２と、faceldx＝３の顔Ｆ３について、それぞれ笑顔と世代に基づくコメント及び顔の向きに基づくコメントの決定処理を行う。

ステップＳ２１０でfaceldxの値がＮより大きい場合には（Ｙｅｓ）、第１コメント決定処理が完了し、図１９に示すフローチャートに戻る。

コメント決定部３３０は、ステップＳ１０４で認識した顔の数Ｎが２以上であるか否かを判定する（ステップＳ１１０）。そして、ステップＳ１１０で顔の数Ｎが２以上であると判定された場合には（Ｙｅｓ）、コメント決定部３３０は、顔位置に基づくコメント決定処理を実行する（ステップＳ１１２）。

（５−２．顔位置に基づくコメント決定処理）
図２７を参照しながら、ステップＳ１１２の顔位置に基づくコメント決定処理について説明する。図２７は、顔位置に基づくコメント決定処理を示すフローチャートである。

まず、コメント決定部３３０は、最大の顔面積を持つ顔番号bigFaceldxを抽出する（ステップＳ５０２）。次に、コメント決定部３３０は、最小の顔面積を持つ顔番号smallFaceldxを抽出する（Ｓ５０４）。

図２８は、顔番号の抽出を説明するための模式図である。被写体の顔の大きさ（顔面積）は、撮像装置２０からの距離に比例する。すなわち、顔面積が大きい顔の位置は撮像装置２０から近い位置であり、顔面積の小さい顔の位置は撮像装置２０から離れた位置である。顔面積（faceArea）は、横幅（fwidth）と縦幅（fheight）を乗算して算出される。図２８では、最大の顔面積を持つ顔はfaceldx＝１の顔Ｆ１であり、最小の顔面積を持つ顔はfaceldx＝３の顔Ｆ３である。このため、顔番号bigFaceldx＝１であり、顔番号smallFaceldx＝３である。

次に、コメント決定部３３０は、顔番号bigFaceldxの顔面積が顔番号smallFaceldxの顔面積の２倍より大きいか否かを判定する（ステップＳ５０６）。そして、ステップＳ５０６で顔番号bigFaceldxの顔面積が顔番号smallFaceldxの顔面積の２倍より大きいと判定された場合には（Ｙｅｓ）、コメント決定部３３０は、顔番号smallFaceldxの顔（ここでは、faceldx＝３の顔Ｆ３）に対してコメントを決定することを設定する（ステップＳ５０８）。

次に、コメント決定部３３０は、顔番号smallFaceldxの顔に対して、コメントデータベースから顔位置によるコメントをランダムに決定する（ステップＳ５１０）。次に、コメント決定部３３０は、顔番号smallFaceldxの顔に対して、コメントスコア０．８０を付与し（ステップＳ５１２）、顔位置に基づくコメント決定処理を完了する。

なお、ステップＳ５０６で顔番号bigFaceldxの顔面積が顔番号smallFaceldxの顔面積の２倍より大きく無い場合には（Ｎｏ）、コメント決定部３３０は、コメントを決定せずに、処理を完了する。そして、処理が完了すると、図１９に示すフローチャートに戻る。

コメント決定部３３０は、ステップＳ１０４で認識した顔の数Ｎが４以上であるか否かを判定する（ステップＳ１１４）。そして、ステップＳ１１４で顔の数Ｎが４以上であると判定された場合には（Ｙｅｓ）、コメント決定部３３０は、コメントを付与する被写体の特定処理を実行する（ステップＳ１１６）。

（５−３．コメントを付与する被写体の特定処理）
図２９を参照しながら、ステップＳ１１６のコメントを付与する被写体の特定処理について説明する。図２９は、コメントを付与する被写体の特定処理を示すフローチャートである。

まず、コメント決定部３３０は、faceldxを１に設定する（ステップＳ６０２）。次に、コメント決定部３３０は、図３０に示すfaceldx＝１の顔Ｆ１に関するコメント一覧FacialComment［］を、CommentHolder[faceldx]から取り出す（ステップＳ６０４）。

図３０は、CommentHolder[faceldx]を説明するための模式図である。図３０に示すように、顔毎にCommentHolder[faceldx]が設定されている。そして、CommentHolder[faceldx]は、FacialComment（笑顔・世代コメント、位置コメント１、位置コメント２、向きコメント）を含んでいる。

次に、コメント決定部３３０は、取り出した４つのFacialCommentの中から最大のスコアのコメントを有するコメントを選択する（ステップＳ６０６）。図３０では笑顔・世代コメントが最大のスコアを有するので、コメント決定部３３０は、笑顔・世代コメント（「いい笑顔」）を選択する。

次に、コメント決定部３３０は、faceldxを１だけインクリメントする（ステップＳ６０８）。そして、コメント決定部３３０は、インクリメント後のfaceldxの値が、認識した顔の数Ｎより大きいな否かを判定する（ステップＳ６１０）。

ステップＳ６１０でfaceldxの値がＮより大きく無い場合には（Ｎｏ）、コメント決定部３３０は、上述した処理Ｓ６０２〜Ｓ６０８を繰り返す。すなわち、コメント決定部３３０は、図３０に示す４つの顔について、スコアが最大のコメントを選択する。

ステップＳ６１０でfaceldxの値がＮより大きい場合には（Ｙｅｓ）、コメント決定部３３０は、４つの顔のうちスコアが上位３つの顔を選択し、表示フラグを設定する（ステップＳ６１２）。これにより、コメントを付与する被写体の特定処理が完了し、図１９に示すフローチャートに戻る。

表示制御部３４０は、表示画面にコメントを含む吹出しを表示させる（ステップＳ１２０）。表示制御部３４０は、例えば図２９のステップＳ６１２で表示フラグが設定された３つの顔について、吹出しを表示させる。

なお、ステップＳ１０６で認識した顔の数Ｎが０である場合には（Ｎｏ）、コメント決定部３３０は、中立のコメントを決定する（ステップＳ１１８）。そして、表示制御部３４０は、表示画面に決定した中立のコメントを表示させる（ステップＳ１２０）。

また、ステップＳ１１０で認識した顔の数Ｎが２未満である場合には（Ｎｏ）、表示制御部３４０は、顔毎に、笑顔・世代コメントと向きコメントのうちスコアが高い方のコメントを表示させる（ステップＳ１２０）。これにより、被写体に応じたコメント表示処理が完了する。

＜６．まとめ＞
上述したように、本開示に係る情報処理装置は、取得された被写体画像中の被写体の撮像態様を解析し、解析結果に基づいて、表示画面に前記被写体画像に付加して表示される撮像態様に対するコメントを決定する。これにより、例えば被写体は表示画面に表示されたコメントを見て撮像態様を変えることで、その後に撮像されて表示される被写体の構図が変化するので、趣向性に富んだ表示が可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、上記において、図９に示す画像取得部３１０、画像解析部３２０、コメント決定部３３０は、表示装置４０の制御部２１０によって構成されることとしたが、これに限定されない。例えば、図３に示すサーバ７０が、画像解析部３１０、画像解析部３２０、コメント決定部３３０を有する情報処理装置であることとしても良い。すなわち、サーバ７０が、取得された被写体画像中の被写体の撮像態様を解析し、解析結果に基づいて、表示画面に前記被写体画像に付加して表示される撮像態様に対するコメントを決定する。かかる場合には、サーバ７０において決定されたコメントの情報が、表示装置４０に送信され、表示装置４０は、受信したコメントの情報に基づいて、被写体画像とコメントを共に表示することになる。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

本明細書において説明した表示制御装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）被写体が撮像された被写体画像を取得する画像取得部と、
前記画像取得部により取得された前記被写体画像中の前記被写体の撮像態様を解析する画像解析部と、
前記画像解析部の解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定するコメント決定部と、
を備える、情報処理装置。

（２）前記被写体画像を表示画面に表示させる際に、前記コメント決定部により決定された前記コメントを前記被写体画像に付加して表示させる表示制御部を更に備える、前記（１）に記載の情報処理装置。

（３）前記撮像態様は、前記被写体の笑顔の度合いを含み、
前記コメント決定部は、前記笑顔の度合いに応じて前記コメントを決定する、前記（１）又は（２）に記載の情報処理装置。

（４）前記被写体画像は、複数の前記被写体が撮像された画像であり、
前記撮像態様は、前記複数の被写体の位置関係を含み、
前記コメント決定部は、前記位置関係が所定範囲内にある場合に、前記位置関係に応じて前記コメントを決定する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。

（５）前記撮像態様は、前記被写体が向いている向きを含み、
前記コメント決定部は、前記向きに応じて前記コメントを決定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。

（６）前記画像解析部は、前記被写体の年齢、又は前記年齢が、区分された複数の年齢層のいずれに該当するかを判定し、
前記コメント決定部は、前記被写体の年齢、又は前記被写体の該当する年齢層に応じて前記コメントを決定する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。

（７）前記被写体画像は、複数の前記被写体が撮像された画像であり、
前記コメント決定部は、前記被写体画像中の被写体毎に前記コメントを決定し、
前記表示制御部は、決定された複数のコメントを対応する被写体毎に付加して表示させる、前記（１）〜（６）のいずれか１項に記載の情報処理装置。

（８）前記撮像態様は、複数の態様を含み、
前記コメント決定部は、
前記複数の態様の度合いを、それぞれスコア化し、
前記複数の態様のうちの前記スコアが最も大きい態様に関連する前記コメントを決定する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。

（９）前記コメント決定部は、更に、前記撮像態様に対して、被写体側へのコメント、又は被写体側からのコメントを決定する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。

（１０）前記被写体画像を表示画面に表示させる際に、前記コメント決定部により決定された前記コメントを前記被写体画像に付加して表示させる表示制御部を更に備え、
前記表示制御部は、
前記コメントを囲む吹出しを前記被写体画像に付加して表示させ、
前記被写体側へのコメントの場合には、前記吹出しの基点が前記表示画面において前記被写体画像外に位置するように、前記吹出しを表示させ、
前記被写体側からのコメントの場合には、前記吹出しの基点が前記表示画面において前記被写体画像内に位置するように、前記吹出しを表示させる、前記（９）に記載の情報処理装置。

（１１）前記コメント決定部により決定された前記コメントを前記被写体画像に付加して表示させる表示時間を取得する表示時間取得部を更に備える、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。

（１２）前記画像解析部は、前記被写体の年齢、又は前記年齢が、区分された複数の年齢層のいずれに該当するかを判定し、
前記表示時間取得部は、前記被写体の年齢、又は前記被写体の該当する年齢層に応じて前記表示時間を取得する、前記（１１）に記載の情報処理装置。

（１３）前記表示時間は、
表示された前記コメントに前記表示画面を見るユーザが気付く第１時間と、
前記コメントを前記ユーザが読む第２時間と、
前記コメントに対して前記ユーザがリアクションを行う第３時間と、
を加えた時間である、前記（１１）又は（１２）に記載の情報処理装置。

（１４）前記表示制御部は、
ユーザの視点を中心とする円の半径方向に前記撮像日時に対応する時間軸を有し、かつ前記円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間の所定の描画位置に、
前記コメントが付加された前記被写体画像を描画する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。

（１５）被写体が撮像された被写体画像を取得することと、
取得された前記被写体画像中の前記被写体の撮像態様を解析することと、
解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定することと、
を含む、情報処理方法。

（１６）コンピュータに、
被写体が撮像された被写体画像を取得することと、
取得された前記被写体画像中の前記被写体の撮像態様を解析することと、
解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定することと、
を実行させるための、プログラム。

１０ 画像表示システム
２０ 撮像装置
３０ 回転雲台
４０ 表示装置
５０ 大画面表示装置
７０ サーバ
１１０ 制御部
１２０ 表示部
１３０ 撮像部
１４０ 通信部
１５０ 記憶部
１６０ 入力部
１７０ 電子コンパス
２１０ 制御部
２２０ 記憶部
２３０ 通信部
２４０ 表示部
２５０ 入力部
２６０ 外部Ｉ／Ｆ
３００ 表示制御装置
３１０ 画像取得部
３２０ 画像解析部
３３０ コメント決定部
３４０ 表示制御部
３５０ 表示時間取得部

Claims (16)

1. 被写体が撮像された被写体画像を取得する画像取得部と、
   前記画像取得部により取得された前記被写体画像中の前記被写体の撮像態様を解析する画像解析部と、
   前記画像解析部の解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定するコメント決定部と、
   を備える、情報処理装置。
2. 前記被写体画像を表示画面に表示させる際に、前記コメント決定部により決定された前記コメントを前記被写体画像に付加して表示させる表示制御部を更に備える、請求項１に記載の情報処理装置。
3. 前記撮像態様は、前記被写体の笑顔の度合いを含み、
   前記コメント決定部は、前記笑顔の度合いに応じて前記コメントを決定する、請求項１に記載の情報処理装置。
4. 前記被写体画像は、複数の前記被写体が撮像された画像であり、
   前記撮像態様は、前記複数の被写体の位置関係を含み、
   前記コメント決定部は、前記位置関係が所定範囲内にある場合に、前記位置関係に応じて前記コメントを決定する、請求項１に記載の情報処理装置。
5. 前記撮像態様は、前記被写体が向いている向きを含み、
   前記コメント決定部は、前記向きに応じて前記コメントを決定する、請求項１に記載の情報処理装置。
6. 前記画像解析部は、前記被写体の年齢、又は前記年齢が、区分された複数の年齢層のいずれに該当するかを判定し、
   前記コメント決定部は、前記被写体の年齢、又は前記被写体の該当する年齢層に応じて前記コメントを決定する、請求項１に記載の情報処理装置。
7. 前記被写体画像は、複数の前記被写体が撮像された画像であり、
   前記コメント決定部は、前記被写体画像中の被写体毎に前記コメントを決定し、
   前記表示制御部は、決定された複数のコメントを対応する被写体毎に付加して表示させる、請求項１に記載の情報処理装置。
8. 前記撮像態様は、複数の態様を含み、
   前記コメント決定部は、
   前記複数の態様の度合いを、それぞれスコア化し、
   前記複数の態様のうちの前記スコアが最も大きい態様に関連する前記コメントを決定する、請求項１に記載の情報処理装置。
9. 前記コメント決定部は、更に、前記撮像態様に対して、被写体側へのコメント、又は被写体側からのコメントを決定する、請求項１に記載の情報処理装置。
10. 前記被写体画像を表示画面に表示させる際に、前記コメント決定部により決定された前記コメントを前記被写体画像に付加して表示させる表示制御部を更に備え、
    前記表示制御部は、
    前記コメントを囲む吹出しを前記被写体画像に付加して表示させ、
    前記被写体側へのコメントの場合には、前記吹出しの基点が前記表示画面において前記被写体画像外に位置するように、前記吹出しを表示させ、
    前記被写体側からのコメントの場合には、前記吹出しの基点が前記表示画面において前記被写体画像内に位置するように、前記吹出しを表示させる、請求項９に記載の情報処理装置。
11. 前記コメント決定部により決定された前記コメントを前記被写体画像に付加して表示させる表示時間を取得する表示時間取得部を更に備える、請求項１に記載の情報処理装置。
12. 前記画像解析部は、前記被写体の年齢、又は前記年齢が、区分された複数の年齢層のいずれに該当するかを判定し、
    前記表示時間取得部は、前記被写体の年齢、又は前記被写体の該当する年齢層に応じて前記表示時間を取得する、請求項１１に記載の情報処理装置。
13. 前記表示時間は、
    表示された前記コメントに前記表示画面を見るユーザが気付く第１時間と、
    前記コメントを前記ユーザが読む第２時間と、
    前記コメントに対して前記ユーザがリアクションを行う第３時間と、
    を加えた時間である、請求項１１に記載の情報処理装置。
14. 前記表示制御部は、
    ユーザの視点を中心とする円の半径方向に前記撮像日時に対応する時間軸を有し、かつ前記円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間の所定の描画位置に、
    前記コメントが付加された前記被写体画像を描画する、請求項１に記載の情報処理装置。
15. 被写体が撮像された被写体画像を取得することと、
    取得された前記被写体画像中の前記被写体の撮像態様を解析することと、
    解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定することと、
    を含む、情報処理方法。
16. コンピュータに、
    被写体が撮像された被写体画像を取得することと、
    取得された前記被写体画像中の前記被写体の撮像態様を解析することと、
    解析結果に基づいて、表示画面に前記被写体画像に付加して表示される前記撮像態様に対するコメントを決定することと、
    を実行させるための、プログラム。
    

Images