JP2021077131A - 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム - Google Patents

Abstract

【課題】撮影の構図について、評価対象のコミュニティに応じたアドバイスを提供する。【解決手段】構図アドバイスシステムは、ＳＮＳに投稿された複数の画像の構図に関する評価を学習する学習手段と、ユーザによって操作される端末において撮像される画像を解析して特徴情報を抽出する抽出手段と、ユーザの操作によって構図が暫定的に指定されると、抽出された特徴情報に基づき、構図に従って撮影された画像に対してＳＮＳにおいて与えられると推測される評価を表す情報をユーザに通知する通知手段と、を有する。【選択図】図１

Description

本発明は、ＩｏＴ（Internet of Things）の技術を用いて、ユーザによる撮影を支援する技術に関する。

写真撮影を行う際に、構図の選択は重要である。この点に鑑み、構図についてのアドバイス情報を提供する技術がある。例えば、一般的・標準的に好ましいとされている構図の特徴を予め記憶しておき、記憶された構図の特徴を参照して構図を評価することが行われている。また、特許文献１では、被写体となる人物から依頼された撮影者に対し、当該人物の希望に沿った構図にて撮影ができるようなアドバイス情報が提供される。

特開２０１０-１４１６０９号公報

しかし、そもそも構図の評価には少なからず主観的要素が入る。同一の構図であっても、ある人にとっては斬新で面白い構図だと感じるが、他の人にとっては、基本に忠実でないあるいは整然としていないなどと感じることがあり得る。すなわち、どのような評価者を想定するのかによって、構図に関するアドバイスの内容は異なり得る。
従来技術においては、評価者は自分か、もしくは一般的・平均的な人を想定していた。よって、評価者に応じたアドバイス情報を提供することができなかった。
本発明は、撮影の構図について、評価対象のコミュニティに応じたアドバイスを提供することを目的とする。

本発明は、一の態様において、ＳＮＳに投稿された複数の画像の構図に関する評価を学習する学習手段と、ユーザによって操作される端末において撮像される画像を解析して特徴情報を抽出する抽出手段と、撮影が実行される前に前記ユーザの操作によって構図が暫定的に指定されると、該抽出された特徴情報に基づき、当該構図に従って撮影された画像に対して前記ＳＮＳにおいて与えられると推測される評価を表す情報を前記ユーザに通知する通知手段とを有する構図アドバイスシステムを提供する。

本発明によれば、評価者の属するコミュニティに応じた、撮影の構図に関するアドバイスが提供される。

第１実施例に係る構図アドバイスシステムの概要図。 カメラ１００の外観図。 構図アドバイスシステムの動作例。 カメラ１００に表示される画像の例（その１）。 カメラ１００に表示される画像の例（その２）。 カメラ１００に表示される画像の例（その３）。 カメラ１００に表示される画像の例（その４）。 カメラ１００に表示される画像の例（その５）。 第２実施例に係る構図アドバイスシステムの動作例。 スマートフォン１００Ａに表示される画像の例（その１）。 スマートフォン１００Ａに表示される画像の例（その２）。 スマートフォン１００Ａに表示される画像の例（その３）。 スマートフォン１００Ａに表示される画像の例（その４）。 スマートフォン１００Ａに表示される画像の例（その５）。

＜実施例１＞
図１は構図アドバイスシステムの機能図である。構図アドバイスシステムは、カメラ１００と、サーバ２００と、ＳＮＳサイト３００と、インターネット４００を含む。カメラ１００は、ユーザが撮影をするために用いられる機材である。サーバ２００は、構図アドバイスを提供するサービスを提供する会社によって運営されるサーバ装置である。ＳＮＳサイト３００-１、３００-２、３００-３（以下、各ＳＮＳサイトを区別しない場合は単にＳＮＳサイト３００と記す）は、Instagram（登録商標）、Facebook（登録商標）等の、いわゆるＳＮＳ（ソーシャル・ネットワーキング・サービス）であって、各ユーザが、メッセージやユーザが撮影した画像（動画または静止画）などの情報を投稿（アップロード）して情報の共有を行うサービスを提供するサーバである。カメラ１００、サーバ２００、ＳＮＳサイト３００はインターネット４００によって接続される。なお、図示されているＳＮＳサーバおよびカメラ１００の数は例示にすぎない。同図では、便宜上、カメラ１００は一台のみ描かれているが、構図アドバイスシステムを利用するユーザの数だけカメラ１００が存在し得る。
以下では、ユーザがカメラ機器を用いて撮影して得られた写真や映像を表す情報を単に「画像」といい、コンピュータグラフィックスなどの撮影行為とは関係なく生成される画像データは含まれないものとする。

カメラ１００は、レンズ、撮像素子などからなる光学系と、受光した光をデジタル信号に変換することによって画像データを生成する画像処理プロセッサと、生成された画像データを記憶メディア等に記録するデジタルカメラである。また、撮影によって得られた画像データの閲覧や加工・編集等を行う一般的な機能を有する。加えて、カメラ１００は通信機能を有する。

具体的には、カメラ１００は、制御部１１０と、撮像部１２０と、操作部１３０と、表示部１４０と、メモリ１５０と、通信部１６０と、画像編集部１７０とを含む。

通信部１６０は、ＩＥＥＥやＷｉＦｉ等の通信規格にしたがって有線または無線にて情報の授受を行うための通信インタフェースであって、インターネット４００を介してサーバ２００と情報の送受信を行う。
画像編集部１７０は、画像処理プロセッサによって実現され、自動的にもしくはユーザの指示に基づいて、カメラ１００にて撮影して得られた画像の加工・編集（色補正や形状補正等）を行う。

操作部１３０は、ボタンやタッチパネル等の入力デバイスであって、ユーザの指示や情報をカメラ１００に入力する。具体的には、指示には、構図の暫定的な決定、構造の確定、確定した構図に従った撮影の実行（画像データの生成および保存）、撮影した画像のＳＮＳサイト３００への投稿に係る指示が含まれる。また、画像をＳＮＳサイト３００に投稿する際に、タグ（ハッシュタグなど）の識別情報や画像の説明文、その他のテキスト情報（以下、付加情報という）とともに投稿する際に、当該付加情報の入力に用いられる。

メモリ１５０は、半導体メモリやＳＤカード等の、内蔵型または携帯型（着脱可能型）の記憶デバイスであって、カメラ１００の制御プログラムのほか、撮影した画像のデータや、カメラ１００のユーザが自分が撮影した写真に対して評価をしてもらいたいと考える評価者や評価者のグループ（ＳＮＳサイト等のコミュニティ；以下、ターゲット評価者という）、目指すべき構図や構図の良し悪しを判断する上での基準(評価基準という)、目指すべき構図の撮影を行った撮影者（コミュニティに属するか否かとは無関係、例えばユーザの好みに合致したプロの写真家など；以下、手本撮影者という）を特定する情報が記憶される。

加えて、メモリ１５０には、ユーザに関する情報（ユーザ属性という）が記憶されていてもよい。ユーザ属性には、例えば、年齢、性別、職業、知名度、（著名人か一般人かなど）、ＳＮＳ上の影響力（例えばユーザが開設したページの登録者数、フォロワー数等で規定することができる）、ＳＮＳへの投稿行動に関する情報（ＳＮＳを利用した期間、コメント、文章、画像その他のコンテンツを投稿した回数など）、過去の投稿に対する評価（例えば、投稿した一つ画像に対してユーザのページ閲覧した他のユーザから得た「いいね」や「高評価」の平均値などとして定義することができる）に関する情報が含まれ得る。

後述するように、サーバ２００にてユーザが決定した構図に対するフィードバック情報を生成する際に活用することができる情報であればよい。フィードバック情報にユーザ属性を加味するのは、投稿された画像ＳＮＳ上における評価は、そのＳＮＳとは関係がないユーザ属性あるいはそのＳＮＳに関係するユーザ属性に依存し得るからである。

制御部１１０は、汎用または専用のプロセッサによって実現され、抽出部１１１と指定部１１２を含む。
具体的には、抽出部１１１は、ユーザによって撮像された画像を解析して特徴情報を抽出する。特徴情報には、構図に関する情報が含まれる。構図に関する情報には、横位置・縦位置（横長の画面構成にするか縦長の画面構成にするか）、１/３構図（３分割法）や日の丸構図等の手法に照らして、画面における被写体の位置が適切な位置に配置されているか、被写体に対する風景の割合（中心となる被写体以外のものをどの程度画面に取り込むか）についての情報が含まれる。加えて、被写体までの距離、方向（どの方向から被写体を捉えたのか）、角度（アングル）が含まれていてもよい。さらに、被写体の具体的な内容（人物なのか動植物なのか無生物（風景））であるかの情報が含まれていてもよい。あるいは、構図に関する情報には、色味、歪み、撮影角度、露出、ピンボケ具合等の、一般的には撮影技法や撮影機材に起因した特徴を含んでいてもよい。
すなわち、ここでいう構図とは、狭い意味ではなく、撮影された内容の評価に関わるあらゆる要素を含み得る。

指定部１１２は、ターゲット評価者および/または手本撮影者を指定する。具体的には、指定部１１２は、メモリ１５０からターゲット評価者や手本撮影者を特定する情報を読み出す。あるいは、指定部１１２は、これらの情報を操作部１３０から入力するようにユーザを促すためのメッセージを表示部１４０に表示することによって、情報を取得する。

表示部１４０は、画像処理プロセッサや液晶表示パネル、パネルの駆動回路等によって実現され、構図に関するアドバイス情報をユーザに通知する。具体的には、ユーザによって操作される撮像装置の表示画面に、撮像された画像に重ねて、サーバ２００から取得したアドバイス情報を表示する（いわゆるＡＲ（拡張現実）表示）。好ましい態様において、通知の実行タイミングは、構図を確定させる操作が行われた後であって、撮影条件を確定させる操作が行われる前である。なお、表示部１４０にスピーカ機能を設け、ＡＲ表示に替えてもしくはＡＲ表示に加えて、アドバイス情報その他のフィードバック情報を音声によって通知してもよい。

このように、カメラ１００は、撮影で得られた画像データまたは当該画像データを特徴付ける情報をサーバ側に送信するとともに、通信網を介してサーバ側から、表示処理その他のカメラの制御に用いられる情報を受信する機能を有するＩｏＴデバイス（エッジデバイス）の一種と把握できる。

図２はカメラ１００の外観図である。カメラ１００は、シャッタボタン１９１と、操作ボタン１９２と、画面１９３を有する。

画面１９３は、表示部１４０を構成し、液晶画面であって、構図の確認、撮影して得られた画像データに基づく画像の表示を行う。なお、タッチパネル入力機能を備えてもよい。
シャッタボタン１９１および操作ボタン１９２は、操作部１３０の構成要素の一部であり、ユーザによって操作されて各種指示を受付ける。例えば、シャッタボタン１９１は通常の押下と長押しとを別の操作内容であると区別して受付ける。長押し操作がされた場合は、撮影条件（構図など）の決定指示として受付けられる。この状態では画像データはメモリ１５０に記憶されず、画面１９３に画像が表示されるのみである。一方、通常押し操作がされた場合は撮影の実行（シャッタ制御）の指示として受付けられる。
一方操作ボタン１９２は、ズーム、露出など撮影条件の決定、撮影した画像の選択、閲覧、加工・編集等の指示を入力するために用いられる。

図１に戻ってサーバ２００を説明する。サーバ２００は、通信部２１０、記憶部２２０、学習部２３０、および通知部２４０を含む。
通信部２１０は、ＳＮＳサイト３００およびカメラ１００と情報の授受を行うための通信ＩＦである。
記憶部２２０は、半導体メモリやハードディスク等の記憶デバイスであって、各ＳＮＳサイト３００に対応付けて、収集した画像の特徴情報と、画像の評価に関する情報を記憶する。具体的には、学習部２３０にて生成された、アルゴリズム、学習済みモデル、パラメータセットなどの、ＳＮＳ上において画像を評価するために用いられる情報が記憶される。加えて、画像（ＳＮＳにアップロードされているか否かは問わない）の特徴情報と、その画像の撮影者とを対応付けて記憶する。なお、構図の特徴情報に加えて、画像データ自体を収集して記憶してもよい。

学習部２３０は、プロセッサとして実現され、ＳＮＳサイト３００において所定の評価基準を満たす画像の構図を学習する。具体的には、評価基準は、投稿された画像をおよび当該画像（投稿）に対して他のユーザから提供された評価（良い/悪い、点数という情報のほか、閲覧数など、その投稿者がフォローされている数、そのユーザがＳＮＳ上に設けているページの登録者数など）に基づいて算出される。評価基準は、当該画像の評価に関係すると推定されるいかなる情報も含み得る。よって、なお、画像の評価に関する情報には、画像自体（構図など）の特徴に加え、評価者の情報（例えば年齢、性別など）、投稿者の情報（例えば年齢、性別など）、投稿のタイミングについての情報、画像の付加情報に関する情報が含まれていてもよい。仮に同じ画像が同じＳＮＳ上で投稿されたとしても、投稿者が有名人であるか否か、評価者に有名人が含まれているか、投稿者によるキャッチ―コメントが付されているか、検索しやすい識別情報が付されているか否かなどの要因によって、その画像の評価は異なることも考えられるからである。

一例として、学習部２３０は、ＷＥＢスクレイピング等の手法を用いてＳＮＳサイト３００にアクセスし、そのＳＮＳサイト３００においてどのような特徴情報を有していれば、その画像が投稿された場合に高評価が得られるのかを、予め定められたアルゴリズムや機械学習等の手法を用いて、取得する。具体的には、訓練データとしてユーザの評価を学習器に入力することによって、画像の構図を分類する分類器や評価するための回帰モデル（学習済モデル）を生成する。要するに、学習部２３０は、ある構図に従って撮影された画像に対し、その画像がＳＮＳに投稿されたと仮定した場合に、前記ＳＮＳにおいて与えられると推測される評価を表す情報を生成する必要な学習を行う。

学習モデルを生成する機械学習の手法としては、例えばＤｅｅｐ Ｎeｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ、深層学習）を用いることができる。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒal Ｎｅｔｗｏｒｋ）などが適用可能である。なお、学習を行うタイミングについては、同一コミュニティでも評価される構図に流行があり得ることを考慮し、できるだけ頻繁にＳＮＳサイト３００にアクセスし、画像や評価の情報を更新することが好ましい。

通知部２４０は、好ましい態様において、カメラ１００から取得した構図の特徴情報を学習した構図の特徴情報と比較し、比較の結果に基づいて、ユーザによって決定された構図を学習済みの（すなわち高評価が期待される）構図に近づけるためのアドバイス情報を生成する。
例えば、特徴情報が、カメラアングル、画角、被写体までの距離、画面内における被写体の位置または大きさ（割合）というパラメータで構成されている場合、所定の画像マッチングアルゴリズムを用いて、この構図の画像をＳＮＳにアップロードした場合に得られると推定される評価値を算出する。そして、このＳＮＳにおいて評価の向上に最も効果的であると推定される一つのパラメータを特定する。そして、特定したパラメータについて、理想的な値を決定し、現在の値と理想的な値との差分に基づいてアドバイス情報を生成する。

例えば、ある構図において、あるＳＮＳサイトにおいてはカメラアングルを変更することが最も合理的に評価を上げる方法であるだと通知部２４０が決定した場合、「カメラアングルを被写体に対して斜め下方４５°となるように変更する」という内容のアドバイス情報を生成する。なお、複数のパラメータと各パラメータの変更量を決定して、アドバイス情報に内包させてもよい。また、パラメータの変更値は算出せず、変更すべきパラメータの項目のみがアドバイス情報に内包されていてもよい。例えば、「被写体の選択をやり直す」という内容のアドバイス情報が生成される。
要するに、アドバイス情報は、ユーザが決定した構図よりも高評価を得ることができると推定される構図が存在すること、およびその場合においてユーザによる構図の変更を支援する情報であればよい。

アドバイス情報の要求に手本撮影者についての情報が内包されていた場合、アドバイス情報には、ユーザが決定した構図を、手本撮影者が撮影した画像の構図に近づけるための情報が含まれてもよい。具体的には、メモリ１５０に記憶された手本撮影者が撮影した画像の傾向や特徴を示す情報と、ユーザが決定した構図の特徴情報とを比較し、その差異を小さくするための、パラメータ項目および/またはその値の変更量を決定する。
例えば、ユーザが指定した有名写真家Ａが風景写真家である場合、通知部２４０は、「画面上の被写体に対する背景の割合」というパラメータ項目１と、「コントラスト」というパラメータ項目２とにおいて、ユーザが決定した構図との差異が著しく大きいと判定し、パラメータ項目１に関して「もう少し遠景にフォーカスする」、「色彩が豊かなシーンを探す」というアドバイス情報が生成される。

アドバイス情報の要求に手本撮影者とターゲット評価者についての情報が含まれていた場合において、手本撮影者の画像がＳＮＳに存在する場合はＳＮＳの投稿から当該手本撮影者の高評価がついた画像のみを所定数抽出して、抽出された画像に係る構図の特徴情報を算出して、カメラ１００から取得した特徴情報と比較する。
あるいは、ＳＮＳにおいて撮影者に関係なく高評価がついている学習済みの構図の特徴情報と、この手本撮影者の画像の構図の特徴情報とに共通する情報（パラメータの項目や値）を決定し、該決定した情報に基づいて特徴情報を算出し、カメラ１００から取得した特徴情報と比較する。そして、比較の結果に基づいて構図の修正の内容や方向性を決定し、アドバイス情報として記述する。

さらに、通知部２４０は、上記アドバイス情報に、ユーザが指定した構図の画像を、所定の評価基準を満たす画像に近づけるための画像加工処理についてのアドバイスを内包させてもよい。例えば、色彩変更、ぼかし、変形など、撮影のやり直しを伴わずに目的の画像を得るための画像処理の方法についての情報が含まれる。
生成されたアドバイス情報は、通信部２１０を介して、カメラ１００に送信される。
なお、通知部２４０が通知する情報には、構図の具体的な改善方法についてのアドバイスは含まれず、ユーザが指定した構図に従った画像をＳＮＳに投稿した場合にそのＳＮＳにおいて受けるであろうと推測される評価を表す情報のみが含まれていてもよい。換言すると、ＳＮＳへの投稿を前提とした撮影時にユーザによる構図の決定を支援するための情報が、投稿者あるいは投稿予定者にフィードバックされればよい。評価を表す情報は、その画像を閲覧した他のユーザが「いいね」ボタンや「高評価」ボタンを入力すると総数として表現される。評価の体系や表現方法は各ＳＮＳの仕組みに依存してもよい、例えば閲覧者に「評価しない」または「低評価」が与えられたという情報が加味されてもよい。

図３は構図アドバイスシステムの動作の一例を示す。
カメラ１００は、シャッタボタン１９１が押下されるなどして、ユーザが構図を確定させたかを判定する（Ｓ５０１）。構図が確定すると、当該構図の特徴情報を抽出する（Ｓ５０２）。続いて、メモリ１５０から情報を読み出すなどして、ターゲット評価者を設定する（Ｓ５０３）。なお、ターゲット評価書に加えてまたは替えて、手本撮影者を設定してもよい。例えば、ユーザに、画面１９３に「アドバイス情報を取得しますか？取得する場合、ターゲットのＳＮＳを選択してください。または、お手本の写真家を指定してください」等のメッセージを表示することによって、アドバイス情報の要否を求め、ユーザが希望する場合はターゲット評価者および/またはターゲット評価者を設定してもよい。
カメラ１００は、構図の特徴情報とターゲット評価者および/または手本撮影者の情報とが内包された要求を、サーバ２００へ送信する（Ｓ５０４）。

当該要求を受信したサーバ２００は、記憶部２２０から必要な情報を読み出し、当該要求の内容に対応するアドバイス情報を生成（Ｓ５０５）し、生成したアドバイス情報をカメラ１００へ送信（Ｓ５０６）する。カメラ１００は、アドバイス情報を受信すると、当該アドバイス情報を画面１９３に撮影した画像に重ねて表示する（Ｓ５０７）。

図４は、アドバイス情報を受信したカメラ１００に表示される画面の例である。画面１９３には、撮影した（構図が確定した）画像の上に、オブジェクトＯＢ１、オブジェクトＯＢ２，オブジェクトＯＢ３が重ねて表示されている。
オブジェクトＯＢ１は、アドバイスの内容を示すテキスト情報の例である。オブジェクトＯＢ２は特徴情報に基づいて特定された被写体を示す枠である。オブジェクトＯＢ３は、構図の修正の方向性を示す矢印である。この例では、被写体が画面中心部ではなく、右側に配置されるようにカメラアングルを調整するようにアドバイスされている。このように、オブジェクトを撮影した画像に重ねて表示することで、ユーザはアドバイス内容を直感的に把握することができる。

このアドバイスを参考にして、ユーザは撮影位置等を変更して再びシャッタボタン１９１を長押しして構図を確定させると、構図の変更に起因して、例えば図５に示すような画面が表示される。この例では、オブジェクトＯＢ４によって、ユーザが指定した構図が理想的である状態（構図の修正が特段不要）であることが通知されている。

例えば、構図についてはあまり改善の余地がないと判断された場合など、アドバイス情報に画像処理に関する情報のみが含まれている場合は、図６に示すように、画像加工の実行を提案するメッセージを表示してもよい（オブジェクトＯＢ５）。ユーザが画像加工の実行を指定すると、図７に示す画面が表示され、具体的な画像処理の実行が支援される。

また、アドバイス情報に、ユーザが指定したＳＮＳ３００においてユーザが撮影した構図と類似する構図で評価が高い画像データが含まれている場合は、図８に示すように、当該画像（オブジェクトＯＢ８）を表示させてもよい。

上記実施例によれば、撮影者が指定した評価者または評価者の属するコミュニティにおいて高い評価が得られるように、構図に関するアドバイスが当該撮影者に通知される。よって、ＳＮＳごとに評価の判断基準や好まれる画像の傾向が異なっていても、適切なアドバイスを受けることができる。
また、アドバイス情報は撮影した画像に重ねて表示されるので、ユーザは撮影をしながら自分が決めた構図がどのような評価を受けると想定されるのかが即座に把握できるので、いろいろな構図を試すことができる。これにより、写真撮影の面白さを手軽にユーザに体感してもらうことが期待される。
加えて、ユーザが指定する撮影者が撮影した画像の構図に近づけるための方法についてのアドバイスを受けることができる。これにより、例えば憧れの写真家が撮影した写真と同じ撮影場所にいくことはできなくても、身近なシーンで似たような構図の写真を撮影することができる。

アドバイス情報の通知のタイミングは、構図の確定時ではなく、撮影完了時（画像データの生成・記録時あってもよい）。例えば、撮影完了の直後あるいは閲覧のために撮影した画像がユーザによって選択されたときに、アドバイス情報の要否をユーザに問い合わせてもよい。

本発明の提供対象の情報は静止画データ（写真）ではなく、連続する静止画の集合である動画データ(映像)でもよい。この場合、構図には上記の静止画に関する特徴情報に加え、パン、チルトなどのフレーミングやズーミングなどの撮影技法（カメラワーク）に関する情報が含まれていてもよい。要するに、撮影の結果として得られる映像データの評価に影響を与える要素であればよい。

ＳＮＳ３００から取得した画像に基づいて実行される画像の評価についての学習処理や、学習結果の記憶処理は、サーバ２００の管理者とは別の管理者によって設置される情報管理サーバにて実行されてもよい。この場合、サーバ２００は、通信部２１０および通知部２４０の機能のみを有し、カメラ１００から要求を受けると、構図についての特徴情報をこの情報管理サーバに問い合わせ、情報管理サーバから、アドバイスを生成するために必要な、学習結果についての情報を取得する。
また、サーバ２００の全ての機能、もしくは通信部２１０および通知部２４０の機能は、カメラ１００に備わっていてもよい。少なくとも学習結果の取得及びアドバイス情報の生成をカメラ１００にて実行することにより、アドバイス通知のレスポンス性が向上する。

要するに、一実施例において、ＳＮＳにおける所定の評価基準を満たす画像の構図を学習するステップと、ユーザによって撮像された画像を解析して特徴情報を抽出する抽出ステップと、該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報を前記ユーザに通知するステップとが実行されていればよい。
換言すると、一実施例におけるカメラは、撮像部と、ユーザの操作によって前記撮像部にて撮像された画像を解析して、特徴情報を抽出する抽出手段と、ＳＮＳにおける所定の評価基準を満たす画像の構図を学習する学習手段と、該抽出された特徴情報と、ＳＮＳにおける所定の評価基準を満たす画像の構図の情報とに基づいて生成された、該解析された画像の構図に対するアドバイス情報を、前記ユーザに通知する通知手段とを有していればよい。

＜実施例２＞
図９は第２実施例に係る構図アドバイスシステムの動作例である。
第２実施例においては、第２実施例の構図アドバイスシステムにおいて、カメラ１００に替えて、タッチパネルとレンズなどの光学系や撮像素子などを搭載した撮影機能とを備えたスマートフォン１００Ａが用いられる。スマートフォン１００Ａが有する機能のうち、構図の評価やアドバイスに関係する機能は、カメラ１００が有する機能と同様である。
具体的には、スマートフォン１００Ａは、通話やデータ通信などの基本的機能を実現するためのアプリケーションプログラムのほか、撮影を行うためのアプリケーションプログラム（以下、撮影アプリという）、撮影した画像を加工するためのアプリケーションプログラム、およびＳＮＳへアクセスして画像その他のコンテンツの投稿やＳＮＳにアップされたコンテンツの閲覧を行うためのアプリケーションプログラム（以下、ＳＮＳアプリという）がインストールされており、制御部１１０にて実行されことで各機能が実現される。
以下では、サーバ２００において、予め、各ＳＮＳにおいて投稿された画像、投稿者や評価者、付加情報を解析し、投稿された画像が当該ＳＮＳにて受けるであろう評価を予測するための学習済みモデルを生成しているものとする。

以下、ユーザが撮影アプリを起動して撮影を開始する場合について説明する。
制御部１１０は、ユーザが構図を暫定的に決定したかを判定する（Ｓ６０１）。制御部１１０は、決定した構図に従って暫定的に撮影された（仮撮影された）画像データから特徴情報を抽出する（Ｓ６０２）。続いて、制御部１１０は、必要に応じて、ユーザ属性のメモリ１５０からの抽出およびユーザによる付加情報の入力の受付けを行う（Ｓ６０３）。抽出または入力力されたユーザ属性や付加情報は、特徴情報とともに、サーバ２００へ送信される（Ｓ６０４）。サーバ２００において、受信した特徴情報に基づいてフィードバック情報を生成する（Ｓ６０５）。生成されたフィードバック情報は、スマートフォン１００Ａに送信される（Ｓ６０６）。スマートフォン１００Ａは、受信したフィードバック情報を表示する（Ｓ６０７）。ユーザが構図を確定させ、制御部１１０は撮影（本撮影）を実行する（Ｓ６０８）。具体的には、撮影した画像データをメモリ１５０に保存する（Ｓ６０９）。
続いて、該撮影された画像のＳＮＳへの投稿がユーザによって指示されると（Ｓ６１０：ＹＥＳ）、制御部１１０はＳＮＳアプリを起動する。この際、投稿のために保存した画像データ、抽出した属性情報、または付加情報がＳＮＳアプリに引き渡され、ＳＮＳアプリ上におけるユーザによる画像の指定や付加情報の入力を省略してもよい。ＳＮＳアプリ上でユーザの操作によって投稿が指示されると、ＳＮＳサイト３００を管理するサーバへ、画像データ、付加情報、および投稿者に関する情報が送信され、投稿内容がＳＮＳサイト３００に反映される。

以下、上記の動作例を、撮影アプリによって表示される画面の例を用いて説明する。撮影アプリが起動している間はカメラ機能が有効となり、イメージセンサにて取得した信号に基づいて画像データが生成され、その画像が画面に表示される。すなわち、ユーザがカメラ部の向きを変更すれば、その変更が表示される画像データに随時反映される。加えて、撮影アプリには、画像の評価や投稿に関係する指示や情報の入力を受け付けるための各種画像オブジェクトを画面に表示する。

図１０は、ユーザがカメラ部が被写体に向くようにスマートフォン１００Ａの位置や姿勢を調整した場合に、スマートフォン１００Ａに表示される画像の例である。同図に示すように、画面中央に、現在の構図を反映して、イメージセンサからの入力信号に基づいて生成された画像データに基づく画像が表示される。この画面には、加えて、オブジェクトＯＢ１０、ＯＢ１２、ＯＢ１４、ＯＢ１６、ＯＢ１８の選択可能オブジェクト（ソフトボタン）が重ねて表示される。なお、この状態では構図は確定しておらず、画像データは生成されるものの、メモリ１５０には保存されない。換言すると、仮の（暫定的な）撮影が行われただけで、本撮影はまだ行われいない。この状態でオブジェクトＯＢ１０が選択されると、構図が確定し、画像データが保存される。換言すると、撮影が正式に実行される。

図１１は、図１０の画面においてオブジェクトＯＢ１２が選択された場合の画面の例である。ＯＢ１２が選択されると、現在の構図が暫定的に決定される（図９のＳ６０１、６０２）。そして、現在の構図に従った画像データの特徴情報が抽出され２００に送信される（図９のＳ６０４）。サーバ２００では、予め登録しておいた１以上の各ＳＮＳにおけるフィードバックが生成され（図９のＳ６０５）、当該情報が画像データに重ねて表示される（図９のＳ６０６、Ｓ６０７、図１１のＯＢ１１）。図１１の例では、評価対象のＳＮＳとしてＳＮＳ１およびＳＮＳ２がスマートフォン１００Ａまたは２００にて登録されており、フィードバック情報は、ＳＮＳ１において高評価を得ると予想される数が９０件、ＳＮＳ２で高評価を得ると予想される数が６０件であることを示している。

図１２は、図１１の状態から、ユーザがスマートフォン１００Ａを操作してアングルやフォーカスなどの構図を変更したのちに再びオブジェクトＯＢ１２を選択した場合における画面例である。オブジェクトＯＢ１２が選択されると、再度図９のＳ６０１〜６０７の処理が実行され、現在の構図に対応するＳＮＳにおける評価が表示される。この例では、図１１に示す構図によりもＳＮＳにおける予想評価が高くなっている。
このように、ユーザの操作に起因した構図の変化をリアルタイムに反映してフィードバック情報が更新されるので、ユーザは構図を適宜調整しつつ、画面を見ながら、どのような構図であれば各ＳＮＳにおいて高い評価が得られそうなのかについて見当をつけることができる。

図１３は、図１２の状態においてオブジェクトＯＢ１４が選択された場合の画面例である。
ＯＢ１４が選択されると、特徴情報が抽出され、特徴情報とともに構図についてのアドバイス情報を要求するリクエストが送信される（図９のＳ６０２、Ｓ６０４）。サーバ２００は、当該リクエストを受信すると、フィードバック情報として、特徴情報によって表される、構図に関するアドバイス情報を生成して（図９のＳ６０５）、スマートフォン１００Ａに送信する（図９のＳ６０６）。スマートフォン１００Ａは、受信した構図のアドバイスに関する情報を撮影画像に重ねて表示する（ＯＢ１５）。図１３の例では、アドバイスは、ＳＮＳ１においてはズームを調整すべきであり、ＳＮＳ２においては、カメラアングルを修正すべきであるという内容である。

図１４は、図１３の表示画面においてオブジェクトＯＢ１６が選択された場合に表示される画面の例である。
オブジェクトＯＢ１４が選択されると、特徴情報が抽出され、この特徴情報とともに構図についてのアドバイス情報を要求するリクエストが２００に送信される。サーバ２００は、当該リクエストを受信すると、フィードバック情報として、この画像とともに投稿すべき付加情報に関するアドバイスに関する情報を生成して（Ｓ６０５）、スマートフォン１００Ａに送信する（Ｓ６０６）。スマートフォン１００Ａは、受信した構図のアドバイスに関する情報を画像に重ねて表示する（ＯＢ１７）。図１４の例では、アドバイスは、ＳＮＳ１においては識別情報（ハッシュタグ）として、「自然」、「花」といった被写体のジャンルを示す情報を付加することが高評価を得やすく、ＳＮＳ２においては、「ひまわり」とった具体的な被写体の名称や、「夏の風物詩」といった被写体から連想される単語を付加するのが高評価が得やすいという内容である。

評価の予想や構図に対するアドバイス、投稿に関するアドバイスを適宜参考にしつつユーザは構図や付加情報を決定すると、ＯＢ１８を選択する。すると、制御部１１０は予め登録されたＳＮＳ投稿用のアプリケーションプログラムを起動し、投稿のための操作を受け付ける（図示省略）。

第２実施例において、評価予想と各種アドバイスとはを取得する順番は任意である。また、評価と各種アドバイスとは独立に提供できるようにしてもよいし、一つの情報としてまとめて提供してもよい。要するに、ユーザが選択した構図の投稿予定先のコミュニティに関する何らかのフィードバックが提供されればよい。
また、暫定的な構図の指定するためにソフトボタンを選択するなどユーザの明示的な操作を受け付けること替えて、構図の変化を監視し、ユーザの明示的操作なしに構図に応じたフィードバックをリアルタイムに提供してもよい。具体的には、現在の構図の取得と特徴情報の抽出およびと送信を、所定のサンプリング間隔で、自動的に実行する。この場合、オブジェクトＯＢ１３および／またはＯＢ１５が常に表示され、その内容が構図の変化に応じて変化することになる。
また、本実施例において、特徴情報の抽出およびフィードバック情報の生成は、スマートフォンなどのユーザ端末、サーバ２００、あるいはＳＮＳサイト３００を管理するサーバのいずれにおいて実行されてもよい。
要するに、本発明に係る情報処理システムは、一実施例において、ＳＮＳに投稿された複数の画像の構図に関する評価を学習する処理と、ユーザによって操作される端末において撮像される画像を解析して特徴情報を抽出する処理と、ユーザが構図を指定すると、該抽出された特徴情報に基づき、当該構図に従って撮影された画像に対してＳＮＳにおいて与えられると推測される評価を表す情報をユーザに通知する処理とが、いずれかのノードにおいて実行されればよい。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１００・・・カメラ、１００Ａ・・・スマートフォン、２００・・・サーバ、３００・・・ＳＮＳサイト、４００・・・インターネット、１１１・・・抽出部、１１２・・・指定部、１９１・・・シャッタボタン、１９３・・・画面、１９２・・・操作ボタン、１１０・・・制御部、１２０・・・撮像部、１３０・・・操作部、１４０・・・表示部、１５０・・・メモリ、１６０・・・通信部、１７０・・・画像編集部、２１０・・・通信部、２２０・・・記憶部、２３０・・・学習部、２４０・・・通知部。

Claims (13)

1. ＳＮＳに投稿された複数の画像の構図に関する評価を学習する学習手段と、
   ユーザによって操作される端末において撮像される画像を解析して特徴情報を抽出する抽出手段と、
   前記ユーザの操作によって構図が暫定的に指定されると、該抽出された特徴情報に基づき、当該構図に従って撮影された画像に対して前記ＳＮＳにおいて与えられると推測される評価を表す情報を前記ユーザに通知する通知手段と
   を有する構図アドバイスシステム。
2. 前記情報には、該抽出された特徴情報に基づき、該解析された画像の構図を該学習された構図に近づけるためのアドバイスを含む
   請求項１に記載の構図アドバイスシステム。
3. 前記アドバイスは、カメラアングル、画角、撮影距離、画面内における被写体の位置または大きさ、のいずれかについての情報である、
   請求項２に記載の構図アドバイスシステム。
4. 前記通知手段は、前記端末の表示画面に、撮像された画像に重ねて前記情報を表示する
   請求項１ないし３のいずれかに記載の構図アドバイスシステム。
5. 前記学習手段は、前記ＳＮＳにおける評価基準を満たす画像の撮影条件をさらに学習し、
   前記通知手段は、該解析された画像の撮影条件を該学習された撮影条件に近づけるためのアドバイスをさらに通知する
   請求項２〜４のいずれか一項に記載の構図アドバイスシステム。
6. 前記通知手段は、該解析された画像を、前記ＳＮＳにおける評価基準を満たす画像に近づけるための画像加工処理についてのアドバイスをさらに通知する
   請求項２〜５のいずれか一項に記載の構図アドバイスシステム。
7. 前記ＳＮＳに投稿された画像の撮影者を指定する指定手段と、
   前記アドバイスには、該解析された特徴情報を、該前記ユーザによって指定された撮影者が撮影した画像の特徴情報に近づけるための情報が含まれる
   請求項２〜６のいずれか一項に記載の構図アドバイスシステム。
8. 前記ユーザの属性を取得する取得手段を更に備え、
   前記通知手段は、前記ユーザの属性をさらに用いて前記評価の推測を行う
   請求項１〜７のいずれか一項に記載の構図アドバイスシステム。
9. 前記ユーザが前記端末にて撮影した画像を前記ＳＮＳに投稿する際に識別情報を入力する入力手段を更に備え、
   前記通知手段は、該入力された識別情報をさらに用いて前記評価の推測を行う
   請求項１〜８のいずれか一項に記載の構図アドバイスシステム。
10. 前記抽出手段は前記端末に設けられ、
    前記学習手段および前記通知手段はサーバに設けられ、
    前記サーバは、前記特徴情報を前記端末から受信すると、前記情報を生成して前記端末へ送信する
    請求項１〜９のいずれか一項に記載の構図アドバイスシステム。
11. 撮像手段と、
    ＳＮＳに投稿された複数の画像の構図に関する評価を学習する学習手段と、
    前記撮像手段にて撮像される画像を解析して特徴情報を抽出する抽出手段と、
    ユーザの操作によって構図が暫定的に指定されると、該抽出された特徴情報に基づき、当該構図に従って撮影された画像に対して前記ＳＮＳにおいて与えられると推測される評価を表す情報を前記ユーザに通知する通知手段と
    を有するユーザ端末。
12. 撮像手段を有するコンピュータに、
    前記撮像手段にて撮像される画像を解析して特徴情報を抽出するステップと、
    ユーザの操作によって構図が暫定的に指定されると、ＳＮＳに投稿された複数の画像の構図に関する評価を学習したサーバから、該抽出された特徴情報に基づき、当該構図に従って撮影された画像に対して前記ＳＮＳにおいて与えられると推測される評価を表す情報を取得するステップと、
    該取得した情報を前記ユーザに通知するステップと
    を実行させるためのプログラム。
13. ＳＮＳに投稿された複数の画像の構図に関する評価を学習するステップと、
    ユーザによって操作される端末において撮像される画像を解析して特徴情報を抽出するステップと、
    撮影が実行される前に前記ユーザの操作によって構図が暫定的に指定されると、該抽出された特徴情報に基づき、当該構図に従って撮影された画像に対して前記ＳＮＳにおいて与えられると推測される評価を表す情報を前記ユーザに通知するステップと
    を有する、構図アドバイス提供方法。

Images