JP2014149713A - 画像評価装置 - Google Patents

Abstract

【課題】ユーザの注目を惹くか否かという観点において任意の画像を適切に評価する。
【解決手段】画像評価装置１は、第１の画像に対するテキストを入力して、当該テキストの数を集計する集計部３１と、第１の画像の特徴量を示す情報を取得する第１特徴量取得部３４と、第１特徴量取得部３４によって取得された特徴量を説明変数に対応する情報、及び集計部３１によって集計された数に基づく情報を目的変数に対応する情報とした学習用データを用いて機械学習を実行して、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する学習モデル生成部３６と、第２の画像の特徴量を示す情報を取得する第２特徴量取得部５２と、学習モデル生成部３６によって生成された学習モデルに、第２特徴量取得部５２によって取得された特徴量を説明変数として入力して、当該学習モデルの出力から第２の画像のスコアを算出するスコア算出部５４と、を備える。
【選択図】図１

Description

本発明は、特に任意の画像を評価する画像評価装置に関する。

従来から、ウェブページのデザインとして、画像及びテキストを関連付けて表示するレイアウトが一般的に利用されている。このようなレイアウト表示は、例えばニュースサイト等において、ニュース記事の見出し表示等に用いられる。

このようなニュースサイト等の情報コンテンツをユーザに提供するサービスにおいては、コンテンツへの集客性を高める観点から、できるだけユーザの注目を惹く画像を表示することが好ましいと考えられる。しかし、そのような画像をウェブページの表示画像として選択するためには、ユーザの注目を惹くか否かという観点において画像を適切に評価する必要がある。

これに関連して、下記特許文献１において、ウェブ上に公開された画像について、話題性があると考えられる画像のランキングを自動的に行うための方法が開示されている。上記方法では、画像毎のインターネット上における掲載数をカウントし、当該カウント数が多いものほど上位となるように画像をランク付けしている。

特開２０１０−３９５３３号公報

しかしながら、上記方法は、現にウェブ上に存在するウェブ画像の数（当該ウェブ画像が掲載されているウェブページの数）に基づいて画像を評価するものであり、当該画像がユーザの注目を惹くものであるか否かの観点において画像を評価するものではない。また、上記方法では、未だウェブ上に公開されておらず（又は公開されてから日が浅く）ユーザに知られていない画像について適切に評価することは困難である。

そこで本発明は、上記課題に鑑み、ユーザの注目を惹くか否かという観点において任意の画像を適切に評価することができる画像評価装置を提供することを目的とする。

本発明に係る画像評価装置は、第１の画像に対するテキストを入力して、当該テキストの数を集計する第１の集計手段と、第１の画像の特徴量を示す情報を取得する第１の特徴量取得手段と、第１の特徴量取得手段によって取得された特徴量を説明変数に対応する情報、及び第１の集計手段によって集計された数に基づく情報を目的変数に対応する情報とした学習用データを用いて機械学習を実行して、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する学習モデル生成手段と、第２の画像の特徴量を示す情報を取得する第２の特徴量取得手段と、学習モデル生成手段によって生成された学習モデルに、第２の特徴量取得手段によって取得された特徴量を説明変数として入力して、当該学習モデルの出力から第２の画像のスコアを算出するスコア算出手段と、を備える。

本発明による画像評価装置では、画像（第１の画像）の特徴量を説明変数、当該画像に対するテキストの数を目的変数とした学習データを用いた機械学習を実行し、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する。そして、生成した学習モデルを用いて任意の画像（第２の画像）のスコアを算出する。ここで、画像に対するテキストの数（例えばインターネット上の画像（又は画像を含むコンテンツ）に対してマイクロブログ等を介してユーザによって投稿されたテキストの数等）は、画像に対する関心及び注目度等を示す指標となり得る。即ち、上述のように生成された学習モデルにより算出されるスコアは、ユーザの注目を惹くか否かという観点における評価値とみなすことができる。したがって、本発明による画像評価装置によれば、未だウェブ上に公開されておらず（又は公開されてから日が浅く）ユーザに知られていない画像を含む任意の画像について、上記学習モデルを用いることにより、ユーザの注目を惹くか否かという観点において適切に評価することができる。

また、上記画像評価装置は、第１の画像の分類を示す情報を取得する第１の分類情報取得手段と、第２の画像の分類を示す情報を取得する第２の分類情報取得手段と、を更に備え、学習モデル生成手段は、第１の分類情報取得手段によって取得された情報によって示される第１の画像の分類に応じて学習モデルを生成し、スコア算出手段は、第２の分類情報取得手段によって取得された情報によって示される第２の画像の分類に応じた学習モデルを用いて第２の画像のスコアを算出してもよい。

例えば、同一又は近い特徴量を有する画像同士であっても、これらの画像間で例えば人物、動物、及び特定の建物等の分類が異なる場合には、ユーザに与える印象は異なり得る（即ち一方の分類に属する画像はユーザの注目を惹く場合であっても、他方の分類に属する画像はユーザの注目を惹かない場合があり得る）。上記画像評価装置によれば、画像の分類毎に生成した学習モデルを用いて、評価対象の画像の分類に応じた学習モデルを用いてスコアを算出することができるため、ユーザの注目を惹くか否かという観点において任意の画像をより適切に評価することができる。

また、上記画像評価装置では、第１の特徴量取得手段は、第１の画像を入力して、入力した第１の画像から特徴量を算出して、当該特徴量を示す情報を取得し、第２の特徴量取得手段は、第２の画像を入力して、入力した第２の画像から特徴量を算出して、当該特徴量を示す情報を取得してもよい。上記構成によれば、第１の特徴量取得手段及び第２の特徴量取得手段によって第１の画像及び第２の画像の特徴量を算出するため、予め第１の画像及び第２の画像の特徴量を別途用意しておく必要がないため、上記画像評価装置を操作するオペレータの操作性を向上させることができる。

また、上記画像評価装置では、第１の特徴量取得手段は、第１の画像の解像度を示す情報を取得し、当該画像の解像度を示す情報に基づいて第１の画像の特徴量を示す情報を生成し、第２の特徴量取得手段は、第２の画像の解像度を示す情報を取得し、当該画像の解像度を示す情報に基づいて第２の画像の特徴量を示す情報を生成してもよい。上記構成によれば、ユーザの注目を惹くか否かという観点において重要な指標となり得る画像の解像度を画像の特徴量の一要素とすることによって学習モデルの精度を向上させることができる。

また、上記画像評価装置では、第１の特徴量取得手段は、第１の画像に写っている物体の数を示す情報を取得し、当該物体の数を示す情報に基づいて第１の画像の特徴量を示す情報を生成し、第２の特徴量取得手段は、第２の画像に写っている物体の数を示す情報を取得し、当該物体の数を示す情報に基づいて第２の画像の特徴量を示す情報を生成してもよい。上記構成によれば、ユーザの注目を惹くか否かという観点において重要な指標となり得る画像に写っている物体の数を画像の特徴量の一要素とすることによって学習モデルの精度を向上させることができる。

また、上記画像評価装置では、第１の特徴量取得手段は、第１の画像に写っている人の表情を示す情報を取得し、当該人の表情を示す情報に基づいて第１の画像の特徴量を示す情報を生成し、第２の特徴量取得手段は、第２の画像に写っている人の表情を示す情報を取得し、当該人の表情を示す情報に基づいて第２の画像の特徴量を示す情報を生成してもよい。上記構成によれば、ユーザの注目を惹くか否かという観点において重要な指標となり得る画像に写っている人の表情を画像の特徴量の一要素とすることによって学習モデルの精度を向上させることができる。

また、上記画像評価装置では、第１の特徴量取得手段は、第１の画像に対するテキストを入力して、当該テキストに基づいて第１の画像の特徴量を示す情報を生成し、第２の特徴量取得手段は、第２の画像に対するテキストを入力して、当該テキストに基づいて第２の画像の特徴量を示す情報を生成してもよい。画像に対するテキストには、画像がユーザに与えた印象等の画像の特徴が間接的に含まれる場合がある。したがって、上記構成によれば、画像に対するテキストに間接的に含まれている画像の特徴を画像の特徴量の一要素とすることによって学習モデルの精度を向上させることができる。

また、上記画像評価装置では、第１の特徴量取得手段は、第１の画像に対するテキストの内容がネガティブなものか、ポジティブなものかを判定し、当該判定結果に基づいて第１の画像の特徴量を示す情報を生成し、第２の特徴量取得手段は、第２の画像に対するテキストの内容がネガティブなものか、ポジティブなものかを判定し、当該判定結果に基づいて第２の画像の特徴量を示す情報を生成してもよい。上記構成によれば、画像がユーザに肯定的な印象を抱かせるものか、否定的な印象を抱かせるものかという、ユーザの注目を惹くか否かという観点において重要な指標となり得る画像の特徴を画像の特徴量の一要素とすることができる。

また、上記画像評価装置は、第２の画像に対するテキストを入力して、当該第２の画像毎のテキストの数を集計する第２の集計手段と、スコア算出手段によって算出された第２の画像のスコア、及び第２の集計手段によって集計された数に基づいて、第２の画像の総合スコアを算出する総合スコア算出手段と、を更に備えてもよい。この構成によれば、画像についてユーザの注目を惹くであろうという観点において算出されたスコアと実際にユーザの注目を惹いていることを示す画像に対するテキストの数との両方を考慮したスコア（総合スコア）を算出できる。

また、上記画像評価装置は、第２の画像を複数取得する画像取得手段と、画像取得手段によって取得された第２の画像に対するテキストを取得するテキスト取得手段と、画像取得手段によって取得された第２の画像と、テキスト取得手段によって取得されたテキストとに基づいて、第２の画像同士が類似するか否かを判定する類似判定手段と、類似判定手段によって類似すると判定された複数の第２の画像について、スコア算出手段によって算出されたスコアに基づいて、複数の第２の画像を代表する代表画像を決定する代表画像決定手段と、を更に備えてもよい。

例えばニュースサイト等のウェブサイトにおいては、ユーザの注目を惹きやすい情報を提示しつつも、多種多様な情報をユーザに提示したい場合がある。即ち、ユーザに提示される情報が互いに似た（類似した）内容に偏ってしまうことを防止したい場合がある。上記構成によれば、複数の画像について互いに類似する画像同士を１つのグループ（類似群）にまとめることができる。そして、各グループで、画像のスコア（総合スコアを含む）に基づいてグループを代表する画像を適切に決定することができる。したがって、グループ毎にユーザの注目を惹きつけることが期待できる画像を揃えることができる。

本発明によれば、ユーザの注目を惹くか否かという観点において任意の画像を適切に評価することができる。

本発明の一実施形態に係る画像評価装置の機能構成を示すブロック図である。 画像評価装置のハードウェア構成を示す図である。 投稿情報の例を示す図である。 学習画像情報の例を示す図である。 集計結果の例を示す図である。 タグが付加された学習画像情報の例を示す図である。 ネガポジ判定に用いられる辞書情報の例を示す図である。 画像の特徴量の情報が付加された学習画像情報の例を示す図である。 タグ毎に学習モデルが生成されることを示す概念図である。 評価画像情報の例を示す図である。 タグ付加後及び画像の特徴量の情報付加後の評価画像情報ならびにスコア情報の例を示す図である。る。 判定用情報の例を示す図である。 評価画像毎及び形態素毎のＴＦＩＤＦ値の例を示す図である。 画像評価装置の動作を示すフロー図である。 画像評価装置によって出力された画像の総合スコア及び代表画像によって実現されるレイアウト例を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明に係る画像評価装置の一実施形態の機能構成を示すブロック図である。本実施形態に係る画像評価装置１は、例えばコンテンツに含まれる画像又はテキストを雑誌風にレイアウト表示する情報サイト等において、掲載するコンテンツ及びその掲載位置を決定するのに有用な情報となり得る、コンテンツに含まれる画像のスコア（総合スコア）を算出する装置として構成されている。さらに、画像評価装置１は、当該総合スコアを用いることによって互いに類似する画像群毎に代表画像を決定する。ここで、「コンテンツ」とは、例えばインターネット上で公開されているブログ記事及びニュース記事等のＷｅｂコンテンツを指す。

上述のように画像又はテキストを雑誌風にレイアウト表示する情報サイトのウェブページにおいては、特に掲載対象コンテンツに含まれる画像のデザイン性やインパクト等が、ユーザによって注目される度合（例えば情報サイトへのユーザのアクセス数及び滞在率等）を左右すると考えられる。

一方、既にインターネット上に公開されてからある程度の日数が経過している画像については、実際にユーザによってツイッター等のマイクロブログサービスに投稿（送信）された当該画像（画像を含むコンテンツ）に対するコメントの数（実績値）に基づいて、ユーザの注目を惹く度合をある程度把握可能である。しかし、上述の情報サイト等においては、ユーザの興味を惹き続けるために、常に最新の情報を提供し続けなければならない。すなわち、公開されてから間もない画像（又は未公開の画像）の中から、できるだけユーザの注目を惹くような画像を選んで掲載することが求められる。

また上記情報サイトでは、できるだけ提供情報に偏りを生じさせずに多くの話題に関する情報を提供してユーザを飽きさせないことが要請される。即ち、ユーザの注目を惹く画像であっても、同一の内容及び話題等を示す互いに類似する画像を情報サイトに複数掲載されてしまうことを防止することが求められる。

このような事情の下、画像評価装置１は、学習用の画像（第１の画像）と当該画像に対して投稿されたユーザのテキストに基づいて画像の特徴量を入力としてユーザの注目を惹く度合を示すスコアを出力する学習モデルを生成する。そして、当該学習モデルを用いて情報サイトに掲載する候補のコンテンツに含まれる画像のスコアを算出し、当該スコアと掲載候補のコンテンツに対して投稿されたユーザのテキストの数とに基づいて画像の総合スコアを算出する。さらに、この総合スコアに基づいて、同一の話題等を示す類似する画像（類似群）の中から掲載コンテンツを選定する。これによって、ユーザの注目を惹く雑誌風なレイアウト表示が実現される。

画像評価装置１による出力結果（総合スコア及び代表画像）によって具体的に実現されるレイアウト例について図１５を用いて説明する。同図右上のレイアウトは、例えば芸能人のブログ記事等を華やかにアレンジしたレイアウト例であり、同図右下のレイアウトは、例えば様々なジャンルのニュース記事をジャンル毎に１つ選んで並べたレイアウト例である。

例えば同図右上のレイアウトにおいては、画像領域とテキスト領域とから形成される各コンテンツ領域Ａ１〜Ａ５に対して、総合スコア上位の画像を含むコンテンツから画像領域の広い順（Ａ１→Ａ２→Ａ３→Ａ４→Ａ５）に配置するといったことが可能となる。また、同図右下のレイアウトにおいては、各ジャンル（類似群）の中から決定された代表画像のうち上位６つの画像を掲載画像として選定することによって、バラエティ豊かな情報を提供しつつ、各ジャンルにおいてユーザの注目を惹く可能性の高い画像を掲載することが可能となる。

上記を実現するために、画像評価装置１は、投稿情報記憶部１０、学習画像情報記憶部２０、学習部３０、評価画像情報記憶部４０、評価部５０、及びスコア利用部６０を備える。

続いて、画像評価装置１のハードウェア構成について説明する。図２は、画像評価装置１のハードウェア構成図である。図２に示すように、画像評価装置１は、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクメモリなどで構成される補助記憶部１０３と、データ通信を行う通信制御部１０４と、液晶モニタなどで構成される出力部１０５と、入力デバイスであるキーボード、マウス及びマイク等で構成される入力部１０６と、ＵＳＢメモリ、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体１０８を読み取る記録媒体読取部１０７とを備える。

図１に示す画像評価装置１の各機能は、ＣＰＵ１０１の制御の下で、主記憶部１０２に所定のソフトウェアプログラムを読み込ませて実行することにより実現される。その際、ＣＰＵ１０１は、ソフトウェアプログラムの処理手順に従い、主記憶部１０２及び補助記憶部１０３におけるデータの読み出し及び書き込み動作を制御し、入力部１０６、出力部１０５及び通信制御部１０４の動作を制御する。

図１に戻り、画像評価装置１の各機能要素について順に説明する。

投稿情報記憶部１０は、ツイッター等のマイクロブログサービス等を介して、画像を含むコンテンツ（画像のみのコンテンツを含む）に対するコメントとしてユーザによって投稿（送信）されたテキストと、投稿時刻を示す情報とから生成した投稿情報を当該記憶する記憶手段である。

図３は、投稿情報の例を示す図である。図３に示すように、投稿情報は、コンテンツのインターネットアドレスを示す「ＵＲＬ」と、ユーザによってテキストが投稿された時刻（例えばマイクロブログサービスを提供するサーバがユーザの投稿を受信した時刻）の情報を示す「投稿時刻」と、コンテンツに対してユーザが投稿したコメントを示す「テキスト」とが関連付けられた情報である。

例えばツイッターの場合には、ユーザは、あるコンテンツに対するテキストを投稿する際には、テキスト中に当該コンテンツのＵＲＬを付すことが多い（例えば図３の「面白い ｘｘｘ．ｃｏｍ」）。したがって、このようにＵＲＬが含まれているテキストからＵＲＬ部分を抽出することによって、投稿情報記憶部１０は、上記形式の投稿情報を生成することができる。

ここでコンテンツに画像が含まれる場合には、当該コンテンツに対するテキストは、当該コンテンツに含まれる画像に対するテキストと捉えることもできる。よって、本実施形態においては、「コンテンツに対するテキスト」は「コンテンツに含まれる画像に対するテキスト」でもあるものとして考える。なお、コンテンツに複数の画像が含まれる場合には、コンテンツに対するテキストは複数の画像それぞれに対するテキストであると考えてもよいし、ウェブページの先頭に表示される画像に対するテキストであると考えてもよい。本実施形態においては、前者を前提として説明を行う。

投稿情報記憶部１０は、例えば、予め指定されたテキスト取得元となるサイト（例えばツイッター）から、ユーザが投稿したテキスト及び当該テキストに関連付けられた投稿時刻を示す情報を予め指定されたタイミングで収集する。テキストの取得元及び収集タイミングを示す情報は、例えば管理者等によって予め投稿情報記憶部１０に設定及び記憶されている。具体的には、投稿情報記憶部１０は、マイクロブログサービスを提供すると共にユーザによって投稿されたテキストを保存するサーバに対して、インターネット経由で当該テキストの取得を要求して取得（受信）することとしてもよいし、他のシステム（不図示）が収集したテキストを、当該他のシステムからバッチ処理等によって取得（入力）してもよい。

学習画像情報記憶部２０は、学習部３０による機械学習に用いるための画像（学習画像、第１の画像）と、当該学習画像を含むコンテンツのＵＲＬ（学習画像自身のＵＲＬを含む）とを関連付けた学習画像情報を記憶する手段である。図４は、学習画像情報の例を示す図である。図４に示すように、ＵＲＬ（ｘｘｘ．ｃｏｍ）に対して、当該ＵＲＬで特定されるコンテンツに含まれる各画像（ｘｘｘ１．ｊｐｇ、ｘｘｘ２．ｊｐｇ）が学習画像として関連付けられている。また、ＵＲＬ（ｙｙｙ．ｃｏｍ／ｙｙｙ．ｊｐｇ）に対して、当該ＵＲＬが指し示す画像（ｙｙｙ．ｊｐｇ）が学習画像として関連付けられている。

学習画像情報記憶部２０は、例えば以下の方法により学習画像情報を取得する。即ち、学習画像情報記憶部２０は、投稿情報記憶部１０に記憶されている投稿情報を参照し、インターネット経由で当該投稿情報に含まれるＵＲＬが示すコンテンツにアクセスすることによって、当該コンテンツに含まれる画像を学習画像として取得する。このような処理は、例えば予め管理者等により指定されたタイミングで定期的に行われる。

ただし、投稿情報記憶部１０及び学習画像情報記憶部２０に投稿情報及び学習画像を記憶させる手順は、上述した手順に限定されない。例えば、以下のような手順が考えられる。管理者等がインターネット上に公開されている画像の中から学習用の画像として選定した画像を学習画像とし、当該学習画像と当該学習画像に紐付くＵＲＬとを関連付けた学習画像情報を学習画像情報記憶部２０に記憶させる。その後、投稿情報記憶部１０が、学習画像情報記憶部２０に記憶されている学習画像情報を参照して、当該学習画像情報に含まれるＵＲＬに対するテキストをインターネット上から収集及び記憶するようにしてもよい。

学習部３０は、機械学習によって、画像の特徴量を入力するとユーザの注目を惹くか否か（即ち、ユーザからのコメント（テキスト）数が伸びそうか否か）という観点でのスコアを出力する学習モデルを生成する機能要素である。学習部３０は、集計部３１、集計結果記憶部３２、第１分類情報取得部３３、第１特徴量取得部３４、第１特徴量記憶部３５、学習モデル生成部３６、及び学習モデル記憶部３７を備える。

集計部３１は、投稿情報記憶部１０に記憶されている学習画像（第１の画像）に対するテキストを含んだ投稿情報を読み込み（入力し）、ＵＲＬ毎のシェア数を集計する第１の集計手段である。「シェア数」とは、当該ＵＲＬを含む投稿情報の数（テキストの数）の集計値である。例えば図３の例においては、「ｘｘｘ．ｃｏｍ」のシェア数は３と集計され、「ｙｙｙ．ｃｏｍ／ｙｙｙ．ｊｐｇ」のシェア数は２と集計される。

ここで、シェア数の集計は、予め集計期間として定められている一定期間内に投稿された投稿情報に絞り込んで行ってもよい。例えば図３の例において、集計期間が「２０１２年１２月１日〜２０１２年１２月３１日」の１か月間として定められている場合には、投稿時刻が「２０１３／１／１３ ２０：１７」の投稿情報は集計対象から除外されて、「ｘｘｘ．ｃｏｍ」のシェア数は２となる。このように集計することで、特定の期間内におけるユーザによる注目度を示す指標としてのシェア数を得ることができる。

また、例えば、投稿情報に当該投稿情報を投稿したユーザを識別するＩＤをさらに関連付けておくことによって、シェア数としてユニークユーザ数（同一ユーザによる同一ＵＲＬに対する２以上の投稿情報を１回として計数した値）を用いることができる。例えば図３の例において、「ｘｘｘ．ｃｏｍ」に対する「面白い ｘｘｘ．ｃｏｍ」及び「いいね！ ｘｘｘ．ｃｏｍ」がユーザＡによって投稿されたテキストであり、「だめだな。 ｘｘｘ．ｃｏｍ」がユーザＢによって投稿されたテキストであるとすると、「ｘｘｘ．ｃｏｍ」のシェア数は２となる。このように集計することで、テキストを投稿した正味ユーザ数をカウントすることができるため、どのくらい多くのユーザに注目されているかを示す指標としてのシェア数を得ることができる。

集計部３１は、集計したＵＲＬ毎のシェア数（集計結果）を、集計結果を記憶する手段である集計結果記憶部３２に記憶する。図５に集計結果記憶部３２に記憶される集計結果の例を示す。

第１分類情報取得部３３は、学習画像情報記憶部２０に記憶されている学習画像情報を取得し、当該学習画像情報に含まれている学習画像（第１の画像）の分類を示す情報（タグ）を取得する第１の分類情報取得手段である。「画像の分類」とは、当該画像が何に関する画像であるか（何を被写体とする画像であるか）を示す分類（例えば「人物」、「建造物」、「東京タワー」等）である。

第１分類情報取得部３３は、例えば、周知のタグ付け（タギング）手法のうちから選択した任意の手法によって学習画像のタグを取得する。また、第１分類情報取得部３３は、自身でタギングを実行せずに、図示しない他システムに学習画像を入力し、当該他のシステムに学習画像のタグを出力させて、学習画像のタグを取得してもよい。また、予め学習画像に上記タグに相当する情報が付与されている場合（例えば画像ファイルのメタデータにタグに関する情報が埋め込まれている場合）には、当該タグに相当する情報をタグとして学習情報から取り出してもよい。このように、第１分類情報取得部３３が学習画像のタグを取得する方法は、特に限定されない。

第１分類情報取得部３３は、学習画像情報に学習画像について取得したタグを付加し、当該学習画像情報を第１特徴量取得部３４に出力する。図６に、タグ付加後の学習画像情報の例を示す。この例では、学習画像「ｘｘｘ１．ｊｐｇ」及び「ｙｙｙ．ｊｐｇ」に対してはタグ「人」が付加されており（図６（ａ））、第１の画像「ａａａ１．ｊｐｇ」及び「ｂｂｂ．ｊｐｇ」に対してはタグ「東京タワー」が付加されている（図６（ｂ））。

第１特徴量取得部３４は、第１分類情報取得部３３から、図６に示されるようなタグが付加された学習画像情報を取得（入力）し、当該学習画像情報に含まれる学習画像（第１の画像）の特徴量を取得する第１の特徴量取得手段である。具体的には、第１特徴量取得部３４は、学習画像を入力して、入力した学習画像から特徴量を算出する。ここで、「画像の特徴量」とは、例えば、画像の種々の特徴をそれぞれ数値化した値を予め定めた順に並べたベクトル値として表現される。

第１特徴量取得部３４は、学習画像の解像度を示す情報を取得し、当該解像度に基づく画像の特徴量を生成する。第１特徴量取得部３４は、例えば学習画像のファイルフォーマット情報（例えばＥＸＩＦ（Exchangeable image file format）等）に含まれている解像度を示す情報を抽出することによって、学習画像の解像度を取得する。第１特徴量取得部３４は、このようにして取得した学習画像の解像度の数値を画像の特徴量の一要素とする。即ち、上述のベクトル値の一要素に解像度の数値を含める。

また、第１特徴量取得部３４は、学習画像に写っている物体の数を示す情報を取得し、当該物体の数に基づく画像の特徴量を生成する。第１特徴量取得部３４は、例えば学習画像に対して任意の物体認識処理を実行することにより、学習画像の領域内に存在する物体の数を特定又は推定する。ここでいう「物体」は、「人の顔」等のように「物体（ここでは一例として「人」）の一部」であってもよい。第１特徴量取得部３４は、このようにして特定又は推定した学習画像に写っている物体の数を画像の特徴量の一要素とする。即ち、上述のベクトル値の一要素に物体の数を含める。

このような物体認識処理は、例えば、デジタルカメラ等でピント合わせをする際等に利用される顔認識技術等の従来技術を応用することで実現される。より具体的には、顔認識技術では、予め「人の顔」のパターンを示すパターン情報を保持しておき、当該パターン情報に示されるパターンとの一致度を計算すること等によって顔認識を実現している。したがって、「人の顔」のパターンではなく、例えば「建物」、「食品」、「動物」等の任意の物体のパターンを示すパターン情報を用いることによって、顔認識技術と同様の認識処理により任意の物体の数を示す情報を取得することができる。

また、第１特徴量取得部３４は、学習画像に写っている人の表情を示す情報を取得し、当該人の表情に基づく画像の特徴量を生成する。具体的には、例えば、第１特徴量取得部３４は、学習画像に対して従来知られている顔認識技術を用いることによって、学習画像に写っている人の顔部分を抽出する。さらに、抽出した人の顔部分の画像に対して人の顔の表情を推定する表情推定技術を用いることによって、当該人の顔に現れている人の表情（例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ、無表情等）それぞれの度合を示す数値（重み）を算出する。第１特徴量取得部３４は、このようにして算出した学習画像に写っている人の顔の表情を示す重みを画像の特徴量の一要素とする。即ち、上述のベクトル値の一要素に人の顔の表情を示す重みを含める。

また、第１特徴量取得部３４は、学習画像に対して投稿されたテキストを入力し、当該テキストの内容がネガティブ（否定的）なものか、ポジティブ（肯定的）なものかを判定（ネガポジ判定）し、この判定結果に基づく画像の特徴量を生成する。具体的には、第１特徴量取得部３４は、以下に示す評判分析手法により実施する。

まず、第１特徴量取得部３４は、ネガティブに関連付けられたワード（形態素）のリストを格納したネガティブワード辞書と、ポジティブに関連付けられたワードのリストを格納したポジティブワード辞書とを読み込み、ネガティブワード及びポジティブワードの情報を取得する。図７に、これらの辞書の例を示す。図７（ａ）は、ネガティブワード辞書の例を示しており、例えば「だめ」、「ひどい」等のワードがネガティブワードとして格納されている。図７（ｂ）は、ポジティブワード辞書の例を示しており、例えば「いいね」、「面白い」等のワードがポジティブワードとして格納されている。なお、ネガティブワード辞書及びポジティブワード辞書は、例えば画像評価装置１内の図示しない記憶部に予め記憶されているものとする。

次に、第１特徴量取得部３４は、第１分類情報取得部３３から取得した学習画像情報を参照して、当該学習画像情報において学習画像と関連付けられたＵＲＬを抽出する。そして、第１特徴量取得部３４は、投稿情報記憶部１０に記憶された投稿情報のうちから、上記ＵＲＬに関連付けられた投稿情報を抽出し、当該投稿情報に関連付けられたテキストを取得する。例えば、学習画像が図６（ａ）に示される「ｘｘｘ１．ｊｐｇ」である場合には、当該学習画像に関連付けられたＵＲＬ「ｘｘｘ．ｃｏｍ」を抽出し、当該ＵＲＬに関連付けられた投稿情報のテキストを取得する。例えば図３の例では、「面白い ｘｘｘ．ｃｏｍ」、「いいね！ ｘｘｘ．ｃｏｍ」、及び「だめだな。 ｘｘｘ．ｃｏｍ」を取得する。

次に、第１特徴量取得部３４は、予め読み込んだネガティブワード及びポジティブワードの各ワードについて、取得したテキストに含まれる各ワードの数を計数することによって、テキスト中に含まれるネガティブワード数及びポジティブワード数を算出する。

次に、第１特徴量取得部３４は、学習画像に対するネガティブワード数及びポジティブワード数に基づく値を画像の特徴量とする。このような特徴量としては、例えば、単純なテキスト数を示す値である「ポジティブワードを含むテキスト数」及び「ネガティブワードを含むテキスト数」や、全体の中でのネガティブ又はポジティブの割合を示す値である「ポジティブワードを含むテキスト数／（ポジティブワードを含むテキスト数＋ネガティブワードを含むテキスト数）」及び「ネガティブワードを含むテキスト数／（ポジティブワードを含むテキスト数＋ネガティブワードを含むテキスト数）」等を用いることができる。第１特徴量取得部３４は、このようにして算出したネガポジ判定結果に基づく値を画像の特徴量の一要素とする。即ち、上述のベクトル値の一要素にネガポジ判定結果に基づく値を含める。

なお、ネガポジ判定結果に基づく値を算出するには、上述の評判分析手法を用いる他、ユーザの発言内容（テキスト）を入力して、ポジティブ、ネガティブ、ニュートラルの３種類の分析結果（数値情報を含む）を出力するウェブサービス等を用いてもよい。即ち、このようなウェブサービスに学習画像に対するテキストを入力することによって得られた出力結果を、ネガポジ判定結果に基づく値としてもよい。

なお、第１特徴量取得部３４は、上述した種々の画像の特徴量に加えて、例えば、ウェーブレット特徴量（Ｗａｖｅｌｅｔ）、ＳＩＦＴ特徴量、ＳＵＲＦ特徴量、Ｈａａｒ−ｌｉｋｅ特徴量、ＨＯＧ特徴量、ＪｏｉｎｔＨａａｒ−ｌｉｋｅ特徴量、Ｊｏｉｎｔ Ｈｏｇ特徴量、Ｓｈａｐｅｌｅｔ特徴量等の一般的な特徴量を第１の画像の特徴量の一要素に含めてもよい。これらの特徴量についても、各特徴量を算出するための計算方法として従来知られている計算方法を用いることができる。

最終的に、第１特徴量取得部３４は、上述した各特徴、即ち、画像の解像度の数値、画像に写っている物体の数、画像に写っている人の顔の表情に基づく重み、ネガポジ判定結果に基づく値、及びウェーブレット特徴量等の一般的な特徴量を予め定めた順序で結合し、学習画像の特徴ベクトル（第１の画像の特徴量）を取得する。第１特徴量取得部３４は、取得した学習画像の特徴量を学習画像情報に付加する。

図８に、画像の特徴量の情報が付加された後の学習画像情報の例を示す。図８に示す特徴量の「１：０．３ ２：０．３ ３：１ ４：９．１」との記載は、１つ目の特徴量（素性）の値が０．３、２つ目の特徴量（素性）の値が０．３、３つ目の特徴量（素性）の値が１、４つ目の特徴量（素性）の値が９．１であることを示している。

第１特徴量取得部３４は、画像の特徴量の情報が付加された学習画像情報を第１特徴量記憶部３５に記憶させる。

学習モデル生成部３６は、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する学習モデル生成手段である。具体的には、学習モデル生成部３６は、第１特徴量記憶部３５及び集計結果記憶部３２から学習画像の特徴量及びシェア数の情報を取得し、当該学習画像の特徴量を説明変数、当該シェア数を目的変数とした学習用データを作成する。そして、学習モデル生成部３６は、当該学習用データを用いて機械学習を実行し、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する。ここで、学習モデル生成部３６は、第１分類情報取得部３３によって取得されたタグに応じて（タグ毎に）学習モデルを生成する。

例えば、集計結果記憶部３２に記憶されている集計結果が図５、第１特徴量記憶部３５に記憶されている学習画像情報（タグ及び特徴量が付加された情報）が図８のように示される場合について考える。この場合、学習モデル生成部３６は、ＵＲＬをキーとして集計結果と学習画像情報とを突き合わせることにより、学習画像「ｘｘｘ１．ｊｐｇ」の特徴量「１：０．３ ２：０．３ ３：１ ４：９．１」を説明変数、当該学習画像を含むコンテンツのＵＲＬ「ｘｘｘ．ｃｏｍ」に関連付けられたシェア数「５６」を目的変数とする学習用データを作成することができる。学習モデル生成部３６は、このようにして複数作成した学習用データをタグ毎に分別して保持する。

学習モデル生成部３６は、タグ毎に作成された学習用データを用いて、タグ毎に機械学習を実行することにより、タグ毎に異なる学習モデルを生成する。このような機械学習の手法としては、例えば、サポートベクターマシン（ＳＶＭ）、ニューラルネットワーク、及びＡｄａＢｏｏｓｔに代表されるブースティング等の教師あり機械学習を用いることができる。

学習モデル生成部３６は、タグ毎に生成した学習モデルを学習モデル記憶部３７にタグ毎に記憶させる。図９に、タグ毎に生成された学習モデルの例を示す。この例では、「人」、「東京タワー」、「建物」のタグ毎に学習モデル生成部３６によって生成された学習モデルが、それぞれ別の学習モデルとして学習モデル記憶部３７に記憶される。

評価画像情報記憶部４０は、学習部３０によって生成された学習モデルを用いてスコアを算出する対象となる評価画像（第２の画像）と、当該評価画像を含むコンテンツのＵＲＬとを関連付けた評価画像情報を記憶する手段である。図１０は、評価画像情報の例を示す図である。この図に示すように、評価画像情報の形式は、学習画像情報の形式と同一である。

評価画像情報記憶部４０には、例えば上述の情報サイトの管理者によって、掲載候補のコンテンツに含まれる評価画像に関する評価画像情報が予め格納される。評価画像とは、例えば、直近一週間以内の最新ニュースを提供する情報サイトであれば、直近一週間以内にウェブ上に公開されたコンテンツに含まれる画像である。

本実施形態では、「評価画像はウェブ上に公開されて間もない画像又は未公開の画像」であるものとする。なお、このように、既に公開されて一定の期間を経過している画像を評価画像に含めない理由は、以下の通りである。即ち、既に公開されて一定の期間を経過している画像については、当該画像に対してウェブ上に投稿されたテキストの数をもって当該画像がユーザの注目を惹くか否かという観点での判断がある程度可能と考えられるため、後述する評価部５０によって画像を評価する必要性があまりないと考えられるからである。

また、評価画像を学習画像として生成した学習モデルを用いて当該評価画像自身のスコアを算出することは妥当ではないため、学習画像情報記憶部２０に記憶される学習画像には、評価画像情報記憶部４０に記憶される評価画像と同一の画像は含まれないものとする。例えば、学習画像情報記憶部２０は、画像に関連付けられたＵＲＬに基づいて評価画像情報記憶部４０に記憶された評価画像と同一の学習画像を除外するものとし、学習部２０は、評価画像を含まない学習画像に基づいて上述の学習処理を実行するものとする。ただし、評価画像には、上述のとおり既にウェブ上に公開されている画像が含まれるため、投稿情報記憶部１０に評価画像に対するテキストが収集及び記憶されている場合があるものとする。

評価部５０は、学習部３０によって生成された学習モデルを用いて評価画像のスコアを算出する機能要素である。評価部５０は、第２分類情報取得部５１、第２特徴量取得部５２、第２特徴量記憶部５３、スコア算出部５４、及びスコア情報記憶部５５を備える。

第２分類情報取得部５１は、評価画像情報記憶部４０に記憶されている評価画像情報を取得し、当該評価画像（第２の画像）の分類を示す情報（タグ）を取得する第２の分類情報取得手段である。第２分類情報取得部５１は、上述した第１分類情報取得部３３と同一の方法及び手順により評価画像のタグを取得する。

第２分類情報取得部５１は、評価画像情報に取得したタグを付加し、当該評価画像情報を第２特徴量取得部５２に入力する。図１１（ａ）に、タグが付加された評価画像情報の例を示す。この例では評価画像「ｐｐｐ１．ｊｐｇ」及び「ｑｑｑ．ｊｐｇ」に対して、タグ「人」及び「東京タワー」が付加されている。

第２特徴量取得部５２は、第２分類情報取得部５１から、図１１（ａ）に示されるようなタグが付加された評価画像情報を取得（入力）し、当該評価画像情報に含まれる評価画像（第２の画像）の特徴量を取得する第２の特徴量取得手段である。第２特徴量取得部５２は、第１特徴量取得部３４が学習画像の特徴量の素性とした特徴量について、第１特徴量取得部３４と同様の方法及び手順によって、評価画像の特徴量を取得する。

ここで、ネガポジ判定結果に基づく特徴量について述べる。評価画像は未公開の画像又はウェブ上に公開されて間もない画像であるため、インターネット上において評価画像に対する投稿情報が存在しない又は非常に少ないことが考えられる。しかしながら、評価部５０によって評価画像を評価する時点において、評価画像に対するテキストが一定数以上投稿情報記憶部１０に記憶されており、評価画像についてのネガポジ判定結果に基づく特徴量が適切に得られる可能性もある。そこで、第１特徴量取得部３４及び第２特徴量取得部５２が、ネガポジ判定結果に基づく特徴量を学習画像及び評価画像の特徴量の素性とすることによって、後述するスコア算出部５４によるスコア算出において、ネガポジ判定結果に基づいて、より適切なスコアを算出できる可能性がある。ただし、評価画像として未公開の画像のみを利用する場合等、評価画像に対するテキストが一切存在しないことが予めわかっているような場合には、第１特徴量取得部３４及び第２特徴量取得部５２は、ネガポジ判定結果に基づく特徴量を学習画像及び評価画像の特徴量の素性としなくともよい。

第２特徴量取得部５２は、取得した評価画像の特徴量の情報を評価画像情報に付加し、当該評価画像情報を第２特徴量記憶部５３に記憶させる。図１１（ｂ）に、第２特徴量記憶部５３に記憶される評価画像情報の例を示す。

スコア算出部５４は、学習モデル生成部３６によって生成された学習モデルを用いて評価画像のスコアを算出するスコア算出手段である。スコア算出部５４は、評価画像毎に、当該評価画像のタグに応じた学習モデルを用いてスコアを算出する。以下、評価画像情報に対するスコア算出処理について説明する。

まず、スコア算出部５４は、第２特徴量記憶部５３から１つの評価画像情報（例えば図１１（ｂ）のＵＲＬが「ｐｐｐ．ｃｏｍ」の評価画像情報）を取得し、当該評価画像情報に含まれる評価画像「ｐｐｐ１．ｊｐｇ」の特徴量「１：０．２ ２：０．５ ３：１ ４：９．１・・・」を取得する。また、スコア算出部５４は、学習モデル記憶部３７から、当該評価画像情報に含まれるタグ「人」に対応する学習モデルを取得する。

そして、スコア算出部５４は、取得した学習モデル（タグ「人」に対応する学習モデル）に、取得した特徴量を説明変数として入力して、当該学習モデルの出力から評価画像「ｐｐｐ１．ｊｐｇ」のスコアを算出する。図１１（ｃ）に、このようにして算出されたスコアの例を示す。

スコア算出部５４は、図１１（ｃ）に示すようにＵＲＬ、評価画像、及びスコアを関連付けたスコア情報をスコア情報記憶部５５に出力する。スコア情報記憶部５５は、スコア情報を記憶するデータベース等の記憶手段である。

スコア利用部６０は、評価部５０によって算出された評価画像のスコアを利用して、掲載候補のコンテンツの中から掲載するコンテンツ及びその掲載位置を決定するのに有用な情報となり得る、掲載候補のコンテンツに含まれる評価画像の総合スコア及び類似群毎の代表画像を示す情報を出力する機能要素である。スコア利用部６０は、画像取得部６１、テキスト取得部６２、第２集計部６３、総合スコア算出部６４、類似判定部６５、及び代表画像決定部６６を備える。

画像取得部６１は、評価画像情報記憶部４０から、評価画像を含む評価画像情報を複数取得する画像取得手段である。例えば、評価画像情報記憶部４０に図１０に示す３つの評価画像情報が記憶されている場合には、画像取得部６１は、当該３つの評価画像情報を取得する。

テキスト取得部６２は、画像取得部６１によって取得された評価画像情報に含まれる評価画像（第２の画像）に対するテキストを取得するテキスト取得手段である。具体的には、テキスト取得部６２は、評価画像情報に含まれるＵＲＬに関連付けられた投稿情報を投稿情報記憶部１０から取得することによって、評価画像に対するテキストを取得する。

ここで、評価画像に対するテキストを取得するのは、評価画像に対するテキストが投稿情報記憶部１０において一定数記憶されている場合には、後述する類似判定部６５による類似判定及び評価画像の総合スコアの算出において、当該テキストの内容及び数を考慮することによって、より精度良く類似判定及び総合スコアの算出を行う可能性を高めることができると考えられるからである。

ただし、上述のように、評価画像は公開されて間もない画像又は未公開の画像であるため、テキスト取得部６２が処理を実行する時点で、評価画像に対するテキストが投稿情報記憶部１０に記憶されていない場合も考えられる。その場合には、以降の処理においては、評価画像に対するテキストに基づく判定及び処理を省略すればよい。

第２集計部６３は、評価画像に対するテキストを入力して、当該評価画像毎のテキストの数を集計する第２の集計手段である。具体的には、第２集計部６５は、例えばテキスト取得部６２が取得したテキストを取得し、上述した集計部３１と同一の方法及び手順によって評価画像毎のシェア数（テキストの数）を集計し、集計したシェア数を総合スコア算出部６４に入力する。

総合スコア算出部６４は、スコア算出部５４によって算出された評価画像のスコア（スコア情報記憶部５５に記憶されているスコア情報）、及び第２集計部６３によって集計されたシェア数に基づいて、評価画像の総合スコアを算出する総合スコア算出手段である。具体的には、総合スコア算出部６４は、例えば画像取得部６１から評価画像情報を取得し、評価画像情報毎に、評価画像情報に含まれるＵＲＬに対応する評価画像のスコアをスコア情報記憶部５５から取得し、当該ＵＲＬに対応するシェア数を第２集計部６３から取得する。そして、総合スコア算出部６４は、例えば当該評価画像のスコア及び当該シェア数に対して予め定めた重み付けをそれぞれ掛けて足し合わせた値を総合スコアとして算出する。

類似判定部６５は、画像取得部６１によって取得された評価画像情報と、テキスト取得部６２によって取得されたテキストとを取得し、当該評価画像情報に含まれる評価画像自体と当該テキストとに基づいて、評価画像同士が類似するか否か、即ち評価画像同士が同一の内容及び話題等を示すものか否かを判定する類似判定手段である。

類似判定部６５による類似判定処理は、後述する代表画像決定部６６によって掲載候補の評価画像を同一の内容及び話題等を示すグループ（類似群）毎の代表画像（掲載画像）を決定するための前段処理として位置付けられる処理である。

類似判定部６５は、取得した評価画像情報とテキストとをＵＲＬによって突合することにより、図１２に示すような、同一ＵＲＬに関連付けられる評価画像及びテキストの組を示す情報を、判定用情報としてＵＲＬ毎（評価画像毎）に取得する。類似判定部６５は、当該組を示す情報を参照することによって、以下に説明する処理を行う。

類似判定部６５は、判定用情報に含まれる評価画像及びテキストのそれぞれについて、画像ベース及びテキストベースの類似判定の手法を用いることによって、評価画像同士が類似するか否かを判定する。

まず、評価画像を用いた画像ベースの類似判定について説明する。画像の類似判定には、例えば、互いに類似する画像を入力すると互いに近似するハッシュ値を生成する知覚的ハッシュアルゴリズム（例えば「ｐＨａｓｈ」等）を用いる。ＳＨＡ２５６やＭＤ５等の一般的なハッシュ値生成アルゴリズムでは、入力元のデータが少しでも異なると全く異なる値のハッシュ値が生成されるが、知覚的ハッシュアルゴリズムでは、互いに類似するデータを入力として与えると類似度が大きい程近い値のハッシュ値を生成する。

したがって、類似判定部６５は、例えば、各評価画像に対して任意の知覚的ハッシュアルゴリズムを実行することでハッシュ値を取得し、評価画像間でのハッシュ値の近似度を所定の計算式によって算出し、当該近似度が所定の閾値以上であるか否かによって評価画像同士の類似を判定する。即ち、上記近似度が所定の閾値以上である（類似度が一定以上の）場合には、評価画像同士は互いに類似すると判定し、上記近似度が所定の閾値未満である（類似度が一定未満の）場合には評価画像同士は互いに非類似と判定する。

次に、評価画像に対するテキストを用いたテキストベースの類似判定について説明する。テキストの類似判定は、評価画像毎（即ち評価画像に関連付けられるＵＲＬ毎）に、形態素解析により得られた形態素毎のＴＦＩＤＦ値を並べた特徴ベクトルを生成し、当該特徴ベクトルの類似度をテキスト間で判定することにより行う。

まず、類似判定部６５は、取得した全ての判定用情報に含まれる評価画像（ＵＲＬ）に対する全てのテキストに対して形態素解析を実行し、得られた形態素を処理対象の形態素とする。

次に、類似判定部６５は、１つの評価画像に対するテキスト群を１つのドキュメントとして、ドキュメント内での形態素の出現頻度を示すＴＦ値を算出する。したがって、ＴＦ値は、評価画像毎及び形態素毎に算出される。また、類似判定部６５は、形態素毎に、全ドキュメント数（即ち全ての判定用情報に含まれるＵＲＬ数）を、テキストが当該形態素を含むドキュメント数で割って対数を取ることでＩＤＦ値を算出する。したがって、ＩＤＦ値は、形態素毎に算出される。

類似判定部６５は、形態素毎に算出したＴＦ値とＩＤＦ値との積を取ることで、図１３に示すように、評価画像毎（ＵＲＬ毎）及び形態素毎のＴＦＩＤＦ値を取得する。類似判定部６５は、このように取得したＴＦＩＤＦ値を並べた特徴ベクトルをＵＲＬ毎に取得する。図１３の例では、「ｐｐｐ．ｃｏｍ」の特徴ベクトルは「１．０，２．０，１．０，・・・」となり、「ｑｑｑ．ｃｏｍ」の特徴ベクトルは「１．５，２．０，０．５，・・・」となる。

類似判定部６５は、ＵＲＬ毎に取得した特徴ベクトル同士について、例えばコサイン距離、ジャカード係数、及びピアソン相関係数を算出し、算出された値が予め定めた閾値以上である（類似度が一定以上の）場合には、評価画像同士は互いに類似すると判定し、上記値が閾値未満である（類似度が一定未満）場合には、評価画像同士は互いに非類似と判定する。

その他の方法として、類似判定部６５は、上記特徴ベクトル同士について、マンハッタン距離及びユークリッド距離等の距離を算出し、算出された値算出された値が予め定めた閾値以上である（類似度が一定以上の）場合には、評価画像同士は互いに類似すると判定し、上記値が閾値未満である（類似度が一定未満）場合には、評価画像同士は互いに非類似と判定してもよい。

なお、類似判定部６５による上記特徴ベクトル同士の類似度判定の手法は、これらが類似するか否かを判定できるものであれば、任意の指標及び方法に基づくものであってよく、上記方法に限定されない。

類似判定部６５は、以上のように、評価画像を用いた画像ベースの類似度判定、及び評価画像に対すテキストを用いたテキストベースの類似判定を実行し、各判定結果に基づいて評価画像同士が類似するか否かの最終的な判定を行う。例えば、類似判定部６５は、いずれか一方の判定結果が「類似する」である場合に評価画像同士は類似すると判定する。

例えば、図１２に示すように、同一の内容（キャラクター肉まん）を示し、ユーザに与える印象がほぼ同一の評価画像同士であっても、評価画像間での全体的な特徴（構図、角度、色合い等）が必ずしも一致せず画像ベースでは非類似と判定される場合が考えられる。このような場合に、当該評価画像に対するテキストに基づく類似判定を併せて行うことによって、評価画像同士が類似である（同一の内容及び話題等を示す同一の類似群に属する）と適切に判定することができる。

類似判定部６５は、例えば、互いに類似する評価画像が同一の類似群に属することを示す識別情報（類似ＩＤ）を画像取得部６１から取得した評価画像情報に付加し、当該評価画像情報を代表画像決定部６６に出力する。これにより、代表画像決定部６６が、互いに類似する評価画像同士を認識することが可能となる。

代表画像決定部６６は、類似判定部６５によって互いに類似すると判定された複数の評価画像（類似群）について、総合スコア算出部６４によって算出されたスコアに基づいて、当該類似群を代表する代表画像を決定する代表画像決定手段である。

具体的には、代表画像決定部６６は、類似判定部６５から取得した類似ＩＤを含む評価画像情報と、総合スコア算出部６４から取得した評価画像毎の総合スコアとを参照することによって、同一の類似群に属する評価画像のうち最も総合スコアが高い評価画像を抽出する。そして、代表画像決定部６６は、抽出した評価画像を当該類似群における代表画像として決定する。

例えば、総合スコア算出部６４によって算出された評価画像毎の総合スコア及び代表画像決定部６６によって決定された類似群毎の代表画像を示す情報は、情報サイトのウェブページのレイアウトを決定するレイアウト決定装置（不図示）に出力される。レイアウト決定装置は、評価画像毎の総合スコア及び類似群毎の代表画像を示す情報に基づいて、例えば類似群毎の代表画像間で総合スコアの高い順での順位付を行うことができる。そして、レイアウト決定装置は、当該順位付に基づいて、例えば図１５右上のレイアウトにおいて、上位の代表画像を含むコンテンツから順に、画像領域の広い順（コンテンツ領域Ａ１→Ａ２→Ａ３→Ａ４→Ａ５）に割り当てることができる。

これによって、ウェブページ内が同一の類似群に属する画像に関するコンテンツで埋め尽くされず、バラエティ豊かなページが実現されるとともに、できるだけユーザの注目を惹く可能性の高い画像を含むコンテンツを優先的に配置することができる。

続いて、図１４を用いて、画像評価装置１の動作について説明する。

図１４に示すように、まず、集計部３１によって、投稿情報記憶部１０に記憶された学習画像（第１の画像）に対するテキストを含んだ投稿情報が読み込まれる。そして、学習画像に対するテキストの数（シェア数）が、学習画像毎（ＵＲＬ毎）に集計され、集計結果が集計結果記憶部３２に記憶される（ステップＳ１、第１の集計ステップ）。

続いて、第１分類情報取得部３３によって、学習画像情報記憶部２０に記憶された学習画像情報が読み込まれる（入力される）。そして、学習画像毎に画像の分類を示すタグが取得され、当該タグを付加した学習画像情報が第１特徴量取得部３４に出力される（ステップＳ２）。

続いて、第１特徴量取得部３４によって、第１分類情報取得部３３からタグが付加された学習画像情報が取得され、当該学習画像情報に含まれる学習画像の特徴量が取得される。そして、当該特徴量を示す情報を付加した学習画像情報が第１特徴量記憶部３５に記憶される（ステップＳ３、第１の特徴量取得ステップ）。

続いて、学習モデル生成部３６によって、集計結果記憶部３２に記憶された集計結果と第１特徴量記憶部３５に記憶された学習画像の特徴量とが取得される。そして、当該学習情報の特徴量を説明変数、当該集計結果を目的変数とした学習用データがタグ毎に作成され、当該学習データを用いた機械学習がタグ毎に実行される。これによって、任意の画像の特徴量を入力としてスコアを出力する学習モデルがタグ毎に生成され、学習モデル記憶部３７に記憶される（ステップＳ４、学習モデル生成ステップ）。

続いて、第２分類情報取得部５１によって、評価画像情報記憶部４０に記憶された評価画像情報が読み込まれる（入力される）。そして、評価画像毎に画像の分類を示すタグが取得され、当該タグを付加した評価画像情報が第２特徴量取得部５２に出力される（ステップＳ５）。

続いて、第２特徴量取得部５２によって、第２分類情報取得部５１からタグが付加された評価画像情報が取得され、当該評価画像情報に含まれる評価画像の特徴量が取得される。そして、当該特徴量を示す情報を付加した評価画像情報が第２特徴量記憶部５３に記憶される（ステップＳ６、第２の特徴量取得ステップ）。

続いて、スコア算出部５４によって、学習モデル記憶部３７から評価画像に付加されたタグに応じた学習モデルが読み込まれる。そして、当該学習モデルに、評価画像の特徴量が説明変数として入力されて、学習モデルの出力から評価画像のスコアが算出される。そして、当該スコアを評価画像に関連付けたスコア情報がスコア情報記憶部５５に記憶される（ステップＳ７、スコア算出ステップ）。

続いて、画像取得部６１によって、評価画像情報記憶部４０に記憶された評価画像情報（評価画像を示す情報を含む）が複数取得される（ステップＳ８）。また、テキスト取得部６２によって、画像取得部６１によって取得された評価画像情報に含まれる評価画像に対するテキストが取得される（ステップＳ９）。

続いて、第２集計部６３によって、テキスト取得部６２が取得したテキストが取得され、評価画像に対するテキストの数（シェア数）が、評価画像毎（ＵＲＬ毎）に集計され、集計結果が総合スコア算出部６４に出力される（ステップＳ１０）。

続いて、総合スコア算出部６４によって、画像取得部６１から評価画像情報が取得され、評価画像情報に含まれるＵＲＬに対応する評価画像のスコアがスコア情報記憶部５５から読み込まれ、当該ＵＲＬに対応するシェア数が第２集計部６３から入力される。そして、当該評価画像のスコア及び当該シェア数に基づいて総合スコアが算出され、当該総合スコアが代表画像決定部６６に出力される（ステップＳ１１）。

続いて、類似判定部６５によって、画像取得部６１によって取得された評価画像情報及びテキスト取得部６２によって取得されたテキストが読み込まれ、当該評価画像情報に含まれる評価画像自体と当該テキストとに基づいて評価画像同士が類似するか否かが判定される。ここで、互いに類似すると判定された評価画像同士は同一の類似群に分類される。即ち、評価画像情報に互いに類似する評価画像が同一の類似群に属することを示す類似ＩＤが付加される。当該類似ＩＤが付加された評価画像情報は、代表画像決定部６６に出力される（ステップＳ１２）。

続いて、代表画像決定部６６によって、類似判定部６５から類似ＩＤを付加された評価画像情報が取得され、総合スコア算出部６４から評価画像毎の総合スコアが算出される。そして、当該評価画像情報及び当該総合スコアに基づいて、同一の類似群に属する評価画像のうち最も総合スコアが高い評価画像が抽出され、抽出された評価画像が代表画像として決定される（ステップＳ１３）。

本実施形態に係る画像評価装置１では、学習部２０によって、学習画像（第１の画像）の特徴量を説明変数、当該学習画像に対するテキストの数を目的変数とした学習データを用いた機械学習を実行し、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する。そして、評価部５０によって、生成された学習モデルを用いて任意の評価画像（第２の画像）のスコアを算出する。

ここで、画像に対するテキストの数（例えばインターネット上の画像（又は画像を含むコンテンツ）に対してマイクロブログ等を介してユーザによって投稿されたテキストの数等）は、画像に対する関心及び注目度等を示す指標となり得る。即ち、上述のように生成された学習モデルにより算出されるスコアは、ユーザの注目を惹くか否かという観点における評価値とみなすことができる。

したがって、画像評価装置１によれば、未だウェブ上に公開されておらず（又は公開されてから日が浅く）ユーザに知られていない画像を含む評価画像（本実施形態では、掲載候補の任意の画像）について、上記学習モデルを用いることにより、ユーザの注目を惹くか否かという観点において適切に評価することができる。

また、画像評価装置１によれば、画像の分類（タグ）毎に生成した学習モデルを用いて、タグに応じた学習モデルを用いて評価画像のスコアを算出するため、ユーザの注目を惹くか否かという観点において評価画像をより適切に評価することができる。

また、画像評価装置１では、第１特徴量取得部３４及び第２特徴量取得部５２によって学習画像及び評価画像の特徴量を算出するため、予め学習画像及び評価画像の特徴量を別途用意しておく必要がないため、画像評価装置１を操作するオペレータの操作性を向上させることができる。

また、画像評価装置１では、第１特徴量取得部３４及び第２特徴量取得部５２によって、ユーザの注目を惹くか否かという観点において重要な指標となり得る画像の解像度の数値、画像に写っている物体の数、及び画像に写っている人の顔の表情に基づく重みに基づく値を画像の特徴量の一要素とすることができる。また、画像に対するテキストには、画像がユーザに与えた印象等の画像の特徴が間接的に含まれる場合があるところ、画像がユーザに肯定的な印象を抱かせるものか、否定的な印象を抱かせるものかという、ユーザの注目を惹くか否かという観点において重要な指標となり得るネガティブ判定結果に基づく値を画像の特徴量の一要素とすることもできる。以上により、学習モデルの精度を向上させることができる。

また、画像評価装置１では、学習モデルを用いて算出された評価画像についてのスコア（ユーザの注目を惹くであろうという観点におけるスコア）と、実際にユーザの注目を惹いていることを示す画像に対するテキストの数との両方を考慮したスコア（総合スコア）を算出することができる。

また、画像評価装置１では、複数の評価画像について互いに類似する画像同士を１つのグループ（類似群）にまとめることができる。そして、類似群毎に、評価画像のスコア（本実施形態では総合スコアを用いた）に基づいて当該類似群を代表する画像を適切に決定することができる。したがって、類似群毎にユーザの注目を惹きつけることが期待できる画像を揃えることができる。

先に述べたように、総合スコア算出部６４によって算出された評価画像毎の総合スコアと、代表画像決定部６６によって決定された類似群毎の代表画像とに基づいて、図１５右側に示すような情報サイトのレイアウトにおいて、ユーザの注目を惹くという観点においてより適切なコンテンツの配置が実現される。

即ち、同図右上のレイアウトにおいては、画像領域とテキスト領域とから形成される各コンテンツ領域Ａ１〜Ａ５に対して、総合スコアが上位の評価画像を含むコンテンツから画像領域の広い順（Ａ１→Ａ２→Ａ３→Ａ４→Ａ５）に配置するといったことが可能となる。また、同図右下のレイアウトにおいては、各ジャンル（類似群）の中から決定された代表画像のうち上位６つの画像を掲載画像として選定することによって、バラエティ豊かな情報を提供しつつ、各ジャンルにおいてユーザの注目を惹く可能性の高い画像を掲載することが可能となる。

１…画像評価装置、１０…投稿情報記憶部、２０…学習画像情報記憶部、３０…学習部、３１…集計部、３２…集計結果記憶部、３３…第１分類情報取得部、３４…第１特徴量取得部、３５…第１特徴量記憶部、３６…学習モデル生成部、３７…学習モデル記憶部、４０…評価情報記憶部、５０…評価部、５１…第２分類情報取得部、５２…第２特徴量取得部、５３…第２特徴量記憶部、５４…スコア算出部、５５…スコア情報記憶部、６０…スコア利用部、６１…画像取得部、６２…テキスト取得部、６３…第２集計部、６４…総合スコア算出部、６５…類似判定部、６６…代表画像決定部。

Claims (10)

1. 第１の画像に対するテキストを入力して、当該テキストの数を集計する第１の集計手段と、
   前記第１の画像の特徴量を示す情報を取得する第１の特徴量取得手段と、
   前記第１の特徴量取得手段によって取得された特徴量を説明変数に対応する情報、及び前記第１の集計手段によって集計された数に基づく情報を目的変数に対応する情報とした学習用データを用いて機械学習を実行して、任意の画像の特徴量を入力としてスコアを出力する学習モデルを生成する学習モデル生成手段と、
   第２の画像の特徴量を示す情報を取得する第２の特徴量取得手段と、
   前記学習モデル生成手段によって生成された学習モデルに、前記第２の特徴量取得手段によって取得された特徴量を説明変数として入力して、当該学習モデルの出力から前記第２の画像のスコアを算出するスコア算出手段と、
   を備える画像評価装置。
2. 前記第１の画像の分類を示す情報を取得する第１の分類情報取得手段と、
   前記第２の画像の分類を示す情報を取得する第２の分類情報取得手段と、を更に備え、
   前記学習モデル生成手段は、第１の分類情報取得手段によって取得された情報によって示される前記第１の画像の分類に応じて学習モデルを生成し、
   前記スコア算出手段は、第２の分類情報取得手段によって取得された情報によって示される前記第２の画像の分類に応じた学習モデルを用いて前記第２の画像のスコアを算出する、請求項１に記載の画像評価装置。
3. 前記第１の特徴量取得手段は、前記第１の画像を入力して、入力した第１の画像から特徴量を算出して、当該特徴量を示す情報を取得し、
   前記第２の特徴量取得手段は、前記第２の画像を入力して、入力した第２の画像から特徴量を算出して、当該特徴量を示す情報を取得する、請求項１又は２に記載の画像評価装置。
4. 前記第１の特徴量取得手段は、前記第１の画像の解像度を示す情報を取得し、当該画像の解像度を示す情報に基づいて前記第１の画像の特徴量を示す情報を生成し、
   前記第２の特徴量取得手段は、前記第２の画像の解像度を示す情報を取得し、当該画像の解像度を示す情報に基づいて前記第２の画像の特徴量を示す情報を生成する、請求項１〜３の何れか一項に記載の画像評価装置。
5. 前記第１の特徴量取得手段は、前記第１の画像に写っている物体の数を示す情報を取得し、当該物体の数を示す情報に基づいて前記第１の画像の特徴量を示す情報を生成し、
   前記第２の特徴量取得手段は、前記第２の画像に写っている物体の数を示す情報を取得し、当該物体の数を示す情報に基づいて前記第２の画像の特徴量を示す情報を生成する、請求項１〜４の何れか一項に記載の画像評価装置。
6. 前記第１の特徴量取得手段は、前記第１の画像に写っている人の表情を示す情報を取得し、当該人の表情を示す情報に基づいて前記第１の画像の特徴量を示す情報を生成し、
   前記第２の特徴量取得手段は、前記第２の画像に写っている人の表情を示す情報を取得し、当該人の表情を示す情報に基づいて前記第２の画像の特徴量を示す情報を生成する、請求項１〜５の何れか一項に記載の画像評価装置。
7. 前記第１の特徴量取得手段は、前記第１の画像に対するテキストを入力して、当該テキストに基づいて前記第１の画像の特徴量を示す情報を生成し、
   前記第２の特徴量取得手段は、前記第２の画像に対するテキストを入力して、当該テキストに基づいて前記第２の画像の特徴量を示す情報を生成する、請求項１〜６の何れか一項に記載の画像評価装置。
8. 前記第１の特徴量取得手段は、前記第１の画像に対するテキストの内容がネガティブなものか、ポジティブなものかを判定し、当該判定結果に基づいて前記第１の画像の特徴量を示す情報を生成し、
   前記第２の特徴量取得手段は、前記第２の画像に対するテキストの内容がネガティブなものか、ポジティブなものかを判定し、当該判定結果に基づいて前記第２の画像の特徴量を示す情報を生成する、請求項７に記載の画像評価装置。
9. 第２の画像に対するテキストを入力して、当該第２の画像毎のテキストの数を集計する第２の集計手段と、
   前記スコア算出手段によって算出された前記第２の画像のスコア、及び前記第２の集計手段によって集計された数に基づいて、前記第２の画像の総合スコアを算出する総合スコア算出手段と、を更に備える、請求項１〜８の何れか一項に記載の画像評価装置。
10. 第２の画像を複数取得する画像取得手段と、
    前記画像取得手段によって取得された第２の画像に対するテキストを取得するテキスト取得手段と、
    前記画像取得手段によって取得された第２の画像と、前記テキスト取得手段によって取得されたテキストとに基づいて、前記第２の画像同士が類似するか否かを判定する類似判定手段と、
    前記類似判定手段によって類似すると判定された複数の第２の画像について、前記スコア算出手段によって算出されたスコアに基づいて、当該複数の第２の画像を代表する代表画像を決定する代表画像決定手段と、
    を更に備える請求項１〜９の何れか一項に記載の画像評価装置。

Images