JP2017162056A - 画像評価装置及び画像評価プログラム - Google Patents

Abstract

【課題】ユーザの嗜好を反映した画像の評価を適切に行うことができる画像評価装置及び画像評価プログラムを提供する。【解決手段】一実施形態に係る画像評価装置１は、画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられた学習データに基づいて、評価値を出力するための評価モデルを決定する評価モデル決定部１７と、評価対象画像を取得する画像取得部１１と、評価対象画像についての複数の評価項目の各々のスコアを算出し、算出されたスコアと評価モデル決定部１７により決定された評価モデルとに基づいて、評価対象画像の評価値を算出する評価値算出部１６と、評価値算出部１６により算出された評価値を出力する画像表示部１３と、を備える。【選択図】図１

Description

本発明は、画像評価装置及び画像評価プログラムに関する。

従来、画像の評価を行う手法として、複数の評価項目毎のスコアを算出し、これらのスコアに所定の重みを乗じて加算することにより画像の総合評価を算出する手法が知られている（例えば下記特許文献１参照）。この手法では、ユーザが重視する事項に基づいて各評価項目に対する重みが決定される。具体的には、ユーザの撮像操作の履歴（例えば風景モード及びポートレートモード等の特定のモードが選択された頻度等）に基づいて、ユーザが重視する項目（構図及びピント等）が判断される。そして、ユーザが重視する項目に対する重みが大きくなるように重み付けを行うことで、総合評価が算出される。

特開２００６−２５４１０７号公報

しかしながら、上記手法により算出される重みは、あくまでもユーザの撮像操作の履歴に基づくものであり、画像自体の特徴に対するユーザの好みを十分に反映したものとはいえない。このため、上記手法で算出された重みでは、ユーザの嗜好を反映した画像の評価を適切に行うことができないおそれがある。

そこで、本発明は、ユーザの嗜好を反映した画像の評価を適切に行うことができる画像評価装置及び画像評価プログラムを提供することを目的とする。

本発明の一形態に係る画像評価装置は、画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられた学習データに基づいて、評価値を出力するための評価モデルを決定する評価モデル決定手段と、評価対象画像を取得する取得手段と、評価対象画像についての複数の評価項目の各々のスコアを算出し、算出されたスコアと評価モデル決定手段により決定された評価モデルとに基づいて、評価対象画像の評価値を算出する算出手段と、算出手段により算出された評価値を出力する出力手段と、を備える。

本発明の一形態に係る画像評価プログラムは、コンピュータを、画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられた学習データに基づいて、評価値を出力するための評価モデルを決定する評価モデル決定手段、評価対象画像を取得する取得手段、評価対象画像についての複数の評価項目の各々のスコアを算出し、算出されたスコアと評価モデル決定手段により決定された評価モデルとに基づいて、評価対象画像の評価値を算出する算出手段、算出手段により算出された評価値を出力する出力手段、として機能させる。

このような画像評価装置又は画像評価プログラムでは、画像の特徴（すなわち、評価項目毎のスコア）と当該画像がユーザの嗜好に合致する度合い（評価値）とを関連付けた学習データに基づいて、評価対象画像の評価値を出力するための評価モデルが決定される。そして、このような評価モデルに評価対象画像の特徴を入力することで、評価対象画像がユーザの嗜好に合致するか否かについての適切な評価結果（評価値）を得ることができる。従って、上記の画像評価装置又は画像評価プログラムによれば、ユーザの嗜好を反映した画像の評価を適切に行うことができる。

評価モデル決定手段は、一の画像の全体についての複数の評価項目の各々のスコアと一の画像の評価値とが関連付けられたデータ単位を学習データの一単位として使用することにより、評価モデルを決定してもよい。

この構成によれば、学習データとして用いられた画像のうちで評価値が高い画像（いわゆる正解データ）と全体的に類似している画像でなければ、評価値が高く算出され難い評価モデルを決定することができる。これにより、ユーザの嗜好に合致する画像と全体的に類似するか否かの観点から、比較的厳しい判定基準で評価対象画像の評価を行うことができる。

評価モデル決定手段は、一の画像を分割して得られる複数の部分領域のうちの一の部分領域についての複数の評価項目の各々のスコアと一の画像の評価値とが関連付けられたデータ単位を学習データの一単位として使用することにより、評価モデルを決定してもよい。

この構成によれば、学習データとして用いられた画像のうちで評価値が高い画像（いわゆる正解データ）と全体的に類似していなくとも、正解データに含まれる部分領域と類似する部分領域を多く含んでいれば評価値が高く算出され易い評価モデルを決定することができる。これにより、ユーザの嗜好に合致する部分領域が多く含まれているか否かの観点から、比較的緩やかな判定基準で評価対象画像の評価を行うことができる。

評価モデル決定手段は、一の画像を分割して得られる複数の部分領域の各々についての複数の評価項目の各々のスコアに基づいて、上記複数の部分領域のうちから学習データとして用いる部分領域を選択してもよい。

この構成によれば、例えば、学習データの候補となる画像に含まれる複数の部分領域のうち、スコアが最大の部分領域（例えば、各評価項目のスコアの和が最大の部分領域等）に関するデータのみを学習データとして選択すること等ができる。画像内においてスコアが最大の部分領域は、当該画像内において当該画像の長所（構図の良さ等）が現れた部分領域であるといえる。このような部分領域のみを学習データとして用いることで、画像の長所部分（例えば画像が写真である場合、当該写真を撮影した写真家独自の趣きが現れた部分）を重視して学習することが可能となる。その結果、画像の長所部分に対するユーザの嗜好を反映した評価モデルを決定することが可能となる。

評価モデル決定手段は、一の画像を分割して得られる複数の部分領域の各々についての人の興味を惹く度合いを示す興味度に基づいて、複数の部分領域のうちから学習データとして用いる部分領域を選択してもよい。

この構成によれば、例えば、興味度が最大の部分領域（すなわち、視覚的に顕著であり、人の目を惹き易い部分領域）に関するデータのみを学習データとして選択すること等ができる。このような部分領域のみを学習データとして用いることで、画像内で目立つ部分（例えば、当該画像が人物を撮影した写真である場合、当該写真の主題である人物が映った部分等）を重視して学習することが可能となる。その結果、画像内で目立つ部分に対するユーザの嗜好を反映した評価モデルを決定することが可能となる。

本発明によれば、ユーザの嗜好を反映した画像の評価を適切に行うことができる画像評価装置及び画像評価プログラムを提供することができる。

一実施形態に係る画像評価装置の機能構成を示すブロック図である。 図１の画像評価装置のハードウェア構成を示すブロック図である。 評価対象画像に対する領域分割により得られる部分領域の一例を示す図である。 領域情報格納部に格納される領域情報の一例を示す図である。 Ｃｏｍｐ（ｉ，ｊ）の説明図である。 Ｃｏｍｐ（ｉ，ｊ）の説明図である。 Ｎｏｉｓｅ（ｉ）の説明図である。 学習データとして用いられる画像の一例を示す図である。 部分領域単位のデータを一単位とする学習データの一例を示す図である。 画像単位のデータを一単位とする学習データの一例を示す図である。 評価対象画像の一例を示す図である。 第１の評価モデルを適用した場合の評価結果を示す図である。 第２の評価モデルを適用した場合の評価結果を示す図である。 画像評価装置の動作の一例を示すフローチャートである。 一実施形態に係る情報処理プログラムの構成を示すブロック図である。

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る画像評価装置１の機能構成を示すブロック図である。画像評価装置１は、図１に示す各機能要素により、評価対象画像（例えば、人物、動物、及び風景等の被写体を含んだ写真等）に対して、特定のユーザの嗜好を反映した評価を行い、評価結果を出力する。ここで、特定のユーザとは、例えば画像評価装置１を用いて写真撮影を行うユーザである。また、出力される評価結果は、ユーザの嗜好に合致する度合いを示す評価値である。このような評価結果がユーザに提示されることにより、ユーザは、自身が撮影した写真、或いはカメラ機能によって捉えられている撮影予定の画像について、自身の嗜好を反映した評価結果を確認することが可能となる。ユーザは、このような評価結果が高くなるように構図等を調整することで、ユーザの嗜好を反映した評価が高い写真（すなわち、ユーザ自身が満足できる写真）を撮影することができる。

画像評価装置１は、例えば、被写体を撮像するカメラ機能を有するデジタルカメラ、スマートフォン、タブレット、及び携帯電話等の端末として実装される。この場合、画像評価装置１は、自装置が備えるカメラ機能で撮像した画像を評価対象画像として取得することができる。また、画像評価装置１は、上述のカメラ機能を有さないサーバ装置として実装されてもよい。この場合、画像評価装置１は、例えば、他の装置（例えば上述したカメラ機能を有する端末等）によって撮像された画像を当該他の装置から受け取る（例えばＳＤカード等の記録媒体を介して受け取る）ことにより、評価対象画像を取得することができる。なお、以降の説明においては、画像評価装置１は、カメラ機能を有するスマートフォン等の端末であることを主に想定して説明を行うが、上述の通り、画像評価装置１は、カメラ機能を有する端末に限定されない。

図２は、画像評価装置１のハードウェア構成を示すブロック図である。図２に示すように、画像評価装置１は、物理的には、一又は複数のＣＰＵ１０１と、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３と、入力キー及びタッチセンサ等の入力デバイスである入力装置１０４と、液晶ディスプレイ等の出力装置１０５と、データ送受信デバイスである通信モジュール１０６と、カメラモジュール１０７と、半導体メモリ等の補助記憶装置１０８と、を含むコンピュータシステムとして構成される。図１に示す画像評価装置１の各機能は、図２に示すＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェア（画像評価プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで入力装置１０４、出力装置１０５、通信モジュール１０６、及びカメラモジュール１０７を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０８等におけるデータの読み出し及び書き込みを行うことで実現される。

なお、画像評価装置１は、単一の装置として構成されてもよいし、２以上の装置によって機能を分散した構成とされてもよい。例えば、画像評価装置１は、上述したように、デジタルカメラ及びスマートフォン等の端末、或いは１台のサーバ装置として構成されてもよい。また、画像評価装置１は、例えば、カメラモジュール１０７及びディスプレイ（出力装置１０５）を搭載する端末と、当該端末により取得された画像（評価対象画像）に対する処理（後述する領域分割部１４及び評価値算出部１６による処理等）及び事前の学習処理（後述する評価モデル決定部１７による処理等）を実行するサーバ装置と、を含む分散システムとして構成されてもよい。

以下、図１に示す画像評価装置１の構成について詳述する。画像評価装置１は、機能的な構成要素として、画像取得部１１（取得手段）、画像情報格納部１２、画像表示部１３（出力手段）、領域分割部１４、領域情報格納部１５、評価値算出部１６（算出手段）、評価モデル決定部１７（評価モデル決定手段）、及び評価モデル格納部１８を備える。

画像取得部１１は、評価対象となる画像（評価対象画像）を取得する。画像取得部１１は、例えばカメラモジュール１０７によって実現される。具体的には、画像取得部１１は、レンズ及び光学素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、受光素子によって取得された画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。画像取得部１１は、取得した被写体の画像信号を含む画像情報を画像情報格納部１２に格納する。取得される画像情報は、動画像の情報であってもよいし、静止画像の情報であってもよい。なお、上述の通り、画像評価装置１がカメラ機能を有さないサーバ装置等である場合、他の装置で取得されて記憶された画像ファイルを入力する部分が画像取得部１１となる。例えば、画像評価装置１が他の装置から通信ネットワークを介して画像ファイルを受信する場合、画像ファイルの受信処理を行う部分（通信モジュール１０６等）が画像取得部１１として機能する。画像取得部１１により取得される画像（動画像の場合には各フレーム）は、例えば、各画素（ピクセル）の画素値（例えば、輝度、明度及び色彩等の画素に関する数値）を示す画像情報として取得される。画像取得部１１は、このような画像情報を画像情報格納部１２に受け渡す。

画像情報格納部１２は、画像取得部１１から受け渡された画像情報を格納する。画像情報格納部１２に格納されている画像情報は、後述する画像表示部１３、領域分割部１４、及び評価値算出部１６により参照される。

画像表示部１３は、出力装置１０５（図２）によって実現される。画像表示部１３は、例えば、画像評価装置１に設けられた液晶ディスプレイにより実現される。また、特に画像評価装置１がデジタルカメラ等のファインダーを有する装置である場合には、画像表示部１３は、ファインダー内部に設けられる液晶ディスプレイ等の表示装置によって実現されてもよい。なお、画像表示部１３は、画像評価装置１において評価モード（すなわち、領域分割部１４及び評価値算出部１６の処理を実行して評価値を算出するモード）がＯＮになっていない場合、画像取得部１１により取得された評価対象画像をそのまま出力表示する。一方、画像表示部１３は、評価モードがＯＮになっている場合、評価対象画像とともに後述する評価値算出部１６により算出された評価対象画像の評価値を出力表示する。これにより、例えば写真を撮影しようとしているユーザに対して、評価対象画像についてのユーザの嗜好を反映した評価結果を提示することができる。

領域分割部１４は、画像取得部１１により取得された評価対象画像を複数の部分領域に分割する。画像の分割には、任意の領域分割の手法を用いることができる。領域分割の手法自体は公知であるため詳細な説明を省略するが、例えば、領域分割部１４は、画像情報格納部１２に格納されている画像情報を参照し、各画素の画素値に基づいてエッジ検出等の処理を実行する。このような領域分割の処理を実行することにより、領域分割部１４は、各部分領域が予め定められた一様性の基準を満たし、且つ、隣接する２つの部分領域の和集合が上記一様性の基準を満たさないように、画像を互いに重ならない複数の部分領域に分割する。

図３は、評価対象画像である画像Ｐに対する領域分割により得られる部分領域の一例を示す図である。なお、図３に示す画像Ｐは、説明のために簡略化した画像であり、被写体の色及び明暗等の図示が省略されている。図３の例では、領域分割部１４は、画像Ｐに対して上述した領域分割の処理を実行することで、画像Ｐを４つの部分領域ＩＤ０〜ＩＤ３に分割する。部分領域ＩＤ０は、背景（例えば空等）に対応する部分である。部分領域ＩＤ１は、背景とは異なる矩形状の物体に対応する部分である。部分領域ＩＤ２は、被写体である人の顔に対応する部分である。部分領域ＩＤ３は、画像Ｐ内に映り込んだ物体（例えば木の枝等）に対応する部分である。

領域情報格納部１５は、領域分割部１４により分割された部分領域に関する領域情報を格納する。なお、領域情報は、領域分割部１４により生成され、領域情報格納部１５に受け渡される。例えば、領域情報は、画像の各画素を識別するピクセル座標と画素が属する部分領域を識別する領域ＩＤとを関連付けた情報である。ピクセル座標は、例えば、画像の横方向をＸ軸方向、画像の縦方向をＹ軸方向として規定したＸＹ座標により表現される。本実施形態では一例として、ピクセル座標は、画像の左上隅の画素の座標を原点座標（０，０）とし、画像の右方向をＸ軸の正方向とし、画像の下方向をＹ軸の正方向とした場合のＸＹ座標として表現される。

図４は、領域情報の一例を示す図である。図４に示す領域情報の例では、ピクセル座標（０，０）及び（０，１）により識別される各画素が部分領域ＩＤ０に含まれ、ピクセル座標（４２７，３２０）及び（４２７，３２１）により識別される各画素が部分領域ＩＤ２に含まれることが例示されている。

評価値算出部１６は、評価対象画像についての複数の評価項目の各々のスコアを算出する。また、評価値算出部１６は、算出されたスコアと後述する評価モデル決定部１７により決定される評価モデルとに基づいて、評価対象画像の評価値を算出する。

まず、評価対象画像についての複数の評価項目の各々のスコアを算出する処理について説明する。評価値算出部１６は、画像情報格納部１２に格納されている画像情報及び領域情報格納部１５に格納されている領域情報を参照し、部分領域毎に予め定められた複数の評価項目の各々のスコアを算出する。本実施形態では一例として、評価値算出部１６は、部分領域毎に、複数（本実施形態では一例として３つ）の評価項目の各々のスコアを算出する。本実施形態では一例として、評価値算出部１６は、部分領域ｉ毎に、Ｃｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ）を算出する。

評価値算出部１６は、領域情報格納部１５に格納されている部分領域ｉの領域情報から、部分領域ｉに含まれる画素（ピクセル座標）を抽出する。これにより、評価値算出部１６は、画像Ｐにおいて部分領域ｉが占める範囲を把握する。また、評価値算出部１６は、画像情報格納部１２を参照することで、部分領域ｉに含まれる画素の画素値を把握する。評価値算出部１６は、画像Ｐにおいて部分領域ｉが占める範囲、及び部分領域ｉに含まれる各画素の画素値に基づいて、上述した各評価項目のスコアを算出する。以下、各評価項目のスコアの算出手法の一例について説明する。なお、評価値算出部１６は、評価項目毎に予め定められた判断ルール及び評価関数等に基づいて、各評価項目のスコアを算出する。以下、各評価項目のスコアの一例について説明する。

Ｃｏｍｐ（ｉ，ｊ）は、部分領域ｉが予め設定された構図パターンｊ（例えばデフォルト設定又はユーザ設定により選択された構図パターン）に忠実であるか否かについての評価項目のスコアである。例えば、評価値算出部１６は、構図パターンｊ（例えば三分割構図等）の評価ロジックを示す構図パターン情報を予め保持しており、当該構図パターン情報を用いることにより、部分領域ｉのＣｏｍｐ（ｉ，ｊ）を算出する。ここで、評価ロジックとは、部分領域ｉが構図パターンｊに忠実である度合いである構図に関するスコアを算出するために利用される評価関数（計算式）等の情報である。

以下、構図パターンｊが三分割構図である場合を具体例として説明する。被写体の重心が画像を縦横に三分割する仮想線の交点（縦方向に延びる仮想線と横方向に延びる仮想線との交点）に近いほど三分割構図に忠実であるといえる。このため、三分割構図の構図パターン情報として、部分領域ｉの重心と上記交点との距離が小さいほど値が大きくなるような評価関数が利用され得る。また、例えば海及び空等の背景部分の輪郭（例えば水平線及び地平線等）が上記仮想線に一致している場合にも、三分割構図に忠実であるといえる。このため、三分割構図の構図パターン情報として、部分領域ｉの輪郭と上記仮想線との一致度が高いほど値が大きくなるような評価関数も利用され得る。

図５及び図６は、Ｃｏｍｐ（ｉ，ｊ）の説明図である。図５の例において、構図パターンｊは三分割構図であり、画像Ｐ内の破線は、画像Ｐを縦横それぞれについて三分割する仮想線を示している。図５の（ａ）の例では、部分領域ｉは、その重心位置（部分領域ｉの中心位置）が三分割構図の仮想線の交点にほぼ一致しており、三分割構図に忠実に配置されている。一方、図５の（ｂ）の例では、部分領域ｉは、その重心位置が三分割構図の仮想線の交点と一致しておらず（交点から離れており）、三分割構図に忠実に配置されていない。このため、Ｃｏｍｐ（ｉ，ｊ）は、図５の（ａ）に示す場合の方が、図５の（ｂ）に示す場合よりも大きい値となる。

図６の例では、画像Ｐは、５つの部分領域ｉ（ｉ＝ｋ１〜ｋ５）に分割されている。図６の例においても、構図パターンｊは三分割構図であり、画像Ｐ内の破線は、画像を縦横それぞれについて三分割する仮想線を示している。画像Ｐには、背景として海（部分領域ｋ１）及び空（部分領域ｋ２）が映っており、さらに、海に浮かぶ船（部分領域ｋ３）、月（部分領域ｋ４）、及び雲（部分領域ｋ５）が映っている。ここで、海（部分領域ｋ１）及び空（部分領域ｋ２）は、いずれもその輪郭（境界線）が三分割構図の仮想線にほぼ一致している。このため、部分領域ｋ１，ｋ２のＣｏｍｐ（ｉ，ｊ）は比較的大きい値となる。一方、船（部分領域ｋ３）、月（部分領域ｋ４）、及び雲（部分領域ｋ５）の各々の重心位置はいずれも三分割構図の仮想線の交点から離れている。このため、部分領域ｋ３〜ｋ５のＣｏｍｐ（ｉ，ｊ）は比較的小さい値となる。より具体的には、部分領域ｋ３〜ｋ５のＣｏｍｐ（ｉ，ｊ）は、部分領域ｋ３〜ｋ５の重心位置と仮想線の交点（部分領域ｋ３〜ｋ５の重心位置から最も近い交点）との距離が大きいほど小さい値となる。

Ｎｏｉｓｅ（ｉ）は、部分領域ｉが不要な映り込みではないか否かについての評価項目のスコアである。Ｎｏｉｓｅ（ｉ）は、部分領域ｉが不要な映り込みではない場合に大きくなり、部分領域ｉが不要な映り込みである場合に小さくなるように算出される。例えば、評価値算出部１６は、領域情報格納部１５に格納されている部分領域ｉの領域情報から抽出された部分領域ｉが占める範囲に基づいて、部分領域ｉが画像Ｐの端に接しているか否かを判定する。具体的には、評価値算出部１６は、部分領域ｉに、画像Ｐの端のピクセル座標に対応する画素が含まれているか否かを判定し、含まれている場合に部分領域ｉが画像Ｐの端に接していると判定する。評価値算出部１６は、部分領域ｉが画像Ｐの端に接していないと判定された場合、部分領域ｉは不要な映り込みではないと判断する。一方、評価値算出部１６は、部分領域ｉが画像Ｐの端に接していると判定された場合（すなわち、部分領域ｉに対応する被写体の一部が画像Ｐの外に出ていることが想定される場合）、部分領域ｉは不要な映り込みであると判断する。

ここで、部分領域ｉが不要な映り込みである場合、当該部分領域ｉの面積が大きいほど、当該部分領域ｉが画像Ｐの見栄えに悪影響を与えている可能性が高いと考えられる。そこで、評価値算出部１６は、部分領域ｉが不要な映り込みであると判断された場合、当該部分領域ｉの面積が大きいほどＮｏｉｓｅ（ｉ）が小さくなるように、Ｎｏｉｓｅ（ｉ）を算出する。なお、背景部分（例えば図３の部分領域ＩＤ０）は、画像Ｐの端（上下左右の４辺）に接しているが、不要な映り込みとはいえない。そこで、評価値算出部１６は、このような背景部分を不要な映り込みであると判断する対象から除外すべく、例えば画像Ｐの４辺（或いは３辺以上）に接している部分領域ｉ（背景部分である可能性が高い部分領域ｉ）については、不要な映り込みではないと判断してもよい。

図７は、Ｎｏｉｓｅ（ｉ）の説明図である。図７の（ａ）の例では、部分領域ｉは、画像Ｐの端に接していないため、不要な映り込みではないと判断される。一方、図７の（ｂ）の例では、部分領域ｉは、画像Ｐの端（右辺）に接しているため、不要な映り込みであると判断される。このため、図７の例では、Ｎｏｉｓｅ（ｉ）は、図７の（ａ）に示す場合の方が、図７の（ｂ）に示す場合よりも大きい値となる。

Ｖｉｖｉｄ（ｉ）は、部分領域ｉの色が適度に鮮やかであるか否かについての評価項目のスコアである。例えば、評価値算出部１６は、部分領域ｉに含まれる画素の彩度（Saturation）の代表値（例えば平均値等）と予め設定された適正レベル（適正値）との誤差が小さいほどＶｉｖｉｄ（ｉ）の値が大きくなるように、Ｖｉｖｉｄ（ｉ）を算出する。なお、画像情報格納部１２に格納されている画像情報（各画素の画素値）がＲＧＢ色空間により表現されている場合、評価値算出部１６は、ＲＧＢ色空間からＨＳＶ色空間への公知の変換処理を行うことで、ＨＳＶ色空間の一成分である彩度（Ｓ）の情報を得ることができる。

評価値算出部１６は、画像Ｐについて上述のように部分領域ｉ毎に算出したスコア（本実施形態では、Ｃｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ））と評価モデルとに基づいて、画像Ｐがユーザの嗜好に合致する度合いを示す評価値を算出する。本実施形態では一例として、評価値算出部１６は、下記式（１）及び（２）により示される評価モデル（後述する評価モデル格納部１８に格納されている評価モデル）を用いて、画像Ｐの評価値ｆ（ｊ）を算出する。

上記式（１）で算出されるｆ（ｉ，ｊ）は、画像Ｐの部分領域ｉについての評価値である。この例では、部分領域ｉについての評価値ｆ（ｉ，ｊ）は、複数の評価項目のスコア（Ｃｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ））の線形和によって算出される。すなわち、本実施形態では一例として、部分領域ｉの評価値を算出する評価モデルとして、上記式（１）で示される線形モデルが用いられる。ここで、各スコアに対する重みｗ_１〜ｗ_３は、当該評価モデルのパラメータ（モデル係数）であり、後述する評価モデル決定部１７によって決定される。

上記式（２）で算出されるｆ（ｊ）は、画像Ｐ自体の評価値である。上記式（２）において、「ｎ」は画像内に含まれる部分領域の個数であり、「Ｉ」は画像内に含まれる部分領域の集合である。この例では、画像Ｐ自体の評価値ｆ（ｊ）は、画像Ｐに含まれる部分領域ｉの評価値ｆ（ｉ，ｊ）の線形和によって算出される。なお、ｎで除算している理由は、画像内に含まれる部分領域の個数が多いほど評価値が大きくなってしまうことを防ぎ、部分領域の個数が異なる画像間での評価値の比較を適切に行えるようにするためである。

上記式（２）において、重みｚ_ｉは、部分領域ｉに対する視覚的顕著性（興味度）に基づく重みである。具体的には、部分領域ｉが画像Ｐ内において視覚的に顕著な領域（すなわち、ユーザの興味を惹き易い領域）であるほど、重みｚ_ｉは大きい値となる。これにより、ユーザの興味を惹く度合いである興味度が大きい部分領域ｉ（例えば、視覚的に目立つ物体等）の評価値ｆ（ｉ，ｊ）ほど、画像Ｐ全体の評価値ｆ（ｊ）に与える影響を大きくすることができる。なお、画像Ｐ内のどの部分領域ｉがユーザの興味を惹くかは、例えばサリエンシーディテクション（Saliency Detection）と呼ばれる公知の手法（例えば、「第５９回知っておきたいキーワード サリエンシーディテクション，中澤篤志，映像情報メディア学会誌Ｖｏｌ．６４，Ｎｏ．１２，ｐｐ．１８３０〜１８３２（２０１０）」を参照）等を用いることで特定することができる。評価値算出部１６は、例えば上記公知の手法により特定されたユーザの興味を惹き易い部分（画素）を多く含む部分領域ｉほど重みｚ_ｉが大きくなるように、所定の計算式によって重みｚ_ｉを決定することができる。

評価モデル決定部１７は、学習データ（訓練データともいう。）として収集された画像に基づいて、評価モデル（本実施形態では一例として、上記式（１）で示される線形モデルの重みｗ_１〜ｗ_３）を決定する。学習データとして収集される画像は、例えば、正解データと不正解データとに分類される。具体的には、ユーザの嗜好に合致する画像が正解データ（評価値が「１」である画像）として収集される。評価モデル決定部１７は、例えばユーザに好みの写真家の情報（名前等）を入力させ、当該情報を検索キーとするインターネット検索により得られる写真データを正解データとして取得してもよい。逆に、評価モデル決定部１７は、ユーザの好みの写真家以外の写真家の情報（名前等）を検索キーとするインターネット検索により得られる写真データを不正解データ（評価値が「０」である画像）として取得してもよい。

なお、このようにして機械的に正解データ及び不正解データを収集した場合、正解データの中には、ユーザの嗜好に合致しない画像（正解データとして不適切な画像）が含まれる可能性もある。同様に、不正解データの中には、ユーザの嗜好に合致する画像（不正解データとして不適切な画像）が含まれる可能性もある。ただし、収集される正解データ及び不正解データの個数を一定数以上とし、一定数以上の学習データによって後述の学習処理を実行することで、上述した不適切な画像の影響を抑制し、ユーザの嗜好が反映された評価モデルを決定することができる。

また、評価モデル決定部１７は、複数の画像の中からユーザに正解データ及び不正解データを選別させることで、正解データ及び不正解データを取得してもよい。この場合、ユーザによる選別作業が発生し、学習データの収集を機械的に実行できないものの、学習データの中に上述したような不適切な学習データが混入する可能性を低減することができる。

以下、図８に示す学習データの具体例を用いて、評価モデル決定部１７が評価モデル（重みｗ_１〜ｗ_３）を決定する処理について説明する。図８は、学習データとして用いられる画像の一例を示す図である。この例では、学習データとして、４つの画像Ｐ１〜Ｐ４が用いられる。ここで、画像Ｐ１は、上述した正解データとして収集された画像（評価値が「１」に設定される画像）である。一方、画像Ｐ２〜Ｐ４は、上述した不正解データとして収集された画像（評価値が「０」に設定される画像）である。

まず、評価モデル決定部１７は、学習データとして収集された各画像Ｐ１〜Ｐ４の評価項目毎のスコアを把握するために、以下の処理を実行する。評価モデル決定部１７は、上述した領域分割部１４と同様の領域分割の手法により、各画像Ｐ１〜Ｐ４を複数の領域に分割する。これにより、画像Ｐ１は３つの部分領域Ｒ１１，Ｒ１２，Ｒ１３に分割され、画像Ｐ２は２つの部分領域Ｒ２１，Ｒ２２に分割され、画像Ｐ３は３つの部分領域Ｒ３１，Ｒ３２，Ｒ３３に分割され、画像Ｐ４は３つの部分領域Ｒ４１，Ｒ４２，Ｒ４３に分割される。

続いて、評価モデル決定部１７は、各画像Ｐ１〜Ｐ４の各部分領域ｉについて、上述した複数の評価項目のスコア（Ｃｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ））を算出する。図９に、このようにして算出された部分領域毎のスコアを示す。図９に示す表において、「Ｙ」列の値は、評価値を示している。なお、この評価値は、学習データに対して設定される値（正解データに対して設定される「１」又は不正解データに設定される「０」）であり、評価値算出部１６により算出される評価値とは異なる。図９に示す表の１行分のレコードは、一の画像（画像Ｐ１〜Ｐ４のいずれか）を分割して得られる複数の部分領域のうちの一の部分領域についての複数の評価項目の各々のスコアと、当該一の画像の評価値とが関連付けられたデータ単位であり、後述する第２の評価モデルを決定する際に、学習データの一単位として用いられる。

評価モデル決定部１７は、一例として、下記式（３）〜（５）により、画像単位での各評価項目のスコア（Ｃｏｍｐ（ｊ）、Ｎｏｉｓｅ、及びＶｉｖｉｄ）を算出することができる。下記式（３）〜（５）において、「ｎ」は画像内に含まれる部分領域の個数であり、例えば画像Ｐ１の場合「ｎ＝３」である。また、「Ｉ」は画像内に含まれる部分領域の集合であり、例えば画像Ｐ１の場合「Ｉ＝｛Ｒ１１，Ｒ１２，Ｒ１３｝」である。

なお、上記式（３）〜（５）に示す画像単位での各評価項目のスコアは、上記式（２）の右辺を評価項目毎の成分に分解したものである。すなわち、下記式（６）に示す関係が成立する。

図１０は、説明を簡単にするためにいずれの画像Ｐ１〜Ｐ４についても部分領域ｉの興味度ｚ_ｉを全て「１」として、上記式（３）〜（５）により算出された画像毎のスコアを示す。図１０に示す表の１行分のレコードは、一の画像（画像Ｐ１〜Ｐ４のいずれか）の全体についての複数の評価項目の各々のスコアと、当該一の画像の評価値とが関連付けられたデータ単位であり、後述する第１の評価モデルを決定する際に、学習データの一単位として用いられる。

続いて、評価モデル決定部１７は、上述のように準備された学習データ（図９又は図１０に示す各レコード）に基づいて、評価モデル（上記式（１）の重みｗ_１〜ｗ_３）を決定する。以下、第１及び第２の評価モデルの決定処理について説明する。

（第１の評価モデル）
第１の評価モデルは、図１０に示す各レコード（すなわち、画像単位のデータ）を学習データの一単位として使用し、所定の機械学習を実行することにより決定される評価モデルである。本実施形態では一例として、評価モデル決定部１７は、学習データのＣｏｍｐ（ｊ）、Ｎｏｉｓｅ、及びＶｉｖｉｄを説明変数とし、評価値（Ｙ）を目的変数として、重回帰分析を実行することにより、上記式（６）に示した重みｗ_１〜ｗ_３を決定する。例えば図１０に示す４個の学習データ（この例では、１個の正解データ及び３個の不正解データ）の例では、評価モデル決定部１７は、これらの学習データに基づく重回帰分析を実行することにより、下記式（７）に示すように、第１の評価モデル（すなわち、重みｗ_１，ｗ_２，ｗ_３）を決定する。
（ｗ_１，ｗ_２，ｗ_３）＝（0.010557，0.058738，0.010776）・・・（７）

（第２の評価モデル）
第２の評価モデルは、図９に示す各レコード（すなわち、部分領域単位のデータ）を学習データの一単位として使用し、所定の機械学習を実行することにより決定される評価モデルである。本実施形態では一例として、評価モデル決定部１７は、学習データのＣｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ）を説明変数とし、評価値（Ｙ）を目的変数として、重回帰分析を実行することにより、上記式（１）に示した重みｗ_１〜ｗ_３を決定する。例えば図９に示す例では、評価モデル決定部１７は、１１個の学習データ（３個の正解データ及び８個の不正解データ）に基づく重回帰分析を実行することにより、下記式（８）に示すように、第２の評価モデル（すなわち、重みｗ_１，ｗ_２，ｗ_３）を決定する。
（ｗ_１，ｗ_２，ｗ_３）＝（0.007485，0.022114，0.007335）・・・（８）

（実施例）
以下、評価値算出部１６の評価値算出処理の例を説明する。ここでは一例として、図１１に示す画像Ｐ５を評価対象画像として、評価値算出部１６が上記式（７）及び（８）に示される第１の評価モデル又は第２の評価モデルを用いて評価値を算出する実施例について説明する。

まず、評価値算出部１６は、評価対象画像である画像Ｐ５を、３つの部分領域Ｒ５１，Ｒ５２，Ｒ５３に分割する（図１１の（ａ）参照）。この図に示すように、画像Ｐ５は、正解データである画像Ｐ１の部分領域Ｒ１２の代わりに画像Ｐ５の端（右辺）に接する部分領域Ｒ５２を有する点で画像Ｐ１と相違しており、その他の点については画像Ｐ１と一致している。

続いて、評価値算出部１６は、部分領域Ｒ５１，Ｒ５２，Ｒ５３の各々について、複数の評価項目の各々のスコア（Ｃｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ））を算出する。図１１の（ｂ）は、このようにして算出された部分領域Ｒ５１，Ｒ５２，Ｒ５３のスコアを示す。ここで、部分領域Ｒ５２は、画像Ｐ１の部分領域Ｒ１２とは異なり、画像Ｐ５の端に接するため、部分領域Ｒ５２は不要な映り込みであると判断され、Ｎｏｉｓｅ（ｉ）が小さい値（−６０）となっている。図１１の（ｃ）は、上記式（３）〜（５）によって求まる画像Ｐ５単位での各評価項目のスコアを示す。ここでは説明を簡単にするために部分領域Ｒ５１，Ｒ５２，Ｒ５３の興味度ｚ_ｉを全て「１」としている。

続いて、評価値算出部１６は、画像Ｐ５について上述のように算出されたスコアと、評価モデル格納部１８に格納されている評価モデル（第１の評価モデル又は第２の評価モデル）と、に基づいて、画像Ｐ５がユーザの嗜好に合致する度合いを示す評価値を算出する。

（第１の評価モデルを用いた場合の評価結果）
第１の評価モデルに基づく評価を行う場合、評価値算出部１６は、画像Ｐ５単位で算出されたスコア（図１１の（ｃ）に示すＣｏｍｐ（ｊ）、Ｎｏｉｓｅ、及びＶｉｖｉｄ）と、第１の評価モデル（上記式（７）で示される重みｗ_１〜ｗ_３）と、を用いて上記式（６）の計算を実行することで、画像Ｐ５の評価値ｆ（ｊ）を「-0.1763239」と算出する。

図１２は、第１の評価モデル及び上記式（６）を用いて算出される画像Ｐ５の評価値とともに、同様の計算によって算出される画像Ｐ１〜Ｐ４の評価値を参考のために示している（「Ｙ’」列の値）。この評価結果からわかるように、画像Ｐ５の評価値は、他の不正解データである画像Ｐ２，Ｐ３，Ｐ４の評価値よりも低く算出された。また、上述したように、第１の評価モデルは、正解データの評価値を「１」とし、不正解データの評価値を「０」として重回帰分析を行うことで得られたモデルであるため、第１の評価モデルにより算出される評価値は、値が「１」に近い程（大きい程）ユーザの嗜好に合致していることを示し、値が「０」に近い程（小さい程）ユーザの嗜好に合致していないことを示す。

以上のことから、画像単位のデータを学習データの一単位として用いて評価モデル（第１の評価モデル）を決定した場合、正解データと一部異なる部分（この例では、部分領域Ｒ５２）があると、当該異なる部分による影響が大きく加味され、評価値が低くなり易いことがわかる。すなわち、第１の評価モデルを用いた場合、評価の判定基準が厳しくなり、正解データと非常に近い画像でなければ評価値が高くならないことがわかる。言い換えれば、第１の評価モデルは、正解データと全体的に類似している画像でなければ、評価値が高く算出され難い評価モデルであるといえる。第１の評価モデルによれば、ユーザの嗜好に合致する画像（正解データ）と全体的に類似するか否かの観点から、比較的厳しい判定基準で評価対象画像の評価を行うことができる。従って、ユーザは、第１の評価モデルによる評価値が高くなるように構図等を調整することで、正解データと非常に近い写真を撮影することが可能となる。

（第２の評価モデルを用いた場合の評価結果）
第２の評価モデルに基づく評価を行う場合、評価値算出部１６は、部分領域Ｒ５１，Ｒ５２，Ｒ５３単位で算出されたスコア（図１１の（ｂ）に示すＣｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ））と、第２の評価モデル（上記式（８）で示される重みｗ_１〜ｗ_３）と、を用いて上記式（１）及び（２）の計算を実行することで、画像Ｐ５の評価値（「Ａｖｇ（Ｙ’）」列の値）を「0.2473131」と算出する。具体的には、評価値算出部１６は、各部分領域Ｒ５１，Ｒ５２，Ｒ５３について、上記式（１）の計算を実行することで、部分領域毎の評価値（「Ｙ’」列の値）を算出し、上記式（２）により部分領域毎の評価値の平均値を算出することで、上述の画像Ｐ５の評価値を算出することができる。

図１３は、第２の評価モデル並びに上記式（１）及び（２）を用いて算出される画像Ｐ５の評価値とともに、同様の計算によって算出される画像Ｐ１〜Ｐ４の評価値を参考のために示している（「Ａｖｇ（Ｙ’）」列の値）及び部分領域毎の評価値（「Ｙ’」列の値）。この評価結果からわかるように、画像Ｐ５の評価値は、他の不正解データである画像Ｐ２，Ｐ３，Ｐ４の評価値よりも高く算出された。また、第２の評価モデルは、第１の評価モデルと同様に、正解データの評価値を「１」とし、不正解データの評価値を「０」として重回帰分析を行うことで得られたモデルであるため、第２の評価モデルにより算出される評価値は、値が「１」に近い程（大きい程）ユーザの嗜好に合致していることを示し、値が「０」に近い程（小さい程）ユーザの嗜好に合致していないことを示す。

以上のことから、部分領域単位のデータを学習データの一単位として用いて評価モデル（第２の評価モデル）を決定した場合、正解データと一部異なる部分（この例では、部分領域Ｒ５２）があったとしても、当該異なる部分が評価値に与える影響は比較的少なく、その他の部分（この例では、部分領域Ｒ５１，Ｒ５３）において正解データと類似していれば、評価値が高くなることがわかる。すなわち、第２の評価モデルを用いた場合、評価の判定基準が比較的緩やかとなり、正解データと多少異なる部分があっても正解データと趣きが似ている画像（すなわち、多くの部分領域において類似している画像）であれば、評価値が高く算出され易いことがわかる。言い換えれば、第２の評価モデルは、正解データと全体的に類似していなくとも、正解データに含まれる部分領域と同一又は類似する部分領域を多く含んでいれば評価値が高く算出され易い評価モデルであるといえる。第２の評価モデルによれば、ユーザの嗜好に合致する部分領域が多く含まれているか否かの観点から、比較的緩やかな判定基準で評価対象画像の評価を行うことができる。従って、ユーザは、第２の評価モデルによる評価値が高くなるように構図等を調整することで、正解データと多少異なりつつも正解データと趣きが似ている写真を撮影することが可能となる。また、例えば、上述した第１の評価モデルを用いた場合、正解データとは異なる部分（例えばユーザ自身の独創性が加えられた部分）が存在すると、評価値が低く算出され易くなる。一方、第２の評価モデルを用いた場合、このような独創性が加えられた部分によって評価値は減点され難い。従って、第２の評価モデルによる評価値が高くなるように構図等を調整することで、正解データに対してユーザ自身の独創性が加えられた写真を撮影することが可能となる。

次に、画像評価装置１の動作手順について説明する。図１４は、画像評価装置１の動作の一例を示すフローチャートである。ここでは、ユーザが画像評価装置１（一例としてカメラ機能付きスマートフォン）のカメラ機能（カメラアプリケーション及びカメラモジュール１０７）を利用して写真を撮影する場合を例に挙げて説明する。

まず、評価機能を使用するための準備処理として、評価モデルの決定処理が実行される（ステップＳ１）。このような処理は、例えば、評価モデルの決定処理の開始を指示する所定のユーザ操作がされたこと等を契機として開始される。ステップＳ１では、評価モデル決定部１７が、上述した処理手順により、画像評価装置１のユーザの嗜好を反映した評価モデル（例えば上述した第１の評価モデル及び第２の評価モデル等）を決定する（ステップＳ１）。

続いて、評価対象画像の取得処理が実行される（ステップＳ２）。このような処理は、上記ステップＳ１の処理が完了した時点以降において、ユーザがカメラアプリケーションを起動すること等を契機として開始される。ステップＳ２では、画像取得部１１により、処理対象の画像Ｐが取得される。具体的には、ユーザが画像評価装置１のカメラアプリケーションを起動した後に、レンズが向けられている方向の画像が取得される。取得された画像Ｐの情報は、画像情報格納部１２に一時的に格納される。

続いて、画像評価装置１において評価モードがＯＮにされているか否かが判定される（ステップＳ３）。以下、評価モードがＯＮにされていると判断された場合（ステップＳ３：ＹＥＳ）の処理について説明する。まず、領域分割部１４が、公知の領域分割の手法を用いて画像取得部１１により取得された画像Ｐを複数の部分領域に分割する（ステップＳ４）。続いて、評価値算出部１６が、複数の部分領域の各々について、部分領域毎のスコア（Ｃｏｍｐ（ｉ，ｊ）、Ｎｏｉｓｅ（ｉ）、及びＶｉｖｉｄ（ｉ））を算出する（ステップＳ５）。

続いて、評価値算出部１６は、ステップＳ５で算出された部分領域毎のスコアとステップＳ１で決定された評価モデルとに基づいて、画像Ｐの評価値を算出する（ステップＳ６）。具体的には、上述したような第１の評価モデル又は第２の評価モデルを用いて、上記式（１）及び（２）の計算を実行することで、画像Ｐの評価値を算出する。上述の通り、第１の評価モデルを用いることで、比較的厳しい判定基準で画像Ｐの評価値を算出することができる。一方、第２の評価モデルを用いることで、比較的緩やかな判定基準で画像Ｐの評価値を算出することができる。

続いて、画像表示部１３が、ステップＳ６で算出された評価値を視覚的に表す情報（例えば数値等）を画像Ｐに重畳表示させることで、画像Ｐの評価値を視覚的に把握可能な合成画像を出力する（ステップＳ７）。一方、評価モードがＯＮにされていないと判断された場合（ステップＳ３：ＮＯ）、画像表示部１３は、ステップＳ１で取得された画像Ｐを表示する（ステップＳ８）。

その後、ステップＳ７で表示された合成画像又はステップＳ８で表示された画像Ｐがユーザ（撮影者）によって確認され、所定の決定操作がなされると、画像評価装置１は、画像Ｐを撮影及び記録する（ステップＳ９）。特に、評価モードがＯＮになっている場合には、ユーザは、ステップＳ７で表示された合成画像を確認することにより、画像Ｐの構図等の調整をすべきか否かを判断することができる。

なお、ステップＳ２〜Ｓ７の処理は、定期的に或いはレンズが向けられている方向が変化したタイミング等で、繰り返し実行されてもよい。これにより、現時点で撮影可能な画像Ｐについての評価結果（すなわち合成画像）をほぼリアルタイムに更新しながらユーザに提示することができる。その結果、例えばユーザは、合成画像を確認して構図等の調整を行いつつ、調整後の画像Ｐの評価結果（すなわち合成画像）をほぼリアルタイムに確認することが可能となる。そして、ユーザは、合成画像に基づいて調整後の画像Ｐで問題ないことを確認した後に所定の操作を行うことで、画像Ｐを撮影及び記録することができる。

続いて、画像評価装置１において、ユーザから撮影処理の終了を受け付けたか否かが判定される（ステップＳ１０）。具体的には、カメラアプリケーションの終了操作を受け付けたか否かが判定される。撮影処理の終了を受け付けなかった場合（ステップＳ１０：ＮＯ）、ステップＳ２からの処理が繰り返し実行され、２枚目以降の写真の撮影が実行される。一方、撮影処理の終了を受け付けた場合（ステップＳ１０：ＹＥＳ）、画像評価装置１の動作（ここでは一例としてカメラアプリケーションによる写真撮影の処理）を終了する。

次に、図１５を参照して、コンピュータを画像評価装置１として機能させるための画像評価プログラムについて説明する。

画像評価プログラムＰＲ１は、メインモジュールＰＲ１０、画像取得モジュールＰＲ１１、画像表示モジュールＰＲ１３、領域分割モジュールＰＲ１４、評価値算出モジュールＰＲ１６、及び評価モデル決定モジュールＰＲ１７を備える。メインモジュールＰＲ１０は、画像評価装置１としての処理を統括的に制御する部分である。画像取得モジュールＰＲ１１、画像表示モジュールＰＲ１３、領域分割モジュールＰＲ１４、評価値算出モジュールＰＲ１６、及び評価モデル決定モジュールＰＲ１７を実行することにより実現される機能は、それぞれ、画像評価装置１の画像取得部１１、画像表示部１３、領域分割部１４、評価値算出部１６、及び評価モデル決定部１７の機能と同様である。

画像評価プログラムＰＲ１は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ若しくはＲＯＭ等の記録媒体又は半導体メモリによって提供される。また、画像評価プログラムＰＲ１は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。

以上説明した画像評価装置１では、画像の特徴（すなわち、評価項目毎のスコア）と当該画像がユーザの嗜好に合致する度合い（評価値）とを関連付けた学習データに基づいて、一の画像の特徴を入力して当該一の画像の評価値を出力する評価モデルが決定される。そして、このような評価モデルに評価対象画像の特徴を入力することで、評価対象画像がユーザの嗜好に合致するか否かについての適切な評価結果（評価値）を得ることができる。従って、画像評価装置１によれば、ユーザの嗜好を反映した画像の評価を適切に行うことができる。

なお、本発明は、上述した実施形態に限定されるものではない。

例えば、評価モデル決定部１７は、上述した第２の評価モデル（部分領域単位を学習データの一単位として決定される評価モデル）を決定する際、学習データの候補として収集された各画像を分割して得られる複数の部分領域のうちから学習データとして用いる部分領域を所定の判断基準に基づいて選択してもよい。以下、学習データを選択する２つの例について説明する。

（第１の例）
評価モデル決定部１７は、例えば、学習データの候補となる画像毎に、画像に含まれる複数の部分領域の各々のスコアに基づいて、当該複数の部分領域のうちから学習データとして用いる部分領域を選択する。一例としては、評価モデル決定部１７は、各画像内でスコアが最大の部分領域（例えば、各評価項目のスコアの和が最大の部分領域）に関するデータのみを学習データとして選択してもよい。

例えば、図８及び図９に示した例において各画像でスコアが最大の部分領域に関するデータのみを学習データとする場合について考える。この場合、評価モデル決定部１７は、画像Ｐ１から、部分領域Ｒ１１，Ｒ１２，Ｒ１３の中でスコアが最大の部分領域Ｒ１１を選択する。同様に、評価モデル決定部１７は、画像Ｐ２〜Ｐ４の各々から、スコアが最大の部分領域Ｒ２２，Ｒ３１，Ｒ４１，Ｒ４３を選択する。なお、ここでは一例として、評価モデル決定部１７は、同一の画像Ｐ４内でスコアが最大の部分領域が２つ存在するため、当該２つの部分領域Ｒ４１，Ｒ４３を両方選択している。この場合、評価モデル決定部１７は、図９に示す表のレコード（部分領域毎のデータ）のうち、部分領域Ｒ１１，Ｒ２２，Ｒ３１，Ｒ４１，Ｒ４３の５つの部分領域に対応するデータのみを学習データとして用いて上述した重回帰分析を実行することにより、上記式（１）の重みｗ_１〜ｗ_３を決定することになる。

画像内においてスコアが最大の部分領域は、当該画像内において当該画像の長所（構図の良さ等）が現れた部分領域であるといえる。従って、このような部分領域のみを学習データとして用いることで、画像の長所部分（例えば画像が写真である場合、当該写真を撮影した写真家独自の趣きが現れた部分）を重視して学習することが可能となる。その結果、画像の長所部分に対するユーザの嗜好を反映した評価モデルを決定することが可能となる。具体的には、画像の長所部分が正解データに類似していれば、当該画像について高い評価値が得られる評価モデルを決定することが可能となる。なお、評価モデル決定部１７は、各画像において、スコアが最大の部分領域だけではなく、スコアが予め定められた閾値以上の部分領域に関するデータを学習データとして選択してもよい。このようにして学習データとして用いられる部分領域を選択した場合にも、上述と同様の効果が得られる。

（第２の例）
評価モデル決定部１７は、例えば、学習データの候補となる画像毎に、画像に含まれる複数の部分領域のうち興味度（上述したｚ_ｉ）に基づいて、当該複数の部分領域のうちから学習データとして用いる部分領域を選択する。一例としては、評価モデル決定部１７は、各画像内で興味度ｚ_ｉが最大の部分領域（すなわち、視覚的に顕著であり、人の目を惹き易い部分領域）に関するデータのみを学習データとして選択してもよい。

この場合、評価モデル決定部１７は、第１の例と同様に学習データとして用いられる部分領域を画像毎に選択し、選択された部分領域に対応するデータのみを学習データとして用いて上述した重回帰分析を実行することにより、上記式（１）の重みｗ_１〜ｗ_３を決定することになる。

画像内において興味度が最大の部分領域は、当該画像内において最も目立つ部分領域（例えば、当該画像が人物を撮影した写真である場合、当該写真の主題である人物が映った部分等）であるといえる。従って、このような部分領域のみを学習データとして用いることで、画像内において目立つ部分領域を重視して学習することが可能となる。その結果、画像内で目立つ部分に対するユーザの嗜好を反映した評価モデルを決定することが可能となる。具体的には、画像内で視覚的に目立つ部分が正解データに類似していれば、当該画像について高い評価値が得られる評価モデルを決定することが可能となる。つまり、視覚的に目立たない部分領域が、画像全体の構図を悪くしていたり、不要な映り込みであったりしても、当該画像内で視覚的に目立つ部分領域が正解データに類似していれば、高い評価値が得られる評価モデルを決定することが可能となる。このような評価モデルによれば、例えば、画像内で興味度が最大の部分領域に該当する人物モデルのポージング、表情、メイク、及び衣装等が正解データに類似していれば、当該人物モデル以外の部分領域（例えば背景部分）が正解データと異なっていても、高い評価値を得ることができる。なお、評価モデル決定部１７は、各画像において、興味度が最大の部分領域だけではなく、興味度が予め定められた閾値以上の部分領域に関するデータを学習データとして選択してもよい。このようにして学習データとして用いられる部分領域を選択した場合にも、上述と同様の効果が得られる。

また、画像評価装置１で用いられる評価項目としては、上述した評価項目に加えて、又は上述した評価項目に代えて、上記評価項目以外のものを用いてもよい。例えば、ピントに関する評価項目のスコアＰｉｎｔ（ｉ）、コントラストに関する評価項目のスコアＣｏｎｔ（ｉ）、及び被写体が人の顔である場合に表情が笑顔であるか否かに関する評価項目のスコアＳｍｉｌｅ（ｉ）等が用いられてもよい。

また、画像評価装置１で用いられる評価モデルとしては、上述した重回帰分析により得られる線形モデル以外にも、様々な公知のモデルを用いることができる。例えば、評価モデル決定部１７は、決定木分析によって、「ＩＦ Ｎｏｉｓｅ＞−１０ ａｎｄ Ｃｏｍｐ＞８０ ＴＨＥＮ 合格」等のルールを評価モデルとして決定してもよい。なお、上記ルールは、Ｎｏｉｓｅが「−１０」より大きく、且つ、Ｃｏｍｐが「８０」より大きい場合に、ユーザの嗜好に合致する画像（合格）であると判断することを意味する。また、このようなルールにより出力される評価値は、上述した線形モデルにより出力される評価値（連続的な数値）とは異なり、０（不合格）又は１（合格）の２値（離散値）となる。

なお、上記実施形態では、評価値を出力する出力手段の例として、評価対象画像とともに評価値算出部１６により算出された評価値を表示する合成画像をディスプレイ等に出力する表示装置（画像表示部１３）について説明したが、出力手段は、必ずしも合成画像を表示しなくともよい。例えば、本発明の画像評価装置がサーバ装置であり、スマートフォン等の端末から処理対象の画像を受信し、受信した画像について評価値を算出し、当該評価値を端末に送信するような構成が考えられる。すなわち、端末が表示装置を備える一方で、画像評価装置自体は評価値を端末に送信（出力）するだけの場合もあり得る。このような場合、画像評価装置において算出された評価値を端末に送信する機能部分が、出力手段に相当する。

１…画像評価装置、１１…画像取得部（取得手段）、１２…画像情報格納部、１３…画像表示部（出力手段）、１４…領域分割部、１５…領域情報格納部、１６…評価値算出部（算出手段）、１７…評価モデル決定部（評価モデル決定手段）、１８…評価モデル格納部、ＰＲ１…画像評価プログラム、ＰＲ１１…画像取得モジュール、ＰＲ１３…画像表示モジュール、ＰＲ１４…領域分割モジュール、ＰＲ１６…評価値算出モジュール、ＰＲ１７…評価モデル決定モジュール。

Claims (6)

1. 画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられた学習データに基づいて、前記評価値を出力するための評価モデルを決定する評価モデル決定手段と、
   評価対象画像を取得する取得手段と、
   前記評価対象画像についての前記複数の評価項目の各々のスコアを算出し、算出されたスコアと前記評価モデル決定手段により決定された評価モデルとに基づいて、前記評価対象画像の前記評価値を算出する算出手段と、
   前記算出手段により算出された評価値を出力する出力手段と、
   を備える画像評価装置。
2. 前記評価モデル決定手段は、一の画像の全体についての前記複数の評価項目の各々のスコアと前記一の画像の前記評価値とが関連付けられたデータ単位を前記学習データの一単位として使用することにより、前記評価モデルを決定する、
   請求項１に記載の画像評価装置。
3. 前記評価モデル決定手段は、一の画像を分割して得られる複数の部分領域のうちの一の部分領域についての前記複数の評価項目の各々のスコアと前記一の画像の前記評価値とが関連付けられたデータ単位を前記学習データの一単位として使用することにより、前記評価モデルを決定する、
   請求項１に記載の画像評価装置。
4. 前記評価モデル決定手段は、前記一の画像を分割して得られる複数の部分領域の各々についての前記複数の評価項目の各々のスコアに基づいて、前記複数の部分領域のうちから前記学習データとして用いる部分領域を選択する、
   請求項３に記載の画像評価装置。
5. 前記評価モデル決定手段は、前記一の画像を分割して得られる複数の部分領域の各々についての人の興味を惹く度合いを示す興味度に基づいて、前記複数の部分領域のうちから前記学習データとして用いる部分領域を選択する、
   請求項３又は４に記載の画像評価装置。
6. コンピュータを、
   画像についての複数の評価項目の各々のスコアと当該画像がユーザの嗜好に合致する度合いを示す評価値とが関連付けられた学習データに基づいて、前記評価値を出力するための評価モデルを決定する評価モデル決定手段、
   評価対象画像を取得する取得手段、
   前記評価対象画像についての前記複数の評価項目の各々のスコアを算出し、算出されたスコアと前記評価モデル決定手段により決定された評価モデルとに基づいて、前記評価対象画像の前記評価値を算出する算出手段、
   前記算出手段により算出された評価値を出力する出力手段、
   として機能させる画像評価プログラム。

Images