JP2017067945A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】タグ情報を利用して表示サイズを変更して複数の画像を並べて表示し、ユーザが重要な画像を一目で把握することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】画像処理装置では、画像解析部が、画像群に含まれる画像の解析を行う。評価値算出部が、画像の解析結果に基づいて、画像に存在する被写体に対応して画像に付与されたタグ情報の評価値を算出し、タグ情報の評価値に基づいて画像の評価値を算出する。表示サイズ変更部が、画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズを変更する。表示制御部が、表示サイズが変更された複数の画像を表示部に並べて表示する。【選択図】図２

Description

本発明は、画像群に含まれる画像を並べて表示部に表示する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

例えば、画像に存在する被写体毎に画像を分類したり、特定の被写体が存在する画像を検索したりする目的で、画像に存在する被写体に対応するタグ情報が画像に付与される場合がある。

しかし、従来の画像処理装置では、複数の画像を並べて表示する場合に、タグ情報を利用して表示サイズを変更して複数の画像を表示しておらず、表示サイズが同じになるように変更して複数の画像を表示している。しかし、表示サイズを同じにして複数の画像を並べて表示すると、どの画像が重要な画像なのかをユーザが一目で把握することができないという問題があった。

本発明に関連性のある先行技術文献として、特許文献１〜３がある。

特許文献１には、画像データを、画質、ピント、流行、構図、迫力、使用者評価という観点から総合的な評価を行うことや、画像データの優劣に応じて画像の大きさを変更すること、例えば、総合得点が高い程、画像データに係る画像が大きくなり、総合得点が低い程、画像データに係る画像が小さくなるように画像データを変更して画像を表示することが記載されている。

特許文献２には、画像データの特徴を解析し、画像データの良否を表す評価値および画像データが属する集合を示す画像データの分類結果の決定を行うことや、コントラスト、ピントに基づいて、画像データの評価を行うことが記載されている。

特許文献３には、ドキュメント画像の内容を走査し、画像を構成している領域を抽出して、図が描かれている領域を図領域として認識し、画像オブジェクトとして個別に扱うことや、抽出された領域に対し、その画像領域が持つ意味的な属性情報を抽出すること、元々のドキュメント画像および画像オブジェクトと、抽出されたコンテンツメタデータを関連付けて管理することが記載されている。

特開２００９−２４６４７９号公報 特開２０１０−２２５０８２号公報 特開２００６−１２０１２５号公報

例えば、特許文献１には、画像を評価し、その総合得点に基づいて、表示サイズを変更して画像を表示することが記載されている。しかし、特許文献１〜３のいずれにおいても、複数の画像を並べて表示する場合に、タグ情報を利用して画像の表示サイズを変更して複数の画像を表示することは記載されていない。そのため、ユーザは、あるタグ情報を有する複数の画像を並べて表示する場合に、重要な画像を一目で把握することができなかった。

本発明の目的は、従来技術の問題点を解消し、タグ情報を利用して表示サイズを変更して複数の画像を並べて表示し、ユーザが重要な画像を一目で把握することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、画像群に含まれる画像の解析を行う画像解析部と、
画像毎に、画像の解析結果に基づいて、画像に存在する１以上の被写体に対応して画像に付与された１以上のタグ情報の評価値を算出し、１以上のタグ情報の評価値に基づいて画像の評価値を算出する評価値算出部と、
画像毎に、画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズを変更する表示サイズ変更部と、
表示サイズが変更された複数の画像を表示部に並べて表示する表示制御部とを備える画像処理装置を提供するものである。

ここで、評価値算出部は、画像の全領域に対する被写体の領域の割合に基づいて、領域の割合が大きくなるほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出することが好ましい。

また、評価値算出部は、画像における被写体の位置に基づいて、被写体の位置が画像の中心位置に近くなるほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出することが好ましい。

また、評価値算出部は、画像における被写体の画質に基づいて、被写体の画質がよいほどタグ情報の評価値が高くなるようにタグ情報の評価値を算出することが好ましい。

また、評価値算出部は、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質を重み付けし、重み付けされた領域の割合が大きくなるほどタグ情報の評価値が大きくなり、重み付けされた被写体の位置が画像の中心位置に近くなるほどタグ情報の評価値が大きくなり、重み付けされた被写体の画質がよいほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出することが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
評価値算出部は、指示に応じて指定された重みを用いて、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質を重み付けすることが好ましい。

また、表示制御部が、表示サイズが変更された複数の画像を、画像の評価値の順に隙間なく並べて表示することができない場合に、表示サイズが変更された複数の画像を、画像の評価値の順に隙間なく並べて表示することができるようになるまで、画像の評価値が最も低い画像から最も高い画像へ向かって順に、表示サイズが変更された複数の画像から、タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出するトリミング部を備えることが好ましい。

また、評価値算出部は、表示サイズが変更された複数の画像を初期表示する場合に、画像に付与された全てのタグ情報の評価値を算出し、画像に付与された全てのタグ情報の評価値の合計値に基づいて画像群に含まれる画像の評価値を算出することが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
評価値算出部は、画像に付与されたタグ情報の中から、指示に応じて指定されたタグ情報である１以上の指定タグ情報の評価値を算出し、１以上の指定タグ情報の評価値のみに基づいて画像の評価値を算出し、
表示サイズ変更部は、指定タグ情報が付与されている画像のみの表示サイズを変更し、
表示制御部は、表示サイズが変更された画像であって、指定タグ情報が付与されている複数の画像のみを表示することが好ましい。

また、評価値算出部は、画像に付与された２以上のタグ情報が指定タグ情報として指定された場合に、２以上の指定タグ情報の評価値の合計値に基づいて画像の評価値を算出することが好ましい。

また、評価値算出部は、画像に付与された２以上のタグ情報が指定タグ情報として指定された場合に、２以上の指定タグ情報の評価値を重み付けして加算した合計値に基づいて画像の評価値を算出することが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
表示制御部は、指示に応じて、表示部に表示された画像の中から選択された１つの画像を拡大表示することが指定された場合に、選択された１つの画像を表示部に拡大表示することが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
表示制御部は、指示に応じて、表示部に表示された画像の中から選択された１つの画像に付与されているタグ情報を表示することが指定された場合に、選択された１つの画像に付与されているタグ情報を表示部に表示することが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
表示制御部は、指示に応じて、表示サイズが変更された複数の画像を画像の評価値の昇順または降順に並べ替えることが指定された場合に、表示サイズが変更された複数の画像を画像の評価値の昇順または降順に並べ替えて表示部に表示することが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
表示制御部は、指示に応じて、表示サイズが変更された複数の画像を、全ての画像、年毎の画像、月毎の画像、または、日毎の画像に切り替えることが指定された場合に、表示サイズが変更された複数の画像を、全ての画像、年毎の画像、月毎の画像、または、日毎の画像に切り替えて表示部に表示することが好ましい。

また、表示制御部は、あらかじめ表示サイズが決定された１以上の表示枠を有するテンプレートを用いて、表示サイズが変更された複数の画像のうち、表示枠の表示サイズに合致する画像を表示枠に配置して表示することが好ましい。

さらに、画像毎に、画像の解析結果に基づいて、画像に存在する１以上の被写体に対応する１以上のタグ情報を画像に付与するタグ情報付与部を備えることが好ましい。

さらに、ユーザが入力した指示を受け取る指示取得部を備え、
タグ情報付与部は、指示に応じて指定されたタグ情報を画像に付与することが好ましい。

また、評価値算出部は、タグ情報の評価値を、最小値から最大値までの範囲内の値に規格化して算出し、
表示サイズ変更部は、最小値および最大値に対応する最小表示サイズおよび最大表示サイズを設定し、最小表示サイズから最大表示サイズまでの範囲内で、画像の評価値に比例して画像の表示サイズを変更することが好ましい。

また、表示サイズ変更部は、画像の最小表示サイズおよび最大表示サイズを設定し、最小表示サイズから最大表示サイズまでの範囲内で、画像の評価値に基づいて画像の表示サイズを変更することが好ましい。

また、本発明は、画像解析部が、画像群に含まれる画像の解析を行うステップと、
評価値算出部が、画像毎に、画像の解析結果に基づいて、画像に存在する１以上の被写体に対応して画像に付与された１以上のタグ情報の評価値を算出し、１以上のタグ情報の評価値に基づいて画像の評価値を算出するステップと、
表示サイズ変更部が、画像毎に、画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズを変更するステップと、
表示制御部が、表示サイズが変更された複数の画像を表示部に並べて表示するステップとを含む画像処理方法を提供する。

ここで、タグ情報の評価値を算出するステップは、画像の全領域に対する被写体の領域の割合に基づいて、領域の割合が大きくなるほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出することが好ましい。

また、タグ情報の評価値を算出するステップは、画像における被写体の位置に基づいて、被写体の位置が画像の中心位置に近くなるほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出することが好ましい。

また、タグ情報の評価値を算出するステップは、画像における被写体の画質に基づいて、被写体の画質がよいほどタグ情報の評価値が高くなるようにタグ情報の評価値を算出することが好ましい。

さらに、画像を表示するステップが、表示サイズが変更された複数の画像を、画像の評価値の順に隙間なく並べて表示することができない場合に、表示サイズが変更された複数の画像を、画像の評価値の順に隙間なく並べて表示することができるようになるまで、トリミング部が、画像の評価値が最も低い画像から最も高い画像へ向かって順に、表示サイズが変更された複数の画像から、タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出するステップを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、タグ情報を利用して画像の評価値を算出し、画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズを変更し、表示サイズが変更された複数の画像を並べて表示する。これにより、本発明によれば、あるタグ情報を有する画像の評価値が高い重要な画像であるほど画像が大きな表示サイズで表示されるため、あるタグ情報を有する複数の画像を並べて表示した場合に、ユーザが重要な画像を一目で把握することができる。

本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 画像処理システムの動作を表す一実施形態のフローチャートである。 表示サイズが変更された複数の画像が並べて表示された表示画面を表す一例の概念図である。 図４に示す表示画面において、画像に付与されたタグ情報が吹き出し領域の中に一覧表示された様子を表す一例の概念図である。 図４に示す表示画面において、画像に付与されたタグ情報が情報表示領域の中に一覧表示された様子を表す一例の概念図である。 表示サイズが変更された複数の画像を、画像の評価値の順に並べて表示する場合に、画像と画像の間に隙間が生じた様子を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、タグ情報を利用して画像の表示サイズを変更し、表示サイズが変更された複数の画像を並べて表示するものである。画像処理システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された１以上のクライアント１４とを備えている。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、本発明の画像処理装置の一例であり、指示取得部１８と、画像群取得部２０と、画像解析部２２と、タグ情報付与部２４と、評価値算出部２６と、表示サイズ変更部２８と、トリミング部３０と、表示制御部３２とを備えている。

サーバ１２において、指示取得部１８は、ユーザが入力した指示を受け取るものである。

指示取得部１８は、ユーザがクライアント１４において入力した各種の指示を、クライアント１４からネットワーク１６を介して取得する。ユーザの指示には、タグ情報を指定する指示、処理対象となる画像群を指定する指示、表示部に表示された画像の中から１つの画像を選択する指示、表示部に表示された画像を並べ替えたり、切り替えたりする指示等が含まれる。

続いて、画像群取得部２０は、指示取得部１８が取得したユーザの指示に基づいて、ユーザが所有する画像群を取得するものである。

画像群取得部２０は、ユーザの指示に応じて、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へアップロードされてくる画像群を取得してもよいし、あるいは、既にサーバ１２へアップロードされている、つまり、既にサーバ１２に保持されている第１画像群の中から、ユーザの指示に応じて指定された少なくとも一部の画像を含む第２画像群を取得してもよい。

続いて、画像解析部２２は、画像群取得部２０が取得した画像群に含まれる画像の解析を行うものである。

画像解析部２２が行う画像解析には、画像に存在する被写体、つまり、人物および人物以外のオブジェクトの検出の他、画像における人物およびオブジェクトの領域の位置および面積の検出、画像における被写体の画質の判定等が含まれる。また、タグ情報や画像の評価値が画像に既に付与されている場合には、画像解析として、画像からタグ情報や画像の評価値を読み取ることも含む。

続いて、タグ情報付与部２４は、画像群に含まれる画像毎に、画像解析部２２による画像の解析結果に基づいて、画像に存在する１以上の被写体に対応する１以上のタグ情報を画像に付与するものである。

タグ情報付与部２４は、画像の解析結果に基づいて、画像にオブジェクトが存在することが検出された場合、そのオブジェクトに対応するタグ情報を画像に付与する。タグ情報の名称は、オブジェクトの名称と同じでもよいし、オブジェクトの名称と異なっていてもよい。また、ユーザの指示に応じて指定されたタグ情報であって、画像に存在する人物およびオブジェクトに対応する任意の名称のタグ情報を画像に付与してもよい。

続いて、評価値算出部２６は、画像群に含まれる画像毎に、画像の解析結果に基づいて、画像に存在する１以上の被写体に対応して画像に付与された１以上のタグ情報の評価値を算出し、１以上のタグ情報の評価値に基づいて画像の評価値を算出するものである。

タグ情報の評価値とは、各々の被写体に対応する各々のタグ情報に関する評価値である。例えば、ある画像が「リンゴ」と「オレンジ」をタグ情報として付与されている場合、当該画像は「リンゴ」に関して０．９点、「オレンジ」に関して０．５点というようにそれぞれのタグ情報について評価値を算出される。

評価値算出部２６は、例えば、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質に基づいて、タグ情報の評価値を０〜１に規格化して算出する。

画像の全領域に対する被写体の領域の割合に基づいてタグ情報の評価値を算出する場合、評価値算出部２６は、本実施形態の場合、被写体の領域の割合が大きくなるほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出する。

また、画像における被写体の位置に基づいてタグ情報の評価値を算出する場合、評価値算出部２６は、例えば、被写体の位置が画像の中心位置に近くなるほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出する。

また、画像における被写体の画質に基づいてタグ情報の評価値を算出する場合、評価値算出部２６は、例えば、被写体の画質がよいほどタグ情報の評価値が高くなるようにタグ情報の評価値を算出する。

評価値算出部２６は、例えば、画像に付与された全てのタグ情報の評価値（タグ情報の評価値の合計値）に基づいて、画像の評価値を算出する。１つのタグ情報の評価値のみを算出した場合には、１つのタグ情報の評価値をそのまま画像の評価値とする。

続いて、表示サイズ変更部２８は、画像群に含まれる画像毎に、評価値算出部２６が算出した画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズを変更するものである。

評価値算出部２６が、タグ情報の評価値を、最小値から最大値までの範囲内の値、例えば、本実施形態のように０〜１．０に規格化して算出した場合に、表示サイズ変更部２８は、最小値および最大値に対応する最小表示サイズおよび最大表示サイズを設定し、最小表示サイズから最大表示サイズまでの範囲内で、画像の評価値に比例して画像の表示サイズを変更する。

続いて、トリミング部３０は、表示制御部３２が、表示サイズが変更された複数の画像を、画像の評価値の順で隙間なく並べて表示することができない場合に、表示サイズが変更された複数の画像を、画像の評価値の順に隙間なく並べて表示することができるようになるまで、表示サイズが変更された複数の画像から、タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出するものである。

トリミング部３０は、例えば、表示サイズが変更された複数の画像のうち、画像の評価値が最も低い画像から最も高い画像へ向かって順に、タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出する。

続いて、表示制御部３２は、表示サイズ変更部２８により表示サイズが変更された複数の画像（トリミング部３０により抽出された画像を含む）を、クライアント１４の表示部に並べて表示するものである。

表示制御部３２は、例えば、表示サイズが変更された複数の画像が隙間なく並ぶように、表示サイズが変更された複数の画像をタイル状に並べて表示する。

一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。

なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備えているが、本実施形態では、煩雑さを防ぐために送受信部等の記載を省略している。

次に、図３に示すフローチャートを参照しながら、画像処理システム１０の動作を説明する。

まず、画像の初期表示が行われる。

この場合、ユーザにより、クライアント１４において、処理対象となる画像群を指定する指示が入力される。この指示は、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へ送信される。

サーバ１２では、指示取得部１８により、ユーザのクライアント１４からネットワーク１６を介して送信されてきたユーザの指示が取得される（ステップS1）。

続いて、指示取得部１８が取得したユーザの指示に基づいて、画像群取得部２０により、ユーザが所有する画像群が取得される（ステップS2）。

続いて、画像解析部２２により、画像群取得部２０が取得した画像群に含まれる画像の解析が行われる（ステップS3）。

続いて、タグ情報付与部２４により、画像群に含まれる画像毎に、画像解析部２２による画像の解析結果に基づいて、画像に存在する被写体に対応するタグ情報が画像に付与される（ステップS4）。

続いて、評価値算出部２６により、画像群に含まれる画像毎に、画像の解析結果に基づいて、つまり、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質に基づいて、画像に付与された全てのタグ情報の評価値が０〜１に規格化されて算出される（ステップS5）。また、画像に付与された全てのタグ情報の評価値の合計値に基づいて、画像の評価値が算出される（ステップS6）。

続いて、表示サイズ変更部２８により、画像群に含まれる画像毎に、画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズが変更される（ステップS7）。本実施形態の場合、規格化されたタグ情報の評価値の最小値である０および最大値である１に対応する最小表示サイズおよび最大表示サイズが設定され、最小表示サイズから最大表示サイズまでの範囲内で、画像の評価値に比例して画像の表示サイズが変更される。

続いて、図４に示すように、表示サイズ変更部２８により表示サイズが変更された複数の画像が、表示制御部３２により、クライアント１４の表示部に並べて表示される（ステップS8）。

図４の例では、画像の評価値が、高、中、低の３段階に分けられ、画像の評価値が高の画像の表示サイズが最も大きく、画像の評価値が中の画像、画像の評価値が低の画像の順に画像の表示サイズが順次小さくなるように画像の表示サイズが変更されている。また、変更された複数の画像が隙間なく並ぶように、表示サイズが変更された複数の画像が並べて表示されている。

このように、表示サイズが変更された複数の画像を初期表示する場合、画像に付与された全てのタグ情報の評価値（タグ情報の評価値の合計値）に基づいて、画像の表示サイズが変更されて表示される。

画像処理システム１０では、タグ情報を利用して画像の評価値を算出し、画像の評価値が大きくなるほど画像の表示サイズが大きくなるように画像の表示サイズを変更し、表示サイズが変更された複数の画像を並べて表示する。これにより、あるタグ情報を有する画像の評価値が高い重要な画像であるほど画像が大きな表示サイズで表示されるため、あるタグ情報を有する複数の画像を並べて表示した場合に、ユーザが重要な画像を一目で把握することができる。

ここで、ユーザは、例えば、表示部に表示された複数の画像の中の１つの画像をマウスで左クリックすることにより、または、タッチパネルでタップすることにより、左クリックまたはタップした１つの画像を選択することができる。
この場合、ユーザの指示に応じて、表示部に表示された複数の画像の中から選択された１つの画像を拡大表示することが指定され、ユーザにより選択された１つの画像が、表示制御部３２により表示部に拡大表示される。

例えば、図４において、左上の１枚の画像が選択された場合、表示制御部３２により、選択された左上の１枚の画像が表示部に拡大表示される。

また、ユーザは、例えば、表示部に表示された複数の画像の中の１つの画像をマウスで右クリックすることにより、または、タッチパネルで長タップすることにより、右クリックまたは長タップした１つの画像を選択することができる。
この場合、ユーザの指示に応じて、表示部に表示された複数の画像の中から選択された１つの画像に付与されているタグ情報を表示することが指定され、ユーザにより選択された１つの画像に付与されているタグ情報が、表示制御部３２により表示部に表示される。

また、表示制御部３２は、タグ情報を表示部に表示する場合に、選択された１つの画像の位置から吹き出し領域（ウィンドウ領域）を表示し、この吹き出し領域の中にタグ情報の一覧を表示することができる。あるいは、選択された１つの画像の位置に関わらず、表示部の表示画面内のあらかじめ決定された位置、例えば、表示画面内の右部に情報表示領域を表示し、この情報表示領域の中にタグ情報の一覧を表示してもよい。

同様に、図４において、左上の１枚の画像が選択された場合、選択された１枚の画像に付与されているタグ情報が、図５に示すように、吹き出し領域３４の中に、あるいは、図６に示すように、情報表示領域３６の中に一覧表示される。
図４の例では、選択された１枚の画像には、リンゴおよびオレンジがオブジェクトとして存在する。これに応じて、図５に示す吹き出し領域３４、あるいは、図６に示す情報表示領域３６の中には、リンゴおよびオレンジというタグ情報が表示される。

このように、ユーザは、画像を拡大表示して閲覧したり、画像に付与されたタグ情報を確認したりすることができる。

また、ユーザは、例えば、タグ情報の一覧が表示されている場合に、画像に付与されたタグ情報の中から１以上のタグ情報を指定することができる。
この場合、評価値算出部２６により、画像に付与されたタグ情報の中から、ユーザの指示に応じて指定されたタグ情報である１以上の指定タグ情報の評価値が算出され、１以上の指定タグ情報の評価値のみに基づいて画像の評価値が算出される。また、表示サイズ変更部２８により、指定タグ情報が付与されている画像のみの表示サイズが変更され、表示制御部３２により、表示サイズが変更された画像であって、指定タグ情報が付与されている画像のみが表示部に表示される。

画像に付与された１つのタグ情報が指定タグ情報として指定された場合、評価値算出部２６により、１つの指定タグ情報の評価値が算出され、１つの指定タグ情報の評価値のみに基づいて画像の評価値が算出される。
また、画像に付与された２以上のタグ情報が指定タグ情報として指定された場合、評価値算出部２６により、２以上の指定タグ情報の評価値の合計値、あるいは、２以上の指定タグ情報の評価値を重み付けして加算した合計値に基づいて画像の評価値が算出される。

このように、ユーザは、ユーザが指定したタグ情報が付与されている画像のみを表示することができるため、タグ情報のつながりから画像を次々に辿って探し出すことが可能である。

また、ユーザは、表示サイズが変更された複数の画像を画像の評価値の昇順または降順に並べ替えることを指定することができる。
この場合、ユーザの指示に応じて、表示制御部３２により、表示サイズが変更された複数の画像が画像の評価値の昇順または降順に並べ替えられて表示部に表示される。

また、ユーザは、表示サイズが変更された複数の画像を、全ての画像、年毎の画像、月毎の画像、または、日毎の画像に切り替えることを指定することができる。
この場合、ユーザの指示に応じて、表示制御部３２により、表示サイズが変更された複数の画像が、全ての画像、年毎の画像、月毎の画像、または、日毎の画像に切り替えられて表示部に表示される。

ここで、表示サイズが変更された複数の画像を、画像の評価値の順に並べて表示する場合に、複数の画像が隙間なく並べて表示されるとは限らない。例えば、図７に点線で囲んで示すように、画像と画像の間に隙間３８が生じる場合がある。

この問題は、表示サイズが変更された複数の画像を、表示制御部３２が、画像の評価値の順に隙間なく並べて表示することができるようになるまで、トリミング部３０が、例えば、画像の評価値が最も低い画像から最も高い画像へ向かって順に、表示サイズが変更された複数の画像から、タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出することにより解消することができる。

このように、表示サイズが変更された複数の画像を、画像の評価値の順に並べて表示する場合であっても、さらに、画像をトリミングして画像の表示サイズを変更することにより、複数の画像を隙間なく並べて表示することができる。

なお、タグ情報付与部２４がタグ情報を画像に付与することは必須ではなく、あらかじめタグ情報が付与された画像を含む画像群を使用してもよい。また、タグ情報が付与されていない画像が画像群の中に含まれていてもよい。この場合、画像処理システム１０は、例えば、タグ情報が付与されていない画像を処理対象とせず、タグ情報が付与されている画像だけを処理対象とする。

評価値算出部２６は、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質の少なくとも１つに基づいて、タグ情報の評価値を算出してもよい。

また、評価値算出部２６は、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質を重み付けしてタグ情報の評価値を算出してもよい。この場合、評価値算出部２６は、例えば、重み付けされた領域の割合が大きくなるほどタグ情報の評価値が大きくなり、重み付けされた被写体の位置が画像の中心位置に近くなるほどタグ情報の評価値が大きくなり、重み付けされた被写体の画質がよいほどタグ情報の評価値が大きくなるようにタグ情報の評価値を算出する。

また、評価値算出部２６は、ユーザの指示に応じて指定された重みを用いて、画像の全領域に対する被写体の領域の割合、画像における被写体の位置、および、画像における被写体の画質を重み付けしてもよい。

また、表示サイズ変更部２８は、タグ情報の評価値が規格化されていない場合、画像の最小表示サイズおよび最大表示サイズを設定し、最小表示サイズから最大表示サイズまでの範囲内で、画像の評価値に基づいて画像の表示サイズを変更することができる。この場合、画像の評価値そのものに基づいて画像のサイズを変更してもよいし、例えば、画像の評価値の対数に基づいて画像のサイズを変更してもよい。

また、表示制御部３２は、あらかじめ表示サイズが決定された１以上の表示枠を有するテンプレートを用いて、表示サイズが変更された複数の画像のうち、表示枠の表示サイズに合致する画像を表示枠に配置して表示してもよい。

また、本発明は、例えば、ユーザが所有する画像群の中から、写真プリントを作成する画像を選択したり、電子アルバム等の合成画像を作成するための複数の画像を選択したりするために、複数の画像を並べて表示する場合に利用できる。本発明は、複数の画像を並べて表示する場合に利用できるため、例えば、写真プリントや電子アルバム等の商材の種類に関わらず適用可能であり、さらには、商材の注文にとどまらず、画像整理ツール等にも適用可能である。

上記実施形態では、本発明の画像処理装置に相当する全ての機能をサーバ１２側に配置しているが、これに限定されず、例えば、その一部の機能をクライアント１４側に配置してもよいし、全ての機能をクライアント１４側に配置してもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像群取得部
２２ 画像解析部
２４ タグ情報付与部
２６ 評価値算出部
２８ 表示サイズ変更部
３０ トリミング部
３２ 表示制御部
３４ 吹き出し領域
３６ 情報表示領域
３８ 隙間

Claims (27)

1. 画像群に含まれる画像の解析を行う画像解析部と、
   前記画像毎に、前記画像の解析結果に基づいて、前記画像に存在する１以上の被写体に対応して前記画像に付与された１以上のタグ情報の評価値を算出し、前記１以上のタグ情報の評価値に基づいて前記画像の評価値を算出する評価値算出部と、
   前記画像毎に、前記画像の評価値が大きくなるほど前記画像の表示サイズが大きくなるように前記画像の表示サイズを変更する表示サイズ変更部と、
   前記表示サイズが変更された複数の画像を表示部に並べて表示する表示制御部とを備える画像処理装置。
2. 前記評価値算出部は、前記画像の全領域に対する前記被写体の領域の割合に基づいて、前記領域の割合が大きくなるほど前記タグ情報の評価値が大きくなるように前記タグ情報の評価値を算出する請求項１に記載の画像処理装置。
3. 前記評価値算出部は、前記画像における被写体の位置に基づいて、前記被写体の位置が前記画像の中心位置に近くなるほど前記タグ情報の評価値が大きくなるように前記タグ情報の評価値を算出する請求項１または２に記載の画像処理装置。
4. 前記評価値算出部は、前記画像における被写体の画質に基づいて、前記被写体の画質がよいほど前記タグ情報の評価値が高くなるように前記タグ情報の評価値を算出する請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記評価値算出部は、前記画像の全領域に対する前記被写体の領域の割合、前記画像における被写体の位置、および、前記画像における被写体の画質を重み付けし、前記重み付けされた領域の割合が大きくなるほど前記タグ情報の評価値が大きくなり、前記重み付けされた被写体の位置が前記画像の中心位置に近くなるほど前記タグ情報の評価値が大きくなり、前記重み付けされた被写体の画質がよいほど前記タグ情報の評価値が大きくなるように前記タグ情報の評価値を算出する請求項１に記載の画像処理装置。
6. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
   前記評価値算出部は、前記指示に応じて指定された重みを用いて、前記画像の全領域に対する前記被写体の領域の割合、前記画像における被写体の位置、および、前記画像における被写体の画質を重み付けする請求項５に記載の画像処理装置。
7. 前記表示制御部が、前記表示サイズが変更された複数の画像を、前記画像の評価値の順に隙間なく並べて表示することができない場合に、前記表示サイズが変更された複数の画像を、前記画像の評価値の順に隙間なく並べて表示することができるようになるまで、前記画像の評価値が最も低い画像から最も高い画像へ向かって順に、前記表示サイズが変更された複数の画像から、前記タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出するトリミング部を備える請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記評価値算出部は、前記表示サイズが変更された複数の画像を初期表示する場合に、前記画像に付与された全てのタグ情報の評価値を算出し、前記画像に付与された全てのタグ情報の評価値の合計値に基づいて前記画像群に含まれる画像の評価値を算出する請求項１〜７のいずれか一項に記載の画像処理装置。
9. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
   前記評価値算出部は、前記画像に付与されたタグ情報の中から、前記指示に応じて指定されたタグ情報である１以上の指定タグ情報の評価値を算出し、前記１以上の指定タグ情報の評価値のみに基づいて前記画像の評価値を算出し、
   前記表示サイズ変更部は、前記指定タグ情報が付与されている画像のみの表示サイズを変更し、
   前記表示制御部は、前記表示サイズが変更された画像であって、前記指定タグ情報が付与されている複数の画像のみを表示する請求項８に記載の画像処理装置。
10. 前記評価値算出部は、前記画像に付与された２以上のタグ情報が前記指定タグ情報として指定された場合に、前記２以上の指定タグ情報の評価値の合計値に基づいて前記画像の評価値を算出する請求項９に記載の画像処理装置。
11. 前記評価値算出部は、前記画像に付与された２以上のタグ情報が前記指定タグ情報として指定された場合に、前記２以上の指定タグ情報の評価値を重み付けして加算した合計値に基づいて前記画像の評価値を算出する請求項９に記載の画像処理装置。
12. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
    前記表示制御部は、前記指示に応じて、前記表示部に表示された画像の中から選択された１つの画像を拡大表示することが指定された場合に、前記選択された１つの画像を前記表示部に拡大表示する請求項８〜１１のいずれか一項に記載の画像処理装置。
13. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
    前記表示制御部は、前記指示に応じて、前記表示部に表示された画像の中から選択された１つの画像に付与されているタグ情報を表示することが指定された場合に、前記選択された１つの画像に付与されているタグ情報を前記表示部に表示する請求項８〜１２のいずれか一項に記載の画像処理装置。
14. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
    前記表示制御部は、前記指示に応じて、前記表示サイズが変更された複数の画像を前記画像の評価値の昇順または降順に並べ替えることが指定された場合に、前記表示サイズが変更された複数の画像を前記画像の評価値の昇順または降順に並べ替えて前記表示部に表示する請求項８〜１３のいずれか一項に記載の画像処理装置。
15. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
    前記表示制御部は、前記指示に応じて、前記表示サイズが変更された複数の画像を、全ての画像、年毎の画像、月毎の画像、または、日毎の画像に切り替えることが指定された場合に、前記表示サイズが変更された複数の画像を、全ての画像、年毎の画像、月毎の画像、または、日毎の画像に切り替えて前記表示部に表示する請求項８〜１４のいずれか一項に記載の画像処理装置。
16. 前記表示制御部は、あらかじめ表示サイズが決定された１以上の表示枠を有するテンプレートを用いて、前記表示サイズが変更された複数の画像のうち、前記表示枠の表示サイズに合致する画像を前記表示枠に配置して表示する請求項１〜６のいずれか一項に記載の画像処理装置。
17. さらに、前記画像毎に、前記画像の解析結果に基づいて、前記画像に存在する１以上の被写体に対応する１以上のタグ情報を前記画像に付与するタグ情報付与部を備える請求項１〜１６のいずれか一項に記載の画像処理装置。
18. さらに、ユーザが入力した指示を受け取る指示取得部を備え、
    前記タグ情報付与部は、前記指示に応じて指定されたタグ情報を前記画像に付与する請求項１７に記載の画像処理装置。
19. 前記評価値算出部は、前記タグ情報の評価値を、最小値から最大値までの範囲内の値に規格化して算出し、
    前記表示サイズ変更部は、前記最小値および前記最大値に対応する最小表示サイズおよび最大表示サイズを設定し、前記最小表示サイズから前記最大表示サイズまでの範囲内で、前記画像の評価値に比例して前記画像の表示サイズを変更する請求項１〜１８のいずれか一項に記載の画像処理装置。
20. 前記表示サイズ変更部は、前記画像の最小表示サイズおよび最大表示サイズを設定し、前記最小表示サイズから前記最大表示サイズまでの範囲内で、前記画像の評価値に基づいて前記画像の表示サイズを変更する請求項１〜１８のいずれか一項に記載の画像処理装置。
21. 画像解析部が、画像群に含まれる画像の解析を行うステップと、
    評価値算出部が、前記画像毎に、前記画像の解析結果に基づいて、前記画像に存在する１以上の被写体に対応して前記画像に付与された１以上のタグ情報の評価値を算出し、前記１以上のタグ情報の評価値に基づいて前記画像の評価値を算出するステップと、
    表示サイズ変更部が、前記画像毎に、前記画像の評価値が大きくなるほど前記画像の表示サイズが大きくなるように前記画像の表示サイズを変更するステップと、
    表示制御部が、前記表示サイズが変更された複数の画像を表示部に並べて表示するステップとを含む画像処理方法。
22. 前記タグ情報の評価値を算出するステップは、前記画像の全領域に対する前記被写体の領域の割合に基づいて、前記領域の割合が大きくなるほど前記タグ情報の評価値が大きくなるように前記タグ情報の評価値を算出する請求項２１に記載の画像処理方法。
23. 前記タグ情報の評価値を算出するステップは、前記画像における被写体の位置に基づいて、前記被写体の位置が前記画像の中心位置に近くなるほど前記タグ情報の評価値が大きくなるように前記タグ情報の評価値を算出する請求項２１または２２に記載の画像処理方法。
24. 前記タグ情報の評価値を算出するステップは、前記画像における被写体の画質に基づいて、前記被写体の画質がよいほど前記タグ情報の評価値が高くなるように前記タグ情報の評価値を算出する請求項２１〜２３のいずれか一項に記載の画像処理方法。
25. さらに、前記画像を表示するステップが、前記表示サイズが変更された複数の画像を、前記画像の評価値の順に隙間なく並べて表示することができない場合に、前記表示サイズが変更された複数の画像を、前記画像の評価値の順に隙間なく並べて表示することができるようになるまで、トリミング部が、前記画像の評価値が最も低い画像から最も高い画像へ向かって順に、前記表示サイズが変更された複数の画像から、前記タグ情報に対応する被写体の領域を中心とする領域の画像をトリミングして抽出するステップを含む請求項２１〜２４のいずれか一項に記載の画像処理方法。
26. 請求項２１〜２５のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
27. 請求項２１〜２５のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images