JP2017068331A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】ユーザの傾向に応じて、画像群の各画像を評価することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】画像処理装置では、画像群取得部２０は、指示取得部１８が取得したユーザの指示に基づいて、ユーザが所有する画像群を取得する。画像選択部２８は、ユーザの指示に応じて、画像群の中から１以上の画像を選択画像として選択する。評価値算出部３０は、選択画像の撮影日時の有無の情報と、画像群の各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出する。【選択図】図２

Description

本発明は、画像群に含まれる画像の評価値を算出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

現在では、ユーザが所有する画像群の中から選択された一定枚数の画像を使用して、フォトブック（電子アルバム）等の合成画像を生成する店頭機等の画像処理装置が実現されている。この場合、画像群に含まれる多数の画像の中から、合成画像を生成するために使用する画像を選出する必要があるが、ユーザが画像を選出する手間を軽減するために、画像の自動選出機能が求められている。

これに対し、従来の画像処理装置では、写りのよさや、人物の有無、表情、顔の大きさ等の観点を基準として、画像群の中から画像が自動で選出されていた。しかし、従来の画像の選出基準では選出対象から外れる画像であっても、ユーザにとっては思い入れがある画像である場合がある。例えば、写りはよくないが、ユーザが好きなものや大切なものが撮影された画像等がこれに該当する。

また、従来の画像処理装置では、Exif（Exchangeable Image File Format）情報のない画像は自動選出の対象外であった。しかし、ユーザによっては、Exif情報がない画像でも、例えば、SNS（Social Networking Service）からダウンロードした画像や、ユーザ自身が専用のアプリケーションで編集を行った画像であるため、思い入れがあるという場合があった。

従って、ユーザの傾向に応じて画像を自動で選出するための技術が必要となる。

本発明に関連性のある先行技術文献として、特許文献１〜３がある。

特許文献１には、記憶装置から任意の画像を主画像として選択し、主画像に付随した情報として、例えば、画像の内容を表すキーワード、画像を撮影した日時などを取り出し、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示することが記載されている。

特許文献２には、入力画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成し、被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し、重要な被写体を抽出し、抽出した重要な被写体を種類別にクラスタリングし、被写体データ群をクラスタリングされた種類別に分類することが記載されている。

特許文献３には、各画像から画像特徴量を抽出し、各画像にキーワードを付与することが記載されている。

特許第４０２１０２５号公報 特開２００５−１４８９００号公報 特開２００６−１７１８８８号公報

しかし、特許文献１〜３に記載の技術では、ユーザの傾向に応じて画像が評価されていないため、画像群の中から、ユーザにとって思い入れのある画像を選出することができない。

本発明の第１の目的は、従来技術の問題点を解消し、ユーザの傾向に応じて、画像群の各画像を評価することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
また、本発明の第２の目的は、上記第１の目的に加えて、画像群の中から、ユーザにとって思い入れのある画像を選出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、画像から、画像の撮影日時の有無の情報を取得する画像情報取得部と、
ユーザから入力された指示を取得する指示取得部と、
指示に応じて、１以上の画像を選択画像として選択する画像選択部と、
選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出する評価値算出部とを備える画像処理装置を提供するものである。

ここで、選択画像は、第２の画像群の中から選択される１以上の画像であり、第１の画像群は、第２の画像群のうちの選択画像以外のその他の画像であることが好ましい。

また、画像選択部が、指示に応じて１つの選択画像を選択した場合に、評価値算出部は、１つの選択画像の撮影日時の有無の情報にスコアを付け、１つの選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１つの選択画像の撮影日時の有無の情報と同じスコアを付けることにより、各画像の評価値を算出することが好ましい。

また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、評価値算出部は、２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付け、２以上の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の撮影日時の有無の情報と同じスコアを付けることにより、各画像の評価値を算出することが好ましい。

また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、評価値算出部は、２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、２以上の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の最も共通する撮影日時の有無の情報と同じスコアを付けることにより、各画像の評価値を算出することが好ましい。

また、選択画像および選択画像の撮影日時の有無の情報を過去の選択画像および過去の選択画像の撮影日時の有無の情報として記憶する情報記憶部を備え、
評価値算出部は、選択画像および情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、選択画像および１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。

また、画像選択部が、指示に応じて１つの選択画像を選択した場合に、
評価値算出部は、
１つの選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
１つの選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１つの選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
１つの選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
各画像の評価値を算出することが好ましい。

また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、
評価値算出部は、
２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
２以上の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
２以上の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
各画像の評価値を算出することが好ましい。

また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、
評価値算出部は、
２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、
２以上の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、
２以上の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
各画像の評価値を算出することが好ましい。

また、評価値算出部は、選択画像および１以上の過去の選択画像の撮影日時の有無の情報のスコアを、選択された日時が新しくなるほど重みが重くなるように重み付けして、合計値を算出することが好ましい。

また、評価値算出部は、選択画像および各画像の撮影日時の有無の情報に、あらかじめ設定されたスコアを付けることが好ましい。

また、評価値算出部は、選択画像および各画像の撮影日時の有無の情報に、あらかじめ設定された２種類以上のスコアの中から１つのスコアを選択し、選択された１つのスコアを付けることが好ましい。

また、評価値算出部は、選択画像および各画像の撮影日時の有無の情報に、指示に応じて指定されたスコアを付けることが好ましい。

画像情報取得部は、さらに、画像から、画像に付与されたタグ情報を取得し、
評価値算出部は、選択画像のタグ情報および撮影日時の有無の情報と、選択画像のタグ情報および撮影日時の有無の情報に一致する各画像のタグ情報および撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。

画像情報取得部は、さらに、画像から、画像に存在する人物の情報を取得し、
評価値算出部は、選択画像の人物の情報および撮影日時の有無の情報と、選択画像の人物の情報および撮影日時の有無の情報に一致する各画像の人物の情報および撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。

また、画像情報取得部は、画像から、画像の撮影日時の有無の情報、画像に付与されたタグ情報および画像に存在する人物の情報を取得し、
評価値算出部は、選択画像のタグ情報、人物の情報および撮影日時の有無の情報と、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致する各画像のタグ情報、人物の情報および撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。

さらに、画像の解析を行う画像解析部と、
画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するタグ情報付与部とを備えることが好ましい。

また、画像解析部は、選択画像が選択された後に、各画像の解析を行い、
タグ情報付与部は、各画像の解析が終了した後に、タグ情報を各画像に付与することが好ましい。

また、画像解析部は、選択画像が選択されるよりも前に、各画像の解析を行い、
タグ情報付与部は、各画像の解析が終了した後、選択画像が選択されるよりも前に、タグ情報を各画像に付与することが好ましい。

また、評価値算出部は、選択画像の中に人物が存在しない場合に、各画像の人物の情報のスコアを含めずに各画像の評価値を算出することが好ましい。

さらに、選択画像および各画像に存在する人物の中から１以上の人物を主人公に設定する主人公設定部を備え、
評価値算出部は、主人公が設定されている場合に、選択画像に存在する人物に関わらず、各画像に存在する人物であって、設定された主人公と一致する人物の情報にスコアを付け、各画像に存在する人物であって、設定された主人公と一致する人物の情報のスコアを含めて各画像の評価値を算出することが好ましい。

また、主人公設定部は、選択画像および各画像に存在する人物の中から登場回数が最も多い一人の人物を主人公に設定することが好ましい。

また、主人公設定部は、選択画像および各画像に存在する人物の中から最も登場回数が閾値以上である１以上の人物を主人公に設定することが好ましい。

また、主人公設定部は、選択画像および各画像に存在する人物の中から指示に応じて指定された人物を主人公に設定することが好ましい。

また、評価値算出部は、選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、タグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、各画像の評価値を算出することが好ましい。

また、選択画像および選択画像のタグ情報、人物の情報および撮影日時の有無の情報を過去の選択画像および過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報として記憶する情報記憶部を備え、
評価値算出部は、選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、タグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、各画像の評価値を算出することが好ましい。

また、選択画像、および、各画像のうちの評価値が閾値以上である画像を抽出画像として抽出する画像抽出部を備えることが好ましい。

さらに、撮影日時の情報が付与されていない画像が抽出画像の中にある場合に、画像に対応する画像ファイルを作成した日時、画像ファイルを取得した日時、画像ファイルを編集した日時のいずれかを使用して、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を決定する画像順序決定部を備えることが好ましい。

さらに、前記画像の解析を行う画像解析部を備え、
画像解析部は、撮影日時の情報が付与されていない画像が抽出画像の中にある場合に、抽出画像における撮影日時の情報が付与されている画像の中から、撮影日時の情報が付与されていない画像と類似する画像の判定を行い、
さらに、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を、撮影日時の情報が付与されていない画像と類似すると判定された画像の前または後に決定する画像順序決定部を備えることが好ましい。

また、本発明は、画像情報取得部が、画像から、画像の撮影日時の有無の情報を取得するステップと、
指示取得部が、ユーザから入力された指示を取得するステップと、
画像選択部が、指示に応じて、１以上の画像を選択画像として選択するステップと、
評価値算出部が、選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出するステップとを含む画像処理方法を提供する。

ここで、情報記憶部が、選択画像および選択画像の撮影日時の有無の情報を過去の選択画像および過去の選択画像の撮影日時の有無の情報として記憶するステップと、
評価値算出部が、選択画像および情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、選択画像および１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出するステップとを含むことが好ましい。

また、画像抽出部が、選択画像、および、各画像のうちの評価値が閾値以上である画像を抽出画像として抽出するステップを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、ユーザの指示により選択された選択画像の撮影日時の有無の情報と、これに一致する第１の画像群の各画像の撮影日時の有無の情報とに基づいて、各画像の評価値が算出される。これにより、選択画像の撮影日時の有無の情報に基づいてユーザの傾向を判断し、ユーザの傾向に応じて、各画像の評価値を算出することができる。また、各画像の評価値に基づいて、第１の画像群の中から、ユーザにとって思い入れのある画像を選出することができる。

本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 画像処理システムの動作を表す一実施形態のフローチャートである。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、ユーザの傾向に応じて、画像群に含まれる画像の評価値を算出し、算出した評価値に基づいて、画像群の中から、ユーザにとって思い入れのある画像を選出するものである。画像処理システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された１以上のクライアント１４とを備えている。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、本発明の画像処理装置の一例であり、指示取得部１８と、画像群取得部２０と、画像解析部２２と、タグ情報付与部２４と、画像情報取得部２６と、画像選択部２８と、評価値算出部３０と、情報記憶部３２と、主人公設定部３４と、画像抽出部３６と、画像順序決定部３８とを備えている。

サーバ１２において、指示取得部１８は、ユーザから入力された指示を取得するものである。

指示取得部１８は、ユーザがクライアント１４において入力した各種の指示を、クライアント１４からネットワーク１６を介して取得する。ユーザの指示には、タグ情報の名称を指定する指示、画像群の中からユーザの傾向を判断するための基準となる画像を選択する指示、画像の撮影日時の有無の情報、画像に付与されたタグ情報および画像に存在する人物の情報にスコアを付ける指示、画像に存在する人物の中から主人公となる人物を指定する指示等が含まれる。

続いて、画像群取得部２０は、指示取得部１８が取得したユーザの指示に基づいて、ユーザが所有する画像群を取得するものである。

画像群取得部２０は、ユーザの指示に応じて、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へアップロードされてくる画像群を取得してもよいし、あるいは、既にサーバ１２へアップロードされている、つまり、既にサーバ１２に保持されている既存の画像群の中から、ユーザの指示に応じて指定された少なくとも一部の画像を含む画像群を取得してもよい。

続いて、画像解析部２２は、画像群取得部２０が取得した画像群に含まれる画像の解析を行うものである。

画像解析部２２が行う画像解析には、画像に存在する被写体、つまり、人物および人物以外のオブジェクトの検出の他、画像における人物およびオブジェクトの領域の位置および面積の検出等が含まれる。また、画像解析部２２は、画像解析として、撮影日時の情報が付与されていない画像がある場合に、撮影日時の情報が付与されている画像の中から、撮影日時の情報が付与されていない画像と類似する画像の判定を行う。

続いて、タグ情報付与部２４は、画像解析部２２による画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するものである。

タグ情報付与部２４は、画像の解析結果に基づいて、例えば、オブジェクトとして「猫」および「犬」が画像に存在することが検出された場合、「猫」および「犬」のタグ情報を画像に付与する。タグ情報の名称は、オブジェクトの名称と同じでもよいし、オブジェクトの名称と類似した名称でもよい。また、ユーザの指示に応じて指定された任意の名称のタグ情報を画像に付与してもよい。

続いて、画像情報取得部２６は、画像群に含まれる画像から、画像の撮影日時の有無の情報（すなわち、撮影日時の情報が「有」か「無」かに関する情報）、画像に付与されたタグ情報および画像に存在する人物の情報を画像情報として取得するものである。

画像の撮影日時の有無の情報は、画像に撮影日時の情報が付帯されているか否かを表す情報であり、例えば、Exif情報等のヘッダ情報が画像に付帯されているか否かによって判断することができる。Exif情報には、画像の撮影日時の情報が含まれるため、Exif情報が画像に付帯されていれば、画像の撮影日時の情報は「有」、Exif情報が画像に付帯されていなければ、画像の撮影日時の情報は「無」と判断することができる。
タグ情報は、例えば、画像にあらかじめ付与されているタグ情報や、タグ情報付与部２４により画像に付与されたタグ情報である。
人物の情報は、例えば、画像解析部２２により検出された人物の情報である。

続いて、画像選択部２８は、ユーザの指示に応じて、画像群の中から１以上の画像を選択画像として選択するものである。

選択画像は、ユーザの傾向（画像選出における好み）を判断するための基準となる画像である。ユーザの傾向は、時間の経過につれて変わることもあれば変わらないこともある。また、画像選出の目的に応じて変わることもある。ユーザ自身が選択画像を選択することにより、選択画像に基づいてユーザの傾向を判断することが可能となる。
選択画像の枚数に制限はないが、ユーザが多数の画像を選択する手間を省くために、少数の画像、例えば、１〜３枚の画像を選択することが望ましい。

続いて、評価値算出部３０は、選択画像の画像情報と、画像群のうちの選択画像以外の（つまり選択画像を除いた）その他の画像の画像情報であって、選択画像の画像情報に一致するその他の画像の画像情報とに基づいて、その他の画像の評価値を算出するものである。

その他の画像の画像情報が選択画像の画像情報に一致するとは、選択画像の撮影日時の情報が「有」の場合に、その他の画像の撮影日時の情報が「有」である場合を意味し、選択画像の撮影日時の情報が「無」の場合に、その他の画像の撮影日時の情報が「無」である場合を意味する。また、選択画像に付与されたタグ情報が「猫」の場合には、その他の画像に付与されたタグ情報も「猫」である場合を意味し、選択画像の人物の情報が「Aさん」の場合には、その他の画像の人物の情報も「Aさん」である場合を意味する。

評価値算出部３０は、例えば、選択画像の画像情報の特徴に基づいて、選択画像の画像情報にスコアを付け、選択画像の画像情報に一致するその他の画像の画像情報に選択画像の画像情報と同じスコアを付けることにより、その他の画像の評価値を算出する。

なお、「スコアを付ける」とは、例えば、選択画像の撮影日時の有無の情報が「無」の場合には、撮影日時の情報が無いことに対して一定のスコア、例えば、１点（ただし、１点に限定されるわけではない）を付けることを意味する。また、撮影日時の有無の情報とスコアに関する情報とがデータとして隣接していることは必須ではなく、撮影日時の有無の情報とそのスコアとが関連付けられていればよい。

続いて、情報記憶部３２は、今回の選択画像およびその画像情報を、過去の選択画像およびその画像情報として記憶するものである。

過去の選択画像およびその画像情報が情報記憶部３２に記憶されている場合に、評価値算出部３０は、今回の選択画像および情報記憶部３２に記憶された１以上の過去の選択画像の画像情報と、今回の選択画像および１以上の過去の選択画像の画像情報に一致するその他の画像の画像情報とに基づいて、その他の画像の評価値を算出することができる。

続いて、主人公設定部３４は、選択画像およびその他の画像に存在する人物の中から１以上の人物を主人公に設定するものである。

主人公設定部３４は、例えば、画像の解析結果に基づいて、選択画像およびその他の画像に存在する人物の中から登場回数が最も多い一人の人物や、選択画像およびその他の画像に存在する人物の中から登場回数が閾値以上である１以上の人物を主人公に自動で設定することができる。ユーザは、主人公設定部３４が自動で設定した主人公を変更してもよい。また、主人公設定部３４は、選択画像およびその他の画像に存在する人物の中からユーザの指示に応じて指定された人物を主人公に設定してもよい。

主人公設定部３４により主人公が設定されている場合に、評価値算出部３０は、選択画像に存在する人物に関わらず、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報にスコアを付け、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報のスコアを含めてその他の画像の評価値を算出することができる。

続いて、画像抽出部３６は、選択画像、および、その他の画像のうちの評価値が閾値以上である画像を抽出画像として抽出するものである。

抽出画像は、ユーザの傾向に合った画像、つまり、ユーザにとって思い入れ（特別な思い）があると考えられる画像である。

続いて、画像順序決定部３８は、撮影日時の情報が付与されていない画像が画像抽出部３６により抽出された抽出画像の中にある場合に、画像に対応する画像ファイルを作成した日時、画像ファイルを取得した日時、画像ファイルを編集した日時のいずれかを使用して、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を決定するものである。

また、撮影日時の情報が付与されていない画像が抽出画像の中にある場合に、例えば特開２０１５−６９４２６号公報に記載の技術のように、画像解析部２２が、抽出画像における撮影日時の情報が付与されている画像の中から、撮影日時の情報が付与されていない画像と類似する画像の判定を行い、画像順序決定部３８が、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を、画像解析部２２により撮影日時の情報が付与されていない画像と類似すると判定された画像の前または後に決定してもよい。

抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を決定することにより、撮影日時の情報がない画像であっても、フォトブック（電子アルバム）等の合成画像を生成する場合に、自動選出等の処理対象の画像として使用することができる。

一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。

なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備えているが、本実施形態では、煩雑さを防ぐために送受信部等の記載を省略している。

次に、図３に示すフローチャートを参照しながら、画像処理システム１０の動作を説明する。

まず、ユーザにより、クライアント１４において、処理対象となる画像群を指定する指示が入力される。この指示は、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へ送信される。

サーバ１２では、指示取得部１８により、ユーザのクライアント１４からネットワーク１６を介して送信されてきたユーザの指示が取得される。

続いて、指示取得部１８が取得したユーザの指示に基づいて、画像群取得部２０により、ユーザが所有する画像群が取得される（ステップS1）。

続いて、画像解析部２２により、画像群取得部２０が取得した画像群に含まれる画像の解析が行われる（ステップS2）。

続いて、タグ情報付与部２４により、画像の解析結果に基づいて、画像に存在するオブジェクトに対応するタグ情報が画像に付与される（ステップS3）。

続いて、画像情報取得部２６により、画像群に含まれる画像から、画像の撮影日時の有無の情報、画像に付与されたタグ情報および画像に存在する人物の情報が画像情報として取得される（ステップS4）。

続いて、ユーザにより、画像群の中から１以上の画像を選択する指示が入力され、これに応じて、画像群取得部２０によりユーザの指示が取得される。

続いて、画像選択部２８により、画像群取得部２０が取得したユーザの指示に応じて、画像群の中から１以上の画像が選択画像として選択される（ステップS5）。

続いて、評価値算出部３０により、選択画像の画像情報と、選択画像の画像情報に一致するその他の画像の画像情報とに基づいて、その他の画像の評価値が算出される（ステップS6）。

例えば、選択画像のタグ情報、人物の情報および撮影日時の有無の情報にスコアを付ける。
また、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致するその他の画像のタグ情報、人物の情報および撮影日時の有無の情報に、選択画像のタグ情報、人物の情報および撮影日時の有無の情報と同じスコアを付ける。
そして、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致するその他の画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアの合計値を算出することにより、その他の画像の評価値が算出される。

ここで、人物の情報にスコアを付ける場合には、主人公設定部３４により主人公が設定されているか否かが判別される（ステップS7）。

その結果、主人公が設定されている場合（ステップS7でYes）、評価値算出部３０は、選択画像に存在する人物に関わらず、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報にスコアを付ける。そして、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報のスコアを含めてその他の画像の評価値を算出する（ステップS8）。

一方、主人公が設定されていない場合（ステップS7でNo）、評価値算出部３０は、選択画像に存在する人物の情報に基づいて、選択画像の人物の情報にスコアを付ける。そして、その他の画像に存在する人物であって、選択画像に存在する人物と一致する人物の情報のスコアを含めてその他の画像の評価値を算出する（ステップS9）。

なお、選択画像の中に人物が存在しない場合、評価値算出部３０は、その他の画像の人物の情報のスコアを含めずにその他の画像の評価値を算出する。

また、過去の選択画像およびその画像情報が情報記憶部３２に記憶されているか否かが判別される（ステップS10）。

その結果、過去の選択画像およびその画像情報が情報記憶部３２に記憶されていない場合（ステップS10でNo）、評価値算出部３０は、今回の選択画像の画像情報と、その他の画像の画像情報であって、今回の選択画像の画像情報に一致する画像情報とに基づいて、その他の画像の評価値を算出する（ステップS11）。

一方、過去の選択画像およびその画像情報が情報記憶部３２に記憶されている場合（ステップS10でYes）、評価値算出部３０は、今回の選択画像および過去の選択画像の画像情報と、その他の画像の画像情報であって、今回の選択画像および過去の選択画像の画像情報に一致する画像情報とに基づいて、その他の画像の評価値を算出する（ステップS12）。

例えば、過去の選択画像およびその画像情報がサーバ１２以外の他のサーバ等に記憶されている場合、ユーザ認証を行うことにより、ユーザ毎に、過去の選択画像およびその画像情報を他のサーバ等から取得する。

続いて、画像抽出部３６により、選択画像、および、その他の画像のうちの評価値が閾値以上である画像が抽出画像として抽出される（ステップS13）。

続いて、画像順序決定部３８により、画像抽出部３６が抽出した抽出画像のうち、撮影日時の情報が付与されていない画像がある場合に、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序が決定される（ステップS14）。

続いて、次回のその他の画像の評価値を算出する場合に使用するために、今回の選択画像およびその画像情報が、過去の選択画像およびその画像情報として情報記憶部３２に記憶される（ステップS15）。

画像処理システム１０では、ユーザの指示により選択された選択画像の画像情報と、これに一致するその他の画像の画像情報とに基づいて、その他の画像の評価値が算出される。これにより、選択画像の画像情報に基づいてユーザの傾向を判断し、ユーザの傾向に応じて、その他の画像の評価値を算出することができる。また、その他の画像の評価値に基づいて、画像群の中から、ユーザにとって思い入れのある画像を選出することができる。
特に、従来評価することができなかった、撮影日時の情報の有無に関するユーザの傾向に応じて、画像を評価することができる。上述の通りSNSからダウンロードした画像は撮影日時の情報が無いことが多いため、選択画像としてSNSからダウンロードした画像を選択すれば、SNSに載ったような画像を思い入れのある画像として優先して選出することができる。また、選択画像として撮影日時の情報が有る画像を選択すれば、SNSに載ったような公開の画像よりは、そうでないプライベートな画像を思い入れのある画像として優先して選出することができる。

次に、その他の画像の評価値を算出する場合の具体例を挙げて説明する。

表１および表２は、画像選択部２８が、画像群の中から１枚の画像を今回の選択画像１として選択した場合を表す具体例１である。

具体例１の場合、表１左部に示すように、今回の選択画像１には、タグ情報として、「猫」および「犬」が付与されている。
また、人物の情報は空欄、つまり、人物は今回の選択画像１に存在していない。
撮影日時の有無の情報は「無」、つまり、撮影日時の情報は今回の選択画像１に付帯されていない。
また、主人公は設定されておらず、その他の画像の評価値を今回初めて算出する場合等のように、過去の選択画像およびその画像情報はない。

まず、今回の選択画像１の画像情報にスコアを付ける。

評価値算出部３０は、ユーザが選択した２以上の選択画像の間で共通する画像情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付ける。例えば、３枚の選択画像の間で共通する画像情報には３点を付け、２枚の選択画像の間で共通する画像情報には２点、３枚の選択画像の間で共通していない画像情報には０．５点を付ける。

具体例１の場合、１枚の選択画像１しか選択されていないため、２以上の選択画像の間で共通する画像情報はない。この場合、表１右部に示すように、共通の画像情報として、タグ情報の「猫」および「犬」のスコアに同じ０．５点を付ける。また、撮影日時の有無の情報の「無」に０．５点を付ける。なお、選択画像が１枚の場合、撮影日時の有無の情報が「有」の場合にも、「無」の場合と同じ０．５点を付ける。

また、評価値算出部３０は、今回の選択画像および１以上の過去の選択画像の画像情報のスコアを、ユーザが選択画像を選択した日時が新しくなるほど重みが重くなるように重み付けを行う。例えば、今回、前回、前々回の選択画像の画像情報のスコアを算出する場合、今回の選択画像の画像情報の重みを２とし、以下順に、前回の選択画像の画像情報の重みを１．５、前々回の選択画像の画像情報の重みを１とする。

具体例１の場合、過去の選択画像およびその画像情報はないが、例えば、今回の選択画像１の画像情報の重みを２とする。

続いて、その他の画像１，２の画像情報にスコアを付けることにより、その他の画像の評価値を算出する。

その他の画像１の場合、表２左部に示すように、タグ情報は「自転車」および「犬」であり、人物の情報は「人物B」、撮影日時の有無の情報は「無」である。

この場合、その他の画像１のタグ情報の「自転車」は、今回の選択画像１のタグ情報に一致せず、タグ情報の「犬」は、今回の選択画像１のタグ情報の「犬」に一致する。従って、その他の画像１のタグ情報のスコアは、今回の選択画像１のタグ情報の「犬」と同じスコアの「犬（今回）：０．５点」を今回の選択画像１の画像情報に対する重み２で重み付けして２倍し、「犬（今回）：０．５点×２＝１点」となる。
また、その他の画像１の人物の情報の「人物B」は今回の選択画像１の人物の情報と一致しない。従って、その他の画像１の人物の情報のスコアは０となる。
その他の画像１の撮影日時の有無の情報の「無」は、今回の選択画像１の撮影日時の有無の情報の「無」に一致する。従って、その他の画像１の撮影日時の有無の情報のスコアは、今回の選択画像１の撮影日時の有無の情報の「無」と同じスコアの「無（今回）：０．５×２＝１点」となる。

その結果、その他の画像１の評価値は、その他の画像１のタグ情報のスコアの１点、人物の情報のスコアの０点および撮影日時の有無の情報のスコアの１点の合計値を算出することにより、合計２点となる。

同様に、その他の画像２の場合、表２右部に示すように、タグ情報は「猫」および「花」であり、人物の情報は「人物A」、撮影日時の有無の情報は「有」である。

この場合、その他の画像２のタグ情報の「猫」は、今回の選択画像１のタグ情報の「猫」に一致し、タグ情報の「花」は、今回の選択画像１のタグ情報に一致しない。従って、その他の画像２のタグ情報のスコアは、「猫（今回）：０．５点×２＝１点」となる。
また、その他の画像２の人物の情報の「人物A」は今回の選択画像１の人物情報と一致しない。従って、その他の画像２の人物の情報のスコアは０となる。
その他の画像２の撮影日時の有無の情報の「有」は、今回の選択画像１の撮影日時の有無の情報に一致しない。従って、その他の画像２の撮影日時の有無の情報のスコアも０となる。
その結果、その他の画像２の評価値は、合計１点となる。

このように、過去の選択画像およびその画像情報がない場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて１つの選択画像を選択した場合に、ユーザが選択した１つの選択画像の画像情報にスコアを付ける。
そして、ユーザが選択した１つの選択画像の画像情報に一致するその他の画像の画像情報に、ユーザが選択した１つの選択画像の画像情報と同じスコアを付けることにより、その他の画像の評価値を算出することができる。

なお、過去の選択画像およびその画像情報がある場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて１つの選択画像を選択した場合に、ユーザが選択した１つの選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報にスコアを付ける。
また、ユーザが選択した１つの選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１つの選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付ける。
そして、ユーザが選択した１つの選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、その他の画像の評価値を算出することができる。

続いて、表３〜５は、画像選択部２８が、画像群の中から３枚の画像を選択画像として選択した場合を表す具体例２である。

具体例２の場合、表３に示すように、今回の選択画像１には、タグ情報として、「猫」および「犬」が付与され、選択画像２には「猫」が付与され、選択画像３には「猫」および「花」が付与されている。
また、今回の選択画像１の人物の情報は空欄であり、選択画像２の人物の情報は「人物A」および「人物B」、選択画像３の人物の情報は空欄である。
今回の選択画像１および選択画像２の撮影日時の有無の情報は「無」であり、選択画像３の撮影日時の有無の情報は「有」である。
また、主人公は設定されておらず、表４に示すように、過去の選択画像およびその画像情報はある。

まず、今回の選択画像１〜３の画像情報にスコアを付ける。

評価値算出部３０は、具体例１の場合と同様に、ユーザが選択した２以上の選択画像の間で共通する画像情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付ける。

具体例２の場合、表３に示すように、タグ情報の「猫」は３枚の選択画像１〜３の間で共通するため、表４に示すように、そのスコアに３点を付ける。タグ情報の「犬」および「花」は、３枚の選択画像１〜３の間で共通していないため、そのスコアに０．５点を付ける。
人物の情報の「人物A」および「人物B」は３枚の選択画像１〜３の間で共通していないため、そのスコアとして０．５点を付ける。
また、撮影日時の有無の情報の「無」は２枚の選択画像１，２の間で共通するため、そのスコアに２点を付ける。撮影日時の有無の情報の「有」は３枚の選択画像１〜３の間で共通していないため、そのスコアとして０．５点を付ける。

また、表４に示すように、前回の選択画像の人物の情報の「人物A」のスコアとして２点、撮影日時の有無の情報の「無」のスコアとして２点が付けられ、前々回の選択画像のタグ情報の「犬」のスコアとして２点が付けられている。

また、評価値算出部３０は、具体例１の場合と同様に、今回の選択画像および１以上の過去の選択画像の画像情報のスコアを、ユーザが選択画像を選択した日時が新しくなるほど重みが重くなるように重み付けを行う。

具体例２の場合、表４に示すように、今回の選択画像１〜３の画像情報の重みを２とし、前回の選択画像の画像情報の重みを１．５、前々回の選択画像の画像情報の重みを１とする。

続いて、その他の画像１，２の画像情報にスコアを付けることにより、その他の画像の評価値を算出する。

その他の画像１および２の画像情報は、表５に示すように、具体例１のその他の画像１および２の画像情報と同じである。

その他の画像１の場合、そのタグ情報の「自転車」は、今回の選択画像１〜３、前回および前々回の選択画像のタグ情報に一致せず、タグ情報の「犬」は、前々回の選択画像および今回の選択画像１のタグ情報の「犬」に一致する。従って、その他の画像１のタグ情報のスコアは、「犬（前々回）：２点×１＝２点」および「犬（今回）：０．５点×２＝１点」の合計値＝３点となる。
また、その他の画像１の人物の情報の「人物B」は、今回の選択画像２の人物の情報の「人物B」と一致する。従って、その他の画像１の人物の情報のスコアは、「人物B（今回）：０．５点×２＝１点」となる。
その他の画像１の撮影日時の有無の情報の「無」は、前回の選択画像および今回の選択画像１，２の撮影日時の有無の情報の「無」に一致する。従って、その他の画像１の撮影日時の有無の情報のスコアは、「無（前回）：２×１．５＝３点」および「無（今回）：２×２＝４点」の合計値＝７点となる。

その結果、その他の画像１の評価値は、合計１１点となる。

その他の画像２の場合、そのタグ情報の「猫」は、今回の選択画像１〜３のタグ情報の「猫」に一致し、タグ情報の「花」は、今回の選択画像３のタグ情報の「花」に一致する。従って、その他の画像２のタグ情報のスコアは、「猫（今回）：３点×２＝６点」および「花（今回）：０．５点×２＝１点」の合計値＝７点となる。
また、その他の画像２の人物の情報の「人物A」は、前回の選択画像および今回の選択画像２の人物の情報の「人物A」と一致する。従って、その他の画像２の人物の情報のスコアは、「人物A（前回）：２点×１．５＝３点」および「人物A（今回）：０．５点×２＝１点」の合計値＝４点となる。
その他の画像２の撮影日時の有無の情報の「有」は、今回の選択画像３の撮影日時の有無の情報の「有」に一致する。従って、その他の画像２の撮影日時の有無の情報のスコアは、「有（今回）：０．５点×２＝１点」となる。

その結果、その他の画像２の評価値は、合計１２点となる。

このように、過去の選択画像およびその画像情報がある場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように１以上の過去の選択画像の撮影日時の有無の情報にスコアを付ける。
また、ユーザが選択した２以上の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付ける。
そして、ユーザが選択した２以上の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、その他の画像の評価値を算出することができる。
過去の選択画像の情報を利用することにより、ユーザの過去から現在にわたる傾向をより正確につかむことができる。

なお、過去の選択画像およびその画像情報がない場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付ける。
そして、ユーザが選択した２以上の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の撮影日時の有無の情報と同じスコアを付けることにより、その他の画像の評価値を算出することができる。
共通する情報の数が多くなるほどスコアが高くなるようにすることによって、ユーザの傾向をより正確につかむことができる。

続いて、表６，７は、画像選択部２８が、画像群の中から３枚の画像を選択画像として選択した場合を表す具体例３である。

具体例３の場合、今回の選択画像１〜３の画像情報は、具体例２の今回の選択画像１〜３の画像情報と同じであり、表３に示す通りである。
また、表６に示すように、主人公が設定されており、過去の選択画像およびその画像情報もある。

まず、今回の選択画像１〜３の画像情報にスコアを付ける。

評価値算出部３０は、ユーザが選択した２以上の選択画像の間で最も共通する画像情報にスコアを付ける。例えば、３枚の選択画像の間で最も共通する画像情報にのみ１点を付ける。

具体例３の場合、表３に示すように、タグ情報の「猫」は、３枚の選択画像１〜３の間で最も共通するため、そのスコアに１点を付ける。
また、撮影日時の有無の情報の「無」は、２枚の選択画像１，２の間で最も共通するため、そのスコアに１点を付ける。
なお、上記以外の画像情報のスコアは０である。

また、表６に示すように、前回の選択画像の人物の情報の「人物A」、前回の選択画像の撮影日時の有無の情報の「無」、前々回の選択画像のタグ情報の「犬」は、２以上の選択画像の間で最も共通する画像情報であり、そのスコアとして１点が付けられている。

また、評価値算出部３０は、具体例２の場合と同様に、今回の選択画像および１以上の過去の選択画像の画像情報のスコアを、ユーザが選択画像を選択した日時が新しくなるほど重みが重くなるように重み付けを行う。これにより、ユーザの過去から現在にわたる傾向を考慮しつつ、現在の傾向を重視した評価値の算出を行うことができる。

具体例３の場合、表６に示すように、今回の選択画像１〜３の画像情報の重みを２とし、前回の選択画像の画像情報の重みを１．５、前々回の選択画像の画像情報の重みを１とする。

また、主人公が設定されているため、評価値算出部３０は、今回の選択画像に存在する人物に関わらず、設定された主人公にスコアを付け、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報に、設定された主人公と同じスコアを付ける。

具体例３の場合、表６に示すように、「人物A」が主人公に設定され、そのスコアとして３点を付ける。

続いて、その他の画像１，２の画像情報にスコアを付けることにより、その他の画像の評価値を算出する。

その他の画像１および２の画像情報は、表７に示すように、具体例１，２のその他の画像１および２の画像情報と同じである。

その他の画像１の場合、そのタグ情報の「自転車」は、今回の選択画像１〜３、前回および前々回の選択画像のタグ情報に一致せず、タグ情報の「犬」は、前々回の選択画像および今回の選択画像１のタグ情報の「犬」に一致する。しかし、タグ情報の「犬」は、今回の選択画像１〜３の間で最も共通するものではないため、その他の画像１のタグ情報のスコアは、「犬（前々回）：１点×１＝１点」となる。
また、その他の画像１の人物の情報の「人物B」は、設定された主人公の「人物A」と一致しない。従って、その他の画像１の人物の情報のスコアは０となる。
その他の画像１の撮影日時の有無の情報の「無」は、前回の選択画像および今回の選択画像１，２の撮影日時の有無の情報の「無」に一致する。従って、その他の画像１の撮影日時の有無の情報のスコアは、「無（前回）：１×１．５＝１．５点」および「無（今回）：１×２＝２点」の合計値＝３．５点となる。

その結果、その他の画像１の評価値は、合計４．５点となる。

その他の画像２の場合、そのタグ情報の「猫」は、今回の選択画像１〜３のタグ情報の「猫」に一致し、タグ情報の「花」は、今回の選択画像１〜３、前回および前々回の選択画像のタグ情報に一致しない。従って、その他の画像２のタグ情報のスコアは、「猫（今回）：１点×２＝２点」となる。
また、その他の画像２の人物の情報の「人物A」は、設定された主人公の「人物A」と一致する。従って、その他の画像２の人物の情報のスコアは、「人物A（主人公）：３点」となる。
その他の画像２の撮影日時の有無の情報の「有」は、今回の選択画像３の撮影日時の有無の情報の「有」に一致する。しかし、今回の選択画像３の撮影日時の有無の情報の「有」は、今回の選択画像１〜３の間で最も共通するものではないため、その他の画像２の撮影日時の有無の情報のスコアは０となる。

その結果、その他の画像２の評価値は、合計５点となる。

このように、過去の選択画像およびその画像情報がある場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付ける。
また、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付ける。
そして、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、その他の画像の評価値を算出することができる。

なお、過去の選択画像およびその画像情報がない場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付ける。
そして、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報と同じスコアを付けることにより、その他の画像の評価値を算出することができる。

上記実施形態の場合、選択画像は、画像群（第２の画像群）の中から選択される１以上の画像であり、その他の画像は、第２の画像群のうちの選択画像以外の画像（第１の画像群）である。このように、１つの画像群の中から１以上の選択画像を選択し、画像群のうちの選択画像以外の画像をその他の画像とすることは必須ではなく、他の画像群の中から１以上の選択画像を選択してもよい。

他の画像群の中から選択画像を選択する場合、画像選択部２８は、ユーザの指示に応じて、例えば、第２の画像群の中から、１以上の画像を選択画像として選択する。そして、評価値算出部３０は、選択画像の画像情報と、第１の画像群の各画像の画像情報であって、選択画像の画像情報に一致する第１の画像群の各画像の画像情報とに基づいて、同様に、第１の画像群の各画像の評価値を算出することができる。

また、画像解析部２２は、選択画像が選択された後に、その他の画像の解析を行ってもよいし、選択画像が選択されるよりも前に、その他の画像の解析を行ってもよい。
選択画像が選択された後に、画像解析部２２が、その他の画像の解析を行う場合、タグ情報付与部２４は、その他の画像の解析が終了した後に、タグ情報をその他の画像に付与する。一方、選択画像が選択されるよりも前に、画像解析部２２が、その他の画像の解析を行う場合、タグ情報付与部２４は、その他の画像の解析が終了した後、選択画像が選択されるよりも前に、タグ情報をその他の画像に付与する。

また、タグ情報付与部２４がタグ情報を画像に付与することは必須ではなく、あらかじめタグ情報が付与された画像を含む画像群を使用してもよい。

また、画像情報取得部２６が、画像から、画像の撮影日時の有無の情報、タグ情報および人物の情報の全てを取得することは必須ではなく、そのうちの少なくとも１つを取得してもよい。

画像情報取得部２６が、画像から、撮影日時の情報のみを取得した場合、評価値算出部３０は、選択画像の撮影日時の有無の情報と、選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報とに基づいて、その他の画像の評価値を算出する。画像情報取得部２６が、画像から、タグ情報のみを取得した場合、および、人物の情報のみを取得した場合も同様である。

画像情報取得部２６が、画像から、撮影日時の情報およびタグ情報を取得した場合、評価値算出部３０は、選択画像のタグ情報および撮影日時の有無の情報と、選択画像のタグ情報および撮影日時の有無の情報に一致するその他の画像のタグ情報および撮影日時の有無の情報とに基づいて、その他の画像の評価値を算出する。画像情報取得部２６が、画像から、撮影日時の情報および人物の情報を取得した場合、タグ情報および人物の情報を取得した場合も同様である。

画像情報取得部２６が、画像から、撮影日時の有無の情報、タグ情報および人物の情報を取得した場合、評価値算出部３０は、選択画像のタグ情報、人物の情報および撮影日時の有無の情報と、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致するその他の画像のタグ情報、人物の情報および撮影日時の有無の情報とに基づいて、その他の画像の評価値を算出する。

また、評価値算出部３０は、あらかじめ画像処理システム１０に設定されたスコアを選択画像およびその他の画像の画像情報に付けてもよいし、あらかじめ画像処理システム１０に設定された２種類以上のスコアの中から１つのスコアを選択し、選択された１つのスコアを選択画像およびその他の画像の画像情報に付けてもよい。また、評価値算出部３０は、ユーザの指示に応じて指定されたスコアを選択画像およびその他の画像の画像情報に付けてもよい。

また、評価値算出部３０は、過去の選択画像およびそのタグ情報、人物の情報および撮影日時の有無の情報が情報記憶部３２に記憶されていない場合、今回の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された今回の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、そのタグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、その他の画像の評価値を算出してもよい。

また、過去の選択画像およびそのタグ情報、人物の情報および撮影日時の有無の情報が情報記憶部３２に記憶されている場合、評価値算出部３０は、今回の選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された今回の選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、そのタグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、その他の画像の評価値を算出してもよい。
評価値算出部３０がタグ情報、人物の情報、主人公の情報のそれぞれについて用いるか否か、あるいは過去の選択画像の情報を用いるか否か、などについては、ユーザが画像の選出の都度設定できるようにしてもよい。

上記実施形態では、本発明の画像処理装置に相当する全ての機能をサーバ１２側に配置しているが、これに限定されず、例えば、その一部の機能をクライアント１４側に配置してもよいし、全ての機能をクライアント１４側に配置してもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像群取得部
２２ 画像解析部
２４ タグ情報付与部
２６ 画像情報取得部
２８ 画像選択部
３０ 評価値算出部
３２ 情報記憶部
３４ 主人公設定部
３６ 画像抽出部
３８ 画像順序決定部

Claims (34)

1. 画像から、前記画像の撮影日時の有無の情報を取得する画像情報取得部と、
   ユーザから入力された指示を取得する指示取得部と、
   前記指示に応じて、１以上の画像を選択画像として選択する画像選択部と、
   前記選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、前記選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する評価値算出部とを備える画像処理装置。
2. 前記選択画像は、第２の画像群の中から選択される１以上の画像であり、前記第１の画像群は、前記第２の画像群のうちの前記選択画像以外のその他の画像である、請求項１の画像処理装置。
3. 前記画像選択部が、前記指示に応じて１つの前記選択画像を選択した場合に、前記評価値算出部は、前記１つの選択画像の撮影日時の有無の情報にスコアを付け、前記１つの選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１つの選択画像の撮影日時の有無の情報と同じスコアを付けることにより、前記各画像の評価値を算出する請求項１または２に記載の画像処理装置。
4. 前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、前記評価値算出部は、前記２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように前記２以上の選択画像の撮影日時の有無の情報にスコアを付け、前記２以上の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の撮影日時の有無の情報と同じスコアを付けることにより、前記各画像の評価値を算出する請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、前記評価値算出部は、前記２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、前記２以上の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の最も共通する撮影日時の有無の情報と同じスコアを付けることにより、前記各画像の評価値を算出する請求項１〜３のいずれか一項に記載の画像処理装置。
6. 前記選択画像および前記選択画像の撮影日時の有無の情報を過去の選択画像および前記過去の選択画像の撮影日時の有無の情報として記憶する情報記憶部を備え、
   前記評価値算出部は、前記選択画像および前記情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、前記選択画像および前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記画像選択部が、前記指示に応じて１つの前記選択画像を選択した場合に、
   前記評価値算出部は、
   前記１つの選択画像の撮影日時の有無の情報にスコアを付け、かつ、前記１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
   前記１つの選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１つの選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
   前記１つの選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアと、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
   前記各画像の評価値を算出する、
   請求項６に記載の画像処理装置。
8. 前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、
   前記評価値算出部は、
   前記２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように前記２以上の選択画像の撮影日時の有無の情報にスコアを付け、かつ、前記１以上の過去の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように前記１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
   前記２以上の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
   前記２以上の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアと、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
   前記各画像の評価値を算出する、
   請求項６または７に記載の画像処理装置。
9. 前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、
   前記評価値算出部は、
   前記２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、かつ、前記１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、
   前記２以上の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、かつ、前記１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、
   前記２以上の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアと、前記１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
   前記各画像の評価値を算出する、
   請求項６または７に記載の画像処理装置。
10. 前記評価値算出部は、前記選択画像および前記１以上の過去の選択画像の撮影日時の有無の情報のスコアを、前記選択された日時が新しくなるほど重みが重くなるように重み付けして、前記合計値を算出する請求項７〜９のいずれか一項に記載の画像処理装置。
11. 前記評価値算出部は、前記選択画像および前記各画像の撮影日時の有無の情報に、あらかじめ設定されたスコアを付ける請求項３〜５および７〜１０のいずれか一項に記載の画像処理装置。
12. 前記評価値算出部は、前記選択画像および前記各画像の撮影日時の有無の情報に、あらかじめ設定された２種類以上のスコアの中から１つのスコアを選択し、前記選択された１つのスコアを付ける請求項３〜５および７〜１０のいずれか一項に記載の画像処理装置。
13. 前記評価値算出部は、前記選択画像および前記各画像の撮影日時の有無の情報に、前記指示に応じて指定されたスコアを付ける請求項３〜５および７〜１０のいずれか一項に記載の画像処理装置。
14. 前記画像情報取得部は、さらに、前記画像から、前記画像に付与されたタグ情報を取得し、
    前記評価値算出部は、前記選択画像のタグ情報および撮影日時の有無の情報と、前記選択画像のタグ情報および撮影日時の有無の情報に一致する前記各画像のタグ情報および撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜１３のいずれか一項に記載の画像処理装置。
15. 前記画像情報取得部は、さらに、前記画像から、前記画像に存在する人物の情報を取得し、
    前記評価値算出部は、前記選択画像の人物の情報および撮影日時の有無の情報と、前記選択画像の人物の情報および撮影日時の有無の情報に一致する前記各画像の人物の情報および撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜１３のいずれか一項に記載の画像処理装置。
16. 前記画像情報取得部は、前記画像から、前記画像の撮影日時の有無の情報、前記画像に付与されたタグ情報および前記画像に存在する人物の情報を取得し、
    前記評価値算出部は、前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報と、前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致する前記各画像のタグ情報、人物の情報および撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜１３のいずれか一項に記載の画像処理装置。
17. さらに、前記画像の解析を行う画像解析部と、
    前記画像の解析結果に基づいて、前記画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を前記画像に付与するタグ情報付与部とを備える請求項１４または１６に記載の画像処理装置。
18. 前記画像解析部は、前記選択画像が選択された後に、前記各画像の解析を行い、
    前記タグ情報付与部は、前記各画像の解析が終了した後に、前記タグ情報を前記各画像に付与する請求項１７に記載の画像処理装置。
19. 前記画像解析部は、前記選択画像が選択されるよりも前に、前記各画像の解析を行い、
    前記タグ情報付与部は、前記各画像の解析が終了した後、前記選択画像が選択されるよりも前に、前記タグ情報を前記各画像に付与する請求項１７に記載の画像処理装置。
20. 前記評価値算出部は、前記選択画像の中に人物が存在しない場合に、前記各画像の人物の情報のスコアを含めずに前記各画像の評価値を算出する請求項１５または１６に記載の画像処理装置。
21. さらに、前記選択画像および前記各画像に存在する人物の中から１以上の人物を主人公に設定する主人公設定部を備え、
    前記評価値算出部は、前記主人公が設定されている場合に、前記選択画像に存在する人物に関わらず、前記各画像に存在する人物であって、前記設定された主人公と一致する人物の情報にスコアを付け、前記各画像に存在する人物であって、前記設定された主人公と一致する人物の情報のスコアを含めて前記各画像の評価値を算出する請求項１５、１６および２０のいずれか一項に記載の画像処理装置。
22. 前記主人公設定部は、前記選択画像および前記各画像に存在する人物の中から登場回数が最も多い一人の人物を前記主人公に設定する請求項２１に記載の画像処理装置。
23. 前記主人公設定部は、前記選択画像および前記各画像に存在する人物の中から最も登場回数が閾値以上である１以上の人物を前記主人公に設定する請求項２１に記載の画像処理装置。
24. 前記主人公設定部は、前記選択画像および前記各画像に存在する人物の中から前記指示に応じて指定された人物を前記主人公に設定する請求項２１に記載の画像処理装置。
25. 前記評価値算出部は、前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、前記算出された前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、前記タグ情報、前記人物の情報および前記撮影日時の有無の情報の間で重み付けして加算することにより、前記各画像の評価値を算出する請求項１６に記載の画像処理装置。
26. 前記選択画像および前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報を過去の選択画像および前記過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報として記憶する情報記憶部を備え、
    前記評価値算出部は、前記選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、前記算出された前記選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、前記タグ情報、前記人物の情報および前記撮影日時の有無の情報の間で重み付けして加算することにより、前記各画像の評価値を算出する請求項１６に記載の画像処理装置。
27. 前記選択画像、および、前記各画像のうちの前記評価値が閾値以上である画像を抽出画像として抽出する画像抽出部を備える請求項１〜２６のいずれか一項に記載の画像処理装置。
28. さらに、前記撮影日時の情報が付与されていない画像が前記抽出画像の中にある場合に、前記画像に対応する画像ファイルを作成した日時、前記画像ファイルを取得した日時、前記画像ファイルを編集した日時のいずれかを使用して、前記抽出画像における前記撮影日時の情報が付与されていない画像の時系列の順序を決定する画像順序決定部を備える請求項２７に記載の画像処理装置。
29. さらに、前記画像の解析を行う画像解析部を備え、
    前記画像解析部は、前記撮影日時の情報が付与されていない画像が前記抽出画像の中にある場合に、前記抽出画像における前記撮影日時の情報が付与されている画像の中から、前記撮影日時の情報が付与されていない画像と類似する画像の判定を行い、
    さらに、前記抽出画像における前記撮影日時の情報が付与されていない画像の時系列の順序を、前記撮影日時の情報が付与されていない画像と類似すると判定された画像の前または後に決定する画像順序決定部を備える請求項２７に記載の画像処理装置。
30. 画像情報取得部が、画像から、前記画像の撮影日時の有無の情報を取得するステップと、
    指示取得部が、ユーザから入力された指示を取得するステップと、
    画像選択部が、前記指示に応じて、１以上の画像を選択画像として選択するステップと、
    評価値算出部が、前記選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、前記選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出するステップとを含む画像処理方法。
31. 情報記憶部が、前記選択画像および前記選択画像の撮影日時の有無の情報を過去の選択画像および過去の選択画像の撮影日時の有無の情報として記憶するステップと、
    前記評価値算出部が、前記選択画像および前記情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、前記選択画像および前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出するステップとを含む請求項３０に記載の画像処理方法。
32. 画像抽出部が、前記選択画像、および、前記各画像のうちの前記評価値が閾値以上である画像を抽出画像として抽出するステップを含む請求項３０または３１に記載の画像処理方法。
33. 請求項３０〜３２のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
34. 請求項３０〜３２のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。