JP2016057901A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】大量の画像の中から一定枚数の画像を自動で抽出し、ユーザが色々な観点で楽しみながら画像を閲覧することができる画像処理装置等を提供する。【解決手段】画像処理装置では、関連度算出部が、複数枚の画像について、人物の顔、シーンおよびオブジェクトの判別結果、ＧＰＳ情報、ならびに、類似度に基づいて、各々の画像間の関連度を算出する。重要画像抽出部が、複数枚の画像の中から、画像の重要度を決定するための基準日を含む一定期間に撮影された画像、および、基準日と関連性のある関連日を含む一定期間に撮影された画像を重要画像として抽出する。関連画像抽出部が、指示入力部を介して入力された指示により複数枚の画像の中から選択された選択画像に対する関連度が閾値以上の重要画像の中から、一定枚数の画像を関連画像として抽出する。【選択図】図１

Description

本発明は、複数枚の画像の中から、ユーザにより選択された選択画像と関連性のある一定枚数の関連画像を抽出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

ユーザのハードディスク等の記憶媒体に大量の画像が保存されている場合、例えば、画像を撮影日等により検索して、該当する撮影日の画像の中から、一定枚数の画像を順次一覧表示させることができる。

しかし、ある撮影日に数１００枚の画像が保存されている場合もあり、一定枚数の画像を順次一覧表示させる場合、何年何月何日の最初のページ、次のページ、…というように、画像を検索するのは結構大変である。そのため、大量の画像が記憶媒体に保存されたままの状態となり、どのような画像が保存されているのかを、ユーザ自身も忘れている場合が多い。

ここで、本発明に関連性のある先行技術文献として、特許文献がある。

特許文献１は、携帯型の電子フォトアルバムに関するものである。同文献には、撮影位置情報又は撮影日情報に基づき、例えば、撮影位置情報が略一致する画像同士を第１および第２表示装置のそれぞれに表示し、画像同士を対比することが記載されている。また、同文献には、撮影日時情報の一部が共通する（例えば、月日が同じで年が異なる）画像同士を第１および第２表示装置のそれぞれに表示することが記載されている。

特許文献２は、撮影により取得した複数の写真画像を選別する選別装置等に関するものである。同文には、写真画像を、撮影場所、撮影時間、シーン等の違いに基づいて、複数のグループに分類することが記載されている。また、同文献には、同じ人物が撮影されている、ピンボケ、目瞑り、手ぶれ等の選別条件に基づいて、各グループから合格写真像を抽出することが記載されている。

特開２００６−２００６５号公報 特開２００４−２３６１２０号公報

本発明の目的は、前記従来技術の問題点を解消し、大量の画像の中から一定枚数の画像を自動で抽出し、ユーザが色々な観点で楽しみながら画像を閲覧することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、複数枚の画像について、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度のうちの少なくとも１つの項目に基づいて、各々の画像間の関連度を算出する関連度算出部と、
複数枚の画像の中から、画像の重要度を決定するための基準日を含む一定期間に撮影された画像、および、基準日と関連性のある関連日を含む一定期間に撮影された画像を重要画像として抽出する重要画像抽出部と、
ユーザにより入力された各種の指示を受け取る指示入力部と、
指示入力部を介して入力された指示により複数枚の画像の中から選択された選択画像に対する関連度が閾値以上である重要画像の中から、一定枚数の画像を関連画像として抽出する関連画像抽出部とを備えることを特徴とする画像処理装置を提供するものである。

ここで、関連度算出部は、画像に撮影された人物の顔に基づいて関連度を算出する場合、複数枚の画像に撮影された複数人の人物に対して中心人物判定を行って判定された各々の人物、画像に撮影された人物の顔の数、および、画像に撮影された人物の顔のサイズのうちの少なくとも１つに基づいて関連度を算出するものであることが好ましい。

また、関連度算出部は、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度のうちの２以上の項目に基づいて関連度を算出する場合、関連度として、２以上の項目について、項目と項目に対する重み付け係数との積の総和である総合関連度を算出するものであることが好ましい。

また、重要画像抽出部は、複数枚の画像の撮影期間が１年よりも長い場合に、関連日として、基準日と異なる１以上の年の同じ月の同じ日を含む一定期間に撮影された画像を重要画像として抽出するものであることが好ましい。

また、重要画像抽出部は、複数枚の画像の撮影期間が１年よりも長い場合に、関連日として、基準日と異なる１以上の年の同じ季節に撮影された画像を重要画像として抽出するものであることが好ましい。

また、重要画像抽出部は、複数枚の画像の撮影期間が１年以内である場合に、関連日として、基準日と異なる１以上の月の同じ日を含む一定期間に撮影された画像を重要画像として抽出するものであることが好ましい。

また、重要画像抽出部は、複数枚の画像の撮影期間が１年以内である場合に、関連日として、基準日と同じ１以上の曜日に撮影された画像を重要画像として抽出するものであることが好ましい。

また、重要画像抽出部は、基準日を含む一定期間に撮影された画像の重要度が最も高く、関連日が基準日から遠くなるに従って、関連日を含む一定期間に撮影された画像の重要度が次第に低くなるように決定するものであることが好ましい。

また、関連画像抽出部は、基準日を含む一定期間に撮影された画像、および、関連日を含む一定期間に撮影された画像の中から、それぞれ、基準日を含む一定期間に撮影された画像、および、関連日を含む一定期間に撮影された画像の重要度の比率に対応する枚数の画像を抽出するものであることが好ましい。

また、関連画像抽出部は、選択画像に対する関連度が閾値以上である重要画像の中から均等に画像を抽出するものであることが好ましい。

さらに、選択画像および一定枚数の関連画像を一覧表示する表示部を備えることが好ましい。

また、画像処理装置が起動された後、選択画像および一定枚数の関連画像を最初に一覧表示する場合、基準日は、画像処理装置が起動された日であることが好ましい。

また、一覧表示された一定枚数の関連画像の中から、１枚の関連画像を選択するための指示が指示入力部を介して入力された場合に、
重要画像抽出部は、選択された１枚の関連画像の撮影日を基準日として重要画像を抽出するものであり、
関連画像抽出部は、選択された１枚の関連画像を選択画像として一定枚数の関連画像を抽出するものであり、
表示部は、選択された１枚の関連画像および選択された１枚の関連画像を選択画像として抽出された一定枚数の関連画像を一覧表示するものであることが好ましい。

また、一覧表示された一定枚数の関連画像の各々について、関連画像を選択画像として、複数枚の画像の中から一定枚数の関連画像を抽出可能な場合に、一定枚数の関連画像を抽出可能な関連画像を識別可能に表示する画像識別部を備えることが好ましい。

また、画像識別部は、関連画像に撮影された人物の顔を識別できる、関連画像のシーンおよびオブジェクトを判別できる、関連画像のＧＰＳ情報がある、ならびに、複数枚の画像の中に関連画像との類似度が閾値以上の画像があるのうちの少なくとも１つの項目を満たす場合に、少なくとも１つの項目を満たす関連画像を識別可能に表示するものであることが好ましい。

また、画像識別部は、少なくとも１つの項目を満たす関連画像を枠で囲んで表示するものであることが好ましい。

また、画像識別部は、少なくとも１つの項目を満たす関連画像のサイズを、少なくとも１つの項目を満たさない関連画像のサイズよりも大きくして表示するものであることが好ましい。

また、表示部は、一定枚数の関連画像を、同じ特徴を有する関連画像毎に分類して一覧表示するものであることが好ましい。

さらに、選択画像および一定枚数の関連画像を一覧表示する表示部を備え、
表示部は、一定枚数の関連画像を、総合関連度の順序で並べて一覧表示するものであることが好ましい。

また、重要画像抽出部は、一定時間が経過する毎に基準日を変更し、変更された基準日に基づいて重要画像を抽出するものであることが好ましい。

また、関連度算出部は、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度のうち、指示入力部を介して入力された指示により指定された少なくとも１つの項目に基づいて関連度を算出するものであることが好ましい。

また、本発明は、関連度算出部が、複数枚の画像について、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度のうちの少なくとも１つの項目に基づいて、各々の画像間の関連度を算出するステップと、
重要画像抽出部が、複数枚の画像の中から、画像の重要度を決定するための基準日を含む一定期間に撮影された画像、および、基準日と関連性のある関連日を含む一定期間に撮影された画像を重要画像として抽出するステップと、
関連画像抽出部が、指示入力部を介して入力された指示により複数枚の画像の中から選択された選択画像に対する関連度が閾値以上である重要画像の中から、一定枚数の画像を関連画像として抽出するステップとを含むことを特徴とする画像処理方法を提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、ユーザが、複数枚の画像の中から１枚の画像を選択画像として選択することにより、複数枚の画像の中から、選択画像と関連性のある一定枚数の関連画像が自動で抽出されて表示部に一覧表示される。ユーザは、自動的に表示される、選択画像と関連性のある一定枚数の関連画像を閲覧することにより、自分自身でさえ忘れていた記憶を、驚きや懐かしさを伴ってよみがえらせることができる。

また、ユーザが、一覧表示された、選択された１枚の関連画像を選択画像として抽出された一定枚数の関連画像の中から、１枚の関連画像を選択画像として選択することにより、一覧表示される一定枚数の関連画像が順次変更される。ユーザは、表示される画像を色々な観点で次々に変更することができ、選択画像と関連性のある一定枚数の関連画像を、楽しみながら閲覧し続けたり、表示画面をプリントしたりして楽しむことができる。

また、ユーザが、一覧表示された一定枚数の関連画像の中から１枚の関連画像を選択画像として選択することなく、一定時間が経過する毎に、一覧表示される一定枚数の関連画像が自動的に順次変更される。ユーザは、一定時間が経過する毎に順次変更される、選択画像と関連性のある一定枚数の関連画像を、楽しみながら閲覧し続けることができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 ２枚の画像間の関連度を算出する様子を表す一例の概念図である。 関連日を含む一定期間に撮影された画像の重要度を決定する様子を表す一例の概念図である。 一定枚数の関連画像を撮影日順に並べて一覧表示した表示画面を表す一例の概念図である。 一定枚数の関連画像を、同じ特徴を有する関連画像毎に分類して一覧表示した表示画面を表す一例の概念図である。 一定枚数の関連画像を、総合関連度の順序で並べて一覧表示した表示画面を表す一例の概念図である。 色々な観点で一覧表示される画像を次々に変更していく様子を表す一例の概念図である。 一定時間が経過する毎に基準日を変更する様子を表す一例の概念図である。 一定枚数の関連画像の表示条件を変更するための表示画面を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、複数枚の画像の中から、ユーザにより選択された選択画像と関連性のある一定枚数の関連画像を抽出するものであり、関連度算出部１２と、重要画像抽出部１４と、指示入力部１６と、関連画像抽出部１８と、表示部２０と、画像識別部２２とを備えている。

関連度算出部１２は、複数枚の画像について、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報（位置情報）、ならびに、画像の類似度等の項目に基づいて、図２に示すように、各々の画像間（各々、２枚の画像間）の関連度を算出するものである。
なお、上記の項目に限らず、画像間の関連度を算出するための各種の項目の１つまたは２以上を組み合わせて利用することができる。

関連度算出部１２は、画像に撮影された人物の顔に基づいて関連度を算出する場合、複数枚の画像に撮影された複数人の人物に対して中心人物判定を行って判定された各々の人物、画像に撮影された人物の顔の数、および、画像に撮影された人物の顔のサイズ等の項目に基づいて関連度を算出する。
なお、上記３つの項目に限らず、画像に撮影された人物の顔に基づいて関連度を算出するための各種の項目の１つまたは２以上を組み合わせて利用することができる。

ここで、中心人物判定では、各々の画像から抽出された複数枚の顔画像に対して同一人物判定が行われ、複数枚の顔画像が、同一人物毎の顔画像の画像群に分類される。続いて、あらかじめ登録された各々の登録人物の画像に基づいて、各々の画像群に対応する人物が特定される。そして、特定された人物のうちの１以上の人物が主人公に決定され、主人公以外の人物のうち主人公と関連性の高い１以上の人物が重要人物と判定される。

例えば、顔画像の検出数が最も多い人物を主人公に決定したり、主人公以外の人物のうち、主人公と共に撮影された画像の枚数が多い人物を重要人物と判定したりする。
また、同一の画像に撮影された主人公の顔画像と主人公以外の人物の顔画像の間の距離を算出し、顔画像の間の距離が近い人物を重要人物と判定してもよい。
主人公が撮影された画像の撮影日時と主人公以外の人物が撮影された画像の撮影日時との差分、および主人公が撮影された画像の撮影位置と主人公以外の人物が撮影された画像の撮影位置との差分の一方もしくは両方に基づいて重要人物を判定してもよい。

関連度算出部１２は、画像に撮影された人物の顔に基づいて２枚の画像間の関連度を算出する場合、例えば、表１に示すように、中心人物判定の結果、２枚の画像に撮影された人物が同一人物なのか非同一人物なのか、２枚の画像に撮影された顔の数が同一なのか異なるのか、２枚の画像に撮影された顔のサイズが同一なのか異なるのかに応じて、２枚の画像間の関連度を算出する。

例えば、２枚の画像に撮影された人物が同一人物で、２枚の画像に撮影された顔の数が同一で、かつ、２枚の画像に撮影された顔のサイズが同一である場合、関連度が最も高いと考えられるため、関連度算出部１２は、表１に示すように、２枚の画像の関連度を１０と算出する。他の場合も同様である。

また、関連度算出部１２は、画像内容の判別結果に基づいて関連度を算出する場合、シーン認識やオブジェクト認識による、画像のシーンの判別結果や、画像に含まれるオブジェクト（被写体）の判別結果に基づいて関連度を算出する。

関連度算出部１２は、画像のシーンの判別結果に基づいて関連度を算出する場合、各々の画像に対してアノテーション解析を行って認識された画像のアノテーションタグのシーンに基づいて、アノテーションタグのキーワードが同一キーワードかどうか、アノテーションタグのカテゴリが同一カテゴリかどうか、その他（同一キーワードでも同一カテゴリでもない）に応じて関連度を算出する。

ここで、アノテーションタグのシーンとは、アノテーション解析により認識された各々の画像のシーンを表す。アノテーション解析により画像のシーンが認識されると、その画像には、認識されたシーンに対応するアノテーションタグが付与される。
アノテーションタグは、例えば、人物、パーティ、風景・自然、…等のカテゴリに分類され、各々のカテゴリには、複数のキーワードがあらかじめ設定されている。例えば、パーティのカテゴリには、ブーケ、ケーキ、ろうそく等のキーワードのアノテーションタグが含まれる。他のカテゴリについても同様である。
なお、アノテーションタグを、どのようなカテゴリおよびキーワードに分類するかは適宜決定することができる。

例えば、２枚の画像のアノテーションタグのキーワードが同一キーワードで、その他である（顔アップ画像ではない）場合、関連度が高いと考えられるため、関連度算出部１２は、表２に示すように、２枚の画像の関連度を１０と算出する。顔アップ画像の場合（顔のサイズにより判断される）、顔が最優先と考えられるから、アノテーションタグのシーンを考慮する必要はない。そのため、２枚の画像のアノテーションタグのキーワードが同一キーワードで、顔アップ画像の場合、関連度算出部１２は、２枚の画像の関連度を２と算出する。他の場合も同様である。

また、関連度算出部１２は、画像に含まれるオブジェクト（例えば、手足、ペット、東京タワー等の被写体）の判別結果に基づいて関連度を算出する場合、各々の画像に対してオブジェクト認識を行って認識された、画像に含まれるオブジェクトに基づいて、オブジェクトが同一かどうかに応じて関連度を算出する。
なお、画像に含まれるオブジェクトを判別方法は公知であるから、ここでは、その詳細な判別方法の説明を省略する。

また、関連度算出部１２は、画像のＧＰＳ情報（画像の付帯情報）に基づいて２枚の画像間の関連度を算出する場合、画像の撮影場所間の距離に基づいて関連度を算出する。

例えば、表３に示すように、２枚の画像の撮影場所間の距離が近距離の場合、関連度が高いと考えられるため、関連度算出部１２は、２枚の画像の関連度を１０と算出する。他の場合も同様である。２枚の画像の一方、または、両方にＧＰＳ情報がない場合、ＧＰＳ情報に基づいて関連度を算出することができないため、関連度算出部１２は、２枚の画像の関連度を５と算出する。

また、関連度算出部１２は、画像の類似度に基づいて関連度を算出する場合、画像の色味や構図に基づいて関連度を算出する。例えば、画像の色味が近いほど、また、構図が似通っているほど、関連度が高くなるように算出する。
なお、画像の類似度の算出方法は公知であるから、ここでは、その詳細な算出方法の説明を省略する。

また、関連度算出部１２は、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度のうちの２以上の項目に基づいて関連度を算出する場合、関連度として、２以上の項目について、項目と項目に対する重み付け係数との積の総和である総合関連度を算出する。

例えば、表４に示すように、画像に撮影された人物の顔、画像のシーンの判別結果、および、画像のＧＰＳ情報の３つの項目に基づいて関連度を算出する場合、関連度算出部１２は、２枚の画像に撮影された人物の顔に基づいて算出された関連度×その重み付け係数の１．０＋２枚の画像のシーンの判別結果に基づいて算出された関連度×その重み付け係数の０．５＋２枚の画像のＧＰＳ情報に基づいて算出された関連度×その重み付け係数の０．５により総合関連度を算出する。

なお、２枚の画像間の関連度をどのように算出するか、総合関連度を算出する場合、それぞれの関連度の重み付けをどのように設定するか等は何ら限定されず、適宜変更することができる。

また、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、画像の類似度のうちのどの項目を使用して関連度を算出するのかは、あらかじめ設定しておいてもよいし、あるいは、指示入力部１６を介して入力された指示により指定してもよい。後者の場合、関連度算出部１２は、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度のうち、指示入力部１６を介して入力された指示により指定された少なくとも１つの項目に基づいて関連度を算出する。

続いて、重要画像抽出部１４は、前述の複数枚の画像の中から、画像の重要度を決定するための基準日を含む一定期間に撮影された画像、および、基準日と関連性のある関連日を含む一定期間に撮影された画像を重要画像として抽出するものである。

ここで、基準日は、何ら限定されないが、例えば、画像処理装置１０が起動（電源が投入）された日、複数枚の画像の中から、ユーザにより選択された１枚の選択画像の撮影日、一覧表示された一定枚数の関連画像の中から、ユーザにより選択された１枚の関連画像の撮影日等を使用することができる。
画像処理装置１０が起動された後、選択画像および一定枚数の関連画像を最初に一覧表示する場合に、基準日を、画像処理装置１０が起動された日とすると、画像処理装置１０が起動される毎に、毎回、異なる画像を一覧表示させることができる。また、画像処理装置１０が起動された後、選択画像および一定枚数の関連画像を２回目以降に一覧表示する場合に、基準日を、選択された１枚の関連画像の撮影日とすると、１枚の関連画像が選択される毎に、毎回、異なる画像を一覧表示させることができる。

基準日と関連性のある関連日は、基準日と何らかの共通性のある日（基準日と一部のみが共通する日）であれば何ら限定されない。
複数枚の画像の撮影期間が１年よりも長い場合、重要画像抽出部１４は、関連日として、例えば、基準日と異なる１以上の年の同じ月の同じ日を含む一定期間に撮影された画像を重要画像として抽出する。この場合、関連日として、例えば、基準日と異なる１以上の年の同じ季節に撮影された画像を重要画像として抽出してもよい。
一方、複数枚の画像の撮影期間が１年以内である場合、重要画像抽出部１４は、関連日として、例えば、基準日と異なる１以上の月の同じ日を含む一定期間に撮影された画像を重要画像として抽出する。この場合、関連日として、例えば、基準日と同じ１以上の曜日に撮影された画像を重要画像として抽出してもよい。

また、基準日を含む一定期間とは、基準日だけでなく、例えば、基準日から基準日よりも後の一定の期間、基準日から基準日よりも前の一定の期間、基準日を含む基準日の前後の一定の期間を表す。一定期間は、例えば、基準日だけ、基準日を含む数日間でもよいし、あるいは、旅行等のように、基準日が数日間にわたるイベントのうちの１日である場合には、そのイベントを検出してイベントの期間としてもよい。関連日を含む一定期間についても同様である。

また、重要画像抽出部１４は、基準日を含む一定期間に撮影された画像の重要度が最も高く、関連日が基準日から遠くなるに従って、関連日を含む一定期間に撮影された画像の重要度が次第に低くなるように決定する。

例えば、図３に示すように、基準日が２０１４年６月２５日である場合、重要画像抽出部１４は、２０１４年６月２５日を含む一定期間に撮影された画像、その１年前の２０１３年の同じ６月２５日を含む一定期間に撮影された画像、２年前の２０１２年の同じ６月２５日を含む一定期間に撮影された画像、…が重要であると判断することができる。
また、基準日である２０１４年６月２５日を含む一定期間に撮影された画像の重要度が最も高く、その１年前の２０１３年６月２５日を含む一定期間に撮影された画像、２年前の２０１２年６月２５日を含む一定期間に撮影された画像、…の順序で重要度が次第に低くなると判断することができる。

続いて、指示入力部１６は、ユーザにより入力された各種の指示を受け取るものである。

本実施形態の場合、指示入力部１６は、複数枚の画像の中から、ユーザにより選択された選択画像を指定する指示、一覧表示された一定枚数の関連画像の中から、ユーザにより選択された１枚の関連画像を指定する指示、関連度算出部１２で使用される、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、画像の類似度等の項目を指定する指示等を受け取る。

続いて、関連画像抽出部１８は、指示入力部１６を介して入力された指示により前述の複数枚の画像の中から選択された選択画像に対する関連度が閾値以上である重要画像の中から、一定枚数の画像を関連画像として抽出するものである。

ここで、関連画像抽出部１８は、基準日を含む一定期間に撮影された画像、および、関連日を含む一定期間に撮影された画像の中から、それぞれ、基準日を含む一定期間に撮影された画像、および、関連日を含む一定期間に撮影された画像の重要度の比率に対応する枚数の画像を抽出することが望ましい。これにより、重要度が高くなるほど、画像の抽出枚数が多くなるようにすることができる。

例えば、図３に示す例の場合、関連画像抽出部１８は、基準日である２０１４年６月２５日を含む一定期間に撮影された画像から最も多い枚数の画像を抽出する。そして、その１年前の２０１３年６月２５日を含む一定期間に撮影された画像、２年前の２０１２年６月２５日を含む一定期間に撮影された画像、…の順序で、画像の抽出枚数を次第に少なくする。

また、関連画像抽出部１８は、選択画像に対する関連度が閾値以上である重要画像の中から均等に画像を抽出することが望ましい。これにより、選択画像と関連性のある関連画像を満遍なく網羅して抽出することができる。

なお、閾値は、何ら限定されず、あらかじめ設定されていてもよいし、指示入力部１６を介して入力された指示により設定されるようにしてもよい。

続いて、表示部２０は、選択画像および一定枚数の関連画像を一覧表示するものである。

ここで、表示部２０は、一定枚数の関連画像を、例えば、図４に示すように、撮影日順に並べて一覧表示したり、図５に示すように、同じ特徴を有する関連画像毎に分類して一覧表示したり、図６に示すように、総合関連度の順序で並べて一覧表示したりすることができる。なお、一定枚数の関連画像を一覧表示する方法は上記の例に限らず、どのように一覧表示をしてもよい。

図４の例では、選択画像が、２倍のサイズで表示画面の中央部に表示され、一定枚数の関連画像が、選択画像の周囲に撮影日順で並べて一覧表示されている。

図５の例では、同様に、選択画像が、２倍のサイズで表示画面の中央部に表示されている。また、一定枚数の関連画像が、選択画像と同一人物の顔が撮影された画像、選択画像と同一シーンの画像、選択画像と同一撮影日の画像、選択画像と同じ色味の画像毎に分類され、それぞれ、表示画面の左上、右上、左下、および、右下の領域に一覧表示されている。

図６の例では、同様に、選択画像が、２倍のサイズで表示画面の中央部に表示されている。また、一定枚数の関連画像が、総合関連度が大きいものから順に第１〜第５のグループの関連画像に分類され、第１のグループの関連画像が、中央部の選択画像の周囲に一覧表示され、第２および第３のグループの関連画像が、第１のグループの関連画像の両側に一覧表示され、第４および第５のグループの関連画像が、それぞれ、第２および第３のグループの関連画像の両側に一覧表示されている。

続いて、画像識別部２２は、一覧表示された一定枚数の関連画像の各々について、関連画像を選択画像として、複数枚の画像の中から一定枚数の関連画像を抽出可能な場合に、一定枚数の関連画像を抽出可能な関連画像を識別可能に表示するものである。

画像識別部２２は、例えば、関連画像に撮影された人物の顔を識別できる、関連画像のシーンおよびオブジェクトを判別できる、関連画像のＧＰＳ情報がある、ならびに、関連画像との類似度が閾値以上の画像があるのうちの少なくとも１つの項目を満たす場合に、この少なくとも１つの項目を満たす関連画像を識別可能に表示する。

ここで、一覧表示された一定枚数の関連画像の中から、指示入力部１６を介して入力された指示により１枚の関連画像が選択された場合に、選択された１枚の関連画像を選択画像として一定枚数の関連画像を抽出することが困難な画像が、一覧表示された一定枚数の関連画像の中に含まれている場合がある。例えば、人物の顔が撮影された画像でも、顔検出・顔認識の精度は完璧ではないため、人物を識別できない場合がある。
そのため、ユーザは、人物の顔が大きく撮影された画像を選択し、その人物に関連性のある人物画像を抽出して表示させたいと考えていても、ユーザの期待とは異なる関連画像が抽出されて表示される可能性がある。

画像識別部２２は、例えば、図４に示すように、関連画像を選択画像として一定枚数の関連画像を抽出可能な関連画像、つまり、前述の少なくとも１つの項目を満たす関連画像を枠で囲んで表示したり、少なくとも１つの項目を満たす関連画像のサイズを、少なくとも１つの項目を満たさない関連画像のサイズよりも大きくして表示したりすることができる。なお、識別表示の方法は上記２つの例に限らず、どのように識別表示してもよい。

例えば、撮影された人物の顔を正しく識別できる関連画像を赤枠、シーンを正しく判別できる関連画像を黄枠、ＧＰＳ情報がある関連画像を緑枠で囲んで表示する。これにより、ユーザは、一覧表示された一定枚数の関連画像の中から１枚の関連画像を選択する前に、１枚の関連画像を選択画像として一定枚数の関連画像を抽出可能な関連画像を認識することができるため、あらかじめどのような一定枚数の関連画像が抽出されるのかを想定することができる。

次に、画像処理装置１０の動作について説明する。

画像処理装置１０が起動された後、まず、関連度算出部１２により、複数枚の画像について、例えば、画像に撮影された人物の顔、画像のシーンおよびオブジェクトの判別結果、画像のＧＰＳ情報、ならびに、画像の類似度の各項目に基づいて、各々の画像間の関連度が算出される。

また、重要画像抽出部１４により、基準日が、例えば、画像処理装置１０が起動された日とされる。そして、複数枚の画像の中から、基準日を含む一定期間に撮影された画像、および、基準日と関連性のある関連日を含む一定期間に撮影された画像が重要画像として抽出される。

続いて、ユーザにより、複数枚の画像の中から、１枚の画像を選択画像として選択するための指示が指示入力部１６を介して入力される。

これに応じて、関連画像抽出部１８により、指示入力部１６を介して入力された指示により選択された選択画像に対する関連度が閾値以上である重要画像の中から、一定枚数の画像が関連画像として抽出される。

そして、表示部２０により、図４に示すように、選択画像および一定枚数の関連画像が一覧表示される。図４の例の場合、選択画像が２倍のサイズで中央部に表示され、一定枚数の関連画像が選択画像の周囲に撮影日順で並べて表示されている。

このように、ユーザが、複数枚の画像の中から１枚の画像を選択画像として選択することにより、複数枚の画像の中から、選択画像と関連性のある一定枚数の関連画像が自動で抽出されて表示部２０に一覧表示される。ユーザは、自動的に表示される、選択画像と関連性のある一定枚数の関連画像を閲覧することにより、自分自身でさえ忘れていた記憶を、驚きや懐かしさを伴ってよみがえらせることができる。

続いて、ユーザにより、一覧表示された一定枚数の関連画像の中から、１枚の関連画像を選択画像（次の選択画像）として選択するための指示が指示入力部１６を介して入力される。

これに応じて、重要画像抽出部１４により、基準日が、例えば、指示入力部１６を介して入力された指示により選択された１枚の関連画像の撮影日とされる。そして、選択された１枚の関連画像の撮影日を基準日として同様に重要画像が抽出される。

続いて、関連画像抽出部１８により、選択された１枚の関連画像を選択画像として同様に一定枚数の関連画像が抽出される。

そして、表示部２０により、選択された１枚の関連画像、および、選択された１枚の関連画像を選択画像として抽出された一定枚数の関連画像が一覧表示される。同様に、選択された１枚の関連画像が２倍のサイズで中央部に表示され、抽出された一定枚数の関連画像が、選択された１枚の関連画像の周囲に撮影日順で表示される。つまり、選択された１枚の関連画像に応じて、一覧表示される一定枚数の関連画像が変更される。

これ以後も同様に、ユーザが、一覧表示された、選択された１枚の関連画像を選択画像として抽出された一定枚数の関連画像の中から、１枚の関連画像を選択画像として選択することにより、一覧表示される一定枚数の関連画像が順次変更される。ユーザは、図７に示すように、表示される画像を色々な観点で次々に変更することができ、選択画像と関連性のある一定枚数の関連画像を、楽しみながら閲覧し続けたり、表示画面をプリントしたりして楽しむことができる。

続いて、ユーザにより、一覧表示された一定枚数の関連画像の中から、１枚の関連画像を選択画像として選択するための指示が入力されない場合、重要画像抽出部１４により、一定時間が経過する毎に基準日が変更される。本実施形態の場合、図８に示すように、基準日が、選択された１枚の関連画像（選択画像）の撮影日から他の日時に変更される。そして、変更された基準日に基づいて重要画像が抽出される。

これ以後の関連画像抽出部１８および表示部２０の動作は前述と同様である。
つまり、ユーザが、一覧表示された一定枚数の関連画像の中から１枚の関連画像を選択画像として選択することなく、一定時間が経過する毎に、一覧表示される一定枚数の関連画像が自動的に順次変更される。ユーザは、一定時間が経過する毎に順次変更される、選択画像と関連性のある一定枚数の関連画像を、楽しみながら閲覧し続けることができる。

また、図９に示すように、ユーザにより、表示条件として、同じ時間、同じ人物、同じシーン、同じ場所の中から少なくとも１つの項目のボタンを選択するための指示が指示入力部１６を介して入力される。

例えば、同じ人物のボタンのみを選択するための指示が入力された場合、関連度算出部１２により、画像に撮影された人物の顔のみに基づいて関連度が算出される。これ以後の重要画像抽出部１４、関連画像抽出部１８および表示部２０の動作は前述と同様である。その結果、表示部２０には、選択画像に撮影された人物と同じ人物が撮影された、一定枚数の関連画像が表示される。

同様に、同じシーンのボタンのみを選択するための指示が入力された場合、画像のシーンのみに基づいて関連度が算出され、表示部２０には、選択画像と同じシーンが撮影された、一定枚数の関連画像が表示される。
また、同じ場所のボタンのみを選択するための指示が入力された場合、画像のＧＰＳ情報のみに基づいて関連度が算出され、表示部２０には、選択画像と同じ位置で撮影された、一定枚数の関連画像が表示される。

また、同じ時間のボタンのみを選択するための指示が入力された場合、重要画像抽出部１４により、選択画像の撮影日と同じ日に撮影された画像が重要画像として抽出され、表示部２０には、選択画像と同じ撮影日の、一定枚数の関連画像が表示される。

また、同じ時間、同じ人物、同じシーン、同じ場所の中から２以上の項目のボタンを選択するための指示が入力された場合、表示部２０には、表示条件に対応する、一定枚数の関連画像が表示される。
例えば、同じ時間と同じ人物のボタンを選択するための指示が入力された場合、表示部２０には、選択画像と撮影日が同じで、かつ、選択画像に撮影された人物と同じ人物が撮影された、一定枚数の関連画像が表示される。他の表示条件の組み合わせの場合も同様である。

このように、ユーザは、表示条件を変えることにより、表示条件に対応する、一定枚数の関連画像を表示させることができる。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 関連度算出部
１４ 重要画像抽出部
１６ 指示入力部
１８ 関連画像抽出部
２０ 表示部
２２ 画像識別部

Claims (24)

1. 複数枚の画像について、前記画像に撮影された人物の顔、前記画像のシーンおよびオブジェクトの判別結果、前記画像のＧＰＳ情報、ならびに、前記画像の類似度のうちの少なくとも１つの項目に基づいて、各々の前記画像間の関連度を算出する関連度算出部と、
   前記複数枚の画像の中から、前記画像の重要度を決定するための基準日を含む一定期間に撮影された画像、および、前記基準日と関連性のある関連日を含む一定期間に撮影された画像を重要画像として抽出する重要画像抽出部と、
   ユーザにより入力された各種の指示を受け取る指示入力部と、
   前記指示入力部を介して入力された指示により前記複数枚の画像の中から選択された選択画像に対する前記関連度が閾値以上である前記重要画像の中から、一定枚数の画像を関連画像として抽出する関連画像抽出部とを備えることを特徴とする画像処理装置。
2. 前記関連度算出部は、前記画像に撮影された人物の顔に基づいて前記関連度を算出する場合、前記複数枚の画像に撮影された複数人の人物に対して中心人物判定を行って判定された各々の人物、前記画像に撮影された人物の顔の数、および、前記画像に撮影された人物の顔のサイズのうちの少なくとも１つに基づいて前記関連度を算出するものである請求項１に記載の画像処理装置。
3. 前記関連度算出部は、前記画像に撮影された人物の顔、前記画像のシーンおよびオブジェクトの判別結果、前記画像のＧＰＳ情報、ならびに、前記画像の類似度のうちの２以上の項目に基づいて前記関連度を算出する場合、前記関連度として、前記２以上の項目について、前記項目と前記項目に対する重み付け係数との積の総和である総合関連度を算出するものである請求項１または２に記載の画像処理装置。
4. 前記重要画像抽出部は、前記複数枚の画像の撮影期間が１年よりも長い場合に、前記関連日として、前記基準日と異なる１以上の年の同じ月の同じ日を含む一定期間に撮影された画像を前記重要画像として抽出するものである請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記重要画像抽出部は、前記複数枚の画像の撮影期間が１年よりも長い場合に、前記関連日として、前記基準日と異なる１以上の年の同じ季節に撮影された画像を前記重要画像として抽出するものである請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記重要画像抽出部は、前記複数枚の画像の撮影期間が１年以内である場合に、前記関連日として、前記基準日と異なる１以上の月の同じ日を含む一定期間に撮影された画像を前記重要画像として抽出するものである請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記重要画像抽出部は、前記複数枚の画像の撮影期間が１年以内である場合に、前記関連日として、前記基準日と同じ１以上の曜日に撮影された画像を前記重要画像として抽出するものである請求項１〜５のいずれか１項に記載の画像処理装置。
8. 前記重要画像抽出部は、前記基準日を含む一定期間に撮影された画像の重要度が最も高く、前記関連日が前記基準日から遠くなるに従って、前記関連日を含む一定期間に撮影された画像の重要度が次第に低くなるように決定するものである請求項４〜７のいずれか１項に記載の画像処理装置。
9. 前記関連画像抽出部は、前記基準日を含む一定期間に撮影された画像、および、前記関連日を含む一定期間に撮影された画像の中から、それぞれ、前記基準日を含む一定期間に撮影された画像、および、前記関連日を含む一定期間に撮影された画像の重要度の比率に対応する枚数の画像を抽出するものである請求項８に記載の画像処理装置。
10. 前記関連画像抽出部は、前記選択画像に対する前記関連度が前記閾値以上である前記重要画像の中から均等に画像を抽出するものである請求項９に記載の画像処理装置。
11. さらに、前記選択画像および前記一定枚数の関連画像を一覧表示する表示部を備える請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置が起動された後、前記選択画像および前記一定枚数の関連画像を最初に一覧表示する場合、前記基準日は、前記画像処理装置が起動された日である請求項１１に記載の画像処理装置。
13. 前記一覧表示された一定枚数の関連画像の中から、１枚の関連画像を選択するための指示が前記指示入力部を介して入力された場合に、
    前記重要画像抽出部は、前記選択された１枚の関連画像の撮影日を前記基準日として前記重要画像を抽出するものであり、
    前記関連画像抽出部は、前記選択された１枚の関連画像を前記選択画像として前記一定枚数の関連画像を抽出するものであり、
    前記表示部は、前記選択された１枚の関連画像および前記選択された１枚の関連画像を前記選択画像として抽出された一定枚数の関連画像を一覧表示するものである請求項１１または１２に記載の画像処理装置。
14. 前記一覧表示された一定枚数の関連画像の各々について、前記関連画像を前記選択画像として、前記複数枚の画像の中から前記一定枚数の関連画像を抽出可能な場合に、前記一定枚数の関連画像を抽出可能な関連画像を識別可能に表示する画像識別部を備える請求項１１〜１３のいずれか１項に記載の画像処理装置。
15. 前記画像識別部は、前記関連画像に撮影された人物の顔を識別できる、前記関連画像のシーンおよびオブジェクトを判別できる、前記関連画像のＧＰＳ情報がある、ならびに、前記複数枚の画像の中に前記関連画像との類似度が閾値以上の画像があるのうちの少なくとも１つの項目を満たす場合に、前記少なくとも１つの項目を満たす関連画像を識別可能に表示するものである請求項１４に記載の画像処理装置。
16. 前記画像識別部は、前記少なくとも１つの項目を満たす関連画像を枠で囲んで表示するものである請求項１５に記載の画像処理装置。
17. 前記画像識別部は、前記少なくとも１つの項目を満たす関連画像のサイズを、前記少なくとも１つの項目を満たさない関連画像のサイズよりも大きくして表示するものである請求項１５に記載の画像処理装置。
18. 前記表示部は、前記一定枚数の関連画像を、同じ特徴を有する関連画像毎に分類して一覧表示するものである請求項１１〜１７のいずれか１項に記載の画像処理装置。
19. さらに、前記選択画像および前記一定枚数の関連画像を一覧表示する表示部を備え、
    前記表示部は、前記一定枚数の関連画像を、前記総合関連度の順序で並べて一覧表示するものである請求項３に記載の画像処理装置。
20. 前記重要画像抽出部は、一定時間が経過する毎に前記基準日を変更し、前記変更された基準日に基づいて前記重要画像を抽出するものである請求項１〜１９のいずれか１項に記載の画像処理装置。
21. 前記関連度算出部は、前記画像に撮影された人物の顔、前記画像のシーンおよびオブジェクトの判別結果、前記画像のＧＰＳ情報、ならびに、前記画像の類似度のうち、前記指示入力部を介して入力された指示により指定された少なくとも１つの項目に基づいて前記関連度を算出するものである請求項１〜２０のいずれか１項に記載の画像処理装置。
22. 関連度算出部が、複数枚の画像について、前記画像に撮影された人物の顔、前記画像のシーンおよびオブジェクトの判別結果、前記画像のＧＰＳ情報、ならびに、前記画像の類似度のうちの少なくとも１つの項目に基づいて、各々の前記画像間の関連度を算出するステップと、
    重要画像抽出部が、前記複数枚の画像の中から、前記画像の重要度を決定するための基準日を含む一定期間に撮影された画像、および、前記基準日と関連性のある関連日を含む一定期間に撮影された画像を重要画像として抽出するステップと、
    関連画像抽出部が、指示入力部を介して入力された指示により前記複数枚の画像の中から選択された選択画像に対する前記関連度が閾値以上である前記重要画像の中から、一定枚数の画像を関連画像として抽出するステップとを含むことを特徴とする画像処理方法。
23. 請求項２２に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
24. 請求項２２に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。