JP2016045582A - プログラム、情報処理装置及び方法 - Google Patents

Abstract

【課題】テンプレート画像と位置及び日時との関連を明示的に登録しなくても、撮影位置及び撮影日時に関連するテンプレート画像を提示できるようにする。
【解決手段】テンプレート・キーワード関連付け記憶部１１４には、各テンプレート画像に関連する１以上のキーワードを記憶している。位置・日時抽出部１０４は、入力された写真画像ファイルから撮影位置及び撮影日時の情報を抽出する。検索処理部１０６は、それら撮影位置及び撮影日時を検索条件とする検索要求をインターネット上の検索サイト２００に送り、検索結果を得る。キーワード解析部１０８は、その検索結果からキーワードを抽出する。テンプレート選択部１１０は、抽出されたキーワード群と、テンプレート・キーワード関連付け記憶部１１４に記憶された各テンプレート画像に対応するキーワード群との適合度を求め、適合度が高いテンプレート画像ほどその写真画像により適しているものと判定する。
【選択図】図１

Description

本発明は、プログラム、情報処理装置及び方法に関する。

デジタルカメラ等で撮影した画像に対して、枠飾り、背景、前景等の装飾画像を表すテンプレート画像を合成し、プリントアウトするサービスがある。

特許文献１には、撮影により得られた画像と合成するテンプレート画像を自動選択する装置において、ＧＰＳ（グローバル・ポジショニング・システム）により得られる撮影位置情報や撮影日時情報に基づき撮影画像に適したテンプレート画像を探す方法が開示されている。また、この文献には、位置情報が得られない場合でも対応可能な方法として、撮影画像に付された撮影日時情報に該当するテンプレート群を候補として提示し、ユーザに選択させる方法も開示されている。

特許文献２には、カメラからサーバに対して撮影画像と共にカメラの位置情報を送信し、サーバがその位置情報に対応したテンプレート画像をその撮影画像と共に画像プリント装置に送信し、画像プリント装置がそのテンプレート画像と撮影画像とを合成して印刷するシステムが開示されている。

特許文献３に開示された画像管理サーバは、アップロードされた画像を、その画像に付された撮影位置情報と撮影日時情報の組み合わせで分類し、保存する。画像の閲覧者は、その分類に従って、自分の見たい画像を特定する。

特許文献４には、画像データから撮影位置情報を抽出し、抽出した撮影位置情報に近い位置情報を有するウェブページデータをウェブサーバから検索し、検索したウェブページを表示する装置が開示されている。

特開２００６−３３８５９２号公報 特開２００５−１５０８３２号公報 特開２００６−５３７５８号公報 特開２００６−３０９６３１号公報

撮影位置、撮影日時又はこれらの組み合わせに該当するテンプレート画像を提示するシステムが機能するためには、テンプレート画像と撮影位置や撮影日時との関連をあらかじめシステムに登録しておく必要がある。このため、例えば各種イベントで撮影された画像に適したテンプレート画像を提供しようとする場合、新たなイベントが開催される都度そのイベントの開催位置や開催日時乃至期間の情報とそのテンプレート画像の関連付けを登録するという手間がかかる。逆に言えば、その関連付けの情報が登録されるまでは、撮影位置や撮影日時の情報から適したテンプレート画像を特定することができない。

本発明は、テンプレート画像と位置及び日時との関連を明示的に登録しなくても、撮影位置及び撮影日時に関連するテンプレート画像を選択できる仕組みを提供することを目的とする。

請求項１に係る発明は、コンピュータを、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶する記憶手段、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する検索結果取得手段、前記検索結果が含むキーワード群に対する、前記記憶手段に記憶された関連するキーワードの適合度が高いテンプレート画像を前記写真画像データに適合したテンプレート画像として選択する選択手段、として機能させるためのプログラムである。

請求項２に係る発明は、前記コンピュータを、前記撮影位置情報が示す緯度及び経度に該当する地名又は施設名を取得する地名取得手段、として更に機能させると共に、前記検索結果取得手段は、前記地名検索手段が取得した地名又は施設名と前記撮影日時情報とに該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、ことを特徴とする請求項１に記載のプログラムである。

請求項３に係る発明は、前記検索結果取得手段は、前記写真画像データが風景画像である場合、前記写真画像データが人物画像である場合よりも、前記撮影位置情報が示す位置の範囲を拡張し、範囲拡張済みの撮影位置情報及び前記撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、ことを特徴とする請求項１又は２に記載のプログラムである。

請求項４に係る発明は、前記コンピュータを、前記検索結果が含むキーワードのうちの少なくとも１つを、前記写真画像データ、又は当該写真画像データに対して前記選択手段が選択したテンプレート画像を合成した合成画像、に対して属性情報として関連付ける手段、として更に機能させることを特徴とする請求項１〜３のいずれか１項に記載のプログラムである。

請求項５に係る発明は、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶する記憶手段と、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する検索結果取得手段と、前記検索結果が含むキーワード群に対する、関連するキーワードの適合度が高いテンプレート画像を前記記憶手段に記憶された前記写真画像データに適合したテンプレート画像として選択する選択手段と、を含む情報処理装置である。

請求項６に係る発明は、記憶手段が、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶するステップと、検索結果取得手段が、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得するステップと、選択手段が、前記検索結果が含むキーワード群に対する、関連するキーワードの適合度が高いテンプレート画像を前記記憶手段に記憶された前記写真画像データに適合したテンプレート画像として選択するステップと、を含む情報処理方法である。

請求項１、５又は６に係る発明によれば、テンプレート画像と位置及び日時との関連を明示的に登録しなくても、撮影位置及び撮影日時に関連するテンプレート画像を選択できる。

請求項２に係る発明によれば、写真画像データに含まれる撮影位置情報が緯度及び経度で表されている場合に、その撮影位置情報をそのまま検索条件とする場合よりも、写真画像データの撮影位置及び撮影日時に適合したインターネット上の情報をより多く得ることができる。

請求項３に係る発明によれば、撮影位置情報に該当するとして検索される位置の範囲を、写真画像データが風景画像か否（例えば人物画像）かによらず一律とする場合よりも、撮影したカメラの位置から離れた位置が被写体である可能性がある風景画像について、インターネット上の情報の検索結果にその被写体に関する情報が含まれる可能性を高めることができる。

請求項４に係る発明によれば、写真画像データ、又は当該写真画像データに対して選択手段が選択したテンプレート画像を合成した合成画像、を保存した場合に、それら写真画像データ又は合成画像の検索に資する情報を提供することができる。

実施形態のテンプレート付加装置の構成例を示す図である。 テンプレート・キーワード関連付け記憶部に記憶された関連づけの情報の一例を示す図である。 テンプレート・キーワード関連付け記憶部に記憶された関連づけの情報の別の例を示す図である。 写真画像ファイルから抽出したジオタグの緯度・経度を地名等に変換してから検索サイトの検索条件として用いる変形例の装置構成例を示す図である。 写真画像が風景画像か否かに応じて検索サイトに送る撮影位置情報の地理的範囲を切り換える変形例の装置構成例を示す図である。

図１を参照して、本発明に係る装置の１つの実施形態を説明する。本実施形態のテンプレート付加装置１００は、ユーザから入力された写真画像に対して、その写真画像に適したテンプレート画像を合成する。

ここで、写真画像に適したテンプレート画像を特定するために、この実施形態では、その写真画像のファイルに含まれる撮影位置情報及び撮影日時情報を用いる。例えば、Ｅｘｉｆ（Exchangeable image file format）形式の写真画像ファイルは、当該写真画像を撮影したカメラの内蔵時計等から得た撮影日時、及びカメラの内蔵ＧＰＳ（Global Positioning System）装置から得た撮影位置の情報（例えば緯度と経度の組。ジオタグと呼ばれる）を含んでおり、例えばこの撮影日時、緯度・経度の情報を利用する。

従来技術では、撮影位置と撮影日時の組合せとテンプレート画像との関連付けをあらかじめデータベースに登録しておくことで、写真画像の撮影位置及び撮影日時に適したテンプレート画像を特定できるようにしていた。

これに対して、この実施形態では、テンプレート画像を１以上のキーワードと関連付けてデータベースに登録しておく。そして、インターネット上の情報から写真画像の撮影位置と撮影日時の組合せに関連するキーワードを特定し、特定したキーワードに対応するテンプレート画像をデータベースから検索する。

例えば、ある日時、位置で開催されたイベントの写真画像に適したテンプレート画像を特定できるようにする場合、従来手法では、そのテンプレート画像がその日時と位置に関連することを事前にデータベースに登録しておく必要があった。これに対し、この実施形態の手法では、様々な人々の手によりインターネット上、例えばＷＷＷ（World Wide Web）上に投稿されたそのイベントについての情報を利用することで、そのような事前の登録を不要とする。

すなわち、インターネット上に投稿されたそのイベントの情報に、そのイベントの開催日時や開催位置の情報が含まれていれば、写真画像の撮影日時及び位置を検索キーとして検索することで、その情報が検索できる。そして、検索した情報には、通常、そのイベントについての説明や感想等のテキスト情報が含まれており、そのテキスト情報にはイベントの特徴を表すキーワード群が含まれている可能性が高い。一方、テンプレート画像は、１以上のキーワードと対応づけて管理されている。これらキーワードは、そのテンプレート画像の適用先として想定する写真画像の特徴、例えばその写真が撮影されたイベントの特徴（例えばそのイベントの名前、ジャンル、開催場所の種類等）、撮影環境の特徴（天気等）などを表すものとして、データベース作成者によりあらかじめ登録されている。写真画像の撮影日時及び位置をキーとしてインターネット上から検索された多くの情報からキーワードを抽出し、抽出したキーワード群に対してよく適合するキーワード群を持つテンプレート画像を検索することで、その写真画像に適している可能性が高いテンプレート画像が抽出できる。

このような仕組みを実現するために、図１に例示するテンプレート付加装置１００は、写真画像ファイル入力部１０２、位置・日時抽出部１０４、検索処理部１０６、キーワード解析部１０８、テンプレート選択部１１０、テンプレート記憶部１１２、テンプレート・キーワード関連付け記憶部１１４、ＵＩ（ユーザインタフェース）部１１６及びテンプレート合成部１１８を有する。

写真画像ファイル入力部１０２は、ユーザから、テンプレート付与の対象となる写真画像ファイルの入力を受け付ける。写真画像ファイルの入力の方式は特に限定されない。例えば、ユーザが持参したＳＤメモリーカード等の可搬型の記録媒体を読み取ることで行ってもよいし、ユーザの携帯端末からＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信プロトコルを介して転送する形で行ってもよい。

位置・日時抽出部１０４は、入力された写真画像ファイルから撮影日時情報及び撮影位置情報を抽出する。Ｅｘｉｆ形式の写真画像ファイルの場合、撮影日時を示す年月日及び時刻の情報と、撮影位置の緯度及び経度の情報を抽出する。

検索処理部１０６は、写真画像ファイルから抽出された撮影日時情報及び撮影位置情報を検索キー（検索条件）とする検索要求をインターネット上の検索サイト２００に送り、検索サイト２００からその検索要求に対する検索結果を得る。ここで、検索キーは、撮影日時情報及び撮影位置情報のＡＮＤ条件とする。また、写真画像ファイルから抽出した撮影日時及び撮影位置そのものを検索キーとしてもよいし、抽出したそれら情報のうちの上位のあらかじめ定めた桁数の値を検索キーとしてもよい。例えば、写真画像ファイルに撮影日時が秒の単位まで、撮影位置の緯度経度が秒の小数第２位までの精度で保持されている場合において、検索キーとしては、撮影日時については日の単位まで、撮影位置の緯度経度については秒の単位までの値を用いる等である。

検索サイト２００は、例えばGoogle（登録商標）やYahoo!（登録商標）、百度（登録商標）等のように、インターネット上のウェブページ等の情報についての検索サービスを提供するシステムである。検索処理部１０６は、ＨＴＴＰ（HyperText Transfer Protocol）等のプロトコルを用いてインターネット経由で検索サイト２００にアクセスし、検索要求を送る。検索サイト２００は、この検索要求の検索キーに対する適合度が高いウェブページ等の情報を検索し、検索された各情報のＵＲＬ（Uniform Resource Locator）を適合度の順に並べた検索結果のウェブページ（以下「検索結果ページ」と呼ぶ）を返す。検索サイト２００が検索するインターネット上の情報には、例えば、一般的なウェブページ、ブログの記事、Twitter（商標）やFoursquare（商標）等のＳＮＳ（ソーシャルネットワーキングサービス）等の公開記事等が含まれる。検索サイト２００が返す検索結果ページには、検索された各情報のＵＲＬに加え、それら各情報のうち検索キーに特に関連が強いと判定される部分の抜粋が含まれる場合もある。

検索処理部１０６は、検索サイト２００から受け取った検索結果に含まれる各情報のＵＲＬを用いて、それら各情報を取得してもよい。

図１では、検索サイト２００を１つしか示さなかったが、検索処理部１０６はインターネット上の複数の検索サイト２００に対して検索要求を行い、それら複数の検索サイト２００から検索結果を受け取ってもよい。

キーワード解析部１０８は、検索処理部１０６が取得した検索結果の情報からキーワードを抽出する。

ここで、キーワード解析部１０８は、１つの例では、検索処理部１０６が取得した検索結果ページ中の各ＵＲＬが示す情報を取得し、それら取得した情報に含まれるテキスト情報からキーワードを抽出する。また別の例として、検索結果ページ自体のテキスト情報（これは各検索結果の、検索キーに関連する部分の抜粋を含む）からキーワードを抽出してもよい。

また、キーワード解析部１０８が抽出するキーワードは、あらかじめ用意されたキーワード集合に含まれるものに限定してもよい。このキーワード集合は、テンプレート画像に対して付与されるキーワードの母集団でもある。

またキーワード解析部１０８は、検索結果の情報から抽出したキーワード群を解析して、テンプレート付与対象の写真画像の特徴を求める。写真画像の特徴は、検索結果（検索キーに適合するウェブページ等の各情報、又は検索サイト２００が提供する検索結果ページ）における各キーワードの出現頻度を反映した情報である。写真画像の特徴の例やその求め方については、後で詳しく説明する。

テンプレート選択部１１０は、テンプレート記憶部１１２に記憶されたテンプレート画像の中から、キーワード解析部１０８が求めた写真画像の特徴に適合するものを選択する。ここでは、テンプレート・キーワード関連付け記憶部１１４に記憶された各テンプレート画像に関連付けられたキーワード群の、写真画像の特徴に対する適合度を求め、それらテンプレート画像のうち適合度が高いものほど、その写真画像に対してより適しているものと考える。テンプレート選択部１１０は、例えば、それらテンプレート画像のうち最も適合度が高いものを、その写真画像と合成すべきものとして選択してもよい。また、別の例として、適合度の高い順に複数のテンプレート画像を候補テンプレートとして画面に表示し、その中から写真画像と合成するものをユーザに選択させてもよい。このときの画面表示やユーザからの選択の受付は、ＵＩ（ユーザインタフェース）部１１６が備える表示装置及び入力装置により行う。このようにして選択された合成すべきテンプレート画像は、テンプレート付与対象の写真画像とともにテンプレート合成部１１８に送られる。

テンプレート記憶部１１２には、複数のテンプレート画像が記憶されている。各テンプレート画像には、一意的なテンプレートＩＤ（識別情報）が割り当てられている。

テンプレート・キーワード関連付け記憶部１１４には、テンプレート画像ごとに、そのテンプレート画像のテンプレートＩＤに対応づけて、そのテンプレート画像に関連づけられた１以上のキーワードが登録されている。

図２に、テンプレート・キーワード関連付け記憶部１１４に記憶された関連付けの情報の一例が示されている。この例では、テンプレートＩＤに対応づけてキーワードが登録されている。登録されるキーワードは、あらかじめ用意されたキーワード集合から選ばれたものである。このキーワード集合は、キーワード解析部１０８が検索結果の情報から抽出するキーワードの母集団であるキーワード集合と同じものである。

図２の例では、例えばキーワード「フェスティバル」は、テンプレートＩＤ「０００１」、「０００３」、「０００７」に対応する３つのテンプレート画像に関連付けられている。またキーワード「ビール」は、テンプレートＩＤ「０００１」のテンプレート画像に関連付けられている。図２に例示する情報をテンプレートＩＤをキーとして検索すれば、そのテンプレートＩＤに関連する１以上のキーワードが得られる。

このように１つのテンプレートＩＤに関連付けられているキーワードの組は、そのテンプレートＩＤに対応するテンプレート画像の特徴を表していると捉えることができる。

また、テンプレート・キーワード関連付け記憶部１１４に記憶される関連付けの情報は、図３に例示するように、キーワード集合中の各キーワードに対する各テンプレート画像の関連度合いを示すものであってもよい。図３の例では、１つの横行が１つのテンプレート画像を示し、各縦列が各キーワードを示す。行と列が交わったセルに示される値が、その行に対応するテンプレート画像の、その列に対応するキーワードに対する関連度合いを示す。この例では、キーワードに対するテンプレート画像の関連度合いを０〜１の実数値で表現しており、この数値が大きいほど関連が強いことを示す。関連度合い「０」は、当該テンプレート画像が当該キーワードに対してまったく関連していないことを示す。図３において、テンプレートＩＤに対応する行に並んだ各キーワードに対する関連度合いの値の組は、そのテンプレートＩＤに対応するテンプレート画像の特徴を示していると捉えることもできる。

なお、図２に示した例は、この図３の関連づけの情報を、関連度合いが取り得る値を「０」と「１」の二値に限定した場合の特別な例と捉えることができる。

テンプレート・キーワード関連付け記憶部１１４に記憶される関連づけの情報は、テンプレート付加装置１００の管理者が登録すればよい。テンプレート画像とキーワードとの関連は基本的には一度登録しておけばよく、イベント（何らかの出来事）が生じる毎にそのイベントの日時及び位置とそのイベントに適したテンプレート画像との対応関係を登録するといった煩雑さはない。

テンプレート選択部１１０は、テンプレート・キーワード関連付け記憶部１１４に記憶された情報を参照してテンプレート付与対象の写真画像に対する各テンプレート画像の適合度を計算する。そして、適合度に従って選択したテンプレート画像を、テンプレート付与対象の写真画像と共にテンプレート合成部１１８に渡す。

テンプレート合成部１１８は、テンプレート選択部１１０から受け取ったテンプレート画像とテンプレート付与対象の写真画像と合成する。合成結果の画像、すなわちテンプレート画像が合成された写真画像は、プリンタ３００からプリントアウトされる。

以上、本実施形態のテンプレート付加装置１００の全体構成について説明した。次に、キーワード解析部１０８が求める写真画像の特徴及びその求め方について更に詳しく説明する。以下では２つの方式（Ａ）及び（Ｂ）に大きく分けて、順に説明する。

（Ａ）１つの例では、検索サイト２００から得た検索結果に出現するキーワードのうち、当該キーワードの出現頻度に基づいて求めたスコアが上位のあらかじめ定めた数のキーワードからなる組を、テンプレート付与対象の写真画像の特徴とする。

ここで、キーワードのスコアは、例えば、検索結果の各情報（例えばウェブページ）におけるそのキーワードの出現頻度を、検索されたそれら情報全体にわたって総和したものとする。ここで、総和する範囲を、例えば、検索順位（すなわち検索キーに対する適合度の高い順に付けた順位）が高い順にあらかじめ定めた数の情報、のように限定してもよい。

検索結果の各情報におけるキーワードの出現頻度を総和したものをそのキーワードのスコアとする例では、検索サイト２００から得た検索結果ページに示される各情報のＵＲＬを用いてそれら各情報を取得する必要がある。これに対し、より簡易的な方法として、検索結果ページのテキスト情報に含まれる各キーワードの出現頻度を、それら各キーワードのスコアとしてもよい。このテキスト情報には、検索結果の各情報のＵＲＬと共にそれら各情報の抜粋が含まれているので、それら抜粋群における各キーワードの出現頻度を計数するのである。ここで一般に検索結果ページ１ページには、あらかじめ定められた個数の検索結果の情報のＵＲＬが掲載されているので、検索順位の上位何位までの情報についてキーワードの出現頻度を総和するかが定められている場合は、検索処理部１０６は、最上位からその定められた順位までをカバーできるよう、検索サイト２００から必要なページ数の検索結果ページを取得する。

また、スコアの算出に当たり、検索結果の各情報（又はそれら各情報の抜粋）におけるキーワードの出現頻度を単純に総和する代わりに、それら各情報における出現頻度を各情報の検索順位に応じて重み付けしてから総和するようにしてもよい。この場合、検索順位が高いものほど重みの値を大きくする。これにより、検索キー（撮影日時及び撮影位置）に対する適合度が高い情報に出現するキーワードほどスコアに対する寄与度が高くなる。逆に、検索順位が下がるほど、検索結果の情報に出現するキーワードのスコアに対する寄与は少なくなる。

また、検索結果の各情報ごとのキーワード出現頻度のばらつきに対処するために、個々の情報（ウェブページ等）内での各キーワードの出現頻度を、当該情報内でのすべてのキーワードの出現頻度の和で割ることで正規化してもよい。すなわちこの場合、１つのキーワードについてのスコアは、検索結果の各情報におけるそのキーワードの正規化した出現頻度を、検索結果の情報全体にわたって総和したものとすればよい。

以上の例のようにスコアが最上位からあらかじめ定めた順位までのキーワードの組を写真画像の特徴とする代わりに、スコアがあらかじめ定めた閾値以上となるキーワードの組を写真画像の特徴としてもよい。

（Ｂ）別の例として、上述の方式（Ａ）に示した各種の方法で求めた各キーワードのスコアをあらかじめ定められたキーワード順序に従って並べたベクトルを、写真画像の特徴としてもよい。ここでのキーワード順序は、図３に例示したテンプレート画像の特徴を各キーワードに関連度合いの並びで表す場合のキーワードの並び順序と同じである。

なお、この例では、キーワード集合に含まれるキーワードのうち、検索結果にはまったく出現しなかったキーワードについてはスコアを０とする。

この方式は、図３に例示した個々のテンプレート画像に対する各キーワードの関連度合いの並びが当該テンプレート画像の特徴を表すのと同じ考え方に基づく。

次に、テンプレート選択部１１０による、テンプレート付与対象の写真画像に対する各テンプレート画像の適合度の算出方法の例を説明する。

基本的な考え方は、検索結果に基づいて求められたその写真画像の特徴に近い特徴を持つテンプレート画像ほど、その写真画像に対する適合度が高くなるというものである。

写真画像の特徴に対するテンプレート画像の特徴の適合度は、それら特徴を形式に対応した方法で求める。

例えば、写真画像及びテンプレート画像の特徴を関連するキーワードの組で表す方式の場合には、写真画像に関連するキーワード群（上記方式（Ａ）で求めたもの）とテンプレート画像に関連するキーワード群（図２に示すテンプレート・キーワード関連付け記憶部１１４の記憶内容から求められるもの）との間の共通のキーワードの個数を適合度としてもよい。

また、テンプレート画像に関連するキーワード群（図２の例参照）に含まれる各キーワードについて、上記方式（Ｂ）で求めた写真画像の特徴ベクトルに含まれる当該キーワードのスコアを求め、それらスコアをそれらキーワード全体にわたって総和した結果を、そのテンプレート画像の写真画像に対する適合度としてもよい。

また、上記方式（Ｂ）で求めた写真画像の特徴ベクトルと、図３に例示したテンプレート画像の特徴を示すベクトル（各キーワードの関連度合いの並び）との内積を適合度としてもよい。この内積は、両ベクトルが類似しているほど大きな値となる。このように求めた適合度は、写真画像の特徴ベクトルと相関の高い特徴ベクトルを有するテンプレート画像ほど高い値を示す。

テンプレート選択部１１０は、このように求めた適合度が最高のテンプレート画像を自動的に選択したり、適合度が上位のいくつかのテンプレート画像を候補として提示し、ユーザに選択を求めたりする。

以上、テンプレート付加装置１００の実施形態を説明した。以上に説明した実施形態はあくまで一例に過ぎない。例えば、テンプレート・キーワード関連付け記憶部１１４に記憶された情報の形式は、図２や図３に示したものに限られない。また、対象の写真画像に対する各テンプレート画像の適合度を求める方式は、上に例示したものに限らない。

また、以上の実施形態では、検索サイト２００への検索要求に含める検索キーの１要素として、写真画像ファイルから抽出した撮影位置情報（いわゆるジオタグ）そのものを用いた。しかし、その撮影位置情報は緯度・経度という数値の組であり、写真画像が撮影されたイベントの日時及び位置に該当する投稿情報であっても、そのような数値（あるいはその上位のあらかじめ定めた桁数の部分）を含んでいるとは限らない。

そこで、図４に示す変形例では、検索処理部１０６ａが、写真画像ファイルから抽出した撮影位置情報（ジオタグ）が示す緯度及び経度を検索条件として含む検索要求をインターネット上の地名検索サービス２０２に送る。地名検索サービス２０２は、入力された緯度及び経度の組合せに対応する地名、施設名（ランドマーク名）等（以下「地名等」と総称）を、地図情報から検索するサービスを提供するサイトである。このようなサービスは逆ジオコーディング（reverse geocoding）とも呼ばれる。検索処理部１０６ａは、地名検索サービス２０２から、検索要求に対する検索結果の地名等の情報を受け取る。そして、写真画像ファイルから抽出した撮影日時情報と、地名検索サービス２０２から受け取った地名等の文字列とを検索条件として含む検索要求を検索サイト２００に送り、この検索条件に対応する検索結果を受け取る。

このように、ジオタグが示す緯度及び経度を地名等に変換して検索条件とすることで、緯度及び経度を検索条件とする場合よりも、写真画像の撮影場所に該当するインターネット上の情報をより多く検索することが可能になる。

図４の変形例のうち検索処理部１０６ａ以外の要素が実行する処理の内容は、図１の実施形態の同一符号の要素の処理と同様である。

なお、以上の例では地名検索サービス２０２から検索した地名等を元の緯度及び経度の代わりに検索サイト２００への検索条件に含めたが、別の例として、検索した地名等とその元の緯度及び経度と地名等をＯＲ条件で結んだものを検索条件に含めるようにしてもよい。

別の変形例のテンプレート付加装置１００を図５に示す。図５のテンプレート付加装置１００は、画像内容判定部１２０を有する。画像内容判定部１２０は、写真画像ファイル入力部１０２に入力された、テンプレート付与対象の写真画像を解析し、その写真画像が示す画像内容の分類を行う。この分類では、例えば、写真画像の画像内容が風景を主たる被写体とする画像（風景画像と呼ぶ）に該当する否かを判定する。

そして、対象の写真画像の内容が風景画像に分類された場合、検索処理部１０６ｂが検索サイト２００に送る検索条件中の撮影位置情報の精度を、そうでない場合（例えば人物画像に分類された場合）よりも粗くする。すなわち、検索条件の撮影位置情報が示す地理上の範囲を広くする。

例えば、撮影位置情報の緯度及び経度が秒の単位までの精度である場合、検索条件に含める撮影位置情報の精度を例えば分の単位まで粗くしたり、秒の単位の下一桁をワイルドカード（０〜９のどの数でもマッチする）に変換して精度を粗くしたりすることで、検索条件の撮影位置情報にマッチする地理上の位置の範囲が広くなる。

このように検索条件中の撮影位置情報が示す位置の範囲を拡げることで、写真画像ファイル中の元の撮影位置情報をそのまま検索条件とする場合よりも、検索サイト２００の検索において、より広い地理的範囲内でのイベントについての情報が検索されることとなる。

例えば写真画像が人物画像である場合、撮影しているカメラの位置と被写体（人物）の位置は近く、カメラのＧＰＳが取得した撮影位置情報が被写体の位置を示す。これに対し、写真画像が風景画像である場合は、被写体はカメラから離れた風景中の何らかのランドマークであり、カメラのＧＰＳが取得した撮影位置情報は必ずしも被写体の位置を示しているわけではない。そこで、この変形例では、写真画像が風景画像であると判定した場合には、検索条件中の撮影位置情報が示す位置の範囲を拡げることで、より広い地理的範囲の情報が検索されるようにし、カメラから離れた被写体の位置が検索対象の地理的範囲に含まれる可能性を高くするのである。

画像内容判定部１２０の判定では、例えば、その写真画像が人物を主たる被写体とする画像（人物画像と呼ぶ）であるかどうかを判定し、人物画像でないと判定した場合に、その写真画像は風景画像であると決定する。人物画像か否かは、従来技術を用いて判定すればよい。例えば、周知又は公知の顔画像判別技術や人体画像判別技術を用いて写真画像中から人の顔や身体を示す画像部分を抽出する。そして、その顔や身体の画像部分が写真画像全体の面積に占める割合があらかじめ定めた閾値以上であれば、その写真画像が人物画像であると判定し、そうでなければ風景画像であると判定する。一般人が撮影するスナップ写真は、被写体が人物か風景かである場合が多いので、このような判定で十分に機能する。

なお、以上に示した人物画像でない場合を風景画像と判定する方式はあくまで一例に過ぎない。

以上は、検索サイト２００に送る検索条件の撮影位置情報を緯度及び経度で表す場合の例であったが、図４の変形例のように緯度及び経度を地名等に変換して検索サイト２００に送る場合も同様の取扱が可能である。

例えば、写真画像が風景画像である場合、検索処理部１０６ｂから地名検索サービス２０２（図５では図示省略）に送る検索条件の緯度及び経度の精度を落とすことで、その検索条件にマッチする地名の示す範囲が広くなったり、マッチする地名等が増えたりする。例えば、写真画像ファイルから抽出した緯度及び経度のまま検索すると、例えば何丁目何番地の精度まで地名が特定されたり、１つの施設（建物や公園等）が特定されたりするのに対し、緯度及び経度の精度を落として検索すると、検索される地名の精度が何丁目のレベルまで落ちたり、複数の丁目が検索されたり、複数の建物等の施設が検索されたりする。結果として、元の精度のまま検索した場合よりも、広い範囲をカバーする地名等（あるいは複数の地名等からなる集合）が得られる。検索処理部１０６ｂは、このようにして得た広い範囲をカバーする地名等あるいはその集合を、検索サイト２００に送る検索条件の撮影位置情報とする。地名等が複数ある場合には、検索条件内ではそれら複数の地名等をＯＲ条件で結合すればよい。

上記実施形態では、写真画像とテンプレート画像の合成画像をプリンタ３００から印刷出力したが、合成画像の用途はこれに限定されるものではない。この代わりに、例えば、合成画像をインターネット上の画像共有サービスやＳＮＳに登録したり、ユーザに画像データとして提供したりしてもよい。このように合成画像をインターネット上のサービスに登録したり、ユーザに提供したりする例では、写真画像ファイル入力部１０２は、インターネット等のネットワークを介して写真画像ファイルの入力を受け付けるもの（例えば写真登録用のウェブページを提供するウェブサーバなど）であってもよい。

上記実施形態の装置では、検索サイト２００の検索結果から求めたキーワード群の情報、すなわち写真画像の特徴を、その写真画像に適するテンプレート画像の絞り込みに用いたが、これは一例に過ぎない。この代わりに、例えば、その写真画像の特徴（例えば上述の方式（Ａ）又は（Ｂ）に従って求めたもの）を、その写真画像（又はテンプレート画像との合成結果の画像）の属性情報として設定してもよい。属性情報は、例えば、その写真画像等のファイル内に組み込んでもよいし、写真画像等に対応づけた情報としてデータベース（例えば画像共有サービスやＳＮＳ等）に登録してもよい。

また、上記の実施形態、変形例では、写真画像ファイルから抽出した撮影位置情報に関連する情報の検索にインターネット上の検索サイト２００や地名検索サービス２０２を用いたが、そのような検索手段をテンプレート付加装置１００内、又はテンプレート付加装置１００が設置された組織の内部ネットワーク（例えばローカルエリアネットワーク）上、に設けてもよい。

また検索キーとして、撮影方向の情報を追加してもよい。最近では位置情報のみならず、撮影方向を記録できる機能を有するカメラ（あるいはスマートフォン等のカメラ機能付き端末）が存在する。このような機能を有するカメラで撮影した写真画像ファイル内に撮影位置の他に撮影方向も対応づけて記録されている場合、写真画像ファイルから読み出した撮影方向を検索キーとして検索に利用することにより、撮影位置から見て撮影方向に存在する位置に限定して検索することが可能となる。一般的に被写体は撮影位置から撮影方向にずれた位置に存在するので、撮影方向情報を検索に利用する場合は被写体に関する情報をより正確に検索しうることが期待される。

また、写真画像ファイル内に、撮影位置の他に撮影時の合焦距離（ピントが合っている距離の範囲）も記録されている場合、合焦距離情報を検索キーとして検索に利用することにより、撮影位置から合焦距離分離れた位置を対象に検索を行うことが可能となる。

また、撮影位置情報の他に、撮影方向情報と合焦距離情報の両方を検索に用いる場合は、撮影位置から撮影方向に合焦距離分離れた位置を検索対象とすることが可能となる。

撮影位置情報、撮影方向情報、合焦距離情報に加えて撮影時のレンズの焦点距離も対応付けて記録されている場合、焦点距離と合焦距離から被写体までの距離を推測し、推測した距離分だけ撮影位置から撮影方向にずれた位置を検索対象としうる。また、写真画像ファイルから得られる撮影位置、撮影方向、合焦距離、焦点距離等をそのまま検索キーとして用いる代わりに、写真画像ファイルから得られるそれら情報から検索処理部１０６，１０６ａ又は１０６ｂが被写体の存在すると考えられる範囲を限定し、その限定した範囲を特定する情報を検索キーとしてもよい。例えば、撮影位置から見て、撮影方向に対して合焦距離（又は合焦距離と焦点距離から推測される被写体までの距離）だけ離れた位置を特定し、その位置の情報を検索キーとして（撮影日時と共に）検索サイト２００又は地名検索サービス２０２に渡すなどである。

また、以上の実施形態、変形例では、キーワード解析部１０８は、検索サイト２００から得た検索結果の情報から、あらかじめ定めたキーワード集合に属するキーワードを抽出したが、これは一例に過ぎない。この代わりに、キーワード集合に属するキーワードだけでなく、その類語も合わせて抽出し、抽出した類語の数（出現頻度）を、写真画像の特徴に反映させるようにしてもよい。このとき、キーワードとその類語は、同じ重みで取り扱ってもよいし、キーワードにその類語よりも重い重みを付けてもよい。また、同じキーワードについての個々の類語に対して、それぞれそのキーワードとの近さに応じた異なる個別の重みを付けてもよい。

以上に例示したテンプレート付加装置１００のうちの情報処理を実行する部分は、例えば、汎用のコンピュータに当該装置の各機能モジュールの処理を表すプログラムを実行させることにより実現してもよい。ここで言うコンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）、フラッシュメモリ等の二次記憶を制御する二次記憶コントローラ、各種Ｉ／Ｏ（入出力）インタフェース、無線又は有線のネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ＣＤやＤＶＤ、ブルーレイディスクなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、フラッシュメモリ等の二次記憶装置に保存され、コンピュータにインストールされる。二次記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。

１００ テンプレート付加装置、１０２ 写真画像ファイル入力部、１０４ 位置・日時抽出部、１０６，１０６ａ，１０６ｂ 検索処理部、１０８ キーワード解析部、１１０ テンプレート選択部、１１２ テンプレート記憶部、１１４ テンプレート・キーワード関連付け記憶部、１１６ ＵＩ部、１１８ テンプレート合成部、１２０ 画像内容判定部、２００ 検索サイト、２０２ 地名検索サービス、３００ プリンタ。

請求項１に係る発明は、コンピュータを、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶する記憶手段、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する検索結果取得手段、前記検索結果が含むキーワード群に対する、前記記憶手段に記憶された関連するキーワードの適合度が高いテンプレート画像を前記写真画像データに適合したテンプレート画像として選択する選択手段、として機能させるためのプログラムであって、前記検索結果取得手段は、前記写真画像データが風景画像である場合、前記写真
画像データが人物画像である場合よりも、前記撮影位置情報が示す位置の範囲を拡張し、範囲拡張済みの撮影位置情報及び前記撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、プログラムである。

請求項２に係る発明は、前記コンピュータを、前記撮影位置情報が示す緯度及び経度に該当する地名又は施設名を取得する地名取得手段、として更に機能させると共に、前記検索結果取得手段は、前記地名取得手段が取得した地名又は施設名と前記撮影日時情報とに該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、ことを特徴とする請求項１に記載のプログラムである。

請求項３に係る発明は、前記コンピュータを、前記検索結果が含むキーワードのうちの少なくとも１つを、前記写真画像データ、又は当該写真画像データに対して前記選択手段が選択したテンプレート画像を合成した合成画像、に対して属性情報として関連付ける手段、として更に機能させることを特徴とする請求項１または２に記載のプログラムである。

請求項４に係る発明は、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶する記憶手段と、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する検索結果取得手段と、前記検索結果が含むキーワード群に対する、関連するキーワードの適合度が高いテンプレート画像を前記記憶手段に記憶された前記写真画像データに適合したテンプレート画像として選択する選択手段と、を含み、前記検索結果取得手段は、前記写真画像データが風景画像である場合、前記写真画像データが人物画像である場合よりも、前記撮影位置情報が示す位置の範囲を拡張し、範囲拡張済みの撮影位置情報及び前記撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、情報処理装置である。

請求項５に係る発明は、記憶手段が、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶するステップと、検索結果取得手段が、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得するステップであって、前記写真画像データが風景画像である場合、前記写真画像データが人物画像である場合よりも、前記撮影位置情報が示す位置の範囲を拡張し、範囲拡張済みの撮影位置情報及び前記撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得するステップと、選択手段が、前記検索結果が含むキーワード群に対する、関連するキーワードの適合度が高いテンプレート画像を前記記憶手段に記憶された前記写真画像データに適合したテンプレート画像として選択するステップと、を含む情報処理方法である。

請求項１、４又は５に係る発明によれば、テンプレート画像と位置及び日時との関連を明示的に登録しなくても、撮影位置及び撮影日時に関連するテンプレート画像を選択でき、撮影位置情報に該当するとして検索される位置の範囲を、写真画像データが風景画像か否（例えば人物画像）かによらず一律とする場合よりも、撮影したカメラの位置から離れた位置が被写体である可能性がある風景画像について、インターネット上の情報の検索結果にその被写体に関する情報が含まれる可能性を高めることができる。

請求項３に係る発明によれば、写真画像データ、又は当該写真画像データに対して選択手段が選択したテンプレート画像を合成した合成画像、を保存した場合に、それら写真画像データ又は合成画像の検索に資する情報を提供することができる。

Claims (6)

1. コンピュータを、
   テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶する記憶手段、
   写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する検索結果取得手段、
   前記検索結果が含むキーワード群に対する、前記記憶手段に記憶された関連するキーワードの適合度が高いテンプレート画像を前記写真画像データに適合したテンプレート画像として選択する選択手段、
   として機能させるためのプログラム。
2. 前記コンピュータを、
   前記撮影位置情報が示す緯度及び経度に該当する地名又は施設名を取得する地名取得手段、
   として更に機能させると共に、
   前記検索結果取得手段は、前記地名検索手段が取得した地名又は施設名と前記撮影日時情報とに該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、
   ことを特徴とする請求項１に記載のプログラム。
3. 前記検索結果取得手段は、前記写真画像データが風景画像である場合、前記写真画像データが人物画像である場合よりも、前記撮影位置情報が示す位置の範囲を拡張し、範囲拡張済みの撮影位置情報及び前記撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する、ことを特徴とする請求項１又は２に記載のプログラム。
4. 前記コンピュータを、
   前記検索結果が含むキーワードのうちの少なくとも１つを、前記写真画像データ、又は当該写真画像データに対して前記選択手段が選択したテンプレート画像を合成した合成画像、に対して属性情報として関連付ける手段、
   として更に機能させることを特徴とする請求項１〜３のいずれか１項に記載のプログラム。
5. テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶する記憶手段と、
   写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得する検索結果取得手段と、
   前記検索結果が含むキーワード群に対する、関連するキーワードの適合度が高いテンプレート画像を前記記憶手段に記憶された前記写真画像データに適合したテンプレート画像として選択する選択手段と、
   を含む情報処理装置。
6. 記憶手段が、テンプレート画像毎に、テンプレート画像に関連するキーワードを記憶するステップと、
   検索結果取得手段が、写真画像データに含まれる撮影位置情報及び撮影日時情報に該当する位置及び日時の情報を含むインターネット上の情報の検索結果を取得するステップと、
   選択手段が、前記検索結果が含むキーワード群に対する、関連するキーワードの適合度が高いテンプレート画像を前記記憶手段に記憶された前記写真画像データに適合したテンプレート画像として選択するステップと、
   を含む情報処理方法。
   

Images