JP2022121602A - 情報処理装置及び方法並びにプログラム - Google Patents

Abstract

【課題】ユーザの嗜好をより正確に推定することができる情報処理装置及び方法並びにプログラムを提供する。【解決手段】情報処理装置は、ユーザと関連付けされた画像及び画像の少なくとも撮影日の情報を含む付帯情報を取得する画像情報取得部と、ニュースサイトが配信したニュースの内容を表すニュース情報を取得するニュース情報取得部と、画像から画像内容を解析する画像解析部と、画像解析部の処理により把握される画像内容と撮影日に対応する時期のニュース情報とに基づきユーザの嗜好を推定する推定部と、を備える。【選択図】 図３

Description

本発明は情報処理装置及び方法並びにプログラムに係り、特にユーザが保有する画像からユーザの嗜好を推定する情報処理技術に関する。

特許文献１には、ソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）を提供するサーバに対して投稿者が投稿した画像及びそれに付帯する投稿者コ
メントを含むコンテンツデータをサーバからダウンロードして投稿者の嗜好傾向を解析する情報処理装置が記載されている。

特許文献２には、ユーザの行動情報、撮影情報、撮影画像、及びＳＮＳに投稿された文章データなどを基にユーザの趣味趣向を推定する技術が記載されている。

特許文献３には、画像に対応付けられた撮影日時、撮影場所、及び被写体の名前などのタグ情報を画像検索キーワードの候補とし、ストレージサイトに蓄積された画像群から画像を検索する技術が記載されている。

特開２０１９－２８７９３号公報 特開２０１４－１１０００１号公報 特開２０１０－２０７１９号公報

近時、電子商取引サイトあるいはＳＮＳ広告などにおいて、様々な商品及び／又はサービスを推薦する推薦システムが運用されている。かかる推薦システムでは、ユーザの嗜好を正しく把握することにより、有益なレコメンデーションを実現することができる。特許文献１及び特許文献２に記載の技術によってユーザの嗜好を大雑把に推定することができるものの、必ずしも十分なものとは言えない。例えば、画像群を解析するだけでは、ユーザの嗜好の度合い（嗜好度）が極めて高い熱狂的なレベルであるか否かなど、嗜好の程度の評価は困難である。各ユーザに対して、より適切な情報提供を行うためにも、ユーザの嗜好をより正確に推定することが求められる。

本発明はこのような事情に鑑みてなされたもので、ユーザの嗜好をより正確に推定することができる情報処理装置及び方法並びにプログラムを提供することを目的とする。

本開示の一態様に係る情報処理装置は、ユーザと関連付けされた画像及び画像の少なくとも撮影日の情報を含む付帯情報を取得する画像情報取得部と、ニュースサイトが配信したニュースの内容を表すニュース情報を取得するニュース情報取得部と、画像から画像内容を解析する画像解析部と、画像解析部の処理により把握される画像内容と撮影日に対応する時期のニュース情報とに基づきユーザの嗜好を推定する推定部と、を備える。

ニュース情報は、ニュースサイトから配信されるニュース記事であってもよいし、ニュース記事の内容から特定される事柄、抽出されるキーワードなどの情報であってもよい。ユーザは実際の「人物」であり、典型的にはユーザＩＤ（Identification）などの固有識別情報を用いて個々のユーザが識別される。「ユーザの嗜好」という用語は、嗜好の対象物に限らず、嗜好の度合い、ユーザが大事にしているものあるいは事柄、並びに、ユーザにとって重要なものあるいは事柄などの概念を含む。

本態様によれば、画像の解析及び付帯情報のみからは把握できない情報をニュースサイトから取得し、画像の解析結果とニュース情報とを組み合わせてユーザの嗜好を推定する。このためユーザの嗜好をより正確に推定することができ、適切なレコメンデーションが可能になる。

本開示の他の態様に係る情報処理装置は、推定部により推定されたユーザの嗜好に関連する情報を生成する関連情報生成部をさらに備える構成とすることができる。

例えば、ユーザの嗜好に関連する情報は、ユーザに対して推奨する商品又はサービスの情報を含むものであってよい。本態様によれば、ユーザに対して適切な提案を行うことができる。

本開示のさらに他の態様において、推定部は、ニュース情報からユーザの嗜好の度合いを推定する構成とすることができる。

本開示のさらに他の態様に係る情報処理装置は、予め指定された複数のニュースサイトの配信記事の中から、撮影日の情報を基に、画像に関連するニュースを抽出するニュース検索部をさらに備える構成とすることができる。

本開示のさらに他の態様において、付帯情報は、撮影場所の情報を含み、ニュース検索部は、撮影場所の情報を用いて画像に関連するニュースを抽出する構成とすることができる。

撮影場所の情報を利用することにより、画像に関連するニュースを抽出しやすくなる。

本開示のさらに他の態様において、画像解析部は、画像内容に関連する単語を生成する単語生成部を含み、ニュース検索部は、生成された単語を用いて画像に関連するニュースを抽出する構成とすることができる。

画像内容に関連する単語は、例えば、画像に写っているオブジェクトの名称、イベントの内容、あるいはランドマーク的な建物などから特定される場所などを示すものであってよい。「単語」は「キーワード」あるいは「文言」と言い換えてもよい。単語生成部によって生成された単語は、画像の付帯情報に加えてもよい。

本開示のさらに他の態様において、ニュース検索部は、予め定めた特定キーワードを含むニュースの記事を検索して画像に関連するニュースを抽出する構成とすることができる。

予め定めた特定キーワードには、大勢、殺到、高価、高額、記念日、アニバーサリー、貴重、及びレアのうち少なくとも１つが含まれる構成とすることができる。これらの文言は、嗜好の度合いが高いこと、あるいは、事柄の重要性が高いことを示唆する。

本開示のさらに他の態様に係る情報処理装置は、ユーザと関連付けされた複数の画像を記憶しておく記憶装置と、記憶装置に記憶された画像群の中から、ニュース情報と関連性が高い画像を検索する画像検索部と、をさらに備え、推定部は、画像検索部による検索によってヒットした画像と検索に用いたニュース情報からユーザの嗜好を推定する構成とすることができる。

本開示のさらに他の態様に係る情報処理装置は、予め指定された複数のニュースサイトからニュース情報取得部を介してニュース記事を収集し、収集したニュース記事の事柄ごとに、日付、場所、及び関連するキーワードを含むニュース情報に整理したニュース情報リストを生成するニュース情報リスト生成部をさらに備える構成とすることができる。

本開示のさらに他の態様において、画像検索部は、記憶装置に記憶された画像群の中から、ニュース情報の日付、場所、及び関連するキーワードと関連性が高い画像を検索し、推定部は、画像検索部による検索によってヒットした画像と検索に用いた情報を基に、ユーザの嗜好を推定する構成とすることができる。

本開示のさらに他の態様において、ニュース情報リスト生成部は、予め定めた特定キーワードを含むニュース記事のニュース情報をニュース情報リストにリストアップする際に、特定キーワードを含むニュース記事の事柄であることを示す識別情報を付加する構成とすることができる。

本開示のさらに他の態様において、推定部は、識別情報が付されているニュース情報と関連性が高い画像が検索によってヒットした場合に、識別情報が付されているニュース情報の事柄に対するユーザの嗜好の度合いを識別情報から判定する構成とすることができる。

本開示のさらに他の態様において、記憶装置には、複数のユーザの各々に関連付けされた複数の画像が記憶される構成とすることができる。

本態様によれば、ユーザごとに嗜好を分析したり、統計的な処理によって複数のユーザの嗜好傾向を分析したり、嗜好の類似性などの観点から複数のユーザを分類したり、など多面的な情報活用が可能である。

本開示のさらに他の態様において、画像解析部及び推定部の少なくとも一部は、ニューラルネットワークを用いた学習済みモデルにより構成されてよい。

例えば、画像のオブジェクト認識処理、オブジェクトに関連する単語生成処理、及び嗜好の推定を行う推論処理などの一部又は全部の処理は、深層学習を利用して学習された学習済みモデルを用いて実現することができる。

本開示のさらに他の態様に係る情報処理方法は、コンピュータを用いて構成される情報処理装置が、ユーザと関連付けされた画像及び画像の少なくとも撮影日の情報を含む付帯情報を取得することと、ニュースサイトが配信したニュースの内容を表すニュース情報を取得することと、画像から画像内容を解析することと、解析の処理により把握される画像内容と撮影日に対応する時期のニュース情報とに基づきユーザの嗜好を推定することと、を含む。

本開示のさらに他の態様に係る情報処理方法は、情報処理装置が、推定されたユーザの嗜好に関連する情報を生成することをさらに含む構成とすることができる。

本開示のさらに他の態様に係るプログラムは、コンピュータに、ユーザと関連付けされた画像及び画像の少なくとも撮影日の情報を含む付帯情報を取得する機能と、ニュースサイトが配信したニュースの内容を表すニュース情報を取得する機能と、画像から画像内容を解析する機能と、解析の処理により把握される画像内容と撮影日に対応する時期のニュース情報とに基づきユーザの嗜好を推定する機能と、を実現させるためのプログラムである。

本開示のさらに他の態様に係る情報処理装置は、プロセッサと、プロセッサに実行させるための命令が記憶された非一時的なコンピュータ可読媒体と、を備え、プロセッサは、命令を実行することにより、ユーザと関連付けされた画像及び画像の少なくとも撮影日の情報を含む付帯情報を取得することと、ニュースサイトが配信したニュースの内容を表すニュース情報を取得することと、画像から画像内容を解析することと、解析の処理により把握される画像内容と撮影日に対応する時期のニュース情報とに基づきユーザの嗜好を推定することと、を含む処理を行う。

本発明によれば、画像の解析結果と、ニュースサイトから配信されたニュースの情報とを組み合わせてユーザの嗜好を推定するため、ユーザの嗜好をより正確に推定することが可能になる。

図１は、本発明の実施形態に係る情報処理装置を含むコンピュータシステムの例を概略的に示す全体構成図である。 図２は、画像保存サーバの構成例を示す機能ブロック図である。 図３は、第１実施形態に係る情報処理装置の構成例を示す機能ブロック図である。 図４は、本発明の実施形態に係る情報処理方法の手順を例示的に示すフローチャートである。 図５は、第１実施形態に係る情報処理装置による処理の例を示すフローチャートである。 図６は、ユーザによって撮影された画像群の例を示す図である。 図７は、第２実施形態に係る情報処理装置の構成例を示す機能ブロック図である。 図８は、複数のニュースサイトから収集されたニュース情報をまとめたニュース情報リストの例を示す図表である。 図９は、コンピュータのハードウェア構成の例を示すブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳述する。

《コンピュータシステムの全体構成》
図１は、本発明の実施形態に係る情報処理装置を含むコンピュータシステムの例を概略的に示す全体構成図である。図１に示すコンピュータシステム１０は、画像のデータを保存するクラウドストレージサービスを提供するシステムであり、画像保存サーバ２０と、情報処理装置３０と、を含む。なお、図１では、画像保存サーバ２０と情報処理装置３０とがそれぞれ別々の装置として構成される例を説明するが、これらの機能は１台のコンピュータで実現してもよいし、２以上の複数台のコンピュータで処理の機能を分担して実現してもよい。

画像保存サーバ２０及び情報処理装置３０は、電気通信回線７０に接続される。電気通信回線７０は、例えば、インターネットなどのワイドエリアネットワークであってよい。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。

本例のクラウドストレージサービスを利用するユーザは、サービスを利用する前に予め定められた利用規約に合意してユーザ登録を行うことが求められる。ユーザ登録を済ませたユーザは、ユーザ端末７２又は店頭端末７４などの情報端末を用いて、画像のデータを画像保存サーバ２０にアップロードすることができる。

ユーザ端末７２及び店頭端末７４の各々は、電気通信回線７０に接続可能な通信機能を備えた装置である。ユーザ端末７２は、例えば、ユーザが所有しているスマートフォン、タブレット端末、又はパーソナルコンピュータなどであってよい。ユーザ端末７２はユーザの所有物に限定されない、ユーザ端末７２は複数人で共用されるデバイスであってもよい。店頭端末７４は、写真プリントサービスを提供する店舗あるいはコンビニエンスストアなどの各種店舗に設置される情報端末である。店頭端末７４は、メモリカードなどの外部記憶装置から画像のデータを取り込むためのメディアインタフェース及び／又は外部機器と接続可能な通信インターフェースを備える。なお、図１では１台のユーザ端末７２と１台の店頭端末７４とを示すが、電気通信回線７０には、複数のユーザ端末７２及び複数の店頭端末７４が接続され得る。

画像保存サーバ２０は、ユーザ端末７２あるいは店頭端末７４から受信した画像のデータをユーザごとに整理して保存及び管理する。

情報処理装置３０は、画像保存サーバ２０に保存された画像を解析し、画像のオブジェクトあるいはシーンなどの画像内容に応じたタグ情報を生成したり、ユーザの嗜好性を分析したりするなど、各種の情報処理を行う。「画像内容」は「撮影内容」と言い換えてもよい。なお、情報処理装置３０の処理機能は画像保存サーバ２０に組み込まれていてもよい。

電気通信回線７０には、複数のニュースサイトＮＳ１、ＮＳ２・・・ＮＳｎが接続される。複数のニュースサイトＮＳ１、ＮＳ２・・・ＮＳｎを代表して、以後「ニュースサイトＮＳ」と表記する。ニュースサイトＮＳは、ニュース記事を配信するウェブサーバを含む。情報処理装置３０は、予め指定された複数のニュースサイトＮＳから情報を収集する。予め指定されるニュースサイトＮＳは、記事の信頼性が高いサイトであることが好ましく、例えば、全国紙の新聞社、地方紙の新聞社、通信社あるいはテレビ局、又はこれらに類する報道機関が提供するニュースサイトであることが好ましい。複数のニュースサイトＮＳのうちの一部は、例えば、複数のニュース提供社から提供される記事を集約してニュース配信を行うニュース配信サービスサイトであってもよい。

情報処理装置３０は、画像保存サーバ２０に保存された画像と、ニュースサイトＮＳから得られるニュースの情報とを用いて、ユーザの嗜好を推定し、ユーザの嗜好に合わせた様々な商品及び／又はサービスを提案する。

《画像保存サーバ２０の構成例》
図２は、画像保存サーバ２０の構成例を示す機能ブロック図である。画像保存サーバ２０は、通信部２２と、制御部２４と、画像ストレージ２６と、を備える。通信部２２は、電気通信回線７０と接続するための通信インターフェースである。制御部２４は、通信部２２を介して行うデータの受け渡しを制御する。また、制御部２４は、ユーザ認証部２８を含み、画像ストレージ２６へのデータの書き込み及び画像ストレージ２６からのデータの読み出しを制御する。ユーザ認証部２８は、ユーザ認証の処理を行う。

画像ストレージ２６は、大容量の記憶装置であり、各ユーザがアップロードした画像がユーザごとに整理されて保存される。複数のユーザの各々を識別するインデックスをｉとすると、ユーザＵｉが保有する画像群は、ユーザＵｉの情報と関連付けされて画像ストレージ２６に保存される。例えば、ユーザＵ１が保有する画像群は、ユーザＵ１の情報と関連付けされて画像ストレージ２６に保存される。ユーザＵ２が保有する画像群についても同様に、ユーザＵ２の情報と関連付けされて画像ストレージ２６に保存される。なお、ユーザＵｉが保有する画像群は、撮影日あるいは撮影場所などのキーワードにしたがって分類されて画像ストレージ２６に保存されてもよい。

画像ストレージ２６に保存される画像は、デジタルカメラあるいはスマートフォンなどの撮影装置を用いて撮影されたデジタル写真であってもよいし、アナログ写真をデジタルデータに変換した画像であってもよい。画像ストレージ２６に保存される画像のファイルには、画像に関する付帯情報が含まれていてもよい。また、画像ストレージ２６に保存される画像は、動画であってもよい。

付帯情報には、例えば、撮影日時の情報、撮影場所の情報、被写体を特定する名称の情報、シーンを特定する情報、撮影が行われたイベントを特定する情報、画像のオブジェクトの名称を示す情報、画像の分類あるいは検索に用いられるキーワードの情報などのうち、少なくとも１つの情報が含まれる。付帯情報は、少なくとも撮影日の情報を含むことが好ましい。より好ましい形態として、付帯情報は、撮影日時の情報、及び撮影場所の情報を含む。付帯情報は、タグ情報、メタデータ、及びアノテーションの概念を含む。

撮影日時の情報は、例えば、デジタルカメラあるいはスマートフォンなど、撮影に用いた撮影装置の内蔵時計等から得られた日時情報であってよい。撮影場所の情報は、例えば、撮影装置に内蔵されたＧＰＳ（Global Positioning System）装置から得られた位置情報であってよい。撮影日時及び位置情報を記録可能な撮影装置を用いて撮影された画像には、撮影日時及び位置情報を含む付帯情報が自動的に付加され、付帯情報を含む画像のファイルが生成される。なお、撮影装置において位置情報の利用を無効化する設定がなされている場合には、画像のファイルに位置情報は記録されず、撮影日時の情報が付帯情報として記録される。

付帯情報は、撮影装置等によって自動付与される場合に限らず、画像のデータを処理することによって撮影日、撮影時間、及び撮影場所のうち少なくとも１つの情報を特定してもよく、また、必要に応じてユーザが適宜の入力インターフェースを用いて入力操作を行うことによって入力あるいは編集した情報であってもよい。例えば、アナログ写真に写し込まれた日付の情報から撮影日の情報を取得することができる。また、例えば、画像解析によるオブジェクト認識技術を用いて検出されたランドマーク的な建物などから撮影場所を特定することができる。付帯情報の一部は、情報処理装置３０によって書き込まれてもよい。

《情報処理装置３０の構成例》
図３は、第１実施形態に係る情報処理装置３０の構成例を示す機能ブロック図である。情報処理装置３０の機能は、コンピュータのハードウェアとソフトウェアの組み合わせによって実現できる。情報処理装置３０は、通信部３２と、演算処理部３４と、記憶装置３５と、入力装置３６と、表示装置３８と、を備える。

通信部３２は、電気通信回線７０と接続するための通信インターフェースである。演算処理部３４は、例えば、ＣＰＵ（Central Processing Unit）を含んで構成される。演算処理部３４は、画像情報取得部４０と、画像解析部４２と、付帯情報解析部４４と、ニュース検索部４６と、ニュース情報取得部４８と、嗜好推定部５０と、を含む。演算処理部３４は、記憶装置３５の記憶領域を利用して各種の処理を行う。

画像情報取得部４０は、画像及び付帯情報のデータを取り込むためのインターフェースを含む。画像情報取得部４０は、外部又は装置内の他の信号処理部から画像及び付帯情報のデータを取り込むデータ入力端子を含んで構成されてよい。画像情報取得部４０は、通信部３２と一体的に構成されてもよい。画像情報取得部４０は、通信部３２を介して画像保存サーバ２０から画像及び付帯情報を取得する。画像情報取得部４０は、ユーザ端末７２あるいは店頭端末７４から画像及び付帯情報を取得してもよい。

画像情報取得部４０を介して取得された画像は画像解析部４２に送られる。画像解析部４２は、入力された画像についてシーン解析及びオブジェクト認識などの処理を行う。画像解析部４２は単語生成部４３を含む。単語生成部４３は、画像に写っているオブジェクトの名称あるいはイベントなど画像内容に関する単語を生成する。単語生成部４３によって生成された単語は、画像のタグデータとして付帯情報に加えてもよい。単語生成部４３によって生成された単語を基に、画像群を自動的に分類することが可能になる。画像解析部４２の解析結果はニュース検索部４６及び嗜好推定部５０に送られる。

画像情報取得部４０を介して取得された付帯情報は付帯情報解析部４４に送られる。付帯情報解析部４４は、付帯情報の内容からニュース記事の検索に用いる情報を抽出する。付帯情報解析部４４は、例えば、撮影日、撮影時間、及び撮影場所の情報を抽出する。

ニュース検索部４６は、予め指定された複数のニュースサイトＮＳの配信記事の中から、少なくとも撮影日の情報を基に、画像に関連するニュースを抽出する。ニュースになる事柄が起きた日時と、その事柄についてのニュース記事が配信される日時とには、時間的な差があるため、ニュース記事の情報を検索あるいは収集する際には、かかる時間的な差を考慮して少なくとも１日、好ましくは数日程度、時間範囲の幅を持たせて、関連性を判断することが好ましい。

ニュース検索部４６は、撮影日の情報に加えて、撮影場所の情報を用いて画像に関連するニュースを抽出することが好ましい。また、ニュース検索部４６は、単語生成部４３により生成された単語を用いて画像に関連するニュースを抽出することが好ましい。さらに、ニュース検索部４６は予め定めた特定キーワードを含むニュースの記事を検索して画像に関連するニュースを抽出してもよい。

ニュース情報取得部４８は、ニュースサイトＮＳが配信したニュースの内容を表すニュース情報を取得する。ニュース情報取得部４８は、ニュースサイトＮＳからニュース記事のデータを取り込むためのインターフェースを含む。ニュース情報取得部４８は、外部又は装置内の他の信号処理部から画像及び付帯情報のデータを取り込むデータ入力端子を含んで構成されてよい。ニュース情報取得部４８は、通信部３２と一体的に構成されてもよい。ニュース情報取得部４８は、通信部３２を介してニュースサイトＮＳから情報を収集する。

嗜好推定部５０は、画像解析部４２の処理により把握される画像内容と撮影日に対応する時期のニュース情報とに基づきユーザの嗜好を推定する処理を行う。ここでの「ユーザの嗜好」とは、ユーザの好みの傾向、嗜好の度合い、ユーザが大事にしているものあるいは事柄、ユーザにとって重要なものあるいは事柄など、の概念を含む。嗜好の度合いには、例えば、ユーザが一般の人と比べて、著しく熱心な（熱狂的な）、つまりコアなファンであるか否かという嗜好の程度が含まれる。嗜好の度合いを「嗜好度」あるいは「コア度」などという場合がある。

嗜好推定部５０は、推定されたユーザの嗜好に関連する情報を生成する関連情報生成部５１をさらに備える。嗜好に関連する情報は、例えば、嗜好に関連する商品あるいはサービスを提案するレコメンド情報を含む。本例における関連情報生成部５１は、ユーザの嗜好に関連してユーザに対して推奨するお薦めの商品あるいはサービスの情報を知らせるレコメンド情報を生成する。嗜好推定部５０によって生成されたレコメンド情報は通信部３２を介してユーザ端末７２等に提供される。嗜好推定部５０は本開示における「推定部」の一例である。

画像解析部４２及び嗜好推定部５０の少なくとも一部は、ニューラルネットワークを用いたモデルを機械学習によって学習させた学習済みモデルにより構成される。本例の画像解析部４２及び嗜好推定部５０には、深層学習によって学習された学習済みモデルが用いられる。

記憶装置３５は、ＣＰＵ内部の半導体メモリ、主記憶装置（メインメモリ）、及び補助記憶装置を含む。画像保存サーバ２０から取得した画像及び付帯情報は記憶装置３５に保存される。記憶装置３５は、画像ストレージ２６の一部又は全部として用いられてもよい。画像ストレージ２６若しくは記憶装置３５、又はこれらの組み合わせは本開示における「記憶装置」の一例である。

入力装置３６は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、又はこれらの適宜の組み合わせによって構成される。表示装置３８は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組
み合わせによって構成される。

《情報処理方法の概要》
情報処理装置３０は、ユーザが保有する画像の撮影内容及び付帯情報と、これに対応するニュース情報とに基づいて、そのユーザの嗜好を推定する。画像の付帯情報のうち撮影日の情報及び撮影場所の情報は、ニュースサイトが配信する複数のニュース記事の中からユーザの画像に対応するニュース情報を抽出する際に利用できる。また、画像の付帯情報は、ある特定のニュース情報に対応する画像を画像群の中から抽出する際に利用することができる。

ニュース情報は、画像解析からは把握が困難な事実あるいは事柄を含む情報となり得る。つまり、ニュース情報は、画像から把握される事柄に対するユーザの嗜好の度合いの評価に役立つ情報であり、さらに、その画像の重要性あるいは画像に写る事柄の重要性などの評価に役立つ情報である。

情報処理装置３０は、画像解析によって把握される画像の内容（撮影内容）を示す情報に加え、画像に対応するニュース情報を用いてユーザの嗜好を推定することにより、ニュース情報を利用しない場合と比べて、ユーザの嗜好をより正確に推定することが可能になる。

図４は、本発明の実施形態に係る情報処理方法の手順を例示的に示すフローチャートである。図４の各ステップは、情報処理装置３０として機能するコンピュータがプログラムを実行することによって実現される。

本実施形態に係る情報処理方法は、情報処理装置３０が画像及び付帯情報を取得すること（ステップＳ１）と、情報処理装置３０がニュース情報を取得すること（ステップＳ２）と、情報処理装置３０が画像解析を行うこと（ステップＳ３）と、情報処理装置３０がユーザの嗜好を推定すること（ステップＳ４）と、情報処理装置３０がレコメンド情報を生成すること（ステップＳ５）と、を含む。

ステップＳ１において、情報処理装置３０は画像保存サーバ２０から特定のユーザが保有する画像及びその付帯情報を取得する。ここでいう「特定のユーザ」とは、嗜好を推定しようとする対象の人物を指す。

ステップＳ２において、情報処理装置３０はニュースサイトからニュース情報を取得する。例えば、情報処理装置３０は、画像の付帯情報を基に撮影日に対応する時期に配信されたニュース記事の情報を取得する。「撮影日に対応する時期」とは、撮影日と同日であってもよいし、撮影日を含むその前後数日の範囲であってよい。なお、ここでは「撮影日」を基準にしているが、時間の情報も含めて撮影日時を基準にニュース記事の情報を収集してもよい。

ステップＳ３において、情報処理装置３０はステップＳ１にて取得した画像を解析する。この画像解析のステップは、例えば、オブジェクト認識による被写体物の検出処理、及び検出したオブジェクトに関連するキーワードの生成処理を含む。画像解析のアルゴリズムは、機械学習を利用して学習された学習済みのニューラルネットワークモデルであってよい。

情報処理装置３０は、ユーザが保有する画像群のうちの少なくとも１つ、好ましくは複数の画像、より好ましくは全ての画像について解析を行う。

ステップＳ４において、情報処理装置３０はステップＳ３から得られる画像の解析結果とステップＳ２から得られるニュース情報とを基にユーザの嗜好を推定する。嗜好推定のアルゴリズムは、機械学習を利用して学習された学習済みのニューラルネットワークモデルであってよい。

ステップＳ５において、情報処理装置３０はステップＳ４にて推定されたユーザの嗜好に応じてレコメンド情報を生成する。ステップＳ５にて生成されたレコメンド情報は情報処理装置３０から出力され、例えば、ユーザ端末７２の表示画面に表示される。ステップＳ５の後、情報処理装置３０は図４のフローチャートを終了する。

情報処理装置３０は、図４のフローチャートをユーザごとに実施することにより、各ユーザの嗜好に合わせた適切なレコメンド情報を提供することが可能である。

《第１実施形態に係る情報処理装置３０による処理フローの例》
図５を用いて、さらに詳細な例を説明する。図５は、第１実施形態に係る情報処理装置３０による処理の例を示すフローチャートである。

ステップＳ１１において、情報処理装置３０はユーザが保有する画像群を取得する。情報処理装置３０は、画像保存サーバ２０から画像群を取得してもよいし、ユーザ端末７２あるいは店頭端末７４から画像群を取得してもよい。取得した画像群は記憶装置３５に記憶される。

ステップＳ１２において、情報処理装置３０は取得した画像群に含まれる各画像の画像内容を解析する。ステップＳ１２の処理は、画像解析部４２によって行われる。

ステップＳ１３において、情報処理装置３０は画像の付帯情報を解析する。ステップＳ１３の処理は、付帯情報解析部４４によって行われる。なお、ステップＳ１２とステップＳ１３の順番は入れ替えてもよいし、ステップＳ１２とステップＳ１３とは並列に処理されてもよい。

ステップＳ１４において、情報処理装置３０の演算処理部３４は未解析の画像が存在するか否かを判定する。ステップＳ１１にて取得した画像群のうち、ステップＳ１２及びステップＳ１３の解析の処理が未実施である画像が存在している場合、演算処理部３４はステップＳ１２に戻る。全ての画像についてステップＳ１２及びステップＳ１３の解析を実施してステップＳ１４の判定結果がＮｏ判定になると、演算処理部３４はステップＳ１６に進む。

ステップＳ１６において、演算処理部３４はステップＳ１２及びステップＳ１３にて把握された画像内容、日時、及び場所を基に関連するニュースを検索し、画像に関連するニュース情報が抽出できたか否かを判定する。

ステップＳ１６の判定結果がＹｅｓ判定である場合、つまり、画像に関連するニュース情報が抽出できた場合、演算処理部３４はステップＳ２０に進む。ステップＳ１６の判定結果がＮｏ判定である場合、つまり、画像に関連するニュース情報が抽出できなかった場合、演算処理部３４はステップＳ１７に進む。ステップＳ１７において、演算処理部３４は画像の位置情報を基にローカルニュースを検索し、画像に関連するニュース情報が収集できたか否かを判定する。

ステップＳ１７の判定結果がＹｅｓ判定である場合、演算処理部３４はステップＳ２０に進む。ステップＳ１７の判定結果がＮｏ判定である場合、演算処理部３４はステップＳ１８に進む。ステップＳ１８において、演算処理部３４はさらに検索条件を変えて関連するニュースを検索し、画像に関連するニュース情報が収集できたか否かを判定する。ステップＳ１８では例えば、撮影日の情報は無視して、画像内容あるいは場所の情報のみを利用して検索を行う。ステップＳ１８の判定結果がＹｅｓ判定である場合、演算処理部３４はステップＳ２０に進む。ステップＳ１８の判定結果がＮｏ判定である場合、演算処理部３４はステップＳ２１に進む。

ステップＳ２０において、演算処理部３４はステップＳ１６～ステップＳ１８のいずれかのステップにて抽出されたニュース記事の内容を基にユーザの嗜好度を推定する。画像に対応するニュース記事が存在する場合、画像内容から把握できないユーザの嗜好度を評価することができる。

ステップＳ２１において、演算処理部３４はニュース情報を利用せずに画像内容からユーザの嗜好度を推定する。ステップＳ２０及びステップＳ２１の処理は、嗜好推定部５０によって行われる。ステップＳ２０又はステップＳ２１の後、演算処理部３４はステップＳ２２に進む。

ステップＳ２２において、演算処理部３４は、推定したユーザの嗜好度に応じてレコメンド情報を生成する。ステップＳ２２の処理は、関連情報生成部５１によって行われる。ステップＳ２２にて生成されたレコメンド情報は情報処理装置３０から出力され、ユーザ端末７２等に提供される。ステップＳ２２の後、情報処理装置３０は図５のフローチャートを終了する。

情報処理装置３０は、図５のフローチャートをユーザごとに実施することにより、各ユーザの嗜好に合わせた適切なレコメンド情報を提供することが可能である。

《具体例１》
以下、具体例を示して情報処理装置３０の動作を説明する。ユーザＵが保有する画像の撮影内容を解析した結果、「レジャー施設Ｔ」、「キャラクターＭ」、「パレード」というキーワードが自動生成された。「レジャー施設Ｔ」及び「キャラクターＭ」はそれぞれ実在する名称である。また、画像の付帯情報から撮影日が「１１月１８日」であり、撮影場所が「レジャー施設Ｔ」であった。

これらのキーワードを用いて、ニュースサイトの記事を検索したところ、次のようなニュース記事が抽出された。

『［ニュース記事］１１月１８日に誕生９０周年を迎えた、大人気キャラクターのキャラクターＭ。レジャー施設Ｔでは、キャラクターＭの誕生日を祝福しようと施設内のアトラクションに客が殺到し、なんと最大１１時間待ちという異常事態になった。“夢の国”の異様な光景に、利用客からは不満の声が巻き起こっている。』
このニュース記事の内容を考慮してユーザの嗜好を分析すると、このユーザＵはレジャー施設Ｔ及び／又はキャラクターＭについてのコアなファンであると推定される。すなわち、ニュース記事の内容によれば、普通の人なら躊躇するような最大１１時間待ちという大混雑の不利益にもかかわらず、このユーザＵは、誕生９０周年という特別な記念日にレジャー施設Ｔを訪れている。このようなユーザＵの行動は、レジャー施設Ｔ及び／又はキャラクターＭに対する嗜好の度合いが極めて高いことを示していると評価できる。また、写真の画像は、誕生９０周年の記念日という貴重なシーンであり、ユーザＵにとって特別に重要な事柄である可能性が高いと考えられる。

したがって、このユーザＵに対しては、コアなファンだからこそ購入したくなるようなレジャー施設Ｔ及び／又はキャラクターＭの関連商品をレコメンドしたり、特別な記念日に関連する商品及び／又はサービスなどをレコメンドしたりするなど、という対応が可能である。

《具体例２》
あるユーザＵが保有する画像の撮影内容を解析した結果、「サッカー観戦」というキーワードが自動生成された。また、画像の付帯情報から撮影日が「１０月３１日」であり、撮影場所が「新宿」であった。これらのキーワードに含まれるワードを用いて、ニュースサイトの記事を検索したところ、次のようなニュース記事が抽出された。

『［ニュース記事］３１日に行われたサッカー世界大会アジア最終予選で豪州に勝ち、本大会出場を決めた日本代表に、列島は大興奮！ 東京・渋谷駅前のスクランブル交差点では、試合終了直後から若者を中心に興奮した大勢のサポーターらが駆け付け、一時騒然となった。トラブル発生を防ぐため、警視庁が警備に当たった。』
ニュース検索の結果、「新宿」という撮影場所の位置情報に関連するニュースは抽出できなかったが、「サッカー」に関連するニュース記事が抽出された。このニュース記事の内容を考慮してユーザの嗜好を分析すると、このユーザＵはサッカーファンであると推定される。すなわち、ニュース記事の内容から、写真の画像は、本大会出場を決めたアジア最終予選の重要な試合の観戦シーンであり、ユーザＵにとって特別に大事な事柄である可能性が高いと考えられる。したがって、ユーザＵに対しては、サッカーの関連商品をレコメンドしたり、観戦した試合の関連商品及び／又は大会の関連商品をレコメンドしたりする、という対応が可能である。

《ニュース情報の利用例１》
画像解析によるオブジェクト認識技術を用いることにより、各画像に、どのようなオブジェクトが写っているかは認識できる。例えば、各画像に、どのようなキャラクターが写っているかは認識できる。ここでは、あるユーザが保有する画像群から、キャラクターＡ、キャラクターＢ、及びキャラクターＣの３種類のキャラクターが認識されたとする。キャラクターＡ、キャラクターＢ、及びキャラクターＣの各々は、実際には固有名詞を持つものとする。

しかし、この画像解析の結果のみでは、どのキャラクターがユーザにとってより大事なものなのかは、評価することができない。なお、ユーザにとって大事あるいは重要という場合の「ユーザ」には、ユーザの家族など、ユーザに近しい人を含めてもよい。

そこで、本実施形態では、画像のオブジェクト認識や付帯情報等を検索項目として、オンラインニュース記事を検索し、ニュース記事の内容を嗜好の度合いの評価に役立てる。

図６は、あるユーザが保有する画像群の例である。撮影日は付帯情報から特定される。画像に写っているキャラクターＡ、キャラクターＢ、及びキャラクターＣの判別はオブジェクト認識によって特定される。撮影場所は、例えば付帯情報に含まれるＧＰＳ情報から特定される。付帯情報にＧＰＳ情報が含まれていない場合は、オブジェクト認識によるランドマーク的な建物等の認識、あるいは携帯電話基地局の情報等から場所を判別できれば、その判別された場所の情報を使用してもよい。

ニュース検索部４６は、予め指定した複数のニュースサイトＮＳの記事群を対象に、「撮影日」、「キャラクター名」、及び「撮影場所」の各キーワードを「ＡＮＤ条件」にて検索する。例えば、図６の例の場合、次のような検索式にて検索を行う。

検索式１：「４月７日」＊「キャラクターＡ」＊「みなとみらい」
検索式２：「４月１４日」＊「キャラクターＢ」＊「新横浜」
検索式３：「４月２１日」＊「キャラクターＣ」＊「新宿」
その結果、例えば、「検索式３」では該当する記事が無く検索結果が出てこなかったが、「検索式１」及び「検索式２」の各々では、該当する記事が存在して検索結果が出てきたとする。このような場合、このユーザあるいはユーザを含む家族等がみなとみらいでキャラクターＡの画像を撮影したこと、及び新横浜でキャラクターＢの画像を撮影したことは、他の日（４月２１日）にキャラクターＣの画像を撮影したことよりも意図的であると推定できる。これにより、ユーザが大事にしているものとして、キャラクターＡ及びキャラクターＢを抽出することができる。なお、ここでは撮影日として「月日」を用いているが、「年」を含む「年月日」を用いてもよい。

《ニュース情報の利用例２》
上述した検索式１～３による検索の際に、さらに、「ＡＮＤ条件」にて各検索式１～３において、特定の文言を含む記事があるかを検索する。特定の文言を「特定キーワード」という。特定キーワードは、例えば、次のような単語である。

特定キーワード：｛大勢、殺到、高価、高額、記念日、アニバーサリー、貴重、レア｝
これらの特定キーワードは、ユーザの嗜好の度合いが極めて高いことを示唆する。特定キーワードは予め定めておく。「大勢」あるいは「殺到」という文言を含むニュース記事の事柄については、「混んでいても見たい」というユーザの積極的意思を推察できる。「高価」あるいは「高額」という文言を含むニュース記事の事柄については、「高くても見たい、あるいは高くても買いたい」というユーザの積極的意思を推察できる。「記念日」あるいは「アニバーサリー」という文言を含むニュース記事の事柄については、「コアなファンなので是非とも特別な記念イベントに行って祝いたい」というユーザの積極的意思を推察できる。「貴重」あるいは「レア」という文言を含むニュース記事の事柄については、「コアなファンなので是非とも見たい、あるいは入手したい」というユーザの積極的意思を推察できる。

《嗜好の推定に役立つ他の情報の例》
嗜好推定部５０は、ユーザの嗜好を推定する際に、画像内容、撮影日時、及び撮影場所の情報以外に、撮影頻度、及び撮影間隔のうち少なくとも一方の情報を利用してもよい。例えば、短い時間間隔で沢山の画像を撮影している場合、その撮影内容に対する関心度が高いと考えられる。また、あるオブジェクトに関する撮影頻度が高い場合、関心度が高いと考えられる。

《レコメンド情報の提供に関する例》
情報処理装置３０は、推定したユーザの嗜好に関連のある商品及び／又はサービスを特定し、その商品及び／又はサービスをユーザにレコメンドする。レコメンドする時期は、画像の枚数が多かった撮影日から一定期間（例えば、１年間）とする。一定期間経過後はレコメンドを終了させてもよい。提案する商品及び／又はサービスの種類によってレコメンドする時期を適宜調整することが好ましい。

関連情報生成部５１は、商品及び／又はサービスをレコメンドする際に、割引又は値引きを示す情報を添付してもよい。

また、情報処理装置３０は、同一出来事が連続して発生した場合に、発生した回数を記憶し、予め定めた期間を過ぎても同一出来事が起きていないことを検知した場合に、その回数に基づいて割引率又は値引額を決定してもよい。

《第２実施形態》
図７は、第２実施形態に係る情報処理装置１３０の構成例を示す機能ブロック図である。図３で説明した情報処理装置３０に代えて、図７に示す情報処理装置１３０を採用してもよい。図７において、図３に示す構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。図７に示す情報処理装置１３０について、第１実施形態に係る情報処理装置３０との相違点を説明する。図３に示す第１実施形態に係る情報処理装置３０は、画像の付帯情報及び／又は画像の解析結果を利用してニュースサイトから情報を収集する構成である。これに対し、図７に示す第２実施形態に係る情報処理装置１３０は、先にニュースサイトＮＳからニュースの情報を収集し、リストアップされたニュースの日付、時間、場所、及びキーワードと関連性が高い画像を検索する構成である。

情報処理装置１３０は、演算処理部３４に代わる演算処理部１３４を備える。図７に示すように、演算処理部１３４は、ニュース情報リスト生成部５４と、画像検索部５６と、を備える。

ニュース情報リスト生成部５４は、ニュース情報取得部４８を介して取得したニュース記事からニュース情報リストを生成する。ニュース情報リストは、ニュース記事の内容ごとに、日付、時間、場所、及びキーワードなどが整理されたリストである。嗜好推定に利用するニュース情報は、ニュース記事そのものに限らず、ニュース情報リストにリストアップされる情報のように、ニュース記事を基に加工（編集）された情報であってよい。

画像検索部５６は、ニュース情報リストにリストアップされた日付、時間、場所、及びキーワードと関連性が高い画像を、画像保存サーバ２０に保存されている画像群の中から検索する。画像検索を行う際には、各画像に画像内容に関連するキーワードなどのタグデータが付加されていることが好ましい。このタグデータは、単語生成部４３によって生成することができる。画像検索部５６による検索結果は嗜好推定部５０に送られる。

嗜好推定部５０は、画像検索部５６により抽出された画像からユーザの嗜好を推定し、推定したユーザの嗜好に関連するレコメンド情報を生成する。なお、画像検索部５６の機能は、嗜好推定部５０に組み込まれていてもよい。情報処理装置１３０による処理の具体例を説明する。

《ニュース情報の利用例３》
ニュースサイトＮＳの数は有限であるので、情報処理装置１３０は、例えば１日ごとに、日本国内で起きた事柄、例えばイベントの情報、新しい商品又はサービスの発売等の情報を複数のニュースサイトＮＳから全て収集する。なお、ここでは「日本国内」のニュースを例に説明するが、複数の国のニュースサイトから情報を収集してもよく、世界中のニュースサイトから情報を収集しても構わない。ニュース情報を収集する国や地域の範囲は予め指定しておけばよい。

ニュースサイトＮＳから情報を収集するタイミングに関して、例えば、日曜日に起きた出来事は、その当日又は翌日の月曜日にニュースとして配信される場合が多いと考えられるため、日曜日に起きた出来事に関する情報を火曜日に収集する、という流れが想定される。情報処理装置１３０は、ニュースの事柄ごとに、日付、起きた時間(時間帯)、場所、及び、関連するキーワードを収集する。

図８は、ニュース情報リストの例を示す図表である。ニュース情報リスト生成部５４は、例えば、図８のようなニュース情報リストを生成する。図８中の「No.2001」のような新商品の発売を報じるニュースは、「場所」と関係しない事柄であるものの、ユーザが新発売の商品を手にして、写真を撮ることが考えられる。

「No.2002」のようなサービス開始を報じるニュースなどは、関連する画像を観念しにくいかもしれないが、画像との関連性に乏しいニュース記事を除外するという操作を行うことが技術的に困難な場合があるため、情報収集の際には除外処理を行わずに、リストアップしてよい。オンライン保存された画像群の中に、No.2002に関連する画像が無いなら
ば、画像検索の結果が「該当無し」ということでシステム的には問題ないので、情報処理装置１３０は、ニュース記事を機械的に収集するということでよい。

ニュース情報リストには、記事の種類を分類する情報が付加されてもよい。ニュース情報リスト生成部５４は、ニュースの内容から記事の種類を分類する単語を生成し得る。

情報処理装置１３０は、例えば、本システムの全ユーザの、情報収集対象の日にオンライン保存された全画像群を対象として、上記でリストアップされた時間、場所、キーワードと関連性が高い画像を検索する。この画像検索によってヒットした画像について、検索に用いたキーワードが示す事項が、その画像を保有するユーザが大事にしているものだと分かる。

《ニュース情報の利用例４》
上記「ニュース情報の利用例３」のニュース情報をリストアップする際に、予め定めた特定キーワードを含むニュース記事については、フラグを立てておく。このフラグが付いている記事に関連して画像がヒットした場合、その画像を保有するユーザは、その記事の関連キーワードについてのコアなファンであると分かる。

特定キーワードは、「ニュース情報の利用例２」と同様に、ユーザの嗜好の度合いが極めて高いことを示唆する文言であり、例えば、｛大勢、殺到、高価、高額、記念日、アニバーサリー、貴重、レア｝などであってよい。

ニュース情報リスト生成部５４は、ニュース記事に特定の文言が含まれているか否かを判定し、判定結果に応じてフラグを付与する処理を行う。ニュース情報リストにはフラグの情報が含まれる。フラグは本開示における「識別情報」の一例である。

《ユーザに対して適切なレコメンドを提供する方法》
上述の「ニュース情報の利用例１～４」で具体的に説明したように、本発明の実施形態によれば、画像内のオブジェクトについてのユーザにとっての重要度を評価することが可能である。すなわち、画像解析によって特定される各オブジェクトは、次の［１］～［３］に分類できる。すなわち、［１］単に多数回画像に登場するオブジェクト、［２］ユーザが大事と思っているオブジェクト、［３］ユーザがコアファンであるようなオブジェクト、に分類できる。

これらの分類は、オブジェクトに対するユーザの嗜好の程度に対応している。［１］～［３］のいずれかに分類されるオブジェクトに対して、そのオブジェクトに関連する商品及び／又はサービスのレコメンドを提供する場合、［１］～［３］の分類に応じて、提供するレコメンドの内容、頻度、及び回数を異ならせることが好ましい。

例えば、大事さの程度が大きいほど、そのオブジェクトに関するレコメンドの頻度を高くする。大事さの程度が大きいほど、より遠くの地方で行われるイベントであってもレコメンドする。大事さの程度が大きいほど、より高価な商品及び／又はサービスについてレコメンドする、等の異ならせ方が考えられる。

《ユーザの個人情報の保護について》
〈１〉本発明の実施形態におけるシステム管理者は、ユーザの画像を解析すること、及び解析結果からレコメンドを送付することについて、ユーザから承諾を得るものとする。

〈２〉ある商品及び／又はサービス等の提供者がユーザに勧めたい商品及び／又はサービス等のレコメンドをユーザに送付する主体は、システム管理者でもよいし、商品及び／又はサービス等の提供者でもよい。

〈３〉商品及び／又はサービス等の提供者がレコメンドをユーザに送付する主体となる場合は、ユーザにレコメンドを送付するのに必要な情報を商品及び／又はサービス等の提供者に引き渡すことについて、ユーザから承諾を得るものとする。レコメンドを送付するのに必要な情報は、メールアドレスなど必要最低限とすることが好ましい。

〈４〉複数のユーザの画像を解析して、数多く撮影された被写体を提携企業に送付するなどの情報提供に当たっては、ユーザ情報およびユーザが特定されるような情報は提供しないものとする。また、予め、匿名化してから情報提供を行うことについてユーザから承諾を得るものとする。

《コンピュータのハードウェア構成の例》
図９は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明した画像保存サーバ２０、情報処理装置３０、ユーザ端末７２、及び店頭端末７４の機能を実現する装置として用いることができる。

コンピュータ８００は、ＣＰＵ（Central Processing Unit）８０２、ＲＡＭ（Random Access Memory）８０４、ＲＯＭ（Read Only Memory）８０６、ＧＰＵ（Graphics Processing Unit）８０８、ストレージ８１０、通信部８１２、入力装置８１４、表示装置８１６及びバス８１８を備える。なお、ＧＰＵ８０８は、必要に応じて設ければよく、演算負担が大きくなければ省略されてよい。

ＣＰＵ８０２は、ＲＯＭ８０６又はストレージ８１０等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ８０４は、ＣＰＵ８０２の作業領域として使用される。また、ＲＡＭ８０４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。

ストレージ８１０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ８１０には、学習処理、画像解析処理及び／又は嗜好推定処理その他の各種処理に必要な各種プログラムやデータ等が記憶される。ストレージ８１０に記憶されているプログラムがＲＡＭ８０４にロードされ、これをＣＰＵ８０２が実行することにより、コンピュータは、プログラムで規定される各種の処理を行う手段として機能する。

通信部８１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。

入力装置８１４は、コンピュータ８００に対する各種の操作入力を受け付ける入力インターフェースである。入力装置８１４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。

表示装置８１６は、各種の情報が表示される出力インターフェースである。表示装置８１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。

《コンピュータを動作させるプログラムについて》
上述の各実施形態で説明した画像保存サーバ２０、情報処理装置３０及び情報処理装置１３０のうち少なくとも１つの処理機能の一部又は全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。

またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

また、上述の各実施形態で説明した画像解析機能、嗜好推定機能、及びレコメンド提供機能のうち少なくとも１つの処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

《各処理部のハードウェア構成について》
図２、図３及び図７で説明した制御部２４、ユーザ認証部２８、画像情報取得部４０、画像解析部４２、単語生成部４３、付帯情報解析部４４、ニュース検索部４６、ニュース情報取得部４８、嗜好推定部５０、関連情報生成部５１、ニュース情報リスト生成部５４、及び画像検索部５６などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

《変形例１》
画像保存サーバ２０を用いたストレージサービスと、情報処理装置３０を用いたレコメンデーションのサービスとは、別々のシステム管理者（例えば、異なる企業体）によって管理及び運営されてもよい。

《変形例２》
情報処理装置３０、１３０における画像解析部４２の機能を画像保存サーバ２０に搭載してもよい。

《変形例３》
ユーザと関連付けされた画像は、画像保存サーバ２０に保存されるユーザ保有の画像に限らず、ＳＮＳサーバに投稿される投稿画像などであってもよい。

《その他》
上述の実施形態で説明した構成や各変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の事項を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は上述した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。

１０ コンピュータシステム
２０ 画像保存サーバ
２２ 通信部
２４ 制御部
２６ 画像ストレージ
２８ ユーザ認証部
３０ 情報処理装置
３２ 通信部
３４ 演算処理部
３５ 記憶装置
３６ 入力装置
３８ 表示装置
４０ 画像情報取得部
４２ 画像解析部
４３ 単語生成部
４４ 付帯情報解析部
４６ ニュース検索部
４８ ニュース情報取得部
５０ 嗜好推定部
５１ 関連情報生成部
５４ ニュース情報リスト生成部
５６ 画像検索部
７０ 電気通信回線
７２ ユーザ端末
７４ 店頭端末
１３０ 情報処理装置
１３４ 演算処理部
８００ コンピュータ
８１０ ストレージ
８１２ 通信部
８１４ 入力装置
８１６ 表示装置
８１８ バス
Ｓ１～Ｓ５ 情報処理方法のステップ
Ｓ１１～Ｓ２２ 第１実施形態に係る情報処理装置による処理のステップ

Claims (19)

1. ユーザと関連付けされた画像及び前記画像の少なくとも撮影日の情報を含む付帯情報を取得する画像情報取得部と、
   ニュースサイトが配信したニュースの内容を表すニュース情報を取得するニュース情報取得部と、
   前記画像から画像内容を解析する画像解析部と、
   前記画像解析部の処理により把握される前記画像内容と前記撮影日に対応する時期の前記ニュース情報とに基づき前記ユーザの嗜好を推定する推定部と、
   を備える情報処理装置。
2. 前記推定部により推定された前記ユーザの嗜好に関連する情報を生成する関連情報生成部をさらに備える請求項１に記載の情報処理装置。
3. 前記ユーザの嗜好に関連する情報は、前記ユーザに対して推奨する商品又はサービスの情報を含む請求項２に記載の情報処理装置。
4. 前記推定部は、前記ニュース情報から前記ユーザの嗜好の度合いを推定する請求項１から３のいずれか一項に記載の情報処理装置。
5. 予め指定された複数の前記ニュースサイトの配信記事の中から、前記撮影日の情報を基に、前記画像に関連するニュースを抽出するニュース検索部をさらに備える請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記付帯情報は、撮影場所の情報を含み、
   前記ニュース検索部は、前記撮影場所の情報を用いて前記画像に関連するニュースを抽出する請求項５に記載の情報処理装置。
7. 前記画像解析部は、前記画像内容に関連する単語を生成する単語生成部を含み、
   前記ニュース検索部は、前記生成された単語を用いて前記画像に関連するニュースを抽出する請求項５又は６に記載の情報処理装置。
8. 前記ニュース検索部は、予め定めた特定キーワードを含むニュースの記事を検索して前記画像に関連するニュースを抽出する請求項５から７のいずれか一項に記載の情報処理装置。
9. 前記予め定めた特定キーワードには、大勢、殺到、高価、高額、記念日、アニバーサリー、貴重、及びレアのうち少なくとも１つが含まれる請求項８に記載の情報処理装置。
10. 前記ユーザと関連付けされた複数の前記画像を記憶しておく記憶装置と、
    前記記憶装置に記憶された画像群の中から、前記ニュース情報と関連性が高い画像を検索する画像検索部と、をさらに備え、
    前記推定部は、前記画像検索部による検索によってヒットした画像と前記検索に用いた前記ニュース情報から前記ユーザの嗜好を推定する請求項１から４のいずれか一項に記載の情報処理装置。
11. 予め指定された複数の前記ニュースサイトから前記ニュース情報取得部を介してニュース記事を収集し、前記収集したニュース記事の事柄ごとに、日付、場所、及び関連するキーワードを含む前記ニュース情報に整理したニュース情報リストを生成するニュース情報リスト生成部をさらに備える請求項１０に記載の情報処理装置。
12. 前記画像検索部は、前記記憶装置に記憶された画像群の中から、前記ニュース情報の日付、場所、及び関連するキーワードと関連性が高い画像を検索し、
    前記推定部は、前記画像検索部による検索によってヒットした画像と前記検索に用いた情報を基に、前記ユーザの嗜好を推定する請求項１１に記載の情報処理装置。
13. 前記ニュース情報リスト生成部は、予め定めた特定キーワードを含むニュース記事の前記ニュース情報を前記ニュース情報リストにリストアップする際に、前記特定キーワードを含むニュース記事の事柄であることを示す識別情報を付加する請求項１１又は１２に記載の情報処理装置。
14. 前記推定部は、前記識別情報が付されている前記ニュース情報と関連性が高い画像が前記検索によってヒットした場合に、前記識別情報が付されている前記ニュース情報の事柄に対する前記ユーザの嗜好の度合いを前記識別情報から判定する請求項１３に記載の情報処理装置。
15. 前記記憶装置には、複数のユーザの各々に関連付けされた複数の画像が記憶される請求項１０から１４のいずれか一項に記載の情報処理装置。
16. 前記画像解析部及び前記推定部の少なくとも一部は、ニューラルネットワークを用いた学習済みモデルにより構成される請求項１から１５のいずれか一項に記載の情報処理装置。
17. コンピュータを用いて構成される情報処理装置が、
    ユーザと関連付けされた画像及び前記画像の少なくとも撮影日の情報を含む付帯情報を取得することと、
    ニュースサイトが配信したニュースの内容を表すニュース情報を取得することと、
    前記画像から画像内容を解析することと、
    前記解析の処理により把握される前記画像内容と前記撮影日に対応する時期の前記ニュース情報とに基づき前記ユーザの嗜好を推定することと、
    を含む情報処理方法。
18. 前記情報処理装置が、
    前記推定された前記ユーザの嗜好に関連する情報を生成することをさらに含む請求項１７に記載の情報処理方法。
19. コンピュータに、
    ユーザと関連付けされた画像及び前記画像の少なくとも撮影日の情報を含む付帯情報を取得する機能と、
    ニュースサイトが配信したニュースの内容を表すニュース情報を取得する機能と、
    前記画像から画像内容を解析する機能と、
    前記解析の処理により把握される前記画像内容と前記撮影日に対応する時期の前記ニュース情報とに基づき前記ユーザの嗜好を推定する機能と、を実現させるためのプログラム。

Images