JP2020013523A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】各ユーザに最適化した情報を提供し、各ユーザへの利益の提供を実現することを目的とする。また、情報が提供された後の各ユーザの動向をフォローし、提供した情報の評価を行うことを目的とする。【解決手段】本発明の一態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、上記状態検出部が検出した情報を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、上記ユーザの意思決定情報を取得する意思決定情報取得部と、上記ユーザのユーザ情報と、上記視認オブジェクト判定部による判定結果と、上記意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、を備える。【選択図】図１

Description

本発明は情報処理装置、情報処理方法、および情報処理プログラムに関する。

近年、顧客の購買行動と、該顧客の動向とを照合することにより、顧客の趣向等を推定する方法が、マーケティングに利用されている。

例えば、特許文献１には、顧客の視線の先にある商品を容易に特定することが可能な商品販売装置が開示されている。該商品販売装置は、顧客の視線を検出することにより、顧客が購入しなかったが関心を抱いている商品などマーケティング上有用なデータを取得することが開示されている。

特許公報４９９１４４０号（２０１２年５月１１日登録）

しかしながら、上述のような従来技術は不特定多数の顧客（ユーザ）の購買履歴および趣向に関するデータを蓄積し、マーケティングで利用することのみを考えられたものであり、各ユーザに最適化した情報を提供するような、ユーザにとっての利益を考えたものではなかった。また、該情報が提供された後の各ユーザの動向についてはフォローされず、提供した該情報の評価はできなかった。

本発明の一態様は、各ユーザに最適化した情報を提供し、各ユーザへの利益の提供を実現することを目的とする。

また、本発明の一態様は、情報が提供された後の各ユーザの動向をフォローし、提供した情報の評価を行うことを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、上記状態検出部が検出した情報を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、上記ユーザの意思決定情報を取得する意思決定情報取得部と、上記ユーザのユーザ情報と、上記視認オブジェクト判定部による判定結果と、上記意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、を備えていることを特徴とする。

上記の態様によれば、ユーザの趣向情報を生成することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記趣向情報を参照して提案情報を上記ユーザに提案する提案部をさらに備える。

上記の態様によれば、ユーザは、自身の趣向に基づいた情報を享受することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記ユーザが、上記提案情報に基づく意思決定を行ったか否かを判定し、該判定の結果に基づく評価を行う評価部をさらに備える。

上記の態様によれば、提案情報が適当なものであったかの評価を行うことができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記趣向情報生成部により生成された上記趣向情報と、表示情報とに基づき、表示部に表示させる表示情報の変更を行う表示情報変更部をさらに備える。

上記の態様によれば、各ユーザの趣向情報に基づいたレイアウト等を各ユーザに提供することができる。

上記の課題を解決するために、上記趣向情報は、ユーザの推定理解度である。

上記の態様によれば、ユーザの推定理解度を好適に生成することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、趣向情報生成部を備え、上記推定理解度を可視化したオブジェクトを含む表示データを外部の表示装置へ出力する。

上記の態様によれば、ユーザの推定理解後を可視化することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記状態検出部が検出する上記ユーザの状態、上記視認オブジェクト判定部が判定する上記ユーザが視認している上記オブジェクト、上記ユーザの感情、および上記趣向情報生成部から取得する上記趣向情報のうち少なくとも１つに応じたアバター画像を生成するアバター画像生成部をさらに備える。

上記の態様によれば、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報を可視化することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、視認オブジェクト判定部を備え、上記視認オブジェクト判定部は、上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定する。

上記の態様によれば、ユーザが視認しているオブジェクトを正確に判定することができ、ユーザがどのような感情を持って該オブジェクトを視認しているかを判定することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部を更に備え、上記視認オブジェクト判定部は、上記画像取得部が取得した撮像画像と、上記状態検出部が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定する。

上記の態様によれば、ユーザが視認しているオブジェクトを好適に判定することができる。

本発明の一態様では、上記ユーザ情報には、上記ユーザの属性情報が含まれる。

上記の態様によれば、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

本発明の一態様では、上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる。

上記の態様によれば、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

本発明の一態様では、上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つであり、上記視認オブジェクト判定部は、上記検出の結果に基づき、上記ユーザの集中度を判定する。

上記の態様によれば、情報処理装置は、ユーザの状態を好適に検出することできる。

本発明の一態様では、上記趣向情報生成部が生成する上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

上記の態様によれば、趣向情報生成部は、各ユーザの興味の度合いによって重みづけを行った趣向情報を生成することができる。

本発明の一態様に係る情報処理装置は、上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、をさらに備える。

上記の態様によれば、情報処理装置は、顔情報を一時的に他の顔情報と区別することができるとともに、仮ＩＤとユーザの意思決定情報とを照合することができる。

本発明の一態様に係る情報処理装置は、他の情報処理装置から、上記趣向情報の共有を依頼する依頼情報を受信する趣向共有依頼受信部と、上記趣向共有依頼受信部が受信した情報に基づき、上記趣向情報を上記他の情報処理装置に送信することを承認する趣向共有依頼承認部と、上記趣向共有依頼承認部の承認に基づき、上記趣向情報生成部から取得した上記趣向情報を上記他の情報処理装置へ送信する趣向共有部と、をさらに備える。

上記の態様によれば、他の端末装置と趣向情報の共有を行うことができる。

本発明の一態様に係る情報処理装置は、上記他の情報処理装置に上記趣向情報の共有を依頼する依頼情報を送信する趣向共有依頼送信部をさらに備え、上記趣向共有部は、上記他の情報処理装置から他の趣向情報を受信し、上記他の趣向情報と、上記趣向情報生成部から取得した上記趣向情報とを参照して、共有趣向情報をさらに生成する。

上記の態様によれば、他の端末装置と趣向情報の共有を行うことができる。

本発明の一態様に係る情報処理プログラムは、上記態様に係る情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記趣向情報生成部としてコンピュータを機能させる。

上記の態様によれば、上記態様に係る情報処理装置と同様な効果を奏する。

本発明の一態様に係る情報処理方法は、情報処理装置によって実行される情報処理方法であって、登録された特定のユーザのユーザ情報を取得するユーザ情報取得ステップと、上記ユーザの顔情報を取得する顔情報取得ステップと、上記顔情報取得ステップにおいて取得した顔情報から上記ユーザの状態を検出する状態検出ステップと、上記状態検出ステップにおいて検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定ステップと、上記ユーザの意思決定情報を取得する意思決定情報取得ステップと、上記ユーザのユーザ情報と、上記視認オブジェクト判定ステップにおける判定結果と、上記意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成ステップと、を含んでいる。

上記の態様によれば、ユーザの趣向情報を生成することができる。

本発明の他の態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記ユーザの意思決定情報を取得する意思決定情報取得部と、上記ユーザのユーザ情報と、上記ユーザの顔情報と、上記ユーザの意思決定情報とを参照して得られる趣向情報を取得する趣向情報取得部とを備えている。

上記の態様によれば、ユーザの趣向情報を生成することができる。

本発明の他の態様に係る情報処理装置は、上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、をさらに備えている。

上記の態様によれば、ユーザの趣向情報を生成することができる。

本発明の他の態様では、上記視認オブジェクト判定部は、上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定する。

上記の態様によれば、情報処理装置は、ユーザが視認しているオブジェクトを正確に判定することができ、ユーザがどのような感情を持って該オブジェクトを視認しているかを判定することができる。

本発明の他の態様では、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部と、を更に備え、上記視認オブジェクト判定部は、上記画像取得部が取得した撮像画像と、上記状態検出部が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定する。

上記の態様によれば、ユーザが視認しているオブジェクトを好適に判定することができる。

本発明の他の態様では、上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つであり、上記視認オブジェクト判定部は、上記検出の結果に基づき、上記ユーザの集中度を判定する。

上記の態様によれば、情報処理装置は、ユーザの状態を好適に検出することできる。

本発明の他の態様では、上記趣向情報を参照して提案情報を上記ユーザに提案する提案部をさらに備える。

上記の態様によれば、ユーザは、自身の趣向に基づいた情報を享受することができる。

本発明の他の態様では、上記ユーザが、上記提案情報に基づく意思決定を行ったか否かを判定し、該判定の結果に基づく評価を行う評価部をさらに備える。

上記の態様によれば、提案情報が適当なものであったかの評価を行うことができる。

本発明の他の態様では、上記ユーザ情報には、上記ユーザの属性情報が含まれる。

上記の態様によれば、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

本発明の他の態様では、上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる。

上記の態様によれば、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

本発明の他の態様では、上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

上記の態様によれば、趣向情報生成部は、各ユーザの興味の度合いによって重みづけを行った趣向情報を生成することができる。

本発明の他の態様に係る情報処理装置は、上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、をさらに備える。

上記の態様によれば、情報処理装置は、顔情報を一時的に他の顔情報と区別することができるとともに、仮ＩＤとユーザの意思決定情報とを照合することができる。

本発明のさらに他の態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記ユーザの意思決定情報を取得する意思決定情報取得部と、上記ユーザのユーザ情報と、上記ユーザの顔情報と、上記ユーザの意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、を備えている。

上記の態様によれば、ユーザの趣向情報を生成することができる。

本発明のさらに他の態様では、上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

上記の態様によれば、趣向情報生成部は、各ユーザの興味の度合いによって重みづけを行った趣向情報を生成することができる。

本発明のさらに他の態様に係る情報処理装置は、上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、をさらに備える。

上記の態様によれば、情報処理装置は、顔情報を一時的に他の顔情報と区別することができるとともに、仮ＩＤとユーザの意思決定情報とを照合することができる。

本発明の一態様によれば、各ユーザの趣向に合わせた各ユーザへの利益を提供することができる。

本発明の実施形態１及び２に係る情報処理装置の構成要素を示すブロック図である。 本発明の実施形態１及び３に係る情報処理装置を備えたスマートフォンの表示部を示す図である。 本発明の実施形態１及び３に係る情報処理装置を備えたパソコンの表示部を示す図である。 本発明の実施形態１〜３に係る情報処理装置の視認オブジェクト判定部と、意思決定情報取得部とが出力するデータの一例を示す表である。 本発明の実施形態１〜３に係る情報処理装置の趣向情報生成部が生成する趣向情報の一例を示す表である。 本発明の実施形態１に係る情報処理装置のアバター画像生成部が生成するアバター画像の一例を示す模式図である。 本発明の実施形態１〜３に係る情報処理装置の評価部が出力するデータの一例を示す表である。 本発明の実施形態１〜３に係る情報処理装置の評価部が出力するデータの一例を示す表である。 本発明の実施形態１及び３に係る情報処理装置の処理の流れの一例を示すフローチャートである。 本発明の実施形態２に係る情報処理装置の処理の流れの一例を示すフローチャートである。 本発明の実施形態３に係る情報処理装置の構成要素を示すブロック図である。 本発明の実施形態３に係る情報処理装置を備えたパソコンの表示部を示し、（ａ）表示が変更される前、（ｂ）表示が変更された後の表示部を示す図である。 本発明の実施形態４に係る情報処理装置を備えた端末装置が表示するブラウザ画面の一例を示す図である。 本発明の実施形態４に係る情報処理装置の趣向生成部が生成する趣向情報の一例を示す図である。 本発明の実施形態４に係る情報処理装置の趣向生成部が生成する趣向情報の一例を示す図である。 本発明の実施形態５に係る情報処理装置の構成要素を示すブロック図である。 本発明の実施形態５に係る情報処理装置同士の趣向情報の送受信の概要を示す図である。 本発明の実施形態５に係る情報処理装置を備えた端末装置が表示するブラウザ画面の一例を示す図である。 本発明の実施形態６に係る情報処理装置の構成要素を示すブロック図である。

＜実施形態１＞
以下、本発明の一実施形態について、詳細に説明する。以下の特定の項目（実施形態）における構成について、それが他の項目で説明されている構成と同じである場合は、説明を省略する場合がある。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。

〔情報処理装置（その１）〕
情報処理装置１００は、ユーザの趣向推定および推定に基づく提案及び評価の少なくとも何れかを行う。図１は、情報処理装置１００の構成要素を示すブロック図である。図１に示すように、本実施形態に係る情報処理装置１００は、ユーザ情報取得部１、顔情報取得部２、意思決定情報取得部３、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、提案部７、評価部８、およびアバター画像生成部１１を備えている。

このような構成により、本実施形態に係る情報処理装置１００は、ユーザの趣向情報を生成することができる。

ここで、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、提案部７及び評価部８、アバター画像生成部１１は、情報処理装置１００の備える制御部９の一構成として実現される。

情報処理装置１００は、一例として、ローカルネットワーク又はグローバルネットワークに接続可能な端末装置（例えば、スマートフォン、タブレット、パソコン、テレビジョン受像機等）に実装される。図２は、情報処理装置１００をスマートフォンに実装した場合の、当該スマートフォンの表示画面と、当該表示画面における視線位置とを模式的に示している。図３は、情報処理装置１００を、パソコンに実装した場合の、当該パソコンの表示画面と、当該表示画面における視線位置とを模式的に示している。図２及び図３に含まれる他の構成については後述する。

また、本実施形態においては、ユーザが電子商取引（ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ））サービスを利用して、商品を購入する形態について説明する。

（ユーザ情報取得部）
ユーザ情報取得部１は、例えば、ショッピングサイト等のデータベース等に予め登録されている特定のユーザのユーザ情報を取得し、取得したユーザ情報を趣向情報生成部６に送信する。一例として、ユーザ情報には、ユーザの属性を示す属性情報と、他のユーザと対象ユーザとを識別するためのユーザ識別情報が含まれる。ユーザの属性情報とは、例えば、ユーザの年齢、性別、会員の種別（有料会員であるか否か）等である。また、ユーザ識別情報とは、例えば、ユーザのＩＤ、ユーザのメールアドレス等である。

このように、ユーザ情報に、ユーザ識別情報が含まれることで、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

（顔情報取得部）
顔情報取得部２は、例えば、カメラ等の撮像部から取得した画像から、ユーザの顔情報を取得する。ユーザの顔情報とは、顔の特徴量を示す情報である。顔の特徴量とは、例えば、顔の各部位（例えば、目、鼻、口及び眉等）の位置を示す位置情報、形状を示す形状情報および大きさを示す大きさ情報等を指す。特に、目の情報からは、ユーザが注視する対象に対するユーザの興味および関心の度合い等を評価することができるため、特に有用である。目の情報としては、例えば目頭および目尻の端点、虹彩および瞳孔等のエッジ等が挙げられる。また、顔情報取得部２は、撮像部から取得した画像に、ノイズ低減、エッジ強調等の補正処理を適宜行ってもよい。顔情報取得部２は、抽出した顔情報を状態検出部４に送信する。

（状態検出部）
状態検出部４は、顔情報取得部２が抽出した顔情報に基づき、ユーザの状態を検出する。状態検出部４は、ユーザの状態を検出した後、該検出結果を視認オブジェクト判定部５へ送信する。状態検出部４が検出する上記ユーザの状態は、例えば、ユーザの顔の各部位の状態であり、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つである。

状態検出部４は、一例として、顔情報取得部２が取得した顔の特徴量である顔の各部位（例えば、目、鼻、口、頬および眉等）の位置を示す位置情報、形状を示す形状情報および大きさを示す大きさ情報等を参照し、ユーザの状態として、例えば、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出してもよい。

このように、状態検出部を備えることで、情報処理装置は、ユーザの状態を好適に検出することできる。

例えば、視線の検出方法としては、特に限定されないが、情報処理装置１００に、点光源（不図示）を設け、点光源からの光の角膜反射像を撮像部で所定時間撮影することにより、ユーザの視線の移動先を検出する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、ユーザに不快感を与えることなく、視線の検出をすることができる。視線の検出において、視線が所定時間以上移動しない場合は、同じ場所を注視しているといえる。

また、瞳孔の状態を検出する方法としては、特に限定されないが、例えば、ハフ変換を利用して、目の画像から円形の瞳孔を検出する方法等が挙げられる。一般的に、人間は、集中している場合に開瞳する傾向にあるため、瞳孔のサイズを検出することで、ユーザの集中の度合いを評価することができる。例えば、瞳孔のサイズを所定時間検出し、所定時間内で瞳孔が大きくなっている時間は、ユーザがある対象を注視している可能性が高いといえる。瞳孔のサイズに関して、閾値を設定し、瞳孔のサイズが閾値以上である場合は「開」、瞳孔のサイズが閾値未満である場合は「閉」として評価してもよい。

また、瞬きの回数を検出する方法としては、特に限定されないが、例えば、赤外光をユーザの目に対して照射し、開眼時と、閉眼時との赤外光量反射量の差を検出する方法等が挙げられる。一般的に、人間は、集中している場合、低い頻度で安定した間隔で瞬きをする傾向にあるため、瞬きの回数を検出することで、ユーザの集中度を評価することができる。例えば、瞬きの回数を所定時間検出し、所定時間内で瞬きが安定した間隔で行われている場合、ユーザがある対象を注視している可能性が高いといえる。

状態検出部４は、ユーザの視線、瞳孔の状態および瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出すればよいが、これらを組み合わせることが好ましい。このように検出方法を組み合わせることで、状態検出部４は、ある対象物を視認しているときのユーザの集中度を好適に評価することができる。

目の状態以外では、例えば、眉の内側を持ち上げるか、外側を上げるか等の眉の動き、上瞼を上げる、瞼を緊張させる等の瞼の動き、鼻に皺を寄せる等の鼻の動き、上唇を持ち上げる、唇をすぼめる等の唇の動き、頬を持ち上げる等の頬の動き、顎を下げる等の顎の動き等の顔の各部位の状態が挙げられる。ユーザの状態として、顔の複数の部位の状態を組み合わせてもよい。

また、ユーザの表情を検出させる場合、状態検出部４は、ユーザの表情に関する情報を機械学習により算出することもできる。表情に関する情報を取得するための学習処理の具体的な構成は本実施形態を限定するものではないが、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データアーギュメンテーション（Deta Argumentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を
行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

（視認オブジェクト判定部）
視認オブジェクト判定部５は、状態検出部４から取得した検出結果に基づき、ユーザが視認しているオブジェクト、ユーザの集中度、およびユーザの感情を判定する。視認オブジェクト判定部５は、ユーザが視認している商品画像（オブジェクト）をまず判定し、ユーザが該商品画像を視認しているときの集中度、およびユーザの感情を判定する。また、視認オブジェクト判定部５は、ユーザが閲覧しているページの配置情報を更に参照して、ユーザが視認しているオブジェクトを判定する。

このように、視認オブジェクト判定部５を備えることで、情報処理装置は、ユーザが視認しているオブジェクトを正確に判定することができ、ユーザがどのような感情を持って該オブジェクトを視認しているかを判定することができる。

視認オブジェクト判定部５の具体的な処理について、情報処理装置１００を備える端末装置１０を例に挙げ、図２及び図３を用いて説明する。図２は、情報処理装置１００を備えるスマートフォン、図３は、情報処理装置１００を備えるパソコンを示す。

図２において、本実施形態に係る情報処理装置１００を備える端末装置（スマートフォン）１０は、撮像部１４と、表示部１２とをさらに備えている。例えば、図２のように、ブラウザの表示領域が、スマートフォンの表示部のサイズと同じであり、商品の画像が並んで配置されている場合を想定する。例えば、商品の表示順、各商品の製造会社および商品名は、表示部１２が表示しているウェブページのソースコードから抽出することができる。各商品画像領域はブラウザによって制御されているため、視認オブジェクト判定部５は、ソースコードおよびブラウザを参照して、各商品の画像領域の座標を取得することができる。視認オブジェクト判定部５は、取得した各商品の画像領域の座標と、状態検出部４から取得した視線情報とを照合して、ユーザの視線の位置座標が、どの商品の画像領域の座標内にあるかを判定する。例えば、図２に示されるように、ユーザの視線の位置座標が、商品ａの画像領域１８の座標内にあると判定された場合、視認オブジェクト判定部５は、ユーザの視線の位置座標が、商品ａの画像領域の座標内に留まっている時間のカウントを開始する。このように、ユーザの視線の位置座標と、商品の画像領域の座標とを照合することで、ユーザがどの商品を視認しているかを好適に判定することができる。また、視線の情報に加えて、（状態検出部）で記載したように、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きの検出結果を参照することで、ユーザがどの商品を集中して視認しているかをさらに好適に判定することができる。

図３において、本実施形態に係る情報処理装置１００を備える端末装置（パソコン）１０も、図２と同様に、撮像部１４と、表示部１２とをさらに備えている。図３の場合、ブラウザ画面１６の大きさは、表示部１２よりも小さいため、視認オブジェクト判定部５は、表示部１２におけるブラウザ画面１６の位置の情報も取得する必要がある。ブラウザの位置および領域は情報処理装置１００のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって制御されているため、視認オブジェクト判定部５は、ソースコードおよびブラウザに加え、ＯＳを参照して、各商品の画像領域の座標を取得することができる。例えば、図３に示されるように、ユーザの視線の位置座標が、商品ｂの画像領域１８の座標内にあると判定された場合、視認オブジェクト判定部５は、ユーザの視線の位置座標が、商品ｂの画像領域の座標内に留まっている時間のカウントを開始する。

また、視認オブジェクト判定部５は、状態検出部４から取得したユーザの顔の各部位の状態から、ユーザの感情を判定する。ユーザの感情を判定するために、例えば、Ｐａｕｌ Ｅｋｍａｎ感情分類モデルを用いてもよい。該感情分類モデルには、例えば、「幸福」、「驚き」、「怒り」、「嫌悪」、「恐れ」、「悲しみ」が含まれる。なお、該感情分類モデルは、「平常」を含んでいてもよい。さらに該感情分類モデルは、「面白さ」、「軽蔑」、「満足」、「困惑」、「興奮」、「罪悪感」、「功績に基づく自負心」、「安心」、「納得感」、「恥」のような感情およびこれら感情を複合したもの（例えば、怒り＋嫌悪、幸福＋満足など）を含むものであってもよい。

また、視認オブジェクト判定部５は、ユーザがどの商品を集中して視認しているかの判定を、（状態検出部）に記載の機械学習的手法を用いて判定してもよい。

視認オブジェクト判定部５は、判定した結果を趣向情報生成部６へ送信する。

（画像取得部）
情報処理装置１００は、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部１５を更に備えてもよい。ここで、ユーザが身に着ける撮像装置は、ユーザの状態を検出できれば特に限定されないが、例えば、メガネ型のウェアラブルデバイスに搭載されたカメラ、ヘッドマウントデバイスに搭載されたカメラ等が挙げられる。これらのデバイスの種類としては、透過型でもよいし、非透過型でもよい。非透過型の場合、一例として、カメラ（撮像装置）と、ユーザが視認している先のディスプレイ（表示部）とが同じ装置に備えられる構成であってもよい。

ユーザの視野を含む撮像画像とは、例えば、ユーザが見ている先の景色およびディスプレイ（表示部）等を撮影した画像である。

視認オブジェクト判定部５は、画像取得部１５が取得した撮像画像と、上記状態検出部４が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定してもよい。具体的には、視認オブジェクト判定部５は、撮像画像領域の座標と、状態検出部４が検出したユーザの視線情報とを照合し、ユーザの視線の位置座標が、撮像画像中のどの座標に対応するかを判定する。視認オブジェクト判定部５は、画像取得部１５が取得した撮像画像に含まれるオブジェクトを、例えば、機械学習を用いて認識させる構成としてもよい。

これにより、ユーザが視認しているオブジェクトを好適に判定することができる。

（意思決定情報取得部）
意思決定情報取得部３は、ユーザが意思決定を行ったか否かの意思決定情報を取得する。本実施形態において、意思決定情報とは、一例として、ユーザが商品を購入したか否かの決済情報である。意思決定情報は、例えば、ショッピングサイト等に予め登録されているクレジットカード情報、ショッピングサイトの決済用サーバ及び決済代行事業者の決済用サーバ等から取得することができる。意思決定情報取得部３は、ユーザが該ショッピングサイト内で、意思決定を行ったかの情報を取得することができる。意思決定情報は、クレジットカード情報に限定されず、ユーザの個人情報と紐づけられている媒体から取得することができる。例えば、デビットカード情報、プリペイドカード情報等が挙げられる。意思決定情報取得部３は、取得した意思決定情報を、趣向情報生成部６へ送信する。

意思決定情報とは、ショッピング等においては、意思決定を行ったか否かの情報であるが、これに限定されず、より一般的に言えば、ユーザの意思を反映する意思決定情報である。意思決定情報取得部３は、意思決定情報を、情報処理装置１００又は他のデバイスから取得可能に構成されている。一例として、意思決定情報取得部３は、意思決定情報を、例えば、マウスによるクリック情報、又は、タッチセンサを備えた表示部１２へのタッチ情報として取得する構成とすることができる。また、情報処理装置１００が、ユーザの音声を認識する音声認識部やユーザの動作を認識する動作認識部を備える構成とし、意思決定情報取得部３が、意思決定情報を、音声情報や動作情報として取得する構成としてもよい。なお、意思決定の動作の例示として以下の動作が挙げられる。
・ウインク
・瞬きの回数(所定の時間内に所定の回数の瞬き等）
・手を振る
・うなずく等。

（趣向情報生成部）
趣向情報生成部６は、ユーザ情報取得部１から取得したユーザ情報、視認オブジェクト判定部５から取得した判定結果、および意思決定情報取得部３から取得した意思決定情報を参照して、ユーザの趣向に関する趣向情報を生成する。ここで、趣向情報とは、ユーザの興味がどのオブジェクトに対して強く、どのオブジェクトに対して弱いかを示す情報である。

このような構成により、趣向情報生成部６は、各ユーザの興味の度合いによって重みづけを行った趣向情報を生成することができる。

例えば、趣向情報生成部６は、視認オブジェクト判定部５で判定された、ユーザが視認した商品の情報および該商品を視認していたときのユーザの集中度の結果と、意思決定情報取得部３から取得された、ユーザが実際に購入した商品および未購入の商品の情報と、を照合する。

具体的に、状態検出部４で検出された結果および意思決定情報取得部３で取得された結果は、図４に示すようなデータとして趣向情報生成部に入力される。図４の表は、趣向情報生成部に入力される、ＩＤがＡであるユーザ（以下、ユーザＡと称する）についてのデータの一例を示す。図４の表は、商品ごとに、ユーザＡがその商品を視認した時間（「視線」）、１分あたりの瞬きの回数（「瞬き」）、瞳孔の開閉（「瞳孔の状態」）、およびユーザＡがその商品を購入したか（「意思決定情報」）を表している。図４の表から、ユーザＡは、商品ａを長時間視認しており、その間の瞬きの回数および瞳孔の状態から高い集中状態であったにも関わらず、商品ａの購入に至らなかったということが判定される。また、図４の表から、ユーザＡは商品ｃに関して、商品ｃの視認時間は短く、それほど高い集中状態ではなかったにも関わらず、商品ｃを購入したことが判定される。

趣向情報生成部６は、図４の表のデータを参照して、例えば、図５に示すような趣向情報を生成する。図５の表は、各購買者の購入商品、購入属性、興味が強い商品および興味が弱い商品について生成された趣向情報である。図５の表は、実際にユーザＡが商品ｃを購入したこと、未購入であるが商品ａに強い興味を持っていること、商品ｂにはあまり興味を持っていないことを示している。

趣向情報生成部６は、視線、瞬きおよび瞳孔の状態から、商品の視認時間が短く、集中していない状態であったにも関わらずユーザＡが商品ｃの購入に至ったため、過去にも商品ｃを購入した可能性が高いとして、ユーザＡの購入属性を固定客と設定してもよい。また、趣向情報生成部６は、商品の視認時間が長く、かつ高い集中状態で、商品を視認したユーザは、該商品の購入および未購入に関わらず、初めて該商品の購入を決めた、または購入を考えていた可能性が高いとして、該ユーザの購入属性を流動客と設定してもよい。

また、趣向情報生成部６は、（状態検出部）に記載の機械学習的手法を用いて趣向情報を生成してもよい。

また、趣向情報生成部６は、上述の各種情報と共に、又は、上述の各種情報に代えて、クリック情報等の他の情報を参照してユーザの趣向情報を生成する構成としてもよい。ここで、クリック情報とは、ユーザがクリック又はタッチした位置、クリック又はタッチの回数、ダブルクリックの時間間隔等の情報を含み得る。また、クリック又はタッチの強さを検出する強度検出部を備え、趣向情報生成部６が当該クリック又はタッチの強さを参照してユーザの趣向情報を生成する構成としてもよい。

なお、表示部をタッチパネルとして構成する場合、いわゆる抵抗膜方式を採用すればユーザのタッチの強さを検出することができる。

趣向情報生成部６は、生成した趣向情報を提案部７へ送信する。

（提案部）
提案部７は、趣向情報生成部６から趣向情報を取得し、該趣向情報を参照してユーザに提案するための提案情報を生成する。提案情報とは、例えば、ユーザの趣向情報における興味が強い商品の電子公告、値下がりの情報、および電子クーポン等である。提案部７は、例えば、メール、ＳＮＳおよびＩＭ等の通信手段を用いて、生成した提案情報をユーザに送信してもよい。また、バナー広告としてユーザに通知してもよい。

このように、提案部がユーザに提案情報を提案することで、ユーザは、自身の趣向に基づいた情報を享受することができる。また、ユーザは、興味のある商品についての情報を取得することができ、かつ低価格で購入する機会が付与される。

提案部７は、生成した提案情報をユーザに送信するとともに、評価部８へ提案情報を送信する。

（評価部）
評価部８は、提案部７から取得した提案情報と、提案情報が送信されたユーザが実際に提案情報に基づく意思決定を行ったか否かの判定結果とを参照し、各商品について評価を行う。評価部８は、例えば、図７の表に示すような評価を行う。図７の表は、提案部７が、ユーザＡ、ＣおよびＤに商品ａの広告（提案情報）を送信し、ユーザＥおよびＦに商品ｂの広告を送信した場合に、各ユーザが広告の商品の購入に至ったか否かを評価した結果である。図７の表中の成約率とは、提案部７が広告を送信したユーザの人数における、実際に広告の商品を購入したユーザの人数の割合である。商品ａの広告を送信されたユーザＡ、ＣおよびＤは、全員が商品ａを購入しているため、成約率は１００％である。また、商品ｂの広告を送信されたユーザＥおよびＦについては、ユーザＥのみが商品ｂの購入に至っているため、成約率は５０％である。このとき、広告を送信されたユーザが実際に広告を見たか否かについては必ずしも判定しなくてもよい。特に、メール等、オフライン状態でも確認できる広告においては、判定しなくてもよい。

評価部８は、意思決定情報取得部３から、ユーザが提案情報に基づく意思決定を行ったか否かの情報を取得してもよい。

また、評価部８は、広告を送信されたユーザが実際に広告を見たか否かという、広告の視認情報を加えて評価を行ってもよい。例えば、図８の表に示すような評価を行う。図８の表は、図７の表と同じく、提案部７が、ユーザＡ、ＣおよびＤに商品ａの広告を送信し、ユーザＥおよびＦに商品ｂの広告を送信した場合に、各ユーザが広告の商品の購入に至ったか否かを評価した結果である。図８の表中の成約率とは、提案部７が広告を送信したユーザの人数における、広告を視認して商品の購入に至ったユーザの人数の割合である。図８の表に示されるように、商品ａの広告を送信されたユーザＡ、ＣおよびＤは、全員が商品ａを購入したが、広告を見て購入に至ったのは、ユーザＡおよびＣのみであったため、成約率は６６％である。また、商品ｂの広告を送信されたユーザＥおよびＦについては、広告を見たうえで商品の購入に至ったユーザはいなかったため、成約率は０％である。

広告の視認情報は、（視認オブジェクト判定部）に記載の方法を用いて広告を見たか否かを判定してもよい。

このように情報処理装置１００は、評価部８を備えることで、ユーザへの提案情報の提案の方法が適当であったか否かを成約率から評価することができる。

（アバター画像生成部）
アバター画像生成部１１は、ユーザに対応したアバター画像を生成し、状態検出部４が検出するユーザの状態、視認オブジェクト判定部５が判定するユーザが視認しているオブジェクト、ユーザの感情、および趣向情報生成部６から取得する趣向情報のうち少なくとも１つに応じたアバター画像を生成する。

アバター画像は、ユーザを象徴的に表す情報であり、主には、ユーザを想起させる画像である。ユーザがショッピングサイトで商品を選んでいる場合、一例として、アバター画像は、実店舗を模倣して形成される画像上に生成される。

このように、アバター画像生成部１１がアバター画像を生成することにより、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報を可視化することができる。

ユーザの状態は、（状態検出部）で記載したユーザの顔の各部位の状態である。ユーザが視認しているオブジェクトおよびユーザの感情は、（視認オブジェクト判定部）で記載した方法で判定される。また、趣向情報は、（趣向情報生成部）で記載したように、ユーザの興味がどのオブジェクトに対して強く、どのオブジェクトに対して弱いかを示す情報である。

図６は、アバター画像生成部１１が、生成するアバター画像の一例である。図６（ａ）は従来のアバター画像の一例、図６（ｂ）はユーザの表情に応じたアバター画像の一例、図６（ｃ）はユーザの表情および視線に応じたアバター画像の一例である。従来のアバター画像は、図６（ａ）で示すように、ユーザの表情は反映されていなかった。本実施形態のアバター画像生成部１１は、図６（ｂ）で示すように、ユーザの表情に応じたアバター画像を生成する。例えば、ユーザがある商品を視認している際、口角を上げた表情をしている場合、口角を上げた表情のアバター画像を生成する。また、アバター画像生成部１１は、趣向情報を参照することにより、ユーザのある商品に対する好意の度合い（好み）を可視化したゲージを表示してもよい。図６（ｃ）で示すように、ユーザの視線の情報に応じたアバター画像を生成してもよい。視線の情報とは、例えば、視線の方向、瞳孔の状態および瞬きの回数等である。例えば、ユーザがショッピングサイトの商品ａの画像を視認している場合、実店舗のように商品が陳列されている画像上において、陳列されている商品ａの方向をアバターが見ているように、アバター画像の視線を設定してもよい。また、アバター画像生成部１１は、ユーザが視認しているオブジェクトを、例えば、アバターの手に持たせて、アバターが手に持った商品を視認しているような画像を生成してもよい。

なお、アバター画像は、ユーザ自身が見ることが出来るように、該ユーザの端末装置の表示部１２に表示されてもよいし、他のユーザが該ユーザのアバター画像を見ることが出来るように、他の端末装置およびショッピングサイトのサーバ等に送信されてもよい。

このような構成により、ユーザは、ショッピングサイトで自身がショッピングをしている様子を、あたかも実店舗でショッピングしている自身の姿として客観視ができる。また、他のユーザ（店舗のスタッフ等）は、ショッピングサイトでショッピングしているユーザを、アバター画像を介して、実店舗でショッピングしている客の一人として捉えることができ、ユーザにより良いサービスを提供するための意識の向上を図ることが出来る。

また、図１に示すように、本実施形態では、表示部１２は、情報処理装置１００と別体に構成すると例示している。

（制御部）
制御部９は、情報処理装置１００の各部を統括的に制御するものである。制御部９は、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、提案部７、評価部８およびアバター画像生成部１１を含むものである。制御部９の各機能、および情報処理装置１００に含まれる全ての機能は、例えば、記憶部（不図示）等に記憶されたプログラムを、ＣＰＵが実行することによって実現されてもよい。

〔情報処理装置の処理例１〕
次に、図９のフローチャートに基づき、情報処理装置１００の処理について説明する。

まず情報処理装置の使用を開始（ステップＳ１００）し、処理を開始する。ステップＳ（以下、「ステップ」は省略する）１０２に進む。

Ｓ１０２では、ユーザ情報取得部１が、ユーザ情報を取得する（ユーザ情報取得ステップ）。処理の詳細は、（ユーザ情報取得部）に記載の通りである。ユーザ情報取得部１は、ユーザ情報を趣向情報生成部６に送信し、Ｓ１０４に進む。

Ｓ１０４では、顔情報取得部２が、ユーザの顔画像を撮像部から取得し、顔画像から顔の各部位を抽出する（顔情報取得ステップ）。処理の詳細は、（顔情報取得部）に記載の通りである。顔情報取得部２は、抽出した結果を状態検出部４に送信し、Ｓ１０６に進む。

Ｓ１０６では、状態検出部４が、ユーザの視線、瞬き、瞳孔の状態、および顔の各部位の状態を検出する（状態検出ステップ）。処理の詳細は（状態検出部）に記載の通りである。検出結果を視認オブジェクト判定部５に送信し、Ｓ１０８に進む。

Ｓ１０８では、視認オブジェクト判定部５が、ユーザの視認する商品画像（視認オブジェクト）、視認しているときの集中度、および視認しているときの感情を判定する（視認オブジェクト判定ステップ）。処理の詳細は、（視認オブジェクト判定部）に記載の通りである。視認オブジェクト判定部５は、判定した結果を、趣向情報生成部６に送信し、Ｓ１１０に進む。

Ｓ１１０では、意思決定情報取得部３が、ショッピングサイトの決済用サーバ等の意思決定情報またはユーザのクレジットカード情報を参照して意思決定の有無を判定し、意思決定があった場合は、Ｓ１１２に進む。また、意思決定情報がなかった場合はＳ１２０に進む。

Ｓ１１２では、意思決定情報取得部３が、ユーザが購入した商品等の決済情報をユーザのクレジットカード情報、ショッピングサイトの決済用サーバ及び決済代行事業者の決済用サーバ等から取得する（意思決定情報生成ステップ）。処理の詳細は、（意思決定情報取得部）に記載の通りである。意思決定情報取得部３は、取得した意思決定情報（決済情報）を趣向情報生成部６に送信し、Ｓ１１４に進む。

Ｓ１１４では、趣向情報生成部６が、ユーザ情報取得部１から取得されたユーザ情報と、視認オブジェクト判定部５から取得された判定結果と、意思決定情報取得部３から取得された意思決定情報とを参照し、趣向情報を生成する（趣向情報生成ステップ）。処理の詳細は、（趣向情報生成部）に記載の通りである。制御部９は、趣向情報生成部６が生成した趣向情報をデータベース等に記録させ、Ｓ１１８に進み、趣向推定処理を終了する。

Ｓ１２０では、制御部９が趣向推定処理を終了するか否かの判定を行い、終了する場合（例えば、ユーザがショッピングサイトからログアウトする場合）は、Ｓ１２２に進む。

Ｓ１２２では、制御部９が、データベース等に、ユーザが視認したが未購入である商品等についてのデータを記録させ、Ｓ１１８に進み、処理を終了する。

Ｓ１２０で、制御部９が趣向推定処理を終了しないと判定した場合（例えば、ユーザがショッピングサイトにログインしたままの場合）は、Ｓ１０４に戻り、処理を繰り返す。

＜実施形態２＞
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

〔情報処理装置（その２）〕
本実施形態に係る情報処理装置１００は、実施形態１に係る情報処理装置１００と同じ部を備え、各部が行う処理についても視認オブジェクト判定部５以外は同じである。視認オブジェクト判定部５については後述する。また、本実施形態に係る情報処理装置１００は、仮ＩＤを付与する仮ＩＤ付与部と、仮ＩＤと上記ユーザの意思決定情報とを照合する照合部とをさらに備える。

このように、仮ＩＤ付与部を備えることで、情報処理装置は、顔情報を一時的に他の顔情報と区別することができる。また、照合部をさらに備えることで、仮ＩＤとユーザの意思決定情報とを照合することができる。

実施形態１においては、ユーザがＥＣサービスを利用して商品を購入する形態について説明したが、本実施形態では、ユーザが実店舗で商品を購入する形態について説明する。

実施形態１においては、まずユーザの個人情報を取得する。これは、例えば、ショッピングサイトにおいて、ユーザがＩＤおよびパスワードを入力して、ショッピングサイトにログインすることに相当するが、実店舗では、ユーザが予めログインする場面は稀である。

本実施形態においては、例えば、意思決定情報を取得した後に、または意思決定情報と同時にユーザ情報を取得する。一例として、店舗内の商品の陳列棚等に撮像部を設置し、ユーザが商品を選んでいる際のユーザの視線、瞬き、瞳孔の状態、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動き等を検出できるようにする。ユーザ情報が取得されるまでは、例えば、ユーザには仮ＩＤ付与部（不図示）が仮のＩＤを付与しておき、ユーザが視認している商品の情報等を仮ＩＤ情報として、キャッシュメモリ等に格納してもよい。ユーザがレジでクレジットカード等、ユーザ情報が紐付けられている媒体を使用して意思決定を行った際に、初めて意思決定情報およびユーザ情報が取得されることになる。例えば、レジにも撮像部を設置しておき、陳列棚の撮像部と、レジの撮像部とを同期させた上で、どの仮ＩＤのユーザが意思決定を行ったか判定し、照合部が、仮ＩＤ情報とユーザの意思決定情報とを、またはユーザ情報とを照合してもよい。

なお、仮ＩＤのユーザが、現金で意思決定を行った場合等、ユーザ情報と照合できない方法で意思決定を行った場合は、仮ＩＤ情報を破棄してもよい。

〔情報処理装置の趣向推定処理例２〕
図１０のフローチャートに基づき、情報処理装置１００の趣向推定処理について説明する。

まず情報処理装置の使用を開始する（Ｓ２００）。例えば、ユーザが、陳列棚の前に立ち、陳列棚の撮像部がユーザの存在を認識したときを開始とすればよい。Ｓ２０２に進む。

Ｓ２０２では、顔情報取得部２が、ユーザの顔画像を撮像部から取得し、顔画像から目の部分を抽出する。処理の詳細は、＜実施形態１＞の（顔情報取得部）に記載の通りである。顔情報取得部２は、抽出したデータを仮ＩＤ付与部に送信し、Ｓ２０４に進む。

Ｓ２０４では、仮ＩＤ付与部が顔情報取得部２から取得したデータに仮ＩＤを付与する。仮ＩＤ付与部は、仮ＩＤを付与した顔情報のデータを状態検出部４に送信し、Ｓ２０６に進む。

Ｓ２０６では、状態検出部４が、ユーザの視線、瞬き、瞳孔の状態、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きを検出する。処理の詳細は＜実施形態１＞の（状態検出部）に記載の通りである。状態検出部４は、検出結果を視認オブジェクト判定部５に送信し、Ｓ２０８に進む。

Ｓ２０８では、視認オブジェクト判定部５が、ユーザの視認する陳列棚の商品、および商品を視認しているときの集中度を判定する。本実施形態に係る視認オブジェクト判定部は、例えば、陳列棚に並ぶ商品の配置と、ユーザの視線の位置座標とを照合して、判定を行う。視認オブジェクト判定部５は、判定した結果を、趣向情報生成部６に送信し、Ｓ２１０に進む。

Ｓ２１０では、仮ＩＤのユーザが、ユーザ情報が特定できる媒体で意思決定を行った否かを判定し、ユーザ情報が特定できる媒体で意思決定を行った場合は、Ｓ２１２に進む。また、仮ＩＤのユーザが何も商品を購入しなかった場合、またユーザ情報が特定できない媒体で意思決定を行った場合は、Ｓ２２２に進む。

Ｓ２２２では、仮ＩＤのユーザのユーザ情報が特定できないため、一時的にキャッシュとして記録されていた仮ＩＤ情報は破棄され、Ｓ２１８に進む。

Ｓ２１２では、意思決定情報取得部３が、仮ＩＤのユーザが購入した商品等の情報を取得すると共に、ユーザ情報取得部１が、仮ＩＤのユーザが使用したクレジットカード等から個人情報を取得し、Ｓ２１６に進む。Ｓ２１２では、意思決定情報取得部３が、ユーザ情報取得部１を兼ねて、仮ＩＤのユーザの購入情報と、ユーザ情報とを取得してもよい。

Ｓ２１６では、制御部９が、仮ＩＤ付与部から取得した仮ＩＤのユーザ情報（ユーザの視認オブジェクト及び集中度）と、ユーザ情報取得部１から取得したユーザ情報とを照合する。すなわち、仮ＩＤのユーザの個人情報が特定される。照合された結果は、趣向情報生成部６に送信され、Ｓ２１７に進む。

Ｓ２１７では、趣向情報生成部６が、仮ＩＤのユーザ情報と、ユーザ情報取得部１から取得したユーザ情報とが照合された結果を参照して、趣向情報を生成する。処理の詳細は、（趣向情報生成部）に記載の通りである。制御部９は、趣向情報生成部６が生成した趣向情報をデータベース等に記録させ、Ｓ２１８に進み、処理を終了する。

Ｓ２１８では、制御部９が、データベース等に、ユーザが視認したが未購入である商品等についてのデータを記録させ、Ｓ２２０に進み、処理を終了する。

また、趣向情報を生成した後、＜実施形態１＞の（提案部）および（評価部）に記載の提案および評価を行ってもよい。

〔変形例〕
実施形態１及び２では、個人情報を取得した特定ユーザの趣向情報のみを生成し、該特定ユーザへ情報を提案し、提案の結果を評価する形態であるが、本変形例においては、対象ユーザは、特定ユーザに加え、個人情報未取得の不特定多数のユーザも対象とする。

例えば、実施形態２の図１０のフローチャートのＳ２２２において、ユーザ情報と紐付けられなかった仮ＩＤ情報は破棄されるが、本変形例ではユーザ情報と紐付けられなかった仮ＩＤ情報は、個人を特定しない統計データとしてデータベース等に記録および蓄積させ、該統計データを利用してもよい。

このように、仮ＩＤ情報が記録され、利用されることにより、ユーザの趣向に合わせた提案のみならず、ユーザと同じ商品を購入した他のユーザが、どのような商品を購入しているか、人気の商品は何か、といった付加情報が各ユーザに提案されることが可能である。

以上のように、本実施形態に係る情報処理方法は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得ステップ（Ｓ２１２）と、上記ユーザの顔情報を取得する顔情報取得ステップ（Ｓ２０２）と、上記顔情報取得ステップにおいて取得した顔情報から上記ユーザの状態を検出する状態検出ステップ（Ｓ２０６）と、上記状態検出ステップにおいて検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定ステップ（Ｓ２０８）と、上記ユーザの意思決定情報を取得する意思決定情報取得ステップ（Ｓ２１２）と、上記ユーザのユーザ情報と、上記視認オブジェクト判定ステップにおける判定結果と、上記意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成ステップ（Ｓ２１７）と、を含んでいる。

ここで、ユーザ情報取得ステップ（Ｓ２１２）は、本実施形態において上述のように、ステップＳ２０２〜Ｓ２１０の後に行われてもよいし、ステップＳ２０２〜Ｓ２１０の途中で行われてもよいし、実施形態１のようにステップＳ２０２〜Ｓ２０８の前に行われてもよい。

＜実施形態３＞
〔情報処理装置（その３）〕
本実施形態に係る情報処理装置１００は、趣向情報生成部６で生成された趣向情報と、表示情報とに基づき、表示部１２に表示する表示情報を変更する。

このような構成により、ユーザは自身の趣向に最適化された情報を取得することができる。

本実施形態に係る情報処理装置１００は、実施形態１に係る情報処理装置１００の各部に加え、表示情報変更部１３をさらに備える。図１１は、本実施形態に係る情報処理装置１００の構成要素を示すブロック図である。表示情報変更部１３以外の各部が行う処理は、実施形態１に記載の処理と同じである。

（表示情報変更部）
表示情報変更部１３は、趣向情報生成部６で生成された趣向情報に基づき、表示部１２に表示させる表示情報の変更を行う。また、表示情報変更部１３は表示情報を更に参照して表示情報の変更を行う。表示部１２表示されている画像を示す画像情報、及び、該画像の座標等を示すレイアウト情報等が含まれる。表示情報は、ソースコード、ブラウザおよびＯＳから取得することができる。また、情報の変更とは、特に限定されないが、一例として、表示部１２に表示させる商品画像のレイアウトの変更である。表示情報変更部１３は、変更した表示情報を表示部１２に送信する。

これにより、各ユーザの趣向情報に基づいたレイアウト等を各ユーザに提供することができる。

（表示部）
表示部１２は、表示情報変更部１３から受信した変更された表示情報を表示する。

〔処理の具体例〕
本実施形態の表示情報変更部１３及び表示部１２が行う処理の具体例を説明する。図１２は、パソコンの表示部１２を示す。図１２（ａ）は表示が変更される前の表示部１２を示し、表示部１２は、商品ａ〜ｆの画像を表示している。

ここで、例えば、商品ａ〜ｆの中で、ユーザの興味の強い商品がｄ、ｅ、ｆであるという趣向情報を、趣向情報生成部６が生成したとする。表示情報変更部１３は、現在表示されている図１２（ａ）の表示情報と、趣向情報生成部６が生成した趣向情報に基づき、商品ａ〜ｃの画像の位置と、商品ｄ〜ｆの画像の位置とを入れ替えることによってレイアウトが変更された表示情報を生成する。表示部１２は、表示情報変更部１３から取得した変更された表示情報に基づき、図１２（ｂ）のような表示をさせる。すなわち、表示情報変更部１３は、表示される画面の中で、最も目立つ場所に商品ｄ、ｅ、ｆの画像を配置し、表示させる。なお、レイアウトの変更は、この形態に限定されず、商品画像の上下の入れ替え、左右の入れ替え等が挙げられる。また、趣向情報生成部６の趣向情報に基づき、ユーザの興味が強い順に１つずつ画像を並べ替えてもよい。

表示部１２の表示情報が変更されるタイミングは、特に限定されないが、例えば、ユーザがショッピングサイト等から一度ログアウトをし、次に同じサイトにログインした場合に変更される。また、ユーザがショッピングサイトにログインしている状態において、ウェブページが更新されるタイミングでもよい。

上記の説明では、表示情報変更部１３による表示情報の変更処理として、表示情報に含まれるレイアウト情報の変更を例に挙げたが、本実施形態はこれに限定されるものではない。表示情報の変更の他の例として、ユーザの興味の強い商品の画像を強調表示する構成が挙げられる。具体的は強調表示の例として、
・当該商品の画像を枠囲みする
・当該商品の画像の周辺の背景色を変更する
・当該商品の画像を、他の商品よりも大きく表示する
・当該商品の画像をポップアップウィンドウとして表示する
等が挙げられる。

＜実施形態４＞
本実施形態に係る情報処理装置は、学習支援装置である。学習支援装置の形態としては、例えばＥラーニングを実施する装置が挙げられる。本実施形態において、情報処理装置は、複数の選択問題に解答する学習者の推定理解度を生成する。

本実施形態において、趣向情報生成部６が生成する趣向情報は、ユーザの推定理解度である。ここで、推定理解度とは、ユーザが最終的に選択した解答の正否のみではなく、ユーザが該解答に至るまでの過程も考慮した上で、ユーザの理解度を推定するための度合いである。

これにより、ユーザの推定理解度を好適に生成することができる。

図１３は、本実施形態に係る情報処理装置が表示する問題文及び解答選択肢の一例である。学習者は、図１３のように、表示された問題文を読み、解答の選択肢を読んだ上で、正解だと思う選択肢を選択する。このような選択式の問題では、学習者が、最終的に正解である選択肢を選択した場合であっても、学習者が本当にその問題を理解した上で正解したとは限らない。複数の選択肢で迷った結果、偶然正解する場合もあれば、問題文を読まずにある選択肢を選択した結果、偶然正解する場合もある。本実施形態に係る情報処理装置は、学習者が最終的に選択した解答の正否のみではなく、学習者が該解答に至るまでの過程も考慮した上で、学習者の推定理解度を出力する。このように、推定理解度を出力することで、学習者本人、又は、学習者を指導する第三者が、該学習者の理解度を正確に知ることができる。

本実施形態に係る情報処理装置は、実施形態１と同じく、ユーザ情報取得部１と、顔情報取得部２と、状態検出部４と、視認オブジェクト判定部５と、意思決定情報取得部３と、趣向情報生成部６とを備えている。

ユーザ情報取得部１は、予め登録された学習者をユーザとして、該ユーザの情報を取得する。

顔情報取得部２は、ユーザの顔情報を取得する。

状態検出部４は、顔情報取得部２が取得したユーザの顔情報から上記ユーザの状態を検出する。検出方法は、実施形態１の状態検出部４と同じ判定方法を用いればよく、例えば、オブジェクトを視認した時間（「視線」）、１分あたりの瞬きの回数（「瞬き」）、瞳孔の開閉（「瞳孔の状態」）等を検出する。

視認オブジェクト判定部５は、状態検出部４が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する。オブジェクトの判定方法は、実施形態１の視認オブジェクト判定部５の判定方法と同じ方法を用いればよい。本実施形態において、ユーザが視認しているオブジェクトとは、ユーザが視認している問題文及び解答の選択肢である。

意思決定情報取得部３は、上記ユーザの意思決定情報を取得する。本実施形態において、意思決定情報とは、解答者が選択した解答の番号である。より一般的に言えば、意思決定情報とは、ユーザの意思を反映する意思決定情報である。

趣向情報生成部６は、ユーザ情報取得部１から取得したユーザ情報、視認オブジェクト判定部５から取得した判定結果、および意思決定情報取得部３から取得した意思決定情報を参照して、学習者の推定理解度を生成する。一例として、視認オブジェクト判定部５が、学習者が何度も視線を向けていると判定したオブジェクト、すなわち、何度も読み返している解答の選択肢について、趣向情報生成部６は、学習者が正解の候補として迷った選択肢であると判定し、推定理解度を生成する。

趣向情報生成部６が生成する情報について説明する。図１５は、趣向情報生成部６が生成する情報の一例である。図１５において、「ＩＤ」は、学習者を識別するための情報、「選択番号」は、各ＩＤの学習者が実際に選択した選択肢の番号、「正否」は、解答の正否である。「迷った選択肢」とは、視認オブジェクト判定部５において、学習者が視認していたと判定された選択肢であり、「迷わなかった選択肢」とは、学習者がそれほど視認していなかったと判定された選択肢である。「推定理解度」は、「正否」、「迷った選択肢」及び「迷わなかった選択肢」を総合的に判定し、学習者の理解度を５段階で示した結果である。

図１５において、問題に正解した、学習者Ａ、Ｃ及びＤの推定理解度について説明する。学習者Ａ、Ｃ及びＤは、何れも正解である選択肢ａを選択したが、選択肢ａを選択するに至った過程が異なる。

学習者Ａは、選択肢ａ以外に、選択肢ｂ及びｃも視認していたため、学習者Ａは、選択肢ａ、ｂ及びｃで迷ったといえる。逆に、学習者Ａは、選択肢ｄについては、それほど視認していなかったため、選択肢ｄを一読した上で正解の候補から除外していた可能性が高いといえる。このことより、学習者Ａは、選択肢ｄを正解の候補から除外するだけの理解度はあったと趣向情報生成部６が判定し、中程度の理解度として推定理解度３を生成する。

学習者Ｃは、問題文及び選択肢を一読した上で、選択肢ａのみを視認し、選択肢ａを正解として選択した。このことより、学習者Ｃは、理解度が高いと趣向情報生成部６が判定し、推定理解度５を生成する。

学習者Ｄは、選択肢ａ以外に、選択肢ｂ、ｃ及びｄも視認していたため、学習者Ａは、選択肢全てで迷ったといえる。このことより、学習者Ｄは、最終的に正解の選択肢を選択したが、全ての選択肢で迷ったことから、偶然正解した可能性が高く、理解度はそれほど高くないと趣向情報生成部６が判定し、推定理解度２を生成する。

また、問題に不正解であった、学習者Ｂ及びＥの推定理解度についても同様に判定される。例えば、学習者Ｂは、不正解であったが、選択肢ａ及びｂで迷い、その他の選択肢では迷わなかったことから、選択肢ａ及びｂまで絞り込むまでの理解度は備えていたと趣向情報生成部６は判定し、推定理解度４を生成する。また、学習者Ｅは、全ての選択肢で迷った挙句、結局不正解であったため、理解度が低いと趣向情報生成部６が判定し、推定理解度１を生成する。

趣向情報生成部６は、生成した推定理解度を可視化したオブジェクトを含む表示データを外部の表示装置へ出力してもよい。表示データの一例として、グラフが挙げられる。

図１４は、問題文５つに解答した、ある学習者の推定理解度を棒グラフに示したものである。このようにグラフで示すことにより、推定理解度を一目で把握することができる。可視化の方法は、限定されず、レーダチャート等を用いてもよい。また、図１４は、１人の学習者の推定理解度を示しているが、同じ問題を解いた複数の学習者の平均の推定理解度等を併せて表示してもよい。

これにより、ユーザの趣向情報を一目で把握することができる。本実施形態においては、学習者の推定理解度を可視化することができる。

本実施形態に係る情報処理装置は、例えば、以下の事項をさらに判定して、推定理解度を生成してもよい。

問題文及び解答の選択肢の文全体を一読するのに最低限必要であるとされる閾値の時間より短い時間で解答した場合は、そもそも学習者が問題文及び選択肢の文を読まずに解答した可能性が高く、理解した上での解答ではないといえる。この場合、趣向情報生成部６は、推定理解度を下げる等の処理を行ってもよい。

また、解答の選択肢に重みづけをした上で、学習者が複数の選択肢を解答の候補として迷った場合に、その選択肢の重みを推定理解度に反映させてもよい。例えば、事前に学習をしたはずの学習者なら通常選び得ない解答の選択肢が解答の候補とされた場合、趣向情報生成部６は、推定理解度を下げる等の処理を行ってもよい。

提案部７は、趣向情報生成部６から取得した趣向情報に基づいた提案情報をユーザに提案する。本実施形態において、提案情報とは、例えば、趣向情報生成部６が生成する趣向情報に含まれる、各学習者における解答済みの複数の問題のうち推定理解度が低い問題について学習者に復習させるための情報である。復習させるための情報とは、具体的には、推定理解度が低い問題を学習者に理解させるための解説等である。復習させるための情報とは、さらに具体的には、「英文法の過去完了形についての理解が低いようです。」、「教科書１０ページから１３ページを再度復習してください。」等のメッセージであってもよい。

提案情報の提案の方法として、例えば、学習者が所定の複数の問題を解き終わった後、解答の正誤を確認する画面において、提案部７が提案情報を表示部に表示してもよい。また、提案部７は、メール、ソーシャルネットワークサービス（ＳＮＳ）およびインスタントメッセージ（ＩＭ）等の通信手段を用いて、生成した提案情報を学習者に送信してもよい。

このように、提案部７が提案情報を学習者に提案することで、学習者は、自身の推定理解度に基づいた情報を享受することができる。

評価部８は、ユーザが提案情報を視認したか否かを判定してもよい。ユーザが提案情報を視認したか否かの判定は、例えば、学習者に提案した、問題を復習させるための情報を表示した画面を、学習者が視認したか否かの情報を評価部８が参照することにより判定してもよい。学習者が視認したか否かの情報は、例えば、視認オブジェクト判定部５より取得する。視認オブジェクト判定部５は、例えば、実施形態１の（視認オブジェクト判定部）で記載の処理を行えばよい。

また、評価部８は、上述の判定の結果に基づいて評価を行ってもよい。ここで、評価とは、例えば、学習者へ提案した、問題を復習させるための情報（提案情報）が適当であったかの評価である。一例として、評価部８は、問題を復習させるための情報を視認した学習者が、再度問題を解くためのサイトにログインしたか、実際に問題を解いたか等の情報を参照することにより評価を行う。評価部８は、問題を復習させるための情報を視認した学習者が、再度問題を解いた際に、該学習者の成績が向上したか否かの情報等を、さらに考慮して評価を行ってもよい。一例として、問題を復習させるための情報を提案した全学習者の人数における、再度問題を解いた学習者の人数の割合を評価値としてもよい。

＜実施形態５＞
本実施形態の情報処理装置１００は、他の端末装置と趣向情報の共有を行う。図１６は、情報処理装置１００の構成要素を示すブロック図である。図１６に示すように、本実施形態に係る情報処理装置１００は、ユーザ情報取得部１、顔情報取得部２、意思決定情報取得部３、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、提案部７、評価部８、表示部１２、趣向共有依頼送信部２０、趣向共有依頼受信部２１、趣向共有依頼承認部２２及び趣向共有部２３を備える。趣向共有依頼送信部２０、趣向共有依頼受信部２１、趣向共有依頼承認部２２及び趣向共有部２３以外の部材の機能は、実施形態１で説明した部材の機能と同じであるため、その説明を省略する。

図１７は、本実施形態に係る情報処理システムの概要を示す図である。図１７に示すように本実施形態に係る情報処理システムは、サーバ３００と、複数の情報処理装置１００の一例としての複数の端末装置（１０、１０ａ）とを備えている。

趣向共有依頼送信部２０は、サーバ３００を介して他の端末に、趣向情報の共有を依頼するための情報を送信する。

趣向共有依頼受信部２１は、サーバ３００を介して他の端末の趣向共有依頼送信部から、趣向情報の共有を依頼する依頼情報を受信する。趣向共有依頼受信部２１は、受信した情報を趣向共有依頼承認部へ通知する。

趣向共有依頼承認部２２は、趣向共有依頼受信部２１から受信した情報に基づき、趣向情報を他の端末に送信することを承認する。より具体的には、趣向共有依頼承認部２２は、趣向共有依頼受信部２１から受信した情報に基づき、趣向情報を他の端末に送信してもよいか、ユーザに認可を求める通知を表示部に表示させ、ユーザからの操作を受け付ける。趣向共有依頼承認部２２は、ユーザからの操作入力が「承認」を示すものである場合、趣向情報を他の端末に送信することを承認する。

表示部に表示させる表示内容の１つの例として、例えば下記のようなメッセージが挙げられる。即ち、「Ａさんからお店の情報共有のリクエストが届いています！あなたの趣向情報をＡさんと共有してもよいですか？」。

趣向共有部２３は、趣向共有依頼承認部２２の承認に基づき、趣向情報生成部６から取得した趣向情報を、サーバ３００を介して他の端末装置へ送信する。

上述のように、趣向共有依頼送信部２０は、サーバ３００を介して他の端末に、趣向情報の共有を依頼する依頼情報を送信する。

また、趣向共有部２３は、サーバ３００を介して他の端末から趣向情報を受信し、他の端末からの趣向情報と、趣向情報生成部６から取得した趣向情報とを参照して、共有趣向情報を生成する。趣向共有部２３は、生成した共有趣向情報の少なくとも一部を表示部１２に表示させる。具体的には、両者の趣向情報を端末装置に表示させてもよいし、他の端末からの趣向情報のみを自身の端末装置に表示させてもよい。また、両者の趣向情報と、他の端末からの趣向情報のみとを、ユーザの操作等によって適宜切り換えて表示させてもよい。このような構成により、ユーザは、他の端末のユーザである相手の趣向情報を知ることができる。また、自分の趣向情報と、相手の趣向情報とを考慮した両者の趣向情報を知ることができる。

サーバ３００は、上述した趣向情報の共有を依頼するための情報を、送信元の端末装置の端末ＩＤ又はユーザＩＤ、及び、送信先の端末装置の端末ＩＤ又はユーザＩＤと関連付けて管理している。また、サーバ３００は、「趣向情報」を、当該趣向情報の取得元の端末装置の端末ＩＤ又はユーザＩＤ、及び当該趣向情報を共有可能な端末装置の端末ＩＤ又はユーザＩＤと関連付けて管理している。

一例として、飲食店の趣向情報を共有する場合を説明する。ユーザＡ及びユーザＢが、二人で利用する飲食店を選択する際、ユーザＡと、ユーザＢとが、お互いの飲食店に関する趣向情報を共有することで、お互いの趣向が最も近い、又は同じ飲食店を選択することができる。

例えば、ユーザＡの端末装置の趣向共有依頼送信部は、ユーザＢの端末装置にユーザＢの飲食店の趣向情報の共有を依頼するための情報を送信する。ユーザＢの端末装置の趣向共有依頼受信部２１は、ユーザＡの趣向共有依頼送信部から受信した情報を趣向共有依頼承認部２２へ通知し、ユーザＢの端末装置の表示部に、趣向情報を他の端末に送信してもよいか、ユーザＢに認可を求める通知をさせる。ユーザＢが、認可をするための入力を行うことで、趣向共有依頼承認部２２は、趣向共有部２３に認可されたことの情報を送信する。趣向共有部２３は、趣向情報生成部６から趣向情報を取得し、ユーザＡの端末装置へ趣向情報を送信する。また、趣向情報生成部６は、ユーザＡの端末装置から趣向情報を取得し、ユーザＡ及びユーザＢの趣向情報に基づき、二人の趣向情報を生成し、生成した結果を表示部１２に表示させる。

図１８は、ユーザＡ及びユーザＢの趣向情報を表示した一例である。例えば、ユーザＡの趣向情報及びユーザＢの趣向情報のうち、両方に含まれていた店舗は、両者の共通する趣向情報として上位に表示する。図１８では、例えば、ブラウザ画面１６において、上段に表示されている店舗Ｙ、Ｐ、Ｘ及びＣは、ユーザＡ及びユーザＢの共通の好みである店舗である。また、ブラウザ画面１６がユーザＡの端末装置の表示部１２に表示されている場合、ユーザＡの端末装置の表示部１２には、ユーザＢの好みの店舗のみが表示されていてもよい。

このように、本実施形態では、ユーザＡ及びユーザＢの共通する趣向情報を共有趣向情報と称する。

本実施形態の情報処理装置１００は、表示情報変更部をさらに備えてもよく、表示部のレイアウトを適宜変更してもよい。表示情報変更部の処理は、実施形態３に記載の表示情報変更部の処理と同じである。

また、本実施形態の情報処理装置１００は、アバター画像生成部をさらに備えてもよい。アバター画像生成部の機能は、実施形態１で記載したアバター画像生成部と同じ働きであればよいが、本実施形態において、アバター画像生成部は、生成したアバター画像を、例えば、ユーザ自身が見ることが出来るように、該ユーザの端末装置の表示部１２に表示してもよいし、趣向共有部２３を介して、他の端末装置へ送信してもよい。すなわち、複数ユーザの間で、趣向情報と共にアバター画像を共有してもよい。

このように、アバター画像生成部がアバター画像を生成することにより、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報を可視化することができる。また、複数のユーザの間でアバター画像を共有することで、端末装置の表示部を見ながらもユーザ同士の親近感を増すことが可能となる。

趣向情報を共有する端末の数は、特に限定されず、３つ以上の端末装置の間で共有されてもよい。

本実施形態では、端末装置が、趣向情報生成部６及び趣向共有部２３を備えており、複数の端末装置同士で趣向情報を共有する形態であったが、この形態に限定されない。図１７に示す例において、サーバ３００が、趣向情報生成部６及び趣向共有部２３を備え、サーバを経由して、複数のユーザがお互いの趣向情報を共有し、複数人の趣向情報を生成する形態であってもよい。

サーバが趣向情報生成部６を備える構成については、実施形態６で説明する。

＜実施形態６＞
本実施形態に係る情報処理装置について、図１９を用いて説明する。図１９は、本実施形態に係る情報処理装置４００を備える端末装置１０及び本実施形態に係る情報処理装置であるサーバ２００の構成要素を示すブロック図である。

端末装置１０は、ユーザのユーザ情報、顔情報及び意思決定情報を取得し、取得した情報をサーバ２００に送信し、サーバ２００は受信した情報を参照して趣向情報を生成する。サーバ２００は、生成した趣向情報を端末装置１０に送信し、端末装置１０は、趣向情報を取得する。

図１９に示すように、本実施形態に係る情報処理装置４００は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部１、ユーザの顔情報を取得する顔情報取得部２、ユーザの意思決定情報を取得する意思決定情報取得部３、ユーザのユーザ情報と、ユーザの顔情報と、ユーザの意思決定情報とを参照して得られる趣向情報を取得する趣向情報取得部２４及び表示部１２を備えている。本実施形態では、ユーザ情報取得部１、顔情報取得部２、意思決定情報取得部３、および趣向情報取得部２４を合わせて情報処理装置４００と称する。

このような構成により、本実施形態に係る端末装置１０は、ユーザの趣向情報を取得することができる。

ユーザ情報取得部１、顔情報取得部２、及び意思決定情報取得部３は、実施形態１と同じく、それぞれ、ユーザ情報、ユーザの顔情報、及びユーザの意思決定情報を取得する。

ユーザ情報には、ユーザの属性情報が含まれ、具体的なユーザの属性情報は、実施形態１で記載の属性情報と同じである。

また、上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれ、具体的なユーザの識別情報は、実施形態１で記載の識別情報と同じである。

このように、ユーザ情報に、ユーザ識別情報が含まれることで、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

本実施形態では、図１９に示すように、ユーザ情報取得部１、顔情報取得部２、及び意思決定情報取得部３が、取得した情報を、サーバ２００に送信する点で、実施形態１とは異なる。

また、趣向情報取得部２４は、サーバ２００から趣向情報を取得し、取得した結果を表示部１２に表示させる。

図１９に基づき、サーバ２００について説明する。本実施形態に係るサーバ２００は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部１ａと、上記ユーザの顔情報を取得する顔情報取得部２ａと、上記ユーザの意思決定情報を取得する意思決定情報取得部３ａと、上記ユーザのユーザ情報と、上記ユーザの顔情報と、上記ユーザの意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部６ａと、を備えている。

このような構成により、サーバ２００は、ユーザの趣向情報を好適に生成することができる。

図１９に示すように、また、本実施形態に係るサーバ２００は、趣向情報を送信する送信部１９をさらに備えている。

サーバ２００が備えるユーザ情報取得部１ａ、顔情報取得部２ａ、及び意思決定情報取得部３ａは、端末装置１０内のユーザ情報取得部１、顔情報取得部２、及び意思決定情報取得部３から、それぞれユーザ情報、顔情報及び意思決定情報を受信し、受信した情報を趣向情報生成部６ａに送信する。

趣向情報生成部６ａは、受信したユーザ情報、顔情報及び意思決定情報を参照することにより、ユーザの趣向情報を生成する。趣向情報生成部６ａの具体的な動作は、実施形態１において説明した趣向情報生成部６と同様であるが、本実施形態に係るサーバ２００の趣向情報生成部６ａは、状態検出部４ａ、及び視認オブジェクト判定部５ａを備え得る。ここで、状態検出部４ａ及び視認オブジェクト判定部５ａは、実施形態１において説明した状態検出部４及び視認オブジェクト判定部５と同様である。

このように、状態検出部と、視認オブジェクト判定部とを備えることで、サーバ２００は、ユーザの状態を検出できると共に、ユーザが視認しているオブジェクトを好適に判定することができる。

なお、ユーザの状態を検出する状態検出部４ａと、ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部５ａは、本実施形態に係る端末装置１０が備える構成としてもよい。

このように、状態検出部４ａと、視認オブジェクト判定部５ａとを備えることで、端末装置１０は、ユーザの状態を検出できると共に、ユーザが視認しているオブジェクトを好適に判定することができる。

視認オブジェクト判定部５ａは、実施形態１に係る視認オブジェクト判定部５と同様に、上記ユーザが閲覧しているページの配置情報をさらに参照して、ユーザが視認しているオブジェクトを判定する。

このようにオブジェクト判定部が、ページの配置情報をさらに参照することで、ユーザがページ上のどのオブジェクトを視認しているか、正確に判定することができる。

情報処理装置１００は、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部（不図示）を更に備えてもよい。また、視認オブジェクト判定部は、画像取得部が取得した撮像画像と、上記状態検出部が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定してもよい。

画像取得部および視認オブジェクト判定部の機能は、実施形態１で記載の画像取得部１５および視認オブジェクト判定部５の機能と同じである。

これにより、ユーザが視認しているオブジェクトを好適に判定することができる。

状態検出部４ａが検出するユーザの状態は、実施形態１に係る状態検出部４に、ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つであり、視認オブジェクト判定部は、上記検出の結果に基づき、上記ユーザの集中度を判定する。

このように、状態検出部がユーザの状態を検出することで、ユーザの集中度を好適に判定することができる。

また、本実施形態に係る情報処理装置４００は、趣向情報取得部２４が取得した趣向情報を参照して、提案情報をユーザに提案する提案部と、上記ユーザが、上記提案情報に基づく商品を購入したか否かを判定し、該判定の結果に基づく評価を行う評価部と、をさらに備え得る。

提案部及び評価部の機能は、実施形態１で記載の提案部及び評価部の機能と同じである。

このように、情報処理装置４００が、提案部を備えることで、ユーザは、自分の趣向に基づいた提案情報を取得することができる。また、情報処理装置４００が、評価部を備えることで、ユーザへの提案情報の提案の方法が適当であったか否かを評価することができる。

ここで、趣向情報は、実施形態１と同様に、ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

このような構成により、趣向情報生成部６ａは、各ユーザの興味の度合いによって重みづけを行った趣向情報を生成し、趣向情報取得部２４が該趣向情報を取得することで、ユーザは、自身の趣向に基づいた趣向情報を取得することができる。

情報処理装置が、サーバであり、サーバが備える趣向情報生成部において趣向情報が生成される形態は、本実施形態に限定されず、上述した、実施形態１〜５にも適用され得る。

このように、サーバが趣向情報生成部を備えることで、例えば、ユーザが使用する端末装置が常に同じでなくても、該ユーザの趣向情報をサーバ上で生成することができるという効果を奏する。ユーザのユーザ情報、顔情報及び意思決定情報さえ取得出来れば、ユーザが、パソコン、タブレット、スマートフォンなどいずれの端末装置を使用した場合においても、該ユーザの趣向情報を安定して生成することができる。

また、サーバが趣向情報生成部を備えることは、実施形態５に記載の複数ユーザの趣向情報を共有する形態においては、特に有用である。複数ユーザの趣向情報を共有する場合、例えば、サーバが趣向共有部をさらに備えてもよい。このような構成により、複数ユーザの趣向情報をサーバ上で好適に生成することができる。

また、実施形態２に記載のユーザが実店舗で商品を購入する形態において、本実施形態において説明した端末装置１０及びサーバ２００の構成を適用する場合、当該サーバ２００は、顔情報に仮ＩＤを付与する仮ＩＤ付与部と、上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、をさらに備えてもよい。

このように、仮ＩＤ付与部を備えることで、サーバ２００は、顔情報を一時的に他の顔情報と区別することができる。

〔ソフトウェアによる実現例〕
情報処理装置１００の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導
体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ ユーザ情報取得部
２、２ａ 顔情報取得部
３、３ａ 意思決定情報取得部
４、４ａ 状態検出部
５、５ａ 視認オブジェクト判定部
６、６ａ 趣向情報生成部
７ 提案部
８ 評価部
１１ アバター画像生成部
１３ 表示変更部
１５ 画像取得部
２０ 趣向共有依頼送信部
２１ 趣向共有依頼受信部
２２ 趣向共有依頼承認部
２３ 趣向共有部
２４ 趣向情報取得部
１００、４００ 情報処理装置

Claims (32)

1. 登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、
   上記ユーザの顔情報を取得する顔情報取得部と、
   上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、
   上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、
   上記ユーザの意思決定情報を取得する意思決定情報取得部と、
   上記ユーザのユーザ情報と、上記視認オブジェクト判定部による判定結果と、上記意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、
   を備えていることを特徴とする情報処理装置。
2. 上記趣向情報を参照して提案情報を上記ユーザに提案する提案部をさらに備える請求項１に記載の情報処理装置。
3. 上記ユーザが、上記提案情報に基づく意思決定を行ったか否かを判定し、該判定の結果に基づく評価を行う評価部をさらに備える請求項２に記載の情報処理装置。
4. 上記趣向情報生成部により生成された上記趣向情報に基づき、表示部に表示させる表示情報の変更を行う表示情報変更部
   をさらに備える請求項１〜３の何れか１項に記載の情報処理装置。
5. 上記趣向情報は、ユーザの推定理解度である、請求項１〜４の何れか１項に記載の情報処理装置。
6. 上記趣向情報生成部は、
   上記推定理解度を可視化したオブジェクトを含む表示データを外部の表示装置へ出力することを特徴とする請求項５に記載の情報処理装置。
7. 上記状態検出部が検出する上記ユーザの状態、上記視認オブジェクト判定部が判定する上記ユーザが視認している上記オブジェクト、上記ユーザの感情、および上記趣向情報生成部から取得する上記趣向情報のうち少なくとも１つに応じたアバター画像を生成するアバター画像生成部
   をさらに備える請求項１〜６の何れか１項に記載の情報処理装置。
8. 上記視認オブジェクト判定部は、上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする、請求項１〜７の何れか１項に記載の情報処理装置。
9. ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部と、を更に備え、
   上記視認オブジェクト判定部は、
   上記画像取得部が取得した撮像画像と、
   上記状態検出部が検出した結果と、
   を参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
10. 上記ユーザ情報には、上記ユーザの属性情報が含まれる、請求項１〜９の何れか１項に記載の情報処理装置。
11. 上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる、請求項１〜１０の何れか１項に記載の情報処理装置。
12. 上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つであり、
    上記視認オブジェクト判定部は、上記検出の結果に基づき、上記ユーザの集中度を判定することを特徴とする、請求項１〜１１の何れか１項に記載の情報処理装置。
13. 上記趣向情報生成部が生成する上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である、請求項１〜１２の何れか１項に記載の情報処理装置。
14. 上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、
    上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、
    をさらに備える請求項１〜１３の何れか１項に記載の情報処理装置。
15. 他の情報処理装置から、上記趣向情報の共有を依頼する依頼情報を受信する趣向共有依頼受信部と、
    上記趣向共有依頼受信部が受信した情報に基づき、上記趣向情報を上記他の情報処理装置に送信することを承認する趣向共有依頼承認部と、
    上記趣向共有依頼承認部の承認に基づき、上記趣向情報生成部から取得した上記趣向情報を上記他の情報処理装置へ送信する趣向共有部と、
    をさらに備える請求項１〜１４の何れか１項に記載の情報処理装置。
16. 上記他の情報処理装置に上記趣向情報の共有を依頼する依頼情報を送信する趣向共有依頼送信部をさらに備え、
    上記趣向共有部は、上記他の情報処理装置から他の趣向情報を受信し、上記他の趣向情報と、上記趣向情報生成部から取得した上記趣向情報とを参照して、共有趣向情報をさらに生成することを特徴とする、請求項１５に記載の情報処理装置。
17. 請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、
    上記趣向情報生成部としてコンピュータを機能させるための情報処理プログラム。
18. 情報処理装置によって実行される情報処理方法であって、
    登録された特定のユーザのユーザ情報を取得するユーザ情報取得ステップと、
    上記ユーザの顔情報を取得する顔情報取得ステップと、
    上記顔情報取得ステップにおいて取得した顔情報から上記ユーザの状態を検出する状態検出ステップと、
    上記状態検出ステップにおいて検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定ステップと、
    上記ユーザの意思決定情報を取得する意思決定情報取得ステップと、
    上記ユーザのユーザ情報と、上記視認オブジェクト判定ステップにおける判定結果と、上記意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成ステップと、
    を含んでいることを特徴とする情報処理方法。
19. 登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、
    上記ユーザの顔情報を取得する顔情報取得部と、
    上記ユーザの意思決定情報を取得する意思決定情報取得部と、
    上記ユーザのユーザ情報と、上記ユーザの顔情報と、上記ユーザの意思決定情報とを参照して得られる趣向情報を取得する趣向情報取得部と
    を備えていることを特徴とする情報処理装置。
20. 上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、
    上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、
    をさらに備えていることを特徴とする請求項１９に記載の情報処理装置。
21. 上記視認オブジェクト判定部は、上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする、請求項２０に記載の情報処理装置。
22. ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部と、を更に備え、
    上記視認オブジェクト判定部は、
    上記画像取得部が取得した撮像画像と、
    上記状態検出部が検出した結果と、
    を参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする請求項２０または２１に記載の情報処理装置。
23. 上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つであり、
    上記視認オブジェクト判定部は、上記検出の結果に基づき、上記ユーザの集中度を判定することを特徴とする、請求項２０〜２２の何れか１項に記載の情報処理装置。
24. 上記趣向情報を参照して提案情報を上記ユーザに提案する提案部をさらに備える請求項１９〜２３の何れか１項に記載の情報処理装置。
25. 上記ユーザが、上記提案情報に基づく意思決定を行ったか否かを判定し、該判定の結果に基づく評価を行う評価部をさらに備える請求項２４に記載の情報処理装置。
26. 上記ユーザ情報には、上記ユーザの属性情報が含まれる、請求項１９〜２５の何れか１項に記載の情報処理装置。
27. 上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる、請求項１９〜２６の何れか１項に記載の情報処理装置。
28. 上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である、請求項１９〜２７の何れか１項に記載の情報処理装置。
29. 上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、
    上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、
    をさらに備える請求項１９〜２８の何れか１項に記載の情報処理装置。
30. 登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、
    上記ユーザの顔情報を取得する顔情報取得部と、
    上記ユーザの意思決定情報を取得する意思決定情報取得部と、
    上記ユーザのユーザ情報と、上記ユーザの顔情報と、上記ユーザの意思決定情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、
    を備えていることを特徴とする情報処理装置。
31. 上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である、請求項３０に記載の情報処理装置。
32. 上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、
    上記仮ＩＤと上記ユーザの意思決定情報とを照合する照合部と、
    をさらに備える請求項３０または３１に記載の情報処理装置。

Images