JP2015060580A - 情報処理システム、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】コストの増大やプライバシーの侵害を防ぎつつ、利用者が閲覧した広告を検出すること。【解決手段】本願に係る情報処理システム１は、ヘッドマウント装置１０を装着した利用者の視界に対応した画像を取得する。また、情報処理システムは１、取得された画像から、利用者が閲覧した広告を検出する。そして、情報処理システム１は、検出された広告の情報を利用者と対応付けて記憶する。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。

従来、広告を閲覧した人物と、広告と関連した店舗を利用した人物とのマッチングを行うことで、広告効果を測定する広告システムの技術が知られている。例えば、かかる広告システムは、カメラを設置した電子スクリーンを有し、電子スクリーンに表示された広告コンテンツを閲覧した人物の顔画像を取得する。また、広告システムは、広告コンテンツに関連する店舗に来店した人物の顔写真を取得する。

そして、広告システムは、広告コンテンツを閲覧した人物の顔写真と、店舗に来店した人物の顔写真とを照合して、広告コンテンツを閲覧して来店した人物の数を計数する。その後、広告システムは、広告コンテンツを閲覧して来店した人物の数に基づいて、広告の効果を評価する。

特開２００８−１０２１７６号公報

しかしながら、従来の技術では、広告コンテンツを表示する電子スクリーン等に、広告コンテンツを閲覧した人物の顔写真を撮影するカメラを設置するので、コストの増大や、プライバシーの侵害を招くという問題がある。

本願は、上記に鑑みてなされたものであり、コストの増大やプライバシーの侵害を防ぎつつ、利用者が閲覧した広告を検出することを目的とする。

本願に係る情報処理システムは、利用者の視界に対応した撮像画像を取得する画像取得手段を有する。また、情報処理システムは、前記撮像画像から、前記利用者が閲覧した広告を検出する広告検出手段を有する。また、情報処理システムは、検出された広告の情報を前記利用者と対応付けて記憶する記憶手段を有する。

実施形態の一態様によれば、コストの増大やプライバシーの侵害を防ぎつつ、利用者が閲覧した広告を検出できる。

図１は、実施形態に係る情報処理システムが発揮する機能の一例を説明する図である。 図２は、実施形態に係るヘッドマウント装置の機能構成の一例を説明する図である。 図３は、実施形態に係る識別サーバの機能構成の一例を説明する図である。 図４は、実施形態に係る広告データベースに格納された情報の一例を説明する図である。 図５は、実施形態に係る店舗データベースに格納された情報の一例を説明する図である。 図６は、実施形態に係る広告閲覧テーブルに格納された情報の一例を説明する図である。 図７は、実施形態に係る店舗利用テーブルに格納された情報の一例を説明する図である。 図８は、実施形態に係る処理サーバが店舗の検出を行なう処理を説明するための図である。 図９は、利用者が閲覧した広告を検出する処理の変形例を説明する図である。 図１０は、実施形態に係る情報処理システムが実行する検出処理の流れを説明するフローチャートである。 図１１は、実施形態に係る情報処理システムが実行するマッチングの流れを説明するフローチャートである。 図１２は、情報処理プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る評価装置、情報処理システム、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理システム、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理システム〕
まず、図１を用いて、実施形態に係る情報処理システムが実行する処理の一例について説明する。図１は、実施形態に係る情報処理システムが発揮する機能の一例を説明する図である。図１に示す例では、情報処理システム１は、ヘッドマウント装置１０、処理サーバ３０をインターネット等任意のネットワークで接続した形態を有する。なお、情報処理システム１は、他にも複数のヘッドマウント装置が含まれるものとする。

ヘッドマウント装置１０は、利用者の視界を撮影した撮像画像である主観画像を取得するウェアラブルデバイスである。例えば、ヘッドマウント装置１０は、眼鏡型のデバイスである。また、ヘッドマウント装置１０は、利用者の視野内に任意の情報を表示することができる。また、ヘッドマウント装置１０は、カメラを有しており、主観画像を撮影することができる。また、ヘッドマウント装置１０は、例えば、赤外線等を用いて、ユーザー＃１の眼球の動きを捉えており、ユーザー＃１が視野内のどの範囲を注視しているか、すなわち視線がどこを向いているかを判定することができる。

また、ヘッドマウント装置１０は、３Ｇ（Generation）、４Ｇ、ＬＴＥ（Long Term Evolution）、ＧＳＭ（登録商標）（Global System for Mobile Communications）等の無線通信網を介してネットワークに接続することができる。なお、ヘッドマウント装置１０は、ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Local Area Network）等の近距離無線通信を用いて、図示を省略した携帯電話等の端末装置に接続し、接続した端末装置を介してネットワークに接続してもよい。

また、ヘッドマウント装置１０は、同様の機能を発揮できる構成であれば、複数の装置を連携させて発揮させてもよい。例えば、ヘッドマウント装置１０は、主観画像を撮影する主観画像取得装置と、主観画像取得装置と近距離無線通信を行い、主観画像を処理サーバ３０へ送信する端末装置との組み合わせで実現してもよい。なお、かかる端末装置は、ヘッドマウント装置１０のように、利用者の視野内に画像を表示する機能を有していなくともよく、任意の情報を表示する画面を有していればよい。

ここで、ヘッドマウント装置１０は、以下の処理を実行する。まず、ヘッドマウント装置１０は、所定の時間間隔で、主観画像を取得する。また、ヘッドマウント装置１０は、利用者の視線が主観画像内のどこに向けられているかを示す視線情報を生成する。そして、ヘッドマウント装置１０は、主観画像と視線情報とを処理サーバ３０に送信する。なお、かかる処理は常時行われていてもよいが、所定の時間間隔で実行されても良い。

一方、処理サーバ３０は、ヘッドマウント装置１０から受信した主観画像から、所定の広告を検出する。ここで、広告とは、電子スクリーンや看板等、公共空間に設置された物体に表示された情報に限定されるものではない。例えば、広告には、コマーシャル等の動画、新聞や雑誌等に掲載された情報、商品の外観に掲載された情報、デジタルサイネージ、Ｗｅｂブラウザに表示されるバナー等の各種広告、マスコットキャラクターのマネキンやグッズ、広告の対象商品そのもの等が含まれる。

例えば、処理サーバ３０は、主観画像から広告を検出するための情報である広告検出用データを用いて、ヘッドマウント装置１０から受信した主観画像から、広告を検出する。なお、かかる広告検出用データとは、例えば、画像から特定の色、形状、模様等を認識するための特徴量ベクトル等であり、処理サーバ３０は、かかる特徴量ベクトルを用いた画像認識の技術を用いて、主観画像から広告の検出を行なう。なお、処理サーバ３０は、広告にＱＲコード（登録商標）や不可視なドットパターンが含まれており、かかるＱＲコードやドットパターンを用いて、広告を検出することができるのであれば、広告検出用データを用いずに広告を検出してもよい。

また、処理サーバ３０は、ヘッドマウント装置１０から受信した主観画像から広告を検出した場合は、ヘッドマウント装置１０の利用者が検出した広告を閲覧したと判定する。そして、処理サーバ３０は、かかる利用者が広告を閲覧した旨を記憶する。例えば、処理サーバ３０は、ヘッドマウント装置１０から受信した主観画像から広告を検出した場合は、ヘッドマウント装置１０の利用者の識別情報と、検出した広告の識別情報とを対応付けて記憶する。

なお、処理サーバ３０は、ヘッドマウント装置１０が取得した視線情報を用いて、利用者が広告を閲覧したか否かを判定しても良い。例えば、処理サーバ３０は、主観画像から広告を検出した場合は、主観画像のうち、検出した広告が含まれる領域を特定する。そして、処理サーバ３０は、特定した領域の範囲内に、視線情報が示す視線位置が含まれる場合は、利用者がかかる広告を閲覧したと判定してもよい。

また、処理サーバ３０は、連続して取得された複数の主観画像について、広告が含まれる範囲の特定と視線情報が示す視線位置の取得とを行い、視線情報が示す視線情報が所定の時間よりも長い間、特定した領域の範囲内に含まれる場合は、利用者が広告を閲覧したと判定しても良い。また、処理サーバ３０は、広告が含まれる領域を複数の領域に分割し、全ての領域に視線位置が含まれた場合は、利用者が広告を閲覧したと判定しても良い。また、処理サーバ３０は、利用者が、所定の期間の間に、異なる場所に掲載された同一種別の広告を一部ずつ閲覧した結果、かかる広告の全領域を利用者が閲覧した場合は、利用者が広告を閲覧したと判定しても良い。

続いて、処理サーバ３０は、主観画像から利用者が来店した店舗を検出するための情報である店舗検出用データを用いて、ヘッドマウント装置１０から受信した主観画像から、利用者が来店した店舗を検出する。なお、かかる店舗検出用データとは、例えば、画像から店舗の内装を検出するための特徴量ベクトルであり、処理サーバ３０は、かかる特徴量ベクトルを用いて、画像内から利用者が来店した店舗の検出を行う。なお、処理サーバ３０は、ＱＲコード等、店舗を識別する情報が店舗内に貼られている場合には、かかる情報を主観画像内から検出することで、ヘッドマウント装置１０の利用者が来店した店舗を検出してもよい。

また、処理サーバ３０は、ヘッドマウント装置１０から受信した主観画像から店舗を検出した場合は、ヘッドマウント装置１０の利用者が検出した店舗に来店したと判定する。そして、処理サーバ３０は、かかる利用者がかかる店舗に来店した旨を記憶する。例えば、処理サーバ３０は、ヘッドマウント装置１０から受信した主観画像から店舗を検出した場合は、ヘッドマウント装置１０の利用者の識別情報と、検出した店舗の識別情報とを対応付けて記憶する。

なお、処理サーバ３０は、利用者が店舗に来店したことを検出できるのであれば、任意の情報を店舗検出用データとして採用できる。例えば、処理サーバ３０は、店舗検出用データとして、顔認証を行なうためのデータを記憶し、かかるデータを用いて、主観画像から、店員の顔を検出する。そして、処理サーバ３０は、主観画像から店員の顔を検出した場合は、かかる店員が在籍する店舗に利用者が来店したと判断してもよい。

その後、処理サーバ３０は、利用者が閲覧した広告と、利用者が来店した店舗とのマッチングを行い、広告が、かかる広告と紐付けられた店舗に利用者を誘導したかを判定する。ここで、広告と紐付けられた店舗とは、例えば、広告に掲載された店舗、広告に係る商品の販売や役務の提供を行なう店舗等、広告と所定の関連性を有する店舗を言う。

また、処理サーバ３０は、広告により店舗に誘導された利用者の情報、利用者が来店した店舗の情報、または、広告により店舗に誘導された利用者の情報等を用いて、広告に関連する所定の処理を実行する。例えば、処理サーバ３０は、利用者が来店した店舗の情報から、ある店舗に来店した利用者の総数を計数する。そして、処理サーバ３０は、広告により店舗に誘導された利用者の数と、かかる店舗に来店した利用者の総数との比率に基づいて、広告の送客効果を算出する。

また、処理サーバ３０は、ある広告が店舗に誘導した利用者の情報に基づいて、かかる広告の広告料を課金してもよい。例えば、処理サーバ３０は、上述した処理を実行し、広告ごとに、各広告が店舗に誘導した利用者の数を算出する。そして、処理サーバ３０は、各広告が店舗に誘導した利用者の数に応じて、各広告に対する広告料を算出し、算出した広告料の課金を行なう。例えば、処理サーバ３０は、広告が店舗に誘導した利用者一人あたりの広告料と、広告が店舗に誘導した利用者の数との積を広告料として算出する。

かかる処理を行うことで、処理サーバ３０は、広告料の課金を効果的に行うことができる。なお、店舗に誘導した利用者の数に基づいて、広告料を課金する処理については、処理サーバ３０が実行する必要は無く、例えば、広告料を課金するシステムに対し、各広告が店舗に誘導した利用者の数を通知することで実現しても良い。

このように、情報処理システム１は、利用者の主観画像を取得し、取得した主観画像から広告の検出を行ない、検出した広告の識別情報と利用者の識別情報とを対応付けて記憶する。このため、情報処理システム１は、広告を閲覧した利用者の顔認証を行わずとも、広告を閲覧した利用者を特定できるので、プライバシーの侵害を防ぐことができる。また、情報処理システム１は、広告に、利用者の顔を撮影するカメラを設置せずともよいので、コストを削減することができる。

また、情報処理システム１は、カメラを設置することができる広告のみならず、雑誌や新聞等に掲載された広告や、商品そのもの等、カメラを設置することが困難な様態の広告についても、利用者が閲覧したか否かを特定することができる。この結果、情報処理システム１は、利用者が視認した任意の広告の効果を評価できる。

例えば、情報処理システム１は、街中で新型の車両を視認した利用者のうち、かかる車両の販売店舗を訪れた利用者の数、すなわち、広告により店舗に誘導された利用者の数から、新型車両そのものが有する広告効果を評価することができる。なお、情報処理システム１は、広告により店舗に誘導された利用者の年齢や性別等を考慮して、広告の効果を評価しても良い。例えば、情報処理システム１は、広告により店舗に誘導された利用者の年齢や性別に基づいて、かかる広告がどのような利用者に対して効果的な広告であるかを評価してもよい。

次に、情報処理システム１が実行する処理の流れについて説明する。なお、以下の説明では、情報処理システム１は、利用者の主観画像から広告が検出され、かつ、かかる広告と利用者の視線位置とが一致した際に、利用者が広告を閲覧したと判定するものとする。また、以下の説明では、広告に掲載された店舗を掲載店舗と記載する。

まず、ヘッドマウント装置１０は、図１中（Ａ）に示す主観画像と、図１中（Ｂ）に示す視線情報とを取得し、図１中（Ｃ）に示すように、主観画像と視線情報とを処理サーバ３０に送信する。ここで、図１中（Ａ）に示す例では、街頭に掲載された店舗の新規開店を知らせる広告が含まれているが、利用者の視線は、図１中（Ｂ）に示すように、主観画像のうち、広告が存在する領域内に含まれてない。かかる場合は、処理サーバ３０は、利用者が広告を閲覧していないと判定する。

一方、ヘッドマウント装置１０は、図１中（Ｄ）に示す主観画像と、図１中（Ｅ）に示す視線情報とを処理サーバ３０に送信する。ここで、図１中（Ｄ）に示す例では、電車の中吊り広告に、店舗の新規開店を知らせる広告が含まれており、利用者の視線は、図１中（Ｅ）に示すように、主観画像のうち、広告が存在する範囲に含まれている。かかる場合は、処理サーバ３０は、利用者が広告を閲覧したと判定し、図１中（Ｆ）に示すように、広告の識別情報である広告ＩＤ（Identifier）「広告＃１」と、ヘッドマウント装置１０の利用者の識別情報である利用者ＩＤ「利用者＃１」とを対応付けて記憶する。

また、ヘッドマウント装置１０は、利用者が掲載店舗に来店した際、図１中（Ｇ）に示す主観画像を取得し、図１中（Ｈ）に示すように、図１中（Ｇ）に示す主観画像を処理サーバ３０へ送信する。かかる場合、処理サーバ３０は、図１中（Ｇ）に示す主観画像から、掲載店舗の店員の顔認証を行うことで、利用者が掲載店舗に来店したか否かを判定する。ここで、図１中（Ｉ）に示すように、主観画像には、掲載店舗の店員の顔が含まれている。このため、処理サーバ３０は、主観画像から顔認証処理を実行し、店員の顔認証に成功した場合は、利用者が掲載店舗に来店したと判定する。そして、処理サーバ３０は、図１中（Ｊ）に示すように、利用者が来店した掲載店舗を識別情報である店舗ＩＤ「店舗＃１」と利用者ＩＤ「利用者＃１」とを対応付けて記憶する。

なお、処理サーバ３０は、図１中（Ｋ）に示すように、店舗ＩＤ「店舗＃１」を示すＱＲコード等が店舗内に表示されている場合、顔認証を行わずとも、利用者が掲載店舗に来店したか否かを判定することができる。このため、処理サーバ３０は、店舗を識別するＱＲコードを主観画像内から検出した場合は、検出したＱＲコードが示す店舗ＩＤ「店舗＃１」と利用者ＩＤ「利用者＃１」とを対応付けて記憶すればよい。

その後、処理サーバ３０は、図１中（Ｌ）に示すように、広告ＩＤと利用者ＩＤとの組、および、店舗ＩＤと利用者ＩＤとの組のマッチングを行い、来店した利用者のうち広告により店舗に誘導された利用者の数を算出する。例えば、広告ＩＤ「広告＃１」が示す広告が、店舗ＩＤ「店舗＃１」が示す店舗の広告であった場合は、処理サーバ３０は、利用者ＩＤ「利用者＃１」が示す利用者が、店舗ＩＤ「店舗＃１」の広告を閲覧して来店した利用者、すなわち、広告により店舗に誘導された利用者であると判定する。そして、処理サーバ３０は、算出した利用者の数に基づいて、広告の送客効果を評価する。

なお、処理サーバ３０は、利用者が広告を閲覧した時刻と、利用者が掲載店舗に来店した時刻とに応じて、利用者が広告により店舗に誘導された利用者であるかを判定してもよい。例えば、処理サーバ３０は、利用者が広告を閲覧する前にかかる広告の掲載店舗に来店していた場合は、広告により店舗に誘導された利用者ではないと判定しても良い。また、例えば、処理サーバ３０は、利用者が広告を閲覧した日時と、掲載店舗に来店した日時との差が閾値（例えば、数日程度）よりも大きい場合は、広告により店舗に誘導された利用者ではないと判定しても良い。

このように、情報処理システム１は、利用者の主観画像から広告の検出を行なう。また、情報処理システム１は、利用者の主観画像から、利用者が来店した店舗の検出を行う。そして、情報処理システム１は、広告の検出結果と店舗の検出結果とを用いて、利用者が、広告により店舗に誘導された利用者か否かを判定する。その後、情報処理システム１は、判定結果を用いて、広告の送客効果を評価する。このため、情報処理システム１は、プライバシーの侵害やコストの増加を防ぎつつ、広告が有する送客効果を評価することができる。

なお、上述した例では、ヘッドマウント装置１０が利用者の主観画像を取得して処理サーバ３０に送信し、処理サーバ３０が、主観画像から広告の検出、店舗の検出、広告により店舗に誘導された利用者か否かを判定する例について説明した。しかしながら、実施形態は、これに限定されるものではない。すなわち、上述した処理は、ヘッドマウント装置１０もしくは処理サーバ３０のいずれかを実行しても良い。

［２．ヘッドマウント装置の機能構成］
次に、図２を用いて、実施形態に係るヘッドマウント装置１０の機能構成について説明する。図２は、実施形態に係るヘッドマウント装置の機能構成の一例を説明する図である。図２に示す例では、ヘッドマウント装置１０は、カメラ１１、視線センサ１２、通信部１３、表示部１４、制御部１５、記憶部１６を有する。記憶部１６は、主観画像データベースを有する。また、制御部１５は、収集部１８、視線収集部１９、送信部２０を有する。

まず、記憶部１６が記憶する主観画像データベース１７について説明する。主観画像データベース１７は、同時期に取得された主観画像と視線情報とを対応付けて一時的に記憶する記憶部であり、いわゆるキャッシュ領域である。

カメラ１１は、主観画像を取得する画像取得装置である。例えば、カメラ１１は、利用者の目の横に設置された画像取得装置であり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサを用いて、ヘッドマウント装置１０を装着した利用者の主観画像を取得する。また、視線センサ１２は、赤外線等を用いて、利用者の眼球の動きを捉え、主観画像のうち、利用者がどの範囲を注視しているかを特定する。

通信部１３は、ヘッドマウント装置１０と処理サーバ３０との通信を制御する。具体的には、通信部１３は、主観画像と視線情報との組である画像ログを送信部２０から受信した場合は、受信した画像ログを処理サーバ３０に送信する。

表示部１４は、利用者の視界内に任意の情報を表示可能な表示装置である。例えば、表示部１４は、利用者の視線上に設置された自由曲面プリズムに画像を入力することで、利用者の視界内に情報の表示を行う。例えば、表示部１４は、Ｗｅｂブラウザや利用者の視界内に含まれる人物の情報、ＡＲ（Augmented Reality）タグ等、任意の情報を利用者の視界内に表示することができる。

次に、制御部１５が実行する処理について説明する。収集部１８は、所定の時間間隔で、カメラ１１を作動させ、カメラ１１が取得した主観画像を収集する。そして、収集部１８は、収集した主観画像を主観画像データベース１７に格納する。ここで、制御部１５が取得した主観画像には、主観画像が撮影された際の日時を示すタイムスタンプが付与されるものとする。なお、収集部１８が主観画像を収集する時間間隔は、任意のものを採用できるが、数十秒に１枚程度の割合であってもよい。

視線収集部１９は、視線センサ１２を動作させ、収集部１８が主観画像を収集した際の利用者の視線位置を取得する。そして、視線収集部１９は、視線位置を示す視線情報を生成し、収集部１８が取得した主観画像と対応付けて、生成した視線情報を主観画像データベース１７に格納する。

送信部２０は、主観画像データベース１７に格納された画像ログを処理サーバ３０に送信する。例えば、送信部２０は、所定の時間間隔で、主観画像データベース１７に格納された画像ログを読み出し、読み出した画像ログにヘッドマウント装置１０の利用者を示す利用者ＩＤを付して通信部１３に出力する。

［３．処理サーバ３０の機能構成］
次に、図３を用いて、実施形態に係る処理サーバ３０の機能構成について説明する。図３は、実施形態に係る識別サーバの機能構成の一例を説明する図である。図３に示す例では、処理サーバ３０は、通信部３１、制御部３２、記憶部３３を有する。また、記憶部３３は、広告データベース３４、店舗データベース３５、広告閲覧テーブル３６、店舗利用テーブル３７を有する。また、制御部３２は、広告検出部３８、店舗検出部３９、判定部４０、算出部４１を有する。

まず、記憶部３３が記憶する広告データベース３４、店舗データベース３５、広告閲覧テーブル３６、店舗利用テーブル３７に格納される情報について説明する。

広告データベース３４は、主観画像から広告を検出するための広告検出用データが広告ＩＤと対応付けて格納されている。例えば、図４は、実施形態に係る広告データベースに格納された情報の一例を説明する図である。例えば、広告データベース３４には、図４に示すように、広告ＩＤと広告検出用データとが対応付けて格納されている。

詳細な例を説明すると、広告データベース３４には、広告ＩＤ「広告＃１」と、広告ＩＤ「広告＃１」が示す広告を主観画像から検出するための特徴量ベクトルである広告検出用データ「広告データ＃１」とが対応付けて格納されている。また、広告データベース３４には、広告ＩＤ「広告＃２」と、広告ＩＤ「広告＃２」が示す広告を主観画像から検出するための特徴量ベクトルである広告検出用データ「広告データ＃２」とが対応付けて格納されている。

図３に戻って説明を続ける。店舗データベース３５は、主観画像から利用者が来店した店舗を検出するための店舗検出用データが店舗ＩＤと対応付けて格納されている。例えば、図５は、実施形態に係る店舗データベースに格納された情報の一例を説明する図である。例えば、店舗データベース３５には、図５に示すように、店舗ＩＤと店舗検出用データとが対応付けて格納されている。

詳細な例を説明すると、店舗データベース３５には、店舗ＩＤ「店舗＃１」と、店舗ＩＤ「店舗＃１」が示す店舗の店員を主観画像から特定するための顔認証用データである店舗検出用データ「店舗データ＃１」とが対応付けて格納されている。また、店舗データベース３５には、店舗ＩＤ「店舗＃２」と、店舗ＩＤ「店舗＃２」が示す店舗の店員を主観画像から特定するための顔認証用データである店舗検出用データ「店舗データ＃２」とが対応付けて格納されている。なお、店舗検出用データには、複数の店員をそれぞれ顔認証するためのデータが含まれていても良い。

図３に戻って説明を続ける。広告閲覧テーブル３６は、広告を閲覧したと判定された利用者の利用者ＩＤと、閲覧された広告の広告ＩＤと、利用者が広告を閲覧した日時である閲覧時刻とが対応付けて格納されている。例えば、図６は、実施形態に係る広告閲覧テーブルに格納された情報の一例を説明する図である。

例えば、図６に示す例では、広告閲覧テーブル３６には、広告ＩＤ「広告＃１」、利用者ＩＤ「利用者＃１」、閲覧時刻「２０１３：０９：２０：１９：１０」が対応付けて格納されている。かかるエントリは、広告閲覧テーブル３６には、利用者ＩＤ「利用者＃１」が示す利用者が、広告ＩＤ「広告＃１」が示す広告を、２０１３年９月２０日１９時１０分に閲覧した旨を示す。

また、例えば、図６に示す例では、広告閲覧テーブル３６には、広告ＩＤ「広告＃１」、利用者ＩＤ「利用者＃２」、閲覧時刻「２０１３：０９：１９：２０：１０」が対応付けて格納されている。また、広告閲覧テーブル３６には、広告ＩＤ「広告＃２」、利用者ＩＤ「利用者＃１」、閲覧時刻「２０１３：０９：１９：２０：１０」が対応付けて格納されている。また、広告閲覧テーブル３６には、広告ＩＤ「広告＃２」、利用者ＩＤ「利用者＃３」、閲覧時刻「２０１３：０９：１９：１０：１０」が対応付けて格納されている。

図３に戻って説明を続ける。店舗利用テーブル３７は、利用者が来店した店舗の店舗ＩＤと、かかる店舗に来店した利用者の利用者ＩＤと、利用者が店舗に来店した日時である来店時刻とが対応付けて格納されている。例えば、図７は、実施形態に係る店舗利用テーブルに格納された情報の一例を説明する図である。

例えば、図７に示す例では、店舗利用テーブル３７には、店舗ＩＤ「店舗＃１」、利用者ＩＤ「利用者＃１」、来店時刻「２０１３：０９：２１：１０：１０」が対応付けて格納されている。かかるエントリは、店舗ＩＤ「店舗＃１」が示す店舗に、利用者ＩＤ「利用者＃１」が示す利用者が、２０１３年９月２１日１０時１０分に来店した旨を示す。

また、例えば、図７に示す例では、店舗利用テーブル３７には、店舗ＩＤ「店舗＃１」、利用者ＩＤ「利用者＃２」、来店時刻「２０１３：０９：１８：２０：１０」が対応付けて格納されている。また、店舗利用テーブル３７には、店舗ＩＤ「店舗＃２」、利用者ＩＤ「利用者＃１」、来店時刻「２０１３：０９：１８：２２：１０」が対応付けて格納されている。また、店舗利用テーブル３７には、店舗ＩＤ「店舗＃２」、利用者ＩＤ「利用者＃３」、来店時刻「２０１３：１１：２１：１５：１０」が対応付けて格納されている。

なお、以下の説明では、店舗ＩＤ「店舗＃１」が示す店舗は、広告ＩＤ「広告＃１」が示す広告の掲載店舗であるものとし、店舗ＩＤ「店舗＃２」が示す店舗は、広告ＩＤ「広告＃２」が示す広告の掲載店舗であるものとし、店舗ＩＤ「店舗＃３」が示す店舗は、広告ＩＤ「広告＃３」が示す広告の掲載店舗であるものとする。なお、実施形態は、これに限定されるものではなく、例えば、１つの店舗を掲載店舗とする複数の広告を設定してもよい。かかる場合は、１つの店舗ＩＤに対して複数の広告ＩＤが紐付けられる。

図３に戻り、説明を続ける。通信部３１は、処理サーバ３０とヘッドマウント装置１０との間の通信を制御する。例えば、通信部３１は、ネットワークを介して、ヘッドマウント装置１０から画像ログを受信した場合は、受信した画像ログを広告検出部３８と店舗検出部３９とに出力する。

広告検出部３８は、主観画像から利用者が閲覧した広告を検出する。例えば、広告検出部３８は、通信部３１から画像ログを受信すると、受信した画像ログから主観画像、視線情報、利用者ＩＤを取得する。また、広告検出部３８は、主観画像から、タイムスタンプを取得する。

次に、広告検出部３８は、広告データベース３４に格納された全ての広告検出用データを用いて、画像認識処理を実行し、主観画像から広告を検出する。また、広告検出部３８は、広告を検出した場合は、主観画像のうち、広告が含まれる領域を抽出し、視線情報が示す視線位置が、抽出した領域に含まれるか否かを判定する。そして、広告検出部３８は、視線情報が示す視線位置が、抽出した領域に含まれる場合は、かかる範囲に含まれる広告を利用者が閲覧した広告であると判定する。その後、広告検出部３８は、主観画像から取得した利用者ＩＤと、利用者が閲覧した広告を示す広告ＩＤと、主観画像から取得したタイムスタンプとを対応付けて広告閲覧テーブル３６に格納する。

例えば、広告検出部３８は、利用者ＩＤ「利用者ＩＤ」と閲覧時刻「２０１３：０９：２０：１９：１０」を主観画像から取得したものとする。また、広告検出部３８は、主観画像から広告ＩＤ「広告＃１」が示す広告と、広告ＩＤ「広告＃２」が示す広告とを主観画像から検出したものとする。かかる場合は、広告検出部３８は、各広告が含まれる領域をそれぞれ抽出し、画像ログから取得した視線情報が示す視線位置が、抽出した領域の何れかに含まれるか否かを判定する。

そして、広告検出部３８は、広告ＩＤ「広告＃１」が示す広告が含まれる領域に視線位置が含まれる場合は、広告ＩＤ「広告＃１」と利用者ＩＤ「利用者ＩＤ」と閲覧時刻「２０１３：０９：２０：１９：１０」とを対応付けて広告閲覧テーブル３６に格納する。一方、広告検出部３８は、広告ＩＤ「広告＃１」が示す広告が含まれる領域、または、広告ＩＤ「広告＃２」が示す広告が含まれる領域に視線位置が含まれない場合は、利用者が広告を閲覧しなかったと判定し、取得した画像ログを破棄する。

店舗検出部３９は、主観画像から利用者が来店した店舗を検出する。例えば、店舗検出部３９は、通信部３１から画像ログを受信すると、受信した画像ログから主観画像、視線情報、利用者ＩＤを取得する。また、店舗検出部３９は、主観画像から、タイムスタンプを取得する。そして、店舗検出部３９は、店舗データベース３５に格納された全ての店舗検出用データを用いて、画像認識処理を実行し、主観画像から店舗を検出する。

例えば、図８は、実施形態に係る処理サーバが店舗の検出を行なう処理を説明するための図である。例えば、店舗検出部３９は、店舗検出用データが店員の顔認証を行なうためのデータである場合は、図８中（Ｍ）に示すように、利用者の主観画像から、人物の顔を検出し、店員の顔認証を行なうためのデータを用いて、検出した顔の顔認証を行なう。そして、店舗検出部３９は、検出した顔の顔認証に成功した場合、すなわち、検出した顔が店員の顔である場合は、かかる店員と紐付けられた店舗に利用者が来店したと判定する。また、店舗検出部３９は、検出した顔が店員の顔である場合は、かかる店員の顔認証を行なうためのデータと対応付けられた店舗ＩＤを特定する。そして、店舗検出部３０は、特定した店舗ＩＤと、主観画像から取得した利用者ＩＤと、主観画像から取得したタイムスタンプとを対応付けて店舗利用テーブル３７に格納する。

また、例えば、店舗検出部３９は、図８中（Ｎ）に示すように、店舗内やレジ台の後ろ等に、店舗を示すＱＲコード等、店舗を示す情報が提示されている場合は、店舗検出用データを用いずとも、利用者が来店した店舗を検出できる。例えば、店舗検出部３９は、主観画像内から、図８中（Ｎ）に示すようなＱＲコードを検出した場合は、検出したＱＲコードから店舗ＩＤを抽出し、抽出した店舗ＩＤと、主観画像から取得した利用者ＩＤと、主観画像から取得したタイムスタンプとを対応付けて店舗利用テーブル３７に格納する。

図３に戻り、判定部４０は、広告閲覧テーブル３６と店舗利用テーブル３７とのマッチングを行い、広告検出部３８が検出した広告が、店舗検出部３９により検出された関連する広告であるか否かを判定する。そして、判定部４０は、広告が、店舗検出部３９により検出された店舗と関連する広告であると判定された場合は、閲覧時刻が来店時刻よりも前であるか否かを判定する。そして、判定部４０は、閲覧時刻が来店時刻よりも前である場合は、利用者が、掲載店舗に誘導された利用者であると判定する。

以下、判定部４０が実行する処理の一例として、図６に示す情報が広告閲覧テーブル３６に格納され、図７に示す情報が店舗利用テーブル３７に格納されている例について説明する。例えば、判定部４０は、広告閲覧テーブル３６から、利用者ＩＤ「利用者＃１」と対応付けられた広告ＩＤと閲覧時刻との組として、広告ＩＤ「広告＃１」と閲覧時刻「２０１３：０９：２０：１９：１０」の組、および、広告ＩＤ「広告＃２」と閲覧時刻「２０１３：０９：１９：２０：１０」の組を取得する。

また、判定部４０は、店舗利用テーブル３７から、利用者ＩＤ「利用者＃１」と対応付けられた店舗ＩＤと来店時刻との組として、店舗ＩＤ「店舗＃１」と来店時刻「２０１３：０９：２１：１０：１０」の組、および、店舗ＩＤ「店舗＃２」と来店時刻「２０１３：０９：１８：２２：１０」の組を取得する。

ここで、広告ＩＤ「広告＃１」が示す広告は、店舗ＩＤ「店舗＃１」が示す店舗を掲載店舗とする広告である。このため、判定部４０は、広告ＩＤ「広告＃１」と対応付けられた閲覧時刻「２０１３：０９：２０：１９：１０」が、店舗ＩＤ「店舗＃１」と対応付けられた来店時刻「２０１３：０９：２１：１０：１０」よりも前であるか否かを判定する。

上述した例では、閲覧時刻「２０１３：０９：２０：１９：１０」は、来店時刻「２０１３：０９：２１：１０：１０」よりも前である。このため、判定部４０は、広告ＩＤ「広告＃１」が示す広告が、利用者ＩＤ「利用者＃１」が示す利用者を、店舗ＩＤ「店舗＃１」が示す店舗に誘導したと判定する。その後、判定部４０は、広告ＩＤ「広告＃１」が示す広告が、利用者ＩＤ「利用者＃１」が示す利用者を、店舗ＩＤ「店舗＃１」が示す店舗に誘導した旨を算出部４１に出力する。

一方、広告ＩＤ「広告＃２」が示す広告は、店舗ＩＤ「店舗＃２」が示す店舗を掲載店舗とする広告である。このため、判定部４０は、広告ＩＤ「広告＃２」と対応付けられた閲覧時刻「２０１３：０９：１９：２０：１０」が、店舗ＩＤ「店舗＃１」と対応付けられた来店時刻「２０１３：０９：１８：２２：１０」よりも前であるか否かを判定する。

ここで、上述した例では、閲覧時刻「２０１３：０９：１９：２０：１０」は、来店時刻「２０１３：０９：１８：２２：１０」よりも後である。このため、判定部４０は、広告ＩＤ「広告＃２」が示す広告が、利用者ＩＤ「利用者＃１」が示す利用者を、店舗ＩＤ「店舗＃２」が示す店舗に誘導していないと判定し、算出部４１に対する通知を行わずに処理を終了する。

また、判定部４０は、各利用者ＩＤについて上述した処理を実行することで、各広告が店舗に誘導した利用者を算出部４１に通知する。また、判定部４０は、店舗利用テーブル３７を店舗ＩＤごとにソートし、各店舗に来店した利用者の総数を計数する。そして、判定部４０は、計数結果を算出部４１に通知する。

算出部４１は、店舗ごとに、店舗に来店した利用者の数と、店舗を掲載店舗とする広告により掲載店舗に誘導された利用者の数とに基づいて、かかる広告の送客効果を算出する。そして、算出部４１は、広告主や広告提供者に対し、広告の送客効果を提示する。

例えば、算出部４１は、各広告が店舗に誘導した利用者と、各店舗に来店した利用者の総数とを判定部４０から受信する。かかる場合は、算出部４１は、各広告が店舗に誘導した利用者の数を用いて、広告に誘導された利用者の数を掲載店舗ごとに算出する。そして、算出部４１は、店舗に来店した利用者の総数と、かかる店舗を掲載店舗とする広告に誘導された利用者の数とに基づいて、広告の送客効果を示す数値を算出する。その後、算出部４１は、算出した数値を広告主や広告提供者に提示する。また、算出部４１は、広告に誘導された利用者の数とに基づいて、かかる広告に対して課金される広告料を算出し、算出した広告料を広告主や広告提供者、あるいは、広告料を課金するシステム等に通知する。

[４．情報処理システム１が実行する処理の変形例]
上述した説明では、情報処理システム１は、主観画像に含まれる広告の領域に、視線情報が示す視線位置が含まれる場合は、かかる広告を利用者が閲覧したと判定した。また、情報処理システム１は、主観画像に含まれる人物と店員との顔認証を行なうことで、利用者が来店した店舗を検出した。また、情報処理システム１は、広告を閲覧した閲覧時刻が、かかる広告の掲載店舗に利用者が来店した来店時刻よりも前である場合は、かかる広告が利用者を掲載店舗に誘導したと判定した。しかしながら、実施形態はこれに限定されるものではない。以下、情報処理システム１が実行する処理の変形例について説明する。

[４−１．利用者が閲覧した広告を検出する処理の変形例]
例えば、情報処理システム１は、利用者の主観画像に含まれる広告については、視線情報を考慮せずに、利用者が閲覧した広告として検出しても良い。また、情報処理システム１は、連続して取得された複数の主観画像と視線情報とを用いて、主観画像に含まれる広告の領域に、視線情報が示す視線位置が所定の時間含まれたか否かを判定する。そして、情報処理システム１は、主観画像に含まれる広告の領域に、視線情報が示す視線位置が所定の時間含まれたと判定した場合は、かかる広告を利用者が閲覧したと判定してもよい。

また、情報処理システム１は、広告ごとに閲覧時刻を設定してもよい。例えば、情報処理システム１は、主観画像から広告を抽出し、抽出した広告に対して設定された閲覧時刻よりも長い間、抽出した広告が含まれる領域に視線位置が含まれる場合は、抽出した広告を利用者が閲覧したと判定してもよい。かかる処理を実行することで、情報処理システム１は、掲載された文字が多い広告や文字の掲載がない広告が検出対象に混在する場合にも、利用者が内容を理解したであろう広告を利用者が閲覧したと判定できる。

また、情報処理システム１は、広告を複数の領域に分割し、分割された広告の各領域に利用者の視線位置が含まれた場合は、かかる広告を利用者が閲覧したと判定してもよい。例えば、図９は、利用者が閲覧した広告を検出する処理の変形例を説明する図である。例えば、情報処理システム１は、広告検出用データを用いて、主観画像から広告を検出する。そして、情報処理システム１は、図９中（Ｏ）に示すように、検出した広告を４つの領域に分割する。

その後、情報処理システム１は、連続して取得された主観画像と視線情報とを用いて、視線情報が示す視線位置が、分割された広告の各領域に含まれたか否かを判定する。例えば、情報処理システム１は、連続して取得された視線情報が、図９中（Ｐ）に示すように移動した結果、分割された広告の各領域に視線位置が含まれた場合は、図９中（Ｏ）に示す広告を、利用者が閲覧したと判定する。

また、情報処理システム１は、広告内から利用者に閲覧してほしい領域を１つ以上設定し、設定した全ての領域に視線位置が含まれた場合は、かかる広告を利用者が閲覧したと判定してもよい。例えば、図９中（Ｑ）に示す広告には、図９中（Ｒ）、（Ｓ）、（Ｔ）に示すように、利用者に閲覧してほしい領域として、文字が掲載された３つの領域が設定されている。かかる場合、情報処理システム１は、利用者から取得した複数の視線情報が示す視線位置が、図９中（Ｕ）に示すように移動した結果、図９中（Ｒ）、（Ｓ）、（Ｔ）に示す各領域に視線位置が含まれた場合は、図９中（Ｑ）に示す広告を、利用者が閲覧したと判定する。

また、情報処理システム１は、利用者が、所定の期間の間に、異なる場所に掲載された同一種別の広告を一部ずつ閲覧した結果、かかる広告の全領域を利用者が閲覧した場合は、利用者が広告を閲覧したと判定してもよい。例えば、情報処理システム１は、利用者が広告の一部のみしか閲覧していない場合は、利用者が閲覧した領域を閲覧履歴として記憶する。そして、情報処理システム１は、閲覧履歴を統合した際に、同一の広告ＩＤが示す広告について、広告に設定された全ての領域を利用者が閲覧している場合は、かかる広告を利用者が閲覧したと判定してもよい。

具体例を用いて説明する。例えば、情報処理システム１は、利用者が、図９中（Ｑ）に示す広告を街頭で閲覧したが、図９中（Ｒ）に示す領域だけ閲覧し、図９中（Ｓ）、（Ｔ）に示す領域を閲覧しなかった場合は、図９中（Ｑ）に示す広告の広告ＩＤと、図９中（Ｒ）に示す領域とを閲覧履歴として記憶する。また、情報処理システム１は、利用者が、図９中（Ｑ）に示す広告を新聞で閲覧し、図９中（Ｓ）、（Ｔ）に示す領域を閲覧した場合は、図９中（Ｑ）に示す広告の広告ＩＤと、図９中（Ｓ）、（Ｔ）に示す領域とを閲覧履歴として記憶する。

かかる処理の結果、情報処理システム１は、閲覧履歴を統合することで、利用者が、図９中（Ｑ）に示す広告全体を閲覧したと判定することができる。この結果、例えば、情報処理システム１は、同一の場所に掲載された広告を異なる時間帯に何度も目にしたことで、利用者が広告の内容を理解したと判断できる場合や、異なる場所に掲載された同一種別の広告を異なる時間帯にそれぞれ閲覧することで、利用者が広告の内容を理解したと判断できる場合等に、かかる広告を利用者が閲覧したと判定できる。

なお、情報処理システム１は、広告の各領域ごとに、所定の時間よりも長く、視線位置が含まれた場合は、かかる広告を利用者が閲覧したと判定してもよい。また、情報処理システム１は、利用者が広告を閲覧した時間を閲覧履歴として記憶し、所定の期間内に、利用者が広告を閲覧した時間の合計が、所定の閾値を超えた場合は、利用者がかかる広告を閲覧したと判定しても良い。上述した処理を行うことで、情報処理システム１は、異なる場所、異なる時間帯に掲示された広告を複数回閲覧することにより、広告の内容を利用者が理解したか否かを判断することができる。また、情報処理システム１は、上述した各処理を任意の組合わせで実行することで、利用者が内容を確実に理解したであろう広告を、利用者が閲覧したか否かを判定してもよい。

[４−２．利用者が来店した店舗を検出する処理の変形例]
上述した例では、情報処理システム１は、顔認証やＱＲコード等を用いて店舗を検出したが、実施形態はこれに限定されるものではない。例えば、情報処理システム１は、店舗内の光景や店舗内のレジ横の光景等を主観画像から検出するためのデータを店舗検出用データとして記憶し、かかる店舗検出用データを用いて、主観画像から利用者が来店した店舗の検出を行っても良い。

また、情報処理システム１は、店舗の看板、メニュー、ロゴ、店舗の外観等を主観画像から検出する店舗検出用データを用いて、利用者が来店した店舗の検出を行ってもよい。すなわち、情報処理システム１は、利用者が店舗に来店した際に視認するであろう光景を主観画像から検出する店舗検出用データであれば、任意のデータを用いて、店舗の検出を行なうことができる。

また、情報処理システム１は、主観画像から、店舗の看板や店舗の外観を検出した場合には、利用者がかかる店舗に来店したと判定し、かかる店舗の店員の顔を検出した場合は、利用者がかかる店舗で商品を購買したと判定する。そして、情報処理システム１は、店舗ごとに、来店した利用者の数、広告により掲載店舗に誘導された利用者の数、広告により掲載店舗に誘導され、かつ、掲載店舗で広告と関連する商品を購買した利用者の数を計数し、計数した情報を用いて、広告効果の評価や広告料の算出を行なっても良い。

また、情報処理システム１は、主観画像から利用者が来店した店舗を検出せずともよい。例えば、情報処理システム１は、クレジットカードや電子マネーの使用履歴、ＧＰＳ（Global Positioning System）、利用者が有する端末装置の通信履歴等を利用したチェックイン機能を管理するシステムから、利用者が来店した店舗の情報を取得してもよい。

[４−３．広告が利用者を店舗に誘導したか判定する処理の変形例]
上述した例では、情報処理システム１は、利用者が広告を閲覧した閲覧時刻が、かかる広告の掲載店舗に利用者が来店した来店時刻よりも前である場合は、広告が利用者を店舗に誘導したと判定した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報処理システム１は、閲覧時刻が来店時刻よりも前であり、かつ、閲覧時刻と来店時刻との差分が、所定の期間よりも短い場合にのみ、広告が利用者を店舗に誘導したと判定しても良い。例えば、情報処理システム１は、閲覧時刻と来店時刻との差が、数日以内に収まる場合は、広告が利用者を店舗に誘導したと判定し、閲覧時刻と来店時刻との差が、数日以上となる場合は、広告が利用者を店舗に誘導していないと判定してもよい。

［５．変形例］
上記した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の情報処理システム１の他の実施形態について説明する。

［５−１．処理の主体について］
上述した実施形態では、情報処理システム１は、利用者の主観画像を取得し、取得した主観画像を画像ログとして処理サーバ３０に送信するヘッドマウント装置１０と、主観画像から広告を検出する処理サーバ３０とを有していた。しかしながら、実施形態はこれに限定されるものではない。すなわち、情報処理システム１が実行する各処理は、ヘッドマウント装置１０または処理サーバ３０のいずれかが実行すれば良い。

例えば、ヘッドマウント装置１０は、図３に示す広告データベース３４、店舗データベース３５、広告検出部３８、店舗検出部３９を有し、利用者の主観画像から利用者が閲覧した広告および利用者が来店した店舗の検出を行なう。そして、ヘッドマウント装置１０は、利用者が閲覧した広告および来店した店舗を処理サーバ３０に送信する。一方、処理サーバ３０は、ヘッドマウント装置１０から利用者が閲覧した広告および利用者が来店した店舗の通知を受信すると、広告と店舗とのマッチングを行い、広告が利用者を店舗に誘導したか否かを判定しても良い。

また、ヘッドマウント装置１０は、閲覧履歴を記憶し、利用者が広告を複数回に渡って視認することで、利用者が広告を閲覧と判定した場合は、かかる広告を利用者が閲覧した広告として処理サーバ３０に通知してもよい。

［５−２．送客効果の算出について］
上述した実施形態では、情報処理システム１は、店舗に来店した利用者の数と、広告により掲載店舗に誘導された利用者の数とを用いて、広告の送客効果を評価した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報処理システム１は、広告により掲載店舗に誘導された利用者の情報を収集し、収集した情報に基づいて、広告がどのような利用者に対して効果的であるのかを評価しても良い。

また、情報処理システム１は、主観画像から広告を検出した場合は、ＧＰＳ等の技術を用いて利用者が広告を閲覧した場所を特定し、特定した場所に基づいて、広告が有する視線誘導効果を評価しても良い。また、例えば、情報処理システム１は、主観画像から広告を検出した場合は、かかる広告を利用者が閲覧した際の生体情報を収集し、収集した生体情報を用いて、かかる広告を利用者が閲覧した際の感情を特定する。そして、情報処理システム１は、特定した感情に基づいて、広告が利用者に想起させる印象を判定してもよい。すなわち、情報処理システム１は、利用者が閲覧した広告の情報と任意の情報とを組合わせて、広告の評価や広告料の算出を行なうことができる。

[５−３．広告について]
情報処理システム１は、広告検出用データを用いて、主観画像から広告を検出する。かかる広告は、電子スクリーン、看板、写真、ポスター等、公共空間に設置された静止画像に限定されるものではなく、動画、写真やポスター等の静止画、商品の外観に掲載された情報、マスコットキャラクターのマネキンやグッズ、広告の対象商品そのもの等であっても良い。

例えば、情報処理システム１は、主観画像から所定の車両を特定するための広告検出用データを記憶し、ある利用者の主観画像からかかる車両を検出した場合は、かかる車両を利用者が閲覧したと判定する。また、情報処理システム１は、かかる利用者の主観画像から、車両の販売を行なう店舗を検出した場合は、かかる利用者が車両を閲覧して店舗に来店したと判定する。そして、情報処理システム１は、車両を閲覧して店舗に来店した利用者の情報に基づいて、かかる車両がどのような利用者に人気があるかを評価してもよい。また、情報処理ステム１は、店舗の検出を行なわずとも、広告を閲覧した利用者の情報に基づいて、広告がどのような利用者に人気が有るかを評価しても良い。

また、広告がデジタルサイネージ等のサイネージ広告である場合は、１つの媒体に複数の広告が表示されるが、情報処理システム１は、利用者が閲覧した広告を検出できる。このため、１つの媒体に複数の広告が表示される場合であっても、店舗へ誘導した利用者の数を広告ごとに算出できる。この結果、情報処理システム１は、様々な態様で表示される広告の広告料を実際の誘導効果に基づいて算出することができる。

［５−４．その他］
上記したヘッドマウント装置１０および処理サーバ３０が発揮する機能は、いわゆるクラウドの機能を用いて、複数のサーバ装置によって実現されることとしてもよい。例えば、広告検出部３８、店舗検出部３９、判定部４０、算出部４１が発揮する機能は、それぞれ異なるサーバ装置によって実現されても良い。また、広告データベース３４、店舗データベース３５、広告閲覧テーブル３６、店舗利用テーブル３７は、それぞれ異なるサーバ装置が記憶しても良い。また、広告検出部３８、店舗検出部３９、判定部４０、算出部４１が発揮する機能は、任意の態様で結合、分離が可能である。また、ヘッドマウント装置１０は、利用者の主観画像を取得する機能、および、利用者の視界に各種情報を表示できる装置であれば、任意の装置を適用することができる。

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。また、例えば、各図に示したアプリケーションのＵＩ（User Interface）は、これに限定されるものではない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

［６．情報処理システム１が実行する処理の流れ］
次に、図１０、図１１を用いて、情報処理システム１が実行する処理の流れの一例について説明する。まず、図１０を用いて、情報処理システム１が利用者の主観画像から広告および店舗の検出を行なう処理の流れについて説明する。図１０は、実施形態に係る情報処理システムが実行する検出処理の流れを説明するフローチャートである。

まず、情報処理システム１は、主観画像を取得する（ステップＳ１０１）。また、情報処理システム１は、視線情報を取得する（ステップＳ１０２）。次に、情報処理システム１は、広告検出用データを用いた画像認識処理を実行し、主観画像から広告が検出されたか否かを判定する（ステップＳ１０３）。

また、情報処理システム１は、主観画像から広告が検出された場合は（ステップＳ１０３：Ｙｅｓ）、視線情報を用いて、利用者が広告を閲覧したか否かを判定する（ステップＳ１０４）。また、情報処理システム１は、利用者が広告を閲覧した場合は（ステップＳ１０４：Ｙｅｓ）、広告閲覧テーブル３６にログを格納する（ステップＳ１０５）。

また、情報処理システム１は、店舗検出用データを用いた画像認識処理を実行し、主観画像から店舗が検出されたか否かを判定する（ステップＳ１０６）。そして、情報処理システム１は、主観画像から店舗が検出された場合は（ステップＳ１０６：Ｙｅｓ）、店舗利用テーブル３７にログを格納し（ステップＳ１０７）、処理を終了する。

なお、情報処理システム１は、主観画像から広告が検出されなかった場合（ステップＳ１０３：Ｎｏ）、または、利用者が広告を閲覧していない場合は（ステップＳ１０４：Ｎｏ）、ステップＳ１０６を実行する。また、情報処理システム１は、主観画像から店舗が検出されなかった場合は（ステップＳ１０６：Ｎｏ）、ステップＳ１０７をスキップして処理を終了する。

次に、図１１を用いて、情報処理システム１が、広告閲覧テーブル３６と店舗利用テーブル３７とのマッチングを行う処理の流れについて説明する。図１１は、実施形態に係る情報処理システムが実行するマッチングの流れを説明するフローチャートである。まず、情報処理システム１は、広告閲覧テーブル３６に格納された各エントリを取得する（ステップＳ２０１）。また、情報処理システム１は、店舗利用テーブル３７に格納された各エントリを取得する（ステップＳ２０２）。

次に、情報処理システム１は、利用者ＩＤを１つ選択し（ステップＳ２０３）、ある店舗の店舗ＩＤと、かかる店舗と紐付けられた広告の広告ＩＤとに選択した利用者ＩＤが対応付けられているか否かを判定する（ステップＳ２０４）。また、情報処理システム１は、店舗ＩＤと広告ＩＤとに選択した利用者ＩＤが対応付けられている場合は（ステップＳ２０４：Ｙｅｓ）、かかる店舗ＩＤと対応付けられた来店時刻が、かかる広告ＩＤと対応付けられた閲覧時刻よりも後であるか否かを判定する（ステップＳ２０５）。

また、情報処理システム１は、来店時刻が閲覧時刻よりも後である場合は（ステップＳ２０５：Ｙｅｓ）、広告が利用者を掲載店舗に誘導したと判定する（ステップＳ２０６）。続いて、情報処理システム１は、全ての利用者ＩＤについてステップＳ２０４〜Ｓ２０６に示す処理を実行したか否かを判定し（ステップＳ２０７）、全ての利用者ＩＤについて処理を実行していない場合は（ステップＳ２０７：Ｎｏ）、次の利用者ＩＤを選択して（ステップＳ２０８）、ステップＳ２０４を実行する。

また、情報処理システム１は、ある店舗の店舗ＩＤと、かかる店舗と紐付けられた広告の広告ＩＤとに選択した利用者ＩＤが対応付けられていない場合は（ステップＳ２０４：Ｎｏ）、ステップＳ２０７を実行する。また、情報処理システム１は、店舗ＩＤと対応付けられた来店時刻が、広告ＩＤと対応付けられた閲覧時刻よりも前である場合は（ステップＳ２０５：Ｎｏ）、ステップＳ２０７を実行する。また、情報処理システム１は、全ての利用者ＩＤについてステップＳ２０４〜Ｓ２０６に示す処理を実行した場合は（ステップＳ２０７：Ｙｅｓ）、処理を終了する。

［７．効果］
上述したように、情報処理システム１は、利用者の視界に対応した主観画像を取得し、取得した主観画像から、利用者が閲覧した広告を検出する。そして、情報処理システム１は、検出された広告の情報と利用者とを対応付けて記憶する。このため、情報処理システム１は、コストの増大やプライバシーの侵害を防ぎつつ、利用者が閲覧した様々な広告を検出できる。例えば、情報処理システム１は、利用者が閲覧した広告として、デジタルサイネージや印刷物等の静止画だけではなく、ＣＭ等の動画、マネキン等の立体物、車両等の商品を検出することができる。

また、情報処理システム１は、主観画像における利用者の視点位置を取得する。そして、情報処理システム１は、主観画像に含まれる広告のうち、かかる広告が含まれる領域に視点位置が含まれる広告を利用者が閲覧した広告として検出する。このため、情報処理システム１は、利用者が視認した広告のみを検出することができる。

また、情報処理システム１は、主観画像に含まれる広告のうち、かかる広告が含まれる領域に利用者の視点位置が所定の時間含まれた広告を利用者が閲覧した広告として検出する。このため情報処理システム１は、利用者が意識的に視認した広告を検出できる。

また、情報処理システム１は、利用者が来店した店舗の検出を行なう。そして、情報処理システム１は、主観画像から検出された広告が、利用者と対応付けて記憶された広告である場合は、かかる広告が利用者を掲載店舗に誘導したと判定する。このため、情報処理システム１は、広告が有する送客効果を評価することができる。

また、情報処理システム１は、主観画像から店舗を検出するための店舗検出用データを記憶する。そして、情報処理システム１は、店舗検出用データを用いて、主観画像から利用者が来店した店舗を検出する。このため、情報処理システム１は、主観画像から利用者が来店した店舗を特定することができる。

また、情報処理システム１は、店舗検出用データとして、店員の顔認証を行なうためのデータを記憶する。そして、情報処理システム１は、店員の顔認証を行なうためのデータを用いて、主観画像に含まれる人の顔認証を行い、店員の顔認証に成功した場合は、認証された店員と対応する店舗を利用者が来店した店舗として検出する。このため、情報処理システム１は、利用者が来店した店舗を確実に特定することができる。

また、情報処理システム１は、広告を閲覧した閲覧時刻と、掲載店舗に利用者が来店した来店時刻との差が、所定の閾値よりも大きい場合は、広告が利用者を掲載店舗に誘導したと判定しない。このため、情報処理システム１は、広告とは関係なく利用者が来店した店舗を、広告を閲覧した利用者が来店した店舗として誤検出することを防止できる。

また、情報処理システム１は、店舗に来店した利用者の数と、広告により店舗へ誘導された利用者の数とに基づいて、広告の送客効果を算出する。このため、情報処理システム１は、コストの増大やプライバシーの侵害を防ぎつつ、広告の送客効果を評価することができる。

［８．プログラム］
なお、上述した実施形態におけるヘッドマウント装置１０は、例えば図１２に示すような構成のコンピュータ７０が情報処理プログラムを実行することによって実現される。図１２は、情報処理プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ７０は、ＣＰＵ（Central Processing Unit）７１、ＲＡＭ（Random Access Memory）７２、ＲＯＭ（Read Only Memory）７３、ＨＤＤ（Hard Disk Drive）７４、通信インターフェイス（Ｉ／Ｆ）７５、入出力インターフェイス（Ｉ／Ｆ）７６、およびメディアインターフェイス（Ｉ／Ｆ）７７を備える。

ＣＰＵ７１は、ＲＯＭ７３またはＨＤＤ７４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ７３は、コンピュータ７０の起動時にＣＰＵ７１によって実行されるブートプログラムや、コンピュータ７０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ７４は、ＣＰＵ７１によって実行される情報処理プログラム、および、情報処理プログラムによって使用されるデータ等を格納する。例えば、ＨＤＤ７４は、図３に記載した広告データベース３４、店舗データベース３５、広告閲覧テーブル３６、店舗利用テーブル３７等と同様のデータを記憶する。通信インターフェイス７５は、ネットワークを介して他の機器からデータを受信してＣＰＵ７１へ送り、ＣＰＵ７１が生成したデータを、ネットワークを介して他の機器へ送信する。

ＣＰＵ７１は、入出力インターフェイス７６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ７１は、入出力インターフェイス７６を介して、入力装置からデータを取得する。また、ＣＰＵ７１は、生成したデータを、入出力インターフェイス７６を介して出力装置へ出力する。

メディアインターフェイス７７は、記録媒体７８に格納されたプログラムまたはデータを読み取り、ＲＡＭ７２を介してＣＰＵ７１に提供する。ＣＰＵ７１は、当該プログラムを、メディアインターフェイス７７を介して記録媒体７８からＲＡＭ７２上にロードし、ロードしたプログラムを実行する。記録媒体７８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ７０が上述した実施形態に係るヘッドマウント装置１０として機能する場合、コンピュータ７０のＣＰＵ７１は、ＲＡＭ７２上にロードされたプログラムを実行することにより、広告検出部３８、店舗検出部３９、判定部４０、算出部４１の各機能を実現する。

コンピュータ７０のＣＰＵ７１は、情報処理プログラムを、記録媒体７８から読み取って実行するが、他の例として、他の装置から、ネットワークを介してこれらのプログラムを取得してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１ 情報処理システム
１０ ヘッドマウント装置
１１ カメラ
１２ 視線センサ
１３、３１ 通信部
１４ 表示部
１５、３２ 制御部
１６、３３ 記憶部
１７ 主観画像データベース
１８ 収集部
１９ 視線収集部
２０ 送信部
３０ 処理サーバ
３４ 広告データベース
３５ 店舗データベース
３６ 広告閲覧テーブル
３７ 店舗利用テーブル

Claims (10)

1. 利用者の視界に対応した撮像画像を取得する画像取得手段と、
   前記撮像画像から、前記利用者が閲覧した広告を検出する広告検出手段と、
   検出された広告の情報を前記利用者と対応付けて記憶する記憶手段と、
   を有することを特徴とする情報処理システム。
2. 前記撮像画像における前記利用者の視点位置を取得する視点取得手段を有し、
   前記広告検出手段は、前記撮像画像に含まれる広告のうち、当該広告が含まれる領域に前記視点位置が含まれる広告を検出することを特徴とする請求項１に記載の情報処理システム。
3. 前記広告検出手段は、前記画像に含まれる広告のうち、広告が含まれる領域に前記視点位置が所定の時間含まれる広告を検出することを特徴とする請求項２に記載の情報処理システム。
4. 前記利用者が来店した店舗を検出する店舗検出手段と、
   前記記憶手段により記憶された広告の情報が、前記店舗検出手段により検出された来店店舗と関連する広告の情報である場合に、当該広告が前記利用者を店舗に誘導したと判定する判定手段と
   を有することを特徴とする請求項１〜３のいずれか１つに記載の情報処理システム。
5. 前記画像から前記店舗を識別するための店舗識別情報を記憶する店舗記憶手段を備え、
   前記店舗検出手段は、前記撮像画像から、前記店舗識別情報を用いて、前記利用者が訪れた店舗を検出することを特徴とする請求項４に記載の情報処理システム。
6. 前記店舗記憶手段は、店員の顔認証を行なうための情報を記憶し、
   前記店舗検出手段は、前記店員の顔認証を行うための情報を用いて、前記撮像画像から、店員の顔認証を行い、かかる店員の顔認証に成功した場合は、認証された店員と対応する店舗を前記利用者が来店した店舗として検出することを特徴とする請求項５に記載の情報処理システム。
7. 前記判定手段は、前記記憶された広告の情報が前記来店店舗と関連する広告であり、当該広告が検出された撮像画像が取得された時刻と、当該広告に関連する店舗を前記利用者が来店した時刻との差が、閾値よりも大きい場合、当該広告が前記利用者を店舗に誘導したと判定しないことを特徴とする請求項４〜６のいずれか１つに記載の情報処理システム。
8. 前記店舗に来店した利用者の数と、当該店舗に関連する広告が当該店舗に誘導した利用者の数とに基づいて、当該広告の送客効果を算出する算出手段を有することを特徴とする請求項４〜７のいずれか１つに記載の情報処理システム。
9. 端末装置と、前記端末装置と通信可能な情報処理装置とを有する情報処理システムが、
   利用者の視界に対応した撮像画像を取得する画像取得工程と、
   前記撮像画像から、前記利用者が閲覧した広告を検出する広告検出工程と、
   を実行することを特徴とする情報処理方法。
10. 利用者の視界に対応した画像を取得する画像取得手順と、
    前記画像から、前記利用者が閲覧した広告を検出する広告検出手順と
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images