JP2014238735A - 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】広告による広告効果を測定すること。
【解決手段】情報処理装置は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部と、前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部と、前記第１取得部が取得した前記第１画像に関する情報と前記第２取得部が取得した前記第２画像に関する情報との類似度を判定する類似判定部と、を備える。
【選択図】図２

Description

本発明は、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムに関する。

看板やデジタルサイネージなどの広告媒体による広告に対して、広告媒体の前に居る人の何割が広告を視聴していたかを表す広告視聴率を測定するものがある。例えば、特許文献１に記載の技術は、広告効果測定サーバが広告媒体の前方を撮影する撮影部によって撮影された画像から検出された人の顔に基づいて視聴人数を計測する視聴人数計算部と、撮影部によって撮影された画像から検出された人の形に基づいて周辺人数を計算する周辺人数計算部と、視聴人数計算部が計測した視聴人数と、周辺人数計測部が計測した周辺人数と、に基づいて、広告視聴率を計算する視聴率計算部を備えるものである。

特開２０１２−１２３７２７号公報

しかしながら、特許文献１に記載の技術を用いても店舗前などに配置された広告媒体による広告を閲覧した後に実際に当該店舗に入店した人数など、当該広告による広告効果を測定できないという欠点があった。

本発明は上記の点に鑑みてなされたものであり、広告による広告効果を測定することができる情報処理装置、情報処理システム、情報処理方法および情報処理プログラムを提供することを課題とする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の第１の態様は、情報処理装置であって、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部と、前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部と、前記第１取得部が取得した前記第１画像に関する情報と前記第２取得部が取得した前記第２画像に関する情報との類似度を判定する類似判定部と、を備えることを特徴とする情報処理装置である。

（２）また、本発明の第２の態様は、端末装置と情報処理装置とを備える情報処理システムであって、前記端末装置は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を生成する第１計測部と、前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を生成する第２計測部と、を備え、前記情報処理装置は、前記第１計測部が生成した前記第１画像に関する情報と前記第２計測部が生成した前記第２画像に関する情報との類似度を判定する類似判定部と、を備えることを特徴とする情報処理システムである。

（３）また、本発明の第３の態様は、情報処理装置における情報処理方法であって、前記情報処理装置が広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１過程と、前記情報処理装置が前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２過程と、前記情報処理装置が前記第１過程において取得した前記第１画像に関する情報と前記第２過程において取得した前記第２画像に関する情報との類似度を判定する類似判定部と、を有することを特徴とする情報処理方法である。

（４）また、本発明の第４の態様は、情報処理装置のコンピュータに、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１ステップと、前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２ステップと、前記第１ステップにおいて取得した前記第１画像に関する情報と前記第２ステップにおいて取得した前記第２画像に関する情報との類似度を判定する類似判定部と、を実行させるための情報処理プログラムである。

本発明によれば、広告による広告効果を測定することができる。

本発明の第１の実施形態に係る効果計測システムの構成の一例を示す概略図である。 第１の実施形態に係る情報処理システムの構成の一例を示す概略ブロック図である。 第１の実施形態に係る第１検出部が生成する第１画像に関する情報に含まれる顔領域の画像と衣服領域の画像との一例を示す概略図である。 第１の実施形態に係る第２検出部が生成する第２画像に関する情報に含まれる顔領域の画像と衣服領域の画像との一例を示す概略図である。 第１の実施形態に係るマッチング部のマッチング処理の一例を示す概略図である。 第１の実施形態に係るマッチング部のマッチング処理の一例を示す概略図である。 第１の実施形態に係るマッチング部のマッチング処理の一例を示す概略図である。 第１の実施形態に係るマッチング部のマッチング処理の他の一例を示す概略図である。 第１の実施形態に係る情報処理装置の衣服領域画像のマッチング処理の一例を示すフローチャートである。 第１の実施形態に係る情報処理装置の顔領域画像のマッチング処理の一例を示すフローチャートである。 第２の実施形態に係る情報処理装置の顔領域画像および衣服領域画像のマッチング処理の一例を示すフローチャートである。 第３の実施形態に係る情報処理装置の顔領域画像および衣服領域画像のマッチング処理の一例を示すフローチャートである。 第４の実施形態に係る情報処理装置の衣服領域画像のマッチング処理の一例を示すフローチャートである。 第５の実施形態に係る情報処理装置の顔カテゴリーを利用した顔領域画像および衣服領域画像のマッチング処理の一例を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態に係る効果計測システムＳ１の構成の一例を示す概略図である。
効果計測システムＳ１は、当該店舗領域ＴＡの情報処理システムＳ２と閲覧領域ＶＡの閲覧システムＳ３とを含む。ここで、店舗領域ＴＡは、例えば、店舗などの建物の領域である。また、閲覧領域ＶＡは、店舗前において閲覧することが可能な位置に配置された広告媒体ＤＰにより広告を掲示し当該広告を閲覧可能な店舗前の領域である。閲覧システムＳ３において、広告媒体ＤＰは、店舗前の壁面Ｗに設置され、店舗前を通行する人Ｈ１、Ｈ２、Ｈ３などに広告を掲示する。広告媒体ＤＰが掲示する広告は、例えば、店舗の特定の商品や特売商品などの情報、キャンペーン情報、セールなどの期間の情報を含む店舗に関する情報である。

情報処理システムＳ２は、第１計測装置１と、第２計測装置２と、情報処理装置３と、を含む。第１計測装置１は、例えば、広告媒体ＤＰが掲示する広告を閲覧可能な閲覧領域ＶＡにおいて、当該広告を閲覧している人を撮影する。例えば、広告媒体ＤＰは、店舗前を通行する人に対して広告を掲示する。第１計測装置１は、閲覧領域ＶＡに存在する店舗前を通行する人Ｈ１、Ｈ２を撮影する。
例えば、店舗前を通行する人Ｈ１は、広告を閲覧した後に方向ＤＲ１に進み、店舗の入口ＧＴ１から店舗に入店する。また、店舗前を通行する人Ｈ２は、広告を閲覧した後に方向ＤＲ２に進み、店舗に入店することなく店舗前から立ち去る。店舗前を通行する人Ｈ３は、方向ＤＲ３に進み、入口ＧＴ１から店舗に入店する。このとき、店舗前を通行する人Ｈ３は、広告媒体ＤＰが掲示する広告を閲覧せずに店舗に入店する。
第２計測装置２は、店舗領域ＴＡにおける入口や特定の商品の前などの広告に関する場所に存在する人を撮影する。

情報処理装置３は、第１計測装置１と第２計測装置２とが撮影した画像をそれぞれ含む第１画像に関する情報と第２画像に関する情報との類似度を計算する。そして、情報処理装置３は、当該類似度から広告媒体ＤＰが掲示した広告を閲覧して所定領域に存在する人数を計算し、当該計算結果に基づいて広告効果を計測する。

図２は、第１の実施形態に係る情報処理システムＳ２の構成の一例を示す概略ブロック図である。
情報処理システムＳ２は、上述のように第１計測装置１と、第２計測装置２と、情報処理装置３と、を含む。
第１計測装置１は、第１撮像部１１と、第１画像記憶部１２と、を含む。第２計測装置２は、第２撮像部２１と、第２画像記憶部２２と、を含む。情報処理装置３は、第１検出部３１と、第１特徴量算出部３１Ａと、第１記憶部３２と、第２検出部３３と、第２特徴量算出部３３Ａと、第２記憶部３４と、マッチング部３５と、効果計算部３６と、効果記憶部３７と、を含む。第１計測装置１と情報処理装置３とは、有線または無線で接続され、通信を行う。また、第２計測装置２と情報処理装置３とは、有線または無線で接続され、通信を行う。

第１撮像部１１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：シーシーディー）センサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：シーモス）センサーなどの撮像素子（図示せず）と、撮像レンズ（図示せず）と、を備える。第１撮像部１１は、広告媒体ＤＰが掲示する広告を閲覧可能な閲覧領域ＶＡにおいて、当該閲覧領域に存在している人の顔領域の画像と衣服領域の画像とを含む人物画像を、撮影可能な位置に設置される。そして、第１撮像部１１は、当該人物画像を、撮像レンズを介して撮像素子上に結像させることで第１画像に関する情報を逐次生成する。第１撮像部１１は、生成した第１画像に関する情報を、当該第１画像に関する情報を生成した時間と対応付けて第１画像記憶部１２に記憶させる。
第１画像記憶部１２は、第１画像に関する情報を記憶する。

第２撮像部２１は、例えば、ＣＣＤセンサーやＣＭＯＳセンサーなどの撮像素子（図示せず）と、撮像レンズ（図示せず）と、を備える。第２撮像部２１は、前述した広告に関する予め定められた場所、すなわち特定の商品前や店舗の入口付近を撮影可能な位置に設置される。以下、これらの場所を所定領域と称する。第２撮像部２１は、店舗内の所定領域に存在する人の顔領域の画像と衣服領域の画像とを含む人物画像を、撮像レンズを介して撮像素子上に結像させることで第２画像に関する情報を逐次生成する。第２撮像部２１は、生成した第２画像に関する情報を、当該第２画像に関する情報を生成した時間と対応付けて第２画像記憶部２２に記憶させる。
第２画像記憶部２２は、第２画像に関する情報を記憶する。

情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）、各種データの一時記憶などに用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｃｅｓｓ Ｍｅｍｏｒｙ：ラム）、およびマスクＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ロム）やフラッシュメモリー、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：強誘電体メモリ）などの不揮発性メモリー（いずれも図示せず）を備える。また、情報処理装置３は、第１検出部３１と、第１特徴量算出部３１Ａと、第１記憶部３２と、第２検出部３３と、第２特徴量算出部３３Ａと、第２記憶部３４と、マッチング部３５と、効果計算部３６と、効果記憶部３７と、を制御する制御装置および画像を処理するプロセッサなどを備える。

第１検出部３１は、第１画像記憶部１２から第１画像に関する情報を読み出し、当該第１画像に関する情報に含まれる第１画像から、例えば、Ｈａａｒ−Ｌｉｋｅ特徴量などを利用した顔領域検出手段を用いて顔領域を検出し、当該顔領域を所定時間以上、検出した場合に顔領域の画像を、顔を含むように矩形に切り出し、第１顔領域画像を生成する。
また、第１検出部３１は、生成した第１顔領域画像に対応する第１画像に関する情報に含まれる人物画像から衣服領域の画像を切り出して第１衣服領域画像を生成する。第１衣服領域画像は、横幅が第１顔領域画像の横幅と略同じ幅で、かつ、縦幅が第１顔領域画像に対する所定のサイズ、例えば第１顔領域画像の３倍、４倍などの幅となり、第１顔領域画像の下端が第１衣服領域画像の上端となるように切り出される。

第１特徴量算出部３１Ａは、まず、第１顔領域画像における特徴量を第１顔領域特徴量として計算する。次いで、第１特徴量算出部３１Ａは、第１衣服領域画像における特徴量を第１衣服領域特徴量として計算する。そして、第１特徴量算出部３１Ａは、計算した第１顔領域特徴量と第１衣服領域特徴量とを第１記憶部３２に記憶させる。

より詳細に、第１特徴量算出部３１Ａの動作を説明する。
第１特徴量算出部３１Ａは、例えば、カラーヒストグラム特徴量と、画像中の頻出色を頻度順に並び替えたＭＣＳＨ（Ｍａｊｏｒ−Ｃｏｌｏｒ Ｓｐｅｃｔｒｕｍ Ｈｉｓｔｏｇｒａｍ：エムシーエスエイチ）特徴量と、局所特徴量と、の３種類の特徴量を用いて第１顔領域画像における特徴量を第１顔領域特徴量として計算する。ここで、局所特徴量とは、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ：サーフ）特徴量、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ：シフト）特徴量、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ：ホッグ）特徴量などの特徴量である。
また、第１特徴量算出部３１Ａは、例えば、カラーヒストグラム特徴量とＭＣＳＨ特徴量と局所特徴量との３種類の特徴量を用いて第１衣服領域画像における特徴量を第１衣服領域特徴量として計算する。そして、第１特徴量算出部３１Ａは、計算した第１顔領域特徴量と第１衣服領域特徴量とを第１記憶部３２に記憶させる。
第１記憶部３２は、第１画像特徴量情報として第１顔領域特徴量と第１衣服領域特徴量とを記憶する。

第２検出部３３は、第２画像記憶部２２から第２画像に関する情報を読み出し、当該第２画像に関する情報から、例えば、ＨＯＧ特徴量などを利用した人物領域検出手段を用いて人物領域を検出する。第２検出部３３は、検出した人物領域が店舗内の所定領域に存在するか否かを判定する。具体的には、第２検出部３３は、検出した人物領域が所定の判定ラインを通過したか否かを判定し、所定の判定ラインを通過した場合に店舗内の所定領域に存在すると判定する。例えば、第２検出部３３は、店舗の入口付近の所定の判定ラインを、検出した人物領域が通過したか否かを判定する。そして、第２検出部３３は、当該人物領域が所定の判定ラインを通過した場合、店舗に入店したと判定する。

第２検出部３３は、検出した人物領域が店舗内の所定領域に存在すると判定した場合、当該人物領域から例えば、Ｈａａｒ−Ｌｉｋｅ特徴量などを利用した顔領域検出手段を用いて顔領域を検出し、当該顔領域の画像を、顔を含むように矩形に切り出し、第２顔領域画像を生成する。
また、第２検出部３３は、生成した第２顔領域画像に対応する第２画像に関する情報に含まれる人物画像から衣服領域の画像を切り出して第２衣服領域画像を生成する。第２衣服領域画像は、横幅が第２顔領域画像の横幅と略同じ幅で、かつ、縦幅が第２顔領域画像に対する所定のサイズ、例えば第２顔領域画像の３倍、４倍などの幅となり、第２顔領域画像の下端が第２衣服領域画像の上端となるように切り出される。

第２特徴量算出部３３Ａは、まず、第２顔領域画像における特徴量を第２顔領域特徴量として計算する。次いで、第２特徴量算出部３３Ａは、第２衣服領域画像における特徴量を第２衣服領域特徴量として計算する。そして、第２特徴量算出部３３Ａは、計算した第２顔領域特徴量と第２衣服領域特徴量とを第２記憶部３４に記憶させる。

より詳細に、第２特徴量算出部３３Ａの動作を説明する。
第２特徴量算出部３３Ａは、例えば、カラーヒストグラム特徴量とＭＣＳＨ特徴量と局所特徴量との３種類の特徴量を用いて第２顔領域画像における特徴量を第２顔領域特徴量として計算する。
また、第２特徴量算出部３３Ａは、例えば、カラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量などの特徴量を用いて第２衣服領域画像における特徴量を第２衣服領域特徴量として計算する。そして、第２特徴量算出部３３Ａは、計算した第２顔領域特徴量と第２衣服領域特徴量とを第２記憶部３４に記憶させる。
第２記憶部３４は、第２画像特徴量として第２顔領域特徴量と第２衣服領域特徴量とを記憶する。

マッチング部３５は、第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量とに基づいて、衣服領域画像における類似度を特徴量ごとに計算する。または、マッチング部３５は、第１顔領域画像における各特徴量と第２顔領域画像における各特徴量とに基づいて、顔領域画像における類似度を特徴量ごとに計算する。そして、マッチング部３５は、特徴量ごとに計算した衣服領域画像における類似度、または特徴量ごとに計算した顔領域画像における類似度のいずれか一方に基づいて、後述する第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像との類似度を表すスコア（Ｓｃｏｒｅ）を計算する。そして、マッチング部３５は、計算したスコアに基づいて、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とが同一の人物による人物画像か否かを判定する。

より詳細にマッチング部３５の動作を説明する。
マッチング部３５は、第１記憶部３２および第２記憶部３４からある期間の第１所定時間における第１画像特徴量情報と、当該第１所定時間より後の期間の第２所定時間における第２画像特徴量情報とを、マッチング処理を行う対象とする特徴量（対象特徴量）としてそれぞれ読み出す。
マッチング部３５は、対象特徴量として読み出した第１画像特徴量情報に含まれる第１衣服領域特徴量と対象特徴量として読み出した第２画像特徴量情報に含まれる第２衣服領域特徴量とのそれぞれに含まれる第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量との間のカラーヒストグラム間の距離を、衣服領域画像のカラーヒストグラム距離として算出する。ここで、マッチング部３５は、例えば、ユーグリッド距離、分散、χ二乗距離、交差、Ｂｈａｔｔａｃｈａｔｙｙａ距離、ＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ：イーエムディー）などの指標を用いて当該衣服領域画像のカラーヒストグラム距離を算出する。
マッチング部３５は、算出した衣服領域画像のカラーヒストグラム距離を、第１衣服領域画像と第２衣服領域画像とにおけるカラーヒストグラム類似度として算出する。

また、マッチング部３５は、第１画像特徴量情報に含まれる第１衣服領域特徴量と第２画像特徴量情報に含まれる第２衣服領域特徴量とのそれぞれに含まれる第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量との間のヒストグラム間の距離を、衣服領域画像のＭＣＳＨ距離として算出する。マッチング部３５は、例えば、衣服領域画像のカラーヒストグラム距離と同様の指標を用いて衣服領域画像のＭＣＳＨ距離を算出する。
マッチング部３５は、算出した衣服領域画像のＭＣＳＨ距離を、第１衣服領域画像と第２衣服領域画像とにおけるＭＣＳＨ類似度として算出する。

また、マッチング部３５は、第１画像特徴量情報に含まれる第１衣服領域特徴量と第２画像特徴量情報に含まれる第２衣服領域特徴量とのそれぞれに含まれる第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから、局所特徴量における第１衣服領域特徴量の特徴点の特徴量ベクトルと第２衣服領域特徴量の特徴点の特徴量ベクトルとの間の特徴量ベクトル間の距離が最小となる特徴点同士を対応付ける。そして、マッチング部３５は、対応付けた当該特徴点同士の距離が所定距離以下となる特徴点点数を、第１衣服領域画像と第２衣服領域画像とにおける局所特徴量類似度として算出する。

また、マッチング部３５は、衣服領域画像におけるカラーヒストグラム類似度、ＭＣＳＨ類似度、局所特徴量類似度と同様に、顔領域画像におけるカラーヒストグラム類似度、ＭＣＳＨ類似度、局所特徴量類似度を算出する。
具体的には、マッチング部３５は、対象特徴量として読み出した第１画像特徴量情報に含まれる第１顔領域特徴量と対象特徴量として読み出した第２画像特徴量情報に含まれる第２顔領域特徴量とのそれぞれに含まれる第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量との間のカラーヒストグラム間の距離を、顔領域画像のカラーヒストグラム距離として算出する。ここで、マッチング部３５は、例えば、ユーグリッド距離、分散、χ二乗距離、交差、Ｂｈａｔｔａｃｈａｔｙｙａ距離、ＥＭＤなどの指標を用いて当該顔領域画像のカラーヒストグラム距離を算出する。
マッチング部３５は、算出した顔領域画像のカラーヒストグラム距離を、第１顔領域画像と第２顔領域画像とにおけるカラーヒストグラム類似度として算出する。

また、マッチング部３５は、第１画像特徴量情報に含まれる第１顔領域特徴量と第２画像特徴量情報に含まれる第２顔領域特徴量とのそれぞれに含まれる第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量との間のヒストグラム間の距離を、顔領域画像のＭＣＳＨ距離として算出する。マッチング部３５は、例えば、顔領域画像のカラーヒストグラム距離と同様の指標を用いて顔領域画像のＭＣＳＨ距離を算出する。
マッチング部３５は、算出した顔領域画像のＭＣＳＨ距離を、第１顔領域画像と第２顔領域画像とにおけるＭＣＳＨ類似度として算出する。

また、マッチング部３５は、第１画像特徴量情報に含まれる第１顔領域特徴量と第２画像特徴量情報に含まれる第２顔領域特徴量とのそれぞれに含まれる第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから、局所特徴量における第１顔領域特徴量の特徴点の特徴量ベクトルと第２顔領域特徴量の特徴点の特徴量ベクトルとの間の特徴量ベクトル間の距離が最小となる特徴点同士を対応付ける。そして、マッチング部３５は、対応付けた当該特徴点同士の距離が所定距離以下となる特徴点点数を、第１顔領域画像と第２顔領域画像とにおける局所特徴量類似度として算出する。

次いで、マッチング部３５は、算出した衣服領域画像のカラーヒストグラム類似度と衣服領域画像のＭＣＳＨ類似度と衣服領域画像の局所特徴量類似度とに基づいて、衣服領域画像におけるスコアを計算し、当該スコアが閾値より大きいか否かを判定する。
また、マッチング部３５は、算出した顔領域画像のカラーヒストグラム類似度と顔領域画像のＭＣＳＨ類似度と顔領域画像の局所特徴量類似度とに基づいて、顔領域画像におけるスコアを計算し、当該スコアが閾値より大きいか否かを判定する。

ここで、マッチング部３５が、衣服領域画像のスコア、および顔領域画像のスコアを例えば、以下の式でそれぞれ計算する。
ＳＣＲ＝（ａ＿ｍ）×（Ｓ＿ｍ）＋（ａ＿ｈ）×（Ｓ＿ｈ）＋（ａ＿ｆ）×（Ｓ＿ｆ）
ここで、スコア（ＳＣＲ）は、第１画像に関する情報と第２画像に関する情報との間の画像間の類似度を表す。また、Ｓ＿ｍは、ＭＳＣＨ類似度を表し、Ｓ＿ｈは、カラーヒストグラム類似度を表し、Ｓ＿ｆは、局所特徴量類似度を表す。また、ａ＿ｍは、ＭＣＳＨ類似度に対する重み係数であり、ａ＿ｈは、カラーヒストグラム類似度に対する重み係数であり、ａ＿ｆは、局所特徴量類似度に対する重み係数である。

そして、マッチング部３５は、計算した衣服領域画像のスコアが閾値より大きい場合、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とにおける衣服領域画像が同一の人物による人物画像であると判定する。一方、マッチング部３５は、計算したスコアが閾値以下である場合、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とが異なる人物（別人）による人物画像であると判定する。
また、マッチング部３５は、計算した顔領域画像のスコアが閾値より大きい場合、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とにおける顔領域画像が同一の人物による人物画像であると判定する。一方、マッチング部３５は、計算したスコアが閾値以下である場合、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とが異なる人物（別人）による人物画像であると判定する。

そして、マッチング部３５は、衣服領域画像または顔領域画像の一方により同一の人物による人物画像（同一人物画像）であると判定した場合、当該同一の人物による人物画像であることを表す判定結果を効果計算部３６に出力する。また、マッチング部３５は、対象特徴量とした第１画像に関する情報に含まれる人物画像の数と対象特徴量とした第２画像に関する情報に含まれる人物画像の数とを、対象画像数として効果計算部３６に出力する。

効果計算部３６は、マッチング部３５から入力された顔領域画像または衣服領域画像の一方において同一の人物による人物画像であると判定された判定結果、および対象画像数に基づいて、広告媒体に掲示された広告の効果を計算する。具体的には、効果計算部３６は、マッチング部３５が対象特徴量とした第１画像に関する情報に含まれる人物画像の数を、広告媒体に掲示された広告を閲覧した閲覧人数として計算する。また、効果計算部３６は、マッチング部３５が対象特徴量とした第２画像に関する情報に含まれる人物画像の数を、判定領域に存在する存在人数として計算する。

効果計算部３６は、マッチング部３５から入力された顔領域画像または衣服領域画像の一方において同一の人物による人物画像であると判定された判定結果に基づいて、同一の人物による人物画像であると判定された画像数を閲覧存在人数として計算する。
そして、効果計算部３６は、閲覧人数、存在人数、閲覧存在人数に基づいて、閲覧人数から閲覧存在人数を減算することで、広告媒体を閲覧したが入店しなかった人数を閲覧非存在人数をとして計算する。

また、効果計算部３６は、閲覧存在人数を、閲覧人数で除算することで、閲覧存在率を計算する。この閲覧存在率は、広告媒体が掲示する広告を閲覧した人数に対する、当該広告を閲覧した後に判定領域に移動した人数の割合である。当該閲覧存在率は、広告媒体が掲示する広告に対する効果を表す指標の一つである。

そして、効果計算部３６は、広告媒体が掲示していた広告を識別する識別番号と、計算した閲覧存在率と、閲覧人数と、存在人数と、閲覧存在人数と、閲覧非存在人数と、を対応付けて効果記憶部３７に記憶させる。
効果記憶部３７は、広告媒体が掲示していた広告を識別する識別番号と、閲覧存在率と、閲覧人数と、存在人数と、閲覧存在人数と、閲覧非存在人数と、を対応付けて記憶する。

図３は、第１の実施形態に係る第１検出部３１が生成する第１画像に関する情報に含まれる顔領域の画像と衣服領域の画像との一例を示す概略図である。
第１画像に関する情報Ｇ２において、第１検出部３１は、顔領域ＧＡ２１を検出する。第１検出部３１は、所定時間以上、顔領域Ｇ２１を検出した場合に当該顔領域Ｇ２１を所定サイズ、例えば、顔を含むように矩形に切り出して第１顔領域画像Ｇ２１を生成する。そして、第１検出部３１は、所定時間以上、顔領域ＧＡ２１が検出された場合、第１画像に関する情報に含まれる人物画像から第１衣服領域画像Ｇ２２を生成する。この第１衣服猟奇画像Ｇ２２は、横幅が所定の幅（例えば、第１顔領域画像Ｇ２１の横幅と同じ幅）で、かつ、縦幅が第１顔領域画像Ｇ２１に対する所定のサイズ、例えば２倍の幅となり、第１顔領域画像の下端が第１衣服領域画像の上端となるように切り出しされる。

図４は、第１の実施形態に係る第２検出部３３が生成する第２画像に関する情報に含まれる顔領域の画像と衣服領域の画像との一例を示す概略図である。
第２画像に関する情報Ｇ１において、第２検出部３３は、顔領域と衣服領域とを含む人物領域ＧＡ１を例えば、ＨＯＧ特徴量を利用した人物領域検出手段を用いて検出する。そして、第２検出部３３は、当該人物領域ＧＡ１の底辺が所定の判定ラインＪＬを通過したか否かを判定し、所定の判定ラインＪＬを通過した場合に店舗内の所定領域に存在すると判定する。

そして、第２検出部３３は、店舗内の所定領域に存在すると判定された人物領域ＧＡ１の人物画像から顔領域の画像を、例えば、顔を含むように矩形に切り出し、第２顔領域画像Ｇ１２を生成する。そして、第２検出部３３は、当該人物画像から衣服領域の画像を、横幅が所定の幅（例えば、第２顔領域画像Ｇ１２の横幅と同じ幅）で、かつ、縦幅が第２顔領域画像Ｇ１２に対する所定のサイズ（例えば２倍の幅）で第２顔領域画像の下端が第２衣服領域画像の上端となるように当該第２顔領域画像の下部の衣服領域画像を切り出して第２衣服領域画像Ｇ１３を生成する。

図５は、第１の実施形態に係るマッチング部３５のマッチング処理の一例を示す概略図である。
図５において、マッチング部３５は、第１所定時間における第１画像特徴量情報および第２所定時間における第２画像特徴量情報を、マッチング処理を行う対象とする特徴量（対象特徴量）としてそれぞれ読み出す。マッチング部３５は、対象特徴量として読み出した第１画像特徴量情報と対象特徴量として読み出した第２画像特徴量情報との類似度を判定する。具体的には、マッチング部３５は、第１画像に関する情報に含まれる第１衣服領域画像Ｇ４２に対する第１衣服領域特徴量と第２画像に関する情報に含まれる第２衣服領域画像Ｇ３２に対する第２衣服領域特徴量とから、衣服領域画像の特徴量ごとの類似度を計算する。

また、マッチング部３５は、第１画像特徴量情報に含まれる第１顔領域画像Ｇ４１に対する第１顔領域特徴量と第２画像特徴量情報に含まれる第２顔領域画像Ｇ３１に対する第２顔領域特徴量とから、顔領域画像の特徴量ごとの類似度を計算する。
そして、マッチング部３５は、衣服領域画像の特徴量ごとの類似度または顔領域画像の特徴量ごとの類似度のうち少なくともいずれか一方に基づいて、第１画像に関する情報と第２画像に関する情報とのスコアを計算し、当該スコアが閾値より大きいか否かを判定する。

すなわち、図５において、マッチング部３５は、顔領域画像のスコアまたは衣服領域画像のスコアが閾値より大きいか否かを判定し、顔領域画像のスコアまたは衣服領域画像のスコアのうちのいずれか一方が閾値より大きい場合に第１画像に関する情報と第２画像に関する情報との人物画像が同一の人物による人物画像であると判定する。この場合、顔領域画像のスコアおよび衣服領域画像のスコアのそれぞれがそれぞれの閾値より大きく、マッチング部３５は、顔領域画像のスコアと衣服領域画像のスコアとのどちらを用いても同一の人物による人物画像であると判定する。

なお、顔領域画像のスコアと衣服領域画像のスコアとの両方を用いて第１画像に関する情報と第２画像に関する情報との人物画像が同一の人物による人物画像であるか否かを判定する場合であっても、マッチング部３５は、どちらか一方で判定する場合と同様に、同一の人物による人物画像であると判定する。マッチング部３５は、衣服領域画像のスコアおよび顔領域画像のスコアを両方用いて同一の人物による人物画像か否かを判定することで、類似する衣服を着衣する人、例えばスーツなどを着衣する人が多い場所であっても、精度よくマッチング処理を行うことができる。

図６は、第１の実施形態に係るマッチング部３５のマッチング処理の一例を示す概略図である。
図６においても、図５と同様にマッチング部３５が同一の人物による人物画像か否かを判定するが説明を省略する。
なお、図６において、第１衣服領域画像Ｇ６２と第２衣服領域画像Ｇ５２とは衣服領域画像のスコアが閾値より大きいため、マッチング部３５は同一の人物による人物画像であると判定する。しかし、マッチング部３５は、第１顔領域画像Ｇ６１と第２顔領域画像Ｇ５１との顔領域画像のスコアが閾値以下であるため、異なる人物による人物画像であると判定する。

図７は、第１の実施形態に係るマッチング部３５のマッチング処理の一例を示す概略図である。
図７においても、図５と同様にマッチング部３５が同一の人物による人物画像か否かを判定するが説明を省略する。
また、図７における衣服領域画像Ｇ８２、Ｇ７２は、無地かつモノトーンの衣服など、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａにより算出される特徴量ごとの特徴点が少ないが、本実施形態では、複数の特徴量から類似度を計算し、当該類似度からスコアを計算することで、それぞれの特徴量を補完することができる。図７の場合も、マッチング部３５は、顔領域画像のスコアおよび衣服領域画像のスコアのそれぞれがそれぞれの閾値より大きく、マッチング部３５は、顔領域画像のスコアと衣服領域画像のスコアとのどちらを用いても同一の人物による人物画像であると判定する。

図８は、第１の実施形態に係るマッチング部３５のマッチング処理の一例を示す概略図である。
図８において、第１撮像部１１は、人物画像を含まない背景画像を、撮像レンズを介して撮像素子上に結像させることで第１背景画像ＧＢ１を含む第１背景画像情報を生成する。第１検出部３１は、第１背景画像情報と背景画像を含む第１画像に関する情報との差分を求め、背景画像を含まない第１画像に関する情報を生成する。この背景画像を含まない第１画像に関する情報には、第１顔領域画像と第１衣服領域画像とが含まれる。また、第２撮像部２１は、人物画像を含まない背景画像を、撮像レンズを介して撮像素子上に結像させることで第２背景画像ＧＢ３を含む第２背景画像情報を生成する。第２検出部３３は、第２背景画像情報と背景画像を含む第２画像に関する情報との差分を求め、背景画像を含まない第２画像に関する情報を生成する。この背景画像を含まない第２画像に関する情報には、第２顔領域画像と第２衣服領域画像とが含まれる。

第１検出部３１および第２検出部３３は、背景画像を含まない第１画像に関する情報と背景画像を含まない第２画像に関する情報とから、第１顔領域画像と第２顔領域画像と第１衣服領域画像と第２衣服領域画像とをそれぞれ生成する。そして、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａは、第１顔領域画像と第２顔領域画像と第１衣服領域画像と第２衣服領域画像とのそれぞれに対して、上述の特徴量を計算し、図５と同様に類似度、スコアを計算し、同一の人物による人物画像か否かを判定する。
これにより、情報処理装置３は、顔領域画像および衣服領域画像以外の背景画像（ノイズ）を除去でき、マッチング部３５におけるマッチング処理のマッチング精度を向上させることができる。

なお、第１検出部３１または第２検出部３３のうち、いずれか一方のみが、背景画像を含む第１画像に関する情報および背景画像を含む第２画像に関する情報に対して、背景画像を含まない第１画像に関する情報または背景画像を含まない第２画像に関する情報を生成してもよいし、背景画像を含む第１画像に関する情報および背景画像を含む第２画像に関する情報とそれぞれの背景画像情報との差分を求めずに、第１検出部３１および第２検出部３３がそのまま背景画像を含む第１画像に関する情報および背景画像を含む第２画像に関する情報とから顔領域画像と衣服領域画像とを生成してもよい。

図９は、第１の実施形態に係る情報処理装置３の衣服領域画像のマッチング処理の一例を示すフローチャートである。
ステップＳＴ１０１において、第１検出部３１は、第１画像に関する情報に含まれる第１衣服領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる第２衣服領域画像を取得する。
ステップＳＴ１０２において、第１特徴量算出部３１Ａは、第１衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２特徴量算出部３３Ａは、第２衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。

ステップＳＴ１０２Ａにおいて、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量とに基づいて、類似度をそれぞれ計算する。
ステップＳＴ１０３において、マッチング部３５は、第１衣服領域画像と第２衣服領域画像とにおける各特徴量の類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ１０４に進む。

一方、ステップＳＴ１０３において、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ１０７において別人による人物画像であると判定し、衣服領域画像の類似度判定処理を終了する。

ステップＳＴ１０４において、マッチング部３５は、計算した各類似度に基づいて衣服領域画像のスコアを計算する。具体的には、マッチング部３５は、衣服領域画像のカラーヒストグラム類似度と衣服領域画像のＭＣＳＨ類似度と衣服領域画像の局所特徴量類似度とから、衣服領域画像のスコアを計算する。
ステップＳＴ１０５において、マッチング部３５は、計算した衣服領域画像のスコアが任意の閾値Ｙより大きいか否かを判定する。衣服領域画像のスコアが任意の閾値Ｙより大きい場合、ステップＳＴ１０６に進み、同一の人物による人物画像であると判定し、類似度判定処理を終了する。一方、スコアが任意の閾値Ｙ以下である場合、ステップＳＴ１０７に進み、第１衣服領域画像と第２衣服領域画像とが別人による人物画像であると判定し、衣服領域画像の類似度判定処理を終了する。
なお、任意の閾値Ｘ１、Ｘ２、Ｘ３、Ｙは、それぞれ異なる値の閾値である。

図１０は、第１の実施形態に係る情報処理装置３の顔領域画像のマッチング処理の一例を示すフローチャートである。
ステップＳＴ２０１において、第１検出部３１は、第１画像に関する情報に含まれる第１顔領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる第２顔領域画像を取得する。
ステップＳＴ２０２において、第１特徴量算出部３１Ａは、第１顔領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。また、第２特徴量算出部３３Ａは、第２顔領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。
ステップＳＴ２０３において、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１顔領域画像における各特徴量と第２顔領域画像における各特徴量に基づいて、類似度をそれぞれ計算する。

ステップＳＴ２０３Ａにおいて、マッチング部３５は、第１顔領域画像と第２顔領域画像とにおける各特徴量の類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ２０３Ｂに進む。

一方、ステップＳＴ２０３Ａにおいて、マッチング部３５は、第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ２０６において別人による人物画像であると判定し、顔領域画像の類似度判定処理を終了する。

ステップＳＴ２０３Ｂにおいて、マッチング部３５は、計算した顔領域画像の各類似度に基づいて、顔領域画像のスコアを計算する。具体的には、マッチング部３５は、顔領域画像のカラーヒストグラム類似度と顔領域画像のＭＣＳＨ類似度と顔領域画像の局所特徴量類似度とからスコアを計算する。
ステップＳＴ２０４において、マッチング部３５は、計算した顔領域画像のスコアが任意の閾値Ｙより大きいか否かを判定する。顔領域画像のスコアが任意の閾値Ｙより大きい場合、ステップＳＴ２０５において同一の人物による人物画像であると判定し、類似度判定処理を終了する。一方、顔領域画像のスコアが任意の閾値Ｙ以下である場合、ステップＳＴ２０６において別人による人物画像であると判定し、類似度判定処理を終了する。
なお、任意の閾値Ｘ１、Ｘ２、Ｘ３、Ｙは、それぞれ異なる値の閾値である。また、図９における任意の閾値Ｘ１、Ｘ２、Ｘ３、Ｙと図１０における任意の閾値Ｘ１、Ｘ２、Ｘ３、Ｙとは、異なる値の閾値であるが、同じ値の閾値であってもよい。

このように、本実施形態によれば、情報処理装置３は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部（第１検出部３１）と、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部（第２検出部３３）と、第１取得部（第１検出部３１）が取得した第１画像に関する情報と第２取得部（第２検出部３３）が取得した第２画像に関する情報との類似度を判定する類似判定部（マッチング部３５）と、を備える。

これにより、広告媒体に掲示された広告を閲覧したときに撮影された人の画像と広告に関連する場所、例えば、店舗への入店、広告媒体に掲示された商品の前などで撮影された人の画像との類似度から、これら二つの画像内に映る人が同一人物であるか否かを判定することができ、広告による広告効果を測定することができる。

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
第２の実施形態では、衣服領域のマッチング処理の後に顔領域のマッチング処理を行う場合について説明する。
第２の実施形態に係る情報処理システムは、図２に示した第１の実施形態に係る情報処理システムＳ２と同様であり、同一の符号を付け、各機能部において異なる部分を中心に説明する。

マッチング部３５は、第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量とに基づいて、衣服領域画像における類似度を特徴量ごとに計算する。また、マッチング部３５は、第１顔領域画像における各特徴量と第２顔領域画像における各特徴量とに基づいて、顔領域画像における類似度を特徴量ごとに計算する。そして、マッチング部３５は、特徴量ごとに計算した衣服領域画像における類似度、および、特徴量ごとに計算した顔領域画像における類似度の両方に基づいて、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像との類似度を表す衣服領域画像のスコアおよび顔領域画像のスコアを計算する。そして、マッチング部３５は、計算した衣服領域画像のスコアと顔領域画像のスコアとの両方に基づいて、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とが同一の人物による人物画像か否かをそれぞれ判定する。

マッチング部３５は、衣服領域画像および顔領域画像の両方において同一の人物による人物画像（同一人物画像）であると判定した場合、当該同一の人物による人物画像であることを表す判定結果を効果計算部３６に出力する。一方、衣服領域画像または顔領域画像のうちいずれか一方において別人による人物画像であると判定した場合、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とが別人による人物画像であると判定する。
そして、マッチング部３５は、対象特徴量とした第１画像に関する情報に含まれる人物画像の数と対象特徴量とした第２画像に関する情報に含まれる人物画像の数とを、対象画像数として効果計算部３６に出力する。

効果計算部３６は、顔領域画像と衣服領域画像とが第１画像に関する情報と第２画像に関する情報とで共に同一の人物による人物画像であると判定された判定結果に基づいて、閲覧存在人数を計算する。

図１１は、第２の実施形態に係る情報処理装置３の顔領域画像および衣服領域画像のマッチング処理の一例を示すフローチャートである。
ステップＳＴ３０１において、第１検出部３１は、第１画像に関する情報に含まれる第１衣服領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる第２衣服領域画像を取得する。
ステップＳＴ３０２において、第１特徴量算出部３１Ａは、第１衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２特徴量算出部３３Ａは、第２衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。
ステップＳＴ３０２Ａにおいて、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量との類似度をそれぞれ計算する。

ステップＳＴ３０３において、マッチング部３５は、第１衣服領域画像と第２衣服領域画像とのそれぞれの類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ３０４に進む。

一方、ステップＳＴ３０３において、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ３１１において別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ３０４において、マッチング部３５は、衣服領域画像のカラーヒストグラム類似度と衣服領域画像のＭＣＳＨ類似度と衣服領域画像の局所特徴量類似度とから、衣服領域画像のスコアを計算する。
ステップＳＴ３０５において、マッチング部３５は、計算した衣服領域画像のスコアが任意の閾値Ｙ１より大きいか否かを判定する。衣服領域画像のスコアが任意の閾値Ｙ１より大きい場合、ステップＳＴ３０６に進む。一方、衣服領域画像のスコアが任意の閾値Ｙ１以下である場合、ステップＳＴ３１１に進み、第１衣服領域画像と第２衣服領域画像とが別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ３０６において、第１検出部３１は、第１画像に関する情報に含まれる第１顔領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる第２顔領域画像を取得する。
ステップＳＴ３０７において、第１特徴量算出部３１Ａは、第１顔領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２特徴量算出部３３Ａは、第２顔領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。

ステップＳＴ３０８Ａにおいて、マッチング部３５は、第１顔領域画像と第２顔領域画像とにおける各特徴量の類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ３０８Ｂに進む。

一方、ステップＳＴ３０８Ａにおいて、マッチング部３５は、第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ３１１において別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ３０８Ｂにおいて、マッチング部３５は、計算した顔領域画像の各特徴量の類似度に基づいて顔領域画像のスコアを計算する。具体的には、マッチング部３５は、顔領域画像のカラーヒストグラム類似度と顔領域画像のＭＣＳＨ類似度と顔領域画像の局所特徴量類似度とから、顔領域画像のスコアを計算する。

ステップＳＴ３０９において、マッチング部３５は、計算した顔領域画像のスコアが任意の閾値Ｙ２より大きいか否かを判定する。顔領域画像のスコアが任意の閾値Ｙ２より大きい場合、ステップＳＴ３１０において同一の人物による人物画像であると判定し、類似度判定処理を終了する。一方、顔領域画像のスコアが任意の閾値Ｙ２以下である場合、ステップＳＴ３１１において別人による人物画像であると判定し、類似度判定処理を終了する。

なお、ステップＳＴ３０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは異なる値の閾値である。また、ステップＳＴ３０８Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは異なる値の閾値である。また、ステップＳＴ３０３における任意の閾値Ｘ１、Ｘ２、Ｘ３とステップＳＴ３０８Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３とは、それぞれ異なる値の閾値である。
なお、ステップＳＴ３０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは、図９のステップＳＴ１０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと同じ値の閾値であってもよい。また、ステップＳＴ３０８Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは、図１０のステップＳＴ２０３Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと同じ値の閾値であってもよい。
なお、ステップＳＴ３０５における任意の閾値Ｙ１とステップＳＴ３０９における任意の閾値Ｙ２とは、異なる値の閾値である。また、ステップＳＴ３０５における任意の閾値Ｙ１は、図９のステップＳＴ１０５における任意の閾値Ｙと同じ値の閾値であってもよい。また、ステップＳＴ３０９における任意の閾値Ｙ２は、図１０のステップＳＴ２０４における任意の閾値Ｙと同じ値の閾値であってもよい。

このように、本実施形態によれば、情報処理装置３は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部（第１検出部３１）と、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部（第２検出部３３）と、第１取得部（第１検出部３１）が取得した第１画像に関する情報と第２取得部（第２検出部３３）が取得した第２画像に関する情報との類似度を判定する類似判定部（マッチング部３５）と、を備える。

これにより、広告媒体に掲示された広告を閲覧したときに撮影された人の画像と広告に関連する場所、例えば、店舗への入店、広告媒体に掲示された商品の前などで撮影された人の画像との類似度から、これら二つの画像内に映る人が同一人物であるか否かを判定することができ、広告による広告効果を測定することができる。

（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
第３の実施形態では、顔領域のマッチング処理の後に衣服領域のマッチング処理を行う場合について説明する。
第３の実施形態に係る情報処理システムは、第２の実施形態に係る情報処理システムと同様であるので説明は省略する。

図１２は、第３の実施形態に係る情報処理装置３の顔領域画像および衣服領域画像のマッチング処理の一例を示すフローチャートである。
ステップＳＴ４０１において、第１検出部３１は、第１画像に関する情報に含まれる第１顔領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる第２顔領域画像を取得する。
ステップＳＴ４０２において、第１特徴量算出部３１Ａは、第１顔領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２特徴量算出部３３Ａは、第２顔領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。

ステップＳＴ４０３において、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１顔領域画像における各特徴量と第２顔領域画像における各特徴量との類似度をそれぞれ計算する。

ステップＳＴ４０３Ａにおいて、マッチング部３５は、第１顔領域画像と第２顔領域画像とにおける各特徴量の類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量とから計算したＭＣＡＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ４０３Ｂに進む。

一方、ステップＳＴ４０３Ａにおいて、マッチング部３５は、第１顔領域画像のカラーヒストグラム特徴量と第２顔領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１顔領域画像のＭＣＳＨ特徴量と第２顔領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１顔領域画像の局所特徴量と第２顔領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ４１１において別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ４０３Ｂにおいて、マッチング部３５は、計算した顔領域画像の各特徴量の類似度に基づいて、スコアを計算する。具体的には、マッチング部３５は、顔領域画像のカラーヒストグラム類似度と顔領域画像のＭＣＳＨ類似度と顔領域画像の局所特徴量類似度とから、顔領域画像のスコアを計算する。
ステップＳＴ４０４において、マッチング部３５は、計算した顔領域画像のスコアが任意の閾値Ｙ１より大きいか否かを判定する。顔領域画像のスコアが任意の閾値Ｙ１より大きい場合、ステップＳＴ４０５に進む。一方、顔領域画像のスコアが任意の閾値Ｙ１以下である場合、ステップＳＴ４１１において別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ４０５において、第１検出部３１は、第１画像に関する情報に含まれる第１衣服領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる第２衣服領域画像を取得する。
ステップＳＴ４０６において、第１検出部３１は、第１衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２検出部３３は、第２衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。
ステップＳＴ４０６Ａにおいて、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量との類似度をそれぞれ計算する。

ステップＳＴ４０７において、マッチング部３５は、第１衣服領域画像と第２衣服領域画像とのそれぞれの類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ４０８に進む。

一方、ステップＳＴ４０７において、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ４１１において、別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ４０８において、マッチング部３５は、衣服領域画像のカラーヒストグラム類似度と衣服領域画像のＭＣＳＨ類似度と衣服領域画像の局所特徴量類似度とから、衣服領域画像のスコアを計算する。
ステップＳＴ４０９において、マッチング部３５は、計算した衣服領域画像のスコアが任意の閾値Ｙ２より大きいか否かを判定する。衣服領域画像のスコアが任意の閾値Ｙ２以下である場合、ステップＳＴ４１１に進み、第１衣服領域画像と第２衣服領域画像とが別人による人物画像であると判定し、類似度判定処理を終了する。一方、衣服領域画像のスコアが任意の閾値Ｙ２より大きい場合、ステップＳＴ４１０に進み、同一の人物による人物画像であると判定し、類似度判定処理を終了する。

なお、ステップＳＴ４０３Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは異なる値の閾値である。また、ステップＳＴ４０７における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは異なる値の閾値である。また、ステップＳＴ４０３Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３とステップＳＴ４０７における任意の閾値Ｘ１、Ｘ２、Ｘ３とは、それぞれ異なる値の閾値である。
なお、ステップＳＴ４０３Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは、図１１のステップＳＴ３０８Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと、図１０のステップＳＴ２０３Ａにおける任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと、同じ値の閾値であってもよい。また、ステップＳＴ４０７における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは、図９のステップＳＴ１０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと、図１１のステップＳＴ３０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと、同じ値の閾値であってもよい。

なお、ステップＳＴ４０４における任意の閾値Ｙ１とステップＳＴ４０９における任意の閾値Ｙ２とは、異なる値の閾値である。
なお、ステップＳＴ４０４における任意の閾値Ｙ１は、図１１のステップＳＴ３０９における任意の閾値Ｙ２、図１０のステップＳＴ２０４における任意の閾値Ｙと同じ値の閾値であってもよい。また、ステップＳＴ４０９における任意の閾値Ｙ２は、図１１のステップＳＴ３０５における任意の閾値Ｙ１、図９のステップＳＴ１０５における任意の閾値Ｙと同じ値の閾値であってもよい。

このように、本実施形態によれば、情報処理装置３は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部（第１検出部３１）と、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部（第２検出部３３）と、第１取得部（第１検出部３１）が取得した第１画像に関する情報と第２取得部（第２検出部３３）が取得した第２画像に関する情報との類似度を判定する類似判定部（マッチング部３５）と、を備える。

これにより、広告媒体に掲示された広告を閲覧したときに撮影された人の画像と広告に関連する場所、例えば、店舗への入店、広告媒体に掲示された商品の前などで撮影された人の画像との類似度から、これら二つの画像内に映る人が同一人物であるか否かを判定することができ、広告による広告効果を測定することができる。

（第４の実施形態）
以下、図面を参照しながら本発明の第４の実施形態について詳しく説明する。
第４の実施形態では、第１画像取得時間と第２画像取得時間との時間差分を利用したマッチング処理を行う場合について説明する。
第４の実施形態に係る情報処理システムは、図２に示した第１の実施形態に係る情報処理システムＳ２と同様であり、同一の符号を付け、各機能部において異なる部分を中心に説明する。

第１検出部３１は、第１画像記憶部１２から第１画像に関する情報とともに第１計測装置１が第１画像に関する情報を生成したときの時間を読み出し、第１顔領域画像と第１衣服領域顔像を生成する。第１検出部３１は、生成した第１顔領域画像と第１衣服領域画像と第１画像取得時間とを第１特徴量算出部３１Ａに出力する。
第１特徴量算出部３１Ａは、第１顔領域特徴量または第１衣服領域特徴量のうち少なくとも一方を計算する。そして、第１特徴量算出部３１Ａは、計算した第１顔領域特徴量または第１衣服領域特徴量と第１画像取得時間とを対応付けて第１記憶部３２に記憶させる。

第２検出部３３は、第２画像記憶部２２から第２画像に関する情報とともに第２計測装置２が第２画像に関する情報を生成したときの時間を読み出し、第２顔領域画像と第２衣服領域顔像を生成する。第２検出部３３は、生成した第２顔領域画像と第２衣服領域画像と第２画像取得時間とを第２特徴量算出部３３Ａに出力する。
第２特徴量算出部３３Ａは、第２顔領域特徴量または第２衣服領域特徴量のうち少なくとも一方を計算する。そして、第２特徴量算出部３３Ａは、計算した第２顔領域特徴量または第２衣服領域特徴量と第１画像取得時間とを対応付けて第２記憶部３４に記憶させる。

マッチング部３５は、第１画像取得時間と当該第１画像取得時間より後の第２画像取得時間とに基づいて、第２画像取得時間から第１画像取得時間を減算した時間差を計算する。そして、マッチング部３５は、計算した時間差が時間の閾値未満であるか否かを判定する。時間差が時間の閾値未満である場合、顔領域画像の類似度または衣領域画像の類似度を計算し、当該類似度に基づいて、第１画像に関する情報に含まれる人物画像と第２画像に関する情報に含まれる人物画像とが同一の人物による人物画像か否かを判定する。一方、時間差が時間の閾値以上である場合、別人による人物画像であると判定し、類似度判定処理を終了する。

図１３は、第４の実施形態に係る情報処理装置３の衣服領域画像のマッチング処理の一例を示すフローチャートである。
ステップＳＴ５０１において、第１検出部３１は、第１画像に関する情報に含まれる第１衣服領域画像および第１画像取得時間を取得する。また、第２検出部３３は、当該第１画像取得時間より後の第２画像に関する情報に含まれる第２衣服領域画像および第２画像取得時間を取得する。
ステップＳＴ５０２において、マッチング部３５は、第２画像取得時間から第１画像取得時間を減算した時間差が時間の閾値ｔ未満であるか否かを判定する。減算した時間が閾値ｔ未満である場合、ステップＳＴ５０４に進む。一方、減算した時間が閾値ｔ以上である場合、ステップＳＴ５０３に進み、別人による人物画像であると判定する。

ステップＳＴ５０４において、第１特徴量算出部３１Ａは、第１衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２特徴量算出部３３Ａは、第２衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。
ステップＳＴ５０４Ａにおいて、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量との類似度をそれぞれ計算する。

ステップＳＴ５０５において、マッチング部３５は、第１衣服領域画像と第２衣服領域画像との類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ５０６に進む。

一方、ステップＳＴ５０５において、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ５０３に進み、別人による人物画像と判定し、類似度判定処理を終了する。

ステップＳＴ５０６において、マッチング部３５は、計算した衣服領域画像の各特徴量の類似度に基づいて、スコアを計算する。具体的には、マッチング部３５は、衣服領域画像のカラーヒストグラム類似度と衣服領域画像のＭＣＳＨ類似度と衣服領域画像の局所特徴量類似度とから、衣服領域画像のスコアを計算する。
ステップＳＴ５０７において、マッチング部３５は、計算した衣服領域画像のスコアが任意の閾値Ｙより大きいか否かを判定する。衣服領域画像のスコアが任意の閾値Ｙより大きい場合、ステップＳＴ５０８に進み、同一の人物による人物画像であると判定し、類似度判定処理を終了する。一方、衣服領域画像のスコアが任意の閾値Ｙ以下である場合、ステップＳＴ５０３に進み、第１衣服領域画像と第２衣服領域画像とが別人による人物画像であると判定し、類似度判定処理を終了する。

なお、ステップＳＴ５０５における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは異なる値の閾値である。また、ステップＳＴ５０５における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは、図１２のステップＳＴ４０７における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれ、図９のステップＳＴ１０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれ、図１１のステップＳＴ３０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと、同じ値の閾値であってもよい。
なお、ステップＳＴ５０７の任意の閾値Ｙは、図１２のステップＳＴ４０９における任意の閾値Ｙ２、図１１のステップＳＴ３０５における任意の閾値Ｙ１、図９のステップＳＴ１０５における任意の閾値Ｙと同じ値の閾値であってもよい。

なお、本実施形態において、第１衣服領域画像と第２衣服領域画像とにおける各特徴量の類似度を計算して同一の人物による人物画像か否かを判定したが、第１の実施形態のように第１顔領域画像と第２顔領域画像とにおける各特徴量の類似度を計算して同一の人物による人物画像か否かを判定してもよいし、第２の実施形態および第３の実施形態のように第１顔領域画像および第２顔領域画像と、第１衣服領域画像および第２衣服領域画像と、からそれぞれ各特徴量の類似度を計算して同一の人物による人物画像か否かを判定してもよい。

このように、本実施形態によれば、情報処理装置３は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部（第１検出部３１）と、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部（第２検出部３３）と、第１取得部（第１検出部３１）が取得した第１画像に関する情報と第２取得部（第２検出部３３）が取得した第２画像に関する情報との類似度を判定する類似判定部（マッチング部３５）と、を備える。

これにより、広告媒体に掲示された広告を閲覧したときに撮影された人の画像と広告に関連する場所、例えば、店舗への入店、広告媒体に掲示された商品の前などで撮影された人の画像との類似度から、これら二つの画像内に映る人が同一人物であるか否かを判定することができ、広告による広告効果を測定することができる。また、時間差分を用いることにより、マッチング精度が向上でき、計算コストを減少させることができる。

（第５の実施形態）
以下、図面を参照しながら本発明の第５の実施形態について詳しく説明する。
第５の実施形態では、顔カテゴリーを用いてマッチング処理を行う場合について説明する。
第５の実施形態に係る情報処理システムは、図２に示した第１の実施形態に係る情報処理システムＳ２と同様であり、同一の符号を付け、各機能部において異なる部分を中心に説明する。

第１特徴量算出部３１Ａは、第１顔領域画像における顔カテゴリーを、例えば、特開２０１２−２０３５９２号公報、特開２０１０−２１８０６０号公報などに記載の手段を用いて算出する。顔カテゴリーとは、例えば、メガネの有無、性別、年齢、地域、髭の有無、髪の長さなど顔を分類するカテゴリーである。そして、第１特徴量算出部３１Ａは、第１顔領域画像と第１衣服領域画像とのうち一方における各特徴量を計算し、計算した各特徴量と顔カテゴリーとを対応付けて第１記憶部３２に記憶させる。

第２特徴量算出部３３Ａは、第２顔領域画像における顔カテゴリーを、例えば、特開２０１２−２０３５９２号公報、特開２０１０−２１８０６０号公報などに記載の手段を用いて算出する。そして、第２特徴量算出部３３Ａは、第２顔領域画像と第２衣服領域画像とのうち一方における各特徴量を計算し、計算した各特徴量と顔カテゴリーとを対応付けて第２記憶部３４に記憶させる。

マッチング部３５は、第１記憶部３２および第２記憶部３４から第１画像特徴量情報に対応付けられた顔カテゴリーを表す情報および第２画像特徴量に対応付けられた顔カテゴリーを表す情報を読み出し、当該顔カテゴリーが同一であるか否かを判定する。マッチング部３５は、顔カテゴリーが同一であると判定した場合に、顔領域画像の各特徴量の類似度と衣服領域画像の各特徴量の類似度とのうち一方を計算する。そして、マッチング部３５は、計算した顔領域画像の類似度と衣服領域画像の類似度とのうち一方に基づいて、スコアを計算する。

効果計算部３６は、閲覧人数、存在人数、閲覧存在人数を顔カテゴリーごとに計算する。また、効果計算部３６は、顔カテゴリーごとに計算した閲覧人数、存在人数、閲覧存在人数に基づいて、顔カテゴリーごとの閲覧非存在人数を計算する。そして、効果計算部３６は、顔カテゴリーごとの閲覧存在率を計算し、効果記憶部３７に記憶させる。
なお、本実施形態において、効果計算部３６は、顔カテゴリーごとではなく、第１の実施形態から第４の実施形態のように、広告効果を計算してもよい。

図１４は、第５の実施形態に係る情報処理装置３の顔カテゴリーを利用した顔領域画像および衣服領域画像のマッチング処理の一例を示すフローチャートである。
ステップＳＴ６０１において、第１検出部３１は、第１画像に関する情報に含まれる人物画像として第１顔領域画像および第１衣服領域画像を取得する。また、第２検出部３３は、第２画像に関する情報に含まれる人物画像として第２顔領域画像および第２衣服領域画像を取得する。
ステップＳＴ６０２において、第１特徴量算出部３１Ａは、第１顔領域画像の顔カテゴリーを、例えば、特開２０１２−２０３５９２号公報、特開２０１０−２１８０６０号公報などに記載の手段などを用いて計算する。また、第２特徴量算出部３３Ａは、第２顔領域画像の顔カテゴリーを、例えば、特開２０１２−２０３５９２号公報、特開２０１０−２１８０６０号公報などに記載の手段などを用いて計算する。

ステップＳＴ６０３において、マッチング部３５は、第１顔領域画像の顔カテゴリーと第２顔領域画像の顔カテゴリーとが同一であるか否かを判定する。顔カテゴリーが同一でない場合、ステップＳＴ６０４において別人による人物画像であると判定し、類似度判定処理を終了する。一方、顔カテゴリーが同一である場合、ステップＳＴ６０５に進む。
ステップＳＴ６０５において、第１特徴量算出部３１Ａは、第１衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。第２特徴量算出部３３Ａは、第２衣服領域画像におけるカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のそれぞれの特徴量を計算する。
ステップＳＴ６０５Ａにおいて、マッチング部３５は、第１特徴量算出部３１Ａおよび第２特徴量算出部３３Ａが計算した第１衣服領域画像における各特徴量と第２衣服領域画像における各特徴量との類似度をそれぞれ計算する。

ステップＳＴ６０６において、マッチング部３５は、第１衣服領域画像と第２衣服領域画像との類似度が任意の閾値より大きいか否かを判定する。具体的には、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１より大きい場合、かつ、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２より大きい場合、かつ、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３より大きい場合、ステップＳＴ６０７に進む。

一方、ステップＳＴ６０６において、マッチング部３５は、第１衣服領域画像のカラーヒストグラム特徴量と第２衣服領域画像のカラーヒストグラム特徴量とから計算したカラーヒストグラム類似度が任意の閾値Ｘ１以下である場合、または、第１衣服領域画像のＭＣＳＨ特徴量と第２衣服領域画像のＭＣＳＨ特徴量とから計算したＭＣＳＨ類似度が任意の閾値Ｘ２以下である場合、または、第１衣服領域画像の局所特徴量と第２衣服領域画像の局所特徴量とから計算した局所特徴量類似度が任意の閾値Ｘ３以下である場合、ステップＳＴ６０４に進み、別人による人物画像であると判定し、類似度判定処理を終了する。

ステップＳＴ６０７において、マッチング部３５は、計算したカラーヒストグラム類似度とＭＣＳＨ類似度と衣服領域画像の局所特徴量類似度とから、衣服領域画像のスコアを計算する。
ステップＳＴ６０８において、マッチング部３５は、計算した衣服領域画像のスコアが任意の閾値Ｙより大きいか否かを判定する。衣服領域画像のスコアが任意の閾値Ｙより大きい場合、ステップＳＴ６０９に進み、同一の人物による人物画像であると判定し、類似度判定処理を終了する。一方、衣服領域画像のスコアが任意の閾値Ｙ以下である場合、ステップＳＴ６０４に進み、別人による人物画像であると判定し、類似度判定処理を終了する。

なお、ステップＳＴ６０６における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは異なる値の閾値である。また、ステップＳＴ６０６における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれは、図１３のステップＳＴ５０５における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれ、図１２のステップＳＴ４０７における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれ、図１１のステップＳＴ３０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれ、図９のステップＳＴ１０３における任意の閾値Ｘ１、Ｘ２、Ｘ３のそれぞれと、同じ値の閾値であってもよい。
なお、ステップＳＴ６０８の任意の閾値Ｙは、図１３のステップＳＴ５０７における任意の閾値Ｙ、図１２のステップＳＴ４０９における任意の閾値Ｙ２、図１１のステップＳＴ３０５における任意の閾値Ｙ１、図９のステップＳＴ１０５における任意の閾値Ｙと同じ値の閾値であってもよい。

なお、本実施形態において、ステップＳＴ６０２において顔カテゴリーを計算した後に第１衣服領域画像と第２衣服領域画像とにおける各特徴量の類似度を計算して同一の人物による人物画像か否かを判定したが、第１の実施形態のように第１顔領域画像と第２顔領域画像とにおける各特徴量の類似度を計算して同一の人物による人物画像か否かを判定してもよいし、第２の実施形態および第３の実施形態のように第１顔領域画像および第２顔領域画像と、第１衣服領域画像および第２衣服領域画像と、からそれぞれ各特徴量の類似度を計算して同一の人物による人物画像か否かを判定してもよい。

このように、本実施形態によれば、情報処理装置３は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部（第１検出部３１）と、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部（第２検出部３３）と、第１取得部（第１検出部３１）が取得した第１画像に関する情報と第２取得部（第２検出部３３）が取得した第２画像に関する情報との類似度を判定する類似判定部（マッチング部３５）と、を備える。

これにより、広告媒体に掲示された広告を閲覧したときに撮影された人の画像と広告に関連する場所、例えば、店舗への入店、広告媒体に掲示された商品の前などで撮影された人の画像との類似度から、これら二つの画像内に映る人が同一人物であるか否かを判定することができ、広告による広告効果を測定することができる。また、顔カテゴリーを利用することで、マッチング精度を向上させることができ、計算コストを減少させることができる。また、年齢、性別などの顔カテゴリーごとに広告効果を測定でき、マーケティングなどに利用することができる。

なお、上述した各実施形態において、顔領域画像と衣服領域画像との切り出しを情報処理装置３で行うと説明したが、第１計測装置１および第２計測装置２において、顔領域画像と衣服領域画像との切り出しを行ってもよい。また、第５の実施形態に係る顔カテゴリーの判定処理と第４の実施形態に係る画像取得時間差分の閾値判定処理とを組み合わせて同一の人物による人物画像か否かを判定してもよい。

なお、上述した各実施形態において、第１撮像部１１は、人物画像を含まない背景画像を、撮像レンズを介して撮像素子上に結像させることで第１背景画像情報を生成し、当該第１背景画像情報を第１画像記憶部１２に記憶させてもよい。当該第１背景画像情報は、時間ごと、天気ごとに撮影してもよい。第１画像に関する情報に背景画像が含まれる場合、第１検出部３１は、第１画像に関する情報と予め取得した背景画像を表す第１背景画像情報との差分を算出し、背景画像を含まない第１画像に関する情報を生成すればよく、当該第１画像に関する情報から第１顔領域画像と、第１衣服領域画像と、を生成すればよい。

また、上述した各実施形態において、第２撮像部２１は、人物画像を含まない背景画像を、撮像レンズを介して撮像素子上に結像させることで第２背景画像情報を生成し、当該第２背景画像情報を第２画像記憶部２２に記憶させてもよい。当該第２背景画像情報は、時間ごと、天気ごとに撮影してもよい。第２画像に関する情報に背景画像が含まれる場合、第２検出部３３は、第２画像に関する情報と予め取得した背景画像を表す第２背景画像情報との差分を算出し、背景画像を含まない第２画像に関する情報を生成すればよく、当該第２画像に関する情報から第２顔領域画像と、第２衣服領域画像と、を生成すればよい。

また、上述した各実施形態において、第１検出部３１は、顔を含むように矩形に切り出す代わりに、顎と額とを含むサイズで顔領域の画像を矩形に切り出し、第１顔領域画像を生成してもよい。また、第１検出部３１は、第１衣服領域画像を第１顔領域画像の一部、例えば、下端などを含むように第１衣服領域画像を生成してもよい。
また、上述した各実施形態において、第２検出部３３は、顔を含むように矩形に切り出す代わりに、顎と額とを含むサイズで顔領域の画像を矩形に切り出し、第２顔領域画像を生成してもよい。また、第２検出部３３は、第２衣服領域画像を第２顔領域画像の一部、例えば、下端などを含むように第２衣服領域画像を生成してもよい。

また、上述した各実施形態において、第１特徴量算出部３１Ａは、第１顔領域特徴量としてカラーヒストグラム特徴量とＭＣＳＨ特徴量と局所特徴量とをそれぞれ計算すると説明したが、カラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のうち、少なくとも一種類の特徴量を第１顔領域特徴量として計算してもよい。また、第１特徴量算出部３１Ａは、第１衣服領域特徴量としてカラーヒストグラム特徴量とＭＣＳＨ特徴量と局所特徴量とをそれぞれ計算すると説明したが、カラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のうち、少なくとも一種類の特徴量を第１衣服領域特徴量として計算してもよい。

また、上述した各実施形態において、第２特徴量算出部３３Ａは、第２顔領域特徴量としてカラーヒストグラム特徴量とＭＣＳＨ特徴量と局所特徴量とをそれぞれ計算すると説明したがカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のうち、少なくとも一種類の特徴量を第２顔領域特徴量として計算してもよい。また、第２特徴量算出部３３Ａは、第２衣服領域特徴量としてカラーヒストグラム特徴量とＭＣＳＨ特徴量と局所特徴量とをそれぞれ計算すると説明したがカラーヒストグラム特徴量、ＭＣＳＨ特徴量、局所特徴量のうち、少なくとも一種類の特徴量を第２衣服領域特徴量として計算してもよい。

また、上述した各実施形態において、顔領域画像または衣服領域画像の特徴量が一種類の特徴量で算出される場合、スコアを上述の式を用いずにマッチング部３５が計算した類似度をそのままスコアとして計算してもよく、顔領域画像または衣服領域画像の特徴量が二種類の特徴量で算出される場合、上述の式において該当する特徴量の類似度にゼロを代入すればよく、顔領域画像または衣服領域画像の特徴量が四種類以上の特徴量から算出される場合、該当する特徴量に対する重み係数に特徴量の類似度を乗算する項を上述の式に追加すればよい。

また、上述した各実施形態において、第２撮像部２１が撮影する範囲が予めわかっているとき、第２検出部３３は、人物領域が店舗内の所定領域に存在するか否かを判定せずに、全ての人物領域が店舗内の所定領域に存在するとして以降の処理を行えばよい。この場合、第２検出部３３は、ＨＯＧ特徴量などを利用した人物領域検出手段を利用して人物領域を検出し、所定時間以上、人物領域が検出された場合、例えば、Ｈａａｒ−Ｌｉｋｅ特徴量などを利用した顔領域検出手段を用いて顔領域を検出し、当該顔領域の画像を顔を含むように矩形に切り出し、第２顔領域画像を生成すればよい。

また、上述した各実施形態において、マッチング部３５における第１所定時間と第２所定時間は、同一の時間であってもよいし、異なる時間であってもよく、第１計測装置１の設置位置と第２計測装置２設置位置との間の距離に応じて算出される時間に応じて第１所定時間と第２所定時間とを定めてもよいし、ある広告が広告媒体に掲示された時刻から別の広告に変わった時刻までの時間を第１所定時間とし、当該ある広告が広告媒体に掲示された時刻から当該別の広告に変わった時刻から所定時間後までの時間を第２所定時間としてもよい。

なお、上述した各実施形態における情報処理装置３の一部、または全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、情報処理装置３に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。

また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における情報処理装置３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。情報処理装置３の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

（１）広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部と、広告に関連する予め定められた場所に存在する人物を撮影する第２画像に関する情報を取得する第２取得部と、第１取得部が取得した第１画像に関する情報と第２取得部が取得した第２画像に関する情報との類似度を判定する類似判定部と、を備えることを特徴とする情報処理装置。

（２）類似判定部は、第１画像に関する情報の特徴量と第２画像に関する情報の特徴量とに基づいて類似度を判定することを特徴とする（１）に記載の情報処理装置。

（３）第１画像に関する情報と第２画像に関する情報とには、互いに異なる場所で撮影された顔領域の画像または衣服領域の画像の少なくとも一方が人物画像として含まれ、類似判定部は、第１画像に関する情報に含まれる人物画像と、第２画像に関する情報に含まれる人物画像との類似度を判定することを特徴とする（１）または（２）に記載の情報処理装置。

（４）第１画像に関する情報と第２画像に関する情報とには、互いに異なる場所で撮影された顔領域の画像および衣服領域の画像が人物画像としてそれぞれ含まれ、第１画像に関する情報および第２画像に関する情報のそれぞれに含まれる衣服領域画像は、顔領域画像と同じ幅であることを特徴とする（１）から（３）のいずれか一項に記載の情報処理装置。

（５）第１画像に関する情報と第２画像に関する情報とには、それぞれ人物画像とが含まれ、第１取得部は、予め人物画像を含まない第１背景画像情報を取得し、第２取得部は、予め人物画像を含まない第２背景画像情報を取得し、類似判定部は、第１画像に関する情報と第１背景画像情報との差分である第１差分情報と、第２画像に関する情報と第２背景画像情報との差分である第２差分情報と、を生成し、生成した第１差分情報と第２差分情報との類似度を判定することを特徴とする（１）から（４）のいずれか一項に記載の情報処理装置。

（６）第１画像に関する情報と第２画像に関する情報とには、人物画像と、人物画像が撮影された時間情報がそれぞれ含まれ、類似判定部は、第１画像に関する情報に含まれる人物画像が撮影された時間情報と第２画像に関する情報に含まれる人物画像が撮影された時間情報との時間差分を算出し、当該時間差分が所定時間以下である場合、類似度を判定することを特徴とする（１）から（５）のいずれか一項に記載の情報処理装置。

（７）類似判定部は、類似度を判定するとき、第１画像に関する情報に含まれる人物画像をカテゴリー情報に基づいてカテゴリーに分類することで第１分類情報を生成し、第２画像に関する情報に含まれる人物画像をカテゴリー情報に基づいてカテゴリーに分類することで第２分類情報を生成し、第１分類情報と第２分類情報とが同一のカテゴリーである第１画像に関する情報と第２画像に関する情報との類似度を判定することを特徴とする（１）から（６）のいずれか一項に記載の情報処理装置。

（８）端末装置と情報処理装置とを備える情報処理システムであって、端末装置は、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を生成する第１計測部と、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を生成する第２計測部と、を備え、情報処理装置は、第１計測部が生成した第１画像に関する情報と第２計測部が生成した第２画像に関する情報との類似度を判定する類似判定部と、を備えることを特徴とする情報処理システム。

（９）類似判定部は、第１画像に関する情報の特徴量と第２画像に関する情報の特徴量とに基づいて類似度を判定することを特徴とする（８）に記載の情報処理システム。

（１０）第１画像に関する情報と第２画像に関する情報とには、互いに異なる場所で撮影された顔領域画像または衣服領域画像の少なくとも一方が人物画像として含まれ、類似判定部は、第１画像に関する情報に含まれる人物画像と、第２画像に関する情報に含まれる人物画像との類似度を判定することを特徴とする（８）または（９）に記載の情報処理システム。

（１１）第１画像に関する情報と第２画像に関する情報とには、互いに異なる場所で撮影された顔領域画像および衣服領域画像が人物画像としてそれぞれ含まれ、第１画像に関する情報および第２画像に関する情報のそれぞれに含まれる衣服領域画像は、顔領域画像と同じ幅であることを特徴とする（８）から（１０）のいずれか一項に記載の情報処理システム。

（１２）第１画像に関する情報と第２画像に関する情報とには、それぞれ人物画像が含まれ、第１計測部は、予め人物画像を含まない第１背景画像情報を生成し、第２計測部は、予め人物画像を含まない第２背景画像情報を生成し、類似判定部は、第１画像に関する情報と第１背景画像情報との差分である第１差分情報と、第２画像に関する情報と第２背景画像情報との差分である第２差分情報と、を生成し、生成した第１差分情報と第２差分情報との類似度を判定することを特徴とする（８）から（１１）のいずれか一項に記載の情報処理システム。

（１３）第１画像に関する情報と第２画像に関する情報とには、人物画像と、人物画像が撮影された時間情報がそれぞれ含まれ、類似判定部は、第１画像に関する情報に含まれる人物画像が撮影された時間情報と第２画像に関する情報に含まれる人物画像が撮影された時間情報との時間差分を算出し、当該時間差分が所定時間以下である場合、類似度を判定することを特徴とする（８）から（１２）のいずれか一項に記載の情報処理システム。

（１４）類似判定部は、類似度を判定するとき、第１画像に関する情報に含まれる人物画像をカテゴリー情報に基づいてカテゴリーに分類することで第１分類情報を生成し、第２画像に関する情報に含まれる人物画像をカテゴリー情報に基づいてカテゴリーに分類することで第２分類情報を生成し、第１分類情報と第２分類情報とが同一のカテゴリーである第１画像に関する情報と第２画像に関する情報との類似度を判定することを特徴とする（８）から（１３）のいずれか一項に記載の情報処理システム。

（１５）情報処理装置における情報処理方法であって、情報処理装置が広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１過程と、情報処理装置が広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２過程と、情報処理装置が第１過程において取得した第１画像に関する情報と第２過程において取得した第２画像に関する情報との類似度を判定する類似判定部と、を有することを特徴とする情報処理方法。

（１６）情報処理装置のコンピュータに、広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１ステップと、広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２ステップと、第１ステップにおいて取得した第１画像に関する情報と第２ステップにおいて取得した第２画像に関する情報との類似度を判定する類似判定部と、を実行させるための情報処理プログラム。

Ｓ１・・・効果計測システム、Ｓ２・・・情報処理システム、Ｓ３・・・閲覧システム、１・・・第１計測装置、１１・・・第１撮像部、１２・・・第１画像記憶部、２・・・第２計測装置、２１・・・第２撮像部、２２・・・第２画像記憶部、３・・・情報処理装置、３１・・・第１検出部、３１Ａ・・・第１特徴量算出部、３２・・・第１記憶部、３３・・・第２検出部、３３Ａ・・・第３特徴量算出部、３４・・・第２記憶部、３５・・・マッチング部、３６・・・効果計算部、３７・・・効果記憶部

Claims (16)

1. 広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１取得部と、
   前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２取得部と、
   前記第１取得部が取得した前記第１画像に関する情報と前記第２取得部が取得した前記第２画像に関する情報との類似度を判定する類似判定部と、
   を備えることを特徴とする情報処理装置。
2. 前記類似判定部は、前記第１画像に関する情報の特徴量と前記第２画像に関する情報の特徴量とに基づいて類似度を判定すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記第１画像に関する情報と前記第２画像に関する情報とには、互いに異なる場所で撮影された顔領域の画像または衣服領域の画像の少なくとも一方が人物画像として含まれ、
   前記類似判定部は、前記第１画像に関する情報に含まれる人物画像と、前記第２画像に関する情報に含まれる人物画像との類似度を判定すること
   を特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記第１画像に関する情報と前記第２画像に関する情報とには、互いに異なる場所で撮影された顔領域の画像および衣服領域の画像が人物画像としてそれぞれ含まれ、
   前記第１画像に関する情報および前記第２画像に関する情報のそれぞれに含まれる前記衣服領域の画像は、前記顔領域の画像と同じ幅であること
   を特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 前記第１画像に関する情報と前記第２画像に関する情報とには、それぞれ人物画像が含まれ、
   前記第１取得部は、予め人物画像を含まない第１背景画像情報を取得し、
   前記第２取得部は、予め人物画像を含まない第２背景画像情報を取得し、
   前記類似判定部は、前記第１画像に関する情報と前記第１背景画像情報との差分である第１差分情報と、前記第２画像に関する情報と前記第２背景画像情報との差分である第２差分情報と、を生成し、生成した前記第１差分情報と前記第２差分情報との類似度を判定すること
   を特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
6. 前記第１画像に関する情報と前記第２画像に関する情報とには、人物画像と、前記人物画像が撮影された時間情報がそれぞれ含まれ、
   前記類似判定部は、前記第１画像に関する情報に含まれる前記人物画像が撮影された時間情報と前記第２画像に関する情報に含まれる前記人物画像が撮影された時間情報との時間差分を算出し、当該時間差分が所定時間以下である場合、類似度を判定すること
   を特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 前記類似判定部は、前記類似度を判定するとき、前記第１画像に関する情報に含まれる人物画像をカテゴリー情報に基づいてカテゴリーに分類することで第１分類情報を生成し、前記第２画像に関する情報に含まれる人物画像を前記カテゴリー情報に基づいて前記カテゴリーに分類することで第２分類情報を生成し、前記第１分類情報と前記第２分類情報とが同一の前記カテゴリーである前記第１画像に関する情報と前記第２画像に関する情報との類似度を判定すること
   を特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。
8. 端末装置と情報処理装置とを備える情報処理システムであって、
   前記端末装置は、
   広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を生成する第１計測部と、
   前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を生成する第２計測部と、
   を備え、
   前記情報処理装置は、
   前記第１計測部が生成した前記第１画像に関する情報と前記第２計測部が生成した前記第２画像に関する情報との類似度を判定する類似判定部と、
   を備えることを特徴とする情報処理システム。
9. 前記類似判定部は、前記第１画像に関する情報の特徴量と前記第２画像に関する情報の特徴量とに基づいて類似度を判定すること
   を特徴とする請求項８に記載の情報処理システム。
10. 前記第１画像に関する情報と前記第２画像に関する情報とには、互いに異なる場所で撮影された顔領域の画像または衣服領域の画像の少なくとも一方が人物画像として含まれ、
    前記類似判定部は、前記第１画像に関する情報に含まれる人物画像と、前記第２画像に関する情報に含まれる人物画像との類似度を判定すること
    を特徴とする請求項８または請求項９に記載の情報処理システム。
11. 前記第１画像に関する情報と前記第２画像に関する情報とには、互いに異なる場所で撮影された顔領域の画像および衣服領域の画像が人物画像としてそれぞれ含まれ、
    前記第１画像に関する情報および前記第２画像に関する情報のそれぞれに含まれる前記衣服領域の画像は、前記顔領域の画像と同じ幅であること
    を特徴とする請求項８から請求項１０のいずれか一項に記載の情報処理システム。
12. 前記第１画像に関する情報と前記第２画像に関する情報とには、それぞれ人物画像が含まれ、
    前記第１計測部は、予め人物画像を含まない第１背景画像情報を生成し、
    前記第２計測部は、予め人物画像を含まない第２背景画像情報を生成し、
    前記類似判定部は、前記第１画像に関する情報と前記第１背景画像情報との差分である第１差分情報と、前記第２画像に関する情報と前記第２背景画像情報との差分である第２差分情報と、を生成し、生成した前記第１差分情報と前記第２差分情報との類似度を判定すること
    を特徴とする請求項８から請求項１１のいずれか一項に記載の情報処理システム。
13. 前記第１画像に関する情報と前記第２画像に関する情報とには、人物画像と、前記人物画像が撮影された時間情報がそれぞれ含まれ、
    前記類似判定部は、前記第１画像に関する情報に含まれる前記人物画像が撮影された時間情報と前記第２画像に関する情報に含まれる前記人物画像が撮影された時間情報との時間差分を算出し、当該時間差分が所定時間以下である場合、類似度を判定すること
    を特徴とする請求項８から請求項１２のいずれか一項に記載の情報処理システム。
14. 前記類似判定部は、前記類似度を判定するとき、前記第１画像に関する情報に含まれる人物画像をカテゴリー情報に基づいてカテゴリーに分類することで第１分類情報を生成し、前記第２画像に関する情報に含まれる人物画像を前記カテゴリー情報に基づいて前記カテゴリーに分類することで第２分類情報を生成し、前記第１分類情報と前記第２分類情報とが同一の前記カテゴリーである前記第１画像に関する情報と前記第２画像に関する情報との類似度を判定すること
    を特徴とする請求項８から請求項１３のいずれか一項に記載の情報処理システム。
15. 情報処理装置における情報処理方法であって、
    前記情報処理装置が広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１過程と、
    前記情報処理装置が前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２過程と、
    前記情報処理装置が前記第１過程において取得した前記第１画像に関する情報と前記第２過程において取得した前記第２画像に関する情報との類似度を判定する類似判定部と、
    を有することを特徴とする情報処理方法。
16. 情報処理装置のコンピュータに、
    広告媒体に掲示された広告を閲覧した人物を撮影した第１画像に関する情報を取得する第１ステップと、
    前記広告に関連する予め定められた場所に存在する人物を撮影した第２画像に関する情報を取得する第２ステップと、
    前記第１ステップにおいて取得した前記第１画像に関する情報と前記第２ステップにおいて取得した前記第２画像に関する情報との類似度を判定する類似判定部と、
    を実行させるための情報処理プログラム。

Images