JP2015041194A - ユーザ観察システム - Google Patents

Abstract

【課題】店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することが容易なユーザ観察システムを提供する。【解決手段】ユーザ観察システムは、店舗内に設置され、店舗内のユーザを逐次的に撮影するカメラと、カメラで撮影されるユーザの行動を分析する行動分析装置と、ユーザに保持される可搬型装置に記録された可搬型装置から報告される装置識別子またはユーザ識別子とともに、ユーザの行動を記憶する履歴データベースとを備える。行動分析装置は、識別子をカメラで撮影されるユーザに対応付け、カメラで撮影されるユーザの行動を識別子に対応付けて履歴データベースに記録する。【選択図】図１

Description

本発明は、ユーザ観察システムに関する。

どのようなユーザがどのような商品を購買したのかを識別する方法として、ＩＤ−ＰＯＳが知られている。ＩＤ−ＰＯＳは、ユーザのＩＤに基づいたＰＯＳ（販売時点管理）であり、ユーザの特性、すなわちユーザの属性情報と購入した商品との関係を分析することを可能にする。ＩＤ−ＰＯＳで得られたユーザの特性はマーケティングに活用されている。例えば非特許文献１にはＩＤ−ＰＯＳシステムが開示されている。昨今では、電子マネー機能が搭載された携帯型通信デバイス（例えば腕時計タイプ、キーホルダータイプ、またはスマートフォン）が開発されており、商品購入の支払時にこの電子マネーが利用されれば携帯型通信デバイスを利用したＩＤ−ＰＯＳ分析が可能である。

一方、ユーザにとって関心ある商品とユーザとの関係を分析してマーケティングに活用する取組も行われつつある。ユーザの商品に対する関心を認識する方法としては、商品を手にした等の商品に対するユーザの所定の行動があれば、商品に対してユーザが関心を有するとみなす方法がある。そのためには、店舗内のユーザの行動（棚前行動）を商品棚の近くに設置したカメラ等の環境センサで追跡し、分析することができる。この方法により、関心のある商品とカメラで取得可能なユーザ属性情報（例えば、年齢や性別など）との関係性を得ることができる。

特開2004-227482号公報

ＩＤ−ＰＯＳシステムと棚前行動の取得システムとを連携させることができれば、各ユーザについて、購入には至らなかったが関心があった商品を特定することができるので、より高度なマーケティングが可能になると考えられる。

従来のＩＤ−ＰＯＳシステムでは、購入した商品の情報およびユーザの対応付けについては、商品の購入時または決済時に取得することが可能である。しかしながら、店舗内にカメラを設置していたとしても、店舗内での個々のユーザの行動を、ユーザを特定する情報と対応付けて追跡することは困難である。例えば、店舗内で、特定のユーザについて、購入していないが関心を示した商品を認識することは困難である。特に店舗内に複数のユーザがいる場合には、個々のユーザを識別しつつ、そのユーザの行動を追跡するのは困難である。

そこで、本発明は、店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することが容易なユーザ観察システムを提供する。

本発明に係るユーザ観察システムの一例は、店舗内に設置され、前記店舗内のユーザを逐次的に撮影するカメラと、前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、前記ユーザに保持される可搬型装置に記録された当該可搬型装置を一意に識別可能な装置識別子とともに、前記ユーザの行動を記憶する装置識別子・履歴データベースとを備える。前記行動分析装置は、前記装置識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録する。

本発明に係るユーザ観察システムの他の一例は、店舗内に設置され、前記店舗内のユーザを逐次的に撮影するカメラと、前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、前記ユーザを一意に識別可能なユーザ識別子とともに、前記ユーザの行動を記憶するユーザ履歴データベースとを備える。前記行動分析装置は、前記店舗に所有され前記店舗内で前記ユーザに保持される可搬型装置から報告される前記ユーザ識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録する。

本発明においては、ユーザに保持される可搬型装置に記録された装置識別子または可搬型装置から報告されるユーザ識別子をカメラで撮影されるユーザに対応付け、カメラで撮影されるユーザの行動を装置識別子またはユーザ識別子に対応付けて装置識別子・履歴データベースまたはユーザ履歴データベースに記録する。したがって、店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することが容易である。

本発明の第１の実施の形態に係るユーザ観察システムを示す概略図である。 前記ユーザ観察システムのユーザ認識装置を示すブロック図である。 前記ユーザ観察システムで使用される可搬型装置を示すブロック図である。 前記ユーザ認識装置のカメラの視界の一例を示す図である。 前記ユーザ観察システムの商品データベースの記録を示す図である。 前記ユーザ観察システムの装置識別子・履歴データベースの記録を示す図である。 前記ユーザ観察システムの商品購入検出装置を示すブロック図である。 前記ユーザ観察システムの行動分析装置の処理を示すフローチャートである。 本発明の第２の実施の形態に係る可搬型装置を示すブロック図である。 第２の実施の形態に係る行動分析装置を示すブロック図である。 第２の実施の形態のカメラで撮影された画像データから分析された加速度値と、可搬型装置から送信された加速度値の変化を示すグラフである。 本発明の第３の実施の形態に係るユーザ認識装置を示すブロック図である。 本発明の第４の実施の形態に係るユーザ観察システムを示す概略図である。 三軸加速度センサの出力の変化の例を示すグラフである。 第５の実施の形態に係るユーザ認識装置を示すブロック図である。 第５の実施の形態に係る可搬型装置を示すブロック図である。 本発明の第６の実施の形態に係るユーザ観察システムを示す概略図である。 本発明の第７の実施の形態に係るユーザ観察システムを示す概略図である。 前記ユーザ観察システムのユーザ・装置対応付けデータベースの記録を示す図である。 前記ユーザ観察システムの商品購入検出装置を示すブロック図である。 本発明の第８の実施の形態に係るユーザ観察システムを示す概略図である。 前記ユーザ観察システムのユーザ履歴データベースの記録を示す図である。 本発明の第９の実施の形態に係るユーザ観察システムを示す概略図である。 前記ユーザ観察システムで使用される可搬型装置を示すブロック図である。 前記ユーザ観察システムのユーザ・装置対応付けデータベースの記録を示す図である。 前記ユーザ認識装置のカメラの視界の一例を示す図である。 前記ユーザ観察システムの商品購入検出装置を示すブロック図である。 前記可搬型装置の変形を示す正面図である。

以下、添付の図面を参照しながら本発明に係る様々な実施の形態を説明する。

第１の実施の形態
図１は本発明の第１の実施の形態に係るユーザ観察システムを示す概略図である。このユーザ観察システムは、商品を販売する店舗１０内に設置された少なくとも１つのユーザ認識装置１１０と、サーバ装置１３０と、商品データベース１４０と、装置識別子・履歴データベース１５０とを備える。サーバ装置１３０、商品データベース１４０および装置識別子・履歴データベース１５０は店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。また、商品データベース１４０と装置識別子・履歴データベース１５０は１つの記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。

店舗１０には複数のユーザ５０，５１が訪れており、ユーザ５０，５１は、携帯型通信デバイス（可搬型装置）１２０を携行している。携帯型通信デバイス（可搬型装置）１２０は、例えば、腕時計タイプのデバイスとしてユーザ５０，５１の各々の腕に装着されてもよい。あるいは、携帯電話（例えばスマートフォン）のように、ユーザによって携行されるデバイスであってもよい。装置識別子・履歴データベース１５０には、店舗１０を訪れたユーザの行動が記録される。

店舗１０内には複数の商品棚１００が配置されている。商品棚１００は、複数の棚板１０１〜１０４を有し、各棚板には複数の商品１０５が配置されている。商品データベース１４０には、商品棚１００内の商品の情報が記録されている。

ユーザ観察システムは、店舗１０内に配置されたキャッシュレジスタ１６０をさらに備える。キャッシュレジスタ１６０は、ＰＯＳ機能を有しており、販売された商品に関する情報をサーバ装置１３０に送信する。また、キャッシュレジスタ１６０は、クレジットカードの処理機能および電子マネーの処理機能を有する。

図２に示すように、ユーザ認識装置１１０は、店舗１０内で移動するユーザを逐次的に撮影するカメラ１１１と、サーバ通信部１１２と、無線送信部１１３と、無線受信部１１４とを備える。カメラ１１１は、カラー画像の撮影が可能なカメラでもよいし、赤外線カメラであってもよいし、これらの組合せであってもよい。カメラ１１１は、連続的に動画像を撮影するカメラであってもよいし、一定時間おきに静止画像を撮影するカメラであってもよい。

ユーザ認識装置１１０のサーバ通信部１１２は、サーバ装置１３０と通信するためのインターフェースである。サーバ通信部１１２は、カメラ１１１で撮影された画像データを逐次的にサーバ装置１３０に送信する。サーバ装置１３０は、カメラ１１１で撮影される店舗１０内のユーザの行動を分析する行動分析装置として機能する。

ユーザ認識装置１１０の無線送信部１１３は、携帯型通信デバイス１２０に無線信号を送信することが可能である。無線通信の方式は、可視光通信でもよいし、赤外線通信でもよいし、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＲＦＩＤ（Radio Frequency Identification）を利用してもよい。可視光または赤外線を利用する光無線通信では、光の強度の強弱もしくは点滅パターン、波長の変化パターン、またはこれらの組合せにより信号を伝達することが可能である。光無線通信では、通常、見通し内通信（line-of-sight communication）しか達成できないが、ユーザ認識装置１１０のカメラ１１１の視界にある携帯型通信デバイス１２０とだけ通信する目的のためには、光無線通信が好ましいこともある。他方、ＷｉＦｉ、ＢｌｕｅｔｏｏｔｈまたはＲＦＩＤといった電波通信では、使用される電波が送信元から送信先まで直進しなくても届くため、通信の確実性が高められる。

ユーザ認識装置１１０の無線受信部１１４は、携帯型通信デバイス１２０から送信された無線信号を受信することが可能である。無線通信の方式は、可視光通信でもよいし、赤外線通信でもよいし、Ｗｉ−Ｆｉ、ＢｌｕｅｔｏｏｔｈまたはＲＦＩＤを利用してもよい。携帯型通信デバイス１２０からユーザ認識装置１１０への無線通信に光を利用する場合には、カメラ１１１が光信号を認識する光受信装置として機能するので、無線受信部１１４を設ける必要はない。

図３に示すように、携帯型通信デバイス１２０は、識別子記憶部１２１と、無線受信部１２２と、無線送信部１２３と、制御部１２６とを備える。識別子記憶部１２１には、携帯型通信デバイス１２０を一意に識別可能な識別子が記憶されている。識別子としては、携帯型通信デバイス１２０の製造番号またはＭＡＣ（Media Access Control）アドレスでよい。あるいは識別子は、予め携帯型通信デバイス１２０に割り当てられた番号または文字列など、携帯型通信デバイス１２０を一意に特定することが可能であれば何でもよい。制御部１２６は例えばＣＰＵ（central processing unit）である。

無線受信部１２２は、ユーザ認識装置１１０の無線送信部１１３から送信された無線信号を受信する。無線送信部１２３は、無線信号を送信し、この無線信号はユーザ認識装置１１０の無線受信部１１４で受信される。具体的には、ユーザ認識装置１１０の無線送信部１１３からの要求を無線受信部１２２は受信し、この要求に応じて、制御部１２６は、無線送信部１２３により識別子記憶部１２１に記憶された識別子を示す信号を送信する。

好ましくは、携帯型通信デバイス１２０は、電子マネー情報記憶部１２４をさらに備える。電子マネー情報記憶部１２４は、携帯型通信デバイス１２０の所有者を識別する情報（電子決済識別子）、およびその他の電子マネーに関する情報が記録されたＩＣチップである。電子マネー情報記憶部１２４に記録された情報は、外部装置で読み取ることが可能である。店舗１０のキャッシュレジスタ１６０は電子マネー情報記憶部１２４に記録された情報を読み取ることが可能である。

上記の携帯型通信デバイス１２０の識別子は、電子マネー情報記憶部１２４に記録される携帯型通信デバイス１２０の所有者を識別する電子決済識別子であってもよい。この場合には、識別子記憶部１２１と電子マネー情報記憶部１２４を別個に設ける必要はなく、電子マネー情報記憶部１２４が識別子記憶部として使用されてもよい。

図４は、ユーザ認識装置１１０のカメラ１１１の視界の一例を示す。ユーザ認識装置１１０のカメラ１１１は、図４に示すように、そのカメラ１１１の観察対象の商品棚１００のすべての棚板１０１〜１０４およびその商品棚１００の前の所定の範囲がカメラ１１１の視界に入るように配置されている。したがって、カメラ１１１は、そのカメラ１１１の観察対象の商品棚１００の前でのユーザの動き、特に商品棚１００の棚板上の商品に腕を伸ばす状態を撮影することができる。例えば、カメラ１１１は、観察対象の商品棚１００のすべての棚板１０１〜１０４を斜め上方から撮影できるように、商品棚１００の上方に配置されている。

サーバ装置１３０は、コンピュータプログラムに従って動作するコンピュータである。サーバ装置１３０は、カメラ１１１で撮影された画像データを逐次的に受信する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。この分析結果から、サーバ装置１３０は商品棚１００の前に人がいることを認識し、人の動き、特にその人の腕および手の動きを認識する。

カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近した場合、サーバ装置１３０は、携帯型通信デバイス１２０に携帯型通信デバイス１２０の識別子を示す信号を送信することを要求する。サーバ装置１３０は、ユーザ５０を撮影しているカメラ１１１を有するユーザ認識装置１１０にこの要求を送信し、ユーザ認識装置１１０はサーバ通信部１１２を介してその要求を受信する。要求を受信したユーザ認識装置１１０は、無線送信部１１３を介してその要求を送信する。要求の無線送信の方式は宛先を特定しないブロードキャストである。なぜなら、この段階では、要求を受信すべき装置を識別する情報は、ユーザ観察システムにとって未知だからである。無線送信部１１３から送信される電波または光が到達可能な範囲にあるユーザ５０の携帯型通信デバイス１２０は、この要求を無線受信部１２２によって受信する。

あらかじめ、無線送信部１１３から送信される電波または光が到達可能な範囲がカメラ１１１で撮影可能な所定の範囲とほぼ一致するように、無線送信部１１３の送信出力またはカメラ１１１の設置場所が調整されていると好ましい。この場合には、カメラ１１１で撮影されているユーザ５０の携帯型通信デバイス１２０は、この要求を無線受信部１２２によって受信することができ、カメラ１１１で撮影されていないユーザ５１の携帯型通信デバイス１２０は、この要求を受信できない。したがって、店舗１０内に複数の人がいる場合でも、観察対象とするユーザを特定しやすい。

識別子を示す信号の要求を受信すると、携帯型通信デバイス１２０の制御部１２６は、識別子記憶部１２１に記憶されている携帯型通信デバイス１２０の識別子を読み出して、識別子を示す信号を無線送信部１２３により無線で（つまり光または電波で）送信する。この場合、悪意ある者による識別子の傍受を回避するため、携帯型通信デバイス１２０は、識別子を示す信号に暗号化処理を行って、暗号化された信号を送信してもよい。

ユーザ認識装置１１０の無線受信部１１４は、携帯型通信デバイス１２０から送信された識別子を示す信号を受信する。上記のように、携帯型通信デバイス１２０からユーザ認識装置１１０への無線通信に光を利用する場合には、ユーザ認識装置１１０のカメラ１１１が光信号を認識する光受信装置として機能するので、無線受信部１１４を設ける必要はない。

ユーザ認識装置１１０の無線受信部１１４（またはカメラ１１１）が識別子を示す信号を受信すると、ユーザ認識装置１１０のサーバ通信部１１２は携帯型通信デバイス１２０の識別子をサーバ装置１３０に報告する。サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号をカメラ１１１から受信すると、この識別子をカメラ１１１で撮影されるユーザ５０に対応付ける。

カメラ１１１が携帯型通信デバイス１２０から送信される光信号を認識する場合には、サーバ装置１３０は、カメラの画像データの変化から携帯型通信デバイス１２０の識別子を認識することができる。つまり、画像データから得られる光の強度の強弱もしくは点滅パターン、波長の変化パターン、またはこれらの組合せにより、識別子が認識される。

この場合、画像を構成する多数の画素のうち光の発信源の画素が特定されるので、携帯型通信デバイス１２０の位置が特定される。そして、サーバ装置１３０は、カメラ１１１で撮影されるユーザの位置に対して、光の発信源（すなわち信号の発信源）である携帯型通信デバイス１２０の位置が所定の範囲にある場合に、光の発信源である携帯型通信デバイス１２０の識別子をユーザに対応付けることができる。これにより、ユーザ認識装置１１０からの識別子の要求に応じて、複数の携帯型通信デバイス１２０が発光する場合でも、観察対象とするユーザを特定しやすい。例えば、図４に示す例において、カメラ１１１で撮影されているユーザ５０の頭部の中心から所定の距離Ｌの範囲２０１内にある携帯型通信デバイス１２０の識別子を、サーバ装置１３０はカメラ１１１で撮影されるユーザ５０に対応付ける。範囲２０１から外にある携帯型通信デバイス１２０が識別子を示す信号を送信するために発光したとしても、サーバ装置１３０はその携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザ５０に対応付けない。

ユーザと識別子の対応付けの後、サーバ装置１３０は、カメラ１１１で撮影されるユーザ５０の行動を携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録する。具体的には、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、サーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。つまり、この実施の形態では、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、ユーザと識別子が対応付けされ、さらにサーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。

図４の例の場合、ユーザ５０の腕は商品棚１００の内部に伸びている。カメラで得られた画像データの分析結果に基づいて、商品棚１００の棚板１０１〜１０４とユーザ５０の腕および手の重なり具合から、サーバ装置１３０は、ユーザ５０の手がどの棚板の上の商品に接近しているのか認識する。図４の例の場合、ユーザ５０の腕は、上から２段目の棚板１０２より下であり、上から３段目の棚板１０３より上にある。したがって、サーバ装置１３０は、ユーザ５０の手が上から３段目の棚板１０３に置いてある商品に接近したと認識する。

サーバ装置１３０は、商品データベース１４０にアクセスし、ユーザの手が接近した商品を特定する。図５は、商品データベース１４０の記録を示す。図５に示すように、商品棚の番号と棚板の番号と商品名が、商品データベース１４０内で対応付けされている。例えば、商品データベース１４０の記録の第１行目は、番号１を持つ商品棚の番号１を持つ棚板には商品ＡＡＡが配置されていることを示す。したがって、サーバ装置１３０は、カメラが観察対象とする商品棚と、ユーザ５０が手を入れた棚板を特定して、商品データベース１４０内を検索することにより、商品データベース１４０からユーザ５０の手が接近した商品名を特定することが可能である。カメラが観察対象とする商品棚は、ユーザ５０を撮影するカメラで得られた画像データの分析結果から特定される。ユーザが手を入れた棚板は上記のようにカメラで得られた画像データの分析結果に基づいて特定される。

図６は、装置識別子・履歴データベース１５０の記録を示す。図６に示すように、装置識別子・履歴データベース１５０には、ユーザの行動が携帯型通信デバイス１２０の識別子とともに記録されている。より具体的には、携帯型通信デバイス１２０の識別子と、商品名と、その商品に対するユーザの行動（関心を示したことまたは購入したこと）と、日付および時刻が、装置識別子・履歴データベース１５０内で対応付けされている。例えば、装置識別子・履歴データベース１５０の記録の第１行目は、識別子０００１を持つ携帯型通信デバイスの所有者であるユーザが、2012年12月14日の23時00分15秒に商品ＡＡＣに関心を有したことを示す。これは、ユーザの手が接近した商品ＡＡＣをユーザが関心を有する商品として、サーバ装置１３０が識別子に対応付けて記録した結果である。

ユーザ５０は、商品１０５を購入する場合には、キャッシュレジスタ（商品購入検出装置）１６０で料金を支払う。図７に示すように、キャッシュレジスタ１６０は、電子マネー情報読み取り部１６１、電子マネー料金徴収部１６２、クレジットカード情報読み取り部１６３、クレジットカード料金徴収部１６４、商品認識部１６５、識別子認識部１６６およびサーバ通信部１６７を備える。

電子マネー情報読み取り部１６１は、電子マネー情報が記録された媒体（例えばＩＣカードまたは携帯電話）から電子マネー情報を読み取る。電子マネー情報は、その媒体の所有者を示す電子決済識別子（電子マネーの発行事業者が所有者を識別するための識別子）を含む。電子マネー料金徴収部１６２は、電子マネー情報読み取り部１６１が読み取った電子マネー情報に基づいて、電子マネーで商品の料金を徴収する。

携帯型通信デバイス１２０が電子マネー情報記憶部１２４を有する場合には、電子マネー情報読み取り部１６１は電子マネー情報記憶部１２４に記憶された電子マネー情報を読み取る。電子マネー料金徴収部１６２が料金を徴収することで、料金の支払いは完了する。

クレジットカード情報読み取り部１６３は、クレジットカードまたはクレジットカード情報が記録された媒体（例えば携帯電話）からクレジットカード情報を読み取る。クレジットカード情報は、その媒体の所有者を示す電子決済識別子（クレジットカードの事業者が所有者を識別するための識別子、すなわちクレジットカード番号）を含む。クレジットカード料金徴収部１６４は、クレジットカード情報読み取り部１６３が読み取ったクレジットカード情報に基づいて、クレジットで商品の料金を徴収する。

商品認識部１６５は、ユーザが購入しようとする商品１０５を認識する。商品認識部１６５は、例えば商品に貼付されたバーコードを読み取るバーコードリーダでもよいし、店舗１０の店員が入力した商品情報を認識する装置でもよい。

識別子認識部１６６は、ユーザが所持する携帯型通信デバイス１２０の識別子記憶部１２１に記憶された携帯型通信デバイス１２０の識別子を読み取る。識別子の読み取りの方式は、例えば下記の通りである。

識別子認識部１６６は、ユーザ認識装置１１０の無線送信部１１３および無線受信部１１４と同様の無線送信部と無線受信部を備える。商品を持ったユーザがキャッシュレジスタ１６０の前に現れると、店員は識別子認識部１６６を起動する。すると、識別子認識部１６６の無線送信部が識別子の要求を携帯型通信デバイス１２０に送信する。この要求を無線受信部１２２で受信すると、携帯型通信デバイス１２０の制御部１２６は、識別子記憶部１２１に記憶されている携帯型通信デバイス１２０の識別子を読み出し、無線送信部１２３により識別子を示す信号を無線で（つまり光または電波で）送信する。識別子認識部１６６の無線受信部は識別子を示す情報を受信する。

料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、識別子認識部１６６が識別子を認識すると、サーバ通信部１６７は、商品と識別子と日付および時刻を示す信号をサーバ装置１３０に送信する。

この信号を受信すると、サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される識別子に対応付けて装置識別子・履歴データベース１５０に記録する。サーバ装置１３０は、この信号に示される日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。図６に示す装置識別子・履歴データベース１５０の記録の例では、第２行目は、識別子０００１を持つ携帯型通信デバイスの所有者であるユーザが、2013年1月25日の8時16分34秒に商品ＢＡＣを購入したことを示す。これは、ユーザが購入した商品ＢＡＣをサーバ装置１３０が識別子に対応付けて記録した結果である。

このようにして、各ユーザについて、購入した商品に関する情報と、関心を持ったが購入には至らなかった商品に関する情報とが装置識別子・履歴データベース１５０に蓄積される。装置識別子・履歴データベース１５０に蓄積された情報を分析することにより、より高度なマーケティングが可能になると考えられる。装置識別子・履歴データベース１５０内の各記録に日付および時刻が付与される場合には、各ユーザについて、関心ある商品の変化および購入する商品の変化を分析すること、および店舗１０への各訪問時に関心を有した商品と購入した商品を分析することが可能になる。

この実施の形態においては、キャッシュレジスタ１６０に携帯型通信デバイス１２０の識別子を認識する識別子認識部１６６が設けられている。しかし、携帯型通信デバイス１２０が電子マネー情報記憶部１２４を有する場合には、電子マネー情報読み取り部１６１は電子マネー情報記憶部１２４に記憶された電子マネー情報を読み取る。上記の通り、電子マネー情報に含まれる電子決済識別子が携帯型通信デバイス１２０の識別子として使用される場合には、電子マネー情報読み取り部１６１は、携帯型通信デバイス１２０の識別子を認識することができる。この場合には、電子マネー情報読み取り部１６１と識別子認識部１６６を別個に設ける必要はなく、電子マネー情報読み取り部１６１が識別子認識部として使用されてもよい。

図８はこの実施の形態に係るサーバ装置１３０の処理を示すフローチャートである。このフローチャートを参照し、サーバ装置１３０の処理を説明する。ステップＳ１でサーバ装置１３０はカメラ１１１の現在フレームと前フレームの比較を開始する。サーバ装置１３０は、ユーザの手が商品に接近したと認識したか否か判断する（ステップＳ２）。すなわちユーザが商品棚に手を差し入れたか否か判断する。

サーバ装置１３０は、ユーザの手が商品に接近したと認識すると（ステップＳ２の判断が肯定的になると）、商品棚の番号と棚板の番号に基づいて、商品データベース１４０内の商品名を検索する（ステップＳ３）。サーバ装置１３０は、携帯型通信デバイス１２０の識別子の信号を要求する（ステップＳ４）。

ステップＳ４の要求の送信の後、一定時間、識別子を示す信号が正しく受信されない場合（ステップＳ５の判断が否定的である場合）には、処理はステップＳ４に戻り、サーバ装置１３０は再度、要求を送信する。

携帯型通信デバイス１２０の識別子の信号を受信すると（ステップＳ５の判断が肯定的になると）、サーバ装置１３０は、ステップＳ３で特定された商品名を携帯型通信デバイス１２０の識別子とともに装置識別子・履歴データベース１５０に記録する（ステップＳ６）。ここで、カメラ１１１で信号の発信源が特定可能である場合には、カメラ１１１で撮影されているユーザを中心とする範囲２０１にある発信源からの識別子の信号を受信すると、サーバ装置１３０は商品名をその識別子とともに装置識別子・履歴データベース１５０に記録してよい。上記のステップＳ３は、ステップＳ４の後、またはステップＳ５の後に実行されてもよい。

ステップＳ６の後、ユーザが商品を購入しない場合（ステップＳ７の判断が否定的である場合）には、処理は終了する。ユーザが商品を購入した場合（ステップＳ７の判断が肯定的である場合）には、キャッシュレジスタ１６０からの信号に従って、サーバ装置１３０は、購入された商品名を携帯型通信デバイス１２０の識別子とともに装置識別子・履歴データベース１５０に記録し（ステップＳ８）、処理が終了する。

この実施の形態では、カメラ１１１で撮影されるユーザの手が商品棚１００の商品１０５に接近した場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信する。したがって、ユーザが商品に実際に関心を有する場合に、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。

しかし、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信してもよい。この場合には、ユーザの手が商品に接近する前に、要求が送信されるので、携帯型通信デバイス１２０の識別子と観察対象のユーザの対応付けを、ユーザの手が商品に接近する前に完了することが可能である。ユーザ認識装置１１０と携帯型通信デバイス１２０の通信環境が悪く、携帯型デバイス１２０の識別子を示す信号がサーバ装置１３０で正しく受信できなかった場合でも、要求の再送を繰り返すことにより、識別子をユーザに対応付ける確実性が向上する。カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合に、最初の要求が送信されることにより、ユーザの手が商品に接近する時には、識別子とユーザの対応付けが完了している見込みが高められる。したがって、ユーザが商品に接近しても、そのユーザの携帯型通信デバイス１２０の識別子を認識できないといった事態を最小限化することができる。この場合、ユーザが商品に関心を有する可能性が高いときに、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。

また、この実施の形態では、カメラ１１１で撮影されるユーザの手が商品棚１００の商品１０５に接近した場合に、サーバ装置１３０は、商品をユーザが関心を有する商品として、携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録する。したがって、ユーザが実際に関心を有する商品を装置識別子・履歴データベース１５０に記録することが可能である。

また、この実施の形態では、キャッシュレジスタ１６０で商品の購入が検出され携帯型通信デバイス１２０の識別子が認識されると、サーバ装置１３０は、商品をユーザが購入した商品として、装置識別子・履歴データベース１５０に記録する。したがって、装置識別子・履歴データベース１５０に蓄積された情報を分析することにより、より高度なマーケティングが可能になると考えられる。

第２の実施の形態
次に本発明の第２の実施の形態を説明する。第２の実施の形態に係るユーザ観察システムの構成は、第１の実施の形態のユーザ観察システムの構成と基本的に同じでよい。第２の実施の形態に係る携帯型通信デバイス１２０の構成も第１の実施の形態のそれと基本的に同じでよい。

但し、第２の実施の形態に係る携帯型通信デバイス１２０は、携帯型通信デバイス１２０自身の動きを測定する動き測定装置をさらに備える。図９に示すように、動き測定装置の例は、加速度センサ１２５である。この実施の形態では、動き測定装置は加速度センサ１２５であるが、動き測定装置は、例えば、ジャイロスコープ、地磁気センサ、もしくはこれらの組合せ、またはこれらと加速度センサの組合せであってもよい。

また、図１０に示すように、サーバ装置１３０は、動き情報受信部１３１と動き分析部１３２とを備える。動き情報受信部１３１は、ユーザ認識装置１１０のサーバ通信部１１２（図２参照）と通信するためのインターフェースである。携帯型通信デバイス１２０で測定される携帯型通信デバイス１２０の動きを示す情報は、携帯型通信デバイス１２０の無線送信部１２３により無線で（つまり光または電波で）送信される。ユーザ認識装置１１０は、無線受信部１１４にてその情報を受信し、サーバ通信部１１２にてサーバ装置１３０に転送する。

動き分析部１３２は、サーバ装置１３０がコンピュータプログラムに従って動作することにより実行される機能ブロックである。動き分析部１３２は、ユーザ認識装置１１０のカメラ１１１で撮影されるユーザの動きを分析する。

この実施の形態では、サーバ装置１３０は、動き情報受信部１３１で受信された情報に示される携帯型通信デバイス１２０の動きと、カメラ１１１で撮影され動き分析部１３２で分析されたユーザの動きとを比較して、これらの動きが同一ユーザの動きに起因するか否か判断する。つまり、サーバ装置１３０は、カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性を確認する。

第１の実施の形態と同様に、ユーザ認識装置１１０のカメラ１１１は、画像データを逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。そして、第１の実施の形態と同様に、カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近したことをサーバ装置１３０は認識することができ、その商品名を商品データベース１４０によって特定することができる。

サーバ装置１３０の動き分析部１３２は、画像データの各フレームと前フレームとの差分に基づいて、ユーザの動きの特徴を分析する。特徴としては、ユーザの頭部のゆれ具合、単位時間当たりの頭部の移動距離、腕の振れ具合、足の動き具合などがある。この実施の形態では、腕時計タイプの携帯型通信デバイス１２０が使用されているので、ユーザの動きの特徴として、携帯型通信デバイス１２０が装着されているユーザの腕の振れ具合を動き分析部１３２は分析する。画像データの各フレームと前フレームとの差分から、単位時間当たりの腕の移動距離が計算される。これは腕の速度である。動き分析部１３２は、単位時間当たりの速度の変化を腕の加速度として計算する。動き分析部１３２は、腕の加速度を計算する処理を複数フレームにわたって実行する。

他方、携帯型通信デバイス１２０では、腕の動きに応じて加速度センサ１２５から加速度値が逐次的に出力される。携帯型通信デバイス１２０の制御部１２６は、無線送信部１２３によって、携帯型通信デバイス１２０の動き測定結果（例えば腕の加速度値）と識別子記憶部１２１に記憶された識別子とを示す信号を逐次的に無線で（つまり光または電波で）送信する。この信号は、ユーザ認識装置１１０で中継されて、サーバ装置１３０の動き情報受信部１３１に受信される。第１の実施の形態と同様に、ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信の方式は、光通信もよいし、電波通信でもよいが、この実施の形態ではＷｉ−Ｆｉが好ましい。悪意ある者による識別子の傍受を回避するため、携帯型通信デバイス１２０は、識別子を示す信号に暗号化処理を行って、暗号化された信号を送信してもよい。

サーバ装置１３０は、カメラ１１１で撮影され動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０から送信された加速度値を比較して、これらの加速度値が同一ユーザの動きに起因するか否か判断する。例えば、サーバ装置１３０は、同一の時刻においてこれらの加速度値の正負の方向が合っているか否かを判断し、単位時間あたりの合っている回数が閾値より大きければ、カメラ１１１で撮影されているユーザが携帯型通信デバイス１２０の所有者であるので、これらの加速度値が同一ユーザの動きに起因すると判断する。図１１は、カメラ１１１で撮影され動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０から送信された加速度値の変化を示すグラフである。図１１は、両方の加速度値が同一ユーザの動きに起因する場合の例を示す。

図１１において、期間１および期間３では、加速度の振幅が大きい。これはユーザが歩行しており、腕を大きく振っていることを意味する。期間２では、加速度の振幅が小さい。これはユーザが静止しており、腕をほとんど振っていないことを意味する。

両方の加速度値が同一ユーザの動きに起因するか否か判断する手法としては、例えば以下が考えられる。サーバ装置１３０は、同一の時刻において両方の加速度値の差分が閾値より小さいか否かを判断し、単位時間あたりの合っている回数が閾値より大きければ、これらの加速度値が同一ユーザの動きに起因すると判断してもよい。サーバ装置１３０は、画像データから得られる加速度の振幅が大きい期間と小さい期間と、携帯型通信デバイス１２０から得られる加速度の振幅が大きい期間と小さい期間とを比較し、これらが一致していれば、これらの加速度値が同一ユーザの動きに起因すると判断してもよい。サーバ装置１３０は、加速度値の時間的変化の波形の周波数成分の相関を用いてもよい。サーバ装置１３０は、ケプストラムの相関を用いてもよい。サーバ装置１３０は、これらの各種の手法のいずれかの組合せを用いてもよい。

加速度値の時間的変化の波形の周波数成分の相関を用いる手法、またはケプストラムの相関を用いる手法の場合、携帯型通信デバイス１２０が、携帯型通信デバイス１２０で測定された加速度に関してスペクトル分析の処理またはケプストラム分析の処理を行い、処理で得られたデータを、ユーザ認識装置１１０を介してサーバ装置１３０に送ってもよい。この場合、サーバ装置１３０は、画像データから得られた加速度に関してスペクトル分析の処理またはケプストラム分析の処理を行い、処理で得られたデータを携帯型通信デバイス１２０から送信されたデータと比較する。この方法の場合、携帯型通信デバイス１２０での処理負荷が増加することとなるが、サーバ装置１３０に送信するデータ量を低減することが可能となる。

カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性が確認されると、サーバ装置１３０は、動き情報受信部１３１で携帯型通信デバイス１２０の動き測定結果（加速度値）とともに受信された携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザに対応付ける。ユーザと識別子の対応付けの後、第１の実施の形態と同様に、サーバ装置１３０は、カメラ１１１で撮影されるユーザの手が接近した商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。また、第１の実施の形態と同様に、サーバ装置１３０は、ユーザが購入した商品を識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。

この実施の形態では、サーバ装置１３０は、カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性を確認すると、携帯型通信デバイス１２０から送信された携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザに対応付ける。したがって、店舗１０内に複数の人がいる場合でも、観察対象とするユーザを確実に特定することができる。

携帯型通信デバイス１２０がユーザの動きの測定を開始する時期および携帯型通信デバイス１２０の動き測定結果の送信を開始する時期は、限定されない。しかし、第１の実施の形態と同様に、サーバ装置１３０は、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合、またはカメラ１１１で撮影されるユーザの手が店舗１０内の商品に接近した場合、携帯型通信デバイス１２０に識別子を示す信号を送信することを要求してよい。この要求は、識別子の要求であり、ユーザの動きの測定開始の要求でもある。この要求を受信すると、携帯型通信デバイス１２０は、ユーザの動きの測定を開始し、ユーザの動き測定結果を識別子とともに送信してよい。この場合、ユーザが商品に関心を有する可能性が高いときに、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。

また、携帯型通信デバイス１２０の消費電力削減の観点から、必要でない場合には、動き測定装置（例えば、加速度センサ１２５）および無線送信部１２３を動作させないことが望ましい。したがって、携帯型通信デバイス１２０の制御部１２６は、店舗１０内またはカメラ１１１で撮影可能な範囲内にユーザ（携帯型通信デバイス１２０）が位置している場合に、動き測定装置（加速度センサ１２５）が携帯型通信デバイス１２０の動きを測定するように動き測定装置を制御し、店舗内またはカメラで撮影可能な範囲内にユーザが位置していない場合に、動き測定装置が携帯型通信デバイス１２０の動きを測定しないように動き測定装置を制御すると好ましい。同様に、携帯型通信デバイス１２０の制御部１２６は、店舗１０内またはカメラ１１１で撮影可能な範囲内にユーザ（携帯型通信デバイス１２０）が位置している場合に、無線送信部１２３を起動し、店舗内またはカメラで撮影可能な範囲内にユーザが位置していない場合に、無線送信部１２３の起動を停止すると好ましい。上記の携帯型通信デバイス１２０の位置による携帯型通信デバイス１２０の制御方式は、例えば下記の通りである。

店舗１０内に設置されたＷｉ−ＦｉのアクセスポイントのＳＳＩＤ（Service Set Identifier）を受信すると、携帯型通信デバイス１２０の制御部１２６は、動き測定装置および無線送信部１２３を起動してよい。ＳＳＩＤの受信が不能となった場合に、制御部１２６は動き測定装置および無線送信部１２３の起動を停止してよい。ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信の方式がＷｉ−Ｆｉである場合には、Ｗｉ−Ｆｉのアクセスポイントは、ユーザ認識装置１１０の無線送信部１１３および無線受信部１１４で構成されていてよい。

Ｗｉ−Ｆｉのアクセスポイントの代わりに、店舗１０内に設置されたＢｌｕｅｔｏｏｔｈで通信可能なアクセスポイントを使用してもよい。ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信の方式がＢｌｕｅｔｏｏｔｈである場合には、そのアクセスポイントは、ユーザ認識装置１１０の無線送信部１１３および無線受信部１１４で構成されていてよい。また、ＧＰＳ（global positioning system）またはＩＭＥＳ（indoor messaging system）の技術を利用して、制御部１２６は携帯型通信デバイス１２０の位置を認識し、店舗１０内に携帯型通信デバイス１２０があるか否かを判断してもよい。制御部１２６は、これらの各種の手法のいずれかの組合せを用いてもよい。

第３の実施の形態
次に本発明の第３の実施の形態を説明する。第３の実施の形態は、第２の実施の形態の改良である。第３の実施の形態に係るユーザ観察システムの構成は、第２の実施の形態のユーザ観察システムの構成と基本的に同じでよい。第３の実施の形態に係る携帯型通信デバイス１２０の構成も第２の実施の形態のそれと基本的に同じでよい。

第３の実施の形態では、店舗１０内にユーザへの距離を測定する距離測定装置が設置される。サーバ装置１３０の動き分析部１３２は、距離測定装置で測定される距離の変動と、カメラ１１１で撮影されたユーザの動きに基づいて、ユーザの動きを特定する。これにより、動き分析部１３２でのユーザの動きの分析精度が高められる。他の特徴は第２の実施の形態と同じでよい。

図１２は、第３の実施の形態に係るユーザ認識装置１１０のブロック図である。図１２に示すように、このユーザ認識装置１１０は、第１または第２の実施の形態のユーザ認識装置１１０（図２）の構成に加え、赤外線センサ１１５と赤外線プロジェクタ１１６を備える。赤外線センサ１１５と赤外線プロジェクタ１１６は距離測定装置を構成する。

赤外線プロジェクタ１１６は赤外線を放射し、赤外線センサ１１５は被写体から反射した赤外線を受信する。距離測定の方式としては、例えばＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式が利用できる。これは、光源から出た光が対象物で反射し、センサ（この場合赤外線センサ１１５）に届くまでの時間（遅れ時間）と光の速度から、被写体までの距離を測定する方式である。これに加えてあるいはこれに代えて、赤外線センサ１１５として赤外線カメラを使用し、赤外線プロジェクタ１１６が特定のドットパターンを放射し、反射したドットパターンを赤外線カメラが撮影し、撮影されたドットパターンから被写体までの距離を測定してもよい。

ユーザ認識装置１１０と携帯型通信デバイス１２０の間の無線通信に赤外線が使用される場合には、赤外線プロジェクタ１１６から放射される赤外線が干渉源となりうる。この場合には、ユーザ認識装置１１０と携帯型通信デバイス１２０での通信期間と、赤外線プロジェクタ１１６からの放射期間とが交互に周期的に現れるように、時分割の調整を行って、赤外線の干渉を回避してもよい。また、Ｗｉ−Ｆｉ等で使用されるスキャン信号に同期させて、赤外線プロジェクタ１１６が赤外線を放射する時には、携帯型通信デバイス１２０は識別子報を送信せず、逆に、赤外線プロジェクタ１１６が赤外線放射を停止する時には携帯型通信デバイス１２０が識別子を送信することにより、干渉を回避してもよい。

ユーザ認識装置１１０のカメラ１１１は、画像データを逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。この分析結果から、サーバ装置１３０は商品棚１００の前に人がいることを認識し、人の動き、特にその人の腕および手の動きを認識する。

赤外線センサ１１５は、赤外線の測定結果を逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、赤外線の測定結果からユーザ認識装置１１０とユーザの距離を認識する。サーバ装置１３０は、カメラ１１１の画像データおよび赤外線センサ１１５の測定結果からユーザ認識装置１１０とユーザの身体の部位（例えば、手、腕、頭部、型）との距離を認識することができる。

カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近したことを認識すると、サーバ装置１３０は、ユーザ認識装置１１０からユーザの手または腕との距離を認識し、その距離に基づいて、サーバ装置１３０は、ユーザ５０の手がどの棚板の上の商品に接近しているのか認識する。商品棚の番号と棚板の番号に基づいて、サーバ装置１３０は、商品データベース１４０にアクセスし、ユーザの手が接近した商品を特定する。

サーバ装置１３０の動き分析部１３２は、第２の実施の形態に関して上述したように、カメラ１１１で得られる画像データからユーザの動きの特徴を分析する。また、動き分析部１３２は、赤外線センサ１１５で得られる測定結果もユーザの動きの特徴の分析に使用する。例えば、動き分析部１３２は、赤外線の測定結果に基づいて、ユーザの身体の部位との距離の時間変化、すなわち速度を計算してもよく、単位時間あたりの速度の変化、すなわち加速度を計算してもよい。動き分析部１３２は、赤外線センサ１１５で測定される距離の変動と、カメラ１１１で撮影されたユーザの動きに基づいて、ユーザの動きの特徴を特定する。

他方、第２の実施の形態と同様に、携帯型通信デバイス１２０の動き測定結果（加速度値）と携帯型通信デバイス１２０の識別子とを示す信号は、サーバ装置１３０の動き情報受信部１３１に供給される。サーバ装置１３０は、動き情報受信部１３１で受信された情報に基づいて、携帯型通信デバイス１２０の動きを得る。

サーバ装置１３０は、携帯型通信デバイス１２０の測定結果である携帯型通信デバイス１２０の動きと、赤外線センサ１１５の測定結果とカメラ１１１の画像データから特定されたユーザの動きとを比較して、これらの動きが同一ユーザの動きに起因するか否か判断する。これらの動きが同一ユーザの動きに起因すると判断される場合（カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性が確認される場合）に、サーバ装置１３０は、動き情報受信部１３１で受信された携帯型通信デバイス１２０の識別子をカメラ１１１で撮影されるユーザに対応付ける。

ユーザと識別子の対応付けの後、第１または第２の実施の形態と同様に、サーバ装置１３０は、カメラ１１１で撮影されるユーザの手が接近した商品をユーザ５０が関心を有する商品として、識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。また、第１または第２の実施の形態と同様に、サーバ装置１３０は、ユーザが購入した商品を識別子に対応付けて装置識別子・履歴データベース１５０に記録する。この時、サーバ装置１３０は、現在日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。

この実施の形態では、第２の実施の形態と同様の効果を達成することができる。また、カメラ１１１だけでなく距離測定装置を利用することで、ユーザ認識装置１１０からユーザの身体の部位までの距離を計測できるので、より精度良くユーザの動き（例えば加速度）を計算することが可能となる。

第２の実施の形態に関する変形は、この実施の形態においても適用可能である。例えば、携帯型通信デバイス１２０の消費電力削減の観点から、必要でない場合には、動き測定装置（例えば、加速度センサ１２５）および無線送信部１２３を動作させないことが可能である。

この実施の形態では、距離測定装置は、赤外線センサ１１５と赤外線プロジェクタ１１６の組合せである。但し、他の距離測定装置を使用してもよい。例えば、単一のユーザ認識装置１１０の内部に空間的に離れた複数のカメラ１１１を配置して、それぞれのカメラで撮影された画像の視差からユーザ認識装置１１０とユーザの距離を計算することができる。

第４の実施の形態
次に本発明の第４の実施の形態を説明する。第４の実施の形態は、第２または第３の実施の形態の改良である。図１３は本発明の第４の実施の形態に係るユーザ観察システムを示す概略図である。

この実施の形態においては、携帯型通信デバイス１２０は、腕時計タイプであってもよいが、特に携帯電話（例えばスマートフォン）であると好ましい。携帯型通信デバイス１２０が携帯電話である場合には、携帯型通信デバイス１２０が露出しているとは限らないので、ユーザ認識装置１１０と携帯型通信デバイス１２０の無線通信の方式は電波通信が好ましい。

図１４は、携帯電話で主に使用される三軸加速度センサの出力の変化の例を示すグラフである。三軸加速度センサは、Ｘ軸方向（センサの移動方向）、Ｙ軸方向（移動方向に対する横方向）、およびＺ軸方向（地球に対する垂直方向）のそれぞれの加速度を出力する。Ｚ軸方向の加速度は、重力の影響を受けるため、平均値が高くユーザの足の着地時の影響を大きく受ける。Ｙ軸方向の加速度はユーザの歩行時の左右の揺れの影響を受ける。Ｘ軸方向の加速度はユーザの前後の揺れの影響を受ける。

携帯電話の姿勢すなわち向きはユーザの持ち方（例えば、手で持たれた状態、衣服のポケットに入れられた状態、またはかばんに入れられた状態）に依存する。上記のＸ軸、Ｙ軸、およびＺ軸は、携帯電話の姿勢に応じて、互いに変わってしまいうる。

そこで、このユーザ観察システムは、事前測定結果データベース１７０を備える。事前測定結果データベース１７０には、様々な姿勢で動き測定機が保持されて動かされた場合に、動き測定機が測定するその動き測定機の動きに関する情報が記録されている。具体的には、各姿勢でのＸ軸方向の加速度測定結果、Ｙ軸方向の加速度測定結果、およびＺ軸方向の加速度測定結果を示す情報が記録されている。事前測定結果データベース１７０は、店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。また、事前測定結果データベース１７０は、商品データベース１４０または装置識別子・履歴データベース１５０が記録された記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。

サーバ装置１３０は、携帯型通信デバイス１２０で測定されて報告される携帯型通信デバイス１２０の動きを示す情報を事前測定結果データベース１７０に記憶された情報と比較し、携帯型通信デバイス１２０の姿勢を逐次的に推定する。サーバ装置１３０は、推定された携帯型通信デバイス１２０の姿勢に基づいて、携帯型通信デバイス１２０の動きとユーザの動きとを比較する。サーバ装置１３０は、携帯型通信デバイス１２０で測定される三軸の加速度値の各々を姿勢に基づいて補正してもよい（例えば、加速度値の各々に姿勢に基づく係数を乗算してもよい）。ユーザが駆けたり、跳ねたり、前屈みになったり、振り向いたりするような歩行以外の状態でも、動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０の姿勢に基づいて補正された加速度値とを比較することにより、ユーザの同一性の確認の精度が向上する。

サーバ装置１３０は、動き分析部１３２で分析された加速度値と、携帯型通信デバイス１２０の姿勢に基づいて補正された加速度値が同一ユーザの動きに起因するか否か判断する。つまり、サーバ装置１３０は、カメラ１１１で撮影されているユーザと、携帯型通信デバイス１２０の所有者の同一性を確認する。

他の特徴は第２または第３の実施の形態と同じである。この実施の形態では、第２または第３の実施の形態と同様の効果を達成することができる。また、携帯型通信デバイス１２０の姿勢を推定することにより、ユーザの同一性の確認の精度が向上する。

第２または第３の実施の形態に関する変形は、この実施の形態においても適用可能である。例えば、携帯型通信デバイス１２０の消費電力削減の観点から、必要でない場合には、動き測定装置（例えば、加速度センサ１２５）および無線送信部１２３を動作させないことが可能である。

第５の実施の形態
次に本発明の第５の実施の形態を説明する。第５の実施の形態は、第１〜第４の実施の形態のいずれにも適用可能な変形である。この実施の形態では、カメラ１１１の近傍に位置する携帯型通信デバイス１２０のみがユーザに対応付けられ、カメラ１１１の近傍に位置しない携帯型通信デバイス１２０がユーザに対応付けられることを防止することができる。

図１５は、第５の実施の形態に係るユーザ認識装置１１０を示す。このユーザ認識装置１１０は、上記の無線受信部１１４とは別の無線受信部（情報受信装置）１１７を備える。図１６は、第５の実施の形態に係る携帯型通信デバイス１２０を示す。この携帯型通信デバイス１２０は、上記の無線送信部１２３とは別の無線送信部１２７を備える。

携帯型通信デバイス１２０の無線送信部１２７は、携帯型通信デバイス１２０の識別子を示す情報を送信する。ユーザ認識装置１１０の無線受信部１１７が無線送信部１２７から送信された情報を受信できる場合に、サーバ装置１３０は、その情報に示された識別子に基づいて、カメラ１１１で撮影可能な範囲内に位置しているユーザに保持される携帯型通信デバイス１２０の識別子を特定し、特定された識別子をカメラ１１で撮影されるユーザに対応付ける。すなわち、ユーザ認識装置１１０の無線受信部１１４が、複数の携帯型通信デバイス１２０の無線送信部１２３から送信された識別子を示す信号を受信した場合であっても、サーバ装置１３０は、無線受信部１１７が受信した識別子に対応する携帯型通信デバイス１２０のみを特定し、その識別子をユーザに対応付ける。無線受信部１１７で受信されなかった情報を送信した携帯型通信デバイス１２０の識別子はユーザに対応付けられない。

したがって、サーバ装置１３０は携帯型通信デバイス１２０の識別子をユーザに容易に対応付けることができる。特に、第２〜第４の実施の形態にこの実施の形態を適用する場合には、カメラ１１１の画像データに基づいてユーザの動きと比較される携帯型通信デバイス１２０を特定することが容易になり、サーバ装置１３０での処理の負荷を軽減することができる。

この目的のため、無線送信部１２７の無線通信の方式は、無線送信部１２３の無線通信の方式と異なることが好ましい。例えば、無線送信部１２３の無線通信の方式が光通信であれば、無線送信部１２７の無線通信の方式は電波通信であるとよい。あるいは、無線送信部１２３の無線通信の方式がＷｉ−Ｆｉであれば、無線送信部１２７の無線通信の方式はＲＦＩＤであるとよい。

但し、無線送信部１２７の無線通信の方式は、無線送信部１２３の無線通信の方式と同じでもよい。この場合、無線送信部１２７の送信電力または送信強度は、無線送信部１２３のそれよりも小さく設定され、電磁波が届く距離が小さくされる。無線送信部１２３からの信号が無線受信部１１７での干渉とならないように、無線送信部１２３と無線送信部１２７は異なる周波数または時間で送信することが好ましい。

あるいは、携帯型通信デバイス１２０は、屋内測位技術を使用して携帯型通信デバイス１２０の位置を測定してもよく、サーバ装置１３０はその測定結果を使用してもよい。屋内測位技術としては、例えば、携帯型通信デバイス１２０の加速度センサなどを用いた歩行者デッドレコニングまたはＩＭＥＳ（Ｉｎｄｏｏｒ Ｍｅｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）がある。この場合には、携帯型通信デバイス１２０は、屋内測位技術で測定された携帯型通信デバイス１２０の位置と識別子とを示す情報を送信する。ユーザ認識装置１１０の無線受信部（位置情報受信装置）１１４は、この情報を受信する。ユーザ認識装置１１０はサーバ通信部１１２によりこの情報をサーバ装置１３０に転送する。

サーバ装置１３０は、この情報に基づいて、カメラ１１１で撮影可能な範囲内に位置しているユーザに保持される携帯型通信デバイス１２０の識別子を特定し、特定された識別子をカメラ１１で撮影されるユーザに対応付ける。すなわち、ユーザ認識装置１１０の無線受信部１１４が、複数の携帯型通信デバイス１２０の無線送信部１２３から送信された識別子を示す信号を受信した場合であっても、サーバ装置１３０は、カメラの近傍にある携帯型通信デバイス１２０のみを特定し、その識別子をユーザに対応付ける。カメラの近傍にない携帯型通信デバイス１２０の識別子はユーザに対応付けられない。

第６の実施の形態
次に本発明の第６の実施の形態を説明する。第６の実施の形態は、第１〜第４の実施の形態のいずれにも適用可能な変形である。この実施の形態では、カメラで撮影されるユーザの外観と異なる外観のユーザの携帯型通信デバイス１２０がユーザに対応付けられることを防止することができる。

図１７は、本発明の第６の実施の形態に係るユーザ観察システムを示す概略図である。図１７に示すように、このユーザ観察システムは、図１のユーザ観察システムに加えて、ユーザ外観データベース１７５を備える。ユーザ外観データベース１７５は店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。ユーザ外観データベース１７５は他のデータベースが記録された記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。ユーザ外観データベース１７５には、複数のユーザにそれぞれ保持される複数の携帯型通信デバイス１２０の複数の識別子と、これらのユーザの外観に関する情報が対応付けられて記録されている。各ユーザの外観に関する情報は、例えば、ユーザの顔、上半身、もしくは全身の画像データ、または身長、体重などの体型に関する数値データであってよい。

サーバ装置１３０は、携帯型通信デバイス１２０の識別子が報告されると、その識別子に対応する外観に関する情報をユーザ外観データベース１７５から読み出し、読み出された情報と、実際にカメラ１１１で撮影されるユーザの外観とを比較する。そして、類似性が高いユーザに対応する携帯型通信デバイス１２０の識別子を特定し、特定された識別子をカメラで撮影されるユーザに対応付ける。すなわち、ユーザ認識装置１１０の無線受信部１１４が、複数の携帯型通信デバイス１２０の無線送信部１２３から送信された識別子を示す信号を受信した場合であっても、サーバ装置１３０は、カメラ１１１で撮影されているユーザと似ているユーザが保持する携帯型通信デバイス１２０のみを特定し、その識別子をカメラで撮影されているユーザに対応付ける。カメラで撮影されているユーザと外観上似ていないユーザの携帯型通信デバイス１２０の識別子はカメラで撮影されているユーザに対応付けられない。

したがって、サーバ装置１３０は携帯型通信デバイス１２０の識別子をユーザに容易に対応付けることができる。特に、第２〜第４の実施の形態にこの実施の形態を適用する場合には、カメラ１１１の画像データに基づいてユーザの動きと比較される携帯型通信デバイス１２０を特定することが容易になり、サーバ装置１３０での処理の負荷を軽減することができる。この実施の形態を第５の実施の形態と組み合わせてもよい。

第７の実施の形態
次に本発明の第７の実施の形態を説明する。第７の実施の形態は、上述の実施の形態のいずれにも適用可能な変形である。この実施の形態では、キャッシュレジスタ１６０に識別子認識部１６６がなくても、ユーザが購入した商品を、携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録することが可能である。

図１８は本発明の第７の実施の形態に係るユーザ観察システムを示す概略図である。図１８に示すように、このユーザ観察システムは、図１のユーザ観察システムに加えて、ユーザ・装置対応付けデータベース１８０を備える。

図１９に示すように、ユーザ・装置対応付けデータベース１８０には、ユーザを識別するユーザ識別子と、携帯型通信デバイス１２０の識別子とが対応付けられて記憶されている。ユーザ識別子としては、クレジットカード番号（電子決済識別子）、電子マネーの発行事業者が所有者を識別するための識別子（電子決済識別子）、店舗１０で有効なユーザの会員番号のいずれでもよい。以下、ユーザの会員番号を例にとる。

図２０に示すように、この実施の形態のキャッシュレジスタ１６０は、サーバ通信部１６７に接続された会員カード読み取り部１６８を備える。会員カード読み取り部１６８は、ユーザが所有する会員カードに記録された会員番号（ユーザ識別子）を読み取る。会員カードは、例えば、磁気カード、接触式ＩＣカード、非接触式ＩＣカードである。商品を持ったユーザがキャッシュレジスタ１６０の前に現れると、店員は会員カード読み取り部１６８に会員カードの会員番号を読み取らせる。

第１の実施の形態と同様に、料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、会員カード読み取り部１６８が会員番号を読み取ると、サーバ通信部１６７は、商品と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。

この信号を受信すると、サーバ装置１３０は、この信号に示される会員番号に対応する携帯型通信デバイス１２０の識別子をユーザ・装置対応付けデータベース１８０から読み出し、この信号に示される商品をユーザが購入した商品として、携帯型通信デバイス１２０の識別子に対応付けて装置識別子・履歴データベース１５０に記録する。サーバ装置１３０は、この信号に示される日付および時刻を装置識別子・履歴データベース１５０に記録してもよい。

ユーザ識別子がクレジットカード番号または電子マネーの電子決済識別子である場合、サーバ通信部１６７は、会員番号に代えてクレジットカード番号または電子マネーの電子決済識別子を示す信号をサーバ装置１３０に送信する。サーバ装置１３０は、この信号に示されるクレジットカード番号または電子マネーの電子決済識別子に対応する携帯型通信デバイス１２０の識別子をユーザ・装置対応付けデータベース１８０から読み出す。この変形は後述する第８の実施の形態にも適用可能である。

第８の実施の形態
次に本発明の第８の実施の形態を説明する。第８の実施の形態は、第７の実施の形態の変形である。図２１は本発明の第８の実施の形態に係るユーザ観察システムを示す概略図である。図２１に示すように、このユーザ観察システムは、図１８のユーザ観察システムに加えて、ユーザ履歴データベース１５１を備える。ユーザ履歴データベース１５１は店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。ユーザ履歴データベース１５１は、他のデータベースが記録された記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。この実施の形態では、ユーザの行動は、装置識別子・履歴データベース１５０ではなく、ユーザ履歴データベース１５１に総合的に記録される。装置識別子・履歴データベース１５０は、ユーザの行動を一時的に記録する。

図２２は、ユーザ履歴データベース１５１の記録を示す。図２２に示すように、ユーザ履歴データベース１５１には、ユーザの行動がユーザ識別子（例えば、店舗１０で有効なユーザの会員番号）とともに記録されている。より具体的には、ユーザの会員番号と、商品名と、その商品に対するユーザの行動（関心を示したことまたは購入したこと）と、日付および時刻が、ユーザ履歴データベース１５１内で対応付けされている。

第１の実施の形態と同様に、料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、会員カード読み取り部１６８が会員番号を読み取ると、サーバ通信部１６７は、商品と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。

この信号を受信すると、サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される会員番号に対応付けてユーザ履歴データベース１５１に記録する。また、サーバ装置１３０は、この信号に示される会員番号に対応する携帯型通信デバイス１２０の識別子をユーザ・装置対応付けデータベース１８０から読み出し、読み出された識別子に装置識別子・履歴データベース１５０で対応付けられて記録されているユーザの行動を会員番号に対応付けてユーザ履歴データベース１５１に記録する。具体的には、装置識別子・履歴データベース１５０に携帯型通信デバイス１２０の識別子とともに記録されたユーザが関心を有した商品に関する項目をサーバ装置１３０はユーザ履歴データベース１５１に記録する。サーバ装置１３０は、ユーザ履歴データベース１５１に記録した項目を装置識別子・履歴データベース１５０から削除してよい。

この実施の形態では、ユーザの行動全体（商品に関心を有したことおよび商品を購入したこと）を携帯型通信デバイス１２０の識別子ではなく、ユーザ識別子に対応付けてユーザ履歴データベース１５１で記録する。装置識別子・履歴データベース１５０は、ユーザが商品に関心を有した場合に一時的に利用される。この実施の形態では、ユーザ識別子に基づいて、ユーザの行動全体を調査することが可能である。ユーザの行動を分析する者にとってはこの実施の形態が便利な場合がある。例えば、ユーザが複数の携帯型通信デバイス１２０を有する場合でも、ユーザ・装置対応付けデータベース１８０において単一のユーザ識別子と、複数の携帯型通信デバイス１２０の識別子を対応付けておけば、ユーザ履歴データベース１５１には、同一ユーザに関する行動履歴が蓄積される。ユーザが携帯型通信デバイス１２０を買い換えた場合も同様である。

第９の実施の形態
次に本発明の第９の実施の形態を説明する。図２３は本発明の第９の実施の形態に係るユーザ観察システムを示す概略図である。この実施の形態では、可搬型通信デバイス２２０が、店舗１０が所有する買い物かごまたはショッピングカート２１０の各々に取り付けられている。買い物かごまたはショッピングカート２１０自体が可搬型デバイスであると考えることもできる。したがって、この実施の形態では、可搬型通信デバイス２２０はユーザの所有物ではなく、店舗１０をユーザが訪問するたびに、異なる可搬型通信デバイス２２０をユーザが運搬する。以下、ショッピングカート２１０に可搬型通信デバイス２２０が取り付けられた例を説明する。

図２３に示すように、このユーザ観察システムは、図１のユーザ観察システムに加えて、ユーザ・装置対応付けデータベース１９０および電波通信装置６７０を備える。また、このユーザ観察システムは、装置識別子・履歴データベース１５０ではなく、第８の実施の形態に関連して上記したものと同様のユーザ履歴データベース１５１を備える。電波通信装置６７０は、例えばＷｉ−Ｆｉのアクセスポイントであって、店舗１０内に設置されており、サーバ装置１３０と通信する。ユーザ・装置対応付けデータベース１９０およびユーザ履歴データベース１５１は、店舗１０内に設置されていてもよいし、店舗１０の外部に設置されていてもよい。商品データベース１４０、ユーザ・装置対応付けデータベース１９０およびユーザ履歴データベース１５１は、１つの記憶装置に記録されていてもよいし、別個の記憶装置に記録されていてもよい。

この実施の形態では、可搬型通信デバイス２２０の識別子は、例えば、ショッピングカート２１０の番号であってよい。但し、個々のユーザの行動を分析するマーケティングの目的から、サーバ装置１３０には、可搬型通信デバイス２２０の識別子にユーザを一意に特定するユーザ識別子が対応付けられて報告される。ユーザ識別子としては、例えば、店舗１０で有効なユーザの会員番号、ユーザが保持するスマートフォンにインストールしたアプリケーションに登録した一意の番号がある。

図２４に示すように、可搬型通信デバイス２２０は、識別子記憶部２２１と、電波受信部２２２と、電波送信部２２３と、制御部２２６と、光受信部２２８と、光送信部２２９と、会員カード読み取り部２３０とを備える。好ましくは、可搬型通信デバイス２２０は、上記の電子マネー情報記憶部１２４と同様の電子マネー情報記憶部２２４をさらに備える。

識別子記憶部２２１には、可搬型通信デバイス２２０の識別子（例えばショッピングカート２１０の番号）が記憶されている。会員カード読み取り部２３０は、店舗１０の事業者が発行しユーザが所有する会員カード（図示せず）に記録された会員番号（ユーザ識別子）を読み取る。会員カードは、例えば、磁気カード、接触式ＩＣカード、非接触式ＩＣカードである。ショッピングカート２１０を用いるユーザは、会員カード読み取り部２３０に会員カードの会員番号を読み取らせる。

制御部２２６は例えばＣＰＵである。制御部２２６はペアリング部２３１を備える。ペアリング部２３１は、制御部２２６がコンピュータプログラムに従って動作することにより実行される機能ブロックである。会員カード読み取り部２３０が会員番号を読み取ると、ペアリング部２３１は、識別子記憶部２２１に記憶された可搬型通信デバイス２２０の識別子と会員番号をペアリング（対応付け）する。

ユーザ識別子がスマートフォンにインストールしたアプリケーションに登録した一意の番号である場合には、会員カード読み取り部２３０の代わりに、可搬型通信デバイス２２０は、その番号をユーザが入力する装置を備える。ペアリング部２３１はその番号と可搬型通信デバイス２２０の識別子をペアリングする。

電波受信部２２２は、店舗１０内の電波通信装置６７０から送信された無線信号を受信する。電波送信部２２３は、無線信号を送信し、この無線信号は電波通信装置６７０で受信される。具体的には、制御部２２６のペアリング部２３１は、電波送信部２２３により、可搬型通信デバイス２２０の識別子とユーザ識別子（例えば会員番号）のペア（セット）を示す信号を送信する。電波通信の方式は、Ｗｉ−Ｆｉ、ＢｌｕｅｔｏｏｔｈまたはＲＦＩＤのいずれでもよい。

光受信部２２８は、ユーザ認識装置１１０の無線送信部１１３（図２）から送信された光信号を受信する。光送信部２２９は、光信号を送信し、この光信号はユーザ認識装置１１０の無線受信部１１４で受信される。具体的には、ユーザ認識装置１１０の無線送信部１１３からの要求を光受信部２２８は受信し、この要求に応じて、制御部２２６は、光送信部２２９により識別子記憶部２２１に記憶された識別子を示す信号を送信する。光通信の方式は、可視光通信でもよいし、赤外線通信でもよい。

ユーザが店舗１０を訪問し、ショッピングカート２１０を選択した後、ユーザは、会員カード読み取り部２３０にて会員カードをスライドする。会員カード読み取り部２３０は会員カードの会員番号を読み取る。すると、制御部２２６のペアリング部２３１は、識別子記憶部２２１に記録された可搬型通信デバイス２２０の識別子と会員番号とを示す信号を生成する。電波送信部２２３はこの信号を送信する。

可搬型通信デバイス２２０の電波受信部２２２は必ずしも必要ではない。但し、電波通信装置６７０は、ユーザに会員番号の読み取りを促すための信号を各可搬型通信デバイス２２０に送信してもよい。電波受信部２２２がその信号を受信して、可搬型通信デバイス２２０の移動検知部（図示せず）が可搬型通信デバイス２２０の移動開始を検出すると、制御部２２６は、スピーカまたはディスプレイ（図示せず）でユーザに会員番号の読み取りを促してもよい。

電波通信装置６７０は電波送信部２２３から送信された信号を受信し、この信号をサーバ装置１３０に転送する。したがって、サーバ装置１３０は、新規にペアリングされた可搬型通信デバイス２２０の識別子とユーザの会員番号を認識する。すると、サーバ装置１３０は、ユーザ・装置対応付けデータベース１９０に、ペアリングされた可搬型通信デバイス２２０の識別子とユーザの会員番号を記録する。

図２５は、ユーザ・装置対応付けデータベース１９０の記録を示す。図２５に示すように、ユーザ・装置対応付けデータベース１９０には、可搬型通信デバイス２２０の識別子とユーザの会員番号とが対応付けられて記録されている。図２５において会員番号が空欄の記録は、その可搬型通信デバイス２２０（ひいてはショッピングカート２１０）がどのユーザにも使用されていないことを示す。

第１の実施の形態と同様に、ユーザ認識装置１１０のカメラ１１１は、画像データを逐次的にサーバ装置１３０に供給する。サーバ装置１３０は、画像データの各フレームと前フレームとの差分を分析する。そして、第１の実施の形態と同様に、カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近したことをサーバ装置１３０は認識することができる。

カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近した場合、サーバ装置１３０は、可搬型通信デバイス２２０に可搬型通信デバイス２２０の識別子を示す信号を送信することを要求する。サーバ装置１３０は、ユーザ５０を撮影しているカメラ１１１を有するユーザ認識装置１１０にこの要求を送信し、ユーザ認識装置１１０はサーバ通信部１１２を介してその要求を受信する。要求を受信したユーザ認識装置１１０は、無線送信部１１３を介してその要求を送信する。無線送信部１１３から送信される光が到達可能な範囲にあるユーザ５０の可搬型通信デバイス２２０は、この要求を光受信部２２８によって受信する。

あらかじめ、無線送信部１１３から送信される光が到達可能な範囲がカメラ１１１で撮影可能な所定の範囲とほぼ一致するように、無線送信部１１３の送信出力またはカメラ１１１の設置場所が調整されていると好ましい。この場合には、カメラ１１１で撮影されているユーザ５０の可搬型通信デバイス２２０は、この要求を光受信部２２８によって受信することができ、カメラ１１１で撮影されていないユーザ５０の可搬型通信デバイス２２０は、この要求を受信できない。したがって、店舗１０内に複数の人がいる場合でも、観察対象とするユーザを特定しやすい。

識別子を示す信号の要求を受信すると、可搬型通信デバイス２２０の制御部２２６は、識別子記憶部２２１に記憶されている可搬型通信デバイス２２０の識別子を読み出して、識別子を示す信号を光送信部２２９により無線で（つまり光で）送信する。

ユーザ認識装置１１０の無線受信部１１４は、可搬型通信デバイス２２０から送信された識別子を示す信号を受信する。可搬型通信デバイス２２０からユーザ認識装置１１０への無線通信に光を利用する場合には、ユーザ認識装置１１０のカメラ１１１が光信号を認識する光受信装置として機能するので、無線受信部１１４を設ける必要はない。

ユーザ認識装置１１０の無線受信部１１４（またはカメラ１１１）が識別子を示す信号を受信すると、ユーザ認識装置１１０のサーバ通信部１１２は可搬型通信デバイス２２０の識別子をサーバ装置１３０に報告する。サーバ装置１３０は、可搬型通信デバイス２２０の識別子を示す信号をカメラ１１１から受信すると、この識別子をカメラ１１１で撮影されるユーザ５０に対応付ける。

カメラ１１１が可搬型通信デバイス２２０から送信される光信号を認識する場合には、サーバ装置１３０は、カメラの画像データの変化から可搬型通信デバイス２２０の識別子を認識することができる。つまり、画像データから得られる光の強度の強弱もしくは点滅パターン、波長の変化パターン、またはこれらの組合せにより、識別子が認識される。

この場合、画像を構成する多数の画素のうち光の発信源の画素が特定されるので、可搬型通信デバイス２２０の光送信部２２９の位置が特定される。そして、サーバ装置１３０は、カメラ１１１で撮影されるユーザの位置に対して、光の発信源（すなわち信号の発信源）である可搬型通信デバイス２２０の光送信部２２９の位置が所定の範囲にある場合に、光の発信源である可搬型通信デバイス２２０の識別子をユーザに対応付けることができる。これにより、ユーザ認識装置１１０からの識別子の要求に応じて、複数の可搬型通信デバイス２２０が発光する場合でも、観察対象とするユーザを特定しやすい。例えば、図２６に示す例において、カメラ１１１で撮影されているユーザ５０の頭部の中心から所定の距離Ｌの範囲２０１内に光送信部２２９がある可搬型通信デバイス２２０の識別子を、サーバ装置１３０はカメラ１１１で撮影されるユーザ５０に対応付ける。範囲２０１から外にある光送信部２２９が識別子を示す信号を送信するために発光したとしても、サーバ装置１３０はその可搬型通信デバイス２２０の識別子をカメラ１１１で撮影されるユーザ５０に対応付けない。

あるいは、サーバ装置１３０は、光の発信源である光送信部２２９とユーザの頭部の移動方向が同じである場合に、光の発信源である光送信部２２９を有する可搬型通信デバイス２２０の識別子をユーザに対応付けてもよい。あるいは、サーバ装置１３０は、その他の画像分析の手法により、光の発信源である光送信部２２９を有する可搬型通信デバイス２２０の識別子をユーザに対応付けてもよい。例えば、光の発信源である光送信部２２９と、ショッピングカート２１０と、これを運搬しているユーザの腕と頭部との位置に基づいて、光の発信源である光送信部２２９を有する可搬型通信デバイス２２０の識別子をユーザに対応付けてもよい。

ユーザと識別子の対応付けの後、サーバ装置１３０は、カメラ１１１で撮影されるユーザ５０の行動を可搬型通信デバイス２２０の識別子に対応付けてユーザ履歴データベース１５１に記録する。具体的には、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、サーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、ユーザの会員番号に対応付けてユーザ履歴データベース１５１に記録する。つまり、この実施の形態では、カメラ１１１で撮影されるユーザ５０の手が店舗１０内の商品１０５に接近した場合、ユーザと識別子が対応付けされ、さらにサーバ装置１３０は、この商品をユーザ５０が関心を有する商品として、ユーザの会員番号に対応付けてユーザ履歴データベース１５１に記録する。第１の実施の形態と同様に、サーバ装置１３０は、商品棚の番号と棚板の番号に基づいて、サーバ装置１３０は、商品データベース１４０にアクセスし、ユーザの手が接近した商品を特定することができる。サーバ装置１３０は、現在日付および時刻をユーザ履歴データベース１５１に記録してもよい。

ユーザ履歴データベース１５１の記録は、第８の実施の形態に関連して示した図２２と同様である。図２２に示すように、ユーザ履歴データベース１５１には、ユーザの行動がユーザ識別子（例えば、店舗１０で有効なユーザの会員番号）とともに記録されている。より具体的には、ユーザの会員番号と、商品名と、その商品に対するユーザの行動（関心を示したことまたは購入したこと）と、日付および時刻が、ユーザ履歴データベース１５１内で対応付けされている。例えば、ユーザ履歴データベース１５１の記録の第１行目は、会員番号０００１を持つ携帯型通信デバイスの所有者であるユーザが、2012年12月14日の23時00分15秒に商品ＡＡＣに関心を有したことを示す。これは、ユーザの手が接近した商品ＡＡＣをユーザが関心を有する商品として、サーバ装置１３０が会員番号に対応付けて記録した結果である。

ユーザ履歴データベース１５１にユーザ５０が関心を有する商品を記録する前に、サーバ装置１３０は、ユーザ・装置対応付けデータベース１９０にアクセスし、商品に接近したユーザに対応する可搬型通信デバイス２２０の識別子に基づいて、ユーザ・装置対応付けデータベース１９０内で、その識別子に対応する会員番号を検索する。これによりユーザ識別子である会員番号が特定される。サーバ装置１３０は、この会員番号を商品名とともにユーザ履歴データベース１５１に記録する。

ユーザ５０は、商品１０５を購入する場合には、キャッシュレジスタ（商品購入検出装置）１６０で料金を支払う。図２７に示すように、この実施の形態のキャッシュレジスタ１６０は、サーバ通信部１６７に接続された会員カード読み取り部１６８を備える。会員カード読み取り部１６８は、会員カード読み取り部２３０と同様に、ユーザが所有する会員カードに記録された会員番号（ユーザ識別子）を読み取る。商品を持ったユーザがキャッシュレジスタ１６０の前に現れると、店員は会員カード読み取り部１６８に会員カードの会員番号を読み取らせる。

第１の実施の形態と同様に、料金の支払いが完了し、商品認識部１６５で商品が認識されると、キャッシュレジスタ１６０で商品の購入が検出されたことを意味する。キャッシュレジスタ１６０が商品の購入を検出し、識別子認識部１６６が可搬型通信デバイス２２０の識別子を認識し、会員カード読み取り部１６８が会員番号を読み取ると、サーバ通信部１６７は、商品と可搬型通信デバイス２２０の識別子と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。

この信号を受信すると、サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される会員番号に対応付けてユーザ履歴データベース１５１に記録する。サーバ装置１３０は、この信号に示される日付および時刻をユーザ履歴データベース１５１に記録してもよい。図２２に示すユーザ履歴データベース１５１の記録の例では、第２行目は、会員番号０００１を持つ携帯型通信デバイスの所有者であるユーザが、2013年1月25日の8時16分34秒に商品ＢＡＣを購入したことを示す。これは、ユーザが購入した商品ＢＡＣをサーバ装置１３０が会員番号に対応付けて記録した結果である。

また、サーバ装置１３０は、ユーザ・装置対応付けデータベース１９０にアクセスし、キャッシュレジスタ１６０から送信された信号に示される識別子と会員番号のペアリングを解消する。具体的には、ユーザ・装置対応付けデータベース１９０の記録の可搬型通信デバイス２２０の識別子を残し、会員番号を削除する。

この実施の形態では、キャッシュレジスタ１６０は、識別子認識部１６６と会員カード読み取り部１６８を備える。しかし、識別子認識部１６６と会員カード読み取り部１６８のいずれか一方を排除してもよい。識別子認識部１６６がなく会員カード読み取り部１６８がキャッシュレジスタ１６０に設けられる場合には、サーバ通信部１６７は、商品と会員番号と日付および時刻を示す信号をサーバ装置１３０に送信する。サーバ装置１３０は、この信号に示される商品をユーザが購入した商品として、この信号に示される会員番号に対応付けてユーザ履歴データベース１５１に記録する。会員カード読み取り部１６８がなく識別子認識部１６６がキャッシュレジスタ１６０に設けられる場合には、サーバ通信部１６７は、商品と可搬型通信デバイス２２０の識別子と日付および時刻を示す信号をサーバ装置１３０に送信する。サーバ装置１３０は、この信号に示される識別子に基づいて、ユーザ・装置対応付けデータベース１９０から会員番号を読み出し、この信号に示される商品をユーザが購入した商品として、会員番号に対応付けてユーザ履歴データベース１５１に記録する。また、サーバ装置１３０は、識別子と会員番号のいずれか一方を認識すれば、ユーザ・装置対応付けデータベース１９０での識別子と会員番号のペアリングを解消することができる。

このようにして、各ユーザについて、購入した商品に関する情報と、関心を持ったが購入には至らなかった商品に関する情報とがユーザ履歴データベース１５１に蓄積される。ユーザ履歴データベース１５１に蓄積された情報を分析することにより、より高度なマーケティングが可能になると考えられる。ユーザ履歴データベース１５１内の各記録に日付および時刻が付与される場合には、各ユーザについて、関心ある商品の変化および購入する商品の変化を分析すること、および店舗１０への各訪問時に関心を有した商品と購入した商品を分析することが可能になる。

この実施の形態では、カメラ１１１で撮影されるユーザ５０の手が商品棚１００の商品１０５に接近した場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信する。したがって、ユーザが商品に実際に関心を有する場合に、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。

しかし、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合に、サーバ装置１３０は、携帯型通信デバイス１２０の識別子を示す信号の要求を送信してもよい。この場合、ユーザが商品に関心を有する可能性が高いときに、カメラで撮影されるユーザと携帯型通信デバイス１２０の識別子を対応付けることが可能である。

また、買い物かごまたはショッピングカート２１０には、大型のバッテリを取り付けることができる。可搬型通信デバイス２２０の消費電力が大きくても許容されると考えられる。そこで、サーバ装置１３０からの要求に応じて、可搬型通信デバイス２２０が識別子を示す信号を送信するのではなく、常時、識別子を示す信号を送信してもよい。

この実施の形態では、電波通信装置６７０は、ユーザ認識装置１１０と別個に設けられているが、各ユーザ認識装置１１０に設けられていてもよい。また、電波通信装置６７０の役割をユーザ認識装置１１０の無線送信部１１３および無線受信部１１４が実行し、可搬型通信デバイス２２０は１種類の無線通信のみを実行するようにしてもよい。

この実施の形態では、可搬型通信デバイス２２０の識別子を示す信号を光送信部２２９が無線で（つまり光で）送信し、ユーザ認識装置１１０の無線受信部１１４がこの信号を受信して、サーバ装置１３０に転送する。しかし、図２８に示すように、可搬型通信デバイス２２０の表面にその装置識別子を表す装置識別子表示２４０を印刷またはその他の手法により設けてもよい。装置識別子表示としては、例えばバーコードまたはＱＲコード（登録商標）であってよい。サーバ装置１３０は、カメラ１１１で撮影可能な所定の範囲内にユーザが入った場合、またはカメラ１１１で撮影されるユーザの手が店舗１０内の商品に接近した場合、可搬型通信デバイス２２０に示された装置識別子表示２４０をカメラ１１１に撮影することを要求してよい。カメラ１１１が装置識別子表示２４０を撮影すると、サーバ装置１３０は、装置識別子表示２４０で表される装置識別子に対応するユーザ識別子をユーザ・装置対応付けデータベース１９０から読み出し、ユーザが関心を有する商品をユーザ識別子に対応付けてユーザ履歴データベース１５１に記録してよい。この場合には、ユーザ認識装置１１０では、無線送信部１１３および無線受信部１１４が不要であり、可搬型通信デバイス２２０では光受信部２２８および光送信部２２９が不要である。サーバ装置１３０には、装置識別子表示２４０から装置識別子を解読する機能が必要である。

この実施の形態では、可搬型通信デバイス２２０において、識別子記憶部２２１に記録された可搬型通信デバイス２２０の識別子を会員カード読み取り部２３０で読み取られた会員番号がペアリングされ、制御部２２６のペアリング部２３１は、電波送信部２２３により、可搬型通信デバイス２２０の識別子とユーザ識別子（会員番号）とを示す信号を送信する。しかし、可搬型通信デバイス２２０は、ユーザ識別子（会員番号）のみを電波送信部２２３により送信してもよい。この場合には、可搬型通信デバイス２２０の識別子記憶部２２１は不要であり、ペアリング部２３１も不要であり、ユーザ・装置対応付けデータベース１９０も不要であり、キャッシュレジスタ１６０の識別子認識部１６６も不要である。

他の変形
上記のユーザ観察システムの各構成要素において、ＣＰＵが実行する各機能は、ＣＰＵの代わりに、ハードウェアで実行してもよいし、例えばFPGA（Field Programmable Gate Array）、DSP（Digital Signal Processor）等のプログラマブルロジックデバイスで実行してもよい。

上記の各実施の形態においては、サーバ装置１３０は、ユーザの手が接近した商品をユーザが関心を有する商品として装置識別子またはユーザ識別子に対応付けてデータベースに記録する。これに加えて、サーバ装置１３０は、ユーザが少し関心を有する商品をデータベースに記録してもよい。つまり、サーバ装置１３０は、ユーザの手が接近したユーザが高い関心を有する商品と、ユーザが低い関心を有する商品を記録することで、複数段階の関心度を記録してもよい。例えば、サーバ装置１３０は、カメラ１１１の画像データに基づいて、ユーザが特定の商品棚１００の前に滞在する時間を計算し、滞在時間が所定の閾値を超えた場合に、その商品棚１００に陳列された商品を、ユーザが少し関心を有する商品として装置識別子またはユーザ識別子に対応付けてデータベースに記録してよい。この場合、サーバ装置１３０は、カメラ１１１の画像データに基づいて、商品棚１００に陳列された商品にユーザが注目しているか否かを判断してもよく、ユーザが商品に注目する時間が所定の閾値を超えた場合に、その商品棚１００に陳列された商品を、ユーザが少し関心を有する商品として装置識別子またはユーザ識別子に対応付けてデータベースに記録してよい。この結果、データベースには、ユーザが高い関心を示したことと、ユーザが低い関心を示したことを示す記録が蓄積される。

前記の実施の形態および変形は、矛盾しない限り、組み合わせてもよい。

１０ 店舗、５０，５１ ユーザ、１００ 商品棚、１０１〜１０４ 棚板、１０５ 商品、１１０ ユーザ認識装置、１１１ カメラ、１１２ サーバ通信部、１１３ 無線送信部、１１４ 無線受信部（位置情報受信装置）、１１５ 赤外線センサ（距離測定装置）、１１６ 赤外線プロジェクタ（距離測定装置）、１１７ 無線受信部（情報受信装置）、１２０ 携帯型通信デバイス（可搬型装置）、１２１ 識別子記憶部、１２２ 無線受信部、１２３ 無線送信部、１２４ 電子マネー情報記憶部、１２５ 加速度センサ（動き測定装置）、１２６ 制御部、１２７ 無線送信部、１３０ サーバ装置（行動分析装置）、１３１ 動き情報受信部、１３２ 動き分析部、１４０ 商品データベース、１５０ 装置識別子・履歴データベース、１５１ ユーザ履歴データベース、１６０ キャッシュレジスタ（商品購入検出装置）、１６１ 電子マネー情報読み取り部、１６２ 電子マネー料金徴収部、１６３ クレジットカード情報読み取り部、１６４ クレジットカード料金徴収部、１６６ 識別子認識部、１６５ 商品認識部、１６７ サーバ通信部、１６８ 会員カード読み取り部、１７０ 事前測定結果データベース、１７５ ユーザ外観データベース、１８０ ユーザ・装置対応付けデータベース、１９０ ユーザ・装置対応付けデータベース、２１０ ショッピングカート、２２０ 可搬型通信デバイス（可搬型装置）、２２１ 識別子記憶部、２２２ 電波受信部、２２３ 電波送信部、２２６ 制御部、２２８ 光受信部、２２９ 光送信部、２３０ 会員カード読み取り部、２３１ ペアリング部、２４０ 装置識別子表示、６７０ 電波通信装置。

Claims (12)

1. 店舗内に設置され、前記店舗内のユーザを逐次的に撮影するカメラと、
   前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、
   前記ユーザに保持される可搬型装置に記録された当該可搬型装置を一意に識別可能な装置識別子とともに、前記ユーザの行動を記憶する装置識別子・履歴データベースとを備え、
   前記行動分析装置は、前記装置識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録することを特徴とするユーザ観察システム。
2. 前記行動分析装置は、前記カメラで撮影可能な所定の範囲内に前記ユーザが入った場合、または前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記可搬型装置に前記装置識別子を示す信号を送信することを要求し、
   前記可搬型装置の前記装置識別子を示す信号を受信すると、前記装置識別子を前記カメラで撮影される前記ユーザに対応付けることを特徴とする請求項１に記載のユーザ観察システム。
3. 前記行動分析装置は、前記可搬型装置にて測定された前記可搬型装置の動きと前記装置識別子とを示す情報を逐次的に受信する動き情報受信部を備え、
   前記行動分析装置は、前記動き情報受信部で受信された前記情報に示される前記可搬型装置の動きと、前記カメラで撮影される前記ユーザの動きとを比較して、これらの動きが同一ユーザの動きに起因するか否か判断し、これらの動きが同一ユーザの動きに起因すると判断される場合に、前記動き情報受信部で受信された前記装置識別子を前記カメラで撮影される前記ユーザに対応付けることを特徴とする請求項１または請求項２に記載のユーザ観察システム。
4. 前記店舗内の前記カメラの近傍に設置され、前記可搬型装置から送信された前記装置識別子を示す情報を無線で受信する情報受信装置をさらに備え、
   前記行動分析装置は、前記情報受信装置で受信された前記情報に示された前記装置識別子に基づいて、前記カメラで撮影可能な範囲内に位置しているユーザに保持される可搬型装置の装置識別子を特定し、特定された前記装置識別子を前記カメラで撮影される前記ユーザに対応付けることを特徴とする請求項１から請求項３のいずれか１項に記載のユーザ観察システム。
5. 複数のユーザにそれぞれ保持される複数の可搬型装置の複数の装置識別子と、これらのユーザの外観に関する情報が対応付けられて記録されているユーザ外観データベースをさらに備え、
   前記行動分析装置は、前記カメラで撮影される前記ユーザの外観を前記ユーザ外観データベースに記録された情報と比較することにより、前記カメラで撮影された前記ユーザに保持される可搬型装置の装置識別子を特定し、特定された前記装置識別子を、前記カメラで撮影される前記ユーザに対応付けることを特徴とする請求項１から請求項４のいずれか１項に記載のユーザ観察システム。
6. 商品の購入を検出するとともに、前記装置識別子を認識可能な商品購入検出装置をさらに備え、
   前記商品購入検出装置で商品の購入が検出され前記装置識別子が認識されると、前記行動分析装置は、前記商品を前記ユーザが購入した商品として、前記商品購入検出装置で認識された前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録することを特徴とする請求項１から請求項５のいずれか１項に記載のユーザ観察システム。
7. 前記ユーザを識別するユーザ識別子と、前記可搬型装置の前記装置識別子とが対応付けられて記憶されているユーザ・装置対応付けデータベースと、
   商品の購入を検出するとともに、前記ユーザ識別子を読み取り可能な商品購入検出装置とをさらに備え、
   前記商品購入検出装置で商品の購入が検出され前記ユーザ識別子が読み取られると、前記行動分析装置は、前記ユーザ識別子に対応する前記可搬型装置の前記装置識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが購入した商品として、前記ユーザ・装置対応付けデータベースから読み出された前記装置識別子に対応付けて前記装置識別子・履歴データベースに記録することを特徴とする請求項１から請求項６のいずれか１項に記載のユーザ観察システム。
8. 前記ユーザを識別するユーザ識別子と、前記可搬型装置の前記装置識別子とが対応付けられて記憶されているユーザ・装置対応付けデータベースと、
   前記ユーザ識別子とともに、前記ユーザの行動を記憶するユーザ履歴データベースと、
   商品の購入を検出するとともに、前記ユーザ識別子を読み取り可能な商品購入検出装置とをさらに備え、
   前記商品購入検出装置で商品の購入が検出され前記ユーザ識別子が読み取られると、前記行動分析装置は、前記商品を前記ユーザが購入した商品として、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録するとともに、
   前記ユーザ識別子に対応する前記可搬型装置の前記装置識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記ユーザ・装置対応付けデータベースから読み出された前記装置識別子に前記装置識別子・履歴データベースで対応付けられて記録されている前記ユーザの行動を、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項１から請求項６のいずれか１項に記載のユーザ観察システム。
9. 店舗内に設置され、前記店舗内のユーザを逐次的に撮影するカメラと、
   前記カメラで撮影される前記ユーザの行動を分析する行動分析装置と、
   前記ユーザを一意に識別可能なユーザ識別子とともに、前記ユーザの行動を記憶するユーザ履歴データベースとを備え、
   前記行動分析装置は、前記店舗に所有され前記店舗内で前記ユーザに保持される可搬型装置から報告される前記ユーザ識別子を前記カメラで撮影される前記ユーザに対応付け、前記カメラで撮影されるユーザの行動を前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とするユーザ観察システム。
10. 前記ユーザ識別子と、前記可搬型装置に記録された当該可搬型装置を一意に識別可能な装置識別子とが対応付けられて記憶されるユーザ・装置対応付けデータベースをさらに備え、
    前記行動分析装置は、前記ユーザ識別子と前記装置識別子とが前記可搬型装置から報告されると、前記ユーザ識別子と前記装置識別子とを対応付けて前記ユーザ・装置対応付けデータベースに記録し、
    前記行動分析装置は、前記ユーザ識別子を示さずに前記可搬型装置の前記装置識別子を示す信号を受信し、
    前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記行動分析装置は、前記信号に示される前記装置識別子に対応する前記ユーザ識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが関心を有する商品として、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項９に記載のユーザ観察システム。
11. 前記ユーザ識別子と、前記可搬型装置に記録された当該可搬型装置を一意に識別可能な装置識別子とが対応付けられて記憶されるユーザ・装置対応付けデータベースをさらに備え、
    前記行動分析装置は、前記ユーザ識別子と前記装置識別子とが前記可搬型装置から報告されると、前記ユーザ識別子と前記装置識別子とを対応付けて前記ユーザ・装置対応付けデータベースに記録し、
    前記行動分析装置は、前記カメラで撮影可能な所定の範囲内に前記ユーザが入った場合、または前記カメラで撮影される前記ユーザの手が前記店舗内の商品に接近した場合、前記可搬型装置に示された前記装置識別子を表す装置識別子表示を前記カメラに撮影することを要求し、
    前記カメラが前記装置識別子表示を撮影すると、前記行動分析装置は、前記装置識別子表示で表される前記前記装置識別子に対応する前記ユーザ識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが関心を有する商品として、前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項９に記載のユーザ観察システム。
12. 商品の購入を検出するとともに、前記装置識別子を認識可能な商品購入検出装置をさらに備え、
    前記商品購入検出装置で商品の購入が検出され前記装置識別子が認識されると、前記行動分析装置は、前記前記装置識別子に対応する前記ユーザ識別子を前記ユーザ・装置対応付けデータベースから読み出し、前記商品を前記ユーザが購入した商品として、読み出された前記ユーザ識別子に対応付けて前記ユーザ履歴データベースに記録することを特徴とする請求項１０または請求項１１に記載のユーザ観察システム。
    

Images