JP2014026350A - 関心度計測システム、関心度計測装置及び関心度計測プログラム - Google Patents

Abstract

【課題】 簡易な構成で、特定の商品に対する消費者の関心度に関する情報を取得する。
【解決手段】本発明は、注目商品９の前で停止した停止人物を検出し、さらに注目商品９を手に取った人物の手を検出する第１及び第２の検出手段としてのセンサ２と、センサ２を制御し、停止人物及び当該停止人物が検出された時刻、並びに手の数及び検出された時刻を記憶し、特定の時間ごとに、前記停止人物数及び前記手の数を統計する処理ユニット３とを有するようにした。
【選択図】 図１

Description

本発明は、関心度計測システム、関心度計測装置及び関心度計測プログラムに関するものである。

従来、同一ユーザを認識してその移動パターンを把握することにより、ユーザの購買意欲を判別する関心度計測システムが提案されている。

特開２０１０−１９８４６１号公報

かかる構成の関心度計測システムでは、ユーザごとに行動パターンを検出しており、エリア内におけるユーザの様々な行動を追う必要があると共に、構成が非常に複雑であるという問題があった。

本発明はこのような問題を解決するためになされたもので、その目的は、簡易な構成で、特定の商品に関するユーザの関心度を計測できる関心度計測システム及び関心度計測プログラムを提供するものである。

かかる課題を解決するため、本発明の関心度計測システムは、停止した人物である停止人物を検出する第１の検出手段と、人物の手を検出する第２の検出手段と、第１及び第２の検出手段を制御する制御手段と、停止人物及び当該停止人物が検出された時刻、並びに手の数及び検出された時刻を記憶する記憶手段と、特定の時間ごとに、停止人物数及び手の数を統計する統計手段とを有するようにした。

これにより、関心度計測システムは、特定の時間ごとに、停止人物数及び手の数をマーケティング情報として生成することができる。

また、本発明の関心度計測装置は、停止した人物である停止人物を検出する第１の検出手段から第１の検出情報を取得する第１の検出情報取得手段と、人物の手を検出する第２の検出手段から第２の検出情報を取得する第２の検出情報取得手段と、第１及び第２の検出手段を制御する制御手段と、停止人物及び当該停止人物が検出された時刻、並びに手の数及び検出された時刻を記憶する記憶手段と、特定の時間ごとに、停止人物数及び手の数を統計する統計手段とを有するようにした。

これにより、関心度計測システムは、特定の時間ごとに、停止人物数及び手の数をマーケティング情報として生成することができる。

さらに、本発明の関心度計測プログラムは、停止した人物である停止人物を検出する第１の検出ステップから第１の検出情報を取得する第１の検出情報取得ステップと、人物の手を検出する第２の検出ステップから第２の検出情報を取得する第２の検出情報取得ステップと、停止人物及び当該停止人物が検出された時刻、並びに手の数及び検出された時刻を記憶する記憶ステップと、特定の時間ごとに、停止人物数及び手の数を統計する統計ステップとを有するようにした。

これにより、関心度計測プログラムは、特定の時間ごとに、停止人物数及び手の数をマーケティング情報として生成することができる。

本発明は、特定の時間ごとに、停止人物数及び手の数をマーケティング情報として生成することができる。かくして本発明は、簡易な構成で、特定の商品に関するユーザの関心度を計測できる関心度計測システム、関心度計測装置、関心度計測プログラムを実現できる。

第１の実施の形態における関心度計測システムの構成を示す略線図である。 処理ユニットの構成を示すブロック図である。 センサによる停止検出の説明に供する略線図である。 センサの切り替えの説明に供する略線図である。 第１の実施の形態における関心度計測処理手順を示すフローチャートである。 第２の実施の形態における関心度計測処理手順を示すフローチャートである。 第３の実施の形態における関心度計測システムの構成を示す略線図である。 情報端末の構成を示すブロック図である。 笑顔度表示画面を示す略線図である。

次に本発明を実施するための形態について図面を参照して説明する。

＜第１の実施の形態＞
［１−１．関心度計測システムの構成］
図１は全体として関心度計測システムを示しており、センサ２と処理ユニット３と撮影装置４とＰＯＳ（Point Of Sale）システム５とを有している。

センサ２は、２次元走査型の光センサであり、例えば光源を回転させることにより、光を扇型のスクリーン状に出射する。センサ２は、内部に光検出器を有しており、検出スクリーンＤＡに存在する物体によって反射されることにより変化する光量信号を処理ユニット３に供給する。

図２に示すように、処理ユニット３は、図示しないＣＰＵ（Central
Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ６１が処理ユニット３の全体を統括的に制御するようになされている。システムコントローラ６１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部６２に格納されている基本プログラムや関心度計測プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する関心度計測処理を実行するようになされている。

撮影装置４は、例えば小型のビデオカメラやＷＥＢカメラであり、撮影された動画像データを処理ユニット３に供給する。ＰＯＳシステム５は、購入した商品を商品ごとに識別可能なレジスタを有するシステムである。

図２に示すように、センサ２は、商品陳列棚８に配置され、リサーチ対象となる商品（以下、これを注目商品と呼ぶ）９の鉛直方向における同一位置が検出スクリーンＤＡに含まれるように設置される。センサ２は、好ましくは注目商品９と同一位置、特に好ましくは注目商品９の中心と同一位置に設置される。

処理ユニット３は、設置場所に制限はないが、商品陳列棚８の最奥など、目立たない場所に設置されることが好ましい。撮影装置４は、注目商品９の前に立つ顧客の顔を撮影可能な位置に設置される。

具体的に、センサ２は、通常状態において、水平方向に光を出射して、商品陳列棚８の前方に検出スクリーンＤＡを形成し、検出対象である「注目商品９の前方を通行する人物」を検出する。センサ２の検出スクリーンＤＡのサイズは、特に限定されないが、通路の幅に応じて変更されることが好ましく、例えば扇形の半径が０．５〜３．０ｍに設定される。センサ２は、光の出射方向を互いに直交する方向（水平方向及び鉛直方向）に切り替えることが可能な構成でなる。なお、以下、光の出射方向とは、検出スクリーンＤＡの中心線ＣＬに光を出射したときの方向を呼ぶ。

処理ユニット３のシステムコントローラ６１は、光量信号の変化によって人物を検出すると、光量信号の監視を継続する。システムコントローラ６１は、当該検出された人物が所定の検出時間以上に亘って検出スクリーンＤＡ内に留まったと認識すると、停止した人物（以下、これを停止人物と呼ぶ）の数をカウントする停止人物カウンタを加算すると共に、検出された時間を関連付けて記憶する。

システムコントローラ６１は、センサ２に対して切替信号を供給することにより、切替状態へ移行する。図４に示すようにセンサ２は、光の出射方向を水平方向から鉛直方向へ切り替え、商品陳列棚８の前面を覆うように検出スクリーンＤＡを形成する。そしてセンサ２は、検出対象である「注目商品９の前面を横切る手」を検出する。これにより、システムコントローラ６１は、光量信号の変化によって停止人物が注目商品９に手を伸ばしたか否かを検出することができる。

このとき、システムコントローラ６１は、検出スクリーンＤＡ内に物体が検出されたことにより、停止人物が注目商品９に手を伸ばしたと認識すると、手検出カウンタを加算すると共に、検出された時間を関連付けて記憶する。

処理ユニット３は、切替状態に移行すると同時に、撮影装置４を制御し、停止人物の撮影を開始する。処理ユニット３は、撮影装置４から動画像データが供給されると、表情情報生成処理を開始する。

具体的に、システムコントローラ６１は、例えばエッジ検出により人物の上半身に相当する形（すなわち人型）を検出すると、当該上半身の頭部について、顔の検出を行う。顔の検出は、例えば肌色・目・口などの検出により実行される。システムコントローラ６１は、上半身及び顔を検出できた場合、検出された上半身が人物であると認識し、人物数としてカウントする。

システムコントローラ６１は、検出された顔から特徴量を抽出する（以下、これを検出顔特徴量と呼ぶ）。システムコントローラ６１は、予め記憶部６２に記憶された見かけ情報データベースを読み出す。

見かけ情報データベースには、予め顔画像データから抽出された特徴量である登録顔特徴量と、見かけ年齢及び見かけ性別、並びに職業や居住地域、人種、民族などの履歴情報が関連付けられて登録されている。

検出顔特徴量と見かけ情報データベースに登録された登録顔特徴量と照合し、最も近い一の登録顔特徴量を選択する。システムコントローラ６１は、選択された登録顔特徴量に関連づけられた登録見かけ情報を検出された人物の検出見かけ年齢及び検出見かけ性別（以下、これらをまとめて検出見かけ情報と呼ぶ）として決定する。

ここで、システムコントローラ６１は、予めユーザに照合対象となる照合条件を設定させておくと共に、見かけ情報データベースに登録された履歴情報を照会し、照合条件と合致する登録顔特徴量のみ、照合対象とすることができる。

見かけ年齢は地域や職種などに応じて変化する。システムコントローラ６１は、検出される人物の撮影場所（すなわち、居住地や職業）に応じた登録顔特徴量のみを照合対象とすることができる。このため、システムコントローラ６１は、検出見かけ情報の精度を向上させることができると共に、照合対象となる登録顔特徴量の数を減少させて、照合の処理負荷を軽減できる。

システムコントローラ６１は、上半身をトラッキングすることにより、人物の同一性を確認しながら、当該人物の表情を検出する。システムコントローラ６１は、数コマごとに眉毛の角度、目尻の角度、口角の角度、目尻のしわ、歯の露出度、口の大きさなどにより、笑顔度を算出する。笑顔度は、例えば５段階、１０段階などのような複数段階に振り分けられることにより、又はパーセンテージなどによって表現される。

例えば、システムコントローラ６１は、眉毛の角度、目尻の角度、口角の角度を検出し、それぞれ重み付けをした上で平均値を算出、正規化することにより、パーセンテージによって笑顔度を算出する。

システムコントローラ６１は、各人物における笑顔度の平均値（以下、これを笑顔平均値と呼ぶ）を算出すると共に、笑顔平均値が所定の閾値以上であるか否かによって、当該人物が笑顔であったか否かについて判別する。そして、システムコントローラ６１は、人物の顔が検出された時間、検出見かけ情報、並びに笑顔度合いである「笑顔の有無」を関連づけて記憶する。

このように、処理ユニット３は、表情情報生成処理により、撮影した動画像データから人物数をカウントすると共に、人物の検出見かけ情報、並びに笑顔の有無を関連づけて記憶するようになされている。

そして、システムコントローラ６１は、切替状態に移行してから待機時間だけ経過すると、通常状態へ移行し、水平方向に光を出射する。なお、システムコントローラ６１は、待機時間中に複数の手を検出した場合であっても、手検出カウンタを「１」だけ加算する。これにより、システムコントローラ６１は、停止人物と注目商品９に対して手を伸ばした人物数との関係をより正確に検出することができる。

この結果、記憶部６２には、停止人物数及び停止人物が検出された時刻、検出された手の数及び手が検出された時刻に加えて、表情情報生成処理において生成された人物数、人物の検出見かけ情報、並びに笑顔の有無が記憶されている。

一方、ＰＯＳシステム５には、商品ごとに購入数及び購入時刻（以下、これを購入情報と呼ぶ）が記録されている。

処理ユニット３は、ＰＯＳシステム５から定期的に（例えば１時間ごと）に商品情報要求信号を送出する。この結果、処理ユニット３には、注目商品９についての購入情報を取得することができる。

処理ユニット３は、ユーザの要求に応じて、特定の時間ごとに停止人数、検出された手の数、検出見かけ情報、笑顔の有無及び購入情報を統計し、一覧表やグラフでなる画面データを生成する。この結果、図示しない表示部には、特定の時間ごとの停止人数、検出された手の数、検出見かけ情報、笑顔の有無及び購入情報が表示される。

これにより、処理ユニット３は、注目商品９に対する消費者の関心度や、注目商品９を手に取ったときの消費者の表情、さらには実際の購入数などの統計的なマーケティング情報を生成し、ユーザに供給することができる。

以上の構成によれば、処理ユニット３は、センサ２に対して水平方向に光を出射させて停止人物を検出した後、センサ２に対して鉛直方向に光を出射させて手の検出を行うようにした。これにより、処理ユニット３は、停止人物と注目商品９に対して手を伸ばした人物数との関係をマーケティング情報として取得することができる。

［１−２．関心度計測処理手順］
次に、関心度計測プログラムに従って実行される関心度計測処理について、図５に示すフローチャートを用いて説明する。

処理ユニット３は、例えば電源が入れられることにより、ユーザの操作に応じて、関心度計測プログラムを起動する。このとき、コンピュータ３は、関心度計測処理手順ＲＴ１を開始し、次のステップＳＰ１へ移る。

ステップＳＰ１において、処理ユニット３は、注目商品９の水平方向前側一帯において、通過する人物の検出を行うと、次のステップＳＰ２へ移る。

ステップＳＰ２において、処理ユニット３は、ステップＳＰ２において検出された人物が、検出時間以上に亘って検出スクリーンＤＡ内に留まったことにより、停止したか否かについて判別する。

ここで否定結果が得られた場合、このことは人物がただ単に通り過ぎたことを意味しており、このとき、処理ユニット３は、ステップＳＰ１へ戻って処理を継続する。

これに対して、ステップＳＰ２において、肯定結果が得られた場合、このことは、人物が注目商品９の前で停止し、注目商品９に興味を持ったことを表しており、このとき処理ユニット３は、次のステップＳＰ３へ移る。

ステップＳＰ３において、処理ユニット３は、停止人物カウンタを「１」加算すると、次のステップＳＰ４へ移る。

ステップＳＰ４において、処理ユニット３は、通常状態から切替状態へ移行し、センサ２の検出対象を商品陳列棚８の前方の「人物」から商品陳列棚８の前面を横切る「手」へと切り替え、次のステップＳＰ５へ移る。

ステップＳＰ５において、処理ユニット３は、表情情報生成処理を開始し、次のステップＳＰ６へ移る。

ステップＳＰ６において、処理ユニット３は、商品陳列棚８の前面を横切る手を検出したか否かを判別する。

ここで肯定結果が得られた場合、このことは、ステップＳＰ２において停止した停止人物が注目商品９を手に取ったことを表しており、このとき、処理ユニット３は、次のステップＳＰ７へ移る。

ステップＳＰ７において、処理ユニット３は、手検出カウンタを「１」加算すると、次のステップＳＰ８へ移る。

ステップＳＰ８において、処理ユニット３は、待機時間が経過するのを待ち受けると、次のステップＳＰ９へ移る。

これに対して、ステップＳＰ６において、否定結果が得られた場合、処理ユニット３は、次のステップＳＰ１１へ移る。

ステップＳＰ１１において、処理ユニット３は、待機時間が経過したか否かについて判別し、否定結果が得られた場合、ステップＳＰ６へ戻って手の検出を継続する。

これに対して、ステップＳＰ１１において肯定結果が得られると、処理ユニット３は、次のステップＳＰ９へ移る。

ステップＳＰ９において、処理ユニット３は、切替状態から通常状態へ移行し、センサ２の検出対象を商品陳列棚８の前面を横切る「手」から商品陳列棚８の前方の「人物」へと切り替えると共に、表情情報生成処理を終了し、次のステップＳＰ１２へ移る。

ステップＳＰ１２において、処理ユニット３は、ユーザの操作に応じて、処理の終了が要求されたか否かについて判別し、否定結果が得られた場合には、ステップＳＰ１へ戻り、関心度計測処理を継続する。

これに対して、ステップＳＰ１２において、肯定結果が得られた場合、処理ユニット３は、終了ステップへ移って処理を終了する。

［１−３．動作及び効果］
以上の構成によれば、関心度計測システム１は、停止した人物である停止人物を検出する第１の検出手段及び人物の手を検出する第２の検出手段としてのセンサ２と、停止人物及び当該停止人物が検出された時刻、並びに手の数及び検出された時刻を記憶し、センサ２を制御し、特定の時間ごとに、停止人物数及び手の数を統計する処理ユニット３とを有するようにした。

これにより、関心度計測システム１は、簡易な構成で、注目商品９に関心を示し、当該注目商品９の前方で停止した停止人物と、注目商品９に対して手を伸ばした人物の数を時間ごとに統計できるため、有用なマーケティング情報を生成できる。

システムコントローラ６１は、通常状態において停止人物が検出されると、切替状態へ遷移し、人物の手の検出の有無を検出するよう、センサ２を切り替える。

これにより、システムコントローラ６１は、注目商品９の前に停止した後にのみ手の検出を行うため、常に停止人物及び手の数を検出する場合と比較して、センサの稼働率を低下させて老朽化を防止することができる。また、通常、人物は注目商品９の前で停止してから注目商品９を手に取るため、一つのセンサ２のみを切り替えて使用した場合でも殆どの停止人物及び手の数について検出することが可能である。

関心度計測システム１は、商品ごとに購入数及び時間を管理するＰＯＳシステム５をさらに有し、システムコントローラ６１は、特定の商品に関する購入数及び時刻をＰＯＳシステム５から取得する。

これにより、関心度計測システム１は、注目商品９の前で停止した人物数及び注目商品９を手に取った人の数だけでなく、注目商品９を実際に購入した人物の数を取得することができ、マーケティング情報として一段と有用な情報を生成することができる。

関心度計測システム１は、人物の顔を含む動画像データを取得する撮影装置４をさらに有し、システムコントローラ６１は、センサ２によって停止した停止人物が検出されると、撮影装置４を制御し、当該撮影装置４から動画像データを取得する。

これにより、関心度計測システム１は、停止人物に関してのみ撮影を行うため、実際に顧客の顔が撮影されている可能性の高い動画像データのみを効率よく取得可能である。

システムコントローラ６１は、見かけ情報データベースを用いることにより、動画像データから、撮影された人物の年齢及び性別を判別する。

これにより、関心度計測システム１は、注目商品９の前で停止した人物数及び注目商品９を手に取った人の数だけでなく、停止人物の年齢及び性別に関する情報を生成することができ、マーケティング情報として一段と有用な情報を生成することができる。

システムコントローラ６１は、動画像データから、撮影された人物の表情である笑顔度合いを判別する。

これにより、関心度計測システム１は、注目商品９の前で停止した人物数及び注目商品９を手に取った人の数だけでなく、停止人物の表情に関する情報を生成することができ、マーケティング情報として一段と有用な情報を生成することができる。

関心度計測装置としての処理ユニット３は、停止した人物である停止人物を検出するセンサ２から第１の検出情報を取得し、人物の手を検出するセンサ２から第２の検出情報を取得する第１及び第２の検出情報取得手段としての外部インターフェース６３と、停止人物及び当該停止人物が検出された時刻、並びに手の数及び検出された時刻を記憶する記憶部６２、センサ２を制御し、特定の時間ごとに、停止人物数及び手の数を統計するシステムコントローラ６１とを有するようにした。

これにより、処理ユニット３は、センサ２から取得した第１及び第２の検出情報である光量信号の変化を基に、注目商品９の前で停止した人物数及び注目商品９を手に取った人の数を検出することができ、有用なマーケティング情報を生成することができる。

＜第２の実施の形態＞
図６に示す第２の実施の形態においては、図１〜図５に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、２台のセンサ１０２（１０２Ａ及び１０２Ｂ）を使用して、常時停止人物及び手の検出を行う点が第１の実施の形態と異なっている。

［２−１．関心度計測システムの構成］
センサ１０２は、例えば２ｍ×３ｍの矩形上の検出スクリーンＤＡを有している。センサ１０２Ａは、商品陳列棚８に対して水平方向前側に検出スクリーンＤＡを形成するように配置される。一方、センサ１０２Ｂは、商品陳列棚８の前面を覆うように検出スクリーンＤＡを形成する。センサ１０２Ａ及び１０２Ｂは、いずれも処理ユニットに接続されている。

処理ユニット１０３は、センサ１０２Ａ及び１０２Ｂから供給される光量信号を監視し、停止人物及び手の有無を監視する。

処理ユニット１０３は、停止人物を検出すると、停止人物カウンタを加算する。このとき、処理ユニット１０３は、所定の連動時間内に、手が検出されるか否かを監視する。

処理ユニット１０３は、連動時間内に手が検出された場合には、手検出カウンタを加算すると共に、連動カウンタを加算する。

同様に、処理ユニット１０３は、手を検出すると、手検出カウンタを加算する。このとき、処理ユニット１０３は、所定の連動時間内に、停止人物が検出されるか否かを監視する。

処理ユニット１０３は、連動時間内に停止人物が検出された場合には、停止人物カウンタを加算すると共に、連動カウンタを加算する。

ここで、例えば消費者が立ち止まっただけの場合には、停止人物カウンタのみが加算される。一方、消費者が注目商品９を注視せず、歩行しながら注目商品９を手にとった場合には、手検出カウンタのみが加算される。また、消費者が立ち止まってから注目商品９を手に取った場合には、停止人物カウンタ、手検出カウンタ及び連動カウンタが加算される。

すなわち、処理ユニット１０３は、所定の連動時間内に検出された停止人物及び手が同一人物であることを認識することにより、消費者の行動を一段と明確に把握することが可能となる。

このように、関心度計測システム１０１では、２方向のセンサ１０２Ａ及び１０２Ｂを用いて、常時停止人物及び手の有無を検出することにより、歩行しながら注目商品９を手にとった消費者の情報を得ることができる。このため、第１の実施の形態と比較して、消費者の行動を一段と明確に把握できる。

［２−２．関心度計測処理手順］
次に、関心度計測プログラムに従って実行される関心度計測処理について、図６に示すフローチャートを用いて説明する。

処理ユニット１０３は、例えば電源が入れられることにより、ユーザの操作に応じて、関心度計測プログラムを起動する。このとき、コンピュータ３は、関心度計測処理手順ＲＴ２を開始し、次のステップＳＰ２１へ移る。

ステップＳＰ２１において、処理ユニット１０３は、停止人物又は手が検出されると、次のステップＳＰ２２へ移る。

ステップＳＰ２２において、処理ユニット１０３は、ステップＳＰ２１において検出された検出対象に応じて、停止人物カウンタ又は手検出カウンタを「１」加算すると、次のステップＳＰ２２へ移る。

ステップＳＰ２３において、処理ユニット１０３は、連動時間が経過したか否かについて判別する。ここで否定結果が得られた場合、処理ユニット１０３は、次のステップＳＰ２４へ移る。

ステップＳＰ２４において、処理ユニット１０３は、ステップＳＰ２１において検出された検出対象に応じて、手又は停止人物が検出されたか否かについて判別する。ここで否定結果が得られた場合、処理ユニット１０３は、ステップＳＰ２３へ戻り、連動時間が経過するまで手又は停止人物の検出の有無を監視する。

これに対して、ステップＳＰ２４において肯定結果が得られた場合、処理ユニット１０３は、検出された検出対象に応じて、手検出カウンタ又は停止人物カウンタを「１」加算し、次のステップＳＰ２６へ移る。

ステップＳＰ２６において、処理ユニット１０３は、連動カウンタを「１」加算すると、ステップＳＰ２３へ戻り、連動時間が経過するまで手又は停止人物の検出の有無を監視する。

ステップＳＰ２７において、処理ユニット１０３は、ユーザの操作に応じて、処理の終了が要求されたか否かについて判別し、否定結果が得られた場合には、ステップＳＰ２１へ戻り、関心度計測処理を継続する。

これに対して、ステップＳＰ２７において、肯定結果が得られた場合、処理ユニット１０３は、終了ステップへ移って処理を終了する。

［２−３．動作及び効果］
以上の構成によれば、関心度計測システム１０１の第１及び第２の検出手段であるセンサ１０２Ａ及び１０２Ｂが、連動時間内に停止人物及び人物の手を検出すると、当該停止人物及び人物の手が同一人物であると認識するようにした。

これにより、関心度計測システム１０１は、停止したけど注目商品９を手に取らなかった人物、停止して注目商品９を手に取った人物、停止せずに注目商品９を手に取った人物について統計することができる。この結果、関心度計測システム１０１は、顧客の注目商品９に対する関心度について、一段と詳細な情報を生成することができる。

＜第３の実施の形態＞
図７に示す第２の実施の形態においては、図１〜図５に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第３の実施の形態では、複数の処理ユニット２０３及びＰＯＳシステム５が、情報端末２１０と共にネットワーク２１１に接続されている点と、情報端末２１０が表示情報生成処理を実行する点が第１の実施の形態と異なっている。

第３の実施の形態では、注目商品９のキャンペーンが行われている複数の店舗において、それぞれセンサ２、撮影装置４及び処理ユニット２０３が設置され、当該キャンペーンを統括する担当者の手元に情報端末２１０がある場合について説明する。

［３−１．関心度計測システムの構成］
図７において、２０１は関心度計測システムを示しており、３台の処理ユニット２０３が無線又は有線を介してインターネットなどのネットワーク２２０に接続されている。各処理ユニット２０３には、それぞれセンサ２及び撮影装置４が接続されており、各処理ユニット２０３が第１の実施の形態と同様の関心度計測処理を実行するようになされている。

また、パーソナルコンピュータやタブレット端末などの情報端末２１０が、無線又は有線を介してネットワーク２２０に接続されている。

情報端末２１０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access
Memory）から構成されるシステムコントローラ２１１が情報端末２１０の全体を統括的に制御するようになされている。システムコントローラ２１１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部６２に格納されている基本プログラムや関心度計測処理等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する表情情報生成処理を実行するようになされている。

この情報端末２１０は、タッチパネルなどでなる操作部２１４の操作によりユーザから各種要求がなされた場合、当該操作部２１４からの要求信号をシステムコントローラ２１１へ供給するようになされている。また、システムコントローラ２１１は、各種プログラムに基づいて表示用の画面データを生成し、表示部２１５に供給することにより、表示部２１５に種々の画面を表示させるようになされている。

例えば、表情情報生成プログラムの起動要求を表す操作信号が操作部２１４から供給されると、システムコントローラ２１１は、表情情報生成処理を実行する。

情報端末２１０は、処理ユニット２０３から、リアルタイムで停止人数、検出された手の数を取得する。また、情報端末２１０は、処理ユニット２０３を介して撮影装置４によって撮影された動画像データを取得し、第１の実施の形態と同様にして表示情報生成処理を実行する。

システムコントローラ２１１は、笑顔度を算出すると、表示用の画面データの生成を実行する。

システムコントローラ２１１は、例えば、検出された人物の顔を枠で囲むと共に、コマごとに検出された笑顔度を数値及びグラフで枠の隣に笑顔度表示として表示するよう、検出画像データを生成し、これを動画像データに重畳して表示用の画面データを生成する。

ここで、システムコントローラ２１１は、検出見かけ年齢及び検出見かけ性別をグループ分けし、色分けした検出画像データを生成しても良い。例えば、２０歳代男性、２０歳代女性、３０歳代男性、３０歳代女性、４０歳代男性、４０歳代女性、５０歳以上男性、５０歳以上女性というように、グループ化することができる。このグループ分けは、マーケティング情報としての有用性に応じて適宜行われることが好ましい。

色分けは、例えば男性を青系、女性を赤系というように系統立てて行うことにより、人物のグループを認識させやすくなり、好ましい。また、マーケティング情報として重要なグループのみ特定の配色を行うことにより、重要なグループに属する人物のみを浮き立たせて表示することができる。

この結果、表示部２１５には、図９に示すように、人物の顔として検出されたことを表す枠２７１及び当該検出された人物の笑顔度を表す笑顔度表示２７２が表示される。これにより、担当者はリアルタイムで顧客の満足度を知ることが可能となる。

また、システムコントローラ２１１は、複数の動画像データを同時に取得した場合には、
笑顔度表示画面を縮小し、表示部２１５の表示領域を分割して同時表示することができる。これにより、担当者は、キャンペーン中の注目商品９に対して、リアルタイムで消費者の反応を視認することが可能となる。

さらに、システムコントローラ２１１は、ユーザの操作に応じて、現在の統計データの取得要求がなされると、要求信号を処理ユニット３へ供給する。処理ユニット３のシステムコントローラ６１は、要求に応じた時間帯における停止人数、検出された手の数、検出見かけ情報、笑顔の有無及び購入情報を情報端末２１０へ供給する。

情報端末２１０のシステムコントローラ２１１は、処理ユニット３から供給された情報に基づいて、グラフや一覧表示でなる画面データを生成し、表示部２１５に表示させる。これにより、情報端末２１０は、離れた場所にある注目商品９に対する顧客の反応をリアルタイムで確認することができる。

［３−２．動作及び効果］
以上の構成によれば、関心度計測システム２０１は、複数の撮影装置４によって撮影した動画像データを、ネットワーク２２０を介して情報端末２１０に供給し、人物の顔画像データから生成した枠２７１及び笑顔度表示２７２と共に、情報端末２１０の表示部２１５に表示させるようにした。

これにより、関心度計測システム２０１では、停止人物の表情や笑顔度をリアルタイムでキャンペーンの担当者などのユーザに視認させることができる。

また、関心度計測システム２０１では、複数の動画像データを同時に取得した場合には、
笑顔度表示画面を縮小し、表示部２１５の表示領域を分割して同時表示するようにした。

これにより、関心度計測システム２０１では、複数の撮影装置４から取得した複数の動画像データに基づく笑顔度表示画面をユーザに対して一度に視認させることができ、ユーザの利便性を向上させ得る。

さらに、関心度計測システム２０１では、情報端末２１０が表情情報処理を実行するようにした。これにより、配置スペースに限りがある処理ユニット３の処理負荷を軽減できるため、処理ユニット３の構成を簡易にでき、小型化が容易となる。

＜他の実施の形態＞
なお上述した第１〜３の実施の形態において、検出スクリーンＤＡの全範囲を検出範囲とするようにした場合について述べた。本発明はこれに限らず、例えば注目商品９の前面の範囲のみから人物の手を検出するようにしても良い。この場合、処理ユニット３のシステムコントローラ６１は、光量信号の変化から手が検出された位置を特定し、当該手が検出範囲に位置していた場合のみ、手検出カウンタを加算する。

また上述した第１〜第３の実施の形態において、システムコントローラは、停止人物カウンタ、手検出カウンタ及び連動カウンタを有するようにした場合について述べた。本発明はこれに限らず、例えば検出時刻をそれぞれ登録し、登録された検出時刻数から停止人物数、手の数、及び連動数を算出するようにしても良い。この場合、連動時間内に検出対象が検出されると、検出時刻に対して連動している（同一人物である）ことを表すフラグを立てても良い。

さらに上述した第１〜第３の実施の形態において、システムコントローラは、停止時間に亘って検出スクリーンＤＡに人物が留まった場合に停止人物を検出するようにした場合について述べた。本発明はこれに限らず、例えば、同一位置における人物の検出により、停止人物を検出するようにしても良い。

さらに上述した第１〜第３の実施の形態において、センサ２は、光を使った測域センサであるようにした場合について述べた。本発明はこれに限らず、例えば、超音波などを使用したセンサを使用するようにしても良い。

さらに上述した第１〜第３の実施の形態において、停止人物の表情として笑顔の有無を判別するようにした場合について述べた。本発明はこれに限らず、例えば、表情として喜怒哀楽を判別するようにしても良い。

さらに上述した第１〜第３の実施の形態において、センサ２は、水平方向と鉛直方向に光を出射するようにした場合について述べた。本発明はこれに限らず、例えば、水平方向や鉛直方向から傾斜を設けて光を出射するようにしても良い。また、センサ２を注目商品９の真下や真上あたりに設置し、人物の腰位置あたりを検出することもできる。

さらに上述した第１〜第３の実施の形態において、関心度計測システム１、１０１及び２０１でなるようにした場合について述べた。本発明はこれに限らず、関心度計測システム１、１０１及び２０１の構成を適宜組み合わせることが可能である。例えば、第１及び第２の実施の形態においても、外部の情報端末が表情情報生成処理を実行しても良い。また、第１及び第２の実施の形態において処理ユニットがネットワークに接続されていても良い。第３の実施の形態において、第２の実施の形態のように２つのセンサを用いても良い。

さらに上述した第１〜第３の実施の形態において、処理ユニットがＰＯＳシステム５から購入情報を取得するようにした場合について述べたが、本発明はこれに限らず、ＰＯＳシステムは必ずしも必要でない。

さらに上述した第１〜第３の実施の形態において、撮影装置４によって停止人物を撮影するようにした場合について述べたが、本発明はこれに限らず、撮影装置４は必ずしも必要ではない。また、処理ユニットは、必ずしも人物の年齢・性別・表情を判別する必要はなく、必要性に応じて適宜判別する項目を選択することができる。また、必ずしも見かけデータベースを用いる必要はなく、実年齢・実性別に基づくデータベースにより、実年齢・実性別を判別しても良い。

さらに上述した第１〜第３の実施の携帯の表情情報生成処理においては、人型及び顔を検出すると人物であると認識するようにした場合について述べた。本発明はこれに限らず、例えばコンピュータは、人型の検出のみにより人数をカウントしたり、顔の検出や、表情の検出に応じて人数をカウントしても良い。

さらに上述した第１〜第３の実施の携帯の表情情報生成処理においては、人型を検出するようにした場合について述べた。本発明はこれに限らず、コンピュータは、必ずしも人型を検出する必要はない。例えば顔の検出により人数をカウントし、そのまま表情を検出するようにしても良い。

さらに上述した第１〜第３の実施の形態の表情情報生成処理において、コンピュータは、検出顔特徴量との一致率が最も高い登録顔特徴量を選択し、当該登録顔特徴量に関連付けられた見かけ年齢及び性別を検出顔特徴量の基となる人物の見かけ年齢及び性別とした場合について述べた。本発明はこれに限らず、例えば、登録顔特徴量を基に、年齢及び性別ごとにモデル特徴量を作成しておき、一致率が最も高いモデル特徴量に関連付けられた見かけ年齢及び性別を検出顔特徴量の基となる人物の見かけ年齢及び性別としても良い。このモデル特徴量は、見かけ年齢及び性別ごとに１つのみ作成されても良く、２以上作成されてもよい。

さらに、上述した第１〜第３の実施の携帯においては、処理ユニット又は処理ユニット及び情報端末２１０が関心度計測処理を実行するようにした場合について述べた。本発明はこれに限らず、クラウドシステムを利用しても良い。

すなわち、処理ユニットは、検出した検出情報（停止人物の数及び時間、並びに手及び時間）及び撮影された動画像データをサーバに供給する。サーバは、これらの検出情報及び動画像データを基に、関心度計測処理を実行し、検出情報及びサーバの記憶装置に検出見かけ情報、笑顔の有無及び購入情報を記憶する。そしてユーザの操作に応じて処理ユニット又は情報端末から要求信号が供給されると、サーバは、要求に応じた画面データを生成し、処理ユニット又は情報端末へ供給する。

これにより、処理ユニットは、検出情報の検出及び当該検出情報のサーバへの供給のみを行えば良い。このため、処理ユニットとして、非常に簡素なものを使用することができる。情報端末についても同様である。

さらに、上述した第１〜第３の実施の形態においては、関心度計測プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納した場合について述べた。本発明はこれに限らず、メモリカードなどの外部記憶媒体からコンピュータ内部のフラッシュメモリやハードディスクドライブなどにインストールするようにしても良い。また、データベース作成プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute
of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local
Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述した第１の実施の形態のデータベース作成処理においては、第１及び第２の検出手段としてのセンサ２と、制御手段、記憶手段及び統計手段としての処理ユニット３とによって本発明の関心度計測システムとして関心度計測システム１を構成するようにした場合について述べた。本発明はこれに限らず、種々の構成による第１の検出手段、第２の検出手段、制御手段、記憶手段及び統計手段によって本発明の関心度計測システムを構成するようにしても良い。

本発明は、例えばマーケティング情報を取得するためのプログラムに適用することができる。

１・・・・・・関心度計測システム
２・・・・・・センサ
３・・・・・・処理ユニット
５・・・・・・ＰＯＳシステム
６１・・・・・・システムコントローラ
６２・・・・・・記憶部
６３・・・・・・外部インターフェース

Claims (9)

1. 停止した人物である停止人物を検出する第１の検出手段と
   人物の手を検出する第２の検出手段と、
   前記第１及び第２の検出手段を制御する制御手段と、
   前記停止人物及び当該停止人物が検出された時刻、並びに前記手の数及び検出された時刻を記憶する記憶手段と、
   特定の時間ごとに、前記停止人物数及び前記手の数を統計する統計手段と
   を有することを特徴とする関心度計測システム。
2. 前記制御手段は、
   前記第１の検出手段によって前記停止人物が検出されると、第２の検出手段によって人物の手の検出の有無を検出するよう、第１及び第２の検出手段を切り替える
   を有することを特徴とする請求項１記載の関心度計測システム。
3. 商品ごとに購入数及び時刻を管理するＰＯＳ（Point Of Sale）システムをさらに有し、
   前記制御手段は、
   特定の商品に関する購入数及び時刻を前記ＰＯＳシステムから取得する
   ことを特徴とする請求項１記載の関心度計測システム。
4. 人物の顔を含む動画像データを取得する撮影装置をさらに有し、
   前記制御手段は、
   前記第１の検出手段によって停止した停止人物が検出されると、前記撮影装置を制御し、当該撮影装置から動画像データを取得する
   ことを特徴とする請求項２記載の関心度計測システム。
5. 前記制御手段は、
   前記動画像データから、撮影された人物の年齢及び性別を判別する
   を有することを特徴とする請求項４に記載の関心度計測システム。
6. 前記制御手段は、
   前記動画像データから、撮影された人物の表情を判別する
   を有することを特徴とする請求項４に記載の関心度計測システム。
7. 第１及び第２の検出手段が、連動時間内に前記停止人物及び前記人物の手を検出すると、当該停止人物及び人物の手が同一人物であると認識する
   ことを特徴とする請求項１記載の関心度計測システム。
8. 停止した人物である停止人物を検出する第１の検出手段から第１の検出情報を取得する第１の検出情報取得手段と、
   人物の手を検出する第２の検出手段から第２の検出情報を取得する第２の検出情報取得手段と、
   前記第１及び第２の検出手段を制御する制御手段と、
   前記停止人物及び当該停止人物が検出された時刻、並びに前記手の数及び検出された時刻を記憶する記憶手段と、
   特定の時間ごとに、前記停止人物数及び前記手の数を統計する統計手段と
   ことを特徴とする関心度計測装置。
9. 停止した人物である停止人物を検出する第１の検出ステップから第１の検出情報を取得する第１の検出情報取得ステップと、
   人物の手を検出する第２の検出ステップから第２の検出情報を取得する第２の検出情報取得ステップと、
   前記停止人物及び当該停止人物が検出された時刻、並びに前記手の数及び検出された時刻を記憶する記憶ステップと、
   特定の時間ごとに、前記停止人物数及び前記手の数を統計する統計ステップと
   を有することを特徴とする関心度計測プログラム。
   
   

Images