JP2021131786A - 顧客情報収集端末、顧客情報収集システム及び顧客情報収集方法 - Google Patents

Abstract

【課題】販売店での顧客の行動を詳細に把握し、顧客の動向を惹きつけるような映像や音声を適時に提供する顧客情報収集端末、顧客情報収集システム及び顧客情報収集方法を提供する。【解決手段】顧客情報収集端末は、店舗に設置された商品棚の商品と隣接して配置され、商品棚前方を回遊する顧客の動向を捕捉することで顧客情報を収集する。顧客情報収集端末は、撮像部の映像及び／又は赤外線センサーの赤外線量の変化により捕捉された顧客の動向に基づいて、映像表示部及び／又は音声出力部により顧客に対してコンテンツを提供する制御手段と、映像表示部及び音声出力部により提供するコンテンツを記憶する記憶手段とを有する。制御手段は、赤外線センサーの計測結果に基づいて、顧客に提供するコンテンツを決定する。【選択図】図３

Description

本発明は、顧客に商品もしくはサービス（以降、商品等）を提供する店舗の商品棚前通路における顧客の属性（性別や年齢層など）と顧客が提供された商品等に対して下した購入・非購入の判断およびその時の顧客の判断理由や関心事等の顧客情報を、顧客に提供する映像や音声といったコンテンツを媒体として顧客情報収集端末に接続されたカメラ、マイク等の入力機器により入手した顧客の行動情報から推定し、必要に応じてその顧客の行動情報を複数の店舗より収集し、顧客のその商品等に対する関心や購入判断を推定し、その商品等の商品戦略、販売戦略等に生かすための、顧客情報収集端末、顧客情報収集システムおよび顧客情報収集方法に関するものであり、特に、顧客に対して効果的なコンテンツの提供のための仕組みに関する。

店舗において販売する商品等について、商品等の企画からその商品等の販売戦略、そしてブランド戦略を策定する上で、顧客がその商品等に対しどのような理由で購入・非購入を決定するか、そして、例え非購入の場合でもどのような商品等の特徴や仕様に対して興味を示したか等の顧客が有する顧客のその商品等に対する顧客情報は、その商品等を製造・販売する事業者にとって非常に重要な情報である。それは、そのような顧客情報が商品等を事業展開する事業者が市場の動向を知り、現在販売している商品等のより効率的な販売戦略を立案したり、また、次期商品等を企画したりする上で必須な情報であり、さらには、その商品等を販売する事業主のブランドをより高めそしてより強固にするためにも、大変重要な情報である。

このような顧客情報を得るのに、商品等にアンケートを同封しその回答を顧客に求める仕組みが通例である。このアンケートによる顧客情報を入手する方法では、購入した顧客が有する顧客情報を入手することは出来るものの、購入しなかった顧客がなぜ購入しなかったか、という理由等の顧客情報は知ることが困難であった。

また、顧客がアンケートに回答するために、顧客の余計な時間を必要とするため顧客から回答を得る割合が小さくなったり、また、例え回答が得られても、顧客が本当の気持ちをアンケートに回答しない可能性があり、信頼性の高い顧客情報にはなり得なかった。

また、購入しなかった顧客がなぜ購入しないかを知ろうとして、顧客の店舗における行動を販売店の店員が観察して、なぜ顧客がその商品等を購入しないか推定することも行われてきたが、この推定は店員の個性に依存し、信頼性の高い顧客判断関心情報にはなり得なかった。また情報の量を増やすには大勢の人間を動員する必要があり、高額の費用がかかるという問題があった。

近年、これらの要求を満たすために、コンピュータおよび各種入力機器を用いて、店舗に来店した顧客の属性を入手したり、顧客の行動パターンを入手したり、さらに顧客のより詳細な行動を分析して、商品等の被注目度に着目する等の店舗における顧客の行動データを効率的に入手しようとするいくつかの試みが行われている。

第１の試みは、購入データが直接得られるＰＯＳレジスタのところで、カメラを設置し購入顧客の属性を得て、商品の顧客情報を自動に得ようとする方法である（特許文献１）。

例えば、特許文献１によれば、商品の販売時情報を取得可能なＰＯＳレジスタと、商品購入時の顧客の姿をカメラによって撮影することにより、どのような顧客がその商品を購入したかデータ化する。この際、顧客の属性を判断するのに顧客のプライバーシー侵害にならないような各種処理が撮影された映像に加えられる。このシステムによって、従来人が行っていた、どのような顧客がどのような商品を購入したかという、顧客リストのデータ化には大きな進展が得られた。

しかし、このシステムでは、購入した顧客の属性からなるデータは得ることができるが、購入しなかった顧客に関するデータを得ることが出来ない。例えば、購入しなかった顧客がどの位存在していたか、その理由が何であったかを知ることは出来ない。

また、購入した顧客がどの程度購入決断に迷ったか、またどのような仕様に注目して購入を決めたか、などのより詳細な顧客情報に関するデータは得られない、という課題が存在していた。

次の試みは、商品を販売する店舗内の通路や商品の前の場所における顧客の行動をカメラ等で撮影して、この映像情報から顧客のトラッキングデータを得て、これらのデータから、その商品の店舗における販売促進に活用しようとするものである（特許文献２）。

例えば、特許文献２によれば、商品棚前通路に顧客の行動を撮影するカメラが設置され、商品にはＩＣタグが付され、店舗に設置されたＩＣタグ読取端末が設置されている。これらの機器によって顧客の店舗内における行動、商品棚における行動、商品を携帯しての顧客の移動、に関するデータ収集可能とした。また、商品棚に設置された顧客情報収集から商品の広告を流すことにより販売促進をすることを可能にした。

このシステムは、商品を購入しなかった顧客を把握することが可能となり、従来よりはより詳細な顧客の商品に対する判断情報が得られるようになった。

しかし、より質の高い情報である、顧客がその商品に対してなぜ購入の判断をしたのか、もしくは非購入の判断をしたのか、また、顧客がその商品のどのような仕様や特徴に興味を有したのか、またどのような仕様や特徴が気に入らなかったのか、等のより質の高い顧客情報に関するデータは得られない、という課題が存在していた。

更なる試みは、商品を販売する店舗内の通路や商品の前の場所における顧客の行動をカメラやセンサーで捉えるとともに、商品に隣接して設置された顧客情報収集装置から映像や音声を提供して、顧客のその商品等に対する関心や購入判断を推定しようとするものである（特許文献３）。

このシステムは、顧客の店舗前や店舗内の商品フィールドにおける行動をカメラ等で撮影して、この映像情報から顧客の滞留時間を含むトラッキングデータを得て、これらのデータから、その商品の店舗における販売促進に活用しようとするシステムでは得られなかった、より質の高い情報である、顧客がその商品等に対してなぜ購入判断したのか、もしくは非購入の判断をしたのか、また、顧客がその商品のどのような仕様や特徴に興味を有したのか、またどのような仕様や特徴が気に入らなかったのか、等のより質の高い顧客の判断関心情報を得ることが出来る。

特許第４２３００４９号公報 特開２０１４−５６３５６号公報 特開２０１７−３３４０１号公報

しかしながら、特許文献３に記載のシステムは、第一次的に顧客の行動をカメラで捕捉するとともに、商品情報に関する映像や音声を提供するものであり、顧客の行動を惹きつけるような映像や音声の提供や提供のタイミングを適時に行うことまでは思料されていない。

また、解決しようとする課題として、商品等にアンケートを入れる方法では商品等を購入しなかった顧客の情報が得られない、店舗の店員の観察では購入しなかった顧客の情報の信頼性が低い、カメラから得た顧客の単なる行動からでは顧客が有する関心や要求をより正確に知ることが出来ない、というものであったし、単に店頭に設置したカメラやその他の入力情報からでは、顧客の通過行為は把握できても、展示されている商品等に対してどの程度理解できているか、そしてその情報に基づき購入したいと考えているかどうか確認できない点である。そして、これらの情報がないと、顧客が求める機能、仕様、価格等、生産業者が商品企画をする上で真に知りたい情報を得ることができなかった。

本発明は、このような課題を解決するためになされたものであり、その目的は、販売店での顧客の行動を詳細に把握し、この行動から顧客がどのように考えて商品等の購入や非購入の判断をしたか等のより詳細な顧客情報を信頼性高く入手でき、そのために顧客の動向を惹きつけるような映像や音声を適時に提供するものである。

上記課題を解決するために、本発明に係る顧客情報収集端末およびこれを用いた顧客情報収集システムおよび顧客情報収集方法は、以下のものを提供する。

（１） 店舗に設置された商品棚の商品と隣接して配置され、商品棚前方を回遊する顧客の動向を（コンテンツの視聴によって）捕捉することで顧客情報を収集可能な顧客情報収集端末であって、コンテンツとして顧客に提供する映像を出力する映像表示部と、コンテンツとして顧客に提供する音声を出力する音声出力部と、顧客を撮像して映像を取り込む撮像部と、赤外線量の物理的変化を計測する赤外線センサーと、を備え、前記撮像部の映像及び／又は前記赤外線センサーの赤外線量の変化により捕捉された顧客の動向に基づいて、前記映像表示部及び／又は前記音声出力部により顧客に対して前記コンテンツを提供する制御手段と、前記映像表示部及び前記音声出力部により提供する前記コンテンツを記憶する記憶手段と、を有する顧客情報収集端末において、前記制御手段は、前記赤外線センサーの計測結果に基づいて、顧客に提供する前記コンテンツを決定することを特徴とする顧客情報収集端末。

本発明によれば、赤外線センサーの計測結果に基づいて、顧客に映像や音声といったコンテンツを提供することから、その計測結果に基づく効果的なコンテンツの提供によって、顧客の動向を惹きつけることを可能にする。赤外線センサーの計測は、顧客の通行や立ち止まりや接近などによる周辺環境の変化を捉えることで単位時間当たりの赤外線の受光量が減少し、赤外線センサーによる受光量の増減によって制御手段は好適なコンテンツを提供する。

（２） 赤外線通信用の赤外線受光部を有し、前記制御手段は、前記赤外線受光部により受信した受信結果に基づいてパケット信号が含まれていると判断した場合には、前記パケット信号に基づく前記コンテンツを決定することを特徴とする顧客情報収集端末。

本発明によれば、赤外線通信用の赤外線受光部によって外部機器との赤外線通信による通信データを捉えることで、制御手段は好適なコンテンツを提供する。すなわち、外部機器から送信されて赤外線受光部が受光した通信データに同期信号を含むパケット信号が含まれており、そのパケット信号を解析してパケット信号に基づくコンテンツを提供することから、顧客の動向を惹きつけることを可能にする。このパケット信号は、例えば、複数の顧客情報収集端末において再生するコンテンツを同期させる信号を含むものであり、複数の顧客情報収集端末間において同じコンテンツを同時に再生したり、別のコンテンツ（関連性のある異なるコンテンツ）をテンポよく再生したりすることで、複数画面を使用した訴求効果を享受することができる。この際、端末毎に再生するコンテンツの指定が可能である。

このような複数端末の同期再生は、ＬＡＮやＷｉＦｉ等で接続した端末間において一般的に行われているが、ＬＡＮやＷｉＦｉ機能を搭載した装置が高価になり、ＨＵＢが必要であったり、端末への接続配線工事が必要になったり、ＷｉＦｉでは接続できる端末数に限界があるなどの不都合があるが、赤外線通信を使用してブロードキャスト型のシステムを構築することにより、このような不都合を解消することができる。また、外部機器としての赤外線発信機やリピーター機器を非常に安価で作成及び接続可能である。

（３） 前記記憶手段は、顧客の注目を惹くことを目的とする第１コンテンツと、商品の販促を目的とする第２コンテンツと、の各情報を少なくとも前記コンテンツとして格納しており、前記制御手段は、前記赤外線センサーの計測結果及び／又は前記赤外線受光部により受信した受信結果に基づいて、前記第１コンテンツによる映像や音声の提供を決定することを特徴とする顧客情報収集端末。
（４） 前記記憶手段は、顧客の注目を惹くことを目的とする第１コンテンツと、顧客の性別及び年齢層に対応して商品の販促を目的とする第２コンテンツと、の各情報を少なくとも前記コンテンツとして格納しており、前記制御手段は、前記赤外線センサーの計測結果に基づいて、前記第１コンテンツによる映像や音声を提供した後、前記撮像部の撮像により得られた画像から顧客の顔の特徴点及び顧客の顔の輪郭形状を抽出して顧客の性別及び年齢層を推定し、推定した性別及び年齢層に対応する前記第２コンテンツによる映像や音声の提供を決定することを特徴とする顧客情報収集端末。

本発明によれば、コンテンツとして、顧客の注目を惹くことを目的とする第１コンテンツと、商品の販促を目的とする第２コンテンツと、を少なくとも記憶手段に格納している。赤外線センサーの計測結果に基づいて第１コンテンツを提供する場合は、顧客の通過を赤外線受光部の計測によって瞬時に判別して、顧客を端末に注視させるようなコンテンツ内容を提供する。また、第１コンテンツを提供して顧客の注視が得られた後は、撮像部の撮像により得られた画像から顧客の属性を推定し、この属性に対応して商品の販促を目的とするようなコンテンツ内容として第２コンテンツを提供する。このような複数のコンテンツを適時に提供することによって、効果的に顧客の動向を惹きつけることができる。

（５） 前記制御手段は、顧客に対して提供する商品の情報を作成する商品情報提供部と、商品棚の前の通路を通行中の顧客の人数のカウントをする通行顧客人数カウント部と、商品棚の前の通路を通行中の顧客が前記顧客情報収集端末の映像表示部の画面を視認したことを判断する顧客視認判断部と、前記視認した顧客の属性を推定する顧客属性推定部と、前記視認した顧客が前記顧客情報収集端末もしくは顧客情報収集端末に隣接されて設置されている該当商品に近づくことを判断する顧客接近判断部と、接近した顧客が該当商品を手に取ったかを判断する商品接触判断部と、該当商品を精算のための場所に持ち運んだかを判断する商品購入判断部と、からなるソフトウェアを含み、前記商品情報提供部から提供される前記コンテンツによる映像及び音声を再生する前記映像表示部及び前記音声出力部、顧客を撮像して映像を取り込む前記撮像部、顧客の手を認識する前記赤外線センサーを構成要素として含む顧客情報収集端末。

本発明によれば、商品展示前の通路を通行中の顧客の人数、通行中の顧客が通路の横に展示されている商品に関心があるか否か、そして、関心がある顧客がさらに商品の詳細な説明を求めているか否か、そして、この顧客が実際に商品を手にとって実際に商品を確認しているか否か、そして、その商品を購入するために商品棚から持ち運んだか否か、そしてこの顧客の属性である性別や概略年齢を知ることが出来る。

（６） 前記商品情報提供部が、前記顧客視認判断部の結果、前記顧客属性推定部の結果、前記顧客接近判断部の結果、前記商品接触判断部の結果の少なくともいずれか一つの結果に対応して、提供する内容をインターラクティブに変化させることを特徴とする顧客情報収集端末。

本発明によれば、顧客に対して一律の情報を提供するのではなく、顧客の関心、属性、に合わせて、顧客情報収集から提供する情報をインターラクティブに変えることができ、より詳細に顧客が関心を寄せる情報を収集することが出来る。

（７） 前記商品情報提供部により提供された情報を映し出す映像表示部の画面を顧客が視認したかを判断する顧客視認判断部が、前記撮像部によって撮影された映像情報から顧客の顔の特徴点を抽出する特徴点抽出部と、この特徴点の動きからこの顧客が商品の方を向いたかを判断する顧客顔面正対判断部と、を含むことを特徴とする顧客情報収集端末。

本発明によれば、商品展示前の通路を通行中の顧客が通路の横に展示されている商品に関心があるか否かは、撮像部に撮影された顧客の映像からコンピュータ処理で特徴点の動きから判断されるため、そのデータには信頼性が高く、かつ、購入しなかった客が全く関心が無かったのか、関心はあるものの購入までには至らなかったのか、という重要な顧客情報を得ることができる。

（８） 前記顧客視認判断部で視認した顧客の抽出された顔の特徴点および顧客の顔の輪郭形状から、顧客の性別、年齢層、を推定する顧客属性推定部を含むことを特徴とする顧客情報収集端末。

本発明によれば、商品展示前の通路を通行中の顧客のうち、商品に関心がある顧客の属性が、撮像部に撮影された顧客の映像からコンピュータ処理で特徴点や輪郭形状、等から判断されるため、そのデータには信頼性が高く、かつ、購入判断した顧客、購入しなかった顧客、等の詳細な分類が属性毎に行うことができる。

（９） 前記顧客接近判断部は、前記撮像部によって撮影された映像情報から捕捉された顧客の輪郭形状が当初の形状より一定値を超えたことによって顧客が接近したと判断することを特徴とする顧客情報収集端末。

本発明によれば、商品展示前の通路を通行中の顧客が通路の横に展示されている商品にさらに関心があるか否かは、撮像部に撮影された顧客の映像の大小から接近具合が判断されるため、そのデータには信頼性が高く、通路で視認したうちのどの位の割合の顧客が商品の方に近づいたかという重要な顧客情報を得ることができる。

（１０） 前記商品接触判断部は、
・前記映像表示部の周辺部に付属した赤外線センサーにより、この赤外線センサーによって検出される検出される単位時間当たりの入力量の変化量が一定の値を超えたときに、
・前記撮像部によって撮影された映像情報から捕捉された顧客の手の特徴点を抽出し、この顧客の手と該当する商品が接触したときに、
・前記顧客情報収集端末は商品棚に置かれた商品の下に設置された圧力をセンシングする圧力シートと接続され、この圧力シートが感じる圧力量が一定の値を下回ったときに、
のいずれかの条件によって、この顧客の手と該当する商品が接触したと判断することを特徴とする顧客情報収集端末。

本発明によれば、接近した顧客が前記設置されている該当商品を手に取ったか否かは、映像表示部の画面の周辺部に付属した赤外線センサーにより、この赤外線センサーに近傍に接近する赤外線発生物体からの赤外線量の変化量が一定の値を超えたときに、この顧客の手と該当する商品が接触したと判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客の内、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

また、本発明によれば、商品情報提供部に近接されて設置されている商品に接近した顧客が前記設置されている該当商品を手に取ったか否かは、商品と検出された手が撮像部によって撮影された映像情報から判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客のうち、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

また、本発明によれば、接近した顧客が前記設置されている該当商品を手に取ったか否かは、商品の下に圧力をセンシングする圧力シートが設置され、この圧力センサーが感じる圧力量が一定の値を下回ったときに、この顧客の手と該当する商品が接触したと判断されるため、そのデータには信頼性が高く、商品の方に近づいた顧客のうち、どの位の割合の顧客が商品を手に取ったかという重要な顧客情報を得ることができる。

（１１） 前記商品購入判断部は、
・顧客の手と商品が接触したと判断した赤外線センサーの値が再度上がることが無かった場合に、
・顧客によって手にとられた商品を前記撮像部で撮影し、この商品が画面の外に移動されたことで、
・前記商品の下に敷かれた圧力シートが有する圧力センサーが感じる圧力量が一定の値を下回り一定時間内にこの値が戻らなかったときに、
のいずれかの条件によって、該当商品を顧客が購入手続きのためにレジまで持ち運んだと判断することを特徴とする顧客情報収集端末。

本発明によれば、商品を手に取った顧客によって、顧客の手と商品が接触したと判断した赤外線センサーの値が、再度上がることが無かった場合、商品を持った顧客の手が商品棚に近づかなかった、すなわち、商品を棚に返さず購入手続きのためにレジまで持ち運んだと判断される。このため、そのデータには信頼性が高く、商品を手に取った顧客のうち、どの位の割合の顧客が商品を購入手続きのためレジに運んだかという重要な顧客情報を得ることができる。

また、本発明によれば、商品を手に取った顧客によって、商品を前記カメラで撮影し、この商品が画面の外に移動されたことで、該当商品が購入手続きのためにレジまで持ち運んだと判断されるため、そのデータには信頼性が高く、商品を手に取った顧客のうち、どの位の割合の顧客が商品を購入手続きのためレジに運んだかという重要な顧客情報を得ることができる。

また、本発明によれば、商品を手にとった顧客が購入手続きのためにその商品をレジまで持ち運んだか否かは、商品の下に設置された圧力シートの圧力センサー商品が戻されて再度上がることが無かった場合、顧客はこの商品を棚から持ち去ってレジに運んだと判断される。このため、そのデータには信頼性が高く、商品を手に取った顧客のうち、どの位の割合の顧客がこの商品を購入したかという重要な顧客情報を得ることができる。

（１２） 上記顧客情報収集端末が複数台店舗に設置され、かつ、複数の店舗に設置され、それぞれがネットワークを介して接続され、すべての店舗の情報の収集分析を行う、顧客情報収集システム。

本発明によれば、顧客情報収集端末が複数の店舗に設置され、それぞれがネットワークを介して接続される。各顧客情報収集端末からは、設置された流通店舗名、店舗の中の位置、隣のゾーンの展示商品、棚の構造、該当商品が置かれている棚の位置、キャンペーン実施の有無、顧客情報収集の画面サイズ、販売員の有無、マネキンの有無、等のデータと合わせて、顧客情報を収集している日時、曜日、天候、等のデータも一緒に収集される。これらのデータの収集分析を行うため、該当商品に関する重要な顧客情報を得ることができる。

（１３） 顧客情報収集端末に搭載する映像表示部及び／又は音声出力部によって商品に関する情報をコンテンツとして商品展示前の通路を通行中の顧客に示すステップと、この通行中の顧客の人数をカウントするステップと、顧客情報収集端末に搭載する映像表示部の画面もしくは近接されて設置されている該当商品を視認したことを判断するステップと、前記視認した顧客の属性を推定するステップと、前記視認した顧客が前記商品情報収集端末に近接されて設置されている該当商品に近づくことを判断するステップと、該当商品に接近した顧客が該当商品を手に取ったかを判断するステップと、この商品を精算のための場所に持ち運んだかを判断するステップと、を含むことを特徴とする顧客情報収集方法であって、周囲環境による物理的変化を赤外線によって計測する赤外線センサーの計測結果及び／又は外部要因による赤外線受光部により受信した受信結果に基づいて、前記コンテンツを決定するステップを有することを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集端末により、商品展示前の通路を通行中の顧客の人数、商品情報提供部の画面を視認した顧客の人数、前記視認した顧客が前記商品情報提供部もしくは前記商品情報提供部に近接されて設置されている該当商品に近づく人数、商品情報提供部に近接されて設置されている商品に接近した顧客が前記設置されている該当商品を手に取に取る人数、この商品を精算のための場所に持ち運んだ購入人数、購入に至るのに要した顧客の該当商品の前での滞留時間、もしくは非購入に至るのに要した顧客の該当商品の前での滞留時間、という重要な顧客情報を得ることができ、このような顧客情報を得るために、周囲環境による物理的変化を赤外線によって計測する赤外線センサーの計測結果及び／又は外部要因による赤外線受光部により受信した受信結果に基づいて決定されたコンテンツを提供することとしている。

（１４） 前記赤外線受光部による受信結果にパケット信号が含まれているか否かを判断するステップを有し、前記パケット信号に基づくコンテンツを顧客に提供することを特徴とする顧客情報収集方法。

本発明によれば、外部機器から送信されて赤外線受光部が受光した通信データにパケット信号が含まれており、そのパケット信号に基づくコンテンツを提供することから、その解析結果に基づく効果的なコンテンツの提供によって、顧客の動向を惹きつけることを可能にする。

（１５） 前記コンテンツとして、顧客の注目を惹くことを目的とする第１コンテンツと、商品の販促を目的とする第２コンテンツと、を少なくとも格納しており、前記コンテンツを決定するステップは、前記赤外線センサーの計測結果及び／又は前記赤外線受光部により受信した受信結果に基づいて、前記第１コンテンツを決定することを特徴とする顧客情報収集方法。
（１６） 前記コンテンツとして、顧客の注目を惹くことを目的とする第１コンテンツと、顧客の性別及び年齢層に対応して商品の販促を目的とする第２コンテンツと、を少なくとも格納しており、前記コンテンツを決定するステップは、前記赤外線センサーの計測結果に対応する前記第１コンテンツを決定し、前記撮像部の撮像により得られた画像から顧客の顔の特徴点及び顧客の顔の輪郭形状を抽出して顧客の性別及び年齢層を推定し、推定した性別及び年齢層に対応する前記第２コンテンツを決定することを特徴とする顧客情報収集方法。

本発明によれば、コンテンツとして、顧客の注目を惹くことを目的とする第１コンテンツと、商品の販促を目的とする第２コンテンツと、を少なくとも格納している。赤外線受光部の計測結果によって第１コンテンツを決定する場合は、顧客の通過を赤外線センサーの計測によって瞬時に判別して、顧客を端末に注視させるようなコンテンツ内容を提供する。また、第１コンテンツを提供して顧客の注視が得られた後は、撮像部の撮像により得られた画像から顧客の属性を推定し、この属性に対応して商品の販促を目的とするようなコンテンツ内容として第２コンテンツを提供する。このような複数段のコンテンツ提供によって、効果的に顧客の動向を惹きつけることができる。

（１７） 前記視認した顧客又は前記接近した顧客に対して、前記映像表示部の画面の内容を前記推定した属性に適合した内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集端末により、視認を判断した顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えた表示することにより、顧客の関心、判断基準等のより詳細な顧客情報を得ることができる。
また、本発明によれば、顧客情報収集端末により、商品情報提供部に近接されて設置されている商品に接近した顧客した顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えた表示することにより、顧客の関心、判断基準等のより詳細な顧客情報を得ることができる。

（１８） 商品情報提供部に近接されて設置されている商品に接近した顧客に対して、映像表示部の画面の表面に設置されたタッチパネルにより顧客により選択された内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集端末により、商品情報提供部に近接されて設置されている商品に接近した顧客した顧客に対して、映像表示部の画面の表面に設置されたタッチパネルにより顧客により選択された内容の画面に変えて表示することにより、顧客の関心、判断基準、等のより詳細な顧客情報を得ることができる。

（１９） 顧客情報収集端末により、該当商品を手に取ったかと判断された顧客に対して、映像表示部の画面の内容を異なる内容の画面に変えて表示するステップを含むことを特徴とする顧客情報収集方法。

本発明によれば、顧客情報収集端末により、該当商品を手に取ったと判断された顧客に対して、映像表示部の画面の内容を、推定した属性に適合した内容の画面に変えた表示することにより、顧客の関心、判断基準、等のより詳細な顧客情報を得ることができる。

本発明の顧客情報収集端末、顧客情報収集システムおよび顧客情報収集方法は、店舗における顧客のうち該当商品等を購入した顧客のみならず、購入に至らなかった顧客を含めて、それらの顧客がどのような商品等情報に関心を持ち、どのような情報が購入決定に至ったかという、該当商品等を販売する上で重要な情報を信頼性高く得ることが出来る。

より具体的に本発明の効果を説明する。
顧客情報収集端末が有する赤外線センサーの計測結果や赤外線受光部により受信した受信結果に基づいて、顧客にコンテンツを提供することとし、赤外線センサーの計測は、顧客の通行や立ち止まりや接近などによる周囲環境の変化を赤外線量の単位時間当たりの増減によって捉える一方、赤外線受光部による受信結果は、外部機器との赤外線通信による通信データを捉えることで顧客に対する訴求効果の高い好適なコンテンツを提供する。

顧客情報収集端末は、映像表示部とスピーカーを有し、かつ顧客に説明するための商品等に関するコンテンツ情報がＰＣ部分の内部にある商品情報提供部にあらかじめ保存されている。そして、顧客が通路を通ることを赤外線センサーにより検知すると、これらの情報が映像表示部とスピーカーを介して顧客に対して映像や音声として情報提供される。そして、通路を通る顧客は、これらの商品等の情報に関して興味があると、該当商品もしくは情報提供している映像表示部の方を振り返る。この振り返る動作は、顧客の顔の映像を撮像部により撮影することにより認識される。さらに、この商品に興味を有する顧客は、この商品や映像表示部に接近する。この接近は、撮像部の映像から判断される方法、ドップラーセンサーによる方法などがある。さらに興味がある顧客は、商品を手にとってみる。この顧客の動きは、撮像部の映像から判断される方法、赤外線センサーによる赤外線受光量の増減による方法、マイクによる方法、圧力センサーによる方法がある。ここで、この商品の購入を決定した顧客は、この商品を棚に戻さずレジに運ぶ動作をする。この動きは、撮像部の映像から判断される方法、赤外線センサーによる赤外線受光量の増減による方法がある。また、顧客が単に通行しているとき（通行を呼び止めるとき）、商品もしくは映像表示部とスピーカーから提供される商品等に関する情報に関心を示して振り向いたとき、顧客が商品に接近してきたとき、顧客が映像表示部に張り付けられたタッチパネルから入力にしたとき、それぞれ提供されるコンテンツ内容が商品情報提供部によって変えられる。これらのコンテンツを介した一連のやりとりおよび顧客の該当商品前の滞留時間によって、購入した顧客がどのような商品等の情報に関心が高く購入を決めたか、また、逆に、購入しなかった顧客はどのような商品等の情報に不満足で非購入を決めたか、顧客情報を詳細に収集することができる。

また、カメラで撮影された顧客の顔の特徴点、顔の輪郭から、顧客の性別、概略の年齢、といった顧客の属性が推定される。

これらの商品等を前にして顧客が示した顧客情報データ、属性データ、の情報を店舗の棚に設置された顧客情報収集端末が取得し、この顧客情報収集端末をネットを介して複数店舗間で接続し、すべての情報をサーバーに集める顧客情報システムが形成される。

サーバーに顧客情報を収集する際、上記顧客情報データ、属性データのみならず、天候、曜日、等の外的要因データを加えて、顧客情報収集端末が設置されている流通店舗名、店舗の中の位置、隣のゾーンの展示商品、棚の構造、該当商品が置かれている棚の位置、キャンペーン実施の有無、映像表示部の画面サイズ、販売員の有無、マネキンの有無等のデータがサーバーに集められる。

これらのデータによって、商品等の企画、ブランディング、ターゲッティング、パッケージコンセプト、プライシング、製品の改廃、在庫最適配置等の製品戦略、およびプロモーション企画、販促費の適正化、売り場企画、店舗・店舗ゾーンの評価の見直し等の販売戦略を立案することが可能となる顧客情報収集端末、顧客情報収集システムおよび顧客情報収集方法が提供される。

本発明からなる顧客情報収集端末が店舗の通路を通行中の顧客から顧客情報を収集している状況を説明する図で、１１は顧客、１２は顧客情報収集端末、１３は通路、１４は該当商品、１５は他の商品、１６は商品棚、１７はカメラ（撮像部）、１８は赤外線センサー、２２は映像表示部をそれぞれ示す。 本発明からなる顧客情報収集端末１２のハードウェア部の構成を示す図で、２１はＰＣ部、２２は映像表示部、２７はスピーカー（音声出力部）、１７はカメラ（撮像部）、１８は赤外線センサー、１９は赤外線受光部、２６はタッチスクリーン、２８はマイク、をそれぞれ示す。 本発明からなる顧客情報収集端末１２のソフトウェア部の構成を示す図で、これらのソフトウェア部はＰＣ部２１の中にインストールされている。これらのソフトウェア部は、３１は商品情報提供部として機能し、３２は通行顧客人数カウント部として機能し、３３は顧客視認判断部として機能し、３４は顧客属性推定部として機能し、３５は顧客接近判断部として機能し、３６は商品接触判断部として機能し、３７は商品購入判断部として機能し、それぞれの機能をプログラム又はモジュールによって実現する。 本発明からなる顧客情報収集端末１２が、店舗内通路を通る顧客の人数をカウントする部分を説明する図である。１１は顧客、４１は顧客情報収集端末のカメラ（撮像部）で捕捉された映像画面を示す。 本発明からなる顧客情報収集端末１２が、店舗内通路を通る顧客のうち、該当商品１４もしくは顧客情報収集端末の映像表示部２２を振り向く顧客を認識する部分を説明する図である。５１は顧客の目の特徴点、５２は顧客の鼻の特徴点、５３は顧客の口の特徴点、５４は顧客の顔の輪郭の特徴点を示す。 本発明からなる顧客情報収集端末１２が、顧客情報収集端末１２の映像表示部２２を振り向く顧客のうち、顧客情報収集端末１２もしくは該当商品１４に近づく顧客を認識する部分を説明する図である。６１は近づいた顧客の目の特徴点、６２は近づいた顧客の鼻の特徴点、６３は近づいた顧客の口の特徴点、６４は近づいた顧客の顔の輪郭の特徴点を示す。 本発明からなる顧客情報収集端末１２が、顧客情報収集端末１２もしくは該当商品１４に近づいた顧客が該当商品１４を手に取ろうとしてところをカメラ（撮像部）で捕捉された映像画面である。７１は該当商品１４に伸ばした顧客の手で、１１は顧客、１４は該当商品である。 本発明からなる顧客情報収集端末が、該当商品を手にとってみる顧客のうち、該当商品を購入することを決めた顧客を認識する部分を説明する図である。１１は顧客、１４は該当商品である。 本発明からなる顧客情報収集システムを示す構成図である。９１はネットワーク、９２は各店舗の顧客情報収集端末、９３はサーバーである。 本発明からなる顧客情報収集方法を説明するフローチャートである。 本発明からなる通行顧客人数カウント部３２のフローチャートである。 本発明からなる顧客視認判断部３３および顧客属性推定部３４、顧客接近判断部３５を説明するフローチャートである。 本発明からなる商品接触判断部３６、商品購入判断部３７を説明するフローチャートである。 本発明からなる商品購入判断部３７を説明するフローチャートである。 本発明からなる顧客の特徴点抽出および利用部分のフローチャートである。 本発明からなる外部機器を用いてパケット信号を複数端末に送信する概略図である。

図１は、本実施例からなる顧客情報収集端末１２が店舗において顧客１１に対して顧客情報を収集している場面を示す概略図である。顧客１１が店舗の通路１３を歩いて通過中である。顧客１１は、該当商品１４、他の商品１５が展示されている商品棚１６の前を通過する。該当商品１４の隣には、本発明からなる顧客情報収集端末１２が設置されている。この顧客情報収集端末１２が、通行する顧客１１の該当商品１４に対する情報を収集する。

顧客情報収集端末１２はハードウェア部とソフトウェア部からなり、ソフトウェア部はＰＣ部２１の内部の記憶端末にプログラムやモジュールとして存在する。図２は、本実施例からなる顧客情報収集端末１２のハードウェア部の構成を示す図である。主な構成部分として、処理機能および記録機能を有するＰＣ部２１、映像表示部２２、スピーカー２７、撮像部としてのカメラ１７、赤外線センサー１８、赤外線受光部１９、タッチスクリーン２６、マイク２８で構成される。

図３は顧客情報収集端末のＰＣ部２１に内蔵される、ソフトウェア部分を示す概略図である。本ソフトウェアは、商品情報提供部３１、通行顧客人数カウント部３２、顧客視認判断部３３、顧客属性推定部３４、顧客接近判断部３５、商品接触判断部３６、商品購入判断部３７、からなるソフトウェア部分を有する。

以下、本実施例からなる顧客情報収集端末１２が、販売店の商品棚前方の通路を歩く顧客１１から、顧客１１が示す該当商品１４に対する情報を収集する手順を説明する。

図１で示すように、店舗の通路１３に顧客１１が通りかかると、商品情報提供部３１なるソフトウェアに従って、該当商品１４の商品情報が顧客情報収集端末１２の映像表示部２２およびスピーカー２７を通じて通路１３を通る顧客１１に対して提供される。商品情報提供部３１は、映像表示部２２やスピーカー２７により提供されるコンテンツを格納する記憶手段の一種であり、顧客の注目を惹くことを目的とする第１コンテンツと商品の販促を目的とする第２コンテンツとの各情報や、それらの組み合わせを生成する。顧客が通路を歩いている状態では、第１コンテンツによって該当商品１４が商品棚１６に存在していることをアピールするための情報を流す。この情報には、この商品の特徴を示したり、価格情報、他社商品との比較情報を流したり、顧客が関心を持ちそうな情報が含まれる。

本実施例では、該当商品１４の商品情報が顧客情報収集端末１２の映像表示部２２およびスピーカー２７を通じて通路１３を通る顧客１１に対して提供されたが、映像表示部２２の映像情報もしくはスピーカー２７の音声情報のいずれか一方に限定して提供しても良い。

本実施例では、該当商品が商品棚に存在していることをアピールするための情報として、この商品の特徴を示したり、価格情報、他社商品との比較情報を流したり、顧客が関心をもちそうな情報を流したが、商品棚の構成、商品販売戦略に応じて、この情報の中身は変えることが可能であり、特に内容について制限されない。例えば、該当商品のアピールではなく、その商品が属するカテゴリー全体をアピールするものであったり、知名度の高い有名人の呼び止めによって、アイキャッチ効果を向上したりと、種々のコンテンツの提供が可能である。

本実施例では、店舗の通路１３に顧客１１が通りかかると、商品情報提供部３１は該当商品１４の情報提供を開始したが、このタイミングはこれに限定されない。例えば、顧客が近づいてきたことを検知する焦電型の赤外線センサー１８の検知距離設定を短くして、端末の目の前に来た時だけコンテンツを再生することが可能である。

次に、本実施例になる顧客情報収集端末１２は、通路１３を通過した顧客１１の人数をカウントする。通行顧客人数カウント部を説明する。図４は、通路１３を通行してきた顧客１１が該当商品１４が展示されている商品棚１６の前を通りかかるところを示している。図１１は、この場面で顧客情報収集端末１２の動作を規定するソフトウェアである通行顧客人数カウント部３２のフローチャートである。

図１１を用いて、通行顧客人数カウント部３２の動作を説明する。顧客情報収集端末１２のカメラ１７は、通路に向けて動画を撮影する。撮影されたフレーム映像を取り込み、時系列にフレーム間の差分検出を行う。もし、フレーム映像内に動くものが存在すると差分が発生し、差分が動いた対象物の輪郭を形成する。この実施例では、動くものは顧客１１以外に通常は存在しないので、この輪郭が検出された際に、顧客１１をカメラ１７で取り込む映像内に対象１として設定する。対象１が設定されると、時間計測が開始される。そして、対象Ａがカメラに対して正対しているか否かが判定される。正対判定は、図１２で説明するフローチャートに従って行われる。正対判定で正対していないと判定され、かつ対象Ａがフレーム内に留まらず、フレームの外に出ていったと判断されると、通過と判定され、カウンターが働き、通過人数が積算される。この際、本実施例では、通過時間も記録する。一方、正対判定で正対と判定された顧客、および正対はしないがフレーム内に留まっている顧客の人数と時間もそれぞれ記録される。

上記方法で、正対もせず、通過してしまった顧客は、該当商品１４に全く関心がない顧客と推定される。そして、これらのグループに属する顧客の人数と滞留時間が得られる。一方、カメラのフレーム内に留まっている顧客は、該当商品１４もしくは顧客情報収集端末から提供された商品情報にある程度関心を有していると推定される。そしてこのグループに属する顧客の人数および該当商品前で滞留している時間がそれぞれ記録される。

次に、顧客視認判断部３３を説明する。図５は、通路１３を通行してきた顧客１１が該当商品１４が展示されている商品棚１６の前を通りかかり、該当商品１４もしくは顧客情報収集端末１２の映像表示部２２およびスピーカー２７を通じて提供された商品情報に関心を示し、顧客１１が該当商品１４もしくは顧客情報収集端末１２の方を振り向いた場面を説明する図である。図１２は、この場面で顧客収集端末１２の動作を規定するソフトウェアである顧客視認判断部のフローチャートである。

図１２を用いて、顧客視認判断部３３の動作を説明する。顧客が該当商品に関心があるかどうかの判断は、顧客をカメラ１７で撮影し、撮影されたフレーム映像を再度取り込む。このフレーム映像の中で、顧客の顔の特徴点を抽出する。より詳細に説明すると、顧客１１が該当商品１４もしくは映像表示部２２に表示された商品情報提供部３１から提供された情報に関心をもって、振り向いたことは、カメラ１７によって撮影された顧客の顔のフレーム映像から判断される。まず、再度取り込まれたフレーム映像から、顔の特徴である目、鼻、口の検出を行う。ここで、検出ができない場合は、正対しなかった、すなわち関心が無かったと判断する。

図１５を用いて、顧客の特徴点を抽出しそのデータの利用について説明する。目、鼻、口が検出された場合、これらの目、鼻、口の形状データから顔ベクトルデータ人特徴抽出が行われる。そして、特徴抽出されたデータは人物１としてデータベースに顔ベクトルデータとして登録する。以降、人物１を特徴づける顔ベクトルデータは、その後の行動データとともに記録される。また、顔ベクトルデータは、性別、年齢の判定にも利用される。

顔ベクトルデータ人特徴抽出は、具体的には、目の特徴点５１として目の輪郭、鼻の特徴点５２のとして鼻の輪郭、および口の特徴点５３として口の端部を検出する。これら抽出された特徴点から、目が両目認識され、鼻の位置が顔の中心部に位置し、口全体が捕捉され、これらの特徴点が顔輪郭の中心にあるか否かで、顧客１１の顔が正対したか否かを判断する。正対したとみなされた顧客に対しては正対状態フラグを設定し、正対時間のカウントアップがスタートする。

顧客１１が、正対すなわち該当商品１４に関心を持ったと顧客情報収集端末１２が認識すると、商品情報提供部３１は、提供する情報を該当商品１４のより詳しい情報の提供に切り替える。また、それまで通過した顧客全体の中の視認率を算出して、その視認率に従って、適切な該当商品１４のより詳しい情報の提供に切り替えることも出来る。また、顧客の視認している時間によって、適切な該当商品１４のより詳しい情報の提供に切り替えることも出来る。

振り向いた顧客の顔の特徴点が抽出されたら、顧客属性推定部３４によって顧客の属性が推定される。男性と女性の区別は、髪型、顔の特徴点、服装などからデータベースに従って推定される。年齢は、顔の特徴点、顔の皮膚のしわ、姿勢、などからデータベースに従って推定される。

顧客情報収集端末１２が顧客１１の属性を推定すると、商品情報提供部３１は、提供する情報を顧客の属性に適した該当商品１４のより詳しい情報である第２コンテンツの提供に切り替える。

次に、顧客接近判断部を説明する。図６は、該当商品１４もしくは顧客情報収集端末１２の商品情報提供部３１から提供された商品情報に関心をもって振り向いた顧客１１が、商品もしくは顧客情報収集端末１２に向かって近づいてくるところをカメラ１７によって撮影した映像である。撮影された近づいた顧客の顔の輪郭の特徴点６４、近づいた顧客の目の特徴点６１、近づいた顧客の鼻の特徴点６２、近づいた顧客の口の特徴点６３を時系列に比較し、これらの特徴点の増大率が求められる。この増大率が一定値を超えたことをもって、商品情報提供部に近接されて設置されている商品に接近したと顧客接近判断部３５によって判断する。

図１２は、この場面で顧客情報収集端末１２の動作を規定するソフトウェアである顧客接近判断部３５のフローチャートである。正対状態フラグが設定された顧客１１に対して、再度フレーム映像を取り込む。この取り込まれた映像の中の顧客の顔の輪郭のほぼ中心に、目、鼻、口があるかを判断する。もしあれば、顧客１１は正対を続けていると判断する。そして、中心にない場合は、正対が終わったと判断する。次に、最初の正対時の目、鼻、口、顔輪郭が同比率で拡大が見られるかを判断する。この判断は、拡大比率が増加もしくは一定値を超えているか否かで行われる。そして、拡大が判断された場合、顧客１１は該当商品１４に興味を示し接近したと判定する。

上述した実施例では、カメラによる映像で顧客接近判断が行われたが、これに変えて、ドップラーセンサーを用いて顧客の接近が判断される。商品展示前の通路を通行中の顧客が通路の横に展示されている商品にさらに関心があるか否かは、ドップラーセンサーによってドップラー波照射エリア内に物体（手、腕）が入ってきたことを検出され、顧客が商品に接近したか否か判断されるため、そのデータには信頼性が高く、通路で視認したうちのどの位の割合の顧客が商品の方に近づいたかという重要な顧客情報を得ることができる。

また、本実施例では、情報収集端末１２に設置された赤外線センサー１８によって、感知される顧客が発する赤外線量を測定し、顧客接近を判断する。上記カメラによる顧客の輪郭増大率のデータと、赤外線量のデータを組み合わせて、顧客の接近を判断することも行われる。

顧客情報収集端末１２の顧客接近判断部３５が顧客１１が該当商品もしくは顧客情報収集端末１２に接近したと判断すると、商品情報提供部３１は、提供する情報を該当商品１４のより詳しい情報の提供にインターラクティブに切り替えることが出来る。また、顧客の接近に適合して、スピーカー２７から出る音量を変えることが出来る。

図７に示すように、商品情報提供部に近接されて設置されている商品に接近して来た顧客１１の次の行動として、該当商品１４を手に取り上げる行動がある。この行動の判断は、商品接触判断部に従って行われる。この判断結果は、この顧客１１が購入につながる強い関心を持っていることとして重要な行動を示すデータとなる。具体的には、顧客情報収集端末１２に付属したカメラ１７と赤外線センサー１８の両方もしくは片方のデータを用いて認識される。

本実施例では、受光する熱量の変化量を検出する焦電型の赤外線センサー１８に顧客の手から発せられる赤外線を捕捉することによって行われる。この赤外線量が一定値をこえるとこの顧客の手が商品を手に取る位置まで近づいたと判断する。図１３は、この場面で顧客情報収集端末１２の動作を規定するソフトウェアである商品接触判断部３６のフローチャートである。接近が確認された人物１に対して、再度フレーム映像を取り込む。この取り込まれた映像の中に、人物１が検出されるかを確認し、検出された場合、赤外線センサーが人物１の手が発する赤外線を感知しているかを調べる。もし、感知されれば、人物１なる顧客１１は該当商品を手に取ったと判断する。

別の実施例では、商品の特徴を予め顧客情報端末に入力しておき、カメラ１７で撮影した顧客の映像情報の中にこの商品が映り込むことで顧客が手にとったと判断する。図８は、カメラ１７で捕捉された映像画面４１のなかで、顧客１１の手の中に、該当商品１４がとらえられている。

別の実施例では、顧客の手から発せられる赤外線量を赤外線センサー１８で測定し、かつ、カメラで撮影した顧客の映像情報の中にこの商品が映り込むことの両方を行い、両方の値から、顧客が手にとったと判断する。

別の実施例では、商品棚の商品の下に圧力センサーを有する圧力シートが敷かれている。この圧力センサーは、このシートの上にある一定以上の重量物が置かれると電気的特性が変わるものである。顧客が顧客情報収集端末に隣接されて設置されている商品に接近した顧客が、商品を手に取ると、圧力センサーは重量が減ったことを感知し、この反応をもって商品接触判断部３６が、商品を顧客が手にとったと判断する。

顧客１１が商品に接近し、もしくは商品を手に取ったタイミングに合わせて、顧客情報収集端末１２の商品情報提供部３１から提供される商品情報を、顧客の属性、顧客の関心に合わせてその内容をインターラクティブに変える。そして、顧客が知りたい情報を、映像表示部２２の表面に張り付けられたタッチスクリーン２６によって選択することが出来る。また、これまでの顧客の行動を学習して、その結果に合わせて提供する商品情報をインターラクティブに変えることが出来る。

図３に示すように、顧客による商品の購入の判断は商品購入判断部３７に従って顧客情報収集端末１２によって行われる。顧客が手に取った商品を購入する場合、この商品を買物籠やカートに乗せたり、そのまま手に取ってレジまで運ぶ。赤外線センサー１８の測定する顧客から発せられる赤外線の値が商品を手にすることで増加し、商品を持った手が赤外線センサーから遠ざかりこの赤外線量が減少し、そのまま赤外線量が増加しないとき、該当商品が、商品棚に戻らず顧客１１が購入のためレジに運んだと商品購入判断部３７が判断し、購入が判断される。

図１３の下部は、この場面で顧客情報収集端末１２の動作を規定するソフトウェアである商品購入判断部３７のフローチャートである。該当商品１４に接触が確認された人物１に対して、再度フレーム映像を取り込む。このフレーム映像の中に、人物１が検出されない場合。この人物１は手にした該当商品１４を持ち去る、すなわち、購入手続きのためにレジに該当商品１４をもち運び、購入したと判断する。

図１４は次の場面での顧客情報収集端末１２の動作を規定するソフトウェアである商品購入判断部３７の前半部分のフローチャートである。赤外線センサーが再び赤外線を検知した場合、人物１は該当商品１４をもとの商品棚に戻したと推定され、人物１は該当商品１４を購入しなかったと判断される。また、赤外線センサーの代わりにカメラで撮られた映像の中に再び人物１の手が商品棚に伸びたことを捉えた場合、人物１は該当商品１４を購入しなかったと判断される。一方、赤外線センサーが再び赤外線を検知することなく、かつ、人物１の顔の特徴である目、鼻、口が検出されない場合は、人物１は該当商品１４を商品棚に戻すことなく、該当商品をレジまで運んだと推定し、この場合、購入と判断する。

別の実施例では、前記顧客によって手にとられた商品をカメラ１７で撮影し、この商品が画面の外に移動されたことで、該当商品１４が購入手続きのためにレジまで持ち運んだと商品購入判断部３７で判断する。

別の実施例では、顧客による商品の購入の判断は、該当商品１４の下に敷かれた圧力シートを用いて、商品購入判断部３７に従って顧客情報収集端末によって行われる。手に取った商品を顧客が購入する場合、この商品を買物籠やカートに乗せたり、そのまま手に取ってレジまで運ぶ。該当商品１４の下に敷かれた圧力シートが有する圧力センサーが感じる圧力量が一定の値を下回り、一定時間内にこの値が戻らなかったときに、この顧客は該当商品１４が購入手続きのためにレジまで持ち運んだと商品購入判断部３７が判断する。

上記実施例では、顧客の行動を把握するのに、１台のカメラによったが、複数のカメラを用いても良い。また、得られた映像情報を、３次元処理して顧客の行動判断に用いることもできる。

上記実施例では、顧客の商品情報を選択する入力手段タッチスクリーン２６であったが、マイク２８を用いて音声入力によって顧客が選択入力を行ってもよい。

上記実施例では、顧客の行動を把握するのに、カメラ１７、マイク２８、赤外線センサー１８、スピーカー２７、映像表示部２２とＰＣ部２１は一体物であったが、別構成であってもよい。

図９は、本発明になる顧客情報調査システムの一実施例の全体構成を説明する図である。図２で示した各店舗の顧客情報収集端末９２が、ネットワーク９１を通じてサーバー９３に接続している。このサーバー９３は、同一店舗の他の顧客情報収集端末もしくは他の店舗の顧客情報収集端末９２に接続して、設置されたすべての顧客情報収集端末のデータを収集可能となっている。

このようにして得られた異なる店舗のデータごとの該当商品に対する顧客の情報は、必要に応じて、ＰＯＳデータや気候、月日時、曜日ごとに分け、さらに、外的要因データを加えて、これらの商品の企画、ブランディング、ターゲッティング、パッケージコンセプト、プライシング、商品の改廃、在庫最適配置等の商品戦略、およびプロモーション企画、販促費の適正化、売り場企画、店舗・店舗ゾーンの評価の見直し等の販売戦略を立案することが可能となる。

外的要因データとしては、流通店舗名、販売店の販売力、販売店における棚の広さ、流している提供情報、情報提供端末画面のサイズ、販売店内の棚の位置、キャンペーンの有無、紙ポップ等によるマーチャンダイズ状況、販売員の有無、推奨販売の有無などがある。

次に図１０を用いて、本発明の顧客情報収集方法の最適の実施例の動作の各ステップを説明する。

第１のステップは、商品情報提供部３１に基づき、通路に面した商品棚に設置された顧客情報収集端末の映像表示部もしくはスピーカーによって商品情報を提供する。該当商品の説明開始は、赤外線センサーによる赤外線量の変化を検知したタイミングであったり、顧客が画面内に捕捉したタイミングとあわせてもよく、顧客がある一定以上の数通過する場合は、定型の説明を繰り返してもよい。また、該当商品の説明ではなく、顧客が端末に注視するような内容である第１のコンテンツであってもよい。

第２のステップでは、顧客情報収集端末に付属したカメラで通路を撮影する。通路に通行人が通行し、顧客情報収集端末の前を通行すると、撮影しているカメラの画面に顧客が入り、映像情報を記録する。この記録の時系列での変化から、画面を通った通行人をカウントする。この通行人数は、通行顧客人数カウント部３２に基づき、データとして出力される。

第３のステップでは、映像表示部とスピーカーで行われた該当商品の説明や第１のコンテンツに反応して、通路を通過しようとした顧客が映像表示部もしくは該当商品の方を振り向いたか否かを顧客視認判断部３３によって判断する。顧客が映像表示部もしくは商品の方を振り向いたか否かは、カメラで捕捉されたオブジェクトが一定時間画面内に留まっていた顧客の顔の特徴を識別し、この顔がカメラ方向を向いたか否かを判断する。この処理は、補足したオブジェクトの画像にから、目、鼻、口、顔の輪郭を検出し、その相対位置が正対相当になったかを判断して行う。

映像表示部とスピーカーで行われた該当商品の説明に反応せず、通路を通過した顧客のデータはここで出力される。このステップで、顧客が映像表示部のどの画像に反応して画面内に留まり、顔を向けたのか、もしくはスピーカーのどの音で反応して画面内に留まり、顔を向けたのかを判断する。さらに、このようにして、一定時間画面内に留まっていた顧客、もしくは、顧客の顔がカメラ方向を向いたか顧客を、この商品に関心を示した顧客と判断し、この顧客の反応と、顧客が関心を示した商品説明の内容と合わせて、サーバーに収集される。

第４のステップでは、顧客属性推定部３４により、カメラ１７が該当商品に近づいてきた拡大された顧客の姿を撮影した際、この顧客の映像から、その特徴抽出がなされ、男女、子供、大人などの属性が判断される。これらの判断は、すでに蓄えられたデータベースとの比較で判断される。ここで、判断に用いられるデータベースは、日本人の全体の特徴をデータベース化した商用のデータベースが用いられるが、自ら構築したものでも良い。

第５のステップでは、顧客接近判断部３５により、顧客が接近してきた際に行われる。第３のステップで説明に興味を有したと特定された顧客が、さらに通路から商品もしくは端末の方に近づくか否かを判断し、この顧客の接近に合わせて第１のコンテンツとは異なる第２のコンテンツを提供する。

通路から商品もしくは端末の方に近づくか否かを判断は、顧客の顔がカメラもしくは商品の方を向いたと認識された顧客の輪郭画像が一定の大きさまで拡大したかで判断する。また、顧客情報収集端末１２に設置された赤外線センサー１８によって、感知される顧客が発する赤外線量を測定し、判断することもできる。上記カメラによる顧客の輪郭増大率のデータと、赤外線量のデータを組み合わせて、顧客の接近を判断することも行われる。

顧客が商品に近づいたと判断した顧客情報収集端末１２は、さらに詳細なコンテンツを映像表示部２２およびスピーカー２７に流す。

第６のステップは顧客接触判断部３６により、第５のステップで顧客情報収集端末１２もしくは該当商品１４に近づいてきた顧客のうち、顧客が商品を手にとるか否かの判断を行う。この判断は、カメラ１７と赤外線センサー１８の両方もしくは片方のデータを用いて認識される。

カメラ１７に撮影された映像からは、商品の特徴を予め顧客情報端末に入力しておき、該当商品が設置された場所から移動したと判断されたことを顧客が手に取ったと判断する。

また、顧客の手から発せられる赤外線量を赤外線センサー１８で測定し、この赤外線量が一定値を超えたとき、手にとったと判断することもできる。また、両方の値から、顧客が手にとったと判断することもできる。

顧客１１が商品に接近し、もしくは商品を手に取ったタイミングに合わせて、顧客情報収集端末１２の商品情報提供部に表示される情報をより詳細な情報に変えることができる。そして、顧客が知りたい情報を、表示部表面に張り付けられてタッチセンサーによって選択することが出来る。この際、コンテンツの内容は、あらかじめ決めたコンテンツを流してもよく、また顧客がタッチパネルで示した要望に合わせたコンテンツをインターラクティブに流してもよい。

第７のステップは商品購入判断部３７により、第６のステップで顧客の手に取られた商品が購入されたか否かを判断する。この判断は、カメラで捕捉された手に取られた商品がこのカメラの範囲の外に持ち出されたか否かを測定し、持ち出された場合購入のために顧客が運んだと判断する。また、顧客の手の赤外線を赤外線センサーで測定し、感知の有無で、商品の購入・非購入を判断する方法でもよい。

通常は、この処理のみで購入の判断が行われるが、より情報の精度を高めるために、レジにおけるＰＯＳのデータを入手して判断してもよい。

第８のステップは、上記判断により、顧客のとった行動が下記の次の行動パターンに分類する。これらの行動パターンへの分類判断は、上記データをすべてサーバーに集め、行われる。
（１） 映像表示部情報やスピーカー情報を取得せず、商品を手にとり、購入手続きを行うために、レジに向かう。（最初から購入を決めていた顧客）
（２） 商品の存在を視認しるも、映像表示部の内容にはまったく関心を示さず商品に近寄ることもなく、そこを立ち去る。（購入の意思が最初からなく、関心もまったくない顧客）
（３） 商品の存在を視認し、映像表示部に示された商品情報を聞き始め、その後、商品を手にとるが、もとの棚に戻し、そこを立ち去る。（購入の意思は最初はないものの、関心はある。しかし、購入判断にはいたらない顧客）
（４） 商品の存在を視認し、映像表示部に示された商品情報を聞き始め、その後、商品を手にとり、購入手続きを行うために、レジに向かう。（購入の意思は最初はないものの、映像表示部に示された商品の説明により購入と決めた顧客）
（５） 商品の存在を視認し、映像表示部に示された商品情報を聞き始め、その後、商品を手にとり、さらに、タッチパネル６に接触し、より詳細な情報を入手し、そしてそのまま購入手続きを行うために、レジに向かう。（購入の意思は最初はないものの、映像表示部に示された商品の詳細な説明、自分が知りたかった情報を積極的に入手し、その後購入を決めた顧客）

図１６は、外部機器１００を用いて同期信号を複数端末に送信する概略図であり、第１に、外部機器１００にケーブル１０１を介して接続された発信機１０２によって赤外線信号が複数の顧客情報収集端末１２に送信されている様子を示し、第２に、発信機１０２にケーブル１０３を介して接続されたリピーター１０４によって赤外線信号が複数の顧客情報収集端末１２に送信されている様子を示している。発信機１０２及びリピーター１０４は、外部機器１００によって発生されたパケット信号を受信し赤外線によって送信するＬＥＤを搭載しており、パケット信号には、端末１２において再生するコンテンツの内容の指定、端末１２のＩＰコードやそれに応じたコンテンツ内容の指定など、複数の端末１２が同期して再生できるためのデータが含まれる。パケット信号は、外部機器１００から発信機１０２及びリピーター１０４に送信し、このパケットを複数の端末１２が受信することによって、複数の端末１２による同期再生が可能となる。顧客情報収集端末１２には、赤外線通信により赤外線信号を受信してパケットデータを格納する赤外線受光部１９を有しており、赤外線受光部１９は端末上に搭載されるか端末と有線・無線により接続されている。

コンテンツの内容は予め各端末１２に格納されていることから、パケット信号には再生するコンテンツ番号の指定が含まれる。コンテンツの切り替えや複数端末間の同期再生は、赤外線受光部が受光した赤外線データ（パケットデータ）に基づいて制御手段によって制御される。

赤外線によるパケットデータの通信はブロードキャストとなることから、これを受信した複数の端末１２は同時に一斉に再生コンテンツが切り替わり、且つその際に再生されるコンテンツは端末１２ごとに個別に指定が可能となる。例えば、端末Ａ，Ｂ，Ｃが並んでいるとして、この３台の端末に同時に同じコンテンツの再生が開始されたり、または３つの端末それぞれの画像が異なるが３画面で１枚分の意味のある画像を表現することができる。

本実施例の効果

本実施例による本発明によれば、顧客に提供するコンテンツの内容を多様化しておき、赤外線受光部の計測を解析することにより訴求効果の高いコンテンツを提供して、商品等のＰＲを効果的に行うことができる。

本実施例による本発明によれば、アンケートを用いる従来の方法による顧客関心情報を、購入しなかった客を含めて情報を得ることが出来る。

本実施例による本発明によれば、アンケートを用いる従来の方法による課題であった、顧客の余計な時間を必要とすることもなく、そのためによる顧客の回答数が少なくなることもなく、顧客がアンケート回答時に本当の気持ちを変えてしまって回答するということのなく、顧客関心情報を得ることが出来る。

本実施例による本発明によれば、顧客の店舗における行動を人間が観察して、店舗の店員がなぜ顧客がその商品等を購入しないか推定する方法での課題である、店員の個性に依存することもなく信頼性の高い顧客判断関心情報が得られ、また情報の量を増やすことも店舗に設置する端末を増やすだけで容易に増加可能であり、大勢の人間を動員する必要もなく、安価な費用で可能となった。

また、商品の販売時情報を取得可能なＰＯＳレジスタと、商品購入時の顧客の姿をカメラによって撮影するシステムでは、購入した顧客の属性からなるデータは得ることができるが、購入しなかった顧客に関するデータを得ることが出来ないという課題があったが、本発明の実施例では、購入しなかった顧客がどの位存在していたか、その理由が何であったか、また、購入した顧客がどの程度購入決断に迷ったか、またどのような仕様に注目して購入を決めたか、などの顧客判断関心情報に関するデータを得ることが出来る。

また、顧客の店舗前や店舗内の商品フィールドにおける行動をカメラ等で撮影して、この映像情報から顧客の滞留時間を含むトラッキングデータを得て、これらのデータから、その商品の店舗における販売促進に活用しようとするシステムでは得られなかった、より質の高い情報である、顧客その商品等に対してなぜ購入判断したのか、もしくは非購入の判断をしたのか、また、顧客がその商品のどのような仕様や特徴に興味を有したのか、またどのような仕様や特徴が気に入らなかったのか、等のより質の高い顧客の判断関心情報を得ることが出来る。

１１ 顧客
１２ 顧客情報収集端末
１３ 通路
１４ 該当商品
１５ 他の商品
１６ 商品棚
１７ カメラ
１８ 赤外線センサー
１９ 赤外線受光部
２１ ＰＣ部（ＰＣ部分）
２２ 映像表示部
２６ タッチスクリーン
２７ スピーカー
２８ マイク
３１ 商品情報提供部
３２ 通行顧客人数カウント部
３３ 顧客視認判断部
３４ 顧客属性推定部
３５ 顧客接近判断部
３６ 商品接触判断部
３７ 商品購入判断部
４１ カメラで捕捉された映像画面
５１ 目の特徴点
５２ 鼻の特徴点
５３ 口の特徴点
５４ 顔の輪郭の特徴点
６１ 近づいた顧客の目の特徴点
６２ 近づいた顧客の鼻の特徴点
６３ 近づいた顧客の口の特徴点
６４ 近づいた顧客の顔の輪郭の特徴点
７１ 商品棚に伸ばした顧客の手
９１ ネットワーク
９２ 各店舗の顧客情報収集端末
９３ サーバー

（１３） 顧客情報収集端末に搭載する映像表示部及び／又は音声出力部によって商品に関する情報をコンテンツとして商品展示前の通路を通行中の顧客に示すステップと、この通行中の顧客の人数をカウントするステップと、顧客情報収集端末に搭載する映像表示部の画面もしくは近接されて設置されている該当商品を視認したことを判断するステップと、前記視認した顧客の属性を推定するステップと、前記視認した顧客が顧客情報収集端末に近接されて設置されている該当商品に近づくことを判断するステップと、該当商品に接近した顧客が該当商品を手に取ったかを判断するステップと、この商品を精算のための場所に持ち運んだかを判断するステップと、を含むことを特徴とする顧客情報収集方法であって、周囲環境による物理的変化を赤外線によって計測する赤外線センサーの計測結果及び／又は外部要因による赤外線受光部により受信した受信結果に基づいて、前記コンテンツを決定するステップを有することを特徴とする顧客情報収集方法。

Claims (19)

1. 店舗に設置された商品棚の商品と隣接して配置され、商品棚前方を回遊する顧客の動向を捕捉することで顧客情報を収集可能な顧客情報収集端末であって、
   コンテンツとして顧客に提供する映像を出力する映像表示部と、
   コンテンツとして顧客に提供する音声を出力する音声出力部と、
   顧客を撮像して映像を取り込む撮像部と、
   赤外線量の物理的変化を計測する赤外線センサーと、
   を備え、
   前記撮像部の映像及び／又は前記赤外線センサーの赤外線量の変化により捕捉された顧客の動向に基づいて、前記映像表示部及び／又は前記音声出力部により顧客に対して前記コンテンツを提供する制御手段と、
   前記映像表示部及び前記音声出力部により提供する前記コンテンツを記憶する記憶手段と、を有する顧客情報収集端末において、
   前記制御手段は、前記赤外線センサーの計測結果に基づいて、顧客に提供する前記コンテンツを決定することを特徴とする顧客情報収集端末。
2. 赤外線通信用の赤外線受光部を有し、
   前記制御手段は、前記赤外線受光部により受信した受信結果に基づいてパケット信号が含まれていると判断した場合には、前記パケット信号に基づく前記コンテンツを決定することを特徴とする請求項１記載の顧客情報収集端末。
3. 前記記憶手段は、顧客の注目を惹くことを目的とする第１コンテンツと、商品の販促を目的とする第２コンテンツと、の各情報を少なくとも前記コンテンツとして格納しており、
   前記制御手段は、前記赤外線センサーの計測結果及び／又は前記赤外線受光部により受信した受信結果に基づいて、前記第１コンテンツによる映像や音声の提供を決定することを特徴とする請求項１又は２記載の顧客情報収集端末。
4. 前記記憶手段は、顧客の注目を惹くことを目的とする第１コンテンツと、顧客の性別及び年齢層に対応して商品の販促を目的とする第２コンテンツと、の各情報を少なくとも前記コンテンツとして格納しており、
   前記制御手段は、前記赤外線センサーの計測結果に基づいて前記第１コンテンツによる映像や音声を提供した後、前記撮像部の撮像により得られた画像から顧客の顔の特徴点及び顧客の顔の輪郭形状を抽出して顧客の性別及び年齢層を推定し、推定した性別及び年齢層に対応する前記第２コンテンツによる映像や音声の提供を決定することを特徴とする請求項１又は２記載の顧客情報収集端末。
5. 前記制御手段は、顧客に対して提供する商品の情報を作成する商品情報提供部と、商品棚の前の通路を通行中の顧客の人数のカウントをする通行顧客人数カウント部と、商品棚の前の通路を通行中の顧客が前記顧客情報収集端末の映像表示部の画面を視認したことを判断する顧客視認判断部と、前記視認した顧客の属性を推定する顧客属性推定部と、前記視認した顧客が前記顧客情報収集端末もしくは顧客情報収集端末に隣接されて設置されている該当商品に近づくことを判断する顧客接近判断部と、接近した顧客が該当商品を手に取ったかを判断する商品接触判断部と、該当商品を精算のための場所に持ち運んだかを判断する商品購入判断部と、からなるソフトウェアを含み、前記商品情報提供部から提供される前記コンテンツによる映像及び音声を再生する前記映像表示部及び前記音声出力部、顧客を撮像して映像を取り込む前記撮像部、顧客の手を認識する前記赤外線センサーを構成要素として含む請求項１から４のいずれか記載の顧客情報収集端末。
6. 前記商品情報提供部が、前記顧客視認判断部の結果、前記顧客属性推定部の結果、前記顧客接近判断部の結果、前記商品接触判断部の結果の少なくともいずれか一つの結果に対応して、提供する前記コンテンツをインターラクティブに変化させることを特徴とする請求項５記載の顧客情報収集端末。
7. 前記商品情報提供部により提供された情報を映し出す映像表示部の画面を顧客が視認したかを判断する顧客視認判断部が、前記撮像部によって撮影された映像情報から顧客の顔の特徴点を抽出する特徴点抽出部と、この特徴点の動きからこの顧客が商品の方を向いたかを判断する顧客顔面正対判断部と、を含むことを特徴とする請求項５記載の顧客情報収集端末。
8. 前記顧客視認判断部で視認した顧客の抽出された顔の特徴点および顧客の顔の輪郭形状から、顧客の性別、年齢層を推定する顧客属性推定部を含むことを特徴とする請求項５記載の顧客情報収集端末。
9. 前記顧客接近判断部は、前記撮像部によって撮影された映像情報から捕捉された顧客の輪郭形状が当初の形状より一定値を超えたことによって顧客が接近したと判断することを特徴とする請求項５記載の顧客情報収集端末。
10. 前記商品接触判断部は、
    前記赤外線センサーによって検出される単位時間当たりの入力量の変化量が一定の値を超えたときに、あるいは、
    前記撮像部によって撮影された映像情報から捕捉された顧客の手の特徴点を抽出したときに、
    前記顧客情報収集端末は商品棚に置かれた商品の下に設置された圧力をセンシングする圧力シートと接続され、この圧力シートが感じる圧力量が一定の値を下回ったときに、
    この顧客の手と該当する商品が接触したと判断することを特徴とする請求項５記載の顧客情報収集端末。
11. 前記商品購入判断部は、
    顧客の手と商品が接触したと判断した赤外線センサーの値が再度上がることが無かった場合に、あるいは、
    顧客によって手にとられた商品を前記撮像部で撮影し、この商品が画面の外に移動されたことで、あるいは、
    前記商品の下に敷かれた圧力シートが有する圧力センサーが感じる圧力量が一定の値を下回り一定時間内にこの値が戻らなかったときに、
    該当商品を顧客が購入手続きのためにレジまで持ち運んだと判断することを特徴とする請求項５記載の顧客情報収集端末。
12. 請求項１から１１のいずれか記載の顧客情報収集端末が複数台店舗に設置され、かつ、複数の店舗に設置され、それぞれがネットワークを介して接続され、すべての店舗の情報の収集分析を行う、顧客情報収集システム。
13. 顧客情報収集端末に搭載する映像表示部及び／又は音声出力部によって商品に関する情報をコンテンツとして商品展示前の通路を通行中の顧客に示すステップと、この通行中の顧客の人数をカウントするステップと、顧客情報収集端末に搭載する映像表示部の画面もしくは近接されて設置されている該当商品を視認したことを判断するステップと、前記視認した顧客の属性を推定するステップと、前記視認した顧客が前記商品情報収集端末に近接されて設置されている該当商品に近づくことを判断するステップと、該当商品に接近した顧客が該当商品を手に取ったかを判断するステップと、この商品を精算のための場所に持ち運んだかを判断するステップと、を含むことを特徴とする顧客情報収集方法であって、
    周囲環境による物理的変化を赤外線によって計測する赤外線センサーの計測結果及び／又は外部要因による赤外線受光部により受信した受信結果に基づいて、前記コンテンツを決定するステップを有することを特徴とする顧客情報収集方法。
14. 前記赤外線受光部による受信結果にパケット信号が含まれているか否かを判断するステップを有し、
    前記パケット信号に基づくコンテンツを顧客に提供するものとして決定することを特徴とする請求項１３記載の顧客情報収集方法。
15. 前記コンテンツとして、顧客の注目を惹くことを目的とする第１コンテンツと、商品の販促を目的とする第２コンテンツと、を少なくとも格納しており、
    前記コンテンツを決定するステップは、前記赤外線センサーの計測結果及び／又は前記赤外線受光部により受信した受信結果に基づいて、前記第１コンテンツを決定することを特徴とする請求項１３又は１４記載の顧客情報収集方法。
16. 前記コンテンツとして、顧客の注目を惹くことを目的とする第１コンテンツと、顧客の性別及び年齢層に対応して商品の販促を目的とする第２コンテンツと、を少なくとも格納しており、
    前記コンテンツを決定するステップは、前記赤外線センサーの計測結果に対応する前記第１コンテンツを決定し、
    前記撮像部の撮像により得られた画像から顧客の顔の特徴点及び顧客の顔の輪郭形状を抽出して顧客の性別及び年齢層を推定し、推定した性別及び年齢層に対応する前記第２コンテンツを決定することを特徴とする請求項１３又は１４記載の顧客情報収集方法。
17. 前記視認した顧客又は前記接近した顧客に対して、前記映像表示部の画面の内容を前記推定した属性に適合した内容の画面に変えて表示するステップを含むことを特徴とする請求項１３記載の顧客情報収集方法。
18. 前記接近した顧客に対して、前記映像表示部の画面の表面に設置されたタッチパネルにより顧客により選択された内容の画面に変えて表示するステップを含むことを特徴とする請求項１３記載の顧客情報収集方法。
19. 該当商品を手に取ったと判断された顧客に対して、前記映像表示部の画面の内容を異なる内容の画面に変えて表示するステップを含むことを特徴とする請求項１３記載の顧客情報収集方法。

Images