JP2018120344A - 接客状況分析装置および接客状況分析システム - Google Patents

Abstract

【課題】店員が接客を行ったことを精度良く判定できるようにする。【解決手段】店員特定の処理により、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、発話判定の処理により、店舗内の音声を収音した音声データから取得した音声の位置情報、および店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、接客判定の処理により、発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、接客集計の処理により、接客判定の判定結果に基づいて、接客状況に関する情報を生成する。【選択図】図５

Description

本発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置および接客状況分析システムに関するものである。

店舗では、来店した顧客に店員が声掛けや案内などの接客を行うが、この来店時の接客を迅速に行って、顧客を長時間放置しないようにすることが、顧客満足度を向上させる上で重要である。

このような店舗での店員による接客状況を把握する技術として、従来、店舗内を撮像するカメラの撮像画像から人物の位置情報を取得し、また、店員が所持する携帯端末との通信により店員の位置情報を取得して、店員以外の人物を顧客として、店員と顧客とが近くにいる場合には、店員が接客を行っていると判定する技術が知られている（特許文献１参照）。

特許第５８７９６１６号公報

しかしながら、従来技術では、店員と顧客との位置関係のみで接客を判定するため、たまたま店員が顧客の近くにいる場合のように、店員が接客していない状況でも、接客と判定してしまう誤判定が生じるおそれがあった。また、従来技術では、店員および顧客の位置が店舗マップ上に表示されるため、店員と顧客の位置関係をユーザが把握することができるが、どの位置で実際に接客が行われたかをユーザが一目で把握することができないといった問題があった。

そこで、本発明は、店員が接客を行ったことを精度良く判定することができ、さらに、店員が実際に接客を行った位置をユーザが一目で把握することができる接客状況分析装置および接客状況分析システムを提供することを主な目的とする。

本発明の接客状況分析装置は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、店舗内の音声を収音した音声データから取得した音声の位置情報、および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。

また、本発明の接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、１つまたは複数の情報処理装置と、を備え、前記１つまたは複数の情報処理装置は、前記収音装置から出力される音声データから音声の位置情報を取得し、前記撮像装置から出力される画像データから人物の位置情報を取得し、前記人物の位置情報および前記携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。

本発明によれば、接客時には声掛けや案内などで店員が発話することから、店員が発話した場合に店員が接客を行ったものと判定することで、店員が接客を行ったことを精度良く判定することができる。

本実施形態に係る接客状況分析システムの全体構成図 店舗のレイアウトと、マイク１、カメラ２およびビーコン発信機３の設置状況と、店舗に設定される分割エリアとを示す平面図 携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８の概略構成を示すブロック図 携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７で行われる処理の概要を示す説明図 分析用ＰＣ８で行われる処理の概要を示す説明図 音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８で生成する情報を示す説明図 店員特定の処理の要領を示す説明図 発話判定および接客判定の要領を示す説明図 発話判定および接客判定の手順を示すフロー図 接客ヒートマップ表示画面を示す説明図 ヒートマップ画像８１の表示要素と画像属性との関係を示す説明図 統計情報表示画面に表示される一覧表の一例を示す説明図 統計情報表示画面に表示されるグラフの一例を示す説明図

前記課題を解決するためになされた第１の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、店舗内の音声を収音した音声データから取得した音声の位置情報、および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。

これによると、接客時には声掛けや案内などで店員が発話することから、店員が発話した場合に店員が接客を行ったものと判定することで、店員が接客を行ったことを精度良く判定することができる。

また、第２の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行った位置である接客ポイントを取得する構成とする。

これによると、店員が実際に接客を行った位置をユーザが容易に把握することができる。

また、第３の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情報に基づいて、店員の位置または店員と顧客との中央位置を、前記接客ポイントとして取得する構成とする。

これによると、適切な接客ポイントをユーザに提示することができる。

また、第４の発明は、前記プロセッサは、店舗内の監視エリアに少なくとも１つ設定された測定エリアを対象にして、前記接客ポイントでの接客状況に関する統計情報を生成し、その統計情報を可視化した画像を店舗マップ画像に重畳した画面情報を出力する構成とする。

これによると、店員が実際に接客を行った位置と、その位置での接客状況と、をユーザが一目で把握することができる。

また、第５の発明は、前記測定エリアは、監視エリアを複数に均等分割した分割エリアである構成とする。

これによると、監視エリアの全体を対象にして、店員が実際に接客を行った位置と、その位置での接客状況と、をユーザが一目で把握することができる。

また、第６の発明は、前記統計情報は、接客時間、接客回数および接客人数の各要素の少なくとも１つを含む構成とする。

これによると、接客時間、接客回数および接客人数が画像で可視化されるため、接客時間、接客回数および接客人数をユーザが一目で把握することができる。

また、第７の発明は、前記統計情報を表わす画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、任意の２つの要素を異なる属性で表した１つの定形画像である構成とする。

これによると、統計情報を表わす画像を店舗マップ画像上でユーザが容易に識別することができる。

また、第８の発明は、前記定形画像は、前記店舗マップ画像上に透過状態で重畳される構成とする。

これによると、定形画像が重畳された位置でも店舗マップ画像が透けて見えるため、接客状況をユーザが容易に把握することができる。

また、第９の発明は、前記定形画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、１つの要素が前記定形画像の大きさで表現され、もう１つの要素が前記定形画像の塗りつぶしの色合いまたは色の濃さのいずれかで表現される構成とする。

これによると、定形画像により表現される接客時間、接客回数および接客人数をユーザが一目で把握することができる。

また、第１０の発明は、前記プロセッサは、前記携帯端末装置に付与された端末識別情報に基づいて店員を識別して、店員別の前記接客ポイントを取得する構成とする。

これによると、店員別の接客ポイントをユーザに提示することができる。

また、第１１の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、１つまたは複数の情報処理装置と、を備え、前記１つまたは複数の情報処理装置は、前記収音装置から出力される音声データから音声の位置情報を取得し、前記撮像装置から出力される画像データから人物の位置情報を取得し、前記人物の位置情報および前記携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。

これによると、第１の発明と同様に、店員が接客を行ったことを精度良く判定することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る接客状況分析システムの全体構成図である。

この接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成するものであり、マイク１（収音装置）と、カメラ２（撮像装置）と、ビーコン発信機３と、携帯端末４（携帯端末装置）と、音声処理用ＰＣ５（情報処理装置）と、画像処理用ＰＣ６（情報処理装置）と、測位管理サーバ７と、分析用ＰＣ８（接客状況分析装置、情報処理装置）と、閲覧端末９と、を備えている。

マイク１、カメラ２、音声処理用ＰＣ５、画像処理用ＰＣ６は、店舗内ネットワークに接続されている。店舗内ネットワークはゲートウェイ１１を介して外部ネットワークに接続されている。携帯端末４は、無線ＬＡＮなどの公衆アクセスポイント１２を介して外部ネットワークに接続されている。分析用ＰＣ８、測位管理サーバ７、閲覧端末９は、外部ネットワークに接続されている。

マイク１は、店舗内に設置され、店舗内に滞在する人物（店員や顧客）が発話する音声を収音する。このマイク１は、全方向の音声を収音する、いわゆる全方位マイクであり、複数（例えば１６個）のマイク素子（収音素子）が円形状に等間隔に配置されたマイクアレイを備えている。このマイク１では、店舗内の音声を複数のマイク素子で収音して、複数のチャネルの音声データを生成して、この音声データを音声処理用ＰＣ５に送信する。

カメラ２は、店舗内に設置され、店舗内に滞在する人物（店員や顧客）を撮像し、また、店舗に来店する人物を撮像する。このカメラ２は、全方位を撮像する、いわゆる全方位カメラである。このカメラ２では、店舗内を撮像して画像データを生成して、この画像データを画像処理用ＰＣ６に送信する。

音声処理用ＰＣ５は、マイク１から送信される音声データを受信して、その音声データに対して音声処理を行う。本実施形態では、音源の位置を特定する音声検出（音源位置検出）を行い、店舗内の音声レベルの分布状況、すなわち、どこでどの程度の音声が鳴っているかを表す音声ヒートマップ情報を生成して、その音声ヒートマップ情報を分析用ＰＣ８に送信する。

画像処理用ＰＣ６は、カメラ２から送信される画像データを受信して、その画像データに対して画像処理を行う。本実施形態では、画像データから店舗内に滞在する人物を検出して、人物ごとの位置情報を取得して、その位置情報を分析用ＰＣ８に送信する。

ビーコン発信機３は、店舗内に複数設置され、測位用のビーコン信号を送信する。

携帯端末４は、スマートフォンなどであり、店員が所持する。この携帯端末４では、ビーコン発信機３から送信されるビーコン信号を用いた測位を行って自装置の位置情報を取得して、その位置情報を測位管理サーバ７に送信する。

なお、本実施形態では、ビーコン発信機３が発するビーコン信号で、携帯端末４の測位を行うようにしたが、ＧＰＳ（Global Positioning System）などの衛星測位システムなどの他の測位システムでで、携帯端末４の測位を行うようにしてもよい。

測位管理サーバ７は、携帯端末４ごとの位置情報を携帯端末４から収集して、携帯端末４ごとの位置情報を管理し、その携帯端末４ごとの位置情報を分析用ＰＣ８に送信する。

分析用ＰＣ８は、音声処理用ＰＣ５から音声ヒートマップ情報を取得し、また、画像処理用ＰＣ６から人物ごとの位置情報を取得し、また、測位管理サーバ７から携帯端末４ごとの位置情報を取得し、これらの情報に基づいて、店舗での顧客に対する店員の接客状況に関する分析を行い、接客状況を表す情報を生成する。

閲覧端末９は、ＰＣやスマートフォンやタブレット端末などであり、ユーザ、例えばスーパーバイザーなどの本部側の管理者や店長などの店舗側の管理者が操作するものであり、分析用ＰＣ８にアクセスすることで、分析用ＰＣ８で生成した接客状況に関する情報をユーザが閲覧することができる。なお、分析用ＰＣ８とは別に情報配信専用のサーバを設けるようにしてもよい。

また、チェーン店などのように管理する店舗が複数ある場合には、分析用ＰＣ８では、複数の店舗ごとの音声処理用ＰＣ５および画像処理用ＰＣ６ならびに測位管理サーバ７から各店舗の情報を収集して、店舗ごとの接客状況に関する情報を生成する。

次に、店舗の一例について説明する。図２は、店舗のレイアウトと、マイク１、カメラ２およびビーコン発信機３の設置状況と、店舗に設定される分割エリアとを示す平面図である。

店舗には、出入口、発券機、ソファ、什器（陳列棚や陳列台など）、テーブル、カウンタ、トイレ、作業室、バックヤードなどが設けられている。顧客は、出入口から店舗内に入店し、発券機で番号札を受け取り、ソファに座ったり、什器に陳列されている商品を見たりして、呼び出しがあるまで待機し、呼び出しを受けると、カウンタで商品の購入や契約などの手続きを行う。店員は、顧客が店舗内に入店すると、発券機の案内や什器に陳列されている商品の説明などの接客を行ったり、カウンタで接客を行ったりする。

また、店舗には、マイク１、カメラ２およびビーコン発信機３が設置されている。図２に示す例では、マイク１およびカメラ２が一体の装置として構成され、店舗内の天井などの適宜な位置に設置されており、マイク１が、店舗内に滞在する店員や顧客が発話する音声を収音し、カメラ２が、店舗内に滞在する店員や顧客を撮像し、また、店舗に来店する顧客を撮像する。また、ビーコン発信機３は、店舗内の適宜な位置に複数設置されており、このビーコン発信機３から送信されるビーコン信号が、店員が所持する携帯端末４で受信される。

また、本実施形態では、監視エリアの店舗マップ上に、監視エリアを格子状に均等分割した所定の大きさ（例えば５０ｃｍ四方）の複数のセル（分割エリア）が設定されており、このセルを単位として、分析用ＰＣ８で各種の処理が行われる。

次に、本接客状況分析システムで行われる処理について説明する。図３は、携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８の概略構成を示すブロック図である。図４は、携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７で行われる処理の概要を示す説明図である。図５は、分析用ＰＣ８で行われる処理の概要を示す説明図である。図６は、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８で生成する情報を示す説明図である。図７は、店員特定の処理の要領を示す説明図である。図８は、発話判定および接客判定の要領を示す説明図である。図９は、発話判定および接客判定の手順を示すフロー図である。

図３に示すように、携帯端末４は、ビーコン受信部２１と、通信部２２と、プロセッサ２３と、記憶部２４と、を備えている。

ビーコン受信部２１は、ビーコン発信機３から送信されるビーコン信号を受信して、そのビーコン信号の電波強度を測定する。

通信部２２は、測位管理サーバ７との間で通信を行う。本実施形態では、プロセッサ２３で取得した位置情報を測位管理サーバ７に送信する。

記憶部２４は、端末ＩＤなどを記憶する。また、記憶部２４は、プロセッサ２３で実行するプログラムを記憶する。

プロセッサ２３は、記憶部２４に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、ビーコン測位の処理を行う。

ビーコン測位では、複数のビーコン発信機３からのビーコン信号の電波強度に基づいて、携帯端末４の位置情報（緯度、経度、高度など）を取得する。この処理では、例えば、予め測定された各位置でのビーコン発信機３ごとの電波強度を表す電波強度分布情報を用いて、ビーコン受信部２１で取得したビーコン発信機３ごとの電波強度から、携帯端末４の位置情報を取得する。

測位管理サーバ７は、図４に示すように、各携帯端末４から送信される位置情報を受信して、携帯端末４ごとの位置情報を収集し、各時刻における各携帯端末４の位置を表す端末別位置情報を生成して、その端末別位置情報を分析用ＰＣ８に送信する。この端末別位置情報には、図６（Ａ）に示すように、時刻、端末ＩＤ、位置座標の各情報が含まれる。

図３に示すように、音声処理用ＰＣ５は、通信部３１と、プロセッサ３２と、記憶部３３と、を備えている。

通信部３１は、マイク１および分析用ＰＣ８との間で通信を行う。本実施形態では、マイク１から送信される音声データを受信する。また、プロセッサ３２で生成した音声ヒートマップ情報を分析用ＰＣ８に送信する。

記憶部３３は、マイク１から取得した音声データなどを記憶する。また、記憶部３３は、プロセッサ３２で実行するプログラムを記憶する。

プロセッサ３２は、記憶部３３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、音声検出（音源位置検出）の処理を行う。

図４に示すように、音声検出の処理では、マイク１から取得した複数（例えば１６）のチャネルの音声データに基づいて、各位置における音声レベル（例えば４段階）を取得して、音声ヒートマップ情報を生成する。このとき、指向性を制御することで各方向の音声を取得することができ、複数のチャネルの音声データの位相差に基づいて、各位置の音声レベルを取得する。

本実施形態では、監視エリアを格子状に分割したセル単位で音声レベルを取得し、図６（Ｅ）に示すように、各時刻における各セルでの音声レベルを表す音声ヒートマップ情報を生成する。この音声ヒートマップ情報を可視化すると、図８（Ａ）に示すようになる。

なお、本実施形態では、図２に示すように、分析用ＰＣ８において、接客状況に関する分析処理をセル単位で行うが、この分析処理で用いられるセルと、音声ヒートマップ情報で用いられるセルとは、必ずしも同一の大きさとする必要はない。

図３に示すように、画像処理用ＰＣ６は、通信部４１と、プロセッサ４２と、記憶部４３と、を備えている。

通信部４１は、カメラ２および分析用ＰＣ８との間で通信を行う。本実施形態では、カメラ２から送信される画像データを受信する。また、プロセッサ４２で生成した人物別位置情報を分析用ＰＣ８に送信する。

記憶部４３は、カメラ２から取得した画像データなどを記憶する。また、記憶部４３は、プロセッサ４２で実行するプログラムを記憶する。

プロセッサ４２は、記憶部４３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、人物検出の処理を行う。

図４に示すように、人物検出の処理では、カメラ２から取得した画像データに含まれる撮像画像（フレーム）から人物を検出して、その人物の位置情報を取得して、各時刻における人物の位置を表す人物別位置情報を生成する。この人物別位置情報には、図６（Ｂ）に示すように、時刻、人物ＩＤ、位置座標の各情報が含まれる。

図３に示すように、分析用ＰＣ８は、通信部５１と、プロセッサ５２と、記憶部５３と、を備えている。

通信部５１は、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７との間で通信を行う。本実施形態では、音声処理用ＰＣ５から送信される音声ヒートマップ情報を受信する。また、画像処理用ＰＣ６から送信される人物別位置情報を受信する。また、測位管理サーバ７から送信される端末別位置情報を受信する。

記憶部５３は、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７から取得した情報や、プロセッサ５２で生成した情報などを記憶する。また、記憶部５３は、プロセッサ５２で実行するプログラムを記憶する。

プロセッサ５２は、記憶部５３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、店員特定、発話判定、接客判定、第１の接客集計、第２の接客集計、来店集計、顧客集計および店員集計の各処理を行う。

図５に示すように、店員特定の処理では、測位管理サーバ７から取得した端末別位置情報と、画像処理用ＰＣ６から取得した人物別位置情報と、に基づいて、人物別位置情報の各人物が店員であるか否かを判定して、店員別位置情報および顧客別位置情報を生成する。この顧客別位置情報および店員別位置情報には、図６（Ｂ）に示すように、時刻、人物ＩＤ、位置座標の各情報が含まれる。

この店員特定の処理では、図７（Ａ）に示すように、端末別位置情報において携帯端末４が存在する位置と、図７（Ｂ）に示すように、人物別位置情報において人物が存在する位置と、を比較して、携帯端末４の近傍に人物が存在する場合に、図７（Ｃ）に示すように、その人物を店員と判定する。また、図７（Ｄ）に示すように、店員と判定された人物以外の人物を顧客と判定する。そして、店員と判定された人物に関する人物別位置情報を店員別位置情報とし、顧客と判定された人物に関する人物別位置情報を顧客別位置情報とする。

なお、測位管理サーバ７から取得した端末別位置情報から店員別位置情報を生成することも可能であるが、カメラ２の画像から取得した人物別位置情報の方が、ビーコン測位による端末別位置情報より精度が高いため、人物別位置情報から店員別位置情報を生成するようにするとよい。

図５に示すように、発話判定の処理では、店員特定の処理で取得した店員別位置情報および顧客別位置情報と、音声処理用ＰＣ５から取得した音声ヒートマップ情報と、に基づいて、店員が発話したか否かを判定して、顧客別位置発話情報および店員別位置発話情報を生成する。

店員別位置発話情報および顧客別位置発話情報は、図６（Ｃ）に示すように、図６（Ｂ）に示す店員別位置情報および顧客別位置情報に、停留時間、および発話の有無の各情報を付加したものである。なお、停留時間は、ある位置に留まっている時間である。

この発話判定の処理では、図８（Ａ）に示すように、音声ヒートマップ情報において音声が検出された位置と、図８（Ｂ）に示すように、店員別位置情報において店員が存在する位置と、を比較して、図８（Ｃ）に示すように、店員が存在する位置で、所定レベル以上の音声が検出された場合には、その位置で店員が発話したものと判定する。

本実施形態では、監視エリアを格子状に分割したセル単位で判定を行い（図２参照）、図９に示すように、店員が存在するセルで、所定レベル以上の音声が検出された場合に（ＳＴ１０２でＹｅｓ）、店員が発話したものと判定する（ＳＴ１０３）。

なお、店員が歩行している状態では、足音を発話と誤判定するおそれがあるため、店員が停止している状態で、所定レベル以上の音声が検出された場合に、店員が発話したものと判定するようにするとよい。

図５に示すように、接客判定の処理では、発話判定の処理で取得した店員別位置発話情報および顧客別位置発話情報に基づいて、店員が接客を行ったか否かを判定して、店員別位置発話接客情報および顧客別位置発話接客情報を取得する。

店員別位置発話接客情報および顧客別位置発話接客情報は、図６（Ｄ）に示すように、図６（Ｃ）に示す店員別位置発話情報および顧客別位置発話情報に、接客の有無および応対人数の各情報を付加したものである。なお、応対人数は、顧客別位置発話接客情報では、接客している店員の人数であり、店員別位置発話接客情報では、接客されている顧客の人数である。

この接客判定の処理では、図８（Ｄ）に示すように、店員別位置発話情報において発話した店員が存在する位置と、顧客別位置発話情報において顧客が存在する位置とを比較して、店員と顧客との距離が所定範囲（例えば５０ｃｍ）内であれば、店員が顧客に対して接客を行ったものと判定する。このとき、店員が発話する状態が所定時間以上継続したことを条件にして、店員が接客を行ったか否かを判定する。

本実施形態では、セル単位で判定を行い、図９に示すように、同一のセルで店員が発話する状態が所定時間以上継続し（ＳＴ２０２でＹｅｓ）、かつ、店員と顧客とが同一のセルに所定時間以上継続して滞在した場合に（ＳＴ２０３でＹｅｓ）、店員が接客を行ったものと判定する（ＳＴ２０４）。

なお、接客時には発話が断続的に行われることから、店員の発話状態の判定（ＳＴ２０２）では、所定時間内に店員の発話が所定割合以上検知された否かを判定するようにするとよい。

図５に示すように、第１の接客集計では、顧客別位置発話接客情報に基づいて、顧客が出入口から入店した時刻（入店時刻）と、店員が最初の接客（声掛けなどのファーストコンタクト）に着手した時刻（接客着手時刻）と、を取得して、入店時刻と接客着手時刻とに基づいて、顧客が入店してから店員が最初の接客に着手するまでの所要時間である接客着手時間を算出する。

また、第１の接客集計の処理では、接客着手時間の平均値を算出する。このとき、店員および店舗を集計対象として、店員ごとに接客着手時間を集計して、店員ごとの平均値を算出し、また、店舗ごとに接客着手時間を集計して、店舗ごとの平均値を算出する。

第２の接客集計の処理では、接客判定の処理で取得した店員別位置発話接客情報に基づいて、店員ごとの接客回数、接客時間、および接客ポイント（接客が行われた位置）、接客人数を取得する。

具体的には、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、店員ごとの接客回数を取得する。

また、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、接客の開始時刻および終了時刻を取得して、接客時間を取得する。なお、集計期間において店員が接客を複数回行った場合には、各回の接客時間の合計値を取得する。

また、店員別位置発話接客情報に含まれる各時刻の店員の位置および接客の有無に基づいて、接客ポイントを取得する。この場合、店員の位置が接客ポイントとなる。なお、顧客位置発話接客情報も加味して接客ポイントを取得するようにしてもよい。すなわち、顧客が一人の場合、顧客位置発話接客情報に含まれる顧客の位置に基づいて、店員と顧客との間の中間点を接客ポイントとしてもよい。

来店集計の処理では、画像処理用ＰＣ６から取得した人物別位置情報に基づいて、来店人数を取得する。本実施形態では、撮像画像における店舗の出入口の近傍に計測ラインを設定して、人物の位置情報に基づく人物の動線が、計測ラインに対して入店方向で交差することで、人物が来店したことを検知し、来店した人物をカウントして、来店人数を取得する。

なお、計測ラインの代わりに計測エリアを設定して、この計測エリアに対する動線の交差状況に基づいて、人物の来店を検知するようにしてもよい。

また、来店集計の処理では、来店構成人数ごとの組数、すなわち、何人構成の顧客が何組来店したかを取得する。このとき、人物ごとの入店時刻を取得して、人物同士の入店間隔が所定時間（例えば５秒間）以内である場合には、グループで来店したものと判定する。また、発券機で番号札を受け取る時刻に基づいてグループ代表者を特定し、そのグループ構成を把握するようにしてもよい。

顧客集計の処理では、店員特定の処理で取得した顧客別位置情報に基づいて、滞在時間および滞在人数を取得する。このとき、各顧客が各セル（分割エリア）に滞在している時間を合計して、セルごとの滞在時間を取得する。また、各顧客が各セルに滞在している期間を集計して、セルごとの滞在人数を取得する。

店員集計の処理では、測位管理サーバ７から取得した端末位置情報に基づいて、各店員の運動量、休憩回数および休憩時間、ならびに実働店員人数を取得する。このとき、各店員の携帯端末４の位置情報に基づいて、各店員の移動量を算出して、各店員の運動量を取得する。また、各店員の携帯端末４の位置情報に基づいて、各店員がバックヤードや店舗外に滞在している休憩期間を取得して、各店員の休憩回数および休憩時間を取得する。また、各店員の勤務期間から休憩期間を除いた実働期間を集計して、単位時間ごとの実働店員人数を取得する。

画面生成の処理では、接客ヒートマップ表示画面（図１０参照）の画面情報を生成する。このとき、第２の接客集計の処理で取得した統計情報（接客時間、接客人数および接客回数）に基づいて、各時刻のヒートマップ画像８１を生成して、店舗マップ画像８２上に重畳する。また、店員別位置発話接客情報および顧客別位置発話接客情報に含まれる店員および顧客の位置情報に基づいて、各時刻の店員および顧客の動線８４の画像を生成して、この動線８４の画像および人物マーク８５を店舗マップ画像８２上に重畳する。また、ファーストタッチの時刻（接客着手時刻）および位置に基づいて、ファーストタッチのマーク８７を店舗マップ画像８２上に重畳する。

また、画面生成の処理では、第１の接客集計、第２の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に基づいて、各種の一覧表（図１２参照）や各種のグラフ（図１３参照）を生成して、この一覧表やグラフが表示される統計情報画面の画面情報を生成する。

次に、閲覧端末９に表示される接客ヒートマップ表示画面について説明する。図１０は、接客ヒートマップ表示画面を示す説明図である。図１１は、ヒートマップ画像８１の表示要素と画像属性との関係を示す説明図である。

図１０に示すように、接客ヒートマップ表示画面には、検索条件設定部６１と、メニュー表示ボタン６２と、接客ヒートマップ表示部６３と、映像表示部６４と、再生操作部６５と、が設けられている。

検索条件設定部６１は、検索条件、すなわち、接客ヒートマップ表示部６３の表示対象を絞り込むフィルタリングの条件を設定するものであり、設定した検索条件に該当する情報のみが接客ヒートマップ表示部６３に表示される。

この検索条件設定部６１には、項目設定部７１と、店員設定部７２と、顧客設定部７３と、エリア設定部７４と、期間設定部７５と、範囲設定部７６と、「検索」のボタン７７と、が設けられている。

項目設定部７１は、接客ヒートマップ表示部６３に表示させる項目をユーザが選択する。本実施形態では、ヒートマップ、動線、およびファーストタッチの各項目を選択することができる。ヒートマップの項目を選択すると、ヒートマップ画像８１が表示され、動線の項目を選択すると、動線８４および人物マーク８５が表示され、ファーストタッチの項目を選択すると、ファーストタッチのマーク８７が表示される。

店員設定部７２は、接客ヒートマップ表示部６３の表示対象となる店員をユーザが選択するものであり、ここでユーザが選択した店員の接客事象に関する情報が接客ヒートマップ表示部６３に表示される。

顧客設定部７３は、接客ヒートマップ表示部６３に顧客に関する情報を表示させるか否かをユーザが指定するものである。

エリア設定部７４は、接客ヒートマップ表示部６３の表示対象となる場所をユーザが選択するものであり、ここでユーザが選択した場所で発生した接客事象に関する情報が接客ヒートマップ表示部６３に表示される。なお、選択可能な場所は、少なくとも１つのセルを用いて、ユーザが場所名称と共に設定しておくことができる。

期間設定部７５は、接客ヒートマップ表示部６３の表示対象となる期間（年月日、開始時刻、終了時刻）をユーザが指定するものであり、ここでユーザが指定した期間に発生した接客事象に関する情報が接客ヒートマップ表示部６３に表示される。

範囲設定部７６は、接客ヒートマップ表示部６３の表示対象となる統計情報の範囲をユーザが指定するものであり、ここでユーザが指定した統計情報の範囲に該当する情報が接客ヒートマップ表示部６３に表示される。

接客時間の項目では、接客時間の範囲（下限値および上限値）を指定することで、接客時間が指定した範囲となる接客事象に関する情報が表示される。また、接客着手時間の項目では、接客着手時間の範囲（下限値および上限値）を指定することで、接客着手時間が指定した範囲となる接客事象に関する情報が表示される。また、顧客人数の項目では、顧客人数の範囲（下限値および上限値）を指定することで、顧客人数が指定した範囲となる期間に関する情報が表示される。また、店員の項目では、店員人数の範囲（下限値および上限値）を指定することで、店員人数が指定した範囲となる期間に関する情報が表示される。

以上のような検索条件設定部６１でユーザが各種の検索条件を指定する操作を行って「検索」のボタン７７を操作すると、指定した検索条件に基づいて、表示対象のフィルタリングが行われて、指定した検索条件に該当する情報が接客ヒートマップ表示部６３に表示される。

メニュー表示ボタン６２を操作すると、接客ヒートマップ、グラフ、および設定などを選択するメニューが表示される。ここで、他の画面を表示中に接客ヒートマップを選択すると、この接客ヒートマップ表示画面に遷移し、グラフを選択すると、グラフを表示する画面（図１３参照）に遷移し、設定を選択すると、各種のパラメータ（しきい値など）を設定する画面に遷移する。

接客ヒートマップ表示部６３には、接客ポイント（店員が接客を行った位置）を表す画像として、ヒートマップ画像８１（定形画像）が、店舗のレイアウトを表す店舗マップ画像８２上に表示される。

また、ヒートマップ画像８１は、店舗マップ画像８２上に透過状態で重畳され、ヒートマップ画像８１が重畳された位置でも、店舗マップ画像８２が透けて見えるようになっている。

また、このヒートマップ画像８１は、接客ポイントを示すとともに接客状況に関する統計情報を可視化するものであり、統計情報に応じて表示形態が変化する。本実施形態では、統計情報として、接客時間、接客人数および接客回数の各要素の少なくとも１つをヒートマップ画像８１で表現する。さらに、本実施形態では、接客時間、接客人数および接客回数の各要素のうち、任意の２つの要素を異なる画像属性で表現する。さらに、本実施形態では、接客時間、接客人数および接客回数の各要素のうち、１つの表示要素をヒートマップ画像８１の大きさで表現し、もう１つの表示要素をヒートマップ画像８１の塗りつぶしの色合いまたは色の濃さのいずれかで表現する。

図１１に示す例では、接客回数がヒートマップ画像８１の大きさで表現され、接客時間がヒートマップ画像８１の塗りつぶし色の濃さで表現され、接客回数が増えると、ヒートマップ画像８１が大きくなり、接客時間が長くなると、ヒートマップ画像８１の塗りつぶし色が濃くなる。また、接客時間を色合いで表現するようにしてもよく、例えば、接客時間が長くなると、ヒートマップ画像８１が青色から赤色に変化する。この場合、複数のしきい値を設定して、ヒートマップ画像８１の色合いが段階的に変化する、例えば、ヒートマップ画像８１が青色から緑色、黄色、赤色に段階的に変化するようにしてもよい。

また、色合いや色の濃さをヒートマップ画像８１の全体で均一としてもよいが、ヒートマップ画像８１内で色合いや色の濃さが異なる領域を、接客時間の長さに応じて変化させるようにしてもよい。例えば、接客時間の長さに応じて、ヒートマップ画像８１の中心部から赤色の領域が広がるように表示すれば、赤色の領域の大きさで接客時間の長さをユーザが把握することができる。

また、本実施形態では、セル単位で統計情報の集計が行われ、セル単位の統計情報を可視化したヒートマップ画像８１がセルの中心位置に表示される。このため、ヒートマップ画像８１をセルより大きく表示するようにすると、ヒートマップ画像８１が重なり合うように表示される。

ここで、本実施形態では、ユーザが指定した集計期間（検索期間）で統計情報（接客時間、接客人数および接客回数）の集計が行われ、集計期間内に同じ位置（セル）で複数回の接客が行われた場合には、集計期間における複数回の接客時の情報を累積して取得した統計情報がヒートマップ画像８１で表現される。このようにすると、集計期間における店舗内の各位置（セル）での接客の頻度、すなわち、店舗内のどこで接客がどの程度行われているかをユーザが確認することができる。

なお、ヒートマップ画像８１が、１回の接客時の状況を表すものとしてもよい。この場合、１回の接客の度にヒートマップが表示され、１回の接客が継続している間はヒートマップが表示され、１回の接客が終わると、ヒートマップが消失する。この場合、ヒートマップ画像８１は接客時間を表すものとするとよく、１回の接客が継続すると、接客時間の長さに応じて、ヒートマップ画像８１の表示形態（例えば色合い）が次第に変化する。このようにすると、各回の接客の状況を確認することができる。

また、ユーザが指定した検索期間より短い期間を統計情報の集計期間として、再生時刻から過去に遡った集計期間での統計情報をヒートマップ画像８１で表現するようにしてもよい。この場合、再生時刻が進むのに応じて集計期間が移動（更新されるように）する。

また、本実施形態では、ヒートマップ画像８１の形状を円形としたが、ヒートマップ画像８１の形状は円形に限定されるものではなく、矩形などの他の形状としてもよい。

また、図１０に示すように、接客ヒートマップ表示部６３には、人物（店員および顧客）の行動状況を表す画像として、人物が移動した軌跡を描画した動線８４が店舗マップ画像８２上に表示される。また、動線８４の終端には人物マーク８５が表示される。この人物マーク８５は、再生時刻での人物の位置を示している。

動線８４は、人物ごとに異なる色で表示される。また、店員と顧客とを容易に識別できるように、人物ごとの動線８４の配色を行うとよい。例えば、店員の動線８４を寒色系の色で表示し、顧客の動線８４を暖色系の色で表示するようにするとよい。

また、接客ヒートマップ表示部６３には、ファーストタッチ（最初の接客）の位置を表す画像として、店舗マップ画像８２上のファーストタッチが行われた位置の近傍に、ファーストタッチのマーク８７が表示される。

映像表示部６４には、カメラ２の撮像映像が表示される。本実施形態では、カメラ２が、魚眼レンズを用いた全方位カメラであるため、映像表示部６４には魚眼映像が表示される。この映像表示部６４に表示される撮像映像により、接客ヒートマップ表示部６３でヒートマップ画像８１や動線８４を再生している最中に、注目するタイミングでの店舗内の実際の状況を確認することができる。なお、映像表示部６４は、ユーザの好みに応じて、非表示にしたり、別ウィンドウで拡大表示したりするようにしてもよい。

再生操作部６５には、再生停止ボタン９１が設けられており、この再生停止ボタン９１を操作することで、接客ヒートマップ表示部６３の動画像（ヒートマップ画像８１、動線８４など）の再生および停止を行うことができる。この再生停止ボタン９１で再生を開始すると、再生時刻の進行に応じて動画像が変化する。すなわち、店員や顧客が存在する位置に人物マーク８５が出現し、店員や顧客が移動するのに応じて、店員や顧客の動線８４が徐々に延びる。そして、店員が接客を始めると、ヒートマップ画像８１が出現し、ファーストタッチであればマーク８７が出現する。また、接客時間や接客回数が増えるのに応じて、ヒートマップ画像８１の形態（大きさや色など）が徐々に変化する。

また、再生操作部６５には、バー９２に沿って移動するスライダ９３が設けられており、このスライダ９３をずらす操作を行うことで、再生時刻を調整することができる。また、バー９２の両端部には、集計期間の開始時刻および終了時刻が表示され、スライダ９３の近傍には、再生時刻が表示される。

次に、閲覧端末９に表示される統計情報表示画面について説明する。図１２は、統計情報表示画面に表示される一覧表の一例を示す説明図である。図１３は、統計情報表示画面に表示されるグラフの一例を示す説明図である。

本実施形態では、接客着手時間を所定単位（例えば１０秒間）で区切ることで、接客着手時間の長さに関する複数のレベルが設定され、第２の接客集計の処理（図５参照）では、接客着手時間が各レベルとなる回数をカウントして、レベルごとの接客回数を取得する。また、第１の接客集計の処理（図５参照）では、レベルごとに接客着手時間を集計して、レベルごとの平均接客着手時間（各回の接客着手時間の平均値）を取得する。

このとき、接客着手時間の集計を店員別に行うことで、図１２（Ａ）に示すように、店員ごとの接客回数および平均接客着手時間に関する一覧表を取得することができる。また、接客着手時間の集計をセル（分割エリア）別に行うことで、図１２（Ｂ）に示すように、セルごとの接客回数および平均接客着手時間に関する一覧表を取得することができる。この一覧表は、画面生成の処理（図５参照）で、画面表示することができる。

また、本実施形態では、図１３に示すように、画面生成の処理（図５参照）で、第１の接客集計、第２の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に関するグラフを生成して、画面表示することができる。

図１３（Ａ）に示す例では、ある店舗での日（曜日）ごとの接客着手時間（平均値）が棒グラフで表示されている。なお、単位期間を時間帯として、時間帯ごとの接客着手時間をグラフで表示するようにしてもよい。また、店員に関する単位期間ごとの接客着手時間をグラフで表示するようにしてもよい。

また、図１３（Ｂ）に示す例では、店員ごとの接客回数および店員運動量が棒グラフで表示され、店員ごとの売上が折れ線グラフで表示されている。図１３（Ｃ）に示す例では、時間帯ごとの来店人数および店員人数が棒グラフで表示され、時間帯ごとの接客ロス率が折れ線グラフで表示されている。

なお、売上は、本接客状況分析システムをＰＯＳ（販売情報管理システム）と連携させることで、ＰＯＳから取得することができる。また、接客ロス率は、来店した人物のうちで店員が接客しないまま退店した人物の割合であり、来店集計の処理で取得した来店人数と、接客判定の処理で取得した接客済みの顧客の人数と、に基づいて算出することができる。

また、図１３に示す例と同様に、図１２に示す一覧表をグラフで表示するようにしてもよい。また、店員およびエリアごとの統計情報を店舗全体で集計することで、店舗全体の統計情報を取得することができるが、複数の店舗から収集した情報に基づいて、複数の店舗ごとの統計情報をグラフや一覧表で表示するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、音声処理用ＰＣ５と、画像処理用ＰＣ６と、測位管理サーバ７と、分析用ＰＣ８と、を備えた構成としたが、これらの装置の各機能は、かならずしも単一の情報処理装置で実現する必要はなく、適宜に１つまたは複数の情報処理装置に統合することができる。また、分析用ＰＣの機能を複数の情報処理装置で分担することも可能である。また、マイク１およびカメラ２が一体の監視カメラを多機能化し、音声処理用ＰＣ５や画像処理用ＰＣ６を介さずに、監視カメラのプロセッサが、人物別位置情報や音声ヒートマップを生成して、分析用ＰＣ８へ送信するようにすることも可能である。

本発明に係る接客状況分析装置および接客状況分析システムは、店員が接客を行ったことを精度良く判定することができ、さらに、店員が実際に接客を行った位置をユーザが一目で把握することができる効果を有し、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置および接客状況分析システムなどとして有用である。

１ マイク（収音装置）
２ カメラ（撮像装置）
３ ビーコン発信機
４ 携帯端末（携帯端末装置）
５ 音声処理用ＰＣ（情報処理装置）
６ 画像処理用ＰＣ（情報処理装置）
７ 測位管理サーバ
８ 分析用ＰＣ（接客状況分析装置、情報処理装置）
９ 閲覧端末
１１ ゲートウェイ
１２ 公衆アクセスポイント
５２ プロセッサ
６３ 接客ヒートマップ表示部
８１ ヒートマップ画像（定形画像）
８２ 店舗マップ画像
８４ 動線
８５ 人物マーク
８７ ファーストタッチのマーク

Claims (11)

1. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、
   前記プロセッサは、
   店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、
   店舗内の音声を収音した音声データから取得した音声の位置情報、および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、
   前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、
   その判定結果に基づいて、前記接客状況に関する情報を生成することを特徴とする接客状況分析装置。
2. 前記プロセッサは、
   前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行った位置である接客ポイントを取得することを特徴とする請求項１に記載の接客状況分析装置。
3. 前記プロセッサは、
   前記発話位置情報および前記顧客の位置情報に基づいて、店員の位置または店員と顧客との中央位置を、前記接客ポイントとして取得することを特徴とする請求項２に記載の接客状況分析装置。
4. 前記プロセッサは、
   店舗内の監視エリアに少なくとも１つ設定された測定エリアを対象にして、前記接客ポイントでの接客状況に関する統計情報を生成し、その統計情報を可視化した画像を店舗マップ画像に重畳した画面情報を出力することを特徴とする請求項２または請求項３のいずれかに記載の接客状況分析装置。
5. 前記測定エリアは、監視エリアを複数に均等分割した分割エリアであることを特徴とする請求項４に記載の接客状況分析装置。
6. 前記統計情報は、接客時間、接客回数および接客人数の各要素の少なくとも１つを含むことを特徴とする請求項４または請求項５のいずれかに記載の接客状況分析装置。
7. 前記統計情報を表わす画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、任意の２つの要素を異なる属性で表した１つの定形画像であることを特徴とする請求項６に記載の接客状況分析装置。
8. 前記定形画像は、前記店舗マップ画像上に透過状態で重畳されることを特徴とする請求項７に記載の接客状況分析装置。
9. 前記定形画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、１つの要素が前記定形画像の大きさで表現され、もう１つの要素が前記定形画像の塗りつぶしの色合いまたは色の濃さのいずれかで表現されることを特徴とする請求項７または請求項８に記載の接客状況分析装置。
10. 前記プロセッサは、
    前記携帯端末装置に付与された端末識別情報に基づいて店員を識別して、店員別の前記接客ポイントを取得することを特徴とする請求項２から請求項９のいずれかに記載の接客状況分析装置。
11. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、
    店舗内の音声を収音する収音装置と、
    店舗内の人物を撮像する撮像装置と、
    店員が所持する携帯端末装置と、
    １つまたは複数の情報処理装置と、
    を備え、
    前記１つまたは複数の情報処理装置は、
    前記収音装置から出力される音声データから音声の位置情報を取得し、
    前記撮像装置から出力される画像データから人物の位置情報を取得し、
    前記人物の位置情報および前記携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、
    前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、
    前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、
    その判定結果に基づいて、前記接客状況に関する情報を生成することを特徴とする接客状況分析システム。

Images