JP2018022284A - 接客モニタリング装置、接客モニタリングシステム、及び接客モニタリング方法 - Google Patents

Abstract

【課題】接客の判定精度を向上できる接客モニタリング装置を提供する。
【解決手段】接客モニタリング装置は、複数のグリッドに区分される対象エリアの音声を収音する収音装置により収音された音声に係る音声データを取得し、前記対象エリアの画像を撮像する撮像装置により撮像された画像に係る画像データを通信部と、接客者又は客を含む人物の滞留情報を生成し、接客者の滞留情報を生成する滞留情報生成部と、人物の滞留情報、接客者の滞留情報、及び発話の検出結果を基に、同一のグリッドに接客者と客とが第１の所定時間滞留し、且つ、同一のグリッドにおいて第２の所定時間以上発話が検出された場合、前記同一のグリッドにおいて接客者が接客していると判定する接客判定部と、を備える。
【選択図】図１

Description

本開示は、接客モニタリング装置、接客モニタリングシステム、及び接客モニタリング方法に関する。

従来、店舗内にカメラが設置され、このカメラがセキュリティ目的で使用されている。また、このカメラは、店舗運営の改善、例えば店員による接客の有無の確認に利用されることがある。

カメラを用いて接客の有無を判定するシステムとして、以下の活動状況分析システムが知られている（例えば、特許文献１参照）。この活動状況分析システムは、対象エリアを撮像するカメラによる撮像画像から移動体の滞留情報を取得し、店員が保持する携帯端末からＩＤ移動体の滞留情報を取得する。そして、この活動状況分析システムは、ＩＤ移動体と移動体とが近い地点で滞留した場合、接客ありと判定する。この接客の判定結果は、接客情報として店舗運営に活用される。

特許第５８７９６１６号公報

特許文献１に記載された活動状況分析システムは、店員と客とが近くに所在すれば、接客ありと判定し、接客の判定精度が低下することがある。例えば、店員と客とが背中合わせで近くに所在する場合でも接客中と判定されることがあり、接客の判定精度が向上することが望ましい。

本開示は、上記事情に鑑みてなされたものであり、接客の判定精度を向上できる接客モニタリング装置、接客モニタリングシステム、及び接客モニタリング方法を提供する。

本開示の接客モニタリング装置は、複数のグリッドに区分される対象エリアの音声を収音する収音装置により収音された音声に係る音声データを取得し、対象エリアの画像を撮像する撮像装置により撮像された画像に係る画像データを取得する通信部と、音声データを基に、発話を検出する発話検出部と、画像データを基に、接客者又は客を含む人物の滞留情報を生成し、対象エリア内に所在する各接客者が所持する携帯端末の位置情報を基に、接客者の滞留情報を生成する滞留情報生成部と、人物の滞留情報、接客者の滞留情報、及び発話の検出結果を基に、同一のグリッドに接客者と客とが第１の所定時間滞留し、且つ、同一のグリッドにおいて第２の所定時間以上発話が検出された場合、同一のグリッドにおいて接客者が接客していると判定する接客判定部と、を備える。

本開示の接客モニタリングシステムは、複数のグリッドに区分される対象エリアの音声を収音する収音装置と、対象エリアの画像を撮像する撮像装置と、接客モニタリング装置と、を備える。接客モニタリング装置は、収音装置により収音された音声に係る音声データを取得し、撮像装置により撮像された画像に係る画像データを取得し、音声データを基に、発話を検出し、画像データを基に、接客者又は客を含む人物の滞留情報を生成し、対象エリア内に所在する各接客者が所持する携帯端末の位置情報を基に、接客者の滞留情報を生成し、人物の滞留情報、接客者の滞留情報、及び発話の検出結果を基に、同一のグリッドに接客者と客とが第１の所定時間滞留し、且つ、同一のグリッドにおいて第２の所定時間以上発話が検出された場合、同一のグリッドにおいて接客者が接客していると判定する。

本開示の接客モニタリング方法は、接客モニタリング装置における接客モニタリング方法であって、複数のグリッドに区分される対象エリアの音声を収音する収音装置により収音された音声に係る音声データを取得し、対象エリアの画像を撮像する撮像装置により撮像された画像に係る画像データを取得し、音声データを基に、発話を検出する発話検出部と、画像データを基に、接客者又は客を含む人物の滞留情報を生成し、対象エリア内に所在する各接客者が所持する携帯端末の位置情報を基に、接客者の滞留情報を生成し、人物の滞留情報、接客者の滞留情報、及び発話の検出結果を基に、同一のグリッドに接客者と客とが第１の所定時間滞留し、且つ、同一のグリッドにおいて第２の所定時間以上発話が検出された場合、同一のグリッドにおいて接客者が接客していると判定する。

本開示によれば、接客の判定精度を向上できる。

第１の実施形態における接客モニタリングシステムを示すブロック図 第１の実施形態における接客モニタリング装置の動作例を示すフローチャート 店舗の天井から見た接客の様子の一例を示す模式図 図３に対応し、店舗における接客の様子の一例を示す斜視図 第２の実施形態における接客モニタリングシステムの構成例を示すブロック図 第２の実施形態における接客モニタリング装置の動作例を示すフローチャート 客が行う特定の行動を説明するための模式図 （Ａ）覗き込み判定の一例を説明するための模式図、（Ｂ）きょろきょろ判定の一例を説明するための模式図、（Ｃ）傾げ判定の一例を説明するための模式図 接客指示情報の送信先となる店員を説明するための模式図 図９に対応し、接客指示情報の送信先となる店員を説明するための模式図 第３の実施形態における接客モニタリングシステムの構成例を示すブロック図 第３の実施形態における接客モニタリング装置の動作例を示すフローチャート 滞留情報の同一性を説明するための模式図

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（第１の実施形態）
［接客モニタリングシステムの構成］
図１は、第１の実施形態における接客モニタリングシステム１００の構成例を示すブロック図である。接客モニタリングシステム１００は、携帯端末ＴＥ、マイクアレイ装置ＭＡ、カメラ装置ＣＡ、レコーダＲＣ、及び接客モニタリング装置１０を備える。携帯端末ＴＥ、マイクアレイ装置ＭＡ、カメラ装置ＣＡ、レコーダＲＣ、及び接客モニタリング装置１０は、ネットワークＮＴを介してデータ通信可能に接続される。

ネットワークＮＴは、有線ネットワーク又は無線ネットワークを含んで形成される。ネットワークＮＴは、インターネット、セルラーネットワーク、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、公衆回線、専用回線など、各種ネットワークを広く含む。

携帯端末ＴＥ（業務用端末）は、店舗ＳＴ内で働く店員ＳＡ（例えば図３，図４参照）によって所持され、ネットワークＮＴを介して他の通信装置（例えば接客モニタリング装置１０）と通信可能である。一方、店舗ＳＴに入店する客（例えば図３，図４参照）は、携帯端末ＴＥを所持していない。

携帯端末ＴＥは、接客モニタリング装置１０による接客判定のために、携帯端末ＴＥの位置を検出する。携帯端末ＴＥの店舗ＳＴ内での位置検出には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、無線ＬＡＮ、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｅｒ）、等を用いた位置検出技術が用いられてもよい。

携帯端末ＴＥは、店舗内ＳＴ内に所定間隔で設置された各ビーコン端末との間でビーコン信号の通信を行い、受信したビーコン信号の送信元としてのビーコン端末との位置関係に基づいて、店舗ＳＴ内での位置を検出してもよい。ビーコン信号には、例えば、店舗ＳＴ内の基準点（例えば店舗ＳＴの中心位置）に対する相対位置を示す座標の情報が含まれてもよい。また、上記以外の手法により、携帯端末ＴＥの店舗ＳＴ内での位置が検出されてもよい。

携帯端末ＴＥは、例えば、任意の通信手法（例えば、無線ＬＡＮ通信、公衆回線を用いた通信）により、携帯端末ＴＥが位置する位置情報を、接客モニタリング装置１０へ送信する。また、携帯端末ＴＥは、接客モニタリング装置１０から、接客に係る情報（例えば、接客指示情報や接客の要否を示す情報、客ＣＴの位置情報）を受信する。

携帯端末ＴＥは、加速度センサを備え、携帯端末ＴＥを所持する店員ＳＡがどの方向に移動したか（移動情報）を検出してもよい。接客モニタリング装置１０は、携帯端末ＴＥから取得した携帯端末ＴＥの位置情報を基に、又は携帯端末ＴＥの位置情報及び移動情報を基に、店員ＳＡや客ＣＴの動線情報や滞留情報を生成する。

カメラ装置ＣＡは、例えば、店舗ＳＴの天井や壁等に設置された、画角が固定された固定カメラである。カメラ装置ＣＡは、自装置が設置された撮像空間である撮像エリアを撮像可能な監視カメラとして機能する。カメラ装置ＣＡは、一時的に映像（画像）を撮像してもよいし、継続して映像（画像）を撮像し、累積してもよい。

なお、カメラ装置ＣＡは、固定カメラに限られず、全方位カメラ、パン・チルト・ズーム動作自在なＰＴＺカメラであってもよい。カメラ装置ＣＡは、映像を撮像した時刻（撮像時刻）を映像データと対応付けて記憶する。また、カメラ装置ＣＡは、記憶した映像データ及び撮像時刻のデータを、ネットワークＮＷを介して接客モニタリング装置１０に送信する。尚、映像には、動画像及び静止画像の少なくとも一方を含まれる。

マイクアレイ装置ＭＡは、例えば店舗ＳＴの天井に設置された全方位マイクアレイ装置である。マイクアレイ装置ＭＡは、自装置が設置された収音空間（収音エリア）における全方位の音声を収音する。マイクアレイ装置ＭＡは、一時的に音声を収音してもよいし、継続して音声を収音し、累積してもよい。

マイクアレイ装置ＭＡは、例えば、中央に開口部が形成された筐体、及びこの開口部の周囲に円周方向に沿って同心円状に配置された複数のマイクロホンユニットを有する。マイクロホンユニット（以下、単にマイクロホンと称する）には、例えば高音質小型エレクトレットコンデンサマイクロホン（ＥＣＭ：Ｅｌｅｃｔｒｅｔ Ｃｏｎｄｅｎｓｅｒ Ｍｉｃｒｏｐｈｏｎｅ）が用いられる。

尚、カメラ装置ＣＡが、例えばマイクアレイ装置ＭＡの筐体に形成された開口部に収容される全方位カメラである場合、撮像エリアと収音エリアは略同一となる。本実施形態では、撮像エリアと収音エリアとは、接客判定の対象エリアとなる。

マイクアレイ装置ＭＡは、収音した音声データを、収音した時刻（収音時刻）と対応付けて記憶する。また、マイクアレイ装置ＭＡは、記憶した音声データ及び収音時刻のデータを、ネットワークＮＷを介して接客モニタリング装置１０に送信する。

レコーダＲＣは、各種データを記憶する。例えば、レコーダＲＣは、カメラ装置ＣＡにより撮像された映像データ及び映像時刻の情報を、接客モニタリング装置１０と共に、又は接客モニタリング装置１０の代わりに記憶してもよい。また、例えば、レコーダＲＣは、マイクアレイ装置ＭＡにより収音された音声データ及び収音時刻を、接客モニタリング装置１０と共に、又は接客モニタリング装置１０の代わりに記憶してもよい。

接客モニタリング装置１０は、例えばマイクアレイ装置ＭＡ及びカメラ装置ＣＡが設置された店舗ＳＴの内又は外に設置され、例えば店舗ＳＴのバックヤードに設置される。接客モニタリング装置１０は、例えば、据置型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバである。また、接客モニタリング装置１０は、サーバ（例えばクラウドサーバ）として、店舗ＳＴから離れた遠隔地（例えば、各店舗ＳＴをまとめて監視するための監視センタ）に設置されてもよい。接客モニタリング装置１０は、例えば、監視者（例えば店舗ＳＴの管理者、監視センタの監視者）により監視され、表示が確認され、操作される。

接客モニタリング装置１０は、詳細は後述するが、音声検出機能（発話検出機能）、音声検出結果の累積機能、人物の動線検出機能（滞留検出機能）、及び音声検出と人物の動線検出に基づく接客判定機能を有する。また、接客モニタリング装置１０は、携帯端末ＴＥが所在する位置（後述するＩＤ移動体の位置に相当）を検出する位置検出機能（測位測定機能）を有する。

尚、接客モニタリング装置１０は、ＰＣの代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末でもよい。

［接客モニタリング装置の構成］
接客モニタリング装置１０は、通信部１１、制御部１２、メモリ１３、操作部１４、ディスプレイ装置１５、及びスピーカ装置１６を備える。また、接客モニタリング装置１０は、音声処理部２０、人物検出部３０、及び接客判定部４０を備える。音声処理部２０は、音声検出部２１及び検出結果累積部２２を備える。人物検出部３０は、移動体滞留情報生成部３１及びＩＤ滞留情報生成部３２を備える。接客判定部４０は、接客条件設定部４１及び接客行動抽出部４２を備える。

通信部１１は、カメラ装置ＣＡが送信した撮像時刻を含む映像データ、及びマイクアレイ装置ＭＡが送信した収音時刻を含む音声データ、を受信して、制御部１２に出力する。また、通信部１１は、携帯端末ＴＥから、携帯端末ＴＥの位置情報を受信する。

操作部１４は、ユーザの入力操作の内容を制御部１２に通知するためのユーザインターフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）であり、例えばマウス、キーボード等のポインティングデバイスを含んで構成される。また、操作部１４は、例えばディスプレイ装置１５の画面に対応して配置され、ユーザの指やスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

例えば、操作部１４は、グリッドＧＲの範囲を指定するための入力操作を受け付ける。また、操作部１４は、グリッドＧＲの範囲を変更するための入力操作を受け付けてもよい。

尚、グリッドＧＲとは、接客判定するための単位領域である。グリッドＧＲは、例えば、新商品エリア、シーズナブルエリア、定番エリア、店舗の特性に応じた様々に区分されるエリア、に応じて設定されてもよい。グリッドＧＲの大きさは、任意に設定されてもよい。尚、同様のコンセプトの商品が陳列されたエリアの範囲と関連付けて、１つのグリッドＧＲの範囲が定められてもよいし、同様のコンセプトの商品が陳列されたエリアの範囲と関連付けられずに、１つのグリッドＧＲの範囲が定められてもよい。また、グリッドＧＲの区分は、例えば、開店当初に定められて変更されなくてもよいし、店舗ＳＴ内でレイアウト変更される度に変更されてもよい。

メモリ１３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んで構成されてもよい。メモリ１３は、接客モニタリング装置１０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。

メモリ１３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含んで構成されてもよい。メモリ１３は、例えば、マイクアレイ装置ＭＡで収音された音声の音声データを収音時刻とともに記憶する。メモリ１３は、例えば、カメラ装置ＣＡで撮像された音声の音声データを収音時刻とともに記憶する。また、メモリ１３は、各店員ＳＡが所持する携帯端末ＴＥの携帯ＩＤの情報を保持する。

制御部１２は、接客モニタリング装置１０が有する各構成部を統括する。

音声処理部２０は、マイクアレイ装置ＭＡで収音された音声の音声データに対して各種音声処理する。

音声検出部２１は、店舗ＳＴ内の収音エリアにおける各位置（例えば後述する各分割領域）での音声の有無を検出する。音声検出部２１による音声検出は、例えば常時又は定期的に行われる。

また、音声検出部２１は、指向性処理を行い、各分割領域ＤＡ（図３参照）に対して指向性を向ける。つまり、音声検出部２１は、各分割領域ＤＡを順番に指定し、音声データを基に、マイクアレイ装置ＭＡを基点として、指定された分割領域ＤＡの方向に対して、指向性を形成する。これにより、接客モニタリング装置１０は、各分割領域ＤＡでの音声の有無を検出できる。

ここで、収音エリア（例えば店舗ＳＴ全体）は、例えば、ｘ方向及びｙ方向（図３参照）において所定数に分割される。つまり、収音エリアは、店員ＳＡ又は客ＣＴの音声の有無（発話の有無）を判定するための分割領域ＤＡに区分される。音声検出部２１は、分割領域ＤＡ毎に、音声の有無を検出する。尚、１つの分割領域ＤＡの大きさは、１つのグリッドＧＲの大きさよりも小さい。

音声の有無については、例えば、音声データの信号レベルが所定レベル以上である場合に音声がある（発話がある）と検出され、音声データの信号レベルが上記所定レベル未満である場合に音声が無し（発話が無し）と検出されてもよい。また、検出結果を時系列に累積し、一定時間の中、一定の割合で検知できた場合、音声がある（発話がある）と検出されてもよい。この場合、接客モニタリング装置１０は、店舗ＳＴ内で突発的な物音による誤検知を削減できる。

各分割領域ＤＡにおける音声の有無の検出結果は、制御部１２による制御により、ディスプレイ装置１５に表示されることで、音声ヒートマップとして可視化されてもよい。また、音声レベルの大きさを加味して、店舗ＳＴ内の各位置とその位置での音声レベルとを示す音声ヒートマップとして可視化されてもよい。

また、店員ＳＡ又は客ＣＴが発話すると１つ以上の分割領域ＤＡで発話検出されることがある。この場合、発話検出された分割領域ＤＡの全てにおいて発話が検出されたとしてもよいし、発話検出された分割領域ＤＡのうち検出された音声レベルが最大の１つの分割領域ＤＡにおいて発話が検出されたとしてもよい。

検出結果累積部２２は、音声検出部２１により検出された音声の有無の検出結果（音声ヒートマップ）を、メモリ１３に累積して記憶する。例えば、検出結果累積部２２は、所定時間毎に生成された各分割領域ＤＡでの音声の有無の検出結果の情報を蓄積する。

人物検出部３０は、店舗ＳＴ内の各位置（例えば各グリッドＧＲ）での店員ＳＡ及び客ＣＴの存否を検出する。人物検出部３０は、例えば、店員ＳＡ及び客ＣＴの位置の検出情報を累積して、店員ＳＡ及び客ＣＴの時間経過に伴う移動の軌跡を示す動線情報を導出する。人物検出部３０は、動線情報に基づいて、店員ＳＡ及び客ＣＴの滞留を示す滞留情報を導出する。

移動体滞留情報生成部３１は、カメラ装置ＣＡからの映像データを用いて、移動体（人物）の滞留情報を生成する。この移動体は、例えば、客ＣＴ又は店員ＳＡを含む。尚、移動体滞留情報生成部３１により生成された滞留情報から、ＩＤ滞留情報生成部３２により取得されたＩＤ滞留情報（店員ＳＡの滞留情報に相当）を差し引くと、客ＣＴの滞留情報が導出される。

移動体滞留情報生成部３１は、カメラ装置ＣＡにより撮像されたリアルタイムの映像データ、又は、レコーダＲＣ若しくはメモリ１３に録画された過去の映像データを取得する。移動体滞留情報生成部３１は、取得された映像データから人物（移動体）を検出し、人物毎の追跡情報（検出位置情報）を生成する。この移動体追跡処理は、例えば、公知の画像認識技術（人物検出技術又は人物追跡技術など）を利用して行われる。

移動体滞留情報生成部３１は、上記の追跡情報を、メモリ１３に蓄積する。追跡情報には、映像データの各フレームで検出された人物毎の検出位置、人物が検出されたフレームの撮像時刻から取得した人物毎の検出時刻、等に関する情報が含まれる。

移動体滞留情報生成部３１は、生成された追跡情報に基づいて、映像データから検出された人物毎に動線情報を生成する。移動体滞留情報生成部３１は、動線生成処理を事後に行う場合には、メモリ１３から追跡情報を取得し、動線生成処理をリアルタイムで行う場合には、生成された追跡情報を直接用いる。

移動体滞留情報生成部３１は、人物毎に生成された動線情報を、メモリ１３に蓄積する。動線情報には、人物の移動の軌跡を示す移動ベクトル、移動ベクトルの変化点の位置及び時刻、等に関する情報が含まれる。移動体滞留情報生成部３１は、対象エリアにおける各グリッドＧＲの外周と動線との交差状況を判定するために、各グリッドＧＲの周辺部についても動線情報を生成してもよい。

移動体滞留情報生成部３１は、人物毎の動線情報に基づいて、対象エリア内における人物毎の滞留情報（どの位置にどの程度の時間留まっているかを示す情報）をグリッドＧＲ毎に生成する。滞留情報には、例えば、滞留しているグリッドＧＲの位置、その滞留時刻又は滞留時間、が含まれる。移動体滞留情報生成部３１は、生成された人物毎の滞留情報を、メモリ１３に蓄積する。

ＩＤ滞留情報生成部３２は、携帯端末ＴＥを識別するためのＩＤ（携帯ＩＤ）を用いて、携帯端末ＴＥの滞留情報（ＩＤ滞留情報ともいう）を導出する。携帯端末ＴＥは、店員ＳＡにより所持されるので、ＩＤ滞留情報は、店員ＳＡに係る滞留情報とも言える。

ＩＤ滞留情報生成部３２は、通信部１１による携帯端末ＴＥとの通信によって、携帯端末ＴＥが検出された位置の情報（ＩＤ位置情報）を取得する。このＩＤ位置情報の検出技術には、例えば上述のように、公知の技術が用いられる。ＩＤ滞留情報生成部３２は、取得されたＩＤ位置情報を、メモリ１３に蓄積する。

ＩＤ滞留情報生成部３２は、取得されたＩＤ位置情報に基づいて、携帯端末ＴＥの動線の情報（ＩＤ動線情報）を生成する。ＩＤ滞留情報生成部３２は、動線生成処理を事後に行う場合には、一旦メモリ１３に蓄積されたＩＤ位置情報を取得し、動線生成処理をリアルタイムで行う場合には、検出されたＩＤ位置情報を直接用いる。

ＩＤ滞留情報生成部３２は、ＩＤ動線情報をメモリ１３に蓄積する。ＩＤ動線情報には、携帯端末ＴＥの移動の軌跡を示す移動ベクトル、その変化点の位置及び時刻などに関する情報が含まれる。ＩＤ滞留情報生成部３２は、対象エリアにおける各グリッドＧＲの外周と動線との交差状況を判定するために、各グリッドＧＲの周辺部についても動線情報を生成してもよい。

ＩＤ滞留情報生成部３２は、生成された人物毎（店員ＳＡ毎）のＩＤ動線情報に基づいて、対象エリア内におけるＩＤ滞留情報をグリッドＧＲ毎に生成する。ＩＤ滞留情報には、例えば、滞留しているグリッドＧＲの位置並びにその滞留時刻及び滞留時間などが含まれる。ＩＤ滞留情報生成部３２は、生成されたＩＤ滞留情報をメモリ１３に蓄積する。

接客判定部４０は、店舗ＳＴにおいて店員ＳＡが客ＣＴを接客しているか否かを判定する。

接客条件設定部４１は、例えば操作部１４を介して受け付けた入力情報に基づいて、接客条件を設定する。接客条件には、例えば、接客判定を行うエリア（グリッドＧＲ）の選定、接客に係る動作（例えば後述する図２に示す接客に係る動作）、接客に係る動作で用いる各種閾値の設定、が含まれる。つまり、接客条件は、例えば、どのエリアで店員ＳＡや客ＣＴがどのような行動（接客行動）をしたら接客していると判定するかを定めたものである。

接客行動抽出部４２は、設定された接客条件を満たす接客行動を抽出する。接客条件を満たす接客行動が抽出された場合、店員ＳＡが客ＣＴを接客していることを示す。接客行動抽出部４２は、店舗ＳＴ内での接客行動の有無を抽出する。

ディスプレイ装置１５は、カメラ装置ＣＡが撮像したリアルタイム又は過去の映像データを画面に表示する。

スピーカ装置１６は、マイクアレイ装置ＭＡが収音した音声データ、又は指向角（θＭＡｈ，θＭＡｖ）に指向性が形成されたマイクアレイ装置ＭＡが収音した音声データ、を音声出力する。尚、ディスプレイ装置１５及びスピーカ装置１６は、接客モニタリング装置１０とは別体の装置として構成されてもよい。尚、指向角θＭＡｈは、マイクアレイ装置ＭＡから音源位置（例えば分割領域ＤＡ）への水平角を示し、指向角θＭＡｖは、マイクアレイ装置ＭＡから音源位置（例えば分割領域ＤＡ）への垂直角を示す。

尚、接客モニタリング装置１０は、プロセッサ（不図示）がメモリ１３に保持されたプログラムを実行することで、各構成部（例えば、制御部１２、音声処理部２０、人物検出部３０、接客判定部４０）の機能を実現する。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、等を含む。

［接客モニタリングシステムの動作］
次に、接客モニタリングシステム１００の動作例について説明する。
図２は、接客モニタリング装置１０の動作例を示すフローチャートである。

接客条件設定部４１は、例えば操作部１４を介して得られた入力情報を基に、接客条件を設定する（Ｓ１１）。ここでの接客条件は、例えば、Ｓ１４〜Ｓ１９に示す処理を含む。

移動体滞留情報生成部３１は、カメラ装置ＣＡから映像データを取得し、移動体の滞留情報を生成する（Ｓ１２）。また、ＩＤ滞留情報生成部３２は、携帯ＩＤで識別される携帯端末ＴＥから各店員ＳＡの位置の情報を取得し、ＩＤ滞留情報を生成する（Ｓ１２）。尚、移動体の滞留情報及びＩＤ滞留情報は、リアルタイムの情報でもよいし、過去の情報でもよい。尚、移動体の滞留情報の生成及びＩＤ滞留情報の生成は、常時行われてもよいし、定期的に行われてもよい。

音声処理部２０は、通信部１１を介して、マイクアレイ装置ＭＡから音声データを取得する。また、音声処理部２０は、取得された音声データに基づいて、店舗ＳＴ内の分割領域ＤＡ毎の音声の有無を検出する（Ｓ１３）。尚、分割領域ＤＡ毎の音声の有無を検出は、常時行われてもよいし、定期的に行われてもよい。

接客条件設定部４１は、例えば操作部１４を介して得られた入力情報（グリッドを選択するための操作情報）を基に、店舗ＳＴにおける、分析対象（接客判定対象）のグリッドＧＲを選択する（Ｓ１４）。

接客行動抽出部４２は、移動体の滞留情報及びＩＤ滞留情報を基に、分析対象のグリッドＧＲ内に、店員ＳＡと客ＣＴとが所在するか否かを判定する（Ｓ１５）。例えば、接客行動抽出部４２は、移動体の滞留情報において複数の移動体が検出され、ＩＤ滞留情報において、移動体の滞留情報における移動体の数よりも少なく、且つ１つ以上のＩＤ移動体が検出された場合、分析対象のグリッドＧＲ内に店員ＳＡと客ＣＴとが所在すると判定する。尚、Ｓ１５では、一定時間、店員ＳＡと客ＣＴとが所在するか否かが判定されてもよい。

Ｓ１５において分析対象のグリッドＧＲ内に店員ＳＡと客ＣＴとが所在すると判定された場合、音声処理部２０は、グリッドＧＲ内の任意の分割領域ＤＡにおいて、一定時間、音声が検出されたか否かを判定する（Ｓ１６）。ここでは、音声検出の対象となる分割領域ＤＡが順次変更されて、それぞれの分割領域ＤＡで音声の有無が判定される。尚、Ｓ１６では、一定時間、音声が検出されたか否かが判定されてもよい。

Ｓ１６において、グリッドＧＲ内の任意の分割領域ＤＡにおいて一定時間音声が検出された場合、接客行動抽出部４２は、グリッドＧＲにおいて店員ＳＡが客ＣＴを接客していると判定する（Ｓ１７）。この音声には、例えば、店員ＳＡの声又は客ＣＴの声が含まれる。尚、ここでは音声によって話者識別してもしなくてもよいが、音声が検出された分割領域ＤＡの位置に応じて、店員ＳＡの声か客ＣＴの声かが識別可能であってもよい。

Ｓ１５において、分析対象のグリッドＧＲ内に店員ＳＡと客ＣＴとの少なくとも一方が所在しない場合、又は、Ｓ１６において、グリッドＧＲ内の全分割領域ＤＡにおいて一定時間音声が検出されなかった場合、接客行動抽出部４２は、店員ＳＡが客ＣＴを接客していないと判定する（Ｓ１８）。

Ｓ１７又はＳ１８による接客の有無の判定後、接客判定部４０は、分析対象の全グリッドＧＲにおいて接客の有無の判定が終了したか否かを判定する（Ｓ１９）。全グリッドＧＲでの接客の有無の判定が終了した場合（Ｓ１９のＹｅｓ）、接客モニタリング装置１０は、図２の処理を終了する。少なくとも１つのグリッドＧＲでの接客の有無の判定が終了していない場合（Ｓ１９のＮｏ）、Ｓ１４に進み、接客判定部４０は、次のグリッドＧＲを分析対象のグリッドとして選択する。

このような図２の処理によれば、接客モニタリング装置１０は、人物（移動体）の滞留情報や携帯ＩＤの滞留情報に基づいて、店舗ＳＴ内のどの位置に、どの時間帯に、店員ＳＡや客ＣＴが所在するかを把握できる。また、接客モニタリング装置１０は、分割領域ＤＡでの音声の有無の情報を、接客の有無の判定に用いることができる。よって、接客モニタリング装置１０は、単に同じ時間帯に店員ＳＡと客ＣＴとの接近を検出することで接客ありと判定することを抑制できる。

次に、店舗ＳＴにおける接客の様子について説明する。

図３は、店舗ＳＴの天井から見た接客の様子の一例を示す模式図である。図４は、図３と対応しており、店舗ＳＴにおける接客の様子の一例を示す斜視図である。店員ＳＡは、例えば店舗ＳＴ内の任意の位置に所在する。客ＣＴは、店舗ＳＴ内の商品棚ＳＳに陳列された商品を購入や確認するために、商品棚ＳＳへ近寄る。

尚、店舗ＳＴは、スーパーマーケット、ホームセンター、家具店、百貨店、等である。店舗ＳＴが比較的広い店舗である場合、接客モニタリングシステム１００は、一層役立つ。

図３，図４では、店舗ＳＴ内に商品棚ＳＳ（ＳＳ１〜ＳＳ６）が６個設置されている。また、店舗ＳＴには、均等に区分されたグリッドＧＲ（ＧＲ１〜ＧＲ１６）が、４×４＝１６個含まれている。

商品棚ＳＳ１の周囲は、グリッドＧＲ１，ＧＲ２，ＧＲ５，ＧＲ６の領域に含まれる。グリッドＧＲ１には、店員ＳＡ１が所在し、店舗ＳＴ全体を見渡している。店員ＳＡ１は、来店された客ＣＴ等に対して、挨拶等をしている。図３では、ＧＲ１における領域Ｄ１の各分割領域ＤＡにおいて、音声（発話）が検出されている。

この場合、人物検出部３０は、カメラ装置ＣＡにより撮像された映像データを基に、グリッドＧＲ１に人物が１名所在することを検出する（図２のＳ１２）。人物検出部３０は、店員ＳＡ１が所持する携帯端末ＴＥの携帯ＩＤを基に、店員ＳＡ１がグリッドＧＲ１内に所在することを検出する（図２のＳ１２）。よって、人物検出部３０は、グリッドＧＲ１内に店員ＳＡ１が１人おり、客ＣＴがいないことを検出する（図２のＳ１５のＮｏ）。また、音声処理部２０は、グリッドＧＲ１において、店員ＳＡ１の所在位置を含む周囲の分割領域ＤＡにおいて、店員ＳＡ１が発する音声を検出する。この場合、接客判定部４０は、グリッドＧＲ１において、接客中でないと判定する（図２のＳ１８）。

また、商品棚ＳＳ２，ＳＳ３の間でありグリッドＧＲ７の領域に、店員ＳＡ２と客ＣＴ１とが所在する。図４に示すように、店員ＳＡ２は商品棚ＳＳ２の方を向いており、客ＣＴ１は商品棚ＳＳ３の方を向いており、店員ＳＡ２と客ＣＴ１とが背中合わせとなっている。ここでは、店員ＳＡ２と客ＣＴ１とは会話していない。

この場合、人物検出部３０は、カメラ装置ＣＡにより撮像された映像データを基に、グリッドＧＲ７に人物が２名所在することを検出する（図２のＳ１２）。人物検出部３０は、店員ＳＡ２が所持する携帯端末ＴＥの携帯ＩＤを基に、店員ＳＡ２がグリッドＧＲ１内に所在することを検出する（図２のＳ１２）。よって、人物検出部３０は、店員ＳＡ２が１人と客ＣＴ１が１人とがグリッドＧＲ１内に所在することを検出する（図２のＳ１５のＹｅｓ）。また、音声処理部２０は、グリッドＧＲ７において、店員ＳＡ２及び客ＣＴ１の所在位置を含む周囲の分割領域ＤＡにおいて、店員ＳＡ２及び客ＣＴ１が発する音声をいずれも検出しない（図２のＳ１６のＮｏ）。よって、接客判定部４０は、グリッドＧＲ１において、接客中でないと判定する（図２のＳ１８）。

また、商品棚ＳＳ５，ＳＳ６の間でありグリッドＧＲ１４の領域に、店員ＳＡ３と客ＣＴ２とが所在する。図４に示すように、店員ＳＡ３及び客ＣＴ２は同じ商品棚ＳＳ５の方を向いている。店員ＳＡ３と客ＣＴ２とは、例えば、商品棚ＳＳ５に陳列された商品に係る会話をしている。図３では、ＧＲ１４における領域Ｄ２の各分割領域ＤＡにおいて、音声（発話）が検出されている。

この場合、人物検出部３０は、カメラ装置ＣＡにより撮像された映像データを基に、グリッドＧＲ１４に人物が２名所在することを検出する（図２のＳ１２）。人物検出部３０は、店員ＳＡ３が所持する携帯端末ＴＥの携帯ＩＤを基に、店員ＳＡ３がグリッドＧＲ１４内に所在することを検出する（図２のＳ１２）。よって、人物検出部３０は、店員ＳＡ３が１人と客ＣＴ２が１人とがグリッドＧＲ１内に所在することを検出する（図２のＳ１５のＹｅｓ）。また、音声処理部２０は、グリッドＧＲ７において、店員ＳＡ３及び客ＣＴ２の所在位置を含む周囲の分割領域ＤＡにおいて、店員ＳＡ３及び客ＣＴ２の少なくとも一方が発する音声を検出する（図２のＳ１６のＹｅｓ）。よって、接客判定部４０は、グリッドＧＲ１において、店員ＳＡ３が客ＣＴ２を接客中であると判定する（図２のＳ１７）。

［効果等］
このように、本実施形態の接客モニタリングシステム１００は、携帯端末ＴＥ、マイクアレイ装置ＭＡ、カメラ装置ＣＡ、及び接客モニタリング装置１０を備える。接客モニタリング装置１０は、通信部１１、音声処理部２０、人物検出部３０、及び接客判定部４０を備える。

通信部１１は、複数のグリッドＧＤに区分される対象エリアの音声を収音するマイクアレイ装置ＭＡにより収音された音声に係る音声データを取得する。通信部１１は、対象エリアの画像を撮像するカメラ装置ＣＡにより撮像された画像に係る画像データを取得する。音声処理部２０は、音声データを基に、発話を検出する。人物検出部３０は、画像データを基に、店員ＳＡ又は客ＣＴを含む人物の滞留情報を生成する。人物検出部３０は、対象エリア内に所在する各店員ＳＡが所持する携帯端末ＴＥの位置情報を基に、店員ＳＡの滞留情報を生成する。接客判定部４０は、人物の滞留情報、店員ＳＡの滞留情報、発話検出結果を基に、同一のグリッドＧＲに店員ＳＡと客ＣＴとが所定時間ｔ１滞留し、且つ、同一のグリッドＧＲにおいて所定時間ｔ２以上発話が検出された場合、同一のグリッドＧＲにおいて店員ＳＡが接客していると判定する。

音声処理部２０は、発話検出部の一例である。人物検出部３０は、滞留情報生成部の一例である。マイクアレイ装置ＭＡは、収音装置の一例である。カメラ装置ＣＡは、撮像装置の一例である。店員ＳＡは、接客者の一例である。所定時間ｔ１は、例えば５秒である。所定時間ｔ２は、例えば１秒である。

これにより、接客モニタリングシステム１００及び接客モニタリング装置１０は、単に店員ＳＡと客ＣＴとが接近していることに応じて接客中であると判断せずに、マイクアレイ装置ＭＡにより収音された音声データを接客判定に活用できる。よって、接客モニタリングシステム１００及び接客モニタリング装置１０は、例えば、店員ＳＡと客ＣＴとが偶然接近したが会話せず接客していない場合には接客していないと判定するので、接客の判定精度を向上できる。また、接客モニタリングシステム１００及び接客モニタリング装置１０は、接客判定のために特別な操作を必要せずに、接客判定できる。

（第２の実施形態）
第１の実施形態では、店舗ＳＴ内の各位置での接客の有無を判定することを説明した。第２の実施形態では、店舗ＳＴ内の各位置での接客の要否を判定し、接客が必要な場合に店員へ通知することを説明する。

［接客モニタリングシステムの構成］
図５は、第２の実施形態における接客モニタリングシステム１００Ａの構成例を示すブロック図である。図５の接客モニタリングシステム１００Ａは、図１に示した接客モニタリングシステム１００と比較すると、接客モニタリング装置１０の代わりに接客モニタリング装置１０Ａを備える点が異なる。図５の接客モニタリングシステム１００Ａにおいて、図１に示した接客モニタリングシステム１００と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

接客モニタリング装置１０Ａは、音声処理部２０Ａ、人物検出部３０、及び接客判定部４０Ａを備える。音声処理部２０Ａは、音声検出部２１、検出結果累積部２２、指向性合成部２３、及び音声判別部２４を備える。接客判定部４０Ａは、接客条件設定部４１Ａ、行動判定部４３、接客要否判定部４４、及び端末通知部４５を備える。

尚、接客判定部４０Ａは、第１の実施形態の接客判定部４０の機能を有してもよい。つまり、接客判定部４０Ａは、店舗ＳＴ内の各位置での接客の有無を判定してもよい。

指向性合成部２３は、店舗ＳＴ内の特定の客ＣＴが所在する方向に音声の指向性を形成する。特定の客ＣＴとは、例えば、店員ＳＡにより接客されていない客であり、商品に関する説明を必要としている客、商品を探している客、又はその他サポートを必要としている客を含む。

音声判別部２４は、所定の音声認識処理により、音声検出部２１により検出された音声に、特定のキーワードが含まれるか否かを判別する。特定のキーワードは、例えば、店員ＳＡによる接客を必要とすることを示す（明示又は示唆を含む）ワードを含む。特定のキーワードの具体例については後述する。

接客条件設定部４１Ａは、例えば操作部１４を介して受け付けた入力情報に基づいて、接客条件を設定する。ここでの接客条件には、例えば、接客要否判定を行うエリア（グリッドＧＲ）の選定、接客要否判定に係る動作（例えば後述する図６に示す接客要否判定に係る動作）、接客要否判定で用いる各種閾値の設定、が含まれる。つまり、ここでの接客条件は、例えば、どのエリアで店員ＳＡや客ＣＴがどのような行動をしたら接客が必要と判定するかを定めたものである。

行動判定部４３は、店舗ＳＴ内に所在する客ＣＴが特定の行動をしたか否かを判定する。特定の行動は、例えば、客ＣＴが店員ＳＡによる接客を必要とすることを示す（明示又は示唆を含む）行動を含む。特定の行動の具体例については後述する。

接客要否判定部４４は、店舗ＳＴ内の各位置（各グリッドＧＲ）での接客の要否を判定する。接客要否判定部４４は、例えば、店舗ＳＴ内に所在する客ＣＴが特定のキーワードを発した場合、又は、店舗ＳＴ内に所在する客ＣＴが特定の行動をした場合、接客が必要であると判定する。また、例えば、接客要否判定部４４は、店舗ＳＴ内に所在する客ＣＴが特定のキーワードを発しない場合、又は特定の行動をしなかった場合、接客が不要であると判定する。

端末通知部４５は、通信部１１を介して、接客が必要である旨を示す接客指示情報を、店員ＳＡが所持する携帯端末ＴＥの全部又は一部へ送信する。接客指示情報は、例えば、接客が必要な客ＣＴの所在位置の情報や客ＣＴに対して接客を指示する情報を含む。客ＣＴの所在位置の情報は、例えば、客ＣＴの所在位置を含むグリッドＧＲの位置情報であってもよいし、客ＣＴの所在位置を含む分割領域ＤＡの位置情報であってもよい。客ＣＴの所在位置の情報は、店舗ＳＴ内を示すマップを用いて直感的に示されてもよい。

［接客モニタリングシステムの動作］
次に、接客モニタリングシステム１００Ａの動作について説明する。
図６は、接客モニタリング装置１０Ａの動作例を示すフローチャートである。

接客条件設定部４１は、例えば操作部１４を介して得られた入力情報を基に、接客条件（接客要否判定条件）を設定する（Ｓ２１）。ここでの接客条件は、例えば、Ｓ２３〜Ｓ３１の処理を含む。

移動体滞留情報生成部３１は、カメラ装置ＣＡから映像データを取得し、移動体の滞留情報を生成する（Ｓ２２）。また、ＩＤ滞留情報生成部３２は、携帯ＩＤで識別される携帯端末ＴＥから各店員ＳＡの位置の情報を取得し、ＩＤ滞留情報を生成する（Ｓ２２）。尚、移動体の滞留情報及びＩＤ滞留情報は、リアルタイムの情報でもよいし、過去の情報でもよい。尚、移動体の滞留情報の生成及びＩＤ滞留情報の生成は、常時行われてもよいし、定期的に行われてもよい。つまり、Ｓ２２の処理はＳ１２の処理と同じである。

接客条件設定部４１Ａは、例えば操作部１４を介して得られた入力情報を基に、店舗ＳＴにおける、分析対象（接客要否判定対象）のグリッドＧＲを選択する（Ｓ２３）。

接客要否判定部４４は、選択されたグリッドＧＲ内に、客ＣＴが一人で所在しているか否かを判定する（Ｓ２４）。例えば、接客要否判定部４４は、移動体（人物）の滞留情報からＩＤ滞留情報を差し引くことで、客ＣＴの滞留情報を抽出でき、客ＣＴが一人であるか否かを判定可能である。

選択されたグリッドＧＲ内に客ＣＴが一人で所在している場合、音声処理部２０Ａは、通信部１１を介して、マイクアレイ装置ＭＡ、レコーダＲＣ、又はメモリ１３から音声データを取得する（Ｓ２５）。また、指向性合成部２３は、選択されたグリッドＧＲにおけるＳ２４で検出された客ＣＴが所在する方向に、音声の指向性を形成する（Ｓ２５）。

音声判別部２４は、選択されたグリッドＧＲ内の客ＣＴが発する特定のキーワード（対象キーワード）を検出したか否かを判定する（Ｓ２６）。ここでは、特定のキーワードとして、例えば、「すいません」、「どなたか居ませんか」、「店員さーん」、「うーん、どうしよう」、「困ったなあ」、「分からないなあ」、「迷うなあ」、「ちょっとこっちきて」、等の、接客が必要であることを連想させるワードが挙げられる。尚、特定のキーワードは、これらのワードに限られない。

選択されたグリッドＧＲ内の客ＣＴが発する特定のキーワードが検出されなかった場合、接客判定部４０Ａは、選択されたグリッドＧＲ内の客ＣＴの動線情報又は滞留情報を、人物検出部３０又はメモリ１３から読み込む（取得する）（Ｓ２７）。

行動判定部４３は、選択されたグリッドＧＲ内の客ＣＴの動線情報又は滞留情報を基に、この客ＣＴが特定の行動をしたか否かを判定する（Ｓ２８）。尚、特定の行動の具体例については、後述する。

客ＣＴが特定の行動をしなかった場合、接客要否判定部４４は、この客ＣＴに対して接客が不要であると判定する（Ｓ２９）。

客ＣＴが特定の行動をした場合、又は、選択されたグリッドＧＲ内の客ＣＴが発する特定のキーワードが検出された場合、接客要否判定部４４は、この客ＣＴに対して接客が必要であると判定する（Ｓ３０）。また、端末通知部４５は、通信部１１を介して、店員ＳＡが所持する携帯端末ＴＥの全部又は一部に対して、接客指示情報を送信する（Ｓ３０）。尚、接客指示情報の送信先となる店員ＳＡの具体例については、後述する。

Ｓ２４で客ＣＴが１人でない場合（つまり客ＣＴがいない又は客ＣＴが複数である場合）（Ｓ２４のＮｏ）、Ｓ２９の処理後、又はＳ３０の処理後、接客判定部４０Ａは、分析対象の全グリッドＧＲにおいて接客の要否の判定が終了したか否かを判定する（Ｓ３０Ａ）。全グリッドＧＲでの接客の要否の判定が終了した場合（Ｓ３０ＡのＹｅｓ）、接客モニタリング装置１０Ａは、図６の処理を終了する。少なくとも１つのグリッドＧＲでの接客の要否の判定が終了していない場合（Ｓ３０ＡのＮｏ）、Ｓ２３に進み、接客判定部４０Ａは、次のグリッドＧＲを分析対象のグリッドとして選択する。

このような図６の処理によれば、接客モニタリング装置１０Ａは、客ＣＴが一人でおり、特定のキーワードや特定の行動が検出されたことに応じて、接客の要否を判定する。よって、偶発的に、客ＣＴが店舗ＳＴ内で一人になったり、特定のキーワードを発したり、特定の行動を行ったとしても、接客が必要と判断されないので、接客要否の判定精度を向上できる。

次に、客ＣＴによる特定の行動の具体例について説明する。

図７は、客ＣＴが行う特定の行動を説明するための模式図である。図７では、店舗ＳＴ内に商品棚ＳＳが６個設置されている。商品棚ＳＳの近傍のエリアは、客ＣＴが商品棚ＳＳの商品を見学するための商品見学エリアＡ１であると想定される。見学対象の商品棚ＳＳを移動するための通路や店舗ＳＴ内の外周の通路は、客ＣＴが店員ＳＡを探すための店員探索エリアＡ２であることが想定される。商品見学エリアＡ１は、商品を見学するために客ＣＴが滞在する可能性があるエリアである。店員探索エリアＡ２は、店員ＳＡを探すために客ＣＴが滞在する可能性があるエリアである。

接客判定部４０Ａは、客ＣＴの滞留情報を参照し、商品見学エリアＡ１での滞在時間が所定時間ｔ１１（例えば１秒）以上であり、その後店員探索エリアＡ２へ移動し、その後再び商品見学エリアＡ１に戻った場合（第１の滞留パターン）、客ＣＴが特定の行動をしたと判定してもよい。この行動では、客ＣＴが、店員ＳＡを目視確認するために店員探索エリアＡ２に移動したが、見つからずに諦めたと考えられる。また、客ＣＴが、商品棚ＳＳの高さが高いために店員ＳＡを探しに行ったが、見つからずに諦めたと考えられる。

接客判定部４０Ａは、商品見学エリアＡ１での滞在時間が長時間としての所定時間ｔ１２（例えば３００秒（５分））（ｔ１２＞ｔ１１）以上である場合（第２の滞留パターン）、客ＣＴが特定の行動をしたと判定してもよい。この行動では、客ＣＴが、商品棚ＳＳに陳列された商品について長時間考え込んでいると考えらえる。

接客判定部４０Ａは、店員探索エリアＡ２での滞在時間が所定時間ｔ１３（例えば６００秒（１０分））以上である場合（第３の滞留パターン）、客ＣＴが特定の行動をしたと判定してもよい。この行動では、客ＣＴが、店員探索エリアＡ２に移動して店員ＳＡを探していると考えられる。

接客判定部４０Ａは、商品見学エリアＡ１において商品棚ＳＳを越えて（つまり客ＣＴが商品棚ＳＳの上から覗き込んで、例えば背伸びして）、店員ＳＡや商品を探している場合、客ＣＴが特定の行動をしたと判定してもよい。この場合、接客判定部４０Ａは、客ＣＴの頭部ＨＤ１の位置が、商品見学エリアＡ１に滞在中における鉛直方向での平均位置ＨＤａｖｅよりも、所定閾値ｔｈ１以上上側に位置するか否かを判定する。この判定は、例えば、映像データにおける画像認識処理や特徴抽出処理により可能である。

図８（Ａ）は、客ＣＴが商品棚ＳＳの上側から覗き込んだか否かの判定（覗き込み判定）の一例を説明するための模式図である。図８（Ａ）では、客ＣＴの頭部ＨＤの位置が、商品棚ＳＳの上部からを覗き込むことで頭部ＨＤ１の位置にあり、頭部の平均位置ＨＤａｖｅよりも閾値ｔｈ１以上に上部にあるとする。この場合、接客判定部４０Ａは、客ＣＴが覗き込んでいると判定し、特定の行動をしていると判定する。

接客判定部４０Ａは、商品見学エリアＡ１又は店員探索エリアＡ２において、客ＣＴがきょろきょろしている場合、客ＣＴが特定の行動をしたと判定してもよい。この場合、接客判定部４０Ａは、客ＣＴの頭部ＨＤ又は肩部ＳＤの位置が、頭頂方向（頭部ＨＤの上側）から見て、左右方向に（左回りに９０°回転した方向又は右回りに９０°回転した方向）、又は一定角度（例えば左回り又は右回りに９０°以外の任意の角度で回転した方向）で、複数回移動したか否かを判定する。この判定は、例えば、映像データにおける画像認識処理や特徴抽出処理により可能である。

図８（Ｂ）は、客ＣＴがきょろきょろしているか否かの判定（きょろきょろ判定）の一例を説明するための模式図である。図８（Ｂ）では、頭部ＨＤを角度θで左回転させ、且つ複数回回転させているとする。この場合、接客判定部４０Ａは、きょろきょろしていると判定し、特定の行動をしていると判定する。尚、頭部ＨＤ又は肩部ＳＤの回転回数が所定回数以上であることを、きょろきょろ判定を満たす条件に加えてもよい。

接客判定部４０Ａは、商品見学エリアＡ１又は店員探索エリアＡ２において、客ＣＴが首を傾げた場合、客ＣＴが特定の行動をしたと判定してもよい。この場合、接客判定部４０Ａは、客ＣＴの頭部ＨＤ又は肩部ＳＤの位置が、頭部ＨＤの正面方向（つまり顔の正面方向）から見て、左右方向に（左回り又は右回りに任意の角度で回転した方向）、所定時間ｔ２１（例えば５秒）以上又は所定回数（例えば３回）以上傾いている、つまり首を傾げているか否かを判定する。この判定は、例えば、映像データにおける画像認識処理や特徴抽出処理により可能である。

図８（Ｃ）は、首を傾げたか否かの判定（傾げ判定）の一例を説明するための模式図である。図８（Ｃ）では、客ＣＴの頭部ＨＤが、所定回数ｔ２２以上の回数、左方向に角度θ２で傾いているとする。この場合、接客判定部４０Ａは、首をかしげていると判定し、特定の行動をしていると判定する。

接客判定部４０Ａは、商品見学エリアＡ１又は店員探索エリアＡ２において、客ＣＴが異なる商品を所持している場合、客ＣＴが特定の行動をしたと判定してもよい。この場合、接客判定部４０Ａは、例えば、映像データから客ＣＴの腕又は手の領域を検出し、その両方の領域の周辺の領域に、物体（商品）が存在するか否かを判定する。客ＣＴが複数の商品を持っている場合、両商品を見比べ、それぞれの商品の特徴を知りたいと考えていることが考えられる。

尚、図８（Ｂ）のように頭部ＨＤの上方から見て特定の行動か否か判断するか、図８（Ａ），（Ｃ）のように頭部ＨＤの正面方向から見て特定の行動か否か判断するかは、カメラ装置ＣＡに対する客ＣＴの位置に依存する。例えば、カメラ装置ＣＡの真下に近い位置に客ＣＴが所在する場合、映像データは頭部ＨＤの上方から見た画像に近くなり、カメラ装置ＣＡの真下から遠い位置（例えば店舗ＳＴの外周近く）に客ＣＴが所在する場合、映像データは頭部ＨＤの正面方向から見た画像に近くなる。

次に、接客指示情報の送信先となる店員ＳＡの具体例について説明する。
図９及び図１０は、接客指示情報の送信先となる店員ＳＡを説明するための模式図である。

端末通知部４５は、単独の店員ＳＡ（例えば店員ＳＡ１１）を優先して、接客指示情報を送信してもよい。人物検出部３０は、選択されたグリッドＧＲ内にＩＤ滞留情報が１つ存在する場合、選択されたグリッドＧＲ内に店員ＳＡが１人であり、単独の店員ＳＡであることを検出してもよい。

端末通知部４５は、店員ＳＡ（例えば店員ＳＡ１２）の近くに客ＣＴ（例えば客ＣＴ１１）が所在する場合、その店員ＳＡは他に接客対応不可であるとして、接客指示情報の送信先から除外してもよい。この場合、この店員ＳＡが所持する携帯端末ＴＥに対しては、接客指示情報が送信されない。

尚、人物検出部３０は、例えば図２のＳ１５と同様の方法で、店員ＳＡの近くに客ＣＴが所在するか否かを判定してもよい。つまり、人物検出部３０は、選択されたグリッドＧＲにおいて、移動体の滞留情報において複数の移動体が検出され、ＩＤ滞留情報において、移動体の滞留情報における移動体の数よりも少なく、且つ１つ以上のＩＤ移動体が検出された場合、店員ＳＡの近くに客ＣＴが所在すると判定してもよい。

端末通知部４５は、店舗ＳＴ内の全グリッドＧＲにおいて単独の店員ＳＡが存在しない場合、店舗ＳＴの外のバックヤードに所在する店員ＳＡが所持する携帯端末ＴＥへ、接客指示情報を送信してもよい。人物検出部３０は、各グリッドＧＲを分析し、各グリッドＧＲにおいてＩＤ滞留情報が０個である場合、又は、各グリッドＧＲにおいてＩＤ滞留情報が存在しても店員ＳＡの近くに客ＣＴが所在する場合、単独の店員ＳＡが存在しないことを検出してもよい。この場合、端末通知部４５は、人物検出部３０によりＩＤ滞留情報が検出されていない携帯ＩＤで識別される携帯端末ＴＥに対して、接客指示情報を送信してもよい。尚、この場合、店舗ＳＴ内及び店舗ＳＴ外に所在する店員ＳＡが所持する各携帯端末ＴＥについて、携帯ＩＤの情報がメモリ１３に予め保持されている。

また、端末通知部４５は、店舗ＳＴ内の全グリッドＧＲにおいて単独の店員ＳＡが存在しない場合、店舗ＳＴの内外に所在する店員ＳＡ（全店員）が所持する全携帯端末ＴＥへ、接客指示情報を送信してもよい。この場合、全店員ＳＡに対して接客指示情報が通知されることで、店員ＳＡ間で相互に連携を取って可能な限り接客することが可能である。

［効果等］
このように、本実施形態の接客モニタリングシステム１００Ａ及び接客モニタリング装置１０Ａでは、人物検出部３０は、任意のグリッドＧＲにおいて所定時間ｔ１以上滞留する第１の客ＣＴを１人検出する。接客判定部４０Ａは、第１の客ＧＴが発した特定のキーワードが検出された場合、又は第１の客ＣＴが特定の行動が検出された場合、第１の客ＣＴに対する接客が必要であると判定する。通信部１１は、第１の客ＣＴに対する接客が必要な場合、店員ＳＡの少なくとも一部が所持する携帯端末ＴＥへ、第１の客ＣＴに対する接客を指示するための接客指示情報を送信する。

つまり、接客モニタリング装置１０Ａは、任意のグリッドＧＲにおいて店員ＳＡでない移動体（つまり第１の客ＣＴ）を検出し、第１の客ＣＴが店員ＳＡのサポートが必要か否かを、第１の客ＧＴが発するワードや第１の客ＣＴの行動から推測する。そして、接客モニタリング装置１０Ａは、第１の客ＣＴが店員ＳＡのサポートを必要とする場合、店員ＳＡが保有する携帯端末ＴＥへその旨通知する。

これにより、接客モニタリングシステム１００Ａ及び接客モニタリング装置１０Ａは、接客を必要とする第１の客ＣＴが発するワードや第１の客ＣＴの行動を接客の要否の判断に活用し、接客の機会の逸失を低減できる。また、第１の客ＣＴが直接店員ＳＡに話しかけたか否かによらず、接客を必要としていることを店員ＳＡが気付くことができ、第１の客ＣＴの満足度も向上できる。

また、接客判定部４０Ａは、第１の客ＣＴの頭部ＨＤ又は肩部ＳＤの検出位置と、頭部ＨＤ又は肩部ＳＤの検出時間又は検出回数と、に基づいて、特定の行動をしているか否かを判定してもよい。

これにより、接客モニタリングシステム１００Ａ及び接客モニタリング装置１０Ａは、第１の客ＣＴの体の各部の動きを検出することで、容易に特定の行動をしているか否かを判断でき、接客の要否の判定に活用できる。

また、接客判定部４０Ａは、第１の客ＣＴの滞留情報が所定の滞留パターン（例えば第１〜第３の滞留パターン）を含む場合、特定の行動をしていると判定してもよい。

これにより、接客モニタリングシステム１００Ａ及び接客モニタリング装置１０Ａは、第１の客ＣＴが移動した軌跡に基づく滞留パターンを検出することで、容易に特定の行動をしているか否かを判断でき、接客の要否の判定に活用できる。

また、通信部１１は、店員ＳＡの滞留情報に基づいて、任意のグリッド内に１人で所在する店員ＳＡへ接客指示情報を送信してもよい。

これにより、１人で所在する店員ＳＡは、接客指示情報を確認し、迅速に第１の客ＣＴに対して接客できる。

また、通信部１１は、店員ＳＡの滞留情報及び人物の滞留情報に基づいて、非接客者（例えば接客中でない店員ＳＡ）へ接客指示情報を送信してもよい。

これにより、接客指示情報を確認した店員ＳＡは、接客中ではないので、迅速に第１の客ＣＴに対して接客できる。

通信部１１は、任意のグリッドＧＲ内に１人で所在する店員ＳＡが存在しない場合、店員ＳＡの滞留情報が生成されなかった店員ＳＡが所持する携帯端末ＴＥへ、接客指示情報を送信してもよい。

これにより、例えば、店舗ＳＴ内に所在せずに滞留情報が生成されなかった、バックヤードで待機中の店員ＳＡが、接客指示情報を携帯端末ＴＥにより確認し、迅速に第１の客ＣＴに対して接客できる。

通信部１１は、任意のグリッドＧＲ内に１人で所在する店員ＳＡが存在しない場合、全ての店員ＳＡが所持する携帯端末ＴＥへ、接客指示情報を送信してもよい。

これにより、各店員ＳＡが携帯端末ＴＥにより受信した接客指示情報を確認し、各店員ＳＡが互いに相談し、例えば現在の接客状況に応じて、いずれかの店員ＳＡが第１の客ＣＴを接客することができる。

また、接客モニタリング装置１０Ａは、商品を購入しようとしているが購入を迷っていると予想される客ＣＴの行動、商品の説明が必要と考えていると予想される客ＣＴの行動、店員ＳＡを探していると予想される客ＣＴの行動、等を接客が必要な行動として捉え、店員ＳＡに対して接客の指示を通知する。また、接客が可能と予想される店員ＳＡに対して、接客指示情報を通知するようにできる。これにより、通知された店員ＳＡは、客ＣＴに対する接客の必要性を認識できる。つまり、接客モニタリング装置１０Ａは、接客の必要性を迅速に的確な店員ＳＡに通知し、接客ロスの抑制を図ることができる。

また、接客モニタリング装置１０Ａは、カメラ装置ＣＡが撮像した画像による人物検出や動線検出、無線を用いた店員ＳＡの位置検出、マイクアレイ装置ＭＡが収音した音声による音声検出、等に基づいて、店員ＳＡを必要とする客ＣＴを検出し、店員ＳＡやその他の監視者に対して接客を必要とする旨のアラートを出力できる。これにより、接客モニタリング装置１０Ａは、客ＣＴが接客を必要としているにも関わらず、店員ＳＡが接客の必要性を認識できずに接客機会を失うことを抑制できる。また、接客モニタリング装置１０Ａは、客ＣＴの行動を客ＣＴに強いることなく分析でき、客ＣＴと店員ＳＡとを対応付けることで、より高精度の接客を実現できる。

（第３の実施形態）
第３の実施形態では、接客モニタリングシステムにおける接客モニタリング装置は、人物の動線情報により示される人物の動線が遮蔽物等により途切れた場合に、音声認識を利用して、同一人物か否かを判断することを説明する。

［接客モニタリングシステムの構成］
図１１は、第３の実施形態における接客モニタリングシステム１００Ｂの構成例を示すブロック図である。図１１の接客モニタリングシステム１００Ｂは、図１に示した接客モニタリングシステム１００と比較すると、接客モニタリング装置１０の代わりに接客モニタリング装置１０Ｂを備える点が異なる。図１１の接客モニタリングシステム１００Ｂにおいて、図１に示した接客モニタリングシステム１００と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

接客モニタリング装置１０Ｂは、音声処理部２０Ｂ、人物検出部３０Ｂ、及び接客判定部４０を備える。音声処理部２０Ｂは、音声検出部２１、検出結果累積部２２、及び話者識別部２５を備える。人物検出部３０Ｂは、移動体滞留情報生成部３１、ＩＤ滞留情報生成部３２、及び滞留情報調整部３３を備える。

話者識別部２５は、所定の話者認識処理（例えば声紋識別）により、音声検出部２１により検出された音声を発する話者を識別する。

滞留情報調整部３３は、話者識別等により同一人物と判定された滞留情報を、統合（Ｍｅｒｇｅ）してメモリ１３に蓄積する。例えば、滞留情報調整部３３は、滞留情報が生成されてメモリ１３に保持された人物と同一人物が再度店舗ＳＴ内に出現したと判定された場合、この滞留情報の続きとして（この滞留情報の一部の情報として）、この人物の滞留に係る情報を蓄積する。

［接客モニタリングシステムの動作］
次に、接客モニタリングシステム１００Ｂの動作について説明する。
図１２は、接客モニタリング装置１０Ｂの動作例を示すフローチャートである。

まず、接客モニタリング装置１０Ｂは、図２に示したＳ１１〜Ｓ１４の処理を実行する。

続いて、接客行動抽出部４２は、分析対象のグリッドＧＲ内に、店員ＳＡ又は客ＣＴが所在するか否かを判定する（Ｓ３１）。例えば、接客行動抽出部４２は、移動体の滞留情報において移動体が検出された場合、店員ＳＡ又は客ＣＴが所在することを判別可能である。

選択されたグリッドＧＲ内に店員ＳＡ又は客ＣＴが所在する場合（Ｓ３１のＹｅｓ）、話者識別部２５は、話者認証処理により話者を識別するための話者識別情報を取得する（Ｓ３２）。例えば、話者識別部２５は、話者としての店員ＳＡ又は客ＣＴに係る音声波形のスペクトルの情報を、話者識別情報として取得する。

話者識別部２５は、この店員ＳＡ又は客ＣＴの話者識別を以前にも実施したことがあるか否かを判定する（Ｓ３３）。以前に実施しているか否かは、メモリ１３に同一の話者識別情報が保持されているか否かにより判別可能である。

尚、ここでの同一は、完全に同一でなくてもよく、一定の尤度を超えている場合、例えば話者識別情報としての音声スペクトル同志の相関値や類似度が所定値以上である場合には、同一に含まれてもよい。また、過去に話者識別情報が得られた店舗ＳＴ内での位置は、任意の位置でよく、Ｓ１４で選択されたグリッドＧＲと同一のグリッド内に限られなくてよい。

この店員ＳＡ又は客ＣＴの話者識別を以前に実施していない場合、つまりメモリ１３にＳ３２で取得された話者識別情報と同じ話者識別情報が保持されていない場合、話者識別部２５は、取得された話者識別情報をメモリ１３に保持（登録）する（Ｓ３４）。初回に話者識別情報をメモリ１３に登録することで、２回目以降において話者識別情報を用いて話者識別が可能となる。

この店員ＳＡ又は客ＣＴの話者識別を以前に実施した場合、つまりメモリ１３にＳ３２で取得された話者識別情報と同じ話者識別情報が保持されている場合、滞留情報調整部３３は、話者識別情報が一致する人物に係る滞留情報を統合（マージ）し、同一人物の滞留情報としてメモリ１３に保持する（Ｓ３５）。

ここでは、Ｓ３１で店員ＳＡが所在すると判定された場合、滞留情報調整部３３は、店員ＳＡに係る移動体の滞留情報を統合し、更に店員ＳＡに係るＩＤ滞留情報を統合する。Ｓ３１で客ＣＴが所在すると判定された場合、滞留情報調整部３３は、客ＣＴに係る移動体の滞留情報を統合する。

Ｓ３１で選択されたグリッドＧＲ内に店員ＳＡ及び客ＣＴのいずれも所在しない場合（Ｓ３１のＮｏ）、Ｓ３４の処理後、又はＳ３５の処理後、接客判定部４０は、分析対象の全グリッドＧＲにおいて滞留情報の同一性の判定が終了したか否かを判定する（Ｓ３６）。全グリッドＧＲでの滞留情報の同一性の判定が終了した場合（Ｓ３６のＹｅｓ）、接客モニタリング装置１０Ｂは、図１２の処理を終了する。少なくとも１つのグリッドＧＲでの滞留情報の同一性の判定が終了していない場合（Ｓ３６のＮｏ）、Ｓ１４に進み、接客判定部４０は、次のグリッドＧＲを分析対象（滞留情報の同一性の判定対象）のグリッドとして選択する。

このような図１２の処理によれば、接客モニタリング装置１０Ｂは、新たに出現した人物に係る話者識別情報が過去においても存在した場合、この話者識別情報に係る人物の滞留情報を、対応する既存の滞留情報に統合して、メモリ１３に記憶する。

これにより、接客モニタリング装置１０Ｂは、例えば、商品棚ＳＳ等の遮蔽物を通過して人物が移動した場合など、人物の動線情報や滞留情報が途切れた場合でも、話者識別処理を利用して各人物が発した音声の同一性を判定できる。接客モニタリング装置１０Ｂは、音声を用いた識別処理により複数の人物が一定の尤度を超えて同一人物であると識別した場合、同一人物の動線情報や滞留情報として、接客活動に活用できる。

次に、人物が移動する移動経路上に遮蔽物が存在する場合の滞留情報の扱いについて説明する。

図１３は、滞留情報の同一性を説明するための模式図である。図１３では、第１の人物Ｐ１が、商品棚ＳＳ２１の左側から商品棚ＳＳ２１の裏側に隠れ、第２の人物Ｐ２が、商品棚ＳＳ２１の右側から出現している。人物検出部３０により第１の人物Ｐ１及び第２の人物Ｐ２に係る動線情報や滞留情報を導出する場合、遮蔽物としての商品棚ＳＳ２１により動線が遮断される。そのため、動線情報及び滞留情報は、第１の人物Ｐ１及び第２の人物Ｐ２の各々で別個に得られることになる。

この場合、音声処理部２０Ｂは、第１の人物Ｐ１及び第２の人物Ｐ２の音声データを取得し、双方の音声データに対して話者識別処理することで、同一人物が発した音声であるか否かを識別する。これにより、接客モニタリング装置１０Ｂは、遮蔽物により複数の人物の動線情報や滞留情報が分断されても、同一人物の情報として動線情報や滞留情報を統合して扱うことができる。よって、例えば、新規に来店した客ではなく、商品棚ＳＳ２１の背後から客ＣＴが表れた場合に、接客済みの客であるか否かを過去の滞留情報から紐付けでき、接客活動を効率化できる。

［効果等］
このように、本実施形態の接客モニタリングシステム１００Ｂ及び接客モニタリング装置１０Ｂでは、話者識別部２５は、音声検出部２１により検出された発話に係る第１の話者を話者識別処理により識別し、第１の話者に係る第１の話者識別情報をメモリ１３に保持させる。滞留情報調整部３３は、第１の話者識別情報と、話者識別部２５により第１の話者識別情報が得られた後に識別された第２の話者に係る話者識別情報と、が略一致する場合、第１の話者に係る人物の滞留情報又は店員ＳＡの滞留情報に、第２の話者に係る人物の滞留情報又は店員ＳＡの滞留情報を統合する。

これにより、接客モニタリングシステム１００Ｂ及び接客モニタリング装置１０Ｂは、動線情報や滞留情報が一旦遮断され、別の人物が検出されても、話者識別により滞留情報を紐付け可能な場合には、別個の動線情報や滞留情報として取り扱わず、同一人物の動線情報や滞留情報として取扱いできる。また、接客モニタリングシステム１００Ｂ及び接客モニタリング装置１０Ｂは、音声データを用いて同一人物か否かを判定するので、画像データを用いて顔照合等により同一人物か否かが判定される場合と比較すると、処理負荷を軽減できる。よって、接客モニタリングシステム１００Ｂ及び接客モニタリング装置１０Ｂは、動線情報や滞留情報に係る人物の識別精度を向上できるので、接客の判定精度を向上できる。

（他の実施形態）
以上のように、本開示における技術の例示として、第１〜第３の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、各実施形態を組み合わせてもよい。

第１〜第３の実施形態では、プロセッサは、物理的にどのように構成してもよい。また、プログラム可能なプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。プロセッサは、１つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第１〜第３の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで１つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材（コンデンサ等）で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、１つの半導体チップを構成してもよい。また、複数のプロセッサが１つのプロセッサで構成されてもよい。

第１〜第３の実施形態では、図１，５，１１において接客モニタリングシステム及び接客モニタリング装置の構成を示したが、各構成は、ハードウェアにより実現されてもよいし、ソフトウェアにより実現されてもよい。

本開示は、接客の判定精度を向上できる接客モニタリング装置、接客モニタリングシステム、及び接客モニタリング方法等に有用である。

１００，１００Ａ，１００Ｂ 接客モニタリングシステム
１０，１０Ａ，１０Ｂ 接客モニタリング装置
１１ 通信部
１２ 制御部
１３ メモリ
１４ 操作部
１５ ディスプレイ装置
１６ スピーカ装置
２０，２０Ａ，２０Ｂ 音声処理部
２１ 音声検出部
２２ 検出結果累積部
２３ 指向性合成部
２４ 音声判別部
２５ 話者識別部
３０，３０Ｂ 人物検出部
３１ 移動体滞留情報生成部
３２ ＩＤ滞留情報生成部
３３ 滞留情報調整部
４０，４０Ａ 接客判定部
４１ 接客条件設定部
４２ 接客行動抽出部
４３ 行動判定部
４４ 接客要否判定部
４５ 端末通知部
Ａ１ 商品見学エリア
Ａ２ 店員探索エリア
ＣＡ カメラ装置
ＣＴ，ＣＴ１，ＣＴ２，ＣＴ１１ 客
ＨＤ，ＨＤ１ 頭部
ＭＡ マイクアレイ装置
ＮＴ ネットワーク
ＲＣ レコーダ
ＳＡ，ＳＡ１，ＳＡ２，ＳＡ３，Ｓ１１，Ｓ１２ 店員
ＳＤ 肩部
ＳＳ，ＳＳ１〜ＳＳ６，ＳＳ２１ 商品棚
ＴＥ 携帯端末

Claims (11)

1. 複数のグリッドに区分される対象エリアの音声を収音する収音装置により収音された音声に係る音声データを取得し、前記対象エリアの画像を撮像する撮像装置により撮像された画像に係る画像データを取得する通信部と、
   前記音声データを基に、発話を検出する発話検出部と、
   前記画像データを基に、接客者又は客を含む人物の滞留情報を生成し、前記対象エリア内に所在する各接客者が所持する携帯端末の位置情報を基に、前記接客者の滞留情報を生成する滞留情報生成部と、
   前記人物の滞留情報、前記接客者の滞留情報、及び前記発話の検出結果を基に、同一のグリッドに前記接客者と客とが第１の所定時間滞留し、且つ、前記同一のグリッドにおいて第２の所定時間以上発話が検出された場合、前記同一のグリッドにおいて前記接客者が接客していると判定する接客判定部と、
   を備える接客モニタリング装置。
2. 請求項１に記載の接客モニタリング装置であって、
   前記接客判定部は、任意のグリッドにおいて前記第１の所定時間以上滞留する第１の客を１人検出し、前記第１の客が発した特定のキーワードが検出された場合、又は前記第１の客が特定の行動が検出された場合、前記第１の客に対する接客が必要であると判定し、
   前記通信部は、前記第１の客に対する接客が必要な場合、前記接客者の少なくとも一部が所持する携帯端末へ、前記第１の客に対する接客を指示するための接客指示情報を送信する、接客モニタリング装置。
3. 請求項２に記載の接客モニタリング装置であって、
   前記接客判定部は、前記第１の客の頭部又は肩部の検出位置と、前記頭部又は前記肩部の検出時間又は検出回数と、に基づいて、前記特定の行動をしているか否かを判定する、接客モニタリング装置。
4. 請求項２に記載の接客モニタリング装置であって、
   前記接客判定部は、前記第１の客の滞留情報が所定の滞留パターンを含む場合、前記特定の行動をしていると判定する、接客モニタリング装置。
5. 請求項２〜４のいずれか１項に記載の接客モニタリング装置であって、
   前記通信部は、前記接客者の滞留情報に基づいて、任意のグリッド内に１人で所在する接客者へ前記接客指示情報を送信する、接客モニタリング装置。
6. 請求項２〜４のいずれか１項に記載の接客モニタリング装置であって、
   前記通信部は、前記接客者の滞留情報及び前記人物の滞留情報に基づいて、非接客者へ前記接客指示情報を送信する、接客モニタリング装置。
7. 請求項２〜４のいずれか１項に記載の接客モニタリング装置であって、
   前記通信部は、任意のグリッド内に１人で所在する接客者が存在しない場合、前記接客者の滞留情報が生成されなかった接客者が所持する携帯端末へ、前記接客指示情報を送信する、接客モニタリング装置。
8. 請求項２〜４のいずれか１項に記載の接客モニタリング装置であって、
   前記通信部は、任意のグリッド内に１人で所在する接客者が存在しない場合、全ての接客者が所持する携帯端末へ、前記接客指示情報を送信する、接客モニタリング装置。
9. 請求項１〜８のいずれか１項に記載の接客モニタリング装置であって、更に、
   前記発話検出部により検出された発話に係る第１の話者を話者識別処理により識別し、前記第１の話者に係る第１の話者識別情報をメモリに保持させる話者識別部と、
   前記第１の話者識別情報と、前記話者識別部により前記第１の話者識別情報が得られた後に識別された第２の話者に係る話者識別情報と、が略一致する場合、前記第１の話者に係る前記人物の滞留情報又は前記接客者の滞留情報に、前記第２の話者に係る前記人物の滞留情報又は前記接客者の滞留情報を統合する滞留情報調整部と、
   を備える接客モニタリング装置。
10. 複数のグリッドに区分される対象エリアの音声を収音する収音装置と、前記対象エリアの画像を撮像する撮像装置と、接客モニタリング装置と、を備える接客モニタリングシステムであって、
    前記接客モニタリング装置は、
    前記収音装置により収音された音声に係る音声データを取得し、
    前記撮像装置により撮像された画像に係る画像データを取得し、
    前記音声データを基に、発話を検出し、
    前記画像データを基に、接客者又は客を含む人物の滞留情報を生成し、
    前記対象エリア内に所在する各接客者が所持する携帯端末の位置情報を基に、前記接客者の滞留情報を生成し、
    前記人物の滞留情報、前記接客者の滞留情報、及び前記発話の検出結果を基に、同一のグリッドに前記接客者と客とが第１の所定時間滞留し、且つ、前記同一のグリッドにおいて第２の所定時間以上発話が検出された場合、前記同一のグリッドにおいて前記接客者が接客していると判定する、接客モニタリングシステム。
11. 接客モニタリング装置における接客モニタリング方法であって、
    複数のグリッドに区分される対象エリアの音声を収音する収音装置により収音された音声に係る音声データを取得し、
    前記対象エリアの画像を撮像する撮像装置により撮像された画像に係る画像データを取得し、
    前記音声データを基に、発話を検出する発話検出部と、
    前記画像データを基に、接客者又は客を含む人物の滞留情報を生成し、
    前記対象エリア内に所在する各接客者が所持する携帯端末の位置情報を基に、前記接客者の滞留情報を生成し、
    前記人物の滞留情報、前記接客者の滞留情報、及び前記発話の検出結果を基に、同一のグリッドに前記接客者と客とが第１の所定時間滞留し、且つ、前記同一のグリッドにおいて第２の所定時間以上発話が検出された場合、前記同一のグリッドにおいて前記接客者が接客していると判定する、接客モニタリング方法。

Images