JP2011238029A - 接客データ記録装置、接客データ記録方法およびプログラム - Google Patents

Abstract

【課題】顧客満足度と店員満足度との相関関係を把握する。
【解決手段】店員と顧客の会話を取得する音声取得部１０２と、会話に含まれる店員および顧客の音声に基づいて、それぞれ店員および顧客の感情を認識する感情認識部１５５と、感情認識部１５５の認識結果に基づいて、店員満足度および顧客満足度を算出する満足度算出部１５６、１５７と、店員満足度を示す店員満足度データと、顧客満足度を示す顧客満足度データと、を関連付け、接客データとして管理サーバー用データベースＤＢに記録する接客データ記録部１５９と、を備えた。
【選択図】図６

Description

本発明は、接客業務における接客データをデータベースに記録する接客データ記録装置、接客データ記録方法およびプログラムに関するものである。

従来、コンタクトセンターにおいてオペレーターと顧客との会話を入力する会話入力手段と、入力した会話に含まれるオパレーターの音声からのオペレーター感情を認識する感情認識手段と、を備えたオペレーター管理装置が知られている（特許文献１参照）。このオペレーター管理装置では、オペレーターの音声から、オペレーターの「怯え」や「怒り」といった感情を認識して出力し、この出力頻度が所定の閾値に達した際、これをオペレーターの管理者に通知するものである。

特開２００４−２５２６６８号公報

ところで、各種接客業務において、顧客満足度もしくは店員満足度を測定・算出することが求められている。接客業務では、顧客満足度が売上実績に大きく影響することが知られており、また店員満足度が顧客満足度に大きく影響することが知られている。そのため、顧客満足度を算出・測定して、接客データ（マーケティングデータ）とすることや、顧客満足度に代えて、店員満足度を算出・測定して、接客データとすることが考えられる。これに対し、上記の感情認識手段により得られた感情認識結果に基づいて、顧客満足度もしくは店員満足度を算出することが想到される。
しかしながら、会話中の顧客満足度と店員満足度とは必ずしも相関するものではない。例えば、店員満足度に係わらない接客以外の要因（商品・サービスの値段や店舗の清潔性等）から、顧客満足度が変化することも考えられる。ゆえに、上記構成では、接客によって顧客満足度が変化したのか、接客以外の要因で顧客満足度が変化したのかが判別できないという問題がある。すなわち、顧客満足度と店員満足度との相関関係を把握することができないため、接客データとして不十分であるという問題がある。

本発明は、顧客満足度と店員満足度との相関関係を把握することができる接客データ記録装置、接客データ記録方法およびプログラムを提供することを課題としている。

本発明の接客データ記録装置は、店員と顧客の会話を取得する会話取得部と、会話に含まれる店員および顧客の音声に基づいて、それぞれ店員および顧客の感情を認識する感情認識部と、感情認識部の認識結果に基づいて、店員満足度および顧客満足度を算出する満足度算出部と、店員満足度を示す店員満足度データと、顧客満足度を示す顧客満足度データと、を関連付け、接客データとしてデータベースに記録する接客データ記録部と、を備えたことを特徴とする。

本発明の接客データ記録方法は、コンピューターにより、店員と顧客の会話に基づいて、接客データをデータベースに記録する接客データ記録方法であって、コンピューターが、店員と顧客の会話を取得する会話取得工程と、会話に含まれる店員および顧客の音声に基づいて、それぞれ店員および顧客の感情を認識する感情認識工程と、感情認識部の認識結果に基づいて、店員満足度および顧客満足度を算出する満足度算出工程と、店員満足度を示す店員満足度データと、顧客満足度を示す顧客満足度データと、を関連付け、接客データとしてデータベースに記録する接客データ記録工程と、を備えたことを特徴とする。

これらの構成によれば、店員満足度を示す店員満足度データと、顧客満足度を示す顧客満足度データと、を関連付け、接客データとして記録することにより、当該接客データから、店員満足度と顧客満足度との相関関係を把握することができる。そのため、顧客満足度が、店員満足度に係わる要因によって変化したか否かを判別することができる。また、顧客満足度から店員満足度の変化を、店員満足度から顧客満足度の変化を推定することができるため、顧客満足度および店員満足度が正確に算出できているか否かを判定することができ、算出した顧客満足度および店員満足度の信頼性を補填することができる。

上記の接客データ記録装置において、店員と顧客との間において所定時間以上途切れないまま繰り返される一連の会話を１接客区間としたとき、接客区間を特定する接客区間特定部をさらに備え、接客データ記録部は、接客区間ごとに店員満足度データおよび顧客満足度データを記録することが好ましい。

この構成によれば、接客区間ごとに店員満足度データおよび顧客満足度データを記録するため、接客区間単位での店員満足度と顧客満足度との相関関係を把握することができる。

この場合、接客データ記録部は、店員満足度データおよび顧客満足度データに、接客区間の開始時間および／または終了時間を関連付けて記録することが好ましい。

この構成によれば、接客区間の開始時間および／または終了時間を関連付けて記録するため、店員満足度データおよび顧客満足度データの記録時間を把握することができる。

この場合、店員および顧客を識別する識別部をさらに備え、接客データ記録部は、店員満足度データおよび顧客満足度データに、店員を識別した店員識別情報と、顧客を識別した顧客識別情報と、を関連付けて記録することが好ましい。

この構成によれば、店員満足度データおよび顧客満足度データに、店員識別情報と、顧客識別情報とを関連付けて記録することで、記録した接客データが、どの店員とどの顧客との会話から得られたものであるかを把握することができる。

この場合、接客データ記録部は、店員満足度データおよび顧客満足度データに、店員の顧客に対する売上実績を関連付けて記録することが好ましい。

この構成によれば、店員満足度データおよび顧客満足度データに、売上実績を関連付けて記録することで、店員満足度および顧客満足度と、売上との相関関係を、把握することができる。

この場合、接客データ記録部は、店員満足度データおよび顧客満足度データに、取得した会話の録音データおよび店員の顧客に対する接客の撮像データを関連付けて記録することが好ましい。

この構成によれば、店員満足度データおよび顧客満足度データに、会話の録音データおよび接客の撮像データを関連付けて記録することで、記録した店員満足度データおよび顧客満足度データが、どのような会話内容、接客内容によって得られたかを、把握することができる。

この場合、録音データを再生する録音再生部と、再生の進行状況を示すプログレスバーを表示するプログレスバー表示部と、連続する音声の区間を１発話区間、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を１話し掛け区間としたとき、話し掛け区間を特定する話し掛け区間特定部と、をさらに備え、プログレスバー表示部は、話し掛け区間特定部により特定した店員の話し掛け区間と顧客の話し掛け区間とを色分けして、プログレスバーを表示することが好ましい。

この構成によれば、会話における店員の話し掛け区間と、顧客の話し掛け区間とを確認することができるため、店員と顧客との会話比率や会話間隔を確認することができる。

この場合、接客データに基づいて、ビューアー画面を表示する画面表示部をさらに備えたことが好ましい。

この構成によれば、ビューアー画面によって、記録した接客データを確認することができる。

この場合、会話取得部は、店員と店員の上司との会話と、店員と店員の同僚との会話と、をさらに取得し、取得した会話の会話相手の種別を、「顧客」、「上司」および「同僚」の間で判別する判別部をさらに備え、画面表示部は、ビューアー画面において、店員満足度データを、判別した種別に関連付けて表示することが好ましい。

この構成によれば、会話相手の種別を判別し、これを店員満足度データに関連付けて表示するため、各店員満足度データが、どの相手との会話によって得られたものであるかを確認することができる。

本発明のプログラムは、コンピューターに、上記の接客データ記録方法における各工程を実行させることを特徴とする。

この構成によれば、コンピューターに本プログラムを搭載するだけで、上記の接客データ記録方法における各工程を実行させることができる。

第１実施形態に係る接客支援システムのシステム構成図である。 店員用端末の制御ブロック図である。 レシートプリンターの制御ブロック図である。 管理サーバーの制御ブロック図である。 発話区間、話し掛け区間、会話区間および接客区間の説明図である。 第１実施形態に係る接客支援システムの機能ブロック図である。 第１実施形態に係る管理サーバー用データベースの説明図である。 音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。 第１実施形態に係る音声データ保存処理を示すフローチャートである。 第１実施形態に係る接客区間特定処理を示すフローチャートである。 第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。 第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。 第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。 満足度記録処理を示すフローチャートである。 第１実施形態に係る第１のビューアー画面を示す図である。 第１実施形態に係る第２のビューアー画面を示す図である。 第２実施形態の接客支援システムの機能ブロック図である。 第２実施形態に係る第１のビューアー画面を示す図である。 第２実施形態に係る第２のビューアー画面を示す図である。

［第１実施形態］
以下、添付の図面を参照し、本発明の接客データ記録装置、接客データ記録方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の接客データ記録装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、店員および顧客の感情認識を行い、その結果を店員満足度（店員の従業員満足度）および顧客満足度の向上や売上向上に生かすべく構築されたものである。そこで、以下の実施形態では、衣料品店の店舗内において、接客中の店員および顧客の感情認識を行う場合を例示する。

図１は、第１実施形態に係る接客支援システムＳＹのシステム構成図である。同図に示すように、接客支援システムＳＹは、店員に装着された体導音センサー１、音声取得用マイク２および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point Of Sales）端末１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。なお、請求項にいう「コンピューター」は、接客支援システムＳＹにおける各装置の制御系によって構成されている。

体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員のものであるか顧客のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。

店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２の出力データを取得する。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。

店内カメラ１１は、店内各所の天井などに設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan Tilt Zoom）カメラを採用可能である。

ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスター１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。

レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。

管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データを初めとする各種データに基づいて、音声認識、感情認識および満足度（店員満足度および顧客満足度）の算出などを行う。

次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を得るためのアンプ部２８およびＡ／Ｄコンバーター２９と、音声取得用マイク２によって取得された音声データを得るためのアンプ部３２およびＡ／Ｄコンバーター３３と、を有している。また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データを記憶するメモリー２６と、電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバーター２９およびＡ／Ｄコンバーター３３から取得したデータに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、Ａ／Ｄコンバーター３３から取得したデータに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。

続いて、図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力Ｉ／Ｆ部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線ＬＡＮを介して接続される有線ＬＡＮＩ／Ｆ部４９と、を有している。

制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、有線ＬＡＮＩ／Ｆ部４９を介して、管理サーバー１５に転送する。

続いて、図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するための有線ＬＡＮＩ／Ｆ部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、音声出力装置５６に各種音声を出力させるための音声処理部５７と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、接客区間（店員と顧客との連続する会話の区間）を特定する接客区間特定機能と、店員満足度と顧客満足度とを算出する満足度算出機能と、算出した満足度等を表示するためのビューアー画面Ｓ（図１５参照）の表示制御を行う画面表示制御機能と、を有している。

次に、図５を参照し、各区間の定義について説明する。上記のとおり、同一人物による連続する音声の区間、つまりブレス（息継ぎ）などが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、いずれも２つの発話区間から成る場合を示している。

また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の発話区間の集合体を言う（但し、ＹはＹ＞Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。

また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。

次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹの機能構成について説明する。図６は、接客支援システムＳＹのブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。

体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、音声取得部（会話取得部）１０２を有している。音声取得部１０２は、店員および顧客の音声（音声信号）を取得する。音声データ通信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、店員発話区間特定機能により、発話検出部１０１の検出結果および音声取得部１０２の音声取得結果に基づいて店員発話区間を特定し、当該店員発話区間の発生を管理サーバー１５に通知する。なお、実際には、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。

レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。

管理サーバー１５は、主な機能構成として、映像記録部１５１、顧客識別部１５２、店員識別部１６２、会話録音部１５３、接客区間特定部１５４、感情認識部１５５、店員満足度算出部１５７、顧客満足度算出部１５６、接客データ記録部１５９、画面表示部１６０、録音再生部１６１、変換データ受信部１５８および管理サーバー用データベースＤＢを有している。なお、請求項にいう「接客区間特定部」および「話し掛け区間特定部」は、接客区間特定部１５４により構成されており、請求項にいう「画面表示部」および「プログレスバー表示部」は、画面表示部１６０により構成されている。また、請求項にいう「満足度算出部」は、店員満足度算出部１５７および顧客満足度算出部１５６により構成されており、請求項にいう「識別部」は、顧客識別部１５２および店員識別部１６２により構成されている。

映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢに記録する。顧客識別部１５２は、映像データに含まれる顔特徴量に基づいて顧客を識別する。具体的には、予め顧客識別情報と顧客の顔特徴量を管理サーバー用データベースＤＢ内に記憶しておき（図７の顧客情報記憶部８１参照）、撮像された顧客の顔特徴量（店内カメラ１１の撮像結果を解析して顔検出を行い、当該顔部分の画像を正規化して算出された顔特徴量）と、管理サーバー用データベースＤＢに記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。

店員識別部１６２は、店員用端末５のＭＡＣアドレスを取得し、これに紐付けされた店員認識情報から、店員を識別する。具体的には、ＭＡＣアドレスと店員識別情報（店員ＩＤ等）を対応付けて管理サーバー用データベースＤＢ内に記憶しておき（図７の店員情報記憶部８２参照）、店員用端末５のＭＡＣアドレスをこれと照合して、店員を識別する。なお、店員についても、映像データに含まれる顔特徴量から識別しても良い。つまり、予め店員識別情報と店員の顔特徴量を管理サーバー用データベースＤＢ内に記憶しておき、撮像された店員の顔特徴量と、管理サーバー用データベースＤＢに記憶されている各店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員が接客を行っていると判定する。

会話録音部１５３は、店員と顧客の会話、すなわち音声データ通信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢに記録する）。

接客区間特定部１５４は、発話検出部１０１の検出結果（音声データ通信部１０５により特定された店員発話区間）に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別すると共に、話し掛け区間、会話区間および接客区間を特定する。

感情認識部１５５は、会話に含まれる店員の音声に基づいて、店員の感情を認識すると共に、会話に含まれる顧客の音声に基づいて、顧客の感情を認識する。具体的には、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて感情認識を行う。この場合、感情認識部１５５は、接客区間特定部１５４により特定した発話区間ごと（店員発話区間ごともしくは顧客発話区間ごと）に感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客発話区間と店員発話区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客発話区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない感情認識非対象区間（重複区間）を除いて感情認識を行うことで、誤認識を防止することができる。

店員満足度算出部１５７は、感情認識部１５５の店員の音声に対する認識結果に基づいて、店員満足度を算出する。また、感情認識部１５５が発話区間ごとに感情認識を行うことに伴い店員満足度算出部１５７も、発話区間ごと（厳密には店員発話区間ごと）に店員満足度を算出する。

顧客満足度算出部１５６は、感情認識部１５５の顧客の音声に対する認識結果に基づいて、顧客満足度を算出する。また、顧客満足度算出部１５６も同様、発話区間ごと（厳密には顧客発話区間ごと）に顧客満足度を算出する。

接客データ記録部１５９は、接客区間の完了ごとに、顧客識別部１５２の識別結果である顧客識別情報、店員識別部１６２の識別結果である店員識別情報、店員満足度算出部１５７の算出結果である店員満足度データ、および顧客満足度算出部１５６の算出結果である顧客満足度データなどを含む接客データを、管理サーバー用データベースＤＢに記録する。

変換データ受信部１５８は、変換データ送信部１１３から送信された変換データを受信し、管理サーバー用データベースＤＢに記録する。なお、変換データは、上記の接客データとして記録する売上実績に関する情報を得るために用いられる。したがって、変換データに含まれる情報の中から、レシート番号や合計金額など、売上の有無や売上金額を特定可能な情報のみを抽出し、これを売上実績として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢに記録しても良い。

画面表示部１６０は、記録した接客データに基づいて、ビューアー画面Ｓ（図１５参照）を表示端末１６の表示画面１６ａ上に表示する。なお、ビューアー画面Ｓについては、後に詳述する。また、録音再生部１６１は、音声出力装置５６により、ビューアー画面Ｓの操作に伴って録音データを再生する。

図７は、第１実施形態に係る管理サーバー用データベースＤＢの説明図である。管理サーバー用データベースＤＢは、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７、接客データ記憶部８８として機能する。なお、管理サーバー用データベースＤＢは、店舗ごとに設けられても良いし、複数店舗のデータを一括管理するものであっても良い。

顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、会話録音部１５３により常時録音された音声データを記憶する。また、映像データ記憶部８４は、接客撮像部１１１により常時撮像された映像データを記憶する。

また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図８（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図８（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図８（ｃ）参照）。また、接客データ記憶部８８は、上記接客データを記憶する。

次に、図８を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図８（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される音声データＮｏ．と、連続発話区間の開始時間に相当する録音開始時間と、連続発話区間の終了時間に相当する録音終了時間と、顧客の発声に基づく音声データか、店員の発生に基づく音声データか、または両方の発声に基づく音声データかを示す重複フラグと、音声データの保存先アドレスと、を関連付けたものである。例えば、音声データＮｏ．２０１の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の音声が重複していることを示している。

図８（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、発話区間ごとに付与される店員発話Ｎｏ．と、発話区間の開始時間である店員発話開始時間と、発話区間の終了時間である店員発話終了時間と、どの話し掛け区間に属するかを示す話し掛けＮｏ．と、顧客の発声との重複区間の開始時間である重複開始時間と、顧客の発声との重複区間の終了時間である重複終了時間と、を関連付けたものである。例えば、店員発話Ｎｏ．１００と店員発話Ｎｏ．１０１の発話区間は、インターバルが所定時間（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、店員発話Ｎｏ．１００の発話区間は、その区間全体が顧客の発生と重複していることを示している。

図８（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、発話区間ごとに付与される顧客発話Ｎｏ．と、発話区間の開始時間である顧客発話開始時間と、発話区間の終了時間である顧客発話終了時間と、どの話し掛け区間に属するかを示す話し掛けＮｏ．と、店員の発声との重複区間の開始時間である重複開始時間と、店員の発声との重複区間の終了時間である重複終了時間と、を関連付けたものである。例えば、顧客発話Ｎｏ．１０１と顧客発話Ｎｏ．１０２の発話区間は、インターバルが所定時間（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付加されている。また、顧客発話Ｎｏ．１００の発話区間は、１３秒の区間長さのうち６秒間が店員の発生と重複していることを示している。

次に、接客データ記憶部８８について説明する。接客データ記憶部８８は、接客区間ごとの接客データを記憶する。具体的には、接客データ記憶部８８は、接客データとして、接客区間ごとの、顧客識別部１５２の識別結果である顧客識別情報と、店員識別部１６２の識別結果である店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、当接客区間分の音声データに相当する録音データと、映像データ記憶部８４に記憶された映像データのうち、当接客区間分の映像データに相当する撮像データと、店員満足度算出部１５７の算出結果であって、当接客区間内における各店員発話区間の店員満足度の変化（推移）を示す店員満足度データと、顧客満足度算出部１５６の算出結果であって、当接客区間内における各顧客発話区間の顧客満足度の変化（推移）を示す顧客満足度データと、当接客による（接客区間内または接客区間終了後所定時間以内における）売上の有無および売上金額を示す売上実績と、接客区間の接客時間（接客区間の長さ）、開始時刻および終了時刻と、を記憶する。なお、売上実績については、レシートプリンター１３から送信された変換データに含まれる顧客識別情報によって紐付け可能である。

次に、図９のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。

店員用端末５は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）（会話取得工程）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリー２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。

続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。

管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図８（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。

次に、図１０ないし図１３のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１０は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１１ないし図１３は、そのサブルーチンを示すフローチャートである。図１１に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。これらＳ２１〜Ｓ２３の工程により、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。

次に、図１１のフローチャートを参照し、図１０のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話区間開始時間として確定し、メモリー２６内に記録する（Ｓ３２）。続いて、音声レベル判定機能のパワーフィルターにより音声レベルを判定し、所定レベル以上の場合、音声発話による検出データであることを確定する（Ｓ３３）。なお、フローチャートには特に図示しないが、検出レベルまたは音声レベルが所定レベル未満の場合は、処理を終了する。音声発話による検出データであることを確定する。また、音声発話による検出データであることを確定すると、音声発話に続く無音声区間から店員発話区間終了時間を確定し、メモリー２６内に記録する。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリー２６内に記録されている店員発話区間開始時間および店員発話区間終了時間も送信する。

一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図８（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。

次に、図１２のフローチャートを参照し、図１０のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないと看做して、処理を終了する。

次に、図１３のフローチャートを参照し、図１０のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５（制御部５３）は、顧客話し掛け区間Ｂの特定が終了した後、顧客発話区間管理テーブル８７を参照し、図１２の処理にて特定された店員発話区間の店員発話開始時間から所定時間前までに、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在するか否かを判別する（Ｓ５１）。ここで、顧客発話区間が存在する場合は（Ｓ５１：Ｙｅｓ）、顧客の話し掛け区間特定処理が既に終了しているものと看做し、処理を終了する。また、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在しない場合は（Ｓ５１：Ｎｏ）、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、未処理の音声データが存在するか否かを判別する（Ｓ５２）。ここで、未処理の音声データが存在しない場合は（Ｓ５２：Ｎｏ）、顧客話し掛け区間Ａが存在しないものと看做し、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５２：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５３）。

その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５４）、存在する場合は（Ｓ５４：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５４）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５４：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないと看做して、処理を終了する。

以上、図９ないし図１３の処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図８（ａ）の重複フラグ欄における「客・店」に相当）。

ここで図１４を参照して、満足度記録処理について説明する。この満足度記録処理は、店員満足度を示す店員満足度データと、顧客満足度を示す顧客満足度データとを接客データとして、管理サーバー用データベースＤＢに記録する処理である。また、満足度記録処理は、接客区間が完了し、当接客区間が特定されるのに起因して行われる。

図１４に示すように、管理サーバー１５（制御部５３）は、接客区間が特定されると（Ｓ６１：Ｙｅｓ）、店員発話区間管理テーブル８６により、当接客区間に含まれる全店員発話区間を抽出する（Ｓ６２）。その後、音声データ管理テーブル８５により、抽出した各店員発話区間の各音声データを抽出する（Ｓ６３）。

各店員発話区間の各音声データを抽出したら、感情認識部１５５により、各音声データに基づく感情認識をそれぞれ行う（Ｓ６４）（感情認識工程）。その後、店員満足度算出部１５７により、各店員発話区間における各感情認識結果に基づいて、各店員発話区間における各店員満足度を算出する（Ｓ６５）（満足度算出工程）。具体的には、それぞれ、感情認識結果に基づいて、「喜び」、「笑い」、「怒り」、「悲しみ」、「平常」、「興奮」などの感情状態を示す各感情データを算出し、この各感情データに基づいて、店員満足度を算出する。ここで算出した接客区間内の各店員発話区間の各店員満足度を、店員満足度データとする。

店員満足度を算出したら、今度は、顧客発話区間管理テーブル８７により、当接客区間に含まれる全顧客発話区間を抽出し（Ｓ６６）、音声データ管理テーブル８５により、抽出した各顧客発話区間の各音声データを抽出する（Ｓ６７）。

各顧客発話区間の各音声データを抽出したら、感情認識部１５５により、各音声データに基づく感情認識をそれぞれ行う（Ｓ６８）（感情認識工程）。その後、顧客満足度算出部１５６により、各顧客発話区間における各感情認識結果に基づいて、各顧客発話区間の各顧客満足度を算出する（Ｓ６９）（満足度算出工程）。ここで算出した接客区間内の各顧客発話区間の各顧客満足度を、顧客満足度データとする。なお、各感情データを代入して店員満足度を算出する算出アルゴリズムと、各感情データを代入して顧客満足度を算出する算出アルゴリズムとは、共通のアルゴリズムを用いても良いし、その各感情データが満足度に影響を与える要因や影響度の違いに応じて異なるアルゴリズムを用いてもよい。

店員満足度および顧客満足度を算出したら、接客データ記録部１５９により、接客区間ごとの店員満足度データおよび顧客満足度データを関連付けて、接客区間単位の接客データとして、接客データ記憶部８８に記録する（Ｓ７０）（接客データ記録工程）。かかる際、接客データ記録部１５９は、店員満足度データおよび顧客満足度データ（接客データ）に、当接客区間の接客時間、開始時間および終了時間と、店員識別情報と、顧客識別情報と、売上実績と、録音データと、撮像データと、を関連付けて記録する。これにより、満足度記録処理を終了する。なお、店員満足度データと顧客満足度データとは、各発話区間の測定時刻（開始時刻および／または終了時刻）によって紐付けする。

次に、図１５および図１６を参照して、記録した接客データを確認するためのビューアー画面Ｓについて説明する。画面表示部１６０は、ユーザーによる選択操作によって、接客データに基づくデータをリスト方式で表示する第１のビューアー画面Ｓ１（図１５参照）と、接客データに基づくデータをグラフ方式で表示する第２のビューアー画面Ｓ２（図１６参照）とに切り替えて表示する。

まず、図１５を参照して、第１のビューアー画面Ｓ１について説明する。図１５に示すように、第１のビューアー画面Ｓ１には、表示条件を入力するための条件入力領域Ｅ１と、入力した表示条件で接客データに基づくデータを表示するデータ表示領域Ｅ２と、接客データに含まれる録音データの再生操作を行うための再生操作領域Ｅ３と、が含まれる。

条件入力領域Ｅ１は、店舗ＩＤを選択するための店舗ＩＤメニュー１７１と、日付の範囲を入力するための日付入力欄１７２と、店員を選択するための店員メニュー１７３と、を表示している。各メニュー１７１、１７３は、プルダウンメニュー形式で選択可能な各項目（店舗ＩＤや店員の氏名）を表示する。これらによって、表示条件である店舗、日付の範囲および店員を入力する。

データ表示領域Ｅ２は、入力した表示条件の接客データに基づくデータをデータリスト１７４として表示する。具体的には、入力した店舗に属する店員のうちの、入力した店員の接客データのうち、入力した日付の範囲に属する全接客区間の接客データを抽出して、接客データごとに、これに基づくデータをリスト表示する。ここでは、各接客区間の接客データに基づいて、接客区間ごとに、当接客区間の識別番号（図中では項目「会話Ｎｏ．」）と、当接客区間の開始時刻と、当接客区間の終了時刻と、当接客区間に属する各店員発話区間の店員満足度の平均値（図中では項目「店員満足度」）と、当接客区間の店員と顧客との会話比率と、当接客区間における顧客の名称と、当接客区間に属する各顧客発話区間の顧客満足度の平均値（図中では項目「顧客満足度」）と、当接客区間に関連付けられた売上実績の金額および識別情報（図中では項目「売上Ｎｏ．」）と、表示する。

再生操作領域Ｅ３は、データリスト１７４上で選択した１接客区間の録音データを再生するための操作領域である。再生操作領域Ｅ３は、接客区間における録音データの再生操作を行うためのボタン群１７５と、再生位置を示すプログレスバー１７６と、音量調節スライダー１７７と、を表示する。プログレスバー１７６は、横軸方向に分単位の時間目盛りが記されている。これら各グラフィックスの操作に伴って、録音再生部１６１は、選択した接客区間に関連付けられた録音データを再生する。また、プログレスバー１７６は、店員話し掛け区間と顧客話し掛け区間とを色分けして表示する。これにより、ユーザーは、指定した店員話し掛け区間、顧客話し掛け区間の録音データを再生させることができる。なお、プログレスバー１７６の目盛りは、分単位ではなく時間単位としても良い。また、接客データ内の録音データ全体の再生状況を把握できるように、録音データの長さに応じて、目盛りの単位および目盛り間隔を可変しても良い。

次に、図１６を参照して、第２のビューアー画面Ｓ２について説明する。第２のビューアー画面Ｓ２は、店員満足度データと顧客満足度データと売上げデータとの相関関係を表示するものである。具体的には、第２のビューアー画面Ｓ２には、条件入力領域Ｅ１と、店員満足度データをグラフ表示する店員満足度表示領域Ｅ６と、顧客満足度データをグラフ表示する顧客満足度表示領域Ｅ７と、売上実績を示す売上データをグラフ表示する売上表示領域Ｅ８と、が含まれている。条件入力領域Ｅ１は、第１のビューアー画面Ｓ１と同様であり、各表示領域Ｅ６、Ｅ７、Ｅ８では、条件入力領域Ｅ１によって入力した表示条件で接客データを表示する。

店員満足度表示領域Ｅ６は、入力した表示条件に属する接客区間の店員満足度データを、横軸を時刻とし、縦軸を店員満足度とした折れ線グラフで表示する。ここでは、所定時間途切れずに続く１以上の接客区間に亘る各店員発話区間の各店員満足度を折れ線で結線して表示する。顧客満足度表示領域Ｅ７は、店員満足度表示領域Ｅ６のグラフと対応づけ、入力した表示条件に属する接客区間の顧客満足度データを、横軸を時刻とし、縦軸を顧客満足度とした折れ線グラフで表示する。なお、顧客ごとに折れ線を色分けして表示する（図中では、線種によって色分けを示している）。売上表示領域Ｅ８は、店員満足度表示領域Ｅ６および顧客満足度表示領域Ｅ７の各グラフに対応付け、入力した表示条件に属する接客区間に関連付けられた売上実績を、横軸を時刻とし、縦軸を売上金額とした棒グラフで表示する。

［第２実施形態］
次に図１７ないし図１９を参照して、第２実施形態の接客支援システムＳＹについて特に異なる部分のみ説明する。第２実施形態の接客支援システムＳＹは、「顧客」との会話に加え、「上司」との会話と、「同僚」との会話とを取得し、これらの会話の音声に基づいて、「顧客」と会話した際の店員満足度、「上司」と会話した際の店員満足度および「同僚」と会話した際の店員満足度を算出し記録するものである。音声取得部１０２は、上記したように、上司との会話と、同僚との会話とをさらに取得する。図１７に示すように、管理サーバー１５は、図６に示す各部に加え、会話相手の種別（「顧客」、「上司」もしくは「同僚」）を判別する会話相手判別部（判別部）１８１を備えている。会話相手判別部１８１は、会話相手の音声データを声紋分析し、これに基づいて会話相手を認識し、会話相手の種別を判別する。なお、顧客認識と同様、店内カメラ１１の映像データに基づいて、会話相手を認識し判別する構成であっても良い。

第２実施形態に係る満足度記録処理では、店員満足度を算出する一連の工程（図１４のＳ６２〜Ｓ６５）に先駆けて、会話相手判別部１８１により会話相手の種別を判別し、また、接客データを記録する際（図１４のＳ７０）、店員満足度データに、判別した会話相手の種別を関連付けて管理サーバー用データベースＤＢ（接客データ記憶部８８）に記録する。なお、会話相手の種別を判別した際、判別結果が「上司」または「同僚」である場合には、顧客満足度を算出する一連の工程（図１４のＳ６６〜Ｓ６９）を省略する。

次に、図１８および図１９を参照して、第２実施形態に係るビューアー画面Ｓについて説明する。画面表示部１６０は、ビューアー画面Ｓにおいて、「上司」もしくは「同僚」と会話した際のデータを加えると共に、店員満足度データを、会話相手の種別（図中では項目「相手」）に関連付けて表示する。具体的には、図１８に示すように、第１のビューアー画面Ｓ１では、データリスト１７４上に、「上司」や「同僚」と会話した際のデータを加えると共に、会話相手の種別の項目を加えて表示する。また、図１９に示すように、第２のビューアー画面Ｓ２では、「上司」や「同僚」と会話した際のデータの折れ線を追加し、会話相手の種別（「顧客」、「上司」もしくは「同僚」）ごとに折れ線を色分けして表示する（図中では、線種によって色分けを示している。）。

以上の各実施形態によれば、店員満足度データと、顧客満足度データと、を関連付け、接客データとして記録することにより、当該接客データから、店員満足度と顧客満足度との相関関係を把握することができる。そのため、顧客満足度が、店員満足度に係わる要因によって変化したか否かを判別することができる。また、顧客満足度から店員満足度の変化を、店員満足度から顧客満足度の変化を推定することができるため、顧客満足度および店員満足度が正確に算出できているか否かを判定することができ、算出した顧客満足度および店員満足度の信頼性を補填することができる。

また、接客区間ごとに店員満足度データおよび顧客満足度データを記録するため、接客区間単位での店員満足度と顧客満足度との相関関係を把握することができる。

さらに、店員満足度データおよび顧客満足度データに、接客区間の開始時間および／または終了時間を関連付けて記録するため、店員満足度データおよび顧客満足度データの記録時間を把握することができる。

またさらに、店員満足度データおよび顧客満足度データに、店員識別情報と、顧客識別情報とを関連付けて記録することで、記録した店員満足度データおよび顧客満足度データが、どの店員とどの顧客との会話から得られたものであるかを把握することができる。なお、店員識別情報のみ、顧客識別情報のみを関連付けて記録する構成であっても良い。

さらに、店員満足度データおよび顧客満足度データに、売上実績を関連付けて記録することで、店員満足度および顧客満足度と、売上との相関関係を、把握することができる。

またさらに、店員満足度データおよび顧客満足度データに、会話の録音データを関連付けて記録することで、店員満足度データおよび顧客満足度データが、どのような会話内容によって得られたかを、把握することができる。

また、第１のビューアー画面Ｓ１において、特定した店員の話し掛け区間と顧客の話し掛け区間とを色分けして、プログレスバー１７６を表示することにより、会話における店員の話し掛け区間と、顧客の話し掛け区間とを確認することができるため、店員と顧客との会話比率や会話間隔を確認することができる。

さらに、接客データに基づくビューアー画面Ｓを表示することにより、ビューアー画面Ｓによって、記録した接客データを確認することができる。

また、第２実施形態によれば、会話相手の種別を判別し、これを店員満足度データに関連付けて表示するため、各店員満足度データが、どの相手との会話によって得られたものであるかを確認することができる。

なお、各実施形態では、店員満足度データと顧客満足度データを関連付けて記録し、これらの相関関係を示すビューアー画面Ｓを表示するものであったが、記録した店員満足度データと顧客満足度データに基づいて、店員満足度と顧客満足度との相関の度合いを判別し、これを表示する構成であっても良い。具体的には、店員満足度データと顧客満足度データに基づいて、単位区間当り（例えば、所定時間当りや、接客区間当り、会話区間当り等）の店員満足度と顧客満足度との相関関係における相関係数を算出する相関係数算出部を更に備え、画面表示部１６０は、ビューアー画面Ｓにおいて、算出した相関係数を表示する。また、かかる際、算出した相関係数に基づいて、店員満足度データおよび／または顧客満足度データの信頼性を判定して、その判定結果を表示する構成であっても良い。

また、各実施形態において、ビューアー画面Ｓにおいて、接客区間に関連付けられた撮像データを表示する構成であっても良い。例えば、第１のビューアー画面Ｓ１に撮像データを表示する撮像データ表示領域と、接客データに含まれる撮像データの再生操作を行うための映像再生操作領域と、を配し、映像再生操作領域の操作によって、接客区間に関連付けられた撮像データを再生する構成とする。

１０２：音声取得部、 １５２：顧客識別部、 １５４：接客区間特定部、 １５５：感情認識部、 １５６：顧客満足度算出部、 １５７：店員満足度算出部、 １５９：接客データ記録部、 １６０：画面表示部、 １６１：録音再生部、 １６２：店員識別部、 １７６：プログレスバー、 １８１：会話相手判別部、 ＤＢ：管理サーバー用データベース、 Ｓ：ビューアー画面、 ＳＹ：接客支援システム

Claims (11)

1. 店員と顧客の会話を取得する会話取得部と、
   前記会話に含まれる前記店員および前記顧客の音声に基づいて、それぞれ前記店員および前記顧客の感情を認識する感情認識部と、
   前記感情認識部の認識結果に基づいて、店員満足度および顧客満足度を算出する満足度算出部と、
   前記店員満足度を示す店員満足度データと、前記顧客満足度を示す顧客満足度データと、を関連付け、接客データとしてデータベースに記録する接客データ記録部と、を備えたことを特徴とする接客データ記録装置。
2. 前記店員と前記顧客との間において所定時間以上途切れないまま繰り返される一連の会話を１接客区間としたとき、前記接客区間を特定する接客区間特定部をさらに備え、
   前記接客データ記録部は、前記接客区間ごとに前記店員満足度データおよび前記顧客満足度データを記録することを特徴とする請求項１に記載の接客データ記録装置。
3. 前記接客データ記録部は、前記店員満足度データおよび前記顧客満足度データに、前記接客区間の開始時間および／または終了時間を関連付けて記録することを特徴とする請求項２に記載の接客データ記録装置。
4. 前記店員および前記顧客を識別する識別部をさらに備え、
   前記接客データ記録部は、前記店員満足度データおよび前記顧客満足度データに、前記店員を識別した店員識別情報と、前記顧客を識別した顧客識別情報と、を関連付けて記録することを特徴とする請求項１ないし３のいずれかに記載の接客データ記録装置。
5. 前記接客データ記録部は、前記店員満足度データおよび前記顧客満足度データに、前記店員の前記顧客に対する売上実績を関連付けて記録することを特徴とする請求項１ないし４のいずれかに記載の接客データ記録装置。
6. 前記接客データ記録部は、前記店員満足度データおよび前記顧客満足度データに、取得した前記会話の録音データおよび前記店員の前記顧客に対する接客の撮像データを関連付けて記録することを特徴とする請求項１ないし５のいずれかに記載の接客データ記録装置。
7. 前記録音データを再生する録音再生部と、
   前記再生の進行状況を示すプログレスバーを表示するプログレスバー表示部と、
   連続する音声の区間を１発話区間、所定時間以上途切れないまま繰り返される前記店員または前記顧客の前記発話区間の集合体を１話し掛け区間としたとき、前記話し掛け区間を特定する話し掛け区間特定部と、をさらに備え、
   前記プログレスバー表示部は、前記話し掛け区間特定部により特定した前記店員の話し掛け区間と前記顧客の話し掛け区間とを色分けして、前記プログレスバーを表示することを特徴とする請求項６に記載の接客データ記録装置。
8. 前記接客データに基づいて、ビューアー画面を表示する画面表示部をさらに備えたことを特徴とする請求項１ないし７のいずれかに記載の接客データ記録装置。
9. 前記会話取得部は、前記店員と前記店員の上司との会話と、前記店員と前記店員の同僚との会話と、をさらに取得し、
   取得した前記会話の会話相手の種別を、「顧客」、「上司」および「同僚」の間で判別する判別部をさらに備え、
   前記画面表示部は、前記ビューアー画面において、前記店員満足度データを、判別した前記種別に関連付けて表示することを特徴とする請求項１ないし８のいずれかに記載の接客データ記録装置。
10. コンピューターにより、店員と顧客の会話に基づいて、接客データをデータベースに記録する接客データ記録方法であって、
    前記コンピューターが、
    前記店員と前記顧客の会話を取得する会話取得工程と、
    前記会話に含まれる前記店員および前記顧客の音声に基づいて、それぞれ前記店員および前記顧客の感情を認識する感情認識工程と、
    前記感情認識部の認識結果に基づいて、店員満足度および顧客満足度を算出する満足度算出工程と、
    前記店員満足度を示す店員満足度データと、前記顧客満足度を示す顧客満足度データと、を関連付け、前記接客データとしてデータベースに記録する接客データ記録工程と、を備えたことを特徴とする接客データ記録方法。
11. コンピューターに、請求項１０に記載の接客データ記録方法における各工程を実行させるためのプログラム。

Images