JP2011210133A - 満足度算出方法、満足度算出装置およびプログラム - Google Patents

Abstract

【課題】信頼度の高い満足度を算出可能な満足度算出方法、満足度算出装置およびプログラムを提供する。
【解決手段】人物の音声から、その人物の満足度を算出する満足度算出方法であって、管理サーバーが、取得した音声に基づいて、その発話区間ごとに感情を認識する感情認識ステップと（Ｓ８４）、感情認識結果に基づいて、少なくとも「喜び」および「笑い」の感情状態を示す“喜データ”および“笑データ”を算出する感情データ算出ステップと（Ｓ８５）、計算式「“喜データ”＋“笑データ”×Ａ」（但し、Ａは０≦Ａ≦１となる定数）により、発話区間ごとの満足度を示す“満足度データ”を算出する発話区間別満足度算出ステップと（Ｓ８６）、を実行する。
【選択図】図２４

Description

人物の音声に基づいて感情を認識する感情認識技術を用いた満足度算出方法、満足度算出装置およびプログラムに関するものである。

従来、人物の音声に基づいて感情を認識する技術として、特許文献１が知られている。当該特許文献１では、被験者が入力した音声信号から、音声の強度、テンポおよび抑揚などの変化量を、「怒り」、「悲しみ」および「喜び」などそれぞれの感情状態に対応付けて感情認識を行っている。

一方、小売店などの店舗では、販売促進に活用するためのマーケティングデータとして、顧客データや売り上げデータを収集する試みが行われている。例えば、特許文献２では、ＰＯＳデータを分析して消費者の併売傾向を数量的に把握し、販売促進に反映させるマーケティングデータ収集分析技術が提案されている。

ところで、マーケティングの分野では、生産性や効率を多少犠牲にしてでも顧客満足度を高めた方が、消費者のリピーター化などを通じて結果的には良いと言われている。また、小売店を初めとするホスピタリティを重視する店舗では、売り上げと顧客満足度には密接な関連性があるため、顧客満足度を高めるために、接客スキルのトレーニングや、顧客に対する印象を良くするための笑顔や挨拶のトレーニングを行っている。しかし、これらの取り組みに対する実際の顧客満足度を測定することは非常に困難であるため、間接的に売り上げの増減を計測するか、少数の覆面調査員による定点観測が行われている。ところが、このような方法では、景気変動や調査員の影響を受けるため、顧客満足度を改善するための真の要因が掴めず、効果的な対策を実施できていないという現状がある。

また、店員別に売り上げ管理をしている店舗では、個々の店員の接客スキルによって売り上げに大きな差が生じる事実が判明している。ところが、接客スキル自体の定義が曖昧であり、売り上げが伸び悩む店員に対して接客スキルを水平展開できないという現状もある。

特開２００２−９１４８２号公報 特開２００７−９４５９２号公報

そこで、小売店などの店舗に、特許文献１の感情認識技術を取り入れて、直接顧客満足度を測定する方法が考えられる。これにより、少なくとも現状よりは正確な顧客満足度を測定できる筈である。しかしながら、そもそも感情認識技術を用いて、信頼度の高い顧客満足度を算出する具体的な方法は未だ提案されていない。

本発明は、上記の問題点に鑑み、信頼度の高い満足度を算出可能な満足度算出方法、満足度算出装置およびプログラムを提供することを目的とする。

本発明の満足度算出方法は、人物の音声から、その人物の満足度を算出する満足度算出方法であって、コンピューターが、音声を取得する音声取得ステップと、取得した音声に基づいて、感情を認識する感情認識ステップと、感情認識結果に基づいて、少なくとも「喜び」および「笑い」の感情状態を示す“喜データ”および“笑データ”を算出する感情データ算出ステップと、少なくとも計算式「“喜データ”＋“笑データ”×Ａ」（但し、Ａは０≦Ａ≦１となる定数）を用いて、満足度を示す“満足度データ”を算出する満足度算出ステップと、を実行することを特徴とする。

本発明の満足度算出装置は、人物の音声を取得する音声取得部と、取得した音声に基づいて、感情を認識する感情認識部と、感情認識部の感情認識結果に基づいて、少なくとも「喜び」および「笑い」の感情状態を示す“喜データ”および“笑データ”を算出する感情データ算出部と、計算式「“喜データ”＋“笑データ”×Ａ」（但し、Ａは０≦Ａ≦１となる定数）により、満足度を示す“満足度データ”を算出する満足度算出部と、を備えたことを特徴とする。

これらの構成によれば、「喜び」および「笑い」の感情状態を示す感情データを用いて、信頼度の高い満足度を算出することができる。これは、人物の満足度が、「快」の心理状態と、その心理的強度の乗算結果とに基づくという定義を前提としたものである。
なお、算出した満足度は、小売店を初めとする店舗や公共施設などで、人物（顧客や従業員）の満足度を検出するために利用したり、人工知能や人工感性の一部として利用したりすることが考えられる。

上記に記載の満足度算出方法において、感情データ算出ステップは、感情認識結果に基づいて、さらに「怒り」および「悲しみ」の感情状態を示す“怒データ”および“悲データ”を算出し、満足度算出ステップは、計算式「“怒データ”＋“悲データ”×Ｂ」（但し、Ｂは０≦Ｂ≦１となる定数）により、人物の不満足度を示す“不満足度データ”を算出し、計算式「“満足度データ”−“不満足度データ”×Ｃ」（但し、Ｃは０≦Ｃ≦１となる定数）により、人物の実満足度を示す“実満足度データ”を算出することが好ましい。

この構成によれば、「喜び」および「笑い」の他に、「怒り」および「悲しみ」の感情データを用いることで、複雑な感情を考慮した、より信頼度の高い満足度を算出することができる。これは、人物の不満足度が、「不快」の心理状態と、その心理的強度の乗算結果とに基づくという定義と、実満足度が、「快」および「不快」の心理状態に基づくという定義と、を前提としたものである。

上記に記載の満足度算出方法において、人物は、店舗内において店員に接客されている顧客であり、感情認識ステップは、連続する音声の区間を１発話区間としたとき、顧客の発話区間ごとに感情認識を行うと共に、満足度算出ステップは、顧客の発話区間ごとに“実満足度データ”を算出し、コンピューターが、顧客を識別する顧客識別ステップと、取得した顧客の音声に含まれる１以上の発話区間に対する１以上の“実満足度データ”の算出結果に基づいて、顧客別の満足度を示す顧客別満足度を算出する顧客別満足度算出ステップをさらに実行することが好ましい。

この構成によれば、発話区間ごとに感情認識を行うため、長い区間ごとに感情認識を行う場合と比較して、高精度な感情認識が可能となり、ひいてはより正確な顧客満足度を算出することができる。また、顧客満足度は発話ごとに変化するものであるため、１以上の“実満足度データ”の平均値等（中間値、最高値、最低値などであっても良い）に基づいて顧客別満足度を算出することで、顧客別の総合的な満足度を把握することができる。

上記に記載の満足度算出方法において、コンピューターが、店舗に来店した複数の顧客を対象として算出された顧客別満足度に基づいて、店舗に対する満足度である店舗別満足度を算出する店舗別満足度算出ステップをさらに実行することが好ましい。

この構成によれば、店舗に来店した複数の顧客を対象として算出された顧客別満足度の平均値等（中間値、最高値、最低値などであっても良い）に基づいて、その店舗に対する顧客の満足度を把握することができる。

上記に記載の満足度算出方法において、コンピューターは、店員により発話されることが予想されるキーワードが記録されたキーワードテーブルを記憶しており、コンピューターが、少なくとも店員の音声を認識する音声認識ステップと、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を１話し掛け区間、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を１会話区間としたとき、店員の話し掛け区間からキーワードテーブルに含まれるキーワードを抽出するキーワード抽出ステップと、をさらに実行し、感情認識ステップは、キーワードが抽出された店員の話し掛け区間を含む会話区間内において、当該店員の話し掛け区間の直前または直後に発生した顧客の話し掛け区間を対象として、感情認識を行うことが好ましい。

この構成によれば、顧客の感情が表れやすいと考えられる店員のキーワードを記憶しておき、キーワードが抽出された店員の話し掛け区間の直前または直後に発生した顧客の話し掛け区間を対象として感情認識を行うことで、より正確な感情認識を行うことができる。また、これにより、より信頼度の高い顧客満足度を算出することができる。

上記に記載の満足度算出方法において、キーワードテーブルは、会話内容別にキーワードを記憶しており、且つ各会話内容には、重み付けＰｉ（但し、Ｐｉは０≦Ｐｉ≦１となる定数）が関連付けられており、コンピューターが、感情認識の対象となる顧客の話し掛け区間に含まれる１以上の発話区間に対して算出された１以上の“実満足度データ”の平均値に、当該顧客の話し掛け区間から抽出されたキーワードに関連付けられた重み付けＰｉを乗算した話し掛け区間別満足度を算出する話し掛け区間別満足度算出ステップをさらに実行し、顧客別満足度算出ステップは、感情認識の対象となる顧客の話し掛け区間に対して算出された１以上の話し掛け区間別満足度に基づいて、顧客別満足度を算出することが好ましい。

この構成によれば、会話内容によって、顧客満足度への寄与度や感情の表れやすさが異なると考えられる。そのため、これらに基づく重み付けＰｉを考慮して、話し掛け区間別の満足度を算出し、さらに話し掛け区間別満足度の平均値から顧客別満足度を算出することで、より信頼度の高い顧客別満足度を算出することができる。
なお、会話内容とは、「取扱商品」、「サービス」、「店舗関連」などの項目に大別される。また、各項目を、さらに小項目に分別しても良い。

上記に記載の満足度算出方法において、キーワードテーブルは、会話内容別に、感情認識を行う対象区間を、店員の話し掛け区間の直前および直後のいずれにするかを示すタイミング情報を記憶しており、感情認識ステップは、抽出されたキーワードに関連付けられたタイミング情報に基づいて、店員の話し掛け区間の直前または直後に発生した顧客の話し掛け区間を対象として、感情認識を行うことが好ましい。

この構成によれば、会話内容に応じて、顧客の感情が、店員の話し掛けの前に表れるものと後に表れるものとが考えられるため、それを考慮したタイミング情報をキーワードテーブルに記憶しておくことで、より正確な感情認識を行うことができる。また、これにより、より信頼度の高い顧客満足度を算出することができる。

上記に記載の満足度算出方法において、コンピューターが、感情データ算出ステップの算出結果に基づいて、顧客別に、感情の表れやすさを示す感情出現率を算出する感情出現率算出ステップをさらに実行し、顧客別満足度算出ステップは、算出された感情出現率により顧客別満足度を正規化した正規化顧客別満足度を算出することが好ましい。

この構成によれば、顧客同士で、顧客満足度を比較する場合、人によって感情の表れやすさが異なることが考えられる。このため、感情出現率により顧客別満足度を正規化した正規化顧客別満足度を用いて、顧客同士の比較を行うことにより、より信頼度の高い比較を行うことができる。
なお、感情出現率は、“喜データ”／（“喜データ”＋“笑データ”）または“怒データ”／（“怒データ”＋“哀データ”）などの計算式によって算出することが考えられる。

本発明のプログラムは、コンピューターに、上記に記載の満足度算出方法における各ステップを実行させることを特徴とする。

このプログラムを用いることにより、信頼度の高い満足度を算出可能な満足度算出方法を実現することができる。

第１実施形態に係る接客支援システムのシステム構成図である。 店員用端末の制御ブロック図である。 レシートプリンターの制御ブロック図である。 管理サーバーの制御ブロック図である。 発話区間、話し掛け区間、会話区間および接客区間の説明図である。 第１実施形態に係る接客支援システムの機能ブロック図である。 第１実施形態に係る管理サーバー用データベースの説明図である。 音声認識および感情認識の対象区間を示す図である。 音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。 第１実施形態に係る音声データ保存処理を示すフローチャートである。 第１実施形態に係る接客区間特定処理を示すフローチャートである。 第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。 第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。 第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。 ビューアー画面の一例を示す図である。 第２実施形態に係る接客支援システムの機能ブロック図である。 第２実施形態に係る管理サーバー用データベースの説明図である。 担当店員判別テーブルの一例と、店員の優先度の算出アルゴリズムを示す図である。 第２実施形態に係る担当店員選択処理を示すフローチャートである。 第３実施形態に係る接客支援システムの機能ブロック図である。 第３実施形態に係る管理サーバー用データベースの説明図である。 キーワードテーブルの一例を示す図である。 感情認識を行う収集タイミングを示す図である。 第３実施形態に係る満足度算出処理を示すフローチャートである。 各種満足度の算出アルゴリズムを示す図である。

［第１実施形態］
以下、添付の図面を参照し、本発明の接客データ記録装置、接客データ記録方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の接客データ記録装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、人物（顧客，来場者）の感情認識を行い、その結果を顧客満足度の向上や売り上げ向上に生かすべく構築されたものである。そこで、以下の各実施形態では、アパレル店（衣料品店）の店舗内において、店員に接客されている顧客の感情認識を行う場合を例示する。

図１は、第１実施形態に係る接客支援システムＳＹ１のシステム構成図である。同図に示すように、接客支援システムＳＹ１は、店員に装着された体導音センサー１、音声取得用マイク２および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point Of Sales）端末１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。

体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員のものであるか顧客のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。

店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２と接続されている。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。店内カメラ１１は、店内各所の天井や壁に設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan Tilt Zoom）カメラを採用可能である。

ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスタ１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。なお、商品マスタ１８は、ＰＯＳ端末１２に接続されたＰＯＳサーバー（図示省略）内に備えても良い。

レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。

管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データを初めとする各種データに基づいて、音声認識、感情認識および顧客満足度の算出などを行う。また、管理サーバー１５は、算出した顧客満足度や、録音した音声データを確認するためのビューアー画面６（図１５参照）を、表示端末１６の表示画面１６ａに表示する。

次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を取得するためのアンプ部２８およびＡ／Ｄコンバータ２９と、音声取得用マイク２から音声データを取得するためのアンプ部３２およびＡ／Ｄコンバータ３３と、を有している。

また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データ（音声取得用マイク２から音声データも含む）を記憶するメモリ２６と、店員用端末５に電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバータ２９およびＡ／Ｄコンバータ３３から取得した検出データおよび音声データに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、音声データに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。

図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力インターフェイス部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線ＬＡＮを介して接続される有線ＬＡＮインターフェイス部４９と、を有している。

制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、有線ＬＡＮインターフェイス部４９を介して、管理サーバー１５に転送する。

図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するための有線ＬＡＮインターフェイス部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、接客区間（店員が顧客に対して接客を行っている時間帯）を特定する接客区間特定機能と、接客区間あたりの顧客満足度や店舗別の店舗別満足度を算出する満足度算出機能と、入力装置５５からの情報入力に基づいてビューアー画面６（図１５参照）の表示制御を行うビューアー画面表示制御機能と、を有している。また、記憶部５４は、ハードディスクにより実現され、音声認識プログラム、感情認識プログラム、満足度算出プログラムなどの各種制御プログラムを記憶する他、後述する管理サーバー用データベースＤＢ１として機能する。

次に、図５を参照し、音声区間の定義について説明する。まず、同一人物（店員または顧客）により連続して発声される音声の区間、つまりブレスなどが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、全て２つの発話区間から成る場合を示している。

また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の話し掛け区間の集合体を言う（但し、ＹはＹ≧Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。

また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。なお、Ｚの値は、数分〜数十分程度など、ＸやＹの値と比較して明らかに大きな値とすることが好ましい。

次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹ１の機能構成について説明する。図６は、接客支援システムＳＹ１のブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。

体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、音声取得部１０２を有している。音声取得部１０２は、店員および顧客の会話に基づく音声（音声信号）を取得する。店員用端末５は、主な機能構成として、音声データ送信部１０５を有している。音声データ送信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、発話検出部１０１の検出結果および音声取得部１０２の音声取得結果に基づいて店員発話区間を特定し（店員発話区間特定機能）、当該店員発話区間の発生を管理サーバー１５に通知する。なお、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行う。

レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。

管理サーバー１５は、主な機能構成として、映像記録部１５１、顧客識別部１５２、会話録音部１５３、音声認識部１５４、顧客感情認識部１５５、顧客満足度算出部１５６、接客データ記録部１５７、変換データ受信部１５８、画面表示部１５９および管理サーバー用データベースＤＢ１を有している。

映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢ１に記録する。顧客識別部１５２は、映像データに含まれる顔特徴量に基づいて顧客を識別する。具体的には、予め顧客識別情報と顧客の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておき（図７の顧客情報記憶部８１参照）、店内カメラ１１の撮像結果を解析して顔検出を行い、検出した当該顔部分の画像を正規化して算出された顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。なお、店員が店内に複数存在する場合は、店員と顧客との紐付けが必要となるため、店員についても、映像データに含まれる顔特徴量から識別しても良い。つまり、予め店員識別情報と店員の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておき（図７の店員情報記憶部８２参照）、算出された店員の顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている各店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員が接客を行っていると判定する。

会話録音部１５３は、店員と顧客の会話、すなわち音声データ送信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢ１に記録する）。音声認識部１５４は、会話録音部１５３により録音された録音データに含まれる店員および顧客の音声を、発話区間ごとに認識する。当該音声認識部１５４には、音響分析部、音響モデル、言語モデル、単語辞書およびテキスト変換部が含まれる（いずれも図示省略）。当該音声認識部は、これらを用いて、音声データをテキスト情報に変換し、管理サーバー用データベースＤＢ１に記録する。

また、音声認識部１５４は、図８（ａ）に示すように、顧客発話区間と店員発話区間とが時間軸上で重複する重複区間を特定し、当該重複区間を含む発話区間を「音声認識非対象区間」として、当該発話区間以外の、店員および顧客の発話区間に対して音声認識を行う。このように、顧客の音声と店員の音声が混合しており正確な音声認識を行うことができない音声認識非対象区間を除外して音声認識を行うことで、誤認識（誤ったキーワードの検出）を防止することができる。なお、重複区間の特定方法については後述する。

顧客感情認識部１５５は、会話に含まれる顧客の音声に基づいて、顧客の感情を認識する。具体的には、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて感情認識を行う。この場合、顧客感情認識部１５５は、発話検出部１０１の検出結果（音声データ送信部１０５により特定された店員発話区間に関する情報）に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別する。

また、顧客感情認識部１５５は、会話録音部１５３の録音データに含まれる顧客の発話区間ごとに感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客感情認識部１５５は、図８（ｂ）に示すように、顧客発話区間と店員発話区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客話し掛け区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない感情認識非対象区間（重複区間）を除いて感情認識を行うことで、誤認識を防止することができる。

顧客満足度算出部１５６は、顧客感情認識部１５５の認識結果に基づいて、顧客満足度を算出する。また、顧客感情認識部１５５が発話区間ごとに感情認識を行うことに伴い、顧客満足度算出部１５６も、発話区間ごとに顧客満足度を算出する。なお、顧客満足度の具体的な算出方法については、第３実施形態にて詳述する。

接客データ記録部１５７は、接客区間の完了ごとに、顧客識別部１５２の識別結果である顧客識別情報、店員の識別結果である店員識別情報、および顧客満足度算出部１５６の算出結果である満足度データなどを含む接客データを、管理サーバー用データベースＤＢ１に記録する。なお、顧客識別情報および店員識別情報は、上記のとおり顔特徴量から特定される。また、店員識別情報と、店員用端末５のＭＡＣアドレスとは、対応付けて記憶されており（図７の店員情報記憶部８２参照）、管理サーバー１５が取得した映像データと音声データの紐付けができるようになっている。

変換データ受信部１５８は、レシートプリンター１３の変換データ送信部１１３から送信された変換データを受信し、管理サーバー用データベースＤＢ１に記録する。なお、変換データは、上記の接客データの一部として記録する、売り上げ実績に関する情報を得るために用いられる。なお、変換データの記録は、変換データに含まれる情報の中から、顧客識別情報（会員番号など）、レシート番号および合計金額など、売り上げの有無や売り上げ金額を特定可能な情報のみを抽出し、これを売り上げ実績として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢ１に記録しても良い。また、画面表示部１５９は、記録した接客データを確認するためのビューアー画面６（図１５参照）を表示画面１６ａ上に表示する。なお、ビューアー画面６については、後に詳述する。

図７は、第１実施形態に係る管理サーバー用データベースＤＢ１の説明図である。管理サーバー用データベースＤＢ１は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７および接客データ記憶部８８として機能する。なお、管理サーバー用データベースＤＢ１は、店舗ごとに設けても良いし、複数店舗で共有しても良い。

顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、会話録音部１５３により常時録音された音声データを記憶する。また、映像データ記憶部８４は、顧客撮像部１１１により常時撮像された映像データを記憶する。

また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図９（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図９（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図９（ｃ）参照）。

また、接客データ記憶部８８は、顧客識別部１５２の識別結果である顧客識別情報と、店員の識別結果である店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、接客区間分の音声データに相当する録音データと、映像データ記憶部８４に記憶された映像データのうち、接客区間分の映像データに相当する撮像データと、顧客満足度算出部１５６の算出結果であって、接客区間内における各発話区間の顧客満足度の変化（推移）を示す満足度データと、当該接客による（接客区間内または接客区間終了後所定時間以内における）売り上げの有無および売り上げ金額を示す売り上げ実績と、接客区間の長さである接客時間と、接客区間内の各発話区間に対する音声認識部１５４の認識結果である１以上のキーワードと、を記憶する。なお、売り上げ実績については、レシートプリンター１３から送信された変換データに含まれる顧客識別情報によって紐付け可能である。

次に、図９を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図９（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される「音声データＮｏ．」と、連続発話区間の開始時間に相当する「録音開始時間」と、連続発話区間の終了時間に相当する「録音終了時間」と、顧客の発声に基づく音声データか、店員の発声に基づく音声データか、または両方の発声に基づく音声データかを示す「重複フラグ」と、音声データを保存する「音声データ保存先アドレス」と、を関連付けたものである。例えば、「音声データＮｏ．：２０１」の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の発声が重複していることを示している。

図９（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、店員発話区間ごとに付与される「店員発話Ｎｏ．」と、店員発話区間の開始時間である「店員発話開始時間」と、店員発話区間の終了時間である「店員発話終了時間」と、どの店員話し掛け区間に属するかを示す「話し掛けＮｏ．」と、顧客の発声との重複区間の開始時間である「重複開始時間」と、顧客の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「店員発話Ｎｏ．：１００」と「店員発話Ｎｏ．：１０１」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、「店員発話Ｎｏ．：１００」の発話区間は、その区間全体が顧客の発声と重複していることを示している。

図９（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、顧客発話区間ごとに付与される「顧客発話Ｎｏ．」と、顧客発話区間の開始時間である「顧客発話開始時間」と、顧客発話区間の終了時間である「顧客発話終了時間」と、どの顧客話し掛け区間に属するかを示す「話し掛けＮｏ．」と、店員の発声との重複区間の開始時間である「重複開始時間」と、店員の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「顧客発話Ｎｏ．：１０１」と「顧客発話Ｎｏ．：１０２」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付与されている。また、「顧客発話Ｎｏ．：１００」の発話区間は、１３秒の区間長さのうち６秒間が店員の発声と重複していることを示している。

次に、図１０のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。

店員用端末５（制御部２５）は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリ２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。

続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。

管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図９（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。

次に、図１１ないし図１４のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１１は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１２ないし図１４は、そのサブルーチンを示すフローチャートである。図１１に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。その後、これらＳ２１〜Ｓ２３の工程により特定された話し掛け区間に基づいて、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４の工程を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。

次に、図１２のフローチャートを参照し、図１１のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話開始時間として確定し、メモリ２６内に記録する（Ｓ３２）。続いて、音声レベル判定機能のパワーフィルターにより音声レベルを判定し、所定レベル以上の場合、音声発話による検出データであることを確定する（Ｓ３３）。なお、フローチャートには特に図示しないが、検出レベルまたは音声レベルが所定レベル未満の場合は、処理を終了する。また、音声発話による検出データであることを確定した後、音声発話に続く無音声区間から店員発話終了時間を確定し、メモリ２６内に記録する。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリ２６内に記録されている店員発話開始時間および店員発話終了時間も送信する。

一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図９（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。

次に、図１３のフローチャートを参照し、図１１のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。

その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないものとして、処理を終了する。

次に、図１４のフローチャートを参照し、図１１のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５は、顧客話し掛け区間Ｂの特定が終了した後、顧客発話区間管理テーブル８７を参照し、図１２の処理にて特定された店員発話区間の店員発話開始時間から所定時間前までに、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在するか否かを判別する（Ｓ５１）。ここで、顧客発話区間が存在する場合は（Ｓ５１：Ｙｅｓ）、顧客の話し掛け区間特定処理が既に終了しているものとして、処理を終了する。また、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在しない場合は（Ｓ５１：Ｎｏ）、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、未処理の音声データが存在するか否かを判別する（Ｓ５２）。ここで、未処理の音声データが存在しない場合は（Ｓ５２：Ｎｏ）、顧客話し掛け区間Ａが存在しないものとして、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５２：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５３）。

その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５４）、存在する場合は（Ｓ５４：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５４）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５４：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないものとして、処理を終了する。

以上、図１０ないし図１４に示した各処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話し掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図９（ａ）の重複フラグ欄における「客・店」に相当）。

ところで、本実施形態では、上記のとおり、店員話し掛け区間および顧客話し掛け区間Ａ、Ｂの特定結果から会話区間を特定し、さらに当該会話区間の特定結果から接客区間を特定する。そして、この接客区間ごとに接客データの記録を行う。そこで、当該接客データを確認するためのビューアー画面６について、以下詳細に説明する。

図１５に示すように、ビューアー画面６には、照会条件を選択する照会条件選択領域Ｅ１と、キーワード検索を行う場合のキーワードを入力するキーワード入力領域Ｅ２と、接客データの抽出結果を示す抽出結果領域Ｅ３と、顧客情報を示す顧客情報領域Ｅ４と、接客時の映像を表示する接客映像表示領域Ｅ５と、満足度データをグラフ化した満足度グラフを示す満足度グラフ領域Ｅ６と、接客データに含まれる録音データの再生操作を行うための再生操作領域Ｅ７と、が含まれる。

照会条件選択領域Ｅ１は、店舗を選択し、さらにその店舗の中から「顧客」、「満足度別」および「日付」のいずれかを選択可能となっている。ここで、「顧客」が選択されると、顧客識別情報（顧客氏名または顧客ＩＤなど）の選択により、当該顧客識別情報を含む接客データを抽出する。なお、顧客識別情報は、表示された選択肢の中から選択するのではなく、直接入力可能としても良い。また、「満足度別」が選択されると、接客データ内における顧客満足度の統計量（平均値、中間値、最高値、最低値など）が、指定された範囲内にある顧客識別情報をリストアップし（例えば、平均顧客満足度が８０点以上の顧客識別情報をリストアップするなど）、さらにその中から顧客識別情報を選択可能となっている。また、「日付」が選択されると、その日に接客を行った顧客の顧客識別情報をリストアップし、さらにその中から顧客識別情報を選択可能となっている。

キーワード入力領域Ｅ２は、接客データの絞込みを行うためのキーワードが入力される。これにより、そのキーワードを含む接客データが抽出されるため、確認したい接客内容に関する接客データを容易に探し出すことができる。また、抽出結果領域Ｅ３は、指定された店舗に該当し、且つ選択された顧客識別情報が関連付けられ、且つキーワード入力領域Ｅ２で入力されたキーワードを含む接客データのファイル一覧を表示する。この中から、いずれか１のファイルが選択されると、そのファイルに含まれる各種データを、顧客情報領域Ｅ４、接客映像表示領域Ｅ５、満足度グラフ領域Ｅ６および再生操作領域Ｅ７にて表示する。

顧客情報領域Ｅ４は、接客データに含まれる顧客データを表示する。具体的には、顧客氏名、顧客ランク（売り上げ実績、来店回数などに基づく）、該当する接客に対する売り上げ金額、担当店員、前回来店日、前回来店日から接客当日までの経過日数、お買い上げ品などを表示する。その他、入力装置５５の入力により、各種情報を顧客データとして入力可能となっている。入力された顧客データは、管理サーバー用データベースＤＢ１（顧客情報記憶部８１）に記憶される。

接客映像表示領域Ｅ５は、接客データ内に含まれる撮像データを表示する。なお、撮像データは静止画であっても動画であっても良い。動画の場合は、再生操作領域Ｅ７の再生操作に伴って、録音データと同時に再生可能である。また、最大化切り換えボタン２９１の押下により、画像の拡大表示／縮小表示を切り換え可能となっている。

満足度グラフ領域Ｅ６は、満足度データ（発話区間ごとの顧客満足度の変化）をグラフ化した満足度グラフを表示する。満足度グラフは、横軸を時間軸、縦軸を顧客満足度とした折れ線グラフである。顧客満足度は、０〜１００までの値で表され、その目盛りの数値と目盛り間隔は、満足度データに含まれる顧客満足度の最大値と最小値とが縦軸内に収まるように可変される。当該満足度グラフにより、ユーザーは、接客区間内における顧客の感情の変化を一目で把握することができる。なお、満足度グラフは接客区間内における顧客満足度の変化を示しているため、当然顧客の発声が無い区間も存在する。この区間では、顧客満足度が算出できないため、前の顧客発話区間における顧客満足度と、次の顧客発話区間における顧客満足度とがリニア（線形）に繋げられる。

また、満足度グラフ領域Ｅ６の時間軸（図示横軸）は、再生操作領域Ｅ７に含まれるプログレスバー２９５の時間軸目盛りに対応している。これにより、ユーザーは、録音データを聞きながら、その時の顧客満足度を容易に確認することができる。また、満足度グラフ領域Ｅ６には、顧客満足度の上限値および下限値を指定するための満足度スライダ２９２（図示縦軸における範囲を設定するためのスライダ）が設けられている。当該満足度スライダ２９２の指定により、満足度グラフの該当領域が着色される。つまり、満足度グラフ上に、指定された顧客満足度を満たす発話区間である該当発話区間が表示される。これにより、ユーザーは、満足度グラフ領域Ｅ６上で、指定した顧客満足度に該当する発話区間を容易に把握することができ、例えば指定した顧客満足度の範囲に対応する録音データのみを再生させるなど、発話区間単位の接客状況の確認が可能となる。

さらに、満足度グラフ領域Ｅ６は、該当発話区間（着色された領域）にマウスポインタ２９３が合わせられると、当該発話区間から抽出されたキーワードを表示する。さらに、このキーワードが、キーワード入力領域Ｅ２で入力されたキーワードと合致する場合は、反転表示する（黒地に白抜き文字で表示する）。これにより、ユーザーは、各発話区間の大まかな内容を把握でき、効率よく録音データを確認することができる。

再生操作領域Ｅ７は、接客区間における録音データの再生操作を行うためのボタン群２９４と、再生位置を示すプログレスバー２９５と、音量調節スライダ２９６と、を表示する。プログレスバー２９５は、横軸方向に分単位の時間目盛りが記されている。また、満足度グラフ領域Ｅ６に表示された該当発話区間（指定した顧客満足度に該当する発話区間）と、その他の区間とが色分け表示される。これにより、ユーザーは、より厳密に、指定した顧客満足度に該当する発話区間の録音データを再生させることができる。なお、プログレスバー２９５の目盛りは、分単位ではなく時間単位としても良い。また、接客データ内の録音データ全体の再生状況を把握できるように、録音データの長さに応じて、目盛りの単位および目盛り間隔を可変しても良い。

以上説明したとおり、第１実施形態に係る接客支援システムＳＹ１によれば、店員と顧客の会話を録音した録音データや接客状況を撮像した撮像データを、顧客の音声に基づく顧客満足度の算出結果である満足度データと関連付け、接客データとして記録しておくため、これをビューアー画面６にて確認することができる。これにより、例えば、顧客満足度の高い発話区間の録音データおよび撮像データのみを抽出して再生するなど、接客手法の教材として利用できる。つまり、接客スキルの高い店員の接客状況を、それ以外の店員に対して効率的に示すことができるため、接客スキルの水平展開に役立つ。

また、接客区間単位で接客データを記録するため、これを確認する場合（録音データ等を再生した場合）に、接客状況を把握しやすいといったメリットがある。また、発話区間ごとに感情認識および音声認識を行うことで、話し掛け区間や会話区間ごとにそれらを行う場合と比較して、認識精度を向上させることができる。また、感情認識は、顧客の発話区間と店員の発話区間とが重複する重複区間を除いた顧客話し掛け区間に対して行うため、誤認識を防止することができる。さらに、音声認識は、該重複区間を含む発話区間以外の、店員および顧客の発話区間に対して音声認識を行うため、誤ったキーワードの検出を防止することができる。

なお、上記の実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話区間」と定義したが、「１会話区間」に含まれる話し掛け区間の数の制限を無くしても良い。すなわち、店員と顧客の話し掛け区間が所定時間（インターバルＹ）以上途切れないまま交互に繰り返される話し掛け区間の集合体を「１会話区間」としても良い。

また、上記の実施形態において、顧客識別部１５２は、顔認識技術を用いて顧客を識別したが、他の方法を採用しても良い。例えば、無線ＩＣ（ＲＦＩＤ：Radio Frequency Identificationなど）が組み込まれた会員カードを各顧客が所持し、これを店舗の入り口に設置したＩＣリーダーで読み取って顧客識別情報を取得することで、顧客を識別しても良い。この場合、店員にも無線ＩＣが組み込まれた店員カードの所持を義務付け、当該店員カードを読み取ることで店員を識別可能としても良い。この方法により、読み取った店員カードと会員カードを同時期に読み取った場合、当該店員が当該顧客を接客しているものとして、両者を紐付けることができる。また、磁気情報が記録された会員カード（磁気カード）を、ＰＯＳ端末１２に付属の磁気カードリーダーで読み取ることで、顧客を識別しても良い。この場合は、接客を担当する店員が、同時に自分の店員カードを読み取らせることで、顧客と店員を紐付けることができる。なお、磁気カードリーダーは、管理サーバー１５に直接接続しても良い。さらに、顔認識技術ではなく音声認識技術を用いても良い。この場合、顧客情報記憶部８１および店員情報記憶部８２は、顔特徴量に代えて、声紋を記憶する必要がある。

また、上記の実施形態では、店内カメラ１１の撮像結果を、有線ＬＡＮを介して直接管理サーバー１５に送信する構成としたが、レシートプリンター１３を介して管理サーバー１５に送信しても良い。逆に、店員用端末５は、レシートプリンター１３を介して管理サーバー１５に音声データを送信する構成としたが、店員用端末５から直接管理サーバー１５に送信しても良い。また、管理サーバー１５の各機能を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。

［第２実施形態］
次に、図１６ないし図１９を参照し、本発明の接客支援装置、接客支援方法およびプログラムについて、第２実施形態として説明する。本実施形態に係る接客支援システムＳＹ２は、顧客が来店した際、記録しておいた過去の接客データに基づいて最適な担当店員を選択し、選択した店員に顧客の来店を通知することを特徴とする。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図１６は、第２実施形態に係る接客支援システムＳＹ２の機能ブロック図である。接客支援システムＳＹ２は、第１実施形態の接客支援システムＳＹ１と比較し、システム構成要素として、音声指示用イヤホン３が追加されている。音声指示用イヤホン３は、店員の耳に取り付けられ、店員用端末５と専用ケーブルを介して接続されている。また、音声指示用イヤホン３は、主な機能構成として、来店通知部１０３を有している。来店通知部１０３は、顧客が来店した際、その旨を通知すると共に、その顧客の顧客情報（顧客の氏名や過去の売り上げ実績などの顧客データ）を通知する。具体的には、「顧客○○様が来店しました。今年度の売り上げ合計金額は○○円で、○月○日以来のご来店です。対応をお願いします。」などの音声ガイダンスを行う。なお、顧客の来店を知らせる方法としては、単純な電子音を鳴らすだけでも良い。また、来店通知部１０３は、全ての店員が接客中の場合など、接客可能な店員が存在しない場合、代替店員に対して一時対応を指令する。例えば、「顧客○○様が来店しました。一時対応してください。」などの音声ガイダンスを行う。

本実施形態の店員用端末５は、機能構成として音声指令受信部１０６が追加されている。当該音声指令受信部１０６は、管理サーバー１５から音声指令を受信し、これを来店通知部１０３に出力するものである。

また、本実施形態の管理サーバー１５は、接客時間計測部１６１、接客状況書き換え部１６２、担当店員選択部１６３および音声指令部１６４が追加されている。接客時間計測部１６１は、第１実施形態に示した接客区間特定処理により特定された接客区間の長さを計測する。なお、接客区間は、接客区間の開始時間から終了時間までの長さであっても良いし、接客区間の長さから無音声を意味する各インターバル（インターバルＸ，Ｙ，Ｚ）を除いた長さであっても良い。なお、接客時間計測部１６１によって計測された接客時間は、接客データの一部として、管理サーバー用データベースＤＢ２に記録される。

接客状況書き換え部１６２は、管理サーバー用データベースＤＢ２に記憶されている担当店員判別テーブル９２（図１８（ａ）参照）の「接客状況」を書き換える。具体的には、入力装置５５やその他の専用端末（操作部）の操作にしたがって任意の店員の接客状況を、接客中と非接客中といずれかに書き換える。また、来店通知部１０３により通知を行った場合（音声指令部１６４により来店通知の指令を行った場合）、担当店員の接客状況を接客中に書き換える。

担当店員選択部１６３は、顧客の来店時に管理サーバー用データベースＤＢ２を参照し、来店した顧客（顧客識別部１５２により識別された顧客）の顧客識別情報を含む１以上の接客データ（来店した顧客に関する過去の接客データ）に基づいて、複数の店員の中から接客する担当店員を選択する。この場合、担当店員選択部１６３は、店員の優先度を決定し、当該優先度にしたがって担当店員を選択する。担当店員の選択方法については、後に詳述する。また、担当店員選択部１６３は、非接客中の店員が存在しない場合、勤務状態にある店員の中から、識別した顧客に関連付けられた１以上の接客データに基づいて代替店員を選択する。

音声指令部１６４は、担当店員選択部１６３の選択結果に基づく担当店員または代替店員に対して、来店通知や一時対応の指令を行う。なお、この場合、該当する店員に関連付けられた店員用端末５のＭＡＣアドレスを指定して、音声指令を行う。

図１７は、第２実施形態に係る管理サーバー用データベースＤＢ２の説明図である。管理サーバー用データベースＤＢ２は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、接客データ記憶部９１および担当店員判別テーブル９２として機能する。本実施形態の接客データ記憶部９１は、顧客識別部１５２の識別結果である顧客識別情報と、店員の識別結果である店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、接客区間分の音声データに相当する録音データと、顧客満足度算出部１５６の算出結果であって、接客区間内における各発話区間の顧客満足度の統計量（本実施形態では、平均値）を示す満足度データと、当該接客による売り上げの有無および売り上げ金額を示す売り上げ実績と、接客時間計測部１６１により計測された接客時間と、を記憶する。また、担当店員判別テーブル９２は、担当店員の選択を目的として作成するテーブル化である。

ここで、図１８（ａ）を参照し、担当店員判別テーブル９２について説明する。担当店員判別テーブル９２は、顧客別に作成されるテーブルであり、過去に接客されたことのある各店員に関する情報を示している。具体的には、各店員の「勤務状況」、「接客状況」、「接客回数」、「接客合計時間」、「顧客満足度」および「売り上げ合計金額」を関連付けて記憶している。このうち「勤務状況」は、不図示のシフト表から得られる情報であり、当日、勤務しているか休暇をとっているかを示す。また、「接客状況」は、不図示の接客管理表から得られる情報であり、接客中であるか非接客中であるかを示す。なお、この「接客状況」は、上記のとおり、店員の操作または来店通知によって書き換えられる情報である。

また、「接客回数」は、顧客に関連付けて記憶されている接客データの数を指す。したがって、１日のうち午前中と午後に同一の顧客が来店した場合、接客回数は２回カウントされる。また、「接客合計時間」は、顧客に関連付けて記憶されている接客データ内の接客時間の合計時間を示す。また、「顧客満足度」は、顧客に関連付けて記憶されている接客データ内の顧客満足度の平均値を示す。さらに、「売り上げ合計金額」は、顧客に関連付けて記憶されている接客データ内の売り上げ実績（売り上げ金額）の合計を示す。

なお、「接客状況」、「接客回数」、「接客合計時間」、「顧客満足度」および「売り上げ合計金額」の各項目は、「勤務状況」が「休み」の場合、未記録となる。また、「接客回数」、「接客合計時間」、「顧客満足度」および「売り上げ合計金額」については、今年度中、過去３年分など、対象となる期間を設定可能としても良い。

次に、図１８（ｂ）を参照し、店員の優先度を求める算出アルゴリズムについて説明する。同図に示すように、店員の優先度は、“顧客満足度レベル”、“売り上げ実績レベル”、“接客回数レベル”および“接客合計時間レベル”をパラメーターとして算出される。ここで、“顧客満足度レベル”、“売り上げ実績レベル”、“接客回数レベル”および“接客合計時間レベル”とは、それぞれ項目「顧客満足度」、「売り上げ合計金額」、「接客回数」および「接客合計時間」を、Ｎ段階でレベル化した値である（但しＮは、Ｎ≧２となる整数）。なお、Ｎの値は、全項目について同じ値であることが好ましい。例えば、顧客満足度が、２０未満の場合「レベル１」、２０以上４０未満の場合「レベル２」、４０以上６０未満の場合「レベル３」、６０以上８０未満の場合「レベル４」、８０以上の場合「レベル５」と定められている場合、図１８（ａ）の例では、店員Ａの“顧客満足度レベル”が「レベル４」、店員Ｃの“顧客満足度レベル”が「レベル３」、店員Ｂ，Ｄの“顧客満足度レベル”が「レベル５」となる。さらに、各レベルには重み付けを示す係数Ｐ１〜Ｐ４を乗算する。この場合、重み付けは、高い順に“顧客満足度レベル”、“売り上げ実績レベル”、“接客回数レベル”、“接客合計時間レベル”となることが好ましい。つまり、顧客満足度レベル”を最も重要度の高い要素として、店員の優先度を算出することが好ましい。

次に、図１９のフローチャートを参照し、担当店員選択処理について説明する。管理サーバー１５（制御部５３）は、顧客が来店すると、顔認識により顧客を識別し（Ｓ６１）、図１８（ｂ）に示した算出アルゴリズムによって求められる店員の優先度にしたがって担当店員を選択する（Ｓ６２）。ここで、優先度の最も高い店員（つまり、図１８（ａ）に示した担当店員判別テーブル９２に記録されている店員の中で最も高い優先度が算出された店員）が接客可能であるか否かを判別し（Ｓ６３）、接客可能である場合は（Ｓ６３：Ｙｅｓ）、選択した担当店員（優先度の最も高い店員）に対して、顧客の来店および顧客情報を通知する（Ｓ６４）。

一方、優先度の最も高い店員が接客不可能である場合は（Ｓ６３：Ｎｏ）、接客可能な店員が存在するか否かを判別する（Ｓ６５）。すなわち、担当店員判別テーブル９２を参照し、接客状況「非接客中」の店員が存在するか否かを判別する。ここで、接客可能な店員が存在する場合は（Ｓ６５：Ｙｅｓ）、優先度にしたがって選択した担当店員に対し、顧客の来店および顧客情報を通知する（Ｓ６６）。また、優先度の最も高い店員の接客実績テーブル（店員別に、各顧客との接客回数、接客合計時間、顧客満足度、売り上げ実績などを関連付けたテーブル，図示省略）に、顧客の来店を記録する（Ｓ６７）。これにより、店員は、休暇中に得意客が来店したことを把握することができ、来店のお礼ハガキを出すなど、適切な対応を行うことができる。

また、接客可能な店員が存在しない場合は（Ｓ６５：Ｎｏ）、顧客満足度にしたがって代替店員を選択する（Ｓ６８）。すなわち、図１８（ａ）に示した例の場合であって、全店員の接客状況が「接客中」の場合は、店員Ｄを代替店員として選択する。その後、選択した代替店員に一時対応を指令し（Ｓ６９）、さらに勤務状態の店員の中で最も優先度の高い店員に対して、顧客の来店を通知する（Ｓ７０）。つまり、現在の接客が終了した後、来店した顧客○○様を接客するように指示する音声ガイダンスを行う。なお、代替店員と、優先度が最も高い店員とが同一人物である場合も考えられるが、その場合は、同一人物に対して、一時対応の指令と、来店通知を行う。その後、Ｓ６７の工程を実行し、処理を終了する。

以上説明したとおり、第２実施形態に係る接客支援システムＳＹ２によれば、過去の接客データに基づいて接客する担当店員を選択し、その店員に対して顧客の来店を通知するため、その顧客にとって最もふさわしい店員に接客させることができる。これにより、来店した顧客の顧客満足度を高め、結果的に売上向上が期待できる。

また、接客データに含まれる各種情報（顧客満足度や過去の売り上げ実績など）に基づいて店員の優先度を決定するため、より高い売上効果が期待できる。さらに、売り上げ実績よりも顧客満足度の重み付けを大きくする、すなわち、目先の売上向上よりも顧客の満足度を重要視することで、長期的な売上向上が期待できる。また、店内に非接客中の店員が存在しない場合は、代替店員を選択して一時対応を指令するため、顧客が来店したにも拘らず誰も対応しないといった不手際を防止できる。さらに、担当店員や代替店員に対して、顧客情報（顧客氏名など）を通知するため、各店員は、当該顧客情報に基づいて適切な対応を行うことができる。

なお、上記の実施形態では、代替店員を顧客満足度に基づいて選択するものとしたが、その他の要素（売り上げ合計金額、接客回数、接客合計時間など）を考慮して選択しても良い。また、逆に担当店員を、顧客満足度のみに基づいて選択しても良い。さらに、担当店員や代替店員を選択する要素およびその重み付けを、ユーザーが設定可能としても良い。

また、上記の実施形態では、店員の優先度を算出するためのパラメーターとして、“顧客満足度レベル”、“売り上げ実績レベル”、“接客回数レベル”および“接客合計時間レベル”を挙げたが、これ以外に“滞在合計時間レベル”を加えても良い。当該“滞在合計時間レベル”をパラメーターとするのは、各接客データに、滞在時間を含めて記憶しておくことが前提である。つまり、各接客データに含まれる滞在時間の合計である滞在合計時間を算出し、それをＮ段階でレベル化することにより“滞在合計時間レベル”を算出できる。なお、滞在時間は、店内カメラ１１の撮像結果、ＩＣリーダーの読取結果、磁気カードリーダーの読取結果などから求めることができる。例えば、店内入り口に店内カメラ１１が設置されている場合は、顔特徴量が同一の（類似度が所定レベル以上の）顧客の、入店時の時刻と退店時の時刻との差分から、滞在時間を求めることができる。ＩＣリーダーの場合も同様に、入店時の検出時刻と退店時の検出時刻との差分から求めることができる。また、磁気カードリーダーの場合は、入店時と、会計時または退店時に会員カードを読み取ることで、読み取り時刻の差分から求めることができる。なお、“滞在合計時間レベル”の重み付けは、“顧客満足度レベル”および“売り上げ実績レベル”よりも低くすることが好ましい。

また、上記の実施形態では、過去の接客データの全てまたは設定された所定期間分を、担当店員判別テーブル９２に反映させるものとしたが、過去Ｍ回分（Ｍは、Ｍ≧１となる整数）を反映させても良い。また、当該Ｍの値をユーザーが設定可能としても良い。

また、上記の実施形態では、満足度データ（顧客満足度の平均値）を接客区間ごとに算出したが、満足度データの算出対象となる接客区間に制限を設けても良い。例えば、接客時間が５分以上の場合のみ満足度データを算出する、接客区間に顧客の発話回数が５回以上含まれる場合のみ満足度データを算出する、などが考えられる。この構成によれば、接客時間が極端に短い場合など信頼度の低い満足度データが排除されるため、結果的に信頼度の高い満足度データを得ることができる。

また、上記の実施形態では、音声指示用イヤホン３を用いて、店員の来店を通知したが、ディスプレイへの表示、ＬＥＤの点灯／点滅、バイブレーターによる振動などによって通知しても良い。また、これらの手段は、店員用端末５に搭載しても良いし、別途独立した装置に搭載しても良い。独立した装置としては、レジカウンター１４周りの機器（例えば、ＰＯＳ端末１２やレシートプリンター１３）や、店員が所持する端末（例えば、飲食店の場合のオーダー端末）などが考えられる。

［第３実施形態］
次に、図２０ないし図２５を参照し、本発明の満足度算出方法、満足度算出装置およびプログラムについて、第３実施形態として説明する。本実施形態に係る接客支援システムＳＹ３は、感情認識結果に基づいて信頼度の高い満足度（顧客満足度や店舗満足度）を算出することを特徴とする。そこで、上記の各実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図２０は、第３実施形態に係る接客支援システムＳＹ３の機能ブロック図である。本実施形態の管理サーバー１５は、第１実施形態と比較し、キーワード抽出部１７１、感情認識部１７２、感情データ算出部１７３、満足度算出部１７４および算出結果出力部１７５が追加されている。キーワード抽出部１７１は、店員の話し掛け区間から、キーワードテーブル９６（図２２参照）に含まれるキーワードを抽出する。当該キーワードテーブル９６は、店員により発話されることが予想されるキーワード（以下、「店員キーワード」と称する）が記録されたものであり、管理サーバー用データベースＤＢ３に記憶されている。詳細については後述する。

感情認識部１７２は、音声取得部１０２（音声取得ステップ）により取得した音声（接客データに含まれる録音データ）に基づいて、顧客識別部１５２（顧客識別ステップ）により識別した顧客の感情を認識する。また、感情認識部１７２は、上記の店員キーワードが抽出された店員の話し掛け区間を含む会話区間内において、当該店員の話し掛け区間の直前または直後に発生した顧客の話し掛け区間を対象として、感情認識を行う。

感情データ算出部１７３は、感情認識部１７２の感情認識結果に基づいて、感情データを算出する。感情データとは、「喜び」、「笑い」、「怒り」、「悲しみ」、「平常」、「興奮」などの感情状態を示す値である。本実施形態では、このうち「喜び」、「笑い」、「怒り」、「悲しみ」の４つの感情データを算出する。

満足度算出部１７４は、所定の算出アルゴリズムに基づいて、各種満足度を算出する。満足度としては、発話区間別満足度、発話区間別実満足度、話し掛け区間別満足度、顧客別満足度および店舗別満足度を算出する（図２５参照）。具体的な算出アルゴリズムについては、後に詳述する。

算出結果出力部１７５は、満足度算出部１７４の算出結果を、表示端末１６の表示画面１６ａに出力する。第１実施形態に示したビューアー画面６も、算出結果出力部１７５による出力形態の一例である。なお、表示手段以外に、印刷手段または通信手段を用いて算出結果を出力しても良い。

図２１は、第３実施形態に係る管理サーバー用データベースＤＢ３の説明図である。管理サーバー用データベースＤＢ３は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、接客データ記憶部９５、キーワードテーブル９６、顧客別満足度算出結果記憶部９７および店舗別満足度算出結果記憶部９８として機能する。本実施形態の接客データ記憶部９５は、顧客識別部１５２の識別結果である顧客識別情報と、店員の識別結果である店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、接客区間分の音声データに相当する録音データと、当該接客による売り上げの有無および売り上げ金額を示す売り上げ実績と、を記憶する。また、キーワードテーブル９６は、上記のとおり店員キーワードを記録したものである。また、顧客別満足度算出結果記憶部９７は、満足度算出部１７４の算出結果である発話区間別満足度、発話区間別実満足度および顧客別満足度などを記憶する。なお、当該顧客別満足度算出結果記憶部９７に記憶された発話区間別満足度または発話区間別実満足度の接客区間内における変化を示したものが、第１実施形態における満足度データとなる。また、当該顧客別満足度算出結果記憶部９７に記憶された発話区間別満足度または発話区間別実満足度の接客区間内における平均値が、第２実施形態における満足度データとなる。また、店舗別満足度算出結果記憶部９８は、満足度算出部１７４の算出結果である店舗別満足度を記憶する。

次に、図２２を参照し、キーワードテーブル９６について説明する。ここでは、アパレル店を想定したテーブルを例示する。キーワードテーブル９６は、店員キーワードを分類するための「会話内容」と、店員キーワードの「重み付け（係数Ｐｉ）」と、「店員キーワード」と、感情認識を行う音声データの「収集タイミング」（タイミング情報）と、を関連付けたものである。「会話内容」は、「取扱商品」と「サービス」の２つの項目に大別される。このうち、項目「取扱商品」は、会話内容によって「商品品質」、「商品価格」および「品揃え」に分類される。また、項目「サービス」は、会話内容によって「提案」および「対応」に分類される。

また、「重み付け（係数Ｐｉ）」は、会話内容別に、０≦Ｐｉ≦１の範囲で定められている。この重み付けは、上記に示した各会話内容のうち、「商品品質」および「商品価格」を、他の会話内容よりも高く設定することが好ましい。また、「店員キーワード」としては、想定される会話を図示しているが、実際には下線部にて示す単語（店員キーワード）のみを記憶している。また、「収集タイミング」は、会話内容別に、感情認識を行う対象区間を、店員話し掛け区間の直前および直後のいずれにするかを示している。

図２３に示すように、例えば、「収集タイミング：店員キーワード前」が関連付けられた店員キーワードを抽出した場合、感情認識部１７２は、当該店員キーワードが抽出された店員話し掛け区間の直前に発生した顧客話し掛け区間を対象として、感情認識を行う。また、「収集タイミング：店員キーワード後」が関連付けられた店員キーワードを抽出した場合、感情認識部１７２は、当該店員キーワードが抽出された店員話し掛け区間の直後に発生した顧客話し掛け区間を対象として、感情認識を行う。但し、店員話し掛け区間の直前または直後に発生した顧客話し掛け区間が、店員キーワードを抽出した店員話し掛け区間とは異なる会話区間に属する場合、その顧客話し掛け区間は、感情認識を行う対象区間とはならない。また、同一会話区間内であって、店員話し掛け区間の前に発生した顧客話し掛け区間が複数個存在する場合でも、店員話し掛け区間の直前に発生した１の顧客話し掛け区間のみを対象区間とする。

次に、図２４のフローチャートを参照し、満足度算出処理について説明する。管理サーバー１５（制御部５３）は、接客データ記憶部９５から接客データを取得すると（Ｓ８１）、当該接客データに含まれる録音データに対し音声認識処理を行う（Ｓ８２，音声認識ステップ）。その結果、録音データに含まれる１以上の店員話し掛け区間からキーワードテーブル９６に含まれる音声キーワードを抽出する（Ｓ８３，キーワード抽出ステップ）。また、取得した音声キーワードに関連付けられた収集タイミングに基づいて、感情認識の対象区間となる顧客話し掛け区間を特定し、特定した顧客話し掛け区間の音声データを対象として感情認識を行う（Ｓ８４，感情認識ステップ）。

また、Ｓ８４の感情認識結果に基づいて感情データを算出し（Ｓ８５，感情データ算出ステップ）、発話区間別実満足度を算出する（Ｓ８６，満足度算出ステップ）。当該発話区間別実満足度は、「喜び」、「笑い」、「怒り」、「悲しみ」の感情データに基づいて算出する。続いて、発話区間別実満足度の算出結果に基づいて、話し掛け区間別満足度を算出する（Ｓ８７，話し掛け区間別満足度算出ステップ）。話し掛け区間別満足度とは、感情認識の対象区間となる顧客話し掛け区間における発話区間別実満足度の統計量（本実施形態では、平均値）を指す。

また、話し掛け区間別満足度の算出結果に基づいて、顧客別満足度を算出する（Ｓ８８，顧客別満足度算出ステップ）。顧客別満足度とは、話し掛け区間別満足度の統計量（本実施形態では、平均値）を指す。さらに、顧客別満足度の算出結果に基づいて、店舗別満足度を算出する（Ｓ８９，店舗満足度算出ステップ）。店舗別満足度とは、管理サーバー用データベースＤＢ３に記憶されている接客データのうち、１の店舗の接客データから得られる顧客別満足度の統計量（本実施形態では、平均値）を指す。

次に、図２５を算出し、各種満足度の算出アルゴリズム（計算式）について説明する。図２５（ａ）に示すように、発話区間別満足度（“満足度データ”）は、計算式「“満足度データ”＝“喜データ”＋“笑データ”×Ａ」により算出される。ここで、“喜データ”は「喜び」の感情データ、“笑データ”は「笑い」の感情データ、Ａは０≦Ａ≦１となる定数を意味する。なお、当該算出アルゴリズムは、人物の満足度が、「快」の心理状態と、その心理的強度の乗算結果とに基づくという発想から導き出したものである。

また、図２５（ｂ）に示すように、発話区間別実満足度（“実満足度データ”）は、計算式「“実満足度データ”＝“満足度データ”−“不満足度データ”×Ｃ」、すなわち「（“喜データ”＋“笑データ”×Ａ）−（“怒データ”＋“悲データ”×Ｂ）×Ｃ」により算出される。ここで、“怒データ”は「怒り」の感情データ、“悲データ”は「悲しみ」の感情データ、Ｂは０≦Ｂ≦１となる定数、Ｃは０≦Ｃ≦１となる定数を意味する。このように、「喜び」および「笑い」の他に、「怒り」および「悲しみ」の感情データを用いることで、複雑な感情を考慮した、より信頼度の高い満足度を算出することができる。なお、当該算出アルゴリズムは、人物の不満足度が、「不快」の心理状態と、その心理的強度の乗算結果とに基づくという発想と、実満足度が、「快」および「不快」の心理状態に基づくという発想から導き出したものである。

また、図２５（ｃ）に示すように、話し掛け区間別満足度（“話し掛け区間別満足度”）は、「“話し掛け区間別満足度”＝顧客話し掛け区間に含まれる各発話区間の“実満足度データ”の平均値×Ｐｉ」から得られる。ここで、Ｐｉは、上記のとおり店員キーワードに対する重み付けであり、０≦Ｐｉ≦１となる定数を意味する。つまり、収集タイミングから特定された顧客話し掛け区間に含まれる各発話区間の“実満足度データ”の平均値に、係数Ｐｉを乗算したものが、その顧客話し掛け区間における満足度となる。

また、図２５（ｄ）に示すように、顧客別満足度（“顧客別満足度”）は、「“顧客別満足度”＝顧客の音声に含まれる“話し掛け区間別満足度”の平均値」から得られる。つまり、感情認識の対象となる全顧客話し掛け区間の平均値が、その接客に対する顧客の総合的な満足度となる。

また、図２５（ｅ）に示すように、店舗別満足度（“店舗別満足度”）は、「“店舗別満足度＝店舗に来店した複数の顧客の“顧客別満足度”の平均値」から得られる。つまり、店舗に来店した全ての顧客（全ての接客データ）の平均値が、その店舗に対する顧客の総合的な満足度となる。

以上説明したとおり、第３実施形態に係る接客支援システムＳＹ３によれば、「喜び」や「笑い」などの感情データを用いるため、信頼度の高い発話区間別満足度を算出できる。また、「喜び」や「笑い」の他に、「怒り」や「悲しみ」の感情データを用いて発話区間別実満足度を算出するため、より信頼度の高い満足度を算出できる。また、発話区間ごとに感情認識を行うため、長い区間ごとに感情認識を行う場合と比較して、高精度な感情認識が可能となり、ひいてはより正確な顧客満足度を算出できる。また、顧客満足度は発話ごとに変化するため、１以上の“実満足度データ”の平均値を算出することで、顧客別の総合的な満足度である顧客別満足度を算出できる。さらに、店舗に来店した複数の顧客を対象として算出された顧客別満足度の平均値を算出することで、その店舗に対する顧客の総合的な満足度である店舗別満足度を算出できる。

また、顧客の感情が表れやすいと考えられる店員キーワードを記憶しておき、店員キーワードが抽出された店員話し掛け区間の直前または直後に発生した顧客話し掛け区間を対象として感情認識を行うため、より正確な感情認識を行うことができる。また、会話内容によって、顧客満足度への寄与度や感情の表れやすさが異なると考えられるため、これらに基づく重み付けＰｉを考慮することで、算出された顧客満足度の信頼性がさらに向上する。また、会話内容に応じて、顧客の感情が、店員の話し掛けの前に表れるものと後に表れるものとが考えられるが、それを考慮した収集タイミングをキーワードテーブル９６に記憶しておくことで、より正確な感情認識と、信頼性の高い顧客満足度を算出できる。

なお、上記の実施形態では、算出した顧客別満足度を、顧客同士で比較することについて触れていないが、顧客同士で比較を行う場合は、顧客の種別（性別や年齢など）に応じて、各種定数の値（「Ａ」、「Ｂ」などの値）を可変しても良い。

また、顧客によって感情の表れやすさ（感情出現率）が異なることが考えられるため、これを考慮して、顧客別満足度の比較を行っても良い。この場合、感情出現率は、計算式「“喜データ”／（“喜データ”＋“笑データ”）」または「“怒データ”／（“怒データ”＋“哀データ”）」によって算出することができる（感情出現率算出ステップ）。また、算出した感情出現率を用いて、顧客別満足度を正規化し、顧客同士の比較を行うことが好ましい。この構成によれば、感情の表れやすさの違いによる顧客満足度の算出誤差を低減し、より信頼度の高い比較を行うことができる。

また、顧客別満足度の算出に、売り上げ実績の要素を用いても良い。例えば、その接客に対して売り上げが生じた場合は、顧客別満足度に所定数を加算する、顧客別満足度を所定割合増加させる、などが考えられる。また、売り上げ金額に応じて、所定数や所定割合を可変しても良い。

また、上記の実施形態では、キーワードテーブル９６（図２２参照）に含める項目として、「取扱商品」と「サービス」の２つを例示したが、項目「店舗関連」を加えても良い。また、項目「店舗関連」を、駅からの距離や来店方法などに関する「立地」、店内イメージや店内レイアウト、店舗外観などに関する「店内レイアウト／外観」、広告効果などを確認する「プロモーション」、などの「会話内容」に分類しても良い。なお、項目「店舗関連」に含まれるこれらの会話内容については、全て収集タイミングを「店員キーワード後」に設定することが好ましい。また、各会話内容の「重み付け（係数Ｐｉ）」は、０．５〜０．６程度に設定することが好ましい。

また、上記の実施形態では、顧客サービスの向上および売り上げ向上を目的として、各種満足度を算出したが、これを人工知能や人工感性の一部として利用しても良い。また、個人で、対人関係の改善を目的として相手の満足度を算出するなど、各種満足度の算出結果の用途については問わない。

以上、第１実施形態ないし第３実施形態を示したが、これらの各実施形態に示した各フローチャートの各工程をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、接客支援システムＳＹ１，ＣＹ２，ＳＹ３の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。その他、上述した実施例によらず、各接客支援システムＳＹ１，ＣＹ２，ＳＹ３を組み合わせるなど、そのシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…体導音センサー ２…音声取得用マイク ３…音声指示用イヤホン ５…店員用端末 ６…ビューアー画面 １１…店内カメラ １２…ＰＯＳ端末 １３…レシートプリンター １４…レジカウンター １５…管理サーバー １６…表示端末 １６ａ…表示画面 １８…商品マスタ １９…ネットワーク ８５…音声データ管理テーブル ８６…店員発話区間管理テーブル ８７…顧客発話区間管理テーブル ９２…担当店員判別テーブル ９６…キーワードテーブル ２９１…最大化切り換えボタン ２９２…満足度スライダ ２９３…マウスポインタ ２９４…ボタン群 ２９５…プログレスバー ２９６…音量調節スライダ Ｅ１…照会条件選択領域 Ｅ２…キーワード入力領域 Ｅ３…抽出結果領域 Ｅ４…顧客情報領域 Ｅ５…接客映像表示領域 Ｅ６…満足度グラフ領域 Ｅ７…再生操作領域 Ｒ…会計レシート ＳＹ…接客支援システム

Claims (10)

1. 人物の音声から、その人物の満足度を算出する満足度算出方法であって、
   コンピューターが、
   前記音声を取得する音声取得ステップと、
   取得した前記音声に基づいて、感情を認識する感情認識ステップと、
   感情認識結果に基づいて、少なくとも「喜び」および「笑い」の感情状態を示す“喜データ”および“笑データ”を算出する感情データ算出ステップと、
   少なくとも計算式「“喜データ”＋“笑データ”×Ａ」（但し、Ａは０≦Ａ≦１となる定数）を用いて、前記満足度を示す“満足度データ”を算出する満足度算出ステップと、を実行することを特徴とする満足度算出方法。
2. 前記感情データ算出ステップは、前記感情認識結果に基づいて、さらに「怒り」および「悲しみ」の感情状態を示す“怒データ”および“悲データ”を算出し、
   前記満足度算出ステップは、計算式「“怒データ”＋“悲データ”×Ｂ」（但し、Ｂは０≦Ｂ≦１となる定数）により、前記人物の不満足度を示す“不満足度データ”を算出し、計算式「“満足度データ”−“不満足度データ”×Ｃ」（但し、Ｃは０≦Ｃ≦１となる定数）により、前記人物の実満足度を示す“実満足度データ”を算出することを特徴とする請求項１に記載の満足度算出方法。
3. 前記人物は、店舗内において店員に接客されている顧客であり、
   前記感情認識ステップは、連続する前記音声の区間を１発話区間としたとき、前記顧客の発話区間ごとに感情認識を行うと共に、
   前記満足度算出ステップは、前記顧客の発話区間ごとに“実満足度データ”を算出し、
   前記コンピューターが、
   前記顧客を識別する顧客識別ステップと、
   取得した前記顧客の音声に含まれる１以上の前記発話区間に対する１以上の“実満足度データ”の算出結果に基づいて、前記顧客別の満足度を示す顧客別満足度を算出する顧客別満足度算出ステップをさらに実行することを特徴とする請求項２に記載の満足度算出方法。
4. 前記コンピューターが、
   前記店舗に来店した複数の顧客を対象として算出された前記顧客別満足度に基づいて、前記店舗に対する満足度である店舗別満足度を算出する店舗別満足度算出ステップをさらに実行することを特徴とする請求項３に記載の満足度算出方法。
5. 前記コンピューターは、前記店員により発話されることが予想されるキーワードが記録されたキーワードテーブルを記憶しており、
   前記コンピューターが、
   少なくとも前記店員の音声を認識する音声認識ステップと、
   所定時間以上途切れないまま繰り返される前記店員または前記顧客の前記発話区間の集合体を１話し掛け区間、前記店員と前記顧客の前記話し掛け区間が所定時間以上途切れないまま交互に繰り返される前記話し掛け区間の集合体を１会話区間としたとき、前記店員の話し掛け区間から前記キーワードテーブルに含まれる前記キーワードを抽出するキーワード抽出ステップと、をさらに実行し、
   前記感情認識ステップは、前記キーワードが抽出された前記店員の話し掛け区間を含む前記会話区間内において、当該店員の話し掛け区間の直前または直後に発生した前記顧客の話し掛け区間を対象として、感情認識を行うことを特徴とする請求項３または４に記載の満足度算出方法。
6. 前記キーワードテーブルは、会話内容別に前記キーワードを記憶しており、且つ各会話内容には、重み付けＰｉ（但し、Ｐｉは０≦Ｐｉ≦１となる定数）が関連付けられており、
   前記コンピューターが、
   前記感情認識の対象となる前記顧客の話し掛け区間に含まれる１以上の前記発話区間に対して算出された１以上の“実満足度データ”の平均値に、当該顧客の話し掛け区間から抽出された前記キーワードに関連付けられた前記重み付けＰｉを乗算した話し掛け区間別満足度を算出する話し掛け区間別満足度算出ステップをさらに実行し、
   前記顧客別満足度算出ステップは、前記感情認識の対象となる前記顧客の話し掛け区間に対して算出された１以上の話し掛け区間別満足度に基づいて、前記顧客別満足度を算出することを特徴とする請求項５に記載の満足度算出方法。
7. 前記キーワードテーブルは、前記会話内容別に、前記感情認識を行う対象区間を、前記店員の話し掛け区間の直前および直後のいずれにするかを示すタイミング情報を記憶しており、
   前記感情認識ステップは、抽出された前記キーワードに関連付けられた前記タイミング情報に基づいて、前記店員の話し掛け区間の直前または直後に発生した前記顧客の話し掛け区間を対象として、感情認識を行うことを特徴とする請求項５または６に記載の満足度算出方法。
8. 前記コンピューターが、
   前記感情データ算出ステップの算出結果に基づいて、前記顧客別に、感情の表れやすさを示す感情出現率を算出する感情出現率算出ステップをさらに実行し、
   前記顧客別満足度算出ステップは、算出された前記感情出現率により前記顧客別満足度を正規化した正規化顧客別満足度を算出することを特徴とする請求項３ないし７のいずれか１項に記載の満足度算出方法。
9. 人物の音声を取得する音声取得部と、
   取得した前記音声に基づいて、感情を認識する感情認識部と、
   前記感情認識部の感情認識結果に基づいて、少なくとも「喜び」および「笑い」の感情状態を示す“喜データ”および“笑データ”を算出する感情データ算出部と、
   少なくとも計算式「“喜データ”＋“笑データ”×Ａ」（但し、Ａは０≦Ａ≦１となる定数）を用いて、前記満足度を示す“満足度データ”を算出する満足度算出部と、を備えたことを特徴とする満足度算出装置。
10. コンピューターに、請求項１ないし８のいずれか１項に記載の満足度算出方法における各ステップを実行させるためのプログラム。

Images