JP2016218911A - 接客評価装置およびこれを備えた接客評価システムならびに接客評価方法 - Google Patents

Abstract

【課題】接客者の発話の有無を考慮して接客者の接客態度を正しく評価することを可能とする。【解決手段】接客評価装置５が、予め設定された接客エリア内で撮像された画像が入力される画像入力部２１と、前記画像から前記接客者の顔画像を抽出する顔画像抽出部２２と、前記接客者の顔画像に基づいて前記接客者の笑顔の度合いを判定する笑顔度判定部２３と、前記接客者の発話の有無を判定する発話判定部２５とを備え、前記発話判定部２５において前記接客者が発話していないと判定された場合に、前記笑顔度判定部２３において判定された前記接客者の笑顔の度合いに基づいて前記接客者の接客態度を評価する構成とする。【選択図】図３

Description

本発明は、接客者の接客態度を笑顔の度合いに基づき評価するための接客評価装置およびこれを備えた接客評価システムならびに接客評価方法に関する。

小売業、飲食業、ホテルなどのサービス業においては、店員や従業員などの接客者の良好な接客態度が顧客満足度につながり、その結果、集客率や売上が向上することが知られている。接客者の接客態度を評価する方法としては、顧客に対する意見調査などが実施されるのが一般的であるが、そのような接客評価の方法は多数の人員を投入して行なわれるため、非効率的であり、また客観性にも乏しいという問題がある。

そこで、例えば、接客者の顔画像を取得し、その顔画像に基づいて接客者の笑顔の度合い（笑顔度）を判定することにより、接客者の接客態度を評価する装置が知られている（特許文献１参照）。

特開２０１０−１８６３７３号公報

しかしながら、特許文献１に記載の従来技術では、接客者の発話の有無を考慮していないため、接客者の接客態度を正しく評価することができないという問題があった。発話中は接客者の口の形は話す言葉によって変化するため、発話中の接客者の笑顔度を接客者の顔画像に基づいて判定することは困難であり、発話中の接客者の笑顔度は低く評価されてしまう。そのため、同様の笑顔をしている場合でも、発話中の接客者の笑顔度は、非発話中の接客者よりも低くなる。また、所定の接客時間あたりの笑顔度の平均を求める場合、発話が多い接客者は、発話が少ない接客者よりも、笑顔度の評価が低くなる。このように、接客者の発話の有無を考慮しないと、接客者の接客態度を正しく評価することができない。

また、接客者は接客するとき以外は笑顔をしないので、非接客中の笑顔度の評価は当然低くなる。そのため、所定の就業時間あたりの笑顔度の平均を求める場合、接客時間が短い接客者は、接客時間が長い接客者よりも、笑顔度の評価が低くなる。したがって、複数の接客者の接客態度を公平に評価するためにも、接客者の接客態度を実態に即して正しく評価する必要がある。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、接客者の発話の有無を考慮して接客者の接客態度を正しく評価することを可能とする接客評価装置およびこれを備えた接客評価システムならびに接客評価方法を提供することを主目的とする。

本発明の接客評価装置は、接客者の接客態度を笑顔の度合いに基づき評価するための接客評価装置であって、接客者の接客態度を笑顔の度合いに基づき評価するための接客評価装置であって、予め設定された接客エリア内で撮像された画像が入力される画像入力部と、前記画像から前記接客者の顔画像を抽出する顔画像抽出部と、前記接客者の顔画像に基づいて前記接客者の笑顔の度合いを判定する笑顔度判定部と、前記接客者の発話の有無を判定する発話判定部とを備え、前記発話判定部で前記接客者が発話していないと判定された場合に、前記笑顔度判定部で判定された前記接客者の笑顔の度合いに基づいて前記接客者の接客態度を評価することを特徴とする。

本発明によれば、接客者の発話の有無を考慮して、接客者の接客態度を正しく評価することが可能となる。

本発明の第１実施形態に係る接客評価システムの全体構成図 第１実施形態に係る接客評価システムの適用例を示す説明図 図１中の接客評価装置の概略構成を示すブロック図 接客者の笑顔度の判定方法を説明するための図 接客情報テーブルの例を示す図 笑顔度評価値テーブルの例を示す図 （Ａ）は接客情報テーブルの変形例を示す図、（Ｂ）は顔の向き評価値テーブルの例を示す図 第１実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図 第２実施形態に係る接客評価装置の概略構成を示すブロック図 第２実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図 本発明の第３実施形態に係る接客評価システムの全体構成図 第３実施形態に係る接客評価システムの適用例を示す説明図 第３実施形態に係る接客評価装置の概略構成を示すブロック図 第３実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図 第４実施形態に係る接客評価装置の概略構成を示すブロック図 第４実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図 本発明の接客評価システムの他の適用例を示す説明図

上記課題を解決するためになされた第１の発明は、接客者の接客態度を評価するための接客評価装置であって、予め設定された接客エリア内で撮像された画像が入力される画像入力部と、前記画像から前記接客者の顔画像を抽出する顔画像抽出部と、前記接客者の顔画像に基づいて前記接客者の笑顔の度合いを判定する笑顔度判定部と、前記接客者の発話の有無を判定する発話判定部とを備え、前記発話判定部で前記接客者が発話していないと判定された場合に、前記笑顔度判定部で判定された前記接客者の笑顔の度合いに基づいて前記接客者の接客態度を評価することを特徴とする。

この第１の発明に係る接客評価装置によれば、接客者の発話の有無を判定し、接客者が発話していないと判定された場合に、接客者の笑顔の度合いに基づいて接客者の接客態度を評価する構成としたため、接客者の非発話中の接客態度を評価することができる。したがって、接客者の発話の有無を考慮して、接客者の接客態度を正しく評価することが可能となる。

上記課題を解決するためになされた第２の発明は、接客者の接客態度を評価するための接客評価装置であって、予め設定された接客エリア内で撮像された画像が入力される画像入力部と、前記画像から前記接客者の顔画像を抽出する顔画像抽出部と、前記接客者の発話の有無を判定する発話判定部と、前記接客者の非発話中の顔画像を出力する顔画像出力部とを備えたことを特徴とする。

この第２の発明に係る接客評価装置によれば、接客者の非発話中の顔画像を出力する構成としたため、ユーザは、出力された顔画像に基づいて、接客者の非発話中の接客態度を評価することができる。したがって、接客者の発話の有無を考慮して、接客者の接客態度を正しく評価することが可能となる。

また、第３の発明では、上記第１または第２の発明において、前記発話判定部は、前記接客者の顔画像から前記接客者の口の動きを検出し、その口の動きに基づいて前記接客者の発話の有無を判定することを特徴とする。

この第３の発明に係る接客評価装置によれば、接客者の顔画像から検出された接客者の口の動きに基づいて接客者の発話の有無を判定するため、接客者の発話の有無を容易かつ確実に判定することが可能となる。

また、第４の発明では、上記第１または第２の発明において、前記接客者の音声が入力される音声入力部をさらに備え、前記発話判定部は、前記接客者の音声に基づいて前記接客者の発話の有無を判定することを特徴とする。

この第４の発明に係る接客評価装置によれば、接客者の音声に基づいて接客者の発話の有無を判定するため、接客者の発話の有無を容易かつ確実に判定することが可能となる。

また、第５の発明では、上記第１の発明において、接客相手の検出情報が入力される検出情報入力部と、前記検出情報に基づいて前記接客者が接客中であるか否かの接客状態を判定する接客状態判定部とをさらに備え、前記接客状態判定部で前記接客者が接客中であると判定された場合に、前記接客者の接客態度を評価することを特徴とする。

この第５発明に係る接客評価装置によれば、接客相手の検出情報に基づいて接客者が接客中であるか否かの接客状態を判定し、前記接客者が接客中であると判定された場合に、接客者の接客態度を評価する構成としたため、接客者の接客中の接客態度を評価することができる。したがって、接客者の接客状態を考慮して、接客者の接客態度を正しく評価することが可能となる。

また、第６の発明では、上記第２の発明において、接客相手の検出情報が入力される検出情報入力部と、前記検出情報に基づいて前記接客者が接客中であるか否かの接客状態を判定する接客状態判定部とをさらに備え、前記顔画像出力部は、前記接客者の非発話中かつ接客中の顔画像を出力することを特徴とする。

この第６発明に係る接客評価装置によれば、接客者の非発話中かつ接客中の顔画像を出力する構成としたため、ユーザは、出力された顔画像に基づいて、接客者の接客中の接客態度を評価することができる。したがって、接客者の接客状態を考慮して、接客者の接客態度を正しく評価することが可能となる。

また、第７の発明では、上記第１ないし第４の発明のいずれかに係る接客評価装置と、前記接客エリア内で画像を撮像し、撮像した画像を前記接客評価装置に入力する画像撮像装置とを備えたことを特徴とする接客評価システムである。

また、第８の発明では、上記第５または第６の発明に係る接客評価装置と、前記接客エリア内で画像を撮像し、撮像した画像を前記接客評価装置に入力する画像撮像装置と、接客相手を検出し、前記接客相手の検出情報を前記接客評価装置に入力する接客相手検出装置とを備えたことを特徴とする接客評価システムである。

また、第９の発明では、上記第８の発明において、前記接客相手検出装置が、画像撮像装置、音声取得装置、または近接センサであることを特徴とする。

また、第１０の発明は、接客者の接客態度を評価するための接客評価方法であって、予め設定された接客エリア内で撮像された画像を取得する画像取得ステップと、前記画像から前記接客者の顔画像を抽出する顔画像抽出ステップと、前記接客者の顔画像に基づいて前記接客者の笑顔の度合いを判定する笑顔度判定ステップと、前記接客者の発話の有無を判定する発話判定ステップと、前記発話判定ステップにおいて前記接客者が発話していないと判定された場合に、前記笑顔度判定ステップにおいて判定された前記接客者の笑顔の度合いに基づいて、前記接客者の接客態度を評価する接客態度評価ステップとを有することを特徴とする。

また、第１１の発明は、接客者の接客態度を笑顔の評価するための接客評価方法であって、予め設定された接客エリア内で撮像された画像を取得する画像取得ステップと、前記画像から前記接客者の顔画像を抽出する顔画像抽出ステップと、前記接客者の発話の有無を判定する発話判定ステップと、前記接客者の非発話中の顔画像を出力する顔画像出力ステップとを有することを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る接客評価システムの全体構成図であり、図２は、第１実施形態に係る接客評価システムの適用例を示す説明図であり、図３は、図１中の接客評価装置の概略構成を示すブロック図である。

図１に示すように、接客評価システム１は、店舗２などに構築され、接客者（ここでは、店員）の接客相手（ここでは、来店した客）に対する接客態度を笑顔の度合いに基づいて評価することを可能にする。また、この接客評価システム１は、接客者の接客態度を、ユーザ（例えば、店舗２の店長や、本部管理者など）が、接客者の顔画像に基づいて評価することを可能にする。店舗２内には、接客評価システム１の構成要素として、店内のレジカウンタ１１（図２参照）の内側に設定された接客エリア１３（図２参照）を撮影するカメラ（画像撮像装置）３と、レジカウンタ１１の外側正面に設定された客側エリア１４（図２参照）内の接客相手を検出するための接客相手検出装置４と、店舗のバックヤードなどに設置され、店員の接客態度を笑顔の度合いに基づいて評価するための接客評価装置５とが備えられている。

カメラ３および接客相手検出装置４は、ＬＡＮ（Local Area Network）などの通信回線６を介して接客評価装置５と直接または間接的に通信可能である。また、接客評価システム１において、カメラ３、接客相手検出装置４、および接客評価装置５は、通信回線６に設けられた中継装置７により、公衆回線や専用回線に基づくインターネットなどの広域ネットワーク８を介して本部管理装置９と通信可能である。

本実施形態において、接客評価システム１が適用される店舗２としては、コンビニエンスストアなどの小売店を例として説明するが、これに限定されるものではない。図２（店内の平面視）に示すように、店舗２では、レジカウンタ１１の内側に設定された接客エリア１３に店員Ｓ１、Ｓ２（以下、総称する場合の符号はＳとする）が位置し、レジカウンタ１１の外側正面に設定された客側エリア１４に並んだ客Ｃ１、Ｃ２（以下、総称する場合の符号はＣとする）が購入商品の精算を行う。接客エリア１３および客側エリア１４は任意に設定可能であり、前記両エリアは店内の任意の位置であってよい。また、前記両エリアは、互いに重複していてもよい。なお、店員Ｓの人数は２名に限定されるものではなく、例えば、客Ｃが少ない時間帯などでは、店員Ｓは１名である場合もある。また、客Ｃが多い時間帯などでは、店員Ｓは３名以上である場合もある。

カメラ３は、例えばＣＣＤカメラであり、例えばレジカウンタ１１上のレジ１２の周辺に設置され、接客エリア１３内を連続的に撮影する。すなわち、接客エリア１３は、カメラ３が撮影可能な仮想範囲である。カメラ３により撮影された映像は映像信号として通信回線６を介して接客評価装置５に送信される。なお、カメラ３は、少なくとも店員Ｓの顔画像を撮影可能な限りにおいて、その機能、配置、数量などについては、特に限定されるものではなく種々の変更が可能である。例えば、カメラ３は、レジカウンタ１１の上方の天井に設置された公知の全方位ネットワークカメラであってもよい。

接客相手検出装置４は、例えば、画像撮像装置（カメラ）、音声取得装置（マイク）、近接センサなどであり得る。接客相手検出装置４としてカメラを用いる場合は、例えば、店内の天井に設置された公知の全方位ネットワークカメラ、またはレジカウンタ１１上のレジ１２の周辺に設置されたＣＣＤカメラを用いることができる。カメラ４は、客側エリア１４内の客の存在の有無を認識するために、客側エリア１４内の様子を連続的に撮影する。また、接客相手検出装置４としてマイクを用いる場合は、例えば、店内の天井に設置された公知の全方位ネットワークマイク、またはレジカウンタ１１上のレジ１２の周辺に設置された公知の指向性マイクを用いることができる。マイク４は、客側エリア１４内の客の存在の有無を認識するために、客側エリア１４内の音声を連続的に取得（集音）する。また、接客相手検出装置４として近接センサを用いる場合は、例えば、公知の光学式の近接センサを用いることができる。センサ４は、客側エリア１４内の客Ｃの検出を行う。

接客相手検出装置４であるカメラ、マイク、近接センサによって取得または検出された、客側エリア１４内の客Ｃの検出情報（映像、音声、検出結果）は、通信回線６を介して接客評価装置５に送信される。なお、カメラ、マイク、近接センサは、少なくとも客Ｃを検出可能な限りにおいて、その機能、配置、数量などについては、特に限定されるものではなく種々の変更が可能である。

接客評価装置５は、店舗２のバックヤードに設置され、ユーザ（店舗２の店長など）が使用するＰＣ（Personal Computer）である。後述するように、接客評価装置５は、カメラ３からの映像および接客相手検出装置４からの検出情報を取得し、取得した映像および検出情報に基づいて、店員Ｓの接客態度の評価処理を実行する。

詳細は図示しないが、接客評価装置５は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリアなどとして機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ（画像出力装置）、スピーカ、入力デバイス、およびＨＤＤ（Hard Disk Drive）などを含むハードウェア構成を有しており、後に詳述する接客評価装置５の各種機能（店員Ｓの接客態度の評価処理など）の少なくとも一部については、ＣＰＵが所定の制御プログラム（例えば、画像認識プログラム）を実行することによって実現可能である。なお、接客評価装置５としては、ＰＣに限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバなど）を用いることもできる。また、接客評価装置５の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

本部管理装置９は、接客評価装置５と同様の構成を有するＰＣであり、接客評価装置５と同様の処理を実行することが可能である。本部管理装置９は、店舗２と同様の複数の店舗２を統括管理する本部管理者によって利用される。なお、本部管理装置９が接客評価装置５による店員Ｓの接客態度の評価処理の一部を分担する構成も可能である。

図３に示すように、接客評価装置５は、画像撮像装置（カメラ）３から映像が入力される画像入力部２１と、前記画像から店員Ｓの顔画像を抽出する顔画像抽出部２２と、店員Ｓの顔画像に基づいて店員Ｓの笑顔の度合い（以降、「笑顔度」と称する）を判定する笑顔度判定部２３と、笑顔度判定部２３で判定された笑顔度を記憶する接客情報記憶部２４と、店員Ｓの顔画像に基づいて店員Ｓの発話の有無を判定する発話判定部２５と、接客相手検出装置４から客Ｃの検出情報が入力される検出情報入力部２６と、前記検出情報に基づいて店員Ｓが接客中であるか否かの接客状態を判定する接客状態判定部２７と、笑顔度判定部２３で判定された笑顔度に基づいて店員Ｓの接客態度の評価値を算出する評価値算出部２８と、評価値算出部２８で算出された店員Ｓの接客態度の評価値を記憶する評価値記憶部２９とを備えている。接客情報記憶部２４には、発話判定部２５および接客状態判定部２７の判定結果も記憶される。なお、各部は、図示しない制御部によって制御される。

画像入力部２１には、カメラ３で撮影された接客エリア１３内に位置する店員Ｓの顔画像が、映像信号として入力される。入力された映像信号の映像データには、店員Ｓの顔画像の撮影時刻が含まれている。

顔画像抽出部２２は、公知の顔画像認識技術を利用して、画像入力部２１に入力された画像（複数の画像フレーム）から店員Ｓの顔画像を抽出する顔画像抽出処理を実行する。このとき、顔画像が抽出された店員Ｓの店員ＩＤの判定処理も行う。具体的には、店員Ｓの顔画像ＤＢ（図示せず）を参照して、顔画像が抽出された店員Ｓの店員ＩＤを判定する。

笑顔度判定部２３は、公知の顔画像認識技術を利用して、口および目の形状などに基づいて、店員Ｓの笑顔度を判定する。笑顔度は、パーセント（％）で判定される。まず、公知の顔画像認識技術を利用して店員Ｓの顔画像から店員Ｓの表情を検出する。そして、図４に示すように、店員Ｓの表情が（Ａ）であると判断された場合は、笑顔度は８０％と判定され、店員Ｓの表情が（Ｂ）であると判断された場合は、笑顔度は６０％と判定され、店員Ｓの表情が（Ｃ）であると判断された場合は、笑顔度は２０％と判定される。なお、図４に示した笑顔度の判定方法は一例であり、実際は、より詳細に判定するとよい。

接客情報記憶部２４は、笑顔度判定部２３で判定された店員Ｓの笑顔度を記憶する。店員Ｓの笑顔度は、接客情報記憶部２４に記憶された接客情報テーブル（図５参照）に、撮影時刻、店員Ｓの店員ＩＤと共に記録される。図５の接客情報テーブルには、店員Ｓ１の笑顔度は、８時１２分２４秒の時点では８０点、８時１２分２５秒の時点では７０点、８時１２分２６秒の時点では６０点、８時１２分２７秒の時点では７０点、８時１２分２８秒の時点では２０点であったことが示されている。また、店員Ｓ２の笑顔度は、８時１２分３２秒の時点では３０点、８時１２分３３秒の時点では６０点、８時１２分３４秒の時点では８０点であったことが示されている。また、接客情報記憶部２４には発話判定部２５および接客状態判定部２７での判定結果も入力され、接客情報テーブルに、店員Ｓの笑顔度に対応付けて記録される。

発話判定部２５は、公知の顔画像認識技術を利用して、顔画像が抽出された店員Ｓの発話の有無を判定する。具体的には、発話判定部２５は、店員Ｓの顔画像から店員Ｓの口の動きを検出し、その口の動きに基づいて店員Ｓの発話の有無を判定する。所定の口の動きが検出された場合は、店員Ｓは発話中と判定され、所定数の画像フレーム内で所定の口の動きが検出されなかった場合は、店員Ｓは非発話中と判定される。発話判定部２５での判定結果は接客情報記憶部２４に入力され、接客情報テーブル（図５参照）に、「発話中」または「非発話中」として記録される。

検出情報入力部２６には、接客相手検出装置４が取得した、客側エリア１４内の客Ｃの検出情報、すなわち、客側エリア１４内での客Ｃの存在の有無を示す情報が入力される。この検出情報には、接客相手検出装置４が情報を取得した時刻が含まれている。

接客状態判定部２７は、検出情報入力部２６に入力された客Ｃの検出情報に基づいて店員Ｓが接客中であるか否かの接客状態を判定する。客側エリア１４内に客Ｃが存在する場合は接客中と判定され、客側エリア１４内に客Ｃが存在しない場合は非接客中と判定される。接客状態判定部２７での判定結果は接客情報記憶部２４に入力され、接客情報テーブル（図５参照）に、「接客中」または「非接客中」として記録される。なお、接客状態判定部２７で接客中と判定されたときに、接客エリア１３内に店員Ｓが存在しない場合もあり得るが、そのような場合は、店員Ｓの接客態度の評価処理は行わない。

評価値算出部２８は、接客情報記憶部２４に記憶された接客情報テーブル（図５参照）に基づいて、各店員Ｓの接客中かつ非発話中の接客態度の評価値を算出する。具体的には、各店員Ｓの接客中かつ非発話中の笑顔度の平均値を算出する。算出された各店員Ｓの接客中かつ非発話中の笑顔度の平均値は、評価値記憶部２９に記憶された笑顔度評価値テーブル（図６参照）に記録される。

図５に示す接客情報テーブルには、店員Ｓ１は、８時１２分２４秒の時点は接客中・非発話中であり、８時１２分２５秒〜８時１２分２７秒の時点は接客中・発話中であり、８時１２分２８秒の時点は非接客中・非発話中であったことが示されている。また、店員Ｓ２は、８時１２分３２秒の時点は非接客中・発話中であり、８時１２分３３〜８時１２分３４秒の時点は、接客中・非発話中であったことが示されている。なお、非接客中・発話中の場合としては、他の店員との会話や客側エリア１４外の客への挨拶などが考えられる。

そして、評価値算出部２８は、図５に示す接客情報テーブルに基づいて、各店員Ｓの、接客中かつ非発話中のときの笑顔度の平均値を算出する。店員Ｓ１が接客中かつ非発話中なのは、８時１２分２４秒の時点であり、そのときの笑顔度は８０なので、店員Ｓ１の接客中かつ非発話中の笑顔度の平均値は８０となる。また、店員Ｓ２が接客中かつ非発話中なのは、８時１２分３３〜８時１２分３４秒の時点であり、そのときの笑顔度は６０と８０なので、店員Ｓ２の接客中かつ非発話中の笑顔度の平均値は７０となる。このようにして、評価値算出部２８は、各店員Ｓの接客中かつ非発話中の笑顔度の平均値を算出することができる。図６に示す笑顔度評価値テーブルには、店員Ｓ１の接客中かつ非発話中の笑顔度の平均値が８０であり、店員Ｓ２の接客中かつ非発話中の笑顔度の平均値が７０であることが示されている。

また、上記の発話判定部２５で、公知の顔画像認識技術を利用して、店員Ｓの顔の向きまたは視線の向きを判定するようにしてもよい。接客中は、店員Ｓの顔は客Ｃの方を向いていることが好ましいので、店員Ｓの接客態度の評価に、店員Ｓの顔の向きまたは視線の向きの評価値を加えるようにしてもよい。この場合、発話判定部２５での判定結果は接客情報記憶部２４に入力され、図５に示す接客情報テーブルに追加される。図７（Ａ）は、図５の接客情報テーブルに、店員Ｓの顔の向きの判定結果を追加したものである。店員Ｓの顔の向きは、「お客様方向」または「お客様方向以外」として記録される。そして、評価値算出部２８は、図７（Ａ）に示す接客情報テーブルに基づいて、店員Ｓの接客中の顔の向きの評価値を算出する。算出された接客中の顔の向きの評価値は、評価値記憶部２９に記憶された顔の向き評価値テーブル（図７（Ｂ）参照）に記録される。

図７（Ａ）に示す接客情報テーブルには、店員Ｓ１の顔の向きは、８時１２分２４秒の時点はお客様方向であり、８時１２分２５秒の時点はお客様方向以外であり、８時１２分２６秒〜８時１２分２７秒の時点はお客様方向であり、８時１２分２８秒の時点はお客様方向以外であったことが示されている。また、店員Ｓ２の顔の向きは、８時１２分３２秒の時点はお客様方向以外であり、８時１２分３３の時点はお客様方向であり、８時１２分３４秒の時点はお客様方向以外であったことが示されている。

そして、評価値算出部２８は、図７（Ａ）に示す接客情報テーブルに基づいて、各店員Ｓの接客中の顔の向きの評価値を算出する。顔の向きの評価値は、接客中の店員Ｓの顔の向きがお客様方向を向いていた割合（パーセント（％））で表される。店員Ｓ１が接客中なのは、８時１２分２４秒〜８時１２分２７秒の時点であり、そのときの店員Ｓ１の顔の向きは、８時１２分２４秒、８時１２分２６秒、８時１２分２７秒の時点がお客様方向で、８時１２分２５秒の時点がお客様方向以外であった。したがって、店員Ｓ１の接客中の顔の向きの評価値は７５％となる。また、店員Ｓ２が接客中なのは、８時１２分３３秒〜８時１２分３４秒の時点であり、そのときの店員Ｓ２の顔の向きは、８時１２分３３秒の時点がお客様方向で、８時１２分３４秒の時点がお客様方向以外であった。したがって、店員Ｓ２の接客中の顔の向きの評価値は５０％となる。このようにして、評価値算出部２８は、各店員Ｓの接客中の顔の向きの評価値を算出することができる。図７（Ｂ）に示す顔の向き評価値テーブルには、店員Ｓ１の接客中の顔の向きの評価値が７５％であり、店員Ｓ２の接客中の顔の向きの評価値が５０％であることが示されている。

さらに、接客評価装置５は、評価値記憶部２９に記憶された店員Ｓの接客態度の評価値を、ユーザの所望に応じて出力する評価値出力部３０を備えている。店員Ｓの接客態度の評価値とは、上述したように、笑顔度評価値テーブル（図６参照）に記録された店員Ｓの接客中かつ非発話中の笑顔度の平均値、または、顔の向き評価値テーブル（図７（Ａ）参照）に記録された店員Ｓの接客中の顔の向きの評価値である。

次に、図３に示した第１実施形態に係る接客評価装置５による接客評価処理の流れを、図８を参照して説明する。

まず、接客評価装置５の画像入力部２１は、店内に配置された画像撮像装置（カメラ）３から、接客エリア１３内の画像を取得する（ＳＴ１０１）。続いて、顔画像抽出部２２は、画像入力部２１に入力された画像から店員Ｓの顔画像を抽出する（ＳＴ１０２）。次に、笑顔度判定部２３は、顔画像抽出部２２で抽出された店員Ｓの顔画像に基づいて店員Ｓの笑顔度を判定する（ＳＴ１０３）。

続くＳＴ１０４では、発話判定部２５は、顔画像抽出部２２で抽出された店員Ｓの顔画像に基づいて店員Ｓの発話の有無を判定する。店員Ｓの発話の有無は、接客情報テーブル（図５参照）に記録される。店員Ｓが発話している（発話中）と判定された場合は、ステップＳ１０１に戻る。店員Ｓが発話していない（非発話中）と判定された場合は、ステップＳ１０５に進む。

ステップＳ１０５では、検出情報入力部２６は、店内に配置された接客相手検出装置４から、客側エリア１４内での客Ｃの検出情報を取得する。前述したように、客Ｃの検出情報とは、客側エリア１４内での接客相手の存在の有無を示す情報である。

続くＳＴ１０６では、検出情報入力部２６に入力された検出情報に基づいて、店員Ｓの接客状態を判定する。客側エリア１４内に客Ｃが存在する場合は接客中と判定し、客側エリア１４内に客Ｃが存在しない場合は非接客中と判定する。店員Ｓの接客状態は、接客情報テーブル（図５参照）に記録される。接客中であると判定された場合は、ステップＳ１０７に進み、非接客中と判定された場合は、ステップＳ１０１に戻る。

ＳＴ１０７では、評価値算出部２８が、笑顔度判定部２３で判定された笑顔度に基づいて、店員Ｓの接客態度の評価値を算出する。評価値算出部２８で算出された店員Ｓの接客態度の評価値は、評価値記憶部２９に記憶され、ユーザの所望に応じて評価値出力部３０から出力される。

このようにして、第１実施形態に係る接客評価装置５によれば、店員Ｓが非発話中かつ接客中の場合に、店員Ｓの接客態度の評価値を算出することができる。したがって、店員Ｓの発話の有無および接客状態を考慮して、店員Ｓの接客態度を正しく評価することが可能となる。

（第２実施形態）
図９は、本発明の第２実施形態に係る接客評価装置の概略構成を示すブロック図であり、図１０は、第２実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図である。この第２実施形態に係る接客評価装置は、図１に示した接客評価システム１において使用される。

図９に示す第２実施形態に係る接客評価装置５は、図３に示した第１実施形態に係る接客評価装置５と同様に、画像入力部２１と、顔画像抽出部２２と、発話判定部２５と、検出情報入力部２６と、接客状態判定部２７とを備えている。また、この第２実施形態に係る接客評価装置５は、第１実施形態に係る接客評価装置５が備えていない、顔画像情報記憶部３２と、顔画像出力部３３とをさらに備えている。図３に示した第１実施形態に係る接客評価装置５と同様の部分については、同一の符号を付してその説明は省略する。

顔画像情報記憶部３２は、顔画像抽出部２２で取得された店員Ｓの顔画像を記憶する。店員Ｓの顔画像は、撮影時刻、店員Ｓの店員ＩＤと共に、顔画像情報記憶部３２に記憶される。また、顔画像情報記憶部３２には、発話判定部２５および接客状態判定部２７の判定結果も入力され、店員Ｓの顔画像に対応付けて記録される。

顔画像出力部３３は、ユーザからの指示に応じて、顔画像情報記憶部３２に記憶された店員Ｓの顔画像を出力する。このとき、接客状態が「接客中」でかつ発話状態が「非発話中」の顔画像のみを読み出して出力するようにしてもよい。店員Ｓの顔画像は、接客評価装置５に接続された液晶モニタなどの公知の画像出力装置に出力してもよいし、映像信号（映像データ）として、広域ネットワーク８を介して本部管理装置９に送信してもよい。

次に、図９に示した第２実施形態に係る接客評価装置５による接客評価処理の流れを、図１０を参照して説明する。

まず、接客評価装置５の画像入力部２１は、店内に配置された画像撮像装置（カメラ）３から、接客エリア１３内の画像を取得する（ＳＴ２０１）。続いて、顔画像抽出部２２は、画像入力部２１に入力された画像から接客者（店員Ｓ）の顔画像を抽出する（ＳＴ２０２）。顔画像抽出部２２で抽出された店員Ｓの顔画像は、顔画像情報記憶部３２に記憶される（ＳＴ２０３）。

次に、ＳＴ２０４では、発話判定部２５は、顔画像抽出部２２で抽出された店員Ｓの顔画像に基づいて店員Ｓの発話の有無を判定する。店員Ｓの発話の有無は、顔画像情報記憶部３２に記録される。店員Ｓが発話中と判定された場合は、ステップＳ２０１に戻る。店員Ｓが非発話中と判定された場合は、ステップＳ２０５に進む。

ステップ２０５では、検出情報入力部２６は、店内に配置された接客相手検出装置４（図１参照）から、客側エリア１４内での客Ｃの検出情報を取得する。続くＳＴ２０６では、検出情報入力部２６に入力された検出情報に基づいて、店員Ｓの接客状態を判定する。客側エリア１４内に客Ｃが存在する場合は接客中と判定し、客側エリア１４内に客Ｃが存在しない場合は非接客中と判定する。店員Ｓの接客状態は、顔画像情報記憶部３２に記録される。接客中であると判定された場合は、ステップＳ２０７に進み、非接客中と判定された場合は、ステップＳ２０１に戻る。

ＳＴ２０７では、顔画像出力部３３が、ユーザからの指示に応じて、顔画像情報記憶部３２に記憶された店員Ｓの顔画像を出力する。このとき、店員Ｓの接客中かつ非発話中の顔画像のみを読み出して出力するようにしてもよい。

このようにして、第２実施形態に係る接客評価装置５によれば、店員Ｓの非発話中かつ接客中の顔画像を出力することができる。そして、ユーザは、出力された顔画像に基づいて、接客者の非発話中かつ接客中の接客態度を評価することができる。したがって、店員Ｓの発話の有無および接客状態を考慮して、店員Ｓの接客態度を正しく評価することが可能となる。

（第３実施形態）
図１１は、本発明の第３実施形態に係る接客評価システムの全体構成図であり、図１２は、第３実施形態に係る接客評価システムの適用例を示す説明図であり、図１３は、本発明の第３実施形態に係る接客評価装置の概略構成を示すブロック図であり、図１４は、第３実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図である。

図１１に示す第３実施形態に係る接客評価システムは、音声取得装置１０を備えている点が、図１に示した第１実施形態に係る接客評価システム１と異なる。他の点は図１に示した第１実施形態に係る接客評価システム１と同じであるので、同一の符号を付してその説明は省略する。

音声取得装置１０は、一般的な指向性マイクであり、図１２に示すように、レジカウンタ１１のレジ１２の周辺に配置される。マイク１０は、接客エリア１３内の音声を連続的に取得（集音）する。なお、マイク１０は、少なくとも店員Ｓの音声を取得可能な限りにおいて、その機能、配置、数量などについては、特に限定されるものではなく種々の変更が可能である。例えば、店内の各店員Ｓの配置に応じて複数の場所にそれぞれマイクを配置する構成や、店員Ｓの被服などにマイクを取り付ける構成も可能である。

図１３に示す第３実施形態に係る接客評価装置は、音声入力部３１を備えている点と、発話判定部２５が、顔画像抽出部２２ではなく、音声入力部３１に接続されている点が、図３に示した第１実施形態に係る接客評価装置５と異なる。他の点は図３に示した第１実施形態に係る接客評価装置５と同じであるので、同一の符号を付してその説明は省略する。

音声入力部３１には、マイク１０が取得した、接客エリア１３内の店員Ｓの音声が入力される。この音声の情報には、マイク１０が音声を取得した時刻が含まれている。発話判定部２５は、音声入力部３１に接続されており、音声入力部３１に入力された音声に基づいて、店員Ｓの発話の有無を判定する。

次に、図１３に示した第３実施形態に係る接客評価装置５による接客評価処理の流れを、図１４を参照して説明する。

まず、接客評価装置５の画像入力部２１は、店内に配置された画像撮像装置（カメラ）３から、接客エリア１３内の画像を取得する（ＳＴ３０１）。続いて、顔画像抽出部２２は、画像入力部２１に入力された画像から店員Ｓの顔画像を抽出する（ＳＴ３０２）。次に、笑顔度判定部２３は、顔画像抽出部２２で抽出された店員Ｓの顔画像に基づいて店員Ｓの笑顔度を判定する（ＳＴ３０３）。

続くＳＴ３０４では、音声入力部３１は、店内に配置された音声取得装置（マイク）１０から、接客エリア１３内の店員Ｓの音声を取得する。続くＳＴ３０５では、発話判定部２５は、音声入力部３１が取得した店員Ｓの音声に基づいて店員Ｓの発話の有無を判定する。店員Ｓの音声が取得された場合は、発話中と判定し、店員Ｓの音声が取得されなかった場合は非発話中と判定する。店員Ｓの発話の有無は、接客情報テーブル（図５参照）に記録される。店員Ｓが発話中と判定された場合は、ステップＳ３０１に戻る。店員Ｓが非発話中と判定された場合は、ステップＳ３０６に進む。

ステップＳ３０６では、検出情報入力部２６は、店内に配置された接客相手検出装置４から、客側エリア１４内での客Ｃの検出情報を取得する。続くＳＴ３０７では、検出情報入力部２６に入力された検出情報に基づいて、店員Ｓの接客状態を判定する。客側エリア１４内に客Ｃが存在する場合は接客中と判定し、客側エリア１４内に客Ｃが存在しない場合は非接客中と判定する。店員Ｓの接客状態は、接客情報テーブル（図５参照）に記録される。接客中であると判定された場合は、ステップＳ３０８に進み、非接客中と判定された場合は、ステップＳ３０１に戻る。

ＳＴ３０８では、評価値算出部２８が、笑顔度判定部２３で判定された笑顔度に基づいて、店員Ｓの接客態度の評価値を算出する。評価値算出部２８で算出された店員Ｓの接客態度の評価値は、評価値記憶部２９に記憶され、ユーザの所望に応じて評価値出力部３０から出力される。

このようにして、第３実施形態に係る接客評価装置５によれば、店員Ｓの発話の有無を店員Ｓの音声に基づいて判定することができるので、店員Ｓの発話の有無をより容易かつ確実に判定することが可能となる。そして、店員Ｓが非発話中かつ接客中の場合に、店員Ｓの接客態度の評価値を算出することができるので、店員Ｓの発話の有無および接客状態を考慮して、店員Ｓの接客態度を正しく評価することが可能となる。

（第４実施形態）
図１５は、本発明の第４実施形態に係る接客評価装置の概略構成を示すブロック図であり、図１６は、第４実施形態に係る接客評価装置による接客評価処理の流れを示すフロー図である。なお、この本発明の第５実施形態に係る接客評価装置は、図１１に示した接客評価システム１において使用される。

この第４実施形態に係る接客評価装置５は、音声入力部３１を備えている点と、発話判定部２５が、顔画像抽出部２２ではなく、音声入力部３１に接続されている点が、図９に示した第２実施形態に係る接客評価装置５と異なる。他の点は図９に示した２実施形態に係る接客評価装置５と同じであるので、同一の符号を付してその説明は省略する。

音声入力部３１は、マイク１０が取得した、接客エリア１３内の店員Ｓの音声が入力される。この音声の情報には、マイク１０が音声を取得した時刻が含まれている。発話判定部２５は、音声入力部３１に接続されており、音声入力部３１に入力された音声に基づいて、店員Ｓの発話の有無を判定する。

次に、図１５に示した第４実施形態に係る接客評価装置５による接客評価処理の流れを、図１６を参照して説明する。

まず、接客評価装置５の画像入力部２１は、店内に配置された画像撮像装置（カメラ）３から、接客エリア１３内の画像を取得する（ＳＴ４０１）。続いて、顔画像抽出部２２は、画像入力部２１に入力された画像から店員Ｓの顔画像を抽出する（ＳＴ４０２）。顔画像抽出部２２で抽出された店員Ｓの顔画像は、顔画像情報記憶部３２に記憶される（ＳＴ４０３）。

続くＳＴ４０４では、音声入力部３１は、店内に配置された音声取得装置（マイク）１０から、接客エリア１３内の店員Ｓの音声を取得する。続くＳＴ４０５では、発話判定部２５は、音声入力部３１が取得した店員Ｓの音声に基づいて店員Ｓの発話の有無を判定する。店員Ｓの発話の有無は、顔画像情報記憶部３２に記録される。店員Ｓが発話中と判定された場合は、ステップＳ４０１に戻る。店員Ｓが非発話中と判定された場合は、ステップＳ４０６に進む。

ステップＳ４０６では、検出情報入力部２６は、店内に配置された接客相手検出装置４から、客側エリア１４内での客Ｃの検出情報を取得する。続くＳＴ４０７では、検出情報入力部２６に入力された検出情報に基づいて、店員Ｓの接客状態を判定する。店員Ｓの接客状態は、顔画像情報記憶部３２に記録される。接客中であると判定された場合は、ステップＳ４０８に進み、非接客中と判定された場合は、ステップＳ４０１に戻る。

ＳＴ４０８では、顔画像出力部３３が、ユーザからの指示に応じて、顔画像情報記憶部３２に記憶された店員Ｓの顔画像を出力する。このとき、店員Ｓの接客中かつ非発話中の顔画像のみを読み出して出力するようにしてもよい。

このようにして、第４実施形態に係る接客評価装置５によれば、店員Ｓの発話の有無を店員Ｓの音声に基づいて判定することができるので、店員Ｓの発話の有無をより容易かつ確実に判定することが可能となる。そして、店員Ｓの非発話中かつ接客中の顔画像を出力することができるので、店員Ｓの発話の有無および接客状態を考慮して、店員Ｓの接客態度を正しく評価することが可能となる。

また、接客エリアは、レジカウンタ１１の周辺に限らず、任意に設定可能である、例えば、図１７に示すように、店内全体を接客エリアにすることも可能である。この場合は、カメラ３および接客相手検出装置４は、店内の適所の天井に設置するとよい。また、マイク１０を使用する場合は、マイク１０は、各店員Ｓ１〜Ｓ３の被服などに取り付けるとよい。

また、本発明の接客評価システム、接客評価装置、ならびに接客評価方法は、飲食店やデパートなどの商業施設、銀行や旅行会社や不動産会社などの接客窓口に適用することも可能であり、その場合も、接客エリアは任意に設定可能である。例えば、飲食店の場合は、販売カウンタやレジカウンタの周辺を接客エリアに設定することが可能であり、デパートの場合は、売場エリア全体を接客エリアにすることが可能であり、銀行などの場合は、客に対面するカウンタを接客エリアに設定することが可能である。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る接客評価装置およびこれを備えた接客評価システムならびに接客評価方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、上記実施形態では、接客者の発話の有無と接客状態を判定し、接客者が非発話中かつ接客中の場合に接客者の接客態度を評価する構成としたが、接客状態の判定は行わず、接客者が非発話中の場合にのみ、接客者の接客態度を評価するようにしてもよい。

本発明に係る接客評価装置およびこれを備えた接客評価システムならびに接客評価方法は、接客者の発話の有無および接客状態を考慮して接客者の接客態度を正しく評価することを可能とする本発明に係る接客評価装置およびこれを備えた接客評価システムならびに接客評価方法などとして有用である。

１ 接客評価システム
２ 店舗
３ カメラ（画像撮像装置）
４ 接客相手検出装置
５ 接客評価装置
２１ 画像入力部
２２ 顔画像抽出部
２３ 笑顔度判定部
２４ 接客情報記憶部
２５ 発話判定部
２６ 検出情報入力部
２７ 接客状態判定部
２８ 評価値算出部
２９ 評価値記憶部
３０ 評価値出力部

Claims (11)

1. 接客者の接客態度を評価するための接客評価装置であって、
   予め設定された接客エリア内で撮像された画像が入力される画像入力部と、
   前記画像から前記接客者の顔画像を抽出する顔画像抽出部と、
   前記接客者の顔画像に基づいて前記接客者の笑顔の度合いを判定する笑顔度判定部と、
   前記接客者の発話の有無を判定する発話判定部とを備え、
   前記発話判定部で前記接客者が発話していないと判定された場合に、前記笑顔度判定部で判定された前記接客者の笑顔の度合いに基づいて前記接客者の接客態度を評価することを特徴とする接客評価装置。
2. 接客者の接客態度を評価するための接客評価装置であって、
   予め設定された接客エリア内で撮像された画像が入力される画像入力部と、
   前記画像から前記接客者の顔画像を抽出する顔画像抽出部と、
   前記接客者の発話の有無を判定する発話判定部と、
   前記接客者の非発話中の顔画像を出力する顔画像出力部と
   を備えたことを特徴とする接客評価装置。
3. 前記発話判定部は、前記接客者の顔画像から前記接客者の口の動きを検出し、その口の動きに基づいて前記接客者の発話の有無を判定することを特徴とする請求項１または請求項２に記載の接客評価装置。
4. 前記接客者の音声が入力される音声入力部をさらに備え、
   前記発話判定部は、前記接客者の音声に基づいて前記接客者の発話の有無を判定することを特徴とする請求項１または請求項２に記載の接客評価装置。
5. 接客相手の検出情報が入力される検出情報入力部と、
   前記検出情報に基づいて前記接客者が接客中であるか否かの接客状態を判定する接客状態判定部とをさらに備え、
   前記接客状態判定部で前記接客者が接客中であると判定された場合に、前記接客者の接客態度を評価することを特徴とする
   請求項１に記載の接客評価装置。
6. 接客相手の検出情報が入力される検出情報入力部と、
   前記検出情報に基づいて前記接客者が接客中であるか否かの接客状態を判定する接客状態判定部とをさらに備え、
   前記顔画像出力部は、前記接客者の非発話中かつ接客中の顔画像を出力することを特徴とする請求項２に記載の接客評価装置。
7. 請求項１から請求項４のいずれかに記載の接客評価装置と、
   前記接客エリア内で画像を撮像し、撮像した画像を前記接客評価装置に入力する画像撮像装置と
   を備えたことを特徴とする接客評価システム。
8. 請求項５または請求項６に記載の接客評価装置と、
   前記接客エリア内で画像を撮像し、撮像した画像を前記接客評価装置に入力する画像撮像装置と、
   接客相手を検出し、前記接客相手の検出情報を前記接客評価装置に入力する接客相手検出装置と
   を備えたことを特徴とする接客評価システム。
9. 前記接客相手検出装置が、画像撮像装置、音声取得装置、または近接センサであることを特徴とする請求項８に記載の接客評価システム。
10. 接客者の接客態度を評価するための接客評価方法であって、
    予め設定された接客エリア内で撮像された画像を取得する画像取得ステップと、
    前記画像から前記接客者の顔画像を抽出する顔画像抽出ステップと、
    前記接客者の顔画像に基づいて前記接客者の笑顔の度合いを判定する笑顔度判定ステップと、
    前記接客者の発話の有無を判定する発話判定ステップと、
    前記発話判定ステップにおいて前記接客者が発話していないと判定された場合に、前記笑顔度判定ステップにおいて判定された前記接客者の笑顔の度合いに基づいて、前記接客者の接客態度を評価する接客態度評価ステップと
    を有することを特徴とする接客評価方法。
11. 接客者の接客態度を評価するための接客評価方法であって、
    予め設定された接客エリア内で撮像された画像を取得する画像取得ステップと、
    前記画像から前記接客者の顔画像を抽出する顔画像抽出ステップと、
    前記接客者の発話の有無を判定する発話判定ステップと、
    前記接客者の非発話中の顔画像を出力する顔画像出力ステップと
    を有することを特徴とする接客評価方法。

Images