JP2017102846A - 接客対応評価装置及び接客対応評価方法 - Google Patents

Abstract

【課題】店舗における店員による接客時の対応を効率的かつ精度良く評価することを課題とする。
【解決手段】管理装置３０は、個別売上データをＰＯＳレジスタ１０から取得し、接客対応する店員の顔画像データをカメラ２０から取得し、個別売上データに含まれる接客時間帯に対応する顔画像データ３４ｃから接客中の店員の表情を特定し、表情に応じて接客時の対応の評価値を示す接客対応ポイントを算出する。また、管理装置３０は、個別売上データと接客対応ポイントとを関連付けて管理し、これらのデータを集計することによって店員毎の接客時の対応を数値化して出力するとともに、売上金額と接客時の対応の評価値とを関係付けて出力する。
【選択図】図１

Description

この発明は、コンビニエンスストア等の店員の接客時の対応の質を評価する接客対応評価装置及び接客対応評価方法に関するものである。

従来、コンビニエンスストア等の店舗では、レジにおいて店員が顧客の購入対象となる商品の精算処理を行っている。ここで、店員の接客態度が良い場合には、顧客は、店員が勧める商品を追加購入するような状況が発生し、店舗の売上げに寄与することが可能となる。また、顧客が後日店舗に再来店することで、店舗の売上げに寄与する期待値を高めることもできる。

一方、店員の接客態度が悪い場合には、顧客が商品の購入を取り止め、結果的に店舗の売上げが低下する状況が生ずる。また、顧客が後日店舗に再来店する可能性が低下する可能性もある。このように、店員の接客態度は、店舗の売上げに大きな影響を与えるものであり、特に店員の接客時の表情は、店舗の売上げを上げるうえで重要な要因となる。

ここで、従来、人の顔画像（静止画像）に含まれる口の開き度合いや歯が見える度合いによって人の表情を認識する技術が知られている（例えば、特許文献１を参照）。このため、この特許文献１を用いて、店員の表情を認識する案が考えられる。

特開２００５−２３４６８６号公報

しかしながら、上記の特許文献１のものは、口の開き度合いや歯が見える度合いを判定する技術であるため、この特許文献１を用いたとしても、店員の接客時の対応を精度良く評価することはできない。店員は、顧客とコミュニケーションを行いながら精算処理を行うため、口が開いているか、歯が見えているかという要因によって表情の判定を行うには限界があるためである。

これらのことから、コンビニエンスストア等の店舗において、店員による接客時の対応をいかに精度良く評価するかが重要な課題となっている。かかる課題は、コンビニエンスストアだけではなく、ショッピングセンタ、テーマパーク、レジャー施設、ホテル等で顧客満足度を調査する場合や、携帯ショップ、金融機関、遊技施設等で接客態度を調査する場合にも同様に生ずる課題である。

本発明は、上記の従来技術の課題を解決するためになされたものであって、店舗における店員による接客時の対応を効率的かつ精度良く評価することができる接客対応評価装置及び接客対応評価方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、対象者の入力顔画像を撮像する撮像部と、前記撮像部で撮像された入力顔画像に含まれる顔の表情を特定する特定部と、前記特定部で特定された顔の表情に係る情報に基づいて前記対象者の接客対応を評価する評価部とを備えたことを特徴とする。

また、本発明は、上記発明において、店舗の売上げ情報を管理する管理部と、前記評価部による評価結果と前記売上げ情報を対応付けて出力する出力手段とをさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記対象者の音声情報を取得する取得部をさらに備え、前記評価部は、前記音声情報から算定した前記対象者の口調を示す情報と、前記特定部で特定された顔の表情から算定した情報とに基づいて前記対象者の接客対応を評価することを特徴とする。

また、本発明は、上記発明において、前記撮像部は、対象者である店員の入力顔画像を撮像し、前記特定部は、あらかじめ登録された前記対象者についての表情が異なる複数の登録顔画像と前記入力顔画像とに基づいて前記入力顔画像に含まれる顔の表情を特定することを特徴とする。

また、本発明は、上記発明において、前記撮像部は、対象者である顧客の複数の入力顔画像を撮像し、前記特定部は、前記対象者の複数の入力顔画像の変化量に基づいて各入力顔画像に含まれる顔の表情を特定することを特徴とする。

また、本発明は、上記発明において、前記評価部は、前記特定部で特定された顔の表情を数値化した数値に基づいて前記対象者の接客対応を評価することを特徴とする。

また、本発明は、対象者の入力顔画像を撮像する撮像工程と、前記撮像工程で撮像された入力顔画像に含まれる顔の表情を特定する特定工程と、前記特定工程で特定された顔の表情に係る情報に基づいて前記対象者の接客対応を評価する評価工程とを含んだことを特徴とする。

本発明によれば、対象者の入力顔画像を撮像し、撮像された入力顔画像に含まれる顔の表情を特定し、特定された顔の表情に係る情報に基づいて対象者の接客対応を評価するよう構成したので、店舗における店員による接客時の対応を効率的かつ精度良く評価することができる。

図１は、実施例１に係る店舗管理システムにおける接客時の対応の質を評価する処理の概要を説明するための説明図である。 図２は、実施例１に係る店舗管理システムのシステム構成を示す図である。 図３は、図２に示した管理装置の構成を示す機能ブロック図である。 図４は、図３に示した管理装置の記憶部に記憶されるデータの一例を示す図（１）である。 図５は、図３に示した管理装置の記憶部に記憶されるデータの一例を示す図（２）である。 図６は、図２に示した管理装置で表示される分析結果一覧画面の一例を示す図である。 図７は、図２に示した管理装置で表示される担当者別サマリ画面の一例を示す図である。 図８は、図２に示した管理装置で表示される担当者別詳細画面の一例を示す図である。 図９は、図２に示した管理装置における店員の接客時の対応の評価処理の処理手順を示すフローチャートである。 図１０は、実施例２に係る店舗管理システムにおける店員の接客時の対応の評価処理の概要を説明するための説明図である。 図１１は、実施例２に係る管理装置の構成を示す機能ブロック図である。 図１２は、図１１に示した管理装置の記憶部に記憶されるデータの一例を示す図である。 図１３は、実施例２に係る管理装置における顧客の顔の表情の特定処理の処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る接客対応評価装置及び接客対応評価方法の好適な実施例を詳細に説明する。以下に示す実施例では、本発明をコンビニエンスストア等の店舗に配設される店舗管理システムに適用した場合を示すこととする。なお、本実施例では、主として店員の接客時の表情を用いて対応を評価することとする。

まず、実施例１に係る店舗管理システムにおける接客時の対応を評価する処理の概要を説明する。図１は、店舗管理システムにおける接客時の対応を評価する処理の概要を説明するための説明図である。

図１に示すように、店舗管理システムは、店舗１に配設されるＰＯＳレジスタ１０及びカメラ２０と、ＰＯＳレジスタ１０及びカメラ２０とデータ通信可能に接続された管理装置３０を有する。なお、この管理装置３０は、店舗外に配設されている。

ＰＯＳレジスタ１０は、商品の決済処理を行う決済カウンタに配設され、顧客から手渡された商品の販売登録処理を行う装置である。ＰＯＳレジスタ１０は、かかる販売登録処理において算出された売上金額、店員を識別する担当者ＩＤ等及び接客時間帯を含む個別売上データを管理装置３０に送信する。管理装置３０は、この個別売上データを受信すると記憶部の売上データ３４ａに追加する（Ｓ１）。

カメラ２０は、ＰＯＳレジスタ１０に対応付けて配設され、ＰＯＳレジスタ１０を操作する店員の顔画像を含む動画データを撮像する。カメラ２０は動画データを管理装置３０に送信する。管理装置３０は、動画データから所定の間隔（例えば１０秒）毎に静止画顔画像データを切り出し、記憶部に顔画像データ３４ｃとして記憶する（Ｓ２）。

管理装置３０は、事前に登録された店員毎の怒り顔、笑顔及び平静状態の顔の特徴データを含む事前登録顔画像データ３４ｂを記憶部に記憶する。管理装置３０は、顔画像データ３４ｃの静止画顔画像データから特徴データを生成し、その特徴データと事前登録顔画像データ３４ｂに登録される怒り顔、笑顔又は平静状態の顔の顔画像特徴データとを比較することにより、各静止画顔画像データに含まれる顔の表情を特定し、その結果を顔表情特定データ３４ｄとして出力する（Ｓ３）。

管理装置３０は、売上データ３４ａの各レコードに対応する顔表情特定データ３４ｄのレコードを特定し、顔表情特定データ３４ｄの顔表情の特定結果に基づいて売上データ３４ａの各レコードに対する店員の接客対応ポイントを算出し、その結果を接客対応評価データ３４ｅとして記憶部に記憶する（Ｓ４）。例えば笑顔を１００ポイント、平静状態の顔を０ポイント、怒り顔を−１００ポイントとした場合には、接客期間中の店員の顔の表情に対するポイントの平均値が接客ポイントとなる。この実施例１では、この接客対応ポイントを店員の接客時の対応を示す評価値として使用する。

売上データ３４ａの各個別売上データには、店員を識別する担当者コード及び売上金額が含まれ、さらに接客対応評価データ３４ｅが生成されることにより顧客対応ポイントが各個別売上データに対応付けられることになる。このことから、売上データ３４ａ及び接客対応評価データ３４ｅを集計する（Ｓ５）ことにより、店員毎の接客時の対応の平均の評価値を出力したり、売上金額と接客時の対応の評価値とを集計結果として出力することができる。

このように、管理装置３０は、個別売上データをＰＯＳレジスタ１０から取得し、接客対応する店員の顔画像データをカメラ２０から取得し、個別売上データに含まれる接客時間帯に対応する顔画像データ３４ｃから接客中の店員の表情を特定し、表情に応じて接客時の対応の評価値を示す接客対応ポイントを算出する。また、管理装置３０は、個別売上データと接客対応ポイントとを関連付けて管理し、これらのデータを集計することによって店員毎の接客時の対応を数値化して出力できることに加えて、売上金額と接客時の対応の評価値とを関係付けて出力することができる。かかる構成により、店舗における店員による接客時の対応を効率的かつ精度良く評価することができる。

次に、実施例１に係る店舗管理システムのシステム構成について説明する。図２は、実施例１に係る店舗管理システムのシステム構成を示す図である。図２に示すように、店舗管理システムは、店舗１には３組のＰＯＳレジスタ１０及びカメラ２０が配設され、各ＰＯＳレジスタ１０及びカメラ２０は、店舗外に配設される管理装置３０と、インターネットなどの通信網２を介してデータ通信可能に接続される。なお、図２では、１つの店舗１のみを図示することとしたが、本発明はこれに限定されるものではなく、複数の店舗１が接続されていてもよい。また、図２では、店舗１には３組のＰＯＳレジスタ１０及びカメラ２０を図示することとしたが、本発明はこれに限定されるものではなく、１組のＰＯＳレジスタ１０及びカメラ２０が配設されていてもよいし、２組のＰＯＳレジスタ１０及びカメラ２０が配設されていてもよいし、４組以上のＰＯＳレジスタ１０及びカメラ２０が配設されていてもよい。

ＰＯＳレジスタ１０は、商品の決済処理を行う決済カウンタに配設され、顧客から手渡された商品の販売登録処理を行う装置である。ＰＯＳレジスタ１０は、決済処理において、販売登録された商品の合計金額を算出し、商品の一覧と合計金額などの情報を含んだレシートを発行する。ＰＯＳ（Point Of Sales）とは、販売時点情報管理を示し、商品販売の販売実績を販売時点で商品単位に管理する経営手法である。ＰＯＳレジスタ１０により生成された販売実績情報は、バックオフィス等に配設される図示しない管理サーバに送信され、商品の在庫管理、発注処理及び商品販売実績の分析等に利用されることになる。また、ＰＯＳレジスタ１０は、かかる販売登録処理において算出された売上金額、店舗ＩＤ、ＰＯＳＩＤ、担当者ＩＤ及び接客時間帯を含む個別売上データを管理装置３０に送信する。

カメラ２０は、ＰＯＳレジスタ１０を操作する店員の顔画像を撮像可能な場所に配設され、店員の顔画像を含む動画を常時撮像し、店舗ＩＤ、ＰＯＳＩＤ及び撮像開始時刻とともに動画データを所定のタイミングで管理装置３０に送信する。

管理装置３０は、店舗外のデータセンタ等に配設され、ＰＯＳレジスタ１０から受信した個別売上データを売上データ３４ａに追加する。また、管理装置３０は、カメラ２０から受信した動画データから、所定の時間間隔（例えば１０秒）毎に静止画顔画像データを切り出し、記憶部の顔画像データ３４ｃに追加する。また、管理装置３０は、生成した静止画顔画像データから、かかる静止画顔画像データに含まれる店員の顔の表情を特定する。

また、管理装置３０は、個別売上データに対応する静止画顔画像データを特定し、該静止画顔画像データより特定された店員の顔の表情に基づいて個別売上データに対する接客対応ポイントを算出する。管理装置３０は、個別売上データと、接客対応ポイントを関連付けて集計した結果を出力する。具体的な集計結果の出力例については後述する。

次に、図２に示した管理装置３０の構成について説明する。図３は、管理装置３０の構成を示す機能ブロック図である。図３に示すように、管理装置３０は、入力部３１、表示部３２、通信部３３、記憶部３４及び制御部３５を有する。

入力部３１は、キーボードやマウス等の入力デバイスである。表示部３２は、液晶ディスプレイ等の表示デバイスである。通信部３３は、通信網２を介してＰＯＳレジスタ１０及びカメラ２０とデータ通信するためのインタフェース部である。

記憶部３４は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスであり、売上データ３４ａ、事前登録顔画像データ３４ｂ、顔画像データ３４ｃ、顔表情特定データ３４ｄ及び接客対応評価データ３４ｅを記憶する。売上データ３４ａは、店舗１のＰＯＳレジスタ１０から受信した個別売上データを蓄積したデータである。事前登録顔画像データ３４ｂは、店員毎の笑顔、平静状態の顔及び怒り顔の特徴データを記憶したデータである。

顔画像データ３４ｃは、店舗１のカメラ２０から受信した動画データから、所定の時間間隔毎に生成した店員の静止画顔画像データを蓄積したデータである。顔表情特定データ３４ｄは、顔画像データ３４ｃに登録されるそれぞれの静止画顔画像データに対して、笑顔、怒り顔又は平静状態の顔のいずれの表情なのかを特定した結果が記憶されたデータである。接客対応評価データ３４ｅは、売上データ３４ａに含まれる各個別売上データ毎に算出された接客対応ポイントを記憶したデータである。

制御部３５は、管理装置３０の全体を制御する制御部であり、売上データ管理部３５ａ、顔画像データ管理部３５ｂ、顔表情特定部３５ｃ、接客対応評価部３５ｄ及び分析結果出力部３５ｅを有する。実際には、売上データ管理部３５ａ、顔画像データ管理部３５ｂ、顔表情特定部３５ｃ、接客対応評価部３５ｄ及び分析結果出力部３５ｅに対応するプログラムを図示しない不揮発性メモリ等に記憶し、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、対応するプロセスを実行させることになる。

売上データ管理部３５ａは、ＰＯＳレジスタ１０から受信した個別売上データを売上データ３４ａに追加する。

顔画像データ管理部３５ｂは、カメラ２０から受信した動画データから、所定の時間間隔毎にＰＯＳレジスタ１０を操作する店員の静止画顔画像データを生成し、併せて受信した店舗ＩＤ、ＰＯＳＩＤ及び撮像時刻とともに顔画像データ３４ｃに追加する。

顔表情特定部３５ｃは、顔画像データ３４ｃに記憶されている静止画顔画像データの表情を特定し、特定結果を顔表情特定データ３４ｄに登録する。具体的には、顔表情特定部３５ｃは、顔画像データ３４ｃの静止画顔画像データとともに記憶される店舗ＩＤ、ＰＯＳＩＤ及び撮像時刻により、売上データ３４ａのレコードである個別売上データを特定し、係るレコードにより静止画顔画像データに対応する店員の担当者ＩＤを特定する。そして、事前登録顔画像データ３４ｂに登録される担当者ＩＤの笑顔、怒り顔及び平静状態の顔の特徴データと、静止画顔画像データから生成された特徴データとの類似度を算出し、その類似度を比較することにより表情を特定する。

接客対応評価部３５ｄは、売上データ３４ａのレコードである個別売上データ毎に接客対応ポイントを算出して、算出結果を接客対応評価データ３４ｅに出力する。具体的には、個別売上データに含まれる店舗ＩＤ、ＰＯＳＩＤ及び接客時間帯に対応する顔表情特定結果を顔表情特定データ３４ｄより抽出し、笑顔を１００ポイント、平静状態の顔を０ポイント、怒り顔を−１００ポイントとして、接客時間帯のポイントの平均値を個別売上データに対する接客対応ポイントとする。

分析結果出力部３５ｅは、売上データ３４ａ及び接客対応評価データ３４ｅを集計した結果を出力する。具体的な集計の内容については後述する。

次に、図３に示した管理装置３０の記憶部３４に記憶されるデータの一例について説明する。図４及び図５は、図３に示した管理装置３０の記憶部３４に記憶されるデータの一例を示す図である。

図４（ａ）に示すように、売上データ３４ａは、決済処理が行われた日付、決済処理の開始時刻、終了時刻、店舗ＩＤ、ＰＯＳＩＤ、担当者ＩＤ及び売上金額に売上通番を関連付けたデータである。図４（ａ）に示す、売上データ３４ａは、売上通番「０００００１」に関連付けられたデータであって、日付が「２０１５／１０／１」、決済処理の開始時刻が「１２：１０」、終了時刻が「１２：１２」、店舗ＩＤが「０１２３」、ＰＯＳＩＤが「０１」、担当者ＩＤが「１２３４５６」、売上金額が「１２００円」である状況を示している。

図４（ｂ）に示すように、事前登録顔画像データ３４ｂは、担当者ＩＤ及び表情区分に、顔画像特徴データを関連付けたデータである。表情区分は、「１」が怒り顔を示し、「２」が平静状態の顔を示し、「３」が笑顔を示している。図４（ｂ）に示す事前登録顔画像データ３４ｂは、担当者ＩＤが「１２３４５６」の店員の表情区分「１」（怒り顔）、表情区分「２」（平静状態の顔）、表情区分「３」（笑顔）の顔画像特徴データが登録されている状況を示している。

図５（ａ）に示すように、顔画像データ３４ｃは、顔画像が撮像された日付、時刻、店舗ＩＤ、対応するＰＯＳレジスタ１０のＰＯＳＩＤ及び静止画顔画像データが、顔画像通番に関連付けられたデータである。図５（ａ）に示す顔画像データ３４ｃは、顔画像通番「０００００１」に、日付「２０１５／１０／１」、時刻「１２：１０」、店舗ＩＤ「０１２３」、ＰＯＳＩＤ「０１」及び静止画顔画像データが対応付けられた状況を示している。

図５（ｂ）に示すように、顔表情特定データ３４ｄは、顔画像データ３４ｃのレコードを識別する顔画像通番に特定表情区分が関連付けられたデータである。特定表情区分は、「１」が怒り顔を示し、「２」が平静状態の顔を示し、「３」が笑顔を示している。図５（ｂ）に示す顔表情特定データ３４ｄは、顔画像通番が「０００００１」に対応する顔画像データが、特定表情区分「２」（平静状態の顔）である状態を示している。

図５（ｃ）に示すように、接客対応評価データ３４ｅは、売上データ３４ａのレコードを識別する売上通番に、接客対応ポイントを関連付けたデータである。図５（ｃ）に示す接客対応評価データ３４ｅは、売上通番が「０００００１」に対応する決済処理時の店員の接客対応ポイントが「４５ポイント」である状況を示す。

次に、図２に示した管理装置３０で表示される分析結果一覧画面の一例について説明する。図６は、管理装置３０で表示される分析結果一覧画面の一例を示す図である。

図６に示すように、分析結果一覧画面には、集計対象日付、店舗ＩＤ及び店舗ＩＤに対応する店舗名が表示される。また、分析結果一覧画面には、担当者ＩＤ毎の決済処理を行った回数を示す接客回数、接客時間、売上金額及び平均接客対応ポイントを示す一覧が表示される。接客時間には、接客回数全体に対する合計接客時間と、接客回数１回当たりの平均接客時間とを含む。また、売上金額には、合計の売上金額と、接客回数１回当たりの平均の売上金額とを含む。

また、分析結果一覧画面には、集計対象の店舗１の決済処理１件当たりの平均接客時間、平均売上金額及び平均接客対応ポイントと、全店舗の決済処理１件当たりの平均接客時間、平均売上金額及び平均接客対応ポイントとが表示される。また、分析結果一覧画面には、一覧が複数ページに及ぶ場合に、表示されるページを切り替えるための前頁ボタン、次頁ボタンが含まれる。また、分析結果一覧画面には、画面表示内容を紙に印刷するための印刷ボタン及び表示処理の終了を指示するための終了ボタンが含まれる。

また、かかる分析結果一覧画面の一覧表示部分の担当者ＩＤをマウスでクリックすることにより、図７に示すような担当者ＩＤに対する担当者別サマリ画面に遷移する。

次に、図２に示した管理装置３０で表示される担当者別サマリ画面の一例について説明する。図７は、管理装置３０で表示される担当者別サマリ画面の一例を示す図である。

図７に示すように、担当者別サマリ画面には、集計対象日付、店舗ＩＤ、店舗ＩＤに対応する店舗名、担当者ＩＤ及び担当者名が表示される。また、担当者別サマリ画面には、日付毎に、担当者ＩＤに対応する店員が決済処理を行った時間帯、接客回数、接客平均時間、売上平均金額及び平均接客対応ポイントを示す一覧が表示される。また、担当者別サマリ画面には、集計対象日付全体に対する接客回数、接客平均時間、売上平均金額及び平均接客対応ポイントが含まれる。

また、担当者別サマリ画面には、一覧が複数ページに及ぶ場合に、表示されるページを切り替えるための前頁ボタン、次頁ボタンが含まれる。また、担当者別サマリ画面には、画面表示内容を紙に印刷するための印刷ボタン、図６に示した分析結果一覧画面に戻るための戻るボタン及び表示処理の終了を指示するための終了ボタンが含まれる。

また、かかる担当者別サマリ画面の一覧表示部分の日付をマウスでクリックすることにより、図８に示すような担当者ＩＤに対する担当者別詳細画面に遷移する。

次に、図２に示した管理装置３０で表示される担当者別詳細画面の一例について説明する。図８は、管理装置３０で表示される担当者別詳細画面の一例を示す図である。

図８に示すように、担当者別詳細画面には、集計対象日付、店舗ＩＤ、店舗ＩＤに対応する店舗名、担当者ＩＤ及び担当者名が表示される。また、担当者別詳細画面には、個別売上データ毎に、決済処理の開始時刻、決済処理に係る接客時間、使用したＰＯＳレジスタ１０のＰＯＳＩＤ、売上金額及び接客対応ポイントを示す一覧が表示される。また、担当者別詳細画面には、集計対象日付に対する接客平均時間、売上平均金額及び平均接客対応ポイントが含まれる。

また、担当者別詳細画面には、一覧が複数ページに及ぶ場合に、表示されるページを切り替えるための前頁ボタン、次頁ボタンが含まれる。また、担当者別詳細画面には、画面表示内容を紙に印刷するための印刷ボタン、図７に示した担当者別サマリ画面に戻るための戻るボタン及び表示処理の終了を指示するための終了ボタンが含まれる。

次に、図２に示した管理装置３０における店員の接客時の対応の評価処理の処理手順について説明する。図９は、管理装置３０における店員の接客時の対応の評価処理の処理手順を示すフローチャートである。

接客対応評価部３５ｄは、売上データ３４ａから接客対応ポイントが算出されていないレコードを選択する（ステップＳ１０１）。顔表情特定部３５ｃは、ステップＳ１０１で選択された売上データ３４ａのレコードに対応する顔画像データ３４ｃのレコードから、静止画顔画像データに対する顔表情の特定処理が行われていないレコードを選択する（ステップＳ１０２）。具体的には、ステップＳ１０１で選択された売上データ３４ａのレコードに対応する顔画像データ３４ｃのレコードとは、ステップＳ１０１で選択された売上データ３４ａのレコードに記録される日付、店舗ＩＤ、ＰＯＳＩＤ、開始時刻及び終了時刻に対応する顔画像データ３４ｃのレコードを示す。

顔表情特定部３５ｃは、事前登録顔画像データ３４ｂに基づいて、ステップＳ１０２で選択された顔画像データ３４ｃのレコードに含まれる静止画顔画像データの顔の表情を特定し、特定した結果を顔表情特定データ３４ｄに追加する（ステップＳ１０３）。具体的には、顔表情特定部３５ｃは、ステップＳ１０１で選択された売上データ３４ａのレコードに含まれる担当者ＩＤにより、静止画顔画像データに対する担当者ＩＤを特定する。顔表情特定部３５ｃは、事前登録顔画像データ３４ｂに記憶される担当者ＩＤに対する顔の表情毎の顔画像特徴データと、静止画顔画像データから生成された顔画像特徴データとの類似度をそれぞれ算出する。そして、顔表情特定部３５ｃは、最も高い類似度を示した顔の表情を静止画顔画像データに対する顔の表情とする。

ステップＳ１０１で選択された売上データ３４ａのレコードに対応する顔画像データ３４ｃのレコードで、静止画顔画像データに対する顔表情の特定処理が行われていないレコードがまだ有る場合には（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０２に戻る。ステップＳ１０１で選択された売上データ３４ａのレコードに対応する顔画像データ３４ｃのレコードで、静止画顔画像データに対する顔表情の特定処理が行われていないレコードが無い場合には（ステップＳ１０４；Ｎｏ）、ステップＳ１０１で選択された売上データ３４ａのレコードに対応する接客対応ポイントを算出する（ステップＳ１０５）。具体的には、ステップＳ１０１で選択された売上データ３４ａのレコードに対応する顔画像データ３４ｃの各レコードの静止画顔画像データに対する顔表情をポイントに換算し（笑顔を１００ポイント、平静状態の顔を０ポイント、怒り顔を−１００ポイント）、その平均ポイントを接客対応ポイントとする。

売上データ３４ａに接客対応ポイントが算出されていないレコードがまだ有る場合には（ステップＳ１０６；Ｙｅｓ）、ステップＳ１０１に戻る。売上データ３４ａに接客対応ポイントが算出されていないレコードが無い場合には（ステップＳ１０６；Ｎｏ）、分析結果出力部３５ｅは、売上データ３４ａ及び接客対応評価データ３４ｅを担当者毎に集計処理を行い（ステップＳ１０７）、集計結果に応じた画面を表示部３２に表示する（ステップＳ１０８）。具体的には、ここでは図６に示したような分析結果一覧画面が表示されることになる。

ステップＳ１０８で表示された画面において、印刷ボタンの操作を受け付けたならば（ステップＳ１０９；Ｙｅｓ）、画面に表示された内容を印刷する（ステップＳ１１０）。また、ステップＳ１０９で表示された画面において、終了ボタンの操作を受け付けたならば（ステップＳ１０９；Ｎｏ、ステップＳ１１１；Ｙｅｓ）、処理を終了する。また、ステップＳ１０８で表示された画面において、他の画面に遷移する旨の操作を受け付けた場合には（ステップＳ１１２；Ｙｅｓ）、遷移先の画面に応じた集計処理を行い（ステップＳ１１３）、ステップＳ１０８に移行する。また、ステップＳ１０８で表示された画面において、前頁ボタン又は次頁ボタンの操作を受け付けた場合には（ステップＳ１１２；Ｎｏ）、改ページ処理後にステップＳ１０９に移行する。

上述してきたように、実施例１では、管理装置３０は、個別売上データをＰＯＳレジスタ１０から取得し、接客対応する店員の顔画像データをカメラ２０から取得し、個別売上データに含まれる接客時間帯に対応する顔画像データ３４ｃから接客中の店員の表情を特定し、表情に応じて接客時の対応の評価値を示す接客対応ポイントを算出する。また、管理装置３０は、個別売上データと接客対応ポイントとを関連付けて管理し、これらのデータを集計することによって店員毎の接客時の対応を数値化して出力することできることに加えて、売上金額と接客時の対応の評価値とを関係付けて出力することができる。かかる構成により、店舗における店員による接客時の対応を効率的かつ精度良く評価することができる。

実施例１では、接客時の店員の顔の表情により店員の接客時の対応を数値化した。しかしながら、顧客の満足度は店員の笑顔だけに依存するものではなく、例えば決済処理のスピード、商品の渡し方又は丁寧な言葉使いなどにも関連する。そこで、実施例２では、顧客の顔の表情により顧客の満足度を数値化し、これを店員の接客時の対応の評価値とする場合について説明する。

まず、実施例２に係る店舗管理システムにおける店員の接客時の対応の評価処理について概要を説明する。図１０は、実施例２に係る店舗管理システムにおける店員の接客時の対応の評価処理の概要を説明するための説明図である。図１０の説明においては、図１に示した実施例１の概要と差異のある部分を中心に説明する。

図１に示した実施例１の概要を示す図と差異のある部分は、店舗１に設置されるカメラ１２０が顧客の顔画像が撮像できる位置に設置されている部分である。これにともなって管理装置１３０の顔画像データ３４ｃ及び顔表情特定データ３４ｄのデータの形式は実施例１と同じであるが、顔画像データ３４ｃに記憶されている静止画顔画像データは顧客を撮像した静止画顔画像データであり、顔表情特定データ３４ｄは顧客の顔の表情を特定したデータである。

また、顔表情特定処理（Ｓ１３）の処理内容が実施例１と差異がある。実施例１の顔表情特定処理（Ｓ３）は、店員の表情毎の顔画像特徴データが登録された事前登録顔画像データ３４ｂを使用して、撮像した顔画像との類似度を比較することにより表情を特定した。しかしながら、実施例２では、表情の特定対象が顧客の顔画像であるので、実施例１のような事前登録顔画像データ３４ｂを準備することはできない。そこで、実施例２では学習データ１３４ｆを用いて顧客の静止画顔画像データから表情を特定する。

実施例２における顔表情特定処理（Ｓ１３）について具体的に説明する。学習データ１３４ｆは、多数のサンプルから事前に生成したデータであり、顔の表情が変化したときの口角に係る角度の変化及び目尻に係る角度の変化を記憶したデータである。顔表情特定処理（Ｓ１３）は、顔画像データ３４ｃに記憶される同一顧客の連続する２つの静止画顔画像データから、口角の角度及び目尻の角度の変化量を算出し、かかる算出結果と学習データ１３４ｆに基づいて、顧客の顔の表情を特定する。口角の角度や目尻の角度は人によって差異があることから、１つの静止画顔画像データだけで顔の表情を特定することは難しい。そこで、２つの静止画顔画像データにより算出される口角の角度の変化量及び目尻の角度の変化量に基づいて顔の表情を特定することにより、精度よく顔の表情を特定することができる。

顔表情特定処理（Ｓ１３）以降の処理は、実施例１と同様であり、顧客の顔の表情が記憶された顔表情特定データ３４ｄにより、接客対応評価データ３４ｅを生成し（Ｓ４）、かかる接客対応評価データ３４ｅ及び売上データ３４ａを集計して、その集計結果を出力する（Ｓ５）。

次に、実施例２に係る管理装置１３０の構成について説明する。図１１は、管理装置１３０の構成を示す機能ブロック図である。図１１に示す管理装置１３０の機能ブロック図では、実施例１の図３に示す管理装置３０と同じ構成要素については管理装置３０と同じ符号を付与し、異なる構成要素については新たに採番した符号を付与した。管理装置１３０の構成の説明では、実施例１の管理装置３０と同じ符号を付与した構成要素についての説明は省略し、新たに採番した符号を付与した構成要素について主に説明するものとする。

カメラ１２０は装置としては実施例１のカメラ２０と同じ装置であるが、実施例１のカメラ２０は、店員の顔を含む動画を撮像するよう設置されていたが、実施例２のカメラ１２０は、顧客の顔を含む動画を撮像するよう設置される。

制御部３５において、実施例２の顔表情特定部１３５ｃは、実施例１の顔表情特定部３５ｃの処理内容と差異がある。また、記憶部３４において、実施例１において存在した事前登録顔画像データ３４ｂが無くなり、学習データ１３４ｆが追加となっている。顔表情特定部１３５ｃは、顔画像データ３４ｃに含まれる時間的に連続する２つの顧客の静止画顔画像データから、顧客の口角の角度の変化量及び目尻の角度の変化量を算出し、かかる算出結果と学習データ１３４ｆに基づいて、顧客の顔の表情を特定する。

学習データ１３４ｆは、顔画像データ３４ｃに含まれる静止画顔画像データの顔の表情の特定処理に用いられるデータである。学習データ１３４ｆは、多数のサンプルから事前に生成したデータであり、顔の表情が変化したときの口角に係る角度の変化及び目尻に係る角度の変化を記憶したデータである。

次に、図１１に示した管理装置１３０の記憶部３４に記憶されるデータの一例について説明する。図１２は、管理装置１３０の記憶部３４に記憶されるデータの一例を示す図である。

図１２に示すように、学習データ１３４ｆは、顔の表情の遷移に、口角の角度の変化及び目尻の角度の変化を関連付けたデータである。図１２に示す学習データ１３４ｆは、顔の表情が平静状態の顔から怒り顔に遷移した場合には、口角の角度の変化が−１０ポイント、目尻の角度の変化が−５ポイントである状況を示している。また、顔の表情が平静状態の顔から笑顔に遷移した場合には、口角の角度の変化が＋３０ポイント、目尻の角度の変化が＋２０ポイントである状況を示している。

また、図１２に示す学習データ１３４ｆは、顔の表情が怒り顔から平静状態の顔に遷移した場合には、口角の角度の変化が＋１０ポイント、目尻の角度の変化が＋５ポイントである状況を示している。また、顔の表情が怒り顔から笑顔に遷移した場合には、口角の角度の変化が＋４０ポイント、目尻の角度の変化が＋２５ポイントである状況を示している。

また、図１２に示す学習データ１３４ｆは、顔の表情が笑顔から平静状態の顔に遷移した場合には、口角の角度の変化が−３０ポイント、目尻の角度の変化が−２０ポイントである状況を示している。また、顔の表情が笑顔から怒り顔に遷移した場合には、口角の角度の変化が−４０ポイント、目尻の角度の変化が−２５ポイントである状況を示している。

次に、実施例２に係る管理装置１３０における顧客の顔の表情の特定処理の処理手順について説明する。図１３は、管理装置１３０における顧客の顔の表情の特定処理の処理手順を示すフローチャートである。

接客対応評価部３５ｄは、売上データ３４ａから接客対応ポイントが算出されていないレコードを選択する（ステップＳ２０１）。顔表情特定部１３５ｃは、売上データ３４ａのレコードに対応する顔画像データ３４ｃの未処理のレコードから、時系列で最も古いレコードを顔の表情遷移前のレコードとして選択する（ステップＳ２０２）。顔表情特定部１３５ｃは、顔の表情遷移前のレコードの静止画顔画像データから、遷移前の顔画像に対する口角の角度及び目尻の角度を算出する（ステップＳ２０３）。

顔表情特定部１３５ｃは、売上データ３４ａのレコードに対応する顔画像データ３４ｃの未処理のレコードから、時系列で最も古いレコードを顔の表情遷移後のレコードとして選択する（ステップＳ２０４）。顔表情特定部１３５ｃは、顔の表情遷移後のレコードの静止画顔画像データから、遷移後の顔画像に対する口角の角度及び目尻の角度を算出する（ステップＳ２０５）。

顔表情特定部１３５ｃは、遷移前の顔画像に対する口角の角度及び目尻の角度と、遷移後の顔画像に対する口角の角度及び目尻の角度とを用いて口角の角度の変化量及び目尻の角度の変化量を算出する（ステップＳ２０６）。顔表情特定部１３５ｃは、このようにして算出された口角の角度の変化量及び目尻の角度の変化量を、学習データ１３４ｆに記憶されるデータと比較することにより遷移後の顔画像に対する顔の表情を特定する（ステップＳ２０７）。

売上データ３４ａのレコードに対応する顔画像データ３４ｃの未処理のレコードが有る場合には（ステップＳ２０８；Ｙｅｓ）、遷移後の顔画像に対する口角の角度及び目尻の角度のデータを、遷移前の顔画像に対する口角の角度及び目尻の角度のデータに移行して（ステップＳ２０９）、ステップＳ２０４に戻る。売上データ３４ａのレコードに対応する顔画像データ３４ｃの未処理のレコードが無い場合には（ステップＳ２０８；Ｎｏ）、処理を終了する。

上述してきたように、実施例２では、管理装置１３０は、個別売上データをＰＯＳレジスタ１０から取得し、接客される顧客の顔画像データをカメラ１２０から取得し、個別売上データに含まれる接客時間帯に対応する顔画像データ３４ｃから接客されている顧客の表情を特定し、表情に応じて接客時の対応の評価値を示す接客対応ポイントを算出する。また、管理装置１３０は、個別売上データと接客対応ポイントとを関連付けて管理し、これらのデータを集計することによって店員毎の接客時の対応を数値化して出力することができることに加えて、売上金額と接客時の対応の評価値とを関係付けて出力することができる。かかる構成により、店舗における店員による接客時の対応を効率的かつ精度良く評価することができる。また、実施例１と比較すると、顧客の顔の表情に基づいて接客対応評価データ３４ｅを生成しているので、店員の接客中の顔の表情だけではなく、店員の接客時の対応に対する総合的な顧客満足度を数値化することができる。

なお、実施例２では、決済カウンタに訪れた顧客の顔の表情の変化に基づいて顧客の満足度を数値化する場合を説明してきたが、本発明はこれに限定されるものではない。例えば、店舗１の入り口付近で撮像した顧客の顔画像と、決済カウンタで決済処理時の顔画像とから顔表情の変化を特定し、かかる顔表情の変化に基づいて顧客の満足度を数値化するようにしてもよい。

また、実施例２では、顧客の年齢や性別にかかわらず同じ学習データ１３４ｆを用いて顔の表情を特定するものとしたが、本発明はこれに限定されるものではない。例えば、年齢帯別及び性別毎に学習データ１３４ｆを準備し、顔の表情の特定処理に先立って年齢帯及び性別を判定し、年齢帯及び性別に応じた学習データ１３４ｆを用いて顔の表情を特定するようにしてもよい。

また、実施例１では店員の顔の表情により店員の接客時の対応を評価し、実施例２では顧客の顔の表情により店員の接客時の対応を評価するようにしたが、本発明はこれに限定されるものではない。例えば、店員の顔の表情と顧客の顔の表情の両方を用いて店員の接客時の対応を評価するようにしてもよい。また、例えば、店員又は顧客の身振りや口調を数値化し、この数値に基づいて店員の接客時の対応を評価するようにしてもよい。例えば、対象者である店の音声データを取得するマイク（取得部）設け、このマイクから取得された音声データから算定した対象者の口調を示す情報と、顔の表情から算定した情報とに基づいて対象者の接客対応を評価することができる。また、例えば、接客時の定員の基準となる行動パターンを事前に登録しておいて、この基準となる行動パターンの遂行率に基づいて店員の接客時の対応を評価するようにしてもよい。

また、実施例１及び実施例２では、顔の表情が、笑顔、平静状態の顔又は怒り顔のいずれであるかを特定する場合を説明したが、本発明はこれに限定されるものではない。例えば、笑顔、平静状態の顔及び怒り顔以外に、困っている顔、悲しんでいる顔、納得している顔、喜んでいる顔などの他の表情も含めていずれの表情かを特定して、表情に応じて接客対応のポイントを算出するようにしてもよい。

また、実施例１及び実施例２では、コンビニエンスストアの店員の接客時の対応を評価する場合について説明してきたが、本発明はこれに限定されるものではない。例えば、ホテルの受け付けカウンタにおける従業員の接客時の対応を評価するようにしてもよい。また、遊技店の賞品交換カウンタにおける従業員の接客時の対応を評価するようにしてもよい。

また、実施例１及び実施例２では、店員の接客時の対応を定量化することにより接客対応ポイント算出し、店員毎の売上金額に対応付けて接客対応ポイントを出力する場合について説明したが、本発明はこの範囲に限定されるものではない。例えば、アルバイトや社員の採用面接の際に、面接対象者の顔の表情に基づいて適性の評価に利用するようにしてもよい。また、例えば、店員の業績評価や人事考課に利用できるようにしてもよい。また、例えば、店員の接客対応ポイントの推移、時給の推移及び売上の推移を長期間にわたり管理し、店員の評価及び時給の妥当性を検証できるようにしてもよい。

また、実施例１及び実施例２では、評価結果を評価値としてポイント化（数値化）した場合を示したが、本発明はこれに限定されるものではなく、ポイント以外のパラメータとすることもできる。例えば、「優良」、「良」、「可」、「不可」などの直接的に認識し易い区分を用いることができる。この種の直接的な評価結果を用いると、担当者が、自身の評価結果を瞬時に認識できるという効果を奏する。また、優良を意味する有名な格言、不可を意味する有名な格言などを用いて間接的に認識できる内容を評価結果とすることもできる。この種の間接的な評価結果を用いると、たとえ顧客が表示内容を視認したとしても担当者評価を顧客に察知される事態を防ぐことができるという効果を奏する。なお、不可を示す有名な格言として、例えば、「下足番を命じられたら、日本一の下足番になってみろ。そうしたら、誰も君を下足番にしておかぬ。」などの例が考えられる。

また、上述の実施例１及び実施例２で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

以上のように、本発明に係る接客対応評価装置及び接客対応評価方法は、店舗における店員による接客時の対応を効率的かつ精度良く評価することに適している。

１ 店舗
２ 通信網
１０ ＯＳレジスタ
２０、１２０ カメラ
３０、１３０ 管理装置
３１ 入力部
３２ 表示部
３３ 通信部
３４ 記憶部
３４ａ 売上データ
３４ｂ 事前登録顔画像データ
３４ｃ 顔画像データ
３４ｄ 顔表情特定データ
３４ｅ 接客対応評価データ
３５ 制御部
３５ａ 売上データ管理部
３５ｂ 顔画像データ管理部
３５ｃ、１３５ｃ 顔表情特定部
３５ｄ 接客対応評価部
３５ｅ 分析結果出力部

Claims (7)

1. 対象者の入力顔画像を撮像する撮像部と、
   前記撮像部で撮像された入力顔画像に含まれる顔の表情を特定する特定部と、
   前記特定部で特定された顔の表情に係る情報に基づいて前記対象者の接客対応を評価する評価部と
   を備えたことを特徴とする接客対応評価装置。
2. 店舗の売上げ情報を管理する管理部と、
   前記評価部による評価結果と前記売上げ情報を対応付けて出力する出力手段と
   をさらに備えたことを特徴とする請求項１に記載の接客対応評価装置。
3. 前記対象者の音声情報を取得する取得部をさらに備え、
   前記評価部は、
   前記音声情報から算定した前記対象者の口調を示す情報と、前記特定部で特定された顔の表情から算定した情報とに基づいて前記対象者の接客対応を評価する
   ことを特徴とする請求項１又は２に記載の接客対応評価装置。
4. 前記撮像部は、対象者である店員の入力顔画像を撮像し、
   前記特定部は、あらかじめ登録された前記対象者についての表情が異なる複数の登録顔画像と前記入力顔画像とに基づいて前記入力顔画像に含まれる顔の表情を特定する
   ことを特徴とする請求項１に記載の接客対応評価装置。
5. 前記撮像部は、対象者である顧客の複数の入力顔画像を撮像し、
   前記特定部は、前記対象者の複数の入力顔画像の変化量に基づいて各入力顔画像に含まれる顔の表情を特定する
   ことを特徴とする請求項１に記載の接客対応評価装置。
6. 前記評価部は、
   前記特定部で特定された顔の表情を数値化した数値に基づいて前記対象者の接客対応を評価する
   ことを特徴とする請求項１〜５のいずれか一つに記載の接客対応評価装置。
7. 対象者の入力顔画像を撮像する撮像工程と、
   前記撮像工程で撮像された入力顔画像に含まれる顔の表情を特定する特定工程と、
   前記特定工程で特定された顔の表情に係る情報に基づいて前記対象者の接客対応を評価する評価工程と
   を含んだことを特徴とする接客対応評価方法。

Images