JP2016071867A - 接客モニタリングシステム及び接客モニタリング方法 - Google Patents

接客モニタリングシステム及び接客モニタリング方法 Download PDF

Info

Publication number
JP2016071867A
JP2016071867A JP2015171556A JP2015171556A JP2016071867A JP 2016071867 A JP2016071867 A JP 2016071867A JP 2015171556 A JP2015171556 A JP 2015171556A JP 2015171556 A JP2015171556 A JP 2015171556A JP 2016071867 A JP2016071867 A JP 2016071867A
Authority
JP
Japan
Prior art keywords
customer service
customer
utterance
employee
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015171556A
Other languages
English (en)
Other versions
JP6624368B2 (ja
JP2016071867A5 (ja
Inventor
久裕 田中
Hisahiro Tanaka
久裕 田中
昭年 泉
Akitoshi Izumi
昭年 泉
正成 宮本
Masanari Miyamoto
正成 宮本
信一 重永
Shinichi Shigenaga
信一 重永
亮太 藤井
Ryota Fujii
亮太 藤井
広志 田中
Hiroshi Tanaka
広志 田中
寿嗣 辻
Toshitsugu Tsuji
寿嗣 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to PCT/JP2015/004661 priority Critical patent/WO2016051693A1/ja
Priority to US15/513,622 priority patent/US10706448B2/en
Publication of JP2016071867A publication Critical patent/JP2016071867A/ja
Publication of JP2016071867A5 publication Critical patent/JP2016071867A5/ja
Application granted granted Critical
Publication of JP6624368B2 publication Critical patent/JP6624368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0613Third-party assisted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025Phonemes, fenemes or fenones being the recognition units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【課題】調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価する。【解決手段】接客モニタリングシステムは、所定の収音領域における従業員の音声を収音する収音部と、所定の接客イベント毎の判定条件を含む接客イベントデータと所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと従業員の音声データとを対応付けて記憶する記憶部と、接客イベントデータと端末操作履歴データとを基に従業員の接客イベントを検出する検出部と、検出イベント時の従業員の音声データを基に所定の発話キーワードに対応する接客発話評価値を算定する算定部と、接客発話評価値を従業員の識別情報と従業員の接客位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する出力部とを備える。【選択図】図6

Description

本発明は、従業員の音声を用いて接客時の状況をモニタリングする接客モニタリングシステム及び接客モニタリング方法に関する。
従来、各種の接客業務では、顧客満足度が売上実績に大きく影響することが知られており、店舗の責任者(例えば店長)には、顧客満足度を定量的に測定することが必要とされるようになっている。
顧客満足度を測定する方法の一例として、調査員による覆面調査という手法がある。調査員による臨店調査では、臨店調査が行われる環境の違いにより得られる調査結果が異なり、調査結果に基づいて行われる改善アドバイスが的確ではない可能性がある。調査が行われる環境の違いとは、例えば臨店調査が行われた時間帯毎の臨店対象店舗内の混雑度や店員(従業員)数の違いや、調査員の調査技術や臨店調査を受ける店員の接客技術の熟練度(例えば勤務年数の長短による差異)の違いである。
そこで、特許文献1では、臨店調査が実施された環境の違いに基づく臨店調査結果への影響を修正した上で、修正後の調査結果に基づく現実に即したアドバイス情報を提示するサービス評価診断システムが開示されている。特許文献1では、店舗調査(例えば臨店調査)の調査結果は携帯情報端末を操作する調査員により入力される。
また、顧客満足度を測定する他の方法の一例として、店員と顧客の会話に含まれる店員の音声及び顧客の音声を基に、店員の感情及び顧客の感情を認識し、この認識結果に基づいて店員満足度データ及び顧客満足度データをそれぞれ算定する接客データ記録装置が知られている(例えば特許文献2参照)。
特許文献2に示す接客データ記録装置は、店員満足度データと顧客満足度データと店員の顧客に対する売上実績とを関連付けた接客データをデータベースに記録する。特許文献2では、特許文献1とは異なり、携帯情報端末を操作する調査員による入力操作は必要無い。
特許第5336675号公報 特許第5533219号公報
特許文献1では、携帯情報端末を操作しながら臨店調査を行う調査員により調査結果が入力されるので、調査員の裁量の範囲に差異があると、公平性に配慮した調査結果が得られない場合がある。また調査習熟度が均等な調査員の人的リソースを確保することも求められる。
また特許文献2では、接客データの元になる店員満足度データ及び顧客満足度データを生成するために、顧客の音声を基に生成した顧客の感情に関するデータが用いられる。このため、顧客の個人情報の保護の観点に鑑みると、顧客のプライバシーを広範に保護するためには、顧客満足度を定量的に測定する際に顧客の音声を直接的に用いることを避ける方が好ましい場合があると考えられる。
本発明は、上述した従来の状況に鑑みて案出されたものであり、調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価する接客モニタリングシステム及び接客モニタリング方法を提供することを目的とする。
本発明は、所定の収音領域における従業員の音声を収音する収音部と、所定の接客イベント毎の判定条件を含む接客イベントデータを記憶する第1記憶部と、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて記憶する第2記憶部と、前記第1記憶部に記憶される前記接客イベントデータと前記第2記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出する検出部と、前記検出部により検出された前記接客イベントにおいて、前記第2記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する算定部と、前記算定部により算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する出力部と、を備える、接客モニタリングシステムである。
また、本発明は、所定の収音領域における従業員の音声を収音する収音部を含む接客モニタリングシステムにおける接客モニタリング方法であって、所定の接客イベント毎の判定条件を含む接客イベントデータを第1記憶部に記憶し、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて第2記憶部に記憶し、前記第1記憶部に記憶される前記接客イベントデータと前記第2記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出し、検出された前記接客イベントにおいて、前記第2記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定し、算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する、接客モニタリング方法である。
本発明によれば、調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価することができる。
本実施形態の接客モニタリングシステムが設置された店舗内のイメージの一例を示す図 本実施形態の接客モニタリングシステムの第1のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの第2のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの第3のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの第4のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの全体の動作手順の一例を説明するフローチャート イベント検出可否判定処理の詳細な動作手順の一例を説明するフローチャート 接客イベント検出処理の詳細な動作手順の一例を説明するフローチャート 接客イベント情報処理の詳細な動作手順の一例を説明するフローチャート 接客状況DBの一例を示す図 図2に示す接客モニタリングシステムに対応した接客イベント情報DBの一例を示す図 図3に示す接客モニタリングシステムに対応した接客イベント情報DBの一例を示す図 図4に示す接客モニタリングシステムに対応した接客イベント情報DBの一例を示す図 図5に示す接客モニタリングシステムに対応した接客イベント情報DBの一例を示す図 接客発話評価処理の動作手順の一例を説明するフローチャート 騒音レベル判定処理の動作手順の一例を説明するフローチャート 接客キーワードの発話判定処理の動作手順の一例を説明するフローチャート スコアリング処理の動作手順の一例を説明するフローチャート (A)発話長さの判定処理の動作手順の一例を説明するフローチャート、(B)周波数特性の判定処理の動作手順の一例を説明するフローチャート モデル音声データを用いた発話長さの判定処理の具体例を示す図 モデル音声データの各音素の基本周波数を用いた周波数特性の判定処理の具体例を示す図 (A)接客発話評価DBの一部を構成する発話想定キーワード表の一例を示す図、(B)接客発話評価DBの一部を構成する接客発話モデル一覧表の一例を示す図 限定された閲覧者による閲覧処理又は接客発話評価値の修正処理の動作手順の一例を示すフローチャート 接客発話評価値の修正処理の詳細な動作手順の一例を説明するフローチャート 図24に示す接客発話評価値の修正処理の詳細な動作手順の続きを説明するフローチャート (A)閲覧者DBの一例を示す図、(B)接客者DBの一例を示す図 接客モニタリングシステムにおける閲覧対象となる接客状況DBへのログイン画面の一例を示す図 1日単位の来店客に対する全接客者の接客発話評価値の集計結果の一例を接客状況表示画面として示す図 1日の時間帯における来店客に対する全接客者の接客発話評価値の集計結果の一例を示す図 (A)1日の時間帯毎の1人の接客者の接客発話評価値の集計結果の一例を示す図、(B)1日の接客者毎の接客発話評価値の集計結果の一例を示す図 1日の店舗毎の接客発話評価値の集計結果の一例を示す図 接客状況DBの詳細表示画面に表示された各レコードの具体例を示す図 接客状況DBの詳細表示画面に表示された特定のレコードの接客発話評価値の修正操作の一例を示す図 接客状況DBの詳細表示画面に表示された特定のレコードの修正後の接客発話評価値の一例を示す図 接客状況プレビュー画面における接客位置の修正操作の一例を示す図 接客状況DBの詳細表示画面に表示された特定のレコードの修正後の接客位置の座標の一例を示す図 接客者マイク装置、マイク装置、マイクアレイ装置とプライバシー保護マークとの関係の一例を示す図 モニタリングデータのシフト切り出し処理の一例を示す説明図 モニタリングデータの切り出し処理のバリエーションの一例を示す説明図 接客イベント情報処理の詳細な動作手順の他の一例を説明するフローチャート 接客発話評価DBの一部を構成する接客イベントごとの発話想定区間表の一例を示す図
以下、本発明に係る接客モニタリングシステム及び接客モニタリング方法を具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して説明する。本実施形態の接客モニタリングシステムは、接客業務が行われる店舗(例えば小売店、卸売店、百貨店、コンビニエンスストア、スーパーマーケット、飲食店、銀行)に設置され、店舗の店員(従業員)の顧客に対する接客状況を監視し、店舗における各種の接客イベント(例えば入退店挨拶、会計開始挨拶等。詳細は後述参照)を行う店員の接客態度(おもてなし)を客観的に評価する。以下の説明において、接客モニタリングシステムにおいて店員の顧客に対する接客態度(接客状況)を客観的に評価した結果の定量的な指標(値)を「接客発話評価値」という。なお、本実施形態では、店員の顧客に対する接客状況の評価について説明するが、本発明に係る接客モニタリングシステム及び接客モニタリング方法は、店員以外の従業員(例えば銀行員、職員など)の顧客に対する接客状況の評価にも適用可能である。
なお、本発明は、接客モニタリングシステムを構成する各装置(例えば後述する接客評価装置)、指向性制御システムを構成する各装置(例えば接客評価装置)が行う各動作を含む方法、又は当該方法をコンピュータである接客評価装置に実行させるためのプログラムとして表現することも可能である。
(接客モニタリングシステムの概略)
図1は、本実施形態の接客モニタリングシステム100が設置された店舗内のイメージの一例を示す図である。図1では、例えば店舗において、2個のPOS端末5が設置されたレジカウンターにそれぞれ2名の従業員がPOS端末5を操作しながら複数の顧客を接客している。店舗には、収音領域であるレジカウンターの周囲の音声を収音するためのマイク装置M1が少なくとも1個設置され、レジカウンターを画角に含むように撮像するカメラ装置C1が少なくとも1個設置され、更に、店舗への顧客の入退店を検出するためのセンサ装置S1が店舗の入り口付近に設置されている。また、接客モニタリングシステム100では、店舗のバックヤード(例えば監視室)において、従業員(店員)の接客状況の監視(モニタリング)により接客発話評価値を算定するための接客評価装置3(例えばPC:Personal Computer)が設置されており、例えば店舗の責任者(例えば店長)により操作される。
接客モニタリングシステム100は、例えばPOS端末5を操作する店員の操作履歴を示すデータ(以下、「POS操作履歴データ」という)と、後述する種々の接客イベント毎に接客イベントの有無を検出するための接客イベント判定条件を含む接客イベントデータとを基に、店員による接客イベントを検出する。なお、POS操作履歴データには、例えば接客者(店員)の接客者ID(店員の識別情報)、接客者IDをPOS端末5に入力する接客者ID入力操作履歴、来店客(顧客)の年齢入力履歴、会計完了操作履歴等が含まれる。
接客モニタリングシステム100は、接客イベントを検出した場合には、例えばマイク装置M1、カメラ装置C1、センサ装置S1又はこれらの組み合わせにより得られたデータを基に、POS端末5を操作時における所定の発話想定キーワード(発話キーワード)に対応する接客発話評価値(言い換えると、発話想定キーワードを発話した店員に対する接客発話評価値)を算定する。また、接客モニタリングシステム100は、算定された接客発話評価値を、店員の識別情報と店員の接客位置及び接客時刻により特定される店員の音声データに対応付けて記憶する。ここでいう「店員(従業員)の音声データ」とは、例えば店員の位置において店員が発話した声がマイク装置M1、接客者マイク装置SM1又はマイクアレイ装置AM1により収音された音声が記録されているデータである。
(接客モニタリングシステムの構成例)
次に、本実施形態の接客モニタリングシステムのシステム構成例について、図2から図5を参照して説明する。図2は、本実施形態の接客モニタリングシステム100の第1のシステム構成例を示すブロック図である。図3は、本実施形態の接客モニタリングシステム100Aの第2のシステム構成例を示すブロック図である。図4は、本実施形態の接客モニタリングシステム100Bの第3のシステム構成例を示すブロック図である。図5は、本実施形態の接客モニタリングシステム100Cの第4のシステム構成例を示すブロック図である。図2から図5の説明では、図2に示す接客モニタリングシステム100を詳細に説明し、図3,図4,図5にそれぞれ示す接客モニタリングシステム100A,100B,100Cの構成については図2に示す接客モニタリングシステム100との差異について説明し、同一の構成については同一の符号を付して説明を簡略化又は省略する。
図2に示す接客モニタリングシステム100は、少なくとも1個のマイク装置M1,…,ML(Lは1以上の整数。以下同様)と、管理サーバ2と、接客評価装置3と、レコーダ装置4と、POS端末5とを含む構成である。図2に示す接客モニタリングシステム100では、少なくとも1個のマイク装置M1,…,MLと、管理サーバ2と、接客評価装置3と、レコーダ装置4と、POS端末5とが、ネットワークNWを介して相互に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット)でも良いし、無線ネットワーク(例えば無線LAN(Local Area Network))でもよい。
収音部の一例としての少なくとも1個のマイク装置M1,…,MLは、所定の収音領域(例えば店舗のレジカウンター)の所定の設置面(例えば天井面)に設置され、収音領域の従業員(店員)の音声を収音し、収音により得られた店員の音声データをレコーダ装置4に送信する。マイク装置M1,…,MLの指向性は、指向性が無い無指向性であることも含めて、それぞれ製造時から設計仕様により既に決められているものであり、変更することはできない。また、マイク装置M1,…,MLは、従業員(店員)の音声のみ収音するものではなく、例えば顧客と従業員(店員)とが会話している際に顧客が発話した声も漏れて収音することはあり得る。
また、マイク装置M1,…,MLは、店員の顧客に対する接客状況を評価するための接客用途に設けられてもよいし、店舗の防犯等の監視用途に設けられてもよい(図37参照)。監視用途のマイク装置は、店舗内の人目の付きにくい場所、店舗内のレジカウンターから遠く離れた場所等に設置される。
図37は、接客者マイク装置SM1,…,SML、マイク装置M1,…,ML、マイクアレイ装置AM1,…,AMLとプライバシー保護マークとの関係の一例を示す図である。プライバシー保護マークは、例えば顧客のプライバシー保護を示す所定情報の一例であり、顧客のプライバシーを保護するために、顧客の音声が店員の音声データに混じって収音される可能性がある場合にはその音声データを用いた店員の接客評価の対象としないことを予め示す情報である。
つまり、図37に示すように、接客用途に設けられたマイク装置は、接客用途に設けられたことを示す情報を予め保持し、監視用途に設けられたマイク装置は、監視用途に設けられたことを示す情報を予め保持している。監視用途に設けられたマイク装置の収音により得られた店員の音声データには、マイク装置の処理により、プライバシー保護マークが付与される。しかし、接客用途に設けられたマイク装置の収音により得られた店員の音声データには、プライバシー保護マークは付与されない。
第1記憶部の一例としての管理サーバ2は、接客評価装置3において接客イベント毎の店員の接客発話評価値を算定する際、又は接客評価装置3において算定された接客イベント毎の店員の接客発話評価値を閲覧(更に、必要に応じて修正)する際に必要となる各種データを管理DB(Database)2aとして格納(保存)している。また、管理サーバ2は、接客評価装置3において算定された接客イベント毎の店員の接客発話評価値を管理DB2aにおいて格納している。
管理DB2aは、接客イベント情報DBと、閲覧者DBと、接客者DBと、接客発話評価DBと、接客状況DBとを有する構成である。各々のDBの内容の詳細については後述する。なお、管理サーバ2は、接客モニタリングシステム100が設置される店舗自体に配置されなくてもよく、例えばネットワークNWを介して接続されるオンラインストレージ(例えばクラウドサービスにおいて使用されるストレージ)でもよい。
接客評価装置3は、所定の収音領域(例えば店舗内)における各種の接客イベントを検出し、更に、検出された接客イベント中の店員の音声データを基に、接客イベント中の店員の所定の発話想定キーワードに対応する接客発話評価値を算定する。接客評価装置3は、例えばPC(ラップトップやデスクトップも含む)、スマートフォン、タブレット端末、携帯電話機又はPDA(Personal Digital Assistant)等のデータ通信機器を用いて構成され、操作部31と、メモリ32と、接客発話評価部33と、出力部34と、表示装置35と、スピーカ装置36と、モニタリングデータ抽出部38とを有する構成である。
操作部31は、ユーザ(例えば店舗の店長)の操作の内容を接客発話評価部33又は出力部34に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部31は、例えば表示装置35の画面に対応して配置され、ユーザの指FG又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
メモリ32は、例えばRAM(Random Access Memory)を用いて構成され、接客評価装置3の各部の動作時のワークメモリとして機能し、更に、接客評価装置3の各部の動作時に必要なデータを記憶する。
接客発話評価部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、接客イベント検出部331と、接客発話評価値算定部332とを有する構成である。
検出部の一例としての接客イベント検出部331は、管理サーバ2の管理DB2aの接客イベント情報DB(接客イベントデータ、後述参照)と、所定の業務端末の一例としてのPOS端末5に対する店員の操作履歴を示すPOS操作履歴データ(端末操作履歴データ)とを基に、店員の接客イベントを検出する。接客イベントの検出方法の詳細については後述する。
算定部の一例としての接客発話評価値算定部332は、接客イベント検出部331により検出された接客イベントにおいて、レコーダ装置4に格納(記憶)された店員の音声データを基に、POS端末5の操作時における所定の発話想定キーワードに対応する接客発話評価値を算定する。接客発話評価値の算定方法の詳細については後述する。
出力部34は、例えばCPU、MPU又はDSPを用いて構成され、接客発話評価値算定部332により算定された接客発話評価値を、店員の識別情報(例えば店員が装着する名札に印字された、店員の識別情報を示すバーコード)と店員の接客位置(例えば座標情報)及び接客時刻により特定される店員の音声データに対応付けてメモリ32又は管理サーバ2の管理DB2aに記憶する。
また、出力部34は、接客モニタリングシステム100の各装置との間のネットワークNWを介した通信機能(有線通信機能、無線通信機能)を有するとともに、表示装置35やスピーカ装置36の動作を制御し、ユーザの所定の入力操作に応じて、接客モニタリングシステム100に関する各種画面を表示装置35に表示させたり、マイク装置M1,…,MLから送信された音声パケット(不図示)を受信してスピーカ装置36から出力させたりする。
表示部の一例としての表示装置35は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、ユーザの入力操作に応じて、出力部34の制御の下で、例えば接客モニタリングシステム100に関する各種画面(後述参照)を表示する。
音声出力部の一例としてのスピーカ装置36は、マイク装置M1,…,MLから送信された音声パケットに含まれる音声データを出力する。なお、表示装置35及びスピーカ装置36は、接客評価装置3と一体的に構成されてもよいし、異なる装置でもよい。
音声データ抽出部の一例としてのモニタリングデータ抽出部38は、レコーダ装置4に記憶されているモニタリングデータ4aから、接客発話評価部33の接客発話評価値算定部332が店員の接客発話評価値を算定するために必要な所定時間間隔(例えば10〜20秒程度)毎のモニタリングデータ4ak(k:1以上の整数、例えば図38参照)に切り取って抽出する。モニタリングデータ抽出部38におけるモニタリングデータの抽出処理の詳細は図38〜図41を参照して後述する。
第2記憶部の一例としてのレコーダ装置4は、例えば接客イベントの際に発話した店員の音声データとPOS端末5の操作履歴を示すPOS操作履歴データとを対応付けてモニタリングデータ4aとして記憶する。店員の音声データは、少なくとも1個のマイク装置M1,…,MLにより収音されてレコーダ装置4に送信された音声データである。POS操作履歴データは、例えばPOS端末5において取得され、更に、管理サーバ2又は接客評価装置3がPOS端末5から取得してレコーダ装置4に送信されたデータである。
業務端末の一例としてのPOS端末5は、店舗のレジカウンターに設置され、入力装置51と、表示装置52と、メモリ53とを有する構成である。POS端末5は、例えば店舗の売上情報や各商品の価格に関する情報をメモリ53に記憶する。なお、図2から図5では、POS端末5は1個のみ図示されているが、複数のPOS端末5がネットワークNWを介して接続されてもよい。
入力装置51は、操作部31と同様に、ユーザ(例えば店員)の入力操作を受け付けてPOS端末5に通知するためのユーザインターフェース(UI)であり、例えばマウス、キーボード等のポインティングデバイスである。また、入力装置51は、例えば表示装置52の画面に対応して配置され、ユーザの指FG又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
表示装置52は、表示装置35と同様にLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、ユーザの入力操作に応じて、店舗の売上情報、各商品の価格に関する情報や商品の精算に関する画面を表示する。
メモリ53は、メモリ32と同様にRAM(Random Access Memory)を用いて構成され、POS端末5の各部の動作時のワークメモリとして機能し、更に、POS端末5の各部の動作時に必要なデータを記憶する。
図3に示す接客モニタリングシステム100Aでは、図2に示す接客モニタリングシステム100の少なくとも1個のマイク装置M1,…,MLが少なくとも1個の接客者マイク装置SM1,…,SMLに置き換わった構成であり、その他の構成は図2に示す接客モニタリングシステム100と同様である。接客者マイク装置SM1,…,SMLの指向性は、それぞれ製造時から設計仕様により既に決められているものであり、変更することはできない。
収音部の一例としての少なくとも1個の接客者マイク装置SM1,…,SMLは、例えばピンマイクを用いて構成され、店舗内の各々の店員に個々に装着され、該当する店員の音声を収音し、収音により得られた店員の音声データをレコーダ装置4に送信する。なお、接客者マイク装置SM1,…,SMLは、従業員(店員)の音声のみ収音するものではなく、例えば顧客と従業員(店員)とが会話している際に顧客が発話した声も漏れて収音することはあり得る。
なお、接客者マイク装置は接客用途に設けられることが多いため、本実施形態の接客者マイク装置SM1,…,SMLは接客用途に設けられたことを示す情報を予め保持している。このため、図37に示すように、接客者マイク装置SM1,…,SMLの収音により得られた店員の音声データには、プライバシー保護マークは付与されない。
なお、図3に示す接客モニタリングシステム100Aでは、レコーダ装置4に格納(記憶)されるモニタリングデータ4aは、図2に示す接客モニタリングシステム100と同様に、店員毎のPOS操作履歴データと接客者マイク装置(例えば接客者マイク装置SM1)により収音された店員の音声データである。
図4に示す接客モニタリングシステム100Bでは、図2に示す接客モニタリングシステム100に対し、少なくとも1個のカメラ装置C1,…,CMと、少なくとも1個のセンサ装置S1,…,SNとが更に追加された構成であり、その他の構成は図2に示す接客モニタリングシステム100と同様である。
撮像部の一例としての少なくとも1個のカメラ装置C1,…、CM(Mは1以上の整数)は、例えば店舗の天井面に固定して設置され、監視カメラ又は防犯カメラとしての機能を有し、ネットワークNWに接続された接客評価装置3からの遠隔操作によって、ズーム機能(例えばズームイン処理、ズームアウト処理)や光軸移動機能(パン、チルト)を用いて、それぞれのカメラ装置C1,…,CMの画角内の映像を撮像する。
それぞれのカメラ装置C1,…,CMの設置位置や方向は、例えば接客評価装置3のメモリ32に予め登録されており、パンチルトズームに関する制御情報は、接客評価装置3に随時送信されて、映像を構成する各画像位置と指向方向との位置関係は常に関連付けが行われている。また、各カメラ装置C1,…,CMは、例えば全方位カメラである場合には、収音領域の全方位の映像を示す映像データ(即ち、全方位映像データ)、又は全方位映像データに所定の歪み補正処理を施してパノラマ変換して生成した平面映像データを、ネットワークNWを介して接客評価装置3に送信する。なお、それぞれのカメラ装置C1,…,CMの画角及び光軸が固定でもよい。
出力部34は、例えばユーザの入力操作に応じて、カメラ装置C1,…,CMのうちいずれかのカメラ装置から送信された映像データを表示装置35に表示させる。
顧客検出部の一例としての少なくとも1個のセンサ装置S1,…,SNは、店舗に対する顧客の登場又は退場(言い換えると、顧客の入店又は退店)を検出し、検出結果に関する情報をセンサデータとしてレコーダ装置4に送信する。なお、センサ装置S1,…,SNは、接客モニタリングシステム100が検出可能な接客イベントの種類や数に応じて、複数設けられてもよい。
なお、図4に示す接客モニタリングシステム100B,図5に示す接客モニタリングシステム100Cにおいて、店舗内の既定位置(プリセット位置)を収音するマイク装置と既定位置を撮像するカメラ装置とは予め対応付けされている。このため、プリセット位置の識別情報であるプリセットIDとそのプリセット位置を撮像するカメラ装置の識別情報であるカメラIDとは予め対応づけられる。
なお、図4に示す接客モニタリングシステム100Bでは、レコーダ装置4に格納(記憶)されるモニタリングデータ4bは、図2に示す接客モニタリングシステム100における店員毎のPOS操作履歴データとマイク装置(例えばマイク装置SM1)により収音された店員の音声データ以外に、店員による接客イベントの際に少なくとも1個のカメラ装置C1,…,CMから送信された映像データと少なくとも1個のセンサ装置S1,…,SNから送信されたセンサデータとが更に追加された構成である。
図5に示す接客モニタリングシステム100Cでは、図2に示す接客モニタリングシステム100の少なくとも1個のマイク装置M1,…,MLが少なくとも1個のマイクアレイ装置AM1,…,AMLに置き換わり、接客評価装置3Cにおいて指向性制御部37が追加され、また少なくとも1個のカメラ装置C1,…,CMと、少なくとも1個のセンサ装置S1,…,SNとが更に追加された構成であり、その他の構成は図2に示す接客モニタリングシステム100と同様である。
収音部の一例としての少なくとも1個のマイクアレイ装置AM1,…,AMLは、所定の収音領域(例えば店舗のレジカウンター)の所定の設置面(例えば天井面)に設置され、収音領域の店員の音声を収音する。少なくとも1個のマイクアレイ装置AM1,…,AMLは、具体的には収音素子の一例としてのマイクロホンを複数含み、複数のマイクロホンを用いて、マイクアレイ装置AM1,…,AMLの設置位置を中心として360°の方向(全方位)からの音声(例えば店員の音声)を収音する。また、マイクアレイ装置AM1,…,AMLは、従業員(店員)の音声のみ収音するものではなく、例えば顧客と従業員(店員)とが会話している際に顧客が発話した声も漏れて収音することはあり得る。
また、マイクアレイ装置AM1,…,AMLは、店員の顧客に対する接客状況を評価するための接客用途に設けられてもよいし、店舗の防犯等の監視用途に設けられてもよい(図37参照)。監視用途のマイクアレイ装置は、店舗内の人目の付きにくい場所、店舗内のレジカウンターから遠く離れた場所等に設置される。
つまり、図37に示すように、接客用途に設けられたマイクアレイ装置は、接客用途に設けられたことを示す情報を予め保持し、監視用途に設けられたアレイマイク装置は、監視用途に設けられたことを示す情報を予め保持している。監視用途に設けられたマイクアレイ装置の収音により得られた店員の音声データには、アレイマイク装置の処理により、プライバシー保護マークが付与される。しかし、接客用途に設けられたマイクアレイ装置の収音により得られた店員の音声データには、プライバシー保護マークは付与されない。
少なくとも1個のマイクアレイ装置AM1,…,AMLは、各々のマイクロホンにより収音された音声を音声データとして含む音声パケット(不図示)を、ネットワークNWを介して、レコーダ装置4に送信する。
操作部31は、表示装置35に表示された画面上の画像(例えばカメラ装置C1,…,CMのうちいずれかのカメラ装置により撮像された画像。以下同様。)に対し、ユーザの操作によって指定された画面上の画像の位置を示す座標データを取得して接客発話評価部33又は出力部34に出力する。
それぞれのカメラ装置C1,…,CMは、各カメラ装置が撮像した映像データが表示装置35の画面上に表示された状態でユーザの指FG又はスタイラスペンによって任意の位置が指定されると、指定位置の座標データを接客評価装置3から受信し、各カメラ装置から、指定位置に対応する実空間上の位置(以下、単に「音声位置」と略記する)までの距離、方向(水平角及び垂直角を含む。以下同様。)のデータを算定して接客評価装置3に送信する。なお、いずれのカメラ装置における距離、方向のデータ算定処理は公知技術であるため、説明は省略する。
指向性制御部37は、表示装置35の画面上に表示された映像からユーザの位置の指定操作に応じて、その映像を撮像したカメラ装置に対応付けられたいずれかのマイクアレイ装置から、指定位置に対応する音声位置に向かう指向方向を示す座標を算定する。指向性制御部37の指向方向を示す座標の算定方法は公知技術であるため、詳細な説明を省略する。
指向性制御部37は、例えばカメラ装置C1の設置位置から音声位置までの距離、方向のデータをカメラ装置C1から取得し、これらのデータを用いて、例えばマイクアレイ装置AM1(例えばカメラ装置C1とマイクアレイ装置AM1とが予め対応付けられているとする)の設置位置から音声位置に向かう指向方向を示す座標を算定する。例えばカメラ装置C1の筐体を囲むようにマイクアレイ装置AM1の筐体とカメラ装置C1とが一体的に取り付けられている場合には、カメラ装置C1から音声位置までの方向(水平角,垂直角)は、マイクアレイ装置AM1から音声位置までの指向方向を示す座標として用いることができる。
なお、カメラ装置C1の筐体とマイクアレイ装置AM1の筐体とが離れて取り付けられている場合には、指向性制御部37は、事前に算定されたキャリブレーションパラメータのデータと、カメラ装置C1から音声位置までの方向(水平角,垂直角)のデータとを用いて、マイクアレイ装置AM1から音声位置までの指向方向を示す座標を算定する。なお、キャリブレーションとは、接客評価装置3Cの指向性制御部37が指向方向を示す座標を算定するために必要となる所定のキャリブレーションパラメータを算定又は取得する動作であり、公知技術により予め行われているとする。
指向方向を示す座標は、マイクアレイ装置AM1から音声位置に向かう指向方向の水平角と、マイクアレイ装置AM1から音声位置に向かう指向方向の垂直角とにより示される。なお、音声位置は、操作部31が表示装置35の画面上に表示された映像においてユーザの指FG又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である(図1参照)。
また、指向性制御部37は、例えばマイクアレイ装置AM1から送信された音声パケットに含まれる店員の音声データを用いて、算定した座標が示す方向に指向性を形成することで音声データを強調処理し、強調処理後の音声データを生成して出力部34に渡す。なお、指向性制御部37における強調処理は、ユーザが選択した映像を撮像したカメラ装置に対応するいずれかのマイクアレイ装置により行われてもよい。
なお、図5に示す接客モニタリングシステム100Cでは、レコーダ装置4に格納(記憶)されるモニタリングデータ4bは、図2に示す接客モニタリングシステム100における店員毎のPOS操作履歴データとマイク装置(例えばマイク装置M1)により収音された店員の音声データ以外に、店員による接客イベントの際に少なくとも1個のカメラ装置C1,…,CMから送信された映像データと少なくとも1個のセンサ装置S1,…,SNから送信されたセンサデータとが更に追加された構成である。
また、図5ではネットワークNWにマイクアレイ装置AM1,…,AMLが接続されているが、図2に示すマイク装置M1,…MLのうち一部又は全部が接続されてもよいし、更に、図3に示す接客者マイク装置SM1,…SMLのうち一部又は全部が接続されてもよい。
次に、本実施形態の接客モニタリングシステム100,100A,100B,100Cに共通する全体の動作手順について、図6を参照して説明する。図6は、本実施形態の接客モニタリングシステムの全体の動作手順の一例を説明するフローチャートである。以下の説明では、基本的にどの接客モニタリングシステム100,100A,100B,100Cの構成を用いても同様に動作するが、説明を簡単にするために、例えば図2に示す接客モニタリングシステム100のシステム構成を用いて説明し、必要に応じて、図3から図5に示す各接客モニタリングシステム100A,100B,100Cの構成を参照して説明する。
図6において、接客評価が終了する場合には(S1、YES)、図6に示す接客モニタリングシステム100の動作は終了する。なお、接客評価が終了する場合とは、例えば接客評価装置3にインストールされている接客評価用のアプリケーションの「終了」ボタンが押下された場合や、接客評価装置3がシャットダウンした場合が挙げられるが、これらの場合に限定されない。
一方、接客評価が終了しない場合には(S1、NO)、接客評価装置3のモニタリングデータ抽出部38は、接客発話評価部33の接客発話評価値算定部332が店員の接客発話評価値を算定するために、レコーダ装置4から取得するモニタリングデータ4aを所定時間間隔(例えば10〜20秒程度)毎に切り取る。モニタリングデータ抽出部38によって切り取られるモニタリングデータの長さは、あらかじめ想定されている接客イベント(例えば会計完了操作)が起きてから又はその前後に、あらかじめ想定されている接客キーワード(例えば「ありがとうございました」)が発話されて終了するまでの全てが入りうるものとする。その際に接客評価装置3のモニタリングデータ抽出部38は、モニタリングデータ4aを切り取るための起点となる切り取り開始時刻を、その直前のモニタリングデータの切り取り開始時刻から所定時間(例えば1秒程度)シフト処理して設定する(S2、図38参照)。但し、接客評価装置3のモニタリングデータ抽出部38は、初回のモニタリングデータ4aの切り取り時にはシフト処理を行わない。図38は、モニタリングデータ4aのシフト切り出し処理の一例を示す説明図である。ステップS2の処理は、ステップS3において取得されるモニタリングデータ(例えば図38に示すモニタリングデータ4a2)の所定時間間隔の境界時点に接客イベントがあると、切り取られたモニタリングデータ4a2の中から接客キーワードの検出が困難になってしまうことを回避するために設けられる。ステップS2の処理を行うことにより生成される複数のモニタリングデータ4a1,4a2,4a3,…の中には、あらかじめ想定されている接客キーワードの音声データを、途中でとぎらせることなく、最初から最後まで全て記録されているモニタリングデータが含まれることになる。
例えば図38に示すように、レコーダ装置4に記憶されるモニタリングデータ4aに、時刻t1に会計完了操作が発生したことを示すPOS操作履歴データと、時刻t2から時刻t3にわたって店員が「ありがとうございました」と発話した音声データとが記憶されている場合を想定する。この場合、ステップS2においてモニタリングデータ抽出部38によって1回目に切り取られたモニタリングデータ4a1には、会計完了操作に対応する店員の音声データが含まれていないため、接客イベントの検出ができず、正確な接客評価が不可である。次回のステップS2では、接客評価装置3のモニタリングデータ抽出部38は、モニタリングデータ4aを切り取るための起点となる切り取り開始時刻を、モニタリングデータ4a1の切り取り開始時刻から所定時間tsシフト処理したモニタリングデータ4a2を抽出する。切り取りにより取得された所定時間間隔分のモニタリングデータ4ak(k:1以上の整数)のデータサイズは同一である。但し、モニタリングデータ4a2には店員の「ありがとうございました」という発話の全ての音声データが記憶されていないため、接客イベントの検出ができず、同様に正確な接客評価ができない。そして、次回のステップS2では、接客評価装置3のモニタリングデータ抽出部38は、モニタリングデータ4aを切り取るための起点となる切り取り開始時刻を、モニタリングデータ4a2の切り取り開始時刻から所定時間tsシフト処理したモニタリングデータ4a3を抽出する。モニタリングデータ4a3には、店員の「ありがとうございました」という発話の全ての音声データが記憶されているので、接客評価装置3は、接客イベントの検出ができる。
このように、接客評価装置3は、モニタリングデータ抽出部38により抽出された常に同じ長さ(つまり、所定時間ts)であるモニタリングデータ4a1,4a2,4a3,…のそれぞれにおいて、接客キーワードが含まれているか否かを、例えば音声認識により検出を試みるだけでよい。音声の発話開始時刻及び発話終了時刻の検出や音声認識すべき範囲の設定などの処理は不要となる。従って、あらかじめ想定されている接客キーワードを確実に検出することができる。なお、モニタリングデータの切り取り開始時刻のシフト処理のバリエーションについては図39〜図41を参照して後述する。また、モニタリングデータ4bの切り取りの方法についても、モニタリングデータ4aの切り取りの方法と同様であり、説明を省略する。
ステップS2の後、接客評価装置3のモニタリングデータ抽出部38は、ステップS2において設定された開始時刻から所定時間間隔(例えば10秒程度)毎のモニタリングデータ4aをレコーダ装置4から取得し(S3)、取得したモニタリングデータ4a(具体的には、モニタリングデータ4aに含まれる店員のPOS操作履歴データ及び音声データ)とモニタリングデータ4aの開始時刻及び終了時刻とを対応付けてメモリ32に保持する(S4)。なお、終了時刻は、開始時刻から所定時間間隔の時間を加算した時刻である。
ステップS4の後、接客評価装置3の接客発話評価部33において、イベント検出可否判定処理が行われ(S5)、イベント検出可否フラグが「可」に設定されていれば(S6、YES)、接客評価装置3の出力部34は、ステップS4においてメモリ32に保持した所定時間間隔毎のモニタリングデータ4a(言い換えると、レコーダ装置4から取得した所定時間間隔毎のモニタリングデータ4a)を接客発話評価部33の各部(つまり、接客イベント検出部331,接客発話評価値算定部332)に渡す(S7)。ステップS7の後、接客評価装置3の接客発話評価部33の接客イベント検出部331において、接客イベント検出処理が行われる(S8)。
一方、イベント検出可否フラグが「否」に設定されている場合(S6、NO)又はステップS8の後、接客モニタリングシステム100の動作はステップS1に戻る。
図7は、イベント検出可否判定処理の詳細な動作手順の一例を説明するフローチャートである。図7において、接客評価装置3の接客発話評価部33は、ステップS4においてメモリ32に保持した所定時間間隔毎のモニタリングデータ4aの所定領域(例えばヘッダ領域、ペイロード領域の一部又はその他のオプション領域)に、顧客のプライバシー保護を示す所定情報の一例としてのプライバシー保護マークが含まれていると判定すると(S5−1、YES)、接客イベントの検出処理の有無を示すイベント検出可否フラグを「否」(つまり、接客イベント処理は行わずに省略すること)に設定する(S5−2)。ステップS5−2の後、接客モニタリングシステム100の動作はステップS6に進む。
一方、接客発話評価部33は、ステップS4においてメモリ32に保持した所定時間間隔毎のモニタリングデータ4aの所定領域(例えばヘッダ領域、ペイロード領域の一部又はその他のオプション領域)に、顧客のプライバシー保護を示す所定情報の一例としてのプライバシー保護マークが含まれていないと判定すると(S5−1、NO)、接客評価装置3の接客発話評価部33は、店舗に入店した顧客の音声がモニタリングデータ4aに含まれていないかを判定する(S5−3)。
例えば、接客発話評価部33は、モニタリングデータ4aに含まれる音声データに、顧客が店舗において発話する可能性が高いキーワードが含まれている(より具体的には、例えばモニタリングデータ4aに含まれる音声データに対して顧客が店舗において発話する可能性が高いキーワードのワードスポッティング処理結果が所定のレベル以上)と判定した場合には、顧客の音声がモニタリングデータ4aに含まれていると判定する(S5−4、YES)。
又は、接客発話評価部33は、店員に個々に装着される接客者マイク装置において、予め登録された店員以外の音声が収音されている(より具体的には、例えば収音された音声データに対して予め登録された店員の声紋認識結果が所定のレベル以下)と判定した場合には、顧客の音声がモニタリングデータ4aに含まれていると判定してもよい(S5−4、YES)。
又は、接客評価装置3Cの接客発話評価部33は、モニタリングデータ4bに含まれる映像データに対して画像処理することで、予め登録された店員の顔画像以外の顔を検出し、更にその検出された顔の位置から発せられた音声、或いはその検出された顔の位置に指向性を形成し強調処理された音声に人の音声が含まれていると判定した場合には、顧客の音声がモニタリングデータ4aに含まれていると判定してもよい(S5−4、YES)。
接客評価装置3(又は接客評価装置3C)の接客発話評価部33は、顧客音声の有無判定処理結果として顧客の音声が含まれていると判定した場合には(S5−4、YES)、イベント検出可否フラグを「否」に設定する(S5−5)。
一方、接客評価装置3(又は接客評価装置3C)の接客発話評価部33は、顧客音声の有無判定処理結果として顧客の音声が含まれていないと判定した場合には(S5−4、NO)、イベント検出可否フラグを「可」に設定する(S5−6)。ステップS5−5の後、及びステップS5−6の後、接客モニタリングシステム100の動作はステップS6に進む。
次に、図6に示すステップS8の接客イベント検出処理を説明する前に、図2から図5に示す接客モニタリングシステム100,100A,100B,100Cに対応した所定の接客イベント毎の判定条件を含む接客イベントデータの一例としての接客イベント情報DBの例について、図11から図14を参照して説明する。図11から図14に示す各接客イベント情報DBは、管理サーバ2の管理DB2aに格納されている。
図11は、図2に示す接客モニタリングシステム100に対応した接客イベント情報DBの一例を示す図である。図12は、図3に示す接客モニタリングシステム100Aに対応した接客イベント情報DBの一例を示す図である。図13は、図4に示す接客モニタリングシステム100Bに対応した接客イベント情報DBの一例を示す図である。図14は、図5に示す接客モニタリングシステム100Cに対応した接客イベント情報DBの一例を示す図である。図12から図14の説明では、図11の説明と重複する内容の説明は省略し、異なる内容について説明する。
図11に示す接客イベント情報DBは、接客イベントIDと、接客イベント名と、接客イベント判定条件(つまり、モニタリングデータ4aに接客イベントが検出されたか否かを判定するための条件)と、接客イベント出力情報(つまり、接客イベントが検出されたときに出力する情報)との各項目に対応するデータの種類、種別が規定される。
図11に示す接客イベント情報DBの接客イベント判定条件では、接客イベントの検出トリガがPOS端末5に対する所定の動作(POS動作)が行われたことであると規定されている。
図11に示す接客イベント出力情報では、プリセットIDと接客者IDと接客イベントIDとが出力されると規定されている。
図12に示す接客イベント情報DBの接客イベント判定条件では、接客イベントの検出トリガが接客イベント毎に異なり、具体的にはPOS端末5に対する所定の動作(POS動作)が行われたこと、音声データ中に特定のキーワードが含まれることがそれぞれ規定されている。
図12に示す接客イベント情報DBの接客イベント出力情報では、接客イベント毎に異なり、具体的にはプリセットID(店舗内の既定位置の識別情報。以下同様)と接客者ID(店員の識別情報。以下同様)と接客イベントIDとの組み合わせと、単に接客者ID(店員が装着している接客者マイク装置の識別情報。以下同様)のみが規定されている。
図13に示す接客イベント情報DBは、接客イベントIDと、全接客者対象イベントであるか否かを示す項目と、接客イベント名と、接客イベント判定条件(つまり、モニタリングデータ4aに接客イベントが検出されたか否かを判定するための条件)と、接客イベント出力情報(つまり、接客イベントが検出されたときに出力する情報)との各項目に対応するデータの種類、種別が規定される。
図13に示す接客イベント情報DBの接客イベント判定条件では、接客イベントの検出トリガが接客イベント毎に異なり、具体的には店舗入り口付近に設置されたセンサ装置S1(例えば自動ドア)が開閉動作したことを検出したこと、所定のプリセットIDに対応する既定位置(プリセット位置)に店員が滞在して更に所定の来客者位置プリセットIDに対応する位置(即ち、接客イベント時に顧客(来客者)がいる可能性が高い位置)に顧客が所定時間(例えば5秒程度)滞在したこと、POS端末5に対する所定の動作(POS動作)が行われたことがそれぞれ規定されている。
図13に示す接客イベント情報DBの接客イベント出力情報では、接客イベント毎に異なり、具体的にはマイクID(後述参照)とカメラID(後述参照)と接客者IDと接客イベントIDとの組み合わせと、プリセットIDと接客者IDと接客イベントIDとの組み合わせとがそれぞれ規定されている。
図14に示す接客イベント情報DBの接客イベント出力情報では、接客イベント毎に異なり、具体的には接客者位置座標とカメラIDと接客者IDと接客イベントIDとの組み合わせと、プリセットIDと接客者IDと接客イベントIDとの組み合わせとがそれぞれ規定されている。接客者位置座標は、指向性制御部37が各店員の音声データを収音したマイクアレイ装置から各店員に向かう方向に音声の指向性を形成する際に用いられる。
次に、図11から図14に示す接客イベント情報DBの具体例を用いた接客イベント検出処理(図6に示すステップS8参照)の詳細について、図8及び図9を参照して説明する。図8は、接客イベント検出処理の詳細な動作手順の一例を説明するフローチャートである。図9は、接客イベント情報処理の詳細な動作手順の一例を説明するフローチャートである。
図8及び図9の説明では、説明を具体的かつ分かりやすくするために、図2から図5に示す接客モニタリングシステム100,100A,100B,100Cの各システム構成に対応する図11から図14に示す接客イベント情報DBの各レコードの内容を参照して具体的に説明する。また、図11から図14に示す接客イベント情報DBにおいて重複する接客イベントIDのレコードが規定されている場合には、重複する説明は省略し、異なる内容について説明する。
(図2に示す接客モニタリングシステム100における接客イベント検出処理)
先ず、接客イベント検出部331は、開始時刻及び終了時刻が定められた所定時間間隔(例えば10秒程度)毎のモニタリングデータ4aを接客発話評価部33から受け取り(S8−1)、管理サーバ2の管理DB2aに格納されている接客イベント情報DB(図11参照)を読み込む(S8−2)。
接客イベント検出部331は、未取得である接客イベント情報DBの1行目のレコード(接客イベントID「EID1」、接客イベント名「会計完了挨拶」)を取得し(S8−3)、接客イベント情報処理を開始する。接客イベント検出部331は、モニタリングデータ4aから照合対象データとしてのPOS操作履歴データを取得し(S11)、POS操作履歴データから会計完了操作の接客イベント判定条件の検出トリガ(即ち、POS端末5に対する所定の動作(操作)があったか否か)を満たすか否かを照合する(S12)。
POS操作履歴データから会計完了操作の接客イベント判定条件の検出トリガを満たさない場合には(S13、NO)、図9に示す接客イベント情報処理は終了し、接客イベント検出部331の処理はステップS8−5に進む。
一方、POS操作履歴データから会計完了操作の接客イベント判定条件の検出トリガを満たす場合には(S13、YES)、接客イベント検出部331は、図11に示す接客イベント情報DBの接客イベント出力情報(具体的には、該当するプリセットID(1〜PNのうち該当するもの)、接客者ID(店員の識別情報:1〜ENのうち該当するもの)、接客イベントID)を接客状況DB(図10参照)に格納(保持)する(S14)。
なお、検出された接客イベントにおいて、該当するPOS端末5を操作した接客者(店員)の識別情報(接客者ID:1〜EN)は、POS端末5の操作開始時に例えば名札に印字されたバーコードをバーコードリーダ(不図示)によって読み取られた接客者IDが用いられる。
図2に示す接客モニタリングシステム100では、マイク装置M1,…,MLの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図2に示す接客モニタリングシステム100ではマイクアレイ装置AM1,…,AMLにより音声が収音されていないため(S15、NO)、指向性の形成処理が不可であり、接客イベント検出部331は、モニタリングデータ4aから、検出された接客イベントに対応する店員の音声データを取得し(S16)、接客発話評価値算定部332に音声データと接客イベントIDとを入力する(S18)。検出された接客イベントに対応する店員の音声データは、例えば「会計完了操作」の接客イベントが検出されたPOS端末5に対応付けられるマイク装置により収音された音声データである。
接客発話評価値算定部332は、図15に示す接客発話評価処理を実行し(S19)、接客発話評価出力値を接客状況DBに格納(保持)する(S20)。これにより、図9に示す接客イベント情報処理が終了する。図8において、ステップS8−4の後、接客イベント情報DBの全てのレコードが取得されていない場合には(S8−5、NO)、接客イベント検出部331の処理はステップS8−3に戻る。一方、接客イベント情報DBの全てのレコードが取得された場合には(S8−5、YES)、接客イベント検出部331の処理は終了する。
(図3に示す接客モニタリングシステム100Aにおける接客イベント検出処理)
ステップS8−2の後、接客イベント検出部331は、未取得である接客イベント情報DBの2行目のレコード(接客イベントID「EID2」、接客イベント名「入店挨拶」)を取得し(S8−3)、接客イベント情報処理を開始する。接客イベント検出部331は、モニタリングデータ4aから照合対象データとしての接客者マイク装置において収音された全ての音声データを取得し(S11)、全ての音声データを音声認識処理し、その結果に特定キーワード「いらっしゃいませ」が含まれるか否かを照合する(S12)。
全ての音声データの音声認識処理結果に特定キーワード「いらっしゃいませ」が含まれない場合には(S13、NO)、図9に示す接客イベント情報処理は終了し、接客イベント検出部331の処理はステップS8−5に戻る。
一方、音声データのいずれかの音声認識処理結果に特定キーワード「いらっしゃいませ」が含まれる場合には(S13、YES)、接客イベント検出部331は、図12に示す接客イベント情報DBの接客イベント出力情報(具体的には、接客者ID(店員の識別情報:1〜ENのうち該当するもの)、接客イベントID)を接客状況DB(図10参照)に格納(保持)する(S14)。
図3に示す接客モニタリングシステム100Aでは、接客者マイク装置SM1,…,SMLの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図3に示す接客モニタリングシステム100Aではマイクアレイ装置AM1,…,AMLにより音声が収音されていないため(S15、NO)、指向性の形成処理が不可であり、接客イベント検出部331は、モニタリングデータ4aから、検出された接客イベントに対応する店員の音声データを取得し(S16)、接客発話評価値算定部332に音声データと接客イベントIDとを入力する(S18)。検出された接客イベントに対応する店員の音声データとは、接客イベント検出部331における音声認識処理結果に特定キーワード「いらっしゃいませ」を含む音声データである。
接客発話評価値算定部332は、図15に示す接客発話評価処理を実行し(S19)、接客発話評価出力値を接客状況DBに格納(保持)する(S20)。これにより、図9に示す接客イベント情報処理が終了する。図8において、ステップS8−4の後、接客イベント情報DBの全てのレコードが取得されていない場合には(S8−5、NO)、接客イベント検出部331の処理はステップS8−3に戻る。一方、接客イベント情報DBの全てのレコードが取得された場合には(S8−5、YES)、接客イベント検出部331の処理は終了する。
(図4に示す接客モニタリングシステム100Bにおける接客イベント検出処理)
ステップS8−2の後、接客イベント検出部331は、未取得である接客イベント情報DBの1行目のレコード(接客イベントID「EID1」、接客イベント名「入退店挨拶」)を取得し(S8−3)、接客イベント情報処理を開始する。なお、この「入退店挨拶」の接客イベントは、全接客者(全店員)を対象とする接客イベントであるため、接客イベント出力情報として、全店員を把握可能なマイクID及びカメラIDが出力され、以下同様である。接客イベント検出部331は、モニタリングデータ4bから照合対象データとしての映像データとセンサデータに含まれる検出結果(自動ドア開閉履歴データ)とを取得し(S11)、自動ドア開閉履歴データに自動ドアの開閉動作があるか否かを照合する(S12)。
自動ドア開閉履歴データが自動ドアの開閉動作を含まない場合には(S13、NO)、図9に示す接客イベント情報処理は終了し、接客イベント検出部331の処理はステップS8−5に戻る。
一方、自動ドア開閉履歴データが自動ドアの開閉動作を含む場合には(S13、YES)、接客イベント検出部331は、図13に示す接客イベント情報DBの接客イベント出力情報(具体的には、マイクID(マイク装置の識別情報:1〜MNのうち該当するもの)、カメラID(カメラ装置の識別情報:1〜CNのうち該当するもの)、接客者ID(店員の識別情報:1〜ENのうち該当するもの)、接客イベントID)を接客状況DB(図10参照)に格納(保持)する(S14)。カメラIDは、接客イベント検出部331が所定の映像データを画像処理することで、自動ドアの開閉動作時に各店員が存在した位置を最も近くで撮像するカメラ装置の識別情報として出力される。
図4に示す接客モニタリングシステム100Bでは、マイク装置M1・・・MLの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図4に示す接客モニタリングシステム100Bではマイクアレイ装置AM1,…,AMLにより音声が収音されていないため(S15、NO)、指向性の形成処理が不可であり、接客イベント検出部331は、モニタリングデータ4bから、検出された接客イベントに対応する各店員の音声データを取得し(S16)、接客発話評価値算定部332に音声データと接客イベントIDとを入力する(S18)。
検出された接客イベントに対応する各店員の音声データは、接客イベント検出部331が所定の映像データを画像処理することで、自動ドアの開閉動作時に各店員が存在した位置に最も近いと判定されたマイク装置により収音された音声データである。マイク装置からは、その識別情報であるマイクIDが出力される。
なお、所定の映像データとは、例えば店舗内の全域が分かるための必要最低限な1個以上のカメラ装置により撮像された映像データ又は複数の映像データの組み合わせであり、該当するカメラ装置は固定でもよいし、ユーザの入力操作に応じて適宜変更されてもよく、以下同様である。
接客発話評価値算定部332は、図15に示す接客発話評価処理を実行し(S19)、接客発話評価出力値を接客状況DBに格納(保持)する(S20)。これにより、図9に示す接客イベント情報処理が終了する。図8において、ステップS8−4の後、接客イベント情報DBの全てのレコードが取得されていない場合には(S8−5、NO)、接客イベント検出部331の処理はステップS8−3に戻る。
そこで、接客イベント検出部331は、未取得である接客イベント情報DBの2行目のレコード(接客イベントID「EID2」、接客イベント名「会計開始挨拶」)を取得し(S8−3)、接客イベント情報処理を開始する。接客イベント検出部331は、モニタリングデータ4bから照合対象データとしての上述した所定の映像データを取得し(S11)、映像データを画像処理することで、店員が「会計開始挨拶」を行うための既定位置(例えばレジカウンターの操作立ち位置)に存在し、かつ顧客(来店者)が所定の位置(例えばレジカウンターの前又は店舗内に敷かれた所定の待機位置)に所定期間(例えば5秒程度)以上滞在したか否かを照合する(S12)。顧客が所定期間以上滞在した否かを判定することで、顧客がレジカウンターを素通りした場合を除外することが可能となる。
映像データの画像処理結果として、店員が「会計開始挨拶」を行うための既定位置(例えばレジカウンターの操作立ち位置)に存在しない、又は顧客(来店者)が所定の位置(例えばレジカウンターの前又は店舗内に敷かれた所定の待機位置)に所定期間(例えば5秒程度)以上滞在していないと判定された場合には(S13、NO)、図9に示す接客イベント情報処理は終了し、接客イベント検出部331の処理はステップS8−5に戻る。
一方、映像データの画像処理結果として、店員が「会計開始挨拶」を行うための既定位置(例えばレジカウンターの操作立ち位置)に存在し、かつ顧客(来店者)が所定の位置(例えばレジカウンターの前又は店舗内に敷かれた所定の待機位置)に所定期間(例えば5秒程度)以上滞在したと判定された場合には(S13、YES)、接客イベント検出部331は、図13に示す接客イベント情報DBの接客イベント出力情報(具体的には、プリセットID(既定位置の識別情報:1〜PNのうち該当するもの)、接客者ID(店員の識別情報:1〜ENのうち該当するもの)、接客イベントID)を接客状況DB(図10参照)に格納(保持)する(S14)。
図4に示す接客モニタリングシステム100Bでは、マイク装置M1・・・MLの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図4に示す接客モニタリングシステム100Bではマイクアレイ装置AM1,…,AMLにより音声が収音されていないため(S15、NO)、指向性の形成処理が不可であり、接客イベント検出部331は、モニタリングデータ4bから、検出された接客イベントに対応する店員の音声データを取得し(S16)、接客発話評価値算定部332に音声データと接客イベントIDとを入力する(S18)。検出された接客イベントに対応する店員の音声データとは、既定位置(プリセット位置)と対応付けられたマイク装置により収音された店員の音声データである。
接客発話評価値算定部332は、図15に示す接客発話評価処理を実行し(S19)、接客発話評価出力値を接客状況DBに格納(保持)する(S20)。これにより、図9に示す接客イベント情報処理が終了する。図8において、ステップS8−4の後、接客イベント情報DBの全てのレコードが取得されていない場合には(S8−5、NO)、接客イベント検出部331の処理はステップS8−3に戻る。一方、接客イベント情報DBの全てのレコードが取得された場合には(S8−5、YES)、接客イベント検出部331の処理は終了する。
(図5に示す接客モニタリングシステム100Cにおける接客イベント検出処理)
ステップS8−2の後、接客イベント検出部331は、未取得である接客イベント情報DBの1行目のレコード(接客イベントID「EID1」、接客イベント名「入退店挨拶」)を取得し(S8−3)、接客イベント情報処理を開始する。接客イベント検出部331は、モニタリングデータ4bから照合対象データとしての映像データとセンサデータに含まれる検出結果(自動ドア開閉履歴データ)とを取得し(S11)、自動ドア開閉履歴データに自動ドアの開閉動作があるか否かを照合する(S12)。
自動ドア開閉履歴データが自動ドアの開閉動作を含まない場合には(S13、NO)、図9に示す接客イベント情報処理は終了し、接客イベント検出部331の処理はステップS8−5に戻る。
一方、自動ドア開閉履歴データが自動ドアの開閉動作を含む場合には(S13、YES)、接客イベント検出部331は、図13に示す接客イベント情報DBの接客イベント出力情報(具体的には、各店員の接客者位置座標、カメラID(カメラ装置の識別情報:1〜CNのうち該当するもの)、接客者ID(店員の識別情報:1〜ENのうち該当するもの)、接客イベントID)を接客状況DB(図10参照)に格納(保持)する(S14)。
接客者位置座標は、接客イベント検出部331が所定の映像データを画像処理することで得られ、表示装置35の画面上に表示された映像データにおいて各店員が存在する位置の座標として出力される。また、カメラIDは、接客イベント検出部331が所定の映像データを画像処理することで、自動ドアの開閉動作時に各店員が存在した位置を最も近くで撮像するカメラ装置の識別情報として出力される。マイクIDは、カメラIDと予め対応付けられているので、カメラIDが選択された時点で選択されることになって出力される。
図5に示す接客モニタリングシステム100Cではマイクアレイ装置AM1,…,AMLにより収音され(S15、YES)、その収音により得られた音声データによる指向性の形成処理が可能のため、接客イベント検出部331は、検出された接客イベントに対応する各店員の接客者位置座標のデータと、モニタリングデータ4bに含まれる接客イベントに対応する各店員の音声データとを指向性制御部37に入力し、指向性制御部37において各店員の音声データに対して各店員に最も近いマイクアレイ装置から各店員に向かう方向に指向性が形成された後の音声データを取得する(S17)。接客イベント検出部331は、接客発話評価値算定部332に、各店員の接客者位置座標(例えば表示装置35の画面上に表示された店員の存在する位置の座標)のデータとステップS17において取得した音声データと接客イベントIDとを入力する(S18)。
接客発話評価値算定部332は、図15に示す接客発話評価処理を実行し(S19)、接客発話評価出力値を接客状況DBに格納(保持)する(S20)。これにより、図9に示す接客イベント情報処理が終了する。図8において、ステップS8−4の後、接客イベント情報DBの全てのレコードが取得されていない場合には(S8−5、NO)、接客イベント検出部331の処理はステップS8−3に戻る。
次に、図8に示す接客イベント検出処理の結果として出力される接客イベント出力情報(図11から図14参照)が含まれる接客状況DBの一例について、図10を参照して説明する。図10は、接客状況DBの一例を示す図である。
図10に示す接客状況DBは、接客状況データIDと、接客発話評価値と、イベント開始時刻と、イベント終了時刻と、接客者IDと、接客イベントIDと、接客者位置(プリセット)と、接客者位置(プリセット外)との各項目に対応するデータが規定される。
接客状況データID「ID1」では、接客発話評価値はV11…V1nであり、接客者位置は接客者(店員)が既定位置(プリセット位置)ではない位置に存在することが検出されたためにその店員を撮像したカメラ装置のカメラIDと、表示装置35の画面上に表示された映像データ上の店員の位置を示す座標(画面上座標位置)とにより構成される。なお、カメラID「C1」のカメラ装置は全方位カメラ装置でもよいし、固定の画角を有するカメラ装置、又はパンチルトズーム機能を有するPTZカメラ装置でもよい。
また、接客発話評価値V11の左側の添え字である「1」は接客イベントID「EID1」に対応しており、接客発話評価値V11の右側の添え字である「1」は所定時間間隔毎に切り取られるモニタリングデータ4a,4bの中で同一の接客イベントIDの接客イベントが検出された場合の接客イベントの識別情報を示す。nは1以上の整数であり、例えば10秒程度のモニタリングデータ4a,4bの中で同一の接客イベントIDの接客イベントが複数検出された場合には、nは2以上の整数となる。
接客状況データID「ID2」では、接客発話評価値はV21…V2mであり、上述したnと同様にmは1以上の整数である。接客者位置は接客者(店員)が既定位置(プリセット位置)に存在することが検出されたためにその既定位置(プリセット位置)を示すプリセットIDにより構成される。
従って、図2から図5に示す接客モニタリングシステム100,100A,100B,100Cは、このように図10に示す接客状況DBを有することで、該当する接客イベントの開始時刻から終了時刻までの音声データ及び映像データを接客評価装置3において出力(再生)することができ、店舗の責任者(例えば店長)が接客イベント時の店員の接客状況を音声及び映像で確認しながら注意深く観察、レビューすることができる。なお、音声データはレコーダ装置4に格納(記憶)されているので、接客評価装置3は、接客イベントIDに対応する接客イベントの検出時に収音された音声データをレコーダ装置4から取得した上で出力(再生)する。
次に、図9に示す接客発話評価処理(ステップS19参照)の動作手順の詳細について、図15を参照して説明する。図15は、接客発話評価処理の動作手順の一例を説明するフローチャートである。
図15において、接客発話評価値算定部332は、ステップS18において接客イベント検出部331から渡された音声データと接客イベントIDとを取得し(S21)、騒音レベル判定処理を行い(S22)、接客キーワードの発話判定処理を行う(S23)。ステップS23の後、接客発話評価値算定部332は、検出状態(後述参照)のフラグが「1」であるか否かを判定する(S24)。検出状態のフラグが「1」である場合には(S24、YES)、接客発話評価値算定部332は、スコアリング処理を行う(S25)。一方、検出状態のフラグが「1」ではない場合には(S24、NO)、接客発話評価値算定部332は、接客発話評価値をゼロ点に設定するか所定点数を減点する(S26)。
ステップS25又はステップS26の後、接客発話評価値算定部332は、スコアリングデータとして、検出したキーワードID(後述参照)と接客発話評価値とを接客発話評価部33に出力する(S27)。
次に、図15に示す騒音レベル判定処理(ステップS22参照)の動作手順の詳細について、図16を参照して説明する。図16は、騒音レベル判定処理の動作手順の一例を説明するフローチャートである。
図16において、接客発話評価値算定部332は、接客評価装置3が取得した収音領域(例えば店舗)の周囲の騒音レベルが所定値x[dB]以下であるか否かを判定する(S22−1)。騒音レベルは、例えばマイク装置、接客者マイク装置又はマイクアレイ装置のいずれかにより収音されて接客評価装置3に送信される。接客発話評価値算定部332は、騒音レベルが所定値x[dB]以下であると判定した場合には(S22−1、YES)、発話判定閾値(後述参照)をα1に決定する(S22−2)。
一方、接客発話評価値算定部332は、騒音レベルが所定値x[dB]を超える場合には(S22−1、NO)、騒音レベルが所定値y(>x)[dB]以下であるか否かを判定する(S22−3)。接客発話評価値算定部332は、騒音レベルが所定値y[dB]以下であると判定した場合には(S22−3、YES)、発話判定閾値(後述参照)をα2に決定する(S22−4)。一方、接客発話評価値算定部332は、騒音レベルが所定値y[dB]を超えると判定した場合には(S22−3、NO)、発話判定閾値(後述参照)をα3に決定する(S22−5)。
次に、図15に示す接客キーワードの発話判定処理(ステップS23参照)の動作手順の詳細について、図17を参照して説明する。図17は、接客キーワードの発話判定処理の動作手順の一例を説明するフローチャートである。
図17において、接客発話評価値算定部332は、検出状態のフラグを「0」に設定する(S23−1)。検出状態のフラグとは、接客イベントにおいて店員が発話する可能性が高い又は発話するべき模範的な発話想定キーワード(図22(A)参照)が発話された状態を示す情報である。
接客発話評価値算定部332は、ステップS21において取得した音声データを接客発話評価値算定部332の音声認識エンジン(不図示)に入力し(S23−2)、更に、接客イベントIDに対応する全ての発話想定キーワードとそれぞれの発話想定キーワードを識別するキーワードIDとの組を管理サーバ2の管理DB2aの接客発話評価DBから取得する(S23−3)。
接客発話評価値算定部332は、音声認識エンジンによる音声認識結果に、ステップS23−3で取得された発話想定キーワードが含まれるか否かを判定する(S23−4)。音声認識エンジンによる音声認識結果に発話想定キーワードが含まれないと判定された場合には(S23−4、NO)、図17に示す接客発話評価値算定部332の処理は終了する。
一方、接客発話評価値算定部332は、音声認識エンジンによる音声認識結果に、ステップS23−3で取得された発話想定キーワードが含まれると判定した場合には(S23−4、YES)、音声認識処理結果の評価値がステップS22−2、ステップS22−4又はステップS22−5において決定された発話判定閾値(α1,α2,α3のうちいずれか)以上であるか否かを判定する(S23−5)。音声認識処理結果の評価値が発話判定閾値(α1,α2,α3のうちいずれか)未満であると判定された場合には(S23−5、NO)、図17に示す接客発話評価値算定部332の処理は終了する。
一方、接客発話評価値算定部332は、音声認識処理結果の評価値が発話判定閾値(α1,α2,α3のうちいずれか)以上であると判定した場合には(S23−5、YES)、検出状態のフラグを「1」に設定変更し(S23−6)、ステップS21において取得した音声データを、発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新して上書き保存する(S23−7)。発話部分の前後に余計なノイズ音が入っている場合であっても、キーワードの発話部分のみを切り取ることにより、その前後に入っているノイズ音はカットされるので、音声認識の精度が向上し、後続のステップS25におけるスコアリング処理の精度も確保される。
次に、図15に示すスコアリング処理(ステップS25参照)の動作手順の詳細について、図18を参照して説明する。図18は、スコアリング処理の動作手順の一例を説明するフローチャートである。
図18において、接客発話評価値算定部332は、ステップS23−7において更新された音声データを用いて、発話長さ判定処理を行い(S25−1)、更に、周波数特性判定処理を行う(S25−2)。更に、接客発話評価値算定部332は、発話長さ判定処理及び周波数特性判定処理の結果としてのスコアリングデータ(具体的には、ステップS23−7において更新された音声データから検出されたキーワードと同じ発話想定キーワードを識別するキーワードIDと接客発話評価値との組)をメモリ32に保持する(S25−3)。
次に、図18に示す発話長さ判定処理(ステップS25−1参照)及び周波数特性判定処理(ステップS25−2参照)の動作手順の詳細について、図19(A)及び(B)を参照して説明する。図19(A)は、発話長さの判定処理の動作手順の一例を説明するフローチャートである。図19(B)は、周波数特性の判定処理の動作手順の一例を説明するフローチャートである。
図19(A)において、接客発話評価値算定部332は、管理サーバ2の管理DB2aの接客発話評価DBを参照し、ステップS21において取得した接客イベントIDに対応する接客発話モデルIDにより特定されるモデル音声データを管理サーバ2の管理DB2aから取得する(S31)。モデル音声データは、所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データの一例である。接客発話評価値算定部332は、ステップS23−7において更新された音声データ(例えば店員の発話部分)の長さが模範的な所定範囲内であるか否かを判定する(S32)。
図20は、モデル音声データを用いた発話長さの判定処理の具体例を示す図である。図20では、横軸は時間を示し、例えば「入店挨拶」の接客イベントにおいて発話される「いらっしゃいませ」の模範的な所定範囲の音声の発話長さl0の「いらっしゃいませ」と、所定範囲を超える音声の発話長さl1の「いらっしゃいませ」(図20に示すNo.1参照)及び発話長さl2の「いらっしゃいませ」(図20に示すNo.2参照)とが示されている。
接客発話評価値算定部332は、ステップS23−7において更新された音声データの発話長さがモデル音声データの発話長さ(発話長さl0)より所定範囲(例えば10%)内を超える場合(例えば図20に示すNo.1及びNo.2参照)には(S32、NO)、接客発話評価値から所定点数を減点する(S34)。
例えば図20に示すNo.1のケースでは、発話された「いらっしゃいませ」の発話長さがモデル音声データの「いらっしゃいませ」の発話長さより所定範囲ほど短く、この場合には、接客発話評価値算定部332は、所定点数として、「100×(0.9l0−l1)/l0」を減点する。l1は、図20に示すNo.1のケースで発話された「いらっしゃいませ」の発話長さを示す。より具体的には、モデル音声データの「いらっしゃいませ」の発話長さが1秒で、所定範囲がモデル音声データの「いらっしゃいませ」の発話長さの±10%であると、図20に示すNo.1のケースで発話された「いらっしゃいませ」の発話長さが0.9秒〜1.1秒の間であれば減点はされないが、例えば0.7秒であった場合には、20点(=100×(0.9×1秒−0.7秒))が減点される。
また、例えば図20に示すNo.2のケースでは、発話された「いらっしゃいませ」の発話長さがモデル音声データの「いらっしゃいませ」の発話長さより所定範囲ほど長く、この場合には、接客発話評価値算定部332は、所定点数として、「100×(l2−1.1l0)/l0」を減点する。l2は、図20に示すNo.2のケースで発話された「いらっしゃいませ」の発話長さを示す。より具体的には、モデル音声データの「いらっしゃいませ」の発話長さが1秒で、所定範囲がモデル音声データの「いらっしゃいませ」の発話長さの±10%であると、図20に示すNo.2のケースで発話された「いらっしゃいませ」の発話長さが0.9秒〜1.1秒の間であれば減点はされないが、例えば1.3秒であった場合には、20点(=100×(1.3秒−1.1×1秒))が減点される。
一方、接客発話評価値算定部332は、ステップS23−7において更新された音声データの発話長さがモデル音声データの発話長さ(発話長さl0)より所定範囲(例えば10%)内を超えない場合(S32、YES)又はステップS34の後、スコアリングデータ(具体的には、ステップS23−7において更新された音声データの中で検出したキーワードを識別するキーワードIDとステップS34で減点された後若しくはステップS34で減点されなかった初期値(例えば100点)である接客発話評価値との組)をメモリ32に保持する(S33)。
図19(B)において、接客発話評価値算定部332は、管理サーバ2の管理DB2aの接客発話評価DBを参照し、ステップS21において取得した接客イベントIDに対応する接客発話モデルIDにより特定されるモデル音声データを管理サーバ2の管理DB2aから取得する(S41)。接客発話評価値算定部332は、ステップS23−7において更新された音声データの音素(一つ一つの言葉の音)毎の周波数特性(例えば周波数)が模範的な音素毎の基本周波数から所定範囲内であるか否かを判定する(S42)。
図21は、モデル音声データの各音素の基本周波数を用いた周波数特性の判定処理の具体例を示す図である。図21では、横軸は時間を示し、点線の丸はモデル音声データの各音素の基本周波数f1〜f7を示し、実線の丸はステップS23−7において更新された音声データの各音素の周波数f’1〜f’7を示し、例えば「入店挨拶」の接客イベントにおいて発話される「いらっしゃいませ」の模範的な音素の基本周波数f1〜f7毎の所定範囲(図21に示す直線型の各実線矢印参照)とが示されている。
接客発話評価値算定部332は、ステップS23−7において更新された音声データの音素毎に、各音素の周波数特性(例えば周波数)がモデル音声データの各音素の周波数特性毎の所定範囲(例えば60[Hz])内を超えると判定した場合には(S42、NO)、所定範囲を超えた音素の数に応じて、接客発話評価値から所定点数を減点する(S44)。
例えば図21に示すケースでは、音素「ら」と音素「ま」の周波数f’1,f’6が対応する各基本周波数f1,f6毎の所定範囲を超えているので、接客発話評価値算定部332は、周波数差分(例えば|f1−f’1|)が60[Hz]から120[Hz]であれば5点を該当する音素毎に減点し、周波数差分(例えば|f1−f’1|)が120[Hz]を超えるなら10点を該当する音素毎に減点する。なお、地域や業界によっては発話想定キーワードの語尾が上げ調子で発話されることが好ましい場合もあるので(図21に示す一点鎖線参照)、例えば語尾又は語尾を含む所定数個の音素に対しては、基本周波数の値が増加されて使用されてもよい。
一方、接客発話評価値算定部332は、ステップS23−7において更新された音声データの音素毎に、各音素の周波数特性(例えば周波数)がモデル音声データの各音素の周波数特性毎の所定範囲(例えば60[Hz])内を超えないと判定した場合には(S42、YES)又はステップS44の後、スコアリングデータ(具体的には、ステップS23−7において更新された音声データの中で検出したキーワードを識別するキーワードIDとステップS44で減点された後若しくはステップS44で減点されなかった初期値(例えば100点)である接客発話評価値との組)をメモリ32に保持する(S43)。
図22(A)は、接客発話評価DBの一部を構成する発話想定キーワード表の一例を示す図である。図22(B)は、接客発話評価DBの一部を構成する接客発話モデルの一覧表の一例を示す図である。
図22(A)に示す発話想定キーワード表は、接客イベントIDと、接客イベント名と、キーワードIDと、発話想定キーワードと、接客発話モデルIDとの各項目に対応するデータが規定される。キーワードIDは、発話想定キーワードを識別する。接客発話モデルIDは、図22(B)に示すように、モデル音声データと対応付けられる。図22(A)に示すように、1つの接客発話モデルIDに対応して1つ以上の発話想定キーワードが規定されてもよい(図22(A)に示す接客イベントID「EID2」のレコード参照)。
次に、本実施形態の接客モニタリングシステム100,100A,100B,100Cにおける接客状況DBの閲覧処理又は修正処理の動作手順について、図23を参照して説明する。図23は、限定された閲覧者による閲覧処理又は接客発話評価値の修正処理の動作手順の一例を示すフローチャートである。
図23において、例えば表示装置35に表示された接客状況閲覧画面へのログイン画面WD1(図27参照)において、接客状況DBの閲覧要求者の入力操作(例えば指FGによるタッチ操作)により、ログインID及びパスワードが入力され、ログインボタンLGIが押下される(S51)。また、接客評価装置3は、管理サーバ2の管理DB2aの閲覧者DB(図26(A)参照)を参照し、閲覧要求者により入力された情報(具体的には図27のログイン画面WD1において入力されたパスワード)から、アクセス権、権限レベル、パスワードを取得する(S51)。図26(A)は、閲覧者DBの一例を示す図である。図26(B)は、接客者DBの一例を示す図である。
図26(A)に示す閲覧者DBは、閲覧者IDと、パスワードと、閲覧者権限と、権限レベルの各項目に対するデータの種類、種別がそれぞれ規定されている。閲覧者権限には、閲覧操作及び修正操作の両方が可能な権限と、閲覧操作のみ可能な権限との2種類が規定されている。パスワードは、例えば実際に入力されるパスワードでもよいし、入力されるパスワードのハッシュ値(ダイジェスト)でもよい。
図26(B)に示す接客者DBは、店員の識別情報を示す接客者IDと、店舗の識別情報を示す店舗IDと、店員の氏名の各項目に対するデータの種類、種別がそれぞれ規定されている。
図27は、接客モニタリングシステムにおける閲覧対象となる接客状況DBへのログイン画面の一例を示す図である。接客評価装置3は、ステップS51においてログイン画面に入力した閲覧要求者が閲覧者DBに規定される閲覧操作のアクセス権があって、かつパスワードが一致したか否かを判定する(S52)。閲覧操作のアクセス権が無い又はパスワードが一致しないと判定された場合には(S52、NO)、図23に示す接客評価装置3の処理は終了する。
一方、接客評価装置3は、閲覧者DBに規定される閲覧操作のアクセス権があって、かつパスワードが一致したと判定した場合には(S52、YES)、管理サーバ2の管理DB2aの接客状況DBにアクセスし、例えば1日単位の顧客(来店客)に対する全店員の接客発話評価値の集計結果を接客状況表示画面WD2(図28参照)として表示装置35に表示させる(S53)。
図28は、1日単位の来店客に対する全接客者の接客発話評価値の集計結果の一例を接客状況表示画面WD2として示す図である。図28では、来店した顧客に対して検出された接客イベントの件数が255であり、そのうち入店挨拶の接客イベントの中で「いらっしゃいませ」の発話想定キーワードの発話が実行された件数が230で全件数255に比べた割合が90%であり、退店挨拶の接客イベントの中で「ありがとうございました」の発話想定キーワードの発話が実行された件数が195で全件数255に比べた割合が76%であることが示されている。
また、図28では、来店した顧客に対してレジ応対に関する接客イベントが検出された件数が180であり、そのうちポイントカードの確認漏れ(つまり、ポイントカードの提示を促すための接客イベントが検出されなかったこと)の件数が8で、全件数180に比べた割合が4%であり、店員のポイントカード確認によって顧客のポイントカードが提示された提示率が10%であることが示され、更に、温め確認漏れ(つまり、お弁当を電子レンジにおいて温めることを確認するための接客イベントが検出されなかったこと)の件数が3で、全件数180に比べた割合が2%であることが示されている。
なお、接客評価装置3の出力部34は、所定の入力操作に応じて、1日単位ではなく、1週間単位や1カ月単位に切り替えて図28に示す各項目のデータを集計して再表示してもよい。
図28に示す接客状況表示画面WD2において、ログアウトボタンLGOがユーザ(閲覧操作の権限レベルを有する者)の指FGによりタッチ操作で選択された場合には(S54、YES)、接客評価装置3の出力部34は、表示装置35において表示されている全ての閲覧画面を閉じる(クローズする)(S55)。一方、ログアウトボタンLGOが選択されない場合には(S54、NO)、図28に示す接客状況表示画面WD2の詳細表示ボタンIDTが選択され、かつ該当するアクセス権(修正操作が可能な権限レベルL1)があると判定された場合には(S56、YES)、接客評価装置3の出力部34は、図28に示す接客状況表示画面WD2から図32に示す詳細表示画面WD7に切り替えて表示装置35に表示させる(S57)。ステップS57の後、接客評価装置3において、接客発話評価値修正処理が行われる(S58)。図32は、接客状況DBの詳細表示画面WD7に表示された各レコードの具体例を示す図である。
一方、接客状況表示画面WD2の詳細表示ボタンIDTが選択されず、該当するアクセス権が無い、又はステップS58の後、図23に示す接客評価装置3の処理はステップS54に戻る。
次に、図23に示す接客発話評価値修正処理(ステップS58参照)の詳細について、図24及び図25を参照して説明する。図24は、接客発話評価値の修正処理の詳細な動作手順の一例を説明するフローチャートである。図25は、図24に示す接客発話評価値の修正処理の詳細な動作手順の続きを説明するフローチャートである。
図24において、図32に示す詳細表示画面WD7が表示装置35に表示された状態で、例えばユーザ(修正要求者)が修正したい接客状況データID(図33参照)のレコードRC1がユーザの指FGにより指定される(S58−1)。図33は、接客状況DBの詳細表示画面WD7に表示された特定のレコードRC1の接客発話評価値の修正操作の一例を示す図である。
接客評価装置3の接客発話評価部33は、出力部34を介して管理サーバ2の管理DB2aの接客状況DBにアクセスし、ステップS58−1において指定された接客イベントIDに対応するイベント開始時刻及びイベント終了時刻を抽出し、更に、イベント開始時刻及びイベント終了時刻に対応する映像データ及び音声データをレコーダ装置4より取得して出力部34に渡す(S58−2)。
また、出力部34は、詳細表示画面WD7から図35に示す接客状況プレビュー画面WD8に切り替えて表示装置35に表示させ、取得した映像データを表示装置35において出力(再生)しながら、音声データをスピーカ装置36から出力させる(S58−2)。図35は、接客状況プレビュー画面における接客位置の修正操作の一例を示す図である。
なお、図5に示す接客モニタリングシステム100Cであれば、接客発話評価部33は、接客状況データIDに対応する接客者位置のデータを接客状況DBから取得し、音声データとともに指向性制御部37に渡す。指向性制御部37は、音声データと接客者位置のデータとを用いて、接客状況データIDに対応する接客者IDの店員を最も近くで収音するマイクアレイ装置から店員に向かう方向に音声の指向性を形成して出力部34に渡す(S58−2)。
ステップS58−2の後、接客発話評価部33は、図35に示す接客状況プレビュー画面WD8の位置変更ボタンが選択可能にアクティブ状態であって、ユーザ(修正要求者)の指FGにより接客状況プレビュー画面WD8の停止ボタンが選択され、かつユーザ(修正要求者)に該当するアクセス権(修正操作が可能な権限レベルL1)があるか否かを判定する(S58−3)。なお、図5に示す接客モニタリングシステム100Cを除く図2から図4に示す接客モニタリングシステム100,100A,100Bでは、マイクアレイ装置が使用されないので、図35に示す接客状況プレビュー画面WD8の位置変更ボタンは選択不可状態(非アクティブ状態)である。
接客状況プレビュー画面WD8の位置変更ボタンが非アクティブ状態である場合、ユーザ(修正要求者)の指FGにより接客状況プレビュー画面WD8の停止ボタンが選択されない場合又はユーザ(修正要求者)に該当するアクセス権が無い場合には、いずれもステップS58−8(図25参照)に進む。
一方、接客状況プレビュー画面WD8の位置変更ボタンが選択可能なアクティブ状態であって、ユーザ(修正要求者)の指FGにより接客状況プレビュー画面WD8の停止ボタンが選択され、かつ該当するアクセス権(修正操作が可能な権限レベルL1)があると判定された場合には(S58−3、YES)、接客状況プレビュー画面WD8上でユーザ(修正要求者)の指FGにより指向方向が指定されると(S58−4)、指向性制御部37は、ステップS58−4において指定された方向に音声の指向性を形成するための指向方向を変更する(S58−5)。出力部34は、指向方向を変更した指向性形成後の音声データをスピーカ装置36から出力させる。この音声データはユーザ(修正要求者)によって確認される(S58−5)。
接客状況プレビュー画面WD8の位置変更ボタンがユーザ(修正要求者)の指FGにより選択されると(S58−6、YES)、接客発話評価部33は、図32に示す詳細表示画面WD7の接客者情報を、ステップS58−4において指定された指向方向の位置を示す座標(つまり、表示装置35に表示された画面上の位置を示す座標)に変更して表示装置35に表示させ、更に、接客状況DBの該当するレコードの接客者位置を変更(修正)して上書きして保存する(S58−7、図36参照)。図36は、接客状況DBの詳細表示画面に表示された特定のレコードの修正後の接客位置の座標の一例を示す図である。図36では、例えば接客状況データID「4」のレコードの接客者位置(プリセット外)の任意座標(つまり、指向方向が変更された表示装置35の画面上の指定位置を示す座標)のセルCL2が変更されていることが示されている。
一方、接客状況プレビュー画面WD8の位置変更ボタンがユーザ(修正要求者)の指FGにより選択されない場合には(S58−6、NO)、図24に示す接客発話評価値修正処理はステップS58−4に戻る。
ステップS58−7の後、図25において、接客発話評価部33は、表示装置35により表示された詳細表示画面WD7(図32参照)上でユーザ(修正要求者)の指FGにより選択された接客状況データID(ステップS58−1参照)のレコードの接客発話評価値のセルCL1(図34参照)がダブルタップされ、かつ該当するアクセス権(修正操作が可能な権限レベルL1)があるか否かを判定する(S58−8)。図34は、接客状況DBの詳細表示画面WD7に表示された特定のレコードの修正後の接客発話評価値の一例を示す図である。
詳細表示画面WD7上でユーザ(修正要求者)の指FGにより選択された接客状況データIDのレコードの接客発話評価値のセルCL1がダブルタップされない場合、又は該当するアクセス権が無い場合には(S58−8、NO)、図25に示す接客発話評価値修正処理は終了し、接客評価装置3の処理はステップS54に戻る。
一方、詳細表示画面WD7(図32参照)上でユーザ(修正要求者)の指FGにより選択された接客状況データID(ステップS58−1参照)のレコードの接客発話評価値のセルCL1がダブルタップされ、かつ該当するアクセス権(修正操作が可能な権限レベルL1)があると判定された場合には(S58−8、YES)、例えば修正要求者の指FGを用いた操作により、ダブルタップされたセルCL1の接客発話評価値が修正(変更)された場合には(S58−9、YES)、接客発話評価部33は、修正(変更)された接客発話評価値(図34参照)を接客状況DBに上書きして保存(格納)する(S58−10)。
また、修正要求者の指FGを用いた操作により、ダブルタップされたセルCL1の接客発話評価値が修正(変更)されない場合には(S58−9、NO)、図25に示す接客発話評価値修正処理は終了し、接客評価装置3の処理はステップS54に戻る。
図29は、1日の時間帯における来店客に対する全接客者の接客発話評価値の集計結果の一例を示す図である。図30(A)は、1日の時間帯毎の1人の接客者の接客発話評価
値の集計結果の一例を示す図である。図30(B)は、1日の接客者毎の接客発話評価値の集計結果の一例を示す図である。図31は、1日の店舗毎の接客発話評価値の集計結果の一例を示す図である。
また、接客評価装置3の出力部34は、ユーザ(つまり、少なくとも図26(A)に示す権限レベルL1を有する者)の所定の入力操作により、図28に示す接客状況表示画面WD2から、図29に示す接客状況表示画面WD3に切り替えて表示装置35に表示させてもよい。図29では、横軸には1日の時刻が示され、縦軸には来店者(顧客)の数(黒棒参照)とその顧客に対して店員が挨拶することができた件数(言い換えると、接客イベント名「入店挨拶」が店員により適正に実行された件数、白棒参照)が示されている。
また、接客評価装置3の出力部34は、ユーザ(つまり、少なくとも図26(A)に示す権限レベルL1を有する者)の所定の入力操作により、図29に示す接客状況表示画面WD3から、図30(A)に示すように、特定の時間帯に限定した接客状況表示画面WD4に切り替えて表示装置35に表示させてもよい。図30(A)では、横軸には1日の時刻が示され、縦軸には来店者(顧客)の数(黒棒参照)とその顧客に対して店員が挨拶することができた件数(言い換えると、接客イベント名「入店挨拶」が店員により適正に実行された件数、白棒参照)が示されている。
また、接客評価装置3の出力部34は、ユーザ(つまり、少なくとも図26(A)に示す権限レベルL1を有する者)の所定の入力操作により、図28に示す接客状況表示画面WD2から、図30(B)に示す接客状況表示画面WD5に切り替えて表示装置35に表示させてもよい。図30(B)では、1日単位で、店員(例えば4人)毎の挨拶率と平均スコアとレジ対応人数とが対比的に示されている。なお、接客評価装置3の出力部34は、所定の入力操作に応じて、1日単位ではなく、1週間単位や1カ月単位に切り替えて図30(B)に示す各項目のデータを集計して再表示してもよい。
また、接客評価装置3の出力部34は、ユーザ(つまり、少なくとも図26(A)に示す権限レベルL1を有する者)の所定の入力操作により、図28に示す接客状況表示画面WD2から、図31に示す接客状況表示画面WD6に切り替えて表示装置35に表示させてもよい。図31では、1日単位で、店舗(例えば4個)毎の顧客の来店数と挨拶率と平均スコアとレジ対応人数とが対比的に示されている。なお、接客評価装置3の出力部34は、所定の入力操作に応じて、1日単位ではなく、1週間単位や1カ月単位に切り替えて図31に示す各項目のデータを集計して再表示してもよい。
以上により、本実施形態の接客モニタリングシステム100,100A,100B,100Cは、所定の接客イベント毎の接客イベント判定条件を含む接客イベント情報DB(接客イベントデータ)とPOS端末5(所定の業務端末)に対する店員(従業員)のPOS端末5の操作履歴を示すPOS操作履歴データとを基に、店員の接客イベントを検出し、モニタリングデータ4a又はモニタリングデータ4bに含まれる店員の音声データを基に、POS端末5の操作時における所定の発話キーワードに対応する接客発話評価値を算定する。また、接客モニタリングシステム100,100A,100B,100Cは、算定された接客発話評価値を、接客者ID(店員の識別情報)と接客者位置(店員の接客位置)及び接客時刻により特定される店員の音声データに対応付けて記憶する。
これにより、接客モニタリングシステム100,100A,100B,100Cは、従来技術のように調査員のような人的リソースを用いること無く、接客される顧客のプライバシーを広範に保護した上で、所定の収音領域(例えば店舗)内の顧客に対する各種の接客イベント時における該当接客者(従業員)の接客発話の監視により、該当接客者の接客発話内容の客観性を接客発話評価値として得ることができ、従業員の顧客に対する接客状況を的確かつ客観的に評価することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、第2記憶部であるレコーダ装置4に記憶される従業員の音声データに顧客のプライバシー保護を示す所定情報を示すデータ(つまり、プライバシー保護マーク)が付与されている場合には従業員の接客イベントの検出を省略するので、顧客が介在するような接客イベントを除外することで、接客イベントの検出の際に顧客のプライバシーを一層明確に保護することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、所定の接客イベント毎の発話想定キーワードを含む接客発話評価DBの発話想定キーワード表(キーワードデータ)を管理サーバ2の管理DB2aにおいて更に記憶し、店員の音声データに接客イベントに対応する発話想定キーワードが含まれていない場合には接客発話評価値をゼロに設定し又は接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを発話しない店員に対する接客状況を正確に評価することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、所定の接客イベント毎の発話想定キーワードを含む接客発話評価DBの発話想定キーワード表(キーワードデータ)を管理サーバ2の管理DB2aにおいて更に記憶し、店員の音声データに接客イベントに対応する発話想定キーワードが含まれている場合には店員の音声データを発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新し上書き保存するので、不要なノイズ音をカットしてスコアリング処理精度を向上できるとともに、店員の音声データの容量を低減することができる。さらに、正確な接客発話評価値の算定に資することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、所定の接客イベント毎の発話想定キーワードの音声データを含む接客発話評価DBの接客発話モデル一覧表(キーワード音声データ)を管理サーバ2の管理DB2aにおいて更に記憶し、更新された店員の音声データの発話想定キーワードの発話長さがキーワード音声データの発話想定キーワードの発話長さから所定範囲を超える場合に、接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な発話長さから逸脱して発話した店員に対する接客状況を正確に評価することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、所定の接客イベント毎の発話想定キーワードの音声データを含む接客発話評価DBの接客発話モデル一覧表(キーワード音声データ)を管理サーバ2の管理DB2aにおいて更に記憶し、更新された店員の音声データの発話想定キーワードの音素毎の周波数がキーワード音声データの発話想定キーワードの音素毎の基本周波数から所定範囲を超える場合に接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な基本周波数から逸脱して発話した店員に対する接客状況を正確に評価することができる。
また、接客モニタリングシステム100Aは、店員に個々に装着される接客者マイク装置SM1,…,SMLにより収音される各店員の音声データと接客イベントデータとを基に店員の接客イベントを検出するので、接客者マイク装置以外のマイク装置(例えば天井面に設置されたマイクロホン)と店員とが離れている場合に比べて、店員の音声を明瞭に収音することができ、入店挨拶のような接客イベントを正確に検出することができる。
また、接客モニタリングシステム100B,100Cは、カメラ装置C1,…,CMの撮像により得られた所定の収音領域(例えば店舗)の既定位置の映像データをモニタリングデータ4bとしてレコーダ装置4において更に記憶し、この映像データを基に店員の接客イベントを検出するので、所定の収音領域(例えば店舗)の会計開始挨拶の接客イベントが行われるPOS端末5の付近を既定位置とする映像データを画像処理することで、会計開始挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。
また、接客モニタリングシステム100B,100Cは、センサ装置S1,…,SNにより得られた所定の収音領域における顧客の登場又は退場(例えば店舗への顧客の入店又は退店)の検出結果をモニタリングデータ4bとしてレコーダ装置4において更に記憶し、この検出結果を基に店員の接客イベントを検出するので、所定の収音領域(例えば店舗)の入退店挨拶の接客イベントが行われる動機を与えるセンサ装置(例えば開閉する自動ドア)の検出結果に応じて、入退店挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。
また、接客モニタリングシステム100Cは、マイクアレイ装置AM1,…,AMLのうちいずれかから所定の指向方向(例えば店員(従業員)の接客時の定位置(例えばレジカウンター)など)に音声の指向性を形成した店員の音声データを基に接客発話評価値を算定する時に、店員(従業員)の音声が強調されるので、指向性が形成されない場合に比べて、接客発話評価値の算定精度を向上することができ、店員に対する接客発話評価値を正確に算定することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、接客イベント毎の接客発話評価値の表示装置35における接客状況DBの詳細表示画面WD7(接客発話評価値表示画面)の閲覧操作の権限情報を含む権限レベル(権限データ)を管理サーバ2の管理DB2aの閲覧者DBにおいて更に記憶し、接客発話評価値表示画面の閲覧要求者(ユーザ)の権限情報が権限データに含まれる閲覧操作の権限情報を満たす場合に、接客発話評価値表示画面を表示装置35に表示させることができる。
また、接客モニタリングシステム100,100A,100B,100Cは、接客状況DBの詳細表示画面WD7(接客発話評価値表示画面)に対する接客発話評価値の修正操作の権限情報を権限データとして更に含み、接客発話評価値の修正要求者(ユーザ)の権限情報が権限データに含まれる修正操作の権限情報を満たす場合に、接客発話評価値の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新(修正)することができる。
また、接客モニタリングシステム100B,100Cは、カメラ装置C1,…,CMの撮像により得られた所定の収音領域の既定位置の映像データをモニタリングデータ4bとしてレコーダ装置4において更に記憶し、閲覧操作及び修正操作の両方の権限情報を有するユーザの操作によって映像データを出力している間の店員の接客イベントの接客位置の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新(修正)することができる。
また、接客モニタリングシステム100,100A,100B,100Cは、少なくとも閲覧操作の権限情報を有するユーザによる所定の入力操作に応じて、接客発話評価値表示画面の接客イベント毎の接客発話評価値を所定項目毎に対比的に表示装置35に表示させることができ、所定項目毎の比較を簡易に行うことができる。
なお、本実施形態において、図6に示すステップS2のシフト処理は、モニタリングデータ4aを切り取るための起点となる切り取り開始時刻を所定時間tsシフトする方法に限定されない。シフト処理のバリエーションについて、図39〜図41を参照して説明する。図39は、モニタリングデータ4aの切り出し処理のバリエーションの一例を示す説明図である。図40は、接客イベント情報処理の詳細な動作手順の他の一例を説明するフローチャートである。図41は、接客発話評価DBの一部を構成する接客イベントごとの発話想定区間表の一例を示す図である。なお、図40の説明では、図9に示すそれぞれの処理と同一の処理については同一のステップ番号を付与して説明を簡略化又は省略する。
例えば図38と同様に、図39に示すモニタリングデータ4aに、時刻t1に会計完了操作が発生したことを示すPOS操作履歴データと、時刻t2から時刻t3にわたって店員が「ありがとうございました」と発話した音声データとが記憶されている場合を想定する。この場合、図38を参照して説明したシフト処理を用いると、接客評価装置3のモニタリングデータ抽出部38は、モニタリングデータ4aの先頭から所定時間間隔分(つまり、切り取り範囲RG0)の音声データとPOS操作履歴データとを切り取ったモニタリングデータ4a1を抽出する。但し、図38と同様にモニタリングデータ4a1には、会計完了操作に対応する店員の音声データが含まれていないため、接客イベントの検出ができず、正確な接客評価が不可である。
そこで、接客評価装置3のモニタリングデータ抽出部38は、図40に示すステップS14の後、図41に示す発話想定区間表を参照し、接客イベントIDに対応した発話想定区間に関する情報を取得し、モニタリングデータ4a1から、切り取るべき音声データの範囲を変更してモニタリングデータ4a2’を再取得する(図40に示すS14−1)。ステップS14−1以降の処理は、図9に示すステップS15以降の処理と同一であるため、説明を省略する。
ここで、ステップS14−1の詳細について、図41を参照して説明する。図41に示す発話想定区間表には、接客イベントIDと、接客イベント名と、発話想定区間とが対応付けられている。例えば接客イベントIDが「EID1」の「会計完了挨拶」である場合には、店員が発話すると想定される区間は、その接客イベント(つまり、会計完了挨拶)が検出された時点から10秒間である。従って、接客評価装置3のモニタリングデータ抽出部38は、接客イベントIDを基に、モニタリングデータ4aの音声データを切り取るための起点となる切り取り開始時刻を、接客イベント(例えば会計完了挨拶)の検出時である時刻t1に変更し、時刻t1から10秒間の音声データを切り取り範囲RG1の音声データとして再取得する。これにより、接客評価装置3のモニタリングデータ抽出部38は、1回目に取得したモニタリングデータ4a1を、モニタリングデータ4a2’にアップデートするので、接客イベント時に店員が発話する音声の区間に相当する音声データが得られ、接客イベントの検出精度が向上する。
また、図41に示すように、音声データの切り取り範囲は、接客イベント毎に異なり、接客イベントIDが「EID2」の「会計開始挨拶」では、接客イベント(つまり、会計開始挨拶)が検出された時点を起点とした前後5秒間にわたる計10秒間である(例えば図39に示す切り取り範囲RG3参照)。
また、接客イベントIDが「EID3」の「入店挨拶」では、音声データの切り取り範囲は、接客イベントIDが「EID1」の「会計完了挨拶」と同様に、接客イベント(つまり、入店挨拶)が検出された時点から10秒間である。更に、接客イベントIDが「EID4」の「退店挨拶」では、音声データの切り取り範囲は、接客イベント(つまり、退店挨拶)が検出された時点から10秒前の期間である(例えば図39に示す切り取り範囲RG2参照)。
これにより、接客評価装置3のモニタリングデータ抽出部38は、検出された接客イベントIDに応じた接客イベント時の店員の発話音声が含まれると想定される音声区間に関する情報を発話想定区間表として保持でき、これを利用することで、接客イベント毎に店員が発話した最適な音声区間の音声データをモニタリングデータとして切り取って抽出することができ、正確な接客評価を行うことができる。
最後に、本発明に係る接客モニタリングシステム及び接客モニタリング方法の構成、作用、効果について説明する。
本発明の一実施形態は、所定の収音領域における従業員の音声を収音する収音部と、所定の接客イベント毎の判定条件を含む接客イベントデータを記憶する第1記憶部と、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて記憶する第2記憶部と、前記第1記憶部に記憶される前記接客イベントデータと前記第2記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出する検出部と、前記検出部により検出された前記接客イベントにおいて、前記第2記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する算定部と、前記算定部により算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する出力部と、を備える、接客モニタリングシステムである。
この構成では、接客モニタリングシステムは、所定の接客イベント毎の判定条件を含む接客イベントデータと所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データとを基に、従業員の接客イベントを検出し、検出された接客イベントにおける従業員の音声データを基に、業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する。また、接客モニタリングシステムは、算定された接客発話評価値を、従業員の識別情報と従業員の接客位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する。
これにより、接客モニタリングシステムは、従来技術のように調査員のような人的リソースを用いること無く、接客される顧客のプライバシーを広範に保護した上で、所定の収音領域(例えば店舗)内の顧客に対する各種の接客イベント時における該当接客者(従業員)の接客発話の監視により、該当接客者の接客発話内容の客観性を接客発話評価値として得ることができ、従業員の顧客に対する接客状況を的確かつ客観的に評価することができる。
また、本発明の一実施形態は、前記検出部は、前記第2記憶部に記憶される前記従業員の音声データに顧客のプライバシー保護を示す情報が含まれる場合に、前記従業員の前記接客イベントの検出を省略する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、収音により得られた従業員の音声データに顧客のプライバシー保護を示す所定情報(つまり、プライバシー保護マーク)が含まれる場合には従業員の接客イベントの検出を省略するので、顧客が介在するような接客イベントを除外することで、接客イベントの検出の際に顧客のプライバシーを一層明確に保護することができる。
また、本発明の一実施形態は、前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータを更に記憶し、前記算定部は、前記第2記憶部に記憶される前記従業員の音声データに、前記検出部により検出された前記接客イベントに対応する前記発話想定キーワードが含まれていない場合に、前記接客発話評価値をゼロに設定し又は前記接客発話評価値から所定点数を減点する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードを含むキーワードデータが更に記憶され、従業員の音声データに接客イベントに対応する発話想定キーワードが含まれていない場合には接客発話評価値をゼロに設定し又は接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを発話しない従業員に対する接客状況を正確に評価することができる。
また、本発明の一実施形態は、前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータを更に記憶し、前記算定部は、前記第2記憶部に記憶される前記従業員の音声データに、前記検出部により検出された前記接客イベントに対応する前記発話想定キーワードが含まれている場合に、前記第2記憶部に記憶される前記従業員の音声データを前記発話想定キーワードの音声データに更新する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードを含むキーワードデータが更に記憶され、従業員の音声データに接客イベントに対応する発話想定キーワードが含まれている場合には従業員の音声データを発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新し上書き保存するので、従業員の音声データの容量を低減することができる。さらに、正確な接客発話評価値の算定に資することができる。
また、本発明の一実施形態は、前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データを更に記憶し、前記算定部は、更新された前記従業員の音声データの前記発話想定キーワードの発話長さが前記第1記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの発話長さから第1所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データが更に記憶され、更新された従業員の音声データの発話想定キーワードの発話長さがキーワード音声データの発話想定キーワードの発話長さから第1所定範囲を超える場合に、接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な発話長さから逸脱して発話した従業員に対する接客状況を正確に評価することができる。
また、本発明の一実施形態は、前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データを更に記憶し、前記算定部は、更新された前記従業員の音声データの前記発話想定キーワードの音素毎の周波数が前記第1記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの音素毎の基本周波数から第2所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、
接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データが更に記憶され、更新された従業員の音声データの発話想定キーワードの音素毎の周波数がキーワード音声データの発話想定キーワードの音素毎の基本周波数から第2所定範囲を超える場合に接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な基本周波数から逸脱して発話した従業員に対する接客状況を正確に評価することができる。
また、本発明の一実施形態は、前記収音部は、前記従業員に個々に装着されるマイク装置であり、前記検出部は、前記第1記憶部に記憶される前記接客イベントデータと前記マイク装置により収音された前記従業員の音声データとを基に、前記従業員の前記接客イベントを更に検出する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、従業員に個々に装着されるマイク装置(例えばピンマイク)により収音される従業員の音声データと接客イベントデータとを基に従業員の接客イベントを検出するので、ピンマイク以外の収音部(例えば天井面に設置されたマイクロホン)と従業員とが離れている場合に比べて、従業員の音声を明瞭に収音することができ、入店挨拶のような接客イベントを正確に検出することができる。
また、本発明の一実施形態は、前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、前記第2記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、前記検出部は、前記第2記憶部に記憶される前記所定の収音領域の既定位置における映像データを基に、前記従業員の前記接客イベントを検出する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、撮像部の撮像により得られた所定の収音領域の既定位置の映像データが更に記憶され、この映像データを基に従業員の接客イベントを検出するので、所定の収音領域(例えば店舗)の会計開始挨拶の接客イベントが行われるPOS端末の付近を既定位置とする映像データを画像処理することで、会計開始挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。
また、本発明の一実施形態は、前記所定の収音領域に対する顧客の登場又は退場を検出する顧客検出部と、を更に備え、前記第2記憶部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を更に記憶し、前記検出部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を基に、前記従業員の前記接客イベントを検出する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、顧客検出部により得られた所定の収音領域における顧客の登場又は退場(例えば店舗への顧客の入店又は退店)の検出結果が更に記憶され、この検出結果を基に従業員の接客イベントを検出するので、所定の収音領域(例えば店舗)の入退店挨拶の接客イベントが行われる動機を与える顧客検出部(例えば開閉する自動ドア)の検出結果に応じて、入退店挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。
また、本発明の一実施形態は、前記第2記憶部に記憶される前記従業員の音声データを基に、前記収音部から所定の指向方向に音声の指向性を形成する指向性制御部、を更に備え、前記算定部は、前記指向性制御部により前記音声の指向性が形成された前記従業員の音声データを基に、前記接客発話評価値を算定する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、収音部から所定の指向方向(例えば従業員(店員)の接客時の定位置(例えばレジカウンター)など)に音声の指向性を形成した従業員の音声データを基に接客発話評価値を算定する時に、従業員の音声が強調されるので、指向性が形成されない場合に比べて、従業員に対する接客発話評価値を正確に算定することができる。
また、本発明の一実施形態は、前記第1記憶部は、前記接客イベント毎に前記算定部により算定された前記接客発話評価値の表示部における接客発話評価値表示画面の閲覧操作の権限情報を含む権限データを更に記憶し、前記出力部は、前記接客発話評価値表示画面の閲覧要求者の権限情報が前記第1記憶部に記憶される前記権限データに含まれる前記閲覧操作の権限情報を満たす場合に、前記接客発話評価値表示画面を前記表示部に表示させる、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、接客イベント毎の接客発話評価値の表示部における接客発話評価値表示画面の閲覧操作の権限情報を含む権限データが更に記憶され、接客発話評価値表示画面の閲覧要求者(ユーザ)の権限情報が権限データに含まれる閲覧操作の権限情報を満たす場合に、接客発話評価値表示画面を表示部に表示させることができる。
また、本発明の一実施形態は、前記権限データは、前記接客発話評価値表示画面に対する前記接客発話評価値の修正操作の権限情報を含み、前記出力部は、前記接客発話評価値の修正要求者の権限情報が前記第1記憶部に記憶される前記権限データに含まれる前記修正操作の権限情報を満たす場合に、前記接客発話評価値の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、接客発話評価値表示画面に対する接客発話評価値の修正操作の権限情報が権限データに更に含まれ、接客発話評価値の修正要求者(ユーザ)の権限情報が権限データに含まれる修正操作の権限情報を満たす場合に、接客発話評価値の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新(修正)することができる。
また、本発明の一実施形態は、前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、前記第2記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、前記出力部は、前記第2記憶部に記憶される前記所定の収音領域の既定位置における映像データを出力している間に、前記検出部により検出された前記従業員の接客イベントの接客位置の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、撮像部の撮像により得られた所定の収音領域の既定位置の映像データが更に記憶され、閲覧操作及び修正操作の両方の権限情報を有するユーザの操作によって映像データを出力している間の従業員の接客イベントの接客位置の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新(修正)することができる。
また、本発明の一実施形態は、前記出力部は、所定の入力操作に応じて、前記接客発話評価値表示画面の前記接客イベント毎の前記接客発話評価値を所定項目毎に対比的に前記表示部に表示させる、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、少なくとも閲覧操作の権限情報を有するユーザによる所定の入力操作に応じて、接客発話評価値表示画面の接客イベント毎の接客発話評価値を所定項目毎に対比的に表示部に表示させることができ、所定項目毎の比較を簡易に行うことができる。
また、本発明の一実施形態は、前記第2記憶部に記憶される前記従業員の音声データを抽出する音声データ抽出部、を更に備え、前記第1記憶部には、前記接客イベント毎に前記従業員が発話すると想定される発話想定区間に関する情報が記憶され、前記音声データ抽出部は、前記発話想定区間に関する情報を用いて、前記検出部により検出された前記接客イベントに応じた前記発話想定区間に対応する前記従業員の音声データを抽出する、接客モニタリングシステムである。
この構成によれば、接客モニタリングシステムは、検出された接客イベントIDに応じた接客イベント時の店員の発話音声が含まれると想定される音声区間に関する情報を発話想定区間表として保持でき、これを利用することで、接客イベント毎に店員が発話した最適な音声区間の音声データをモニタリングデータとして切り取って抽出することができ、正確な接客評価を行うことができる。
また、本発明の一実施形態は、所定の収音領域における従業員の音声を収音する収音部を含む接客モニタリングシステムにおける接客モニタリング方法であって、所定の接客イベント毎の判定条件を含む接客イベントデータを第1記憶部に記憶し、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて第2記憶部に記憶し、前記第1記憶部に記憶される前記接客イベントデータと前記第2記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出し、検出された前記接客イベントにおいて、前記第2記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定し、算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する、接客モニタリング方法である。
この方法では、接客モニタリングシステムは、所定の接客イベント毎の判定条件を含む接客イベントデータと所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データとを基に、従業員の接客イベントを検出し、検出された接客イベントにおける従業員の音声データを基に、業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する。また、接客モニタリングシステムは、算定された接客発話評価値を、従業員の識別情報と従業員の接客位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する。
これにより、接客モニタリングシステムは、従来技術のように調査員のような人的リソースを用いること無く、接客される顧客のプライバシーを広範に保護した上で、所定の収音領域(例えば店舗)内の顧客に対する各種の接客イベント時における該当接客者(従業員)の接客発話の監視により、該当接客者の接客発話内容の客観性を接客発話評価値として得ることができ、従業員の顧客に対する接客状況を的確かつ客観的に評価することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価する利便性を向上させる接客モニタリングシステム及び接客モニタリング方法として有用である。
2 管理サーバ
2a 管理DB
3、3C 接客評価装置
4 レコーダ装置
4a、4b モニタリングデータ
5 POS端末
31 操作部
32、53 メモリ
33 接客発話評価部
34 出力部
35、52 表示装置
36 スピーカ装置
37 指向性制御部
51 入力装置
331 接客イベント検出部
332 接客発話評価値算定部
100、100A、100B、100C 接客モニタリングシステム
AM1、AML マイクアレイ装置
C1、CM カメラ装置
M1、ML マイク装置
S1、SN センサ装置
SM1、SML 接客者マイク装置

Claims (16)

  1. 所定の収音領域における従業員の音声を収音する収音部と、
    所定の接客イベント毎の判定条件を含む接客イベントデータを記憶する第1記憶部と、
    所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて記憶する第2記憶部と、
    前記第1記憶部に記憶される前記接客イベントデータと前記第2記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出する検出部と、
    前記検出部により検出された前記接客イベントにおいて、前記第2記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する算定部と、
    前記算定部により算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する出力部と、を備える、
    接客モニタリングシステム。
  2. 請求項1に記載の接客モニタリングシステムであって、
    前記検出部は、前記第2記憶部に記憶される前記従業員の音声データに顧客のプライバシー保護を示す情報が含まれる場合に、前記従業員の前記接客イベントの検出を省略する、
    接客モニタリングシステム。
  3. 請求項1に記載の接客モニタリングシステムであって、
    前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータを更に記憶し、
    前記算定部は、前記第2記憶部に記憶される前記従業員の音声データに、前記検出部により検出された前記接客イベントに対応する前記発話想定キーワードが含まれていない場合に、前記接客発話評価値をゼロに設定し又は前記接客発話評価値から所定点数を減点する、
    接客モニタリングシステム。
  4. 請求項1に記載の接客モニタリングシステムであって、
    前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータを更に記憶し、
    前記算定部は、前記第2記憶部に記憶される前記従業員の音声データに、前記検出部により検出された前記接客イベントに対応する前記発話想定キーワードが含まれている場合に、前記第2記憶部に記憶される前記従業員の音声データを前記発話想定キーワードの音声データに更新する、
    接客モニタリングシステム。
  5. 請求項4に記載の接客モニタリングシステムであって、
    前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データを更に記憶し、
    前記算定部は、更新された前記従業員の音声データの前記発話想定キーワードの発話長さが前記第1記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの発話長さから第1所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、
    接客モニタリングシステム。
  6. 請求項4に記載の接客モニタリングシステムであって、
    前記第1記憶部は、前記所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データを更に記憶し、
    前記算定部は、更新された前記従業員の音声データの前記発話想定キーワードの音素毎の周波数が前記第1記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの音素毎の基本周波数から第2所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、
    接客モニタリングシステム。
  7. 請求項1に記載の接客モニタリングシステムであって、
    前記収音部は、前記従業員に個々に装着されるマイク装置であり、
    前記検出部は、前記第1記憶部に記憶される前記接客イベントデータと前記マイク装置により収音された前記従業員の音声データとを基に、前記従業員の前記接客イベントを更に検出する、
    接客モニタリングシステム。
  8. 請求項1に記載の接客モニタリングシステムであって、
    前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、
    前記第2記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、
    前記検出部は、前記第2記憶部に記憶される前記所定の収音領域の既定位置における映像データを基に、前記従業員の前記接客イベントを検出する、
    接客モニタリングシステム。
  9. 請求項8に記載の接客モニタリングシステムであって、
    前記所定の収音領域に対する顧客の登場又は退場を検出する顧客検出部と、を更に備え、
    前記第2記憶部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を更に記憶し、
    前記検出部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を基に、前記従業員の前記接客イベントを検出する、
    接客モニタリングシステム。
  10. 請求項8又は9に記載の接客モニタリングシステムであって、
    前記第2記憶部に記憶される前記従業員の音声データを基に、前記収音部から所定の指向方向に音声の指向性を形成する指向性制御部、を更に備え、
    前記算定部は、前記指向性制御部により前記音声の指向性が形成された前記従業員の音声データを基に、前記接客発話評価値を算定する、
    接客モニタリングシステム。
  11. 請求項1に記載の接客モニタリングシステムであって、
    前記第1記憶部は、前記接客イベント毎に前記算定部により算定された前記接客発話評価値の表示部における接客発話評価値表示画面の閲覧操作の権限情報を含む権限データを更に記憶し、
    前記出力部は、前記接客発話評価値表示画面の閲覧要求者の権限情報が前記第1記憶部に記憶される前記権限データに含まれる前記閲覧操作の権限情報を満たす場合に、前記接客発話評価値表示画面を前記表示部に表示させる、
    接客モニタリングシステム。
  12. 請求項11に記載の接客モニタリングシステムであって、
    前記権限データは、前記接客発話評価値表示画面に対する前記接客発話評価値の修正操作の権限情報を含み、
    前記出力部は、前記接客発話評価値の修正要求者の権限情報が前記第1記憶部に記憶される前記権限データに含まれる前記修正操作の権限情報を満たす場合に、前記接客発話評価値の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、
    接客モニタリングシステム。
  13. 請求項12に記載の接客モニタリングシステムであって、
    前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、
    前記第2記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、
    前記出力部は、前記第2記憶部に記憶される前記所定の収音領域の既定位置における映像データを出力している間に、前記検出部により検出された前記従業員の接客イベントの接客位置の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、
    接客モニタリングシステム。
  14. 請求項11に記載の接客モニタリングシステムであって、
    前記出力部は、所定の入力操作に応じて、前記接客発話評価値表示画面の前記接客イベント毎の前記接客発話評価値を所定項目毎に対比的に前記表示部に表示させる、
    接客モニタリングシステム。
  15. 請求項1に記載の接客モニタリングシステムであって、
    前記第2記憶部に記憶される前記従業員の音声データを抽出する音声データ抽出部、を更に備え、
    前記第1記憶部には、前記接客イベント毎に前記従業員が発話すると想定される発話想定区間に関する情報が記憶され、
    前記音声データ抽出部は、前記発話想定区間に関する情報を用いて、前記検出部により検出された前記接客イベントに応じた前記発話想定区間に対応する前記従業員の音声データを抽出する、
    接客モニタリングシステム。
  16. 所定の収音領域における従業員の音声を収音する収音部を含む接客モニタリングシステムにおける接客モニタリング方法であって、
    所定の接客イベント毎の判定条件を含む接客イベントデータを第1記憶部に記憶し、
    所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて第2記憶部に記憶し、
    前記第1記憶部に記憶される前記接客イベントデータと前記第2記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出し、
    検出された前記接客イベントにおいて、前記第2記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定し、
    算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する、
    接客モニタリング方法。
JP2015171556A 2014-09-30 2015-08-31 接客モニタリングシステム及び接客モニタリング方法 Active JP6624368B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/004661 WO2016051693A1 (ja) 2014-09-30 2015-09-14 接客モニタリングシステム及び接客モニタリング方法
US15/513,622 US10706448B2 (en) 2014-09-30 2015-09-14 Service monitoring system and service monitoring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014201881 2014-09-30
JP2014201881 2014-09-30

Publications (3)

Publication Number Publication Date
JP2016071867A true JP2016071867A (ja) 2016-05-09
JP2016071867A5 JP2016071867A5 (ja) 2018-10-11
JP6624368B2 JP6624368B2 (ja) 2019-12-25

Family

ID=55867000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015171556A Active JP6624368B2 (ja) 2014-09-30 2015-08-31 接客モニタリングシステム及び接客モニタリング方法

Country Status (2)

Country Link
US (1) US10706448B2 (ja)
JP (1) JP6624368B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952054A (zh) * 2017-04-11 2017-07-14 西华大学 一种汽车4s店销售服务质量评价系统及评价方法
CN109697551A (zh) * 2018-11-29 2019-04-30 合肥工业大学 一种基于大数据的政务服务评价系统
JP2019191718A (ja) * 2018-04-20 2019-10-31 ClipLine株式会社 役務動作分析評価システム
JP2020027384A (ja) * 2018-08-10 2020-02-20 株式会社ユニゾンシステムズ 店舗管理システム、管理サーバー、及び店舗管理方法
WO2020091503A1 (en) * 2018-11-01 2020-05-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN114041283A (zh) * 2019-02-20 2022-02-11 谷歌有限责任公司 利用事件前和事件后输入流来接洽自动化助理
US11842735B2 (en) 2018-11-01 2023-12-12 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN114041283B (zh) * 2019-02-20 2024-06-07 谷歌有限责任公司 利用事件前和事件后输入流来接洽自动化助理

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083409B2 (en) * 2014-02-14 2018-09-25 Bby Solutions, Inc. Wireless customer and labor management optimization in retail settings
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US20170309273A1 (en) * 2016-04-21 2017-10-26 Wal-Mart Stores, Inc. Listen and use voice recognition to find trends in words said to determine customer feedback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN107135443B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
JP7004955B2 (ja) * 2017-12-11 2022-01-21 トヨタ自動車株式会社 サービス提供装置、サービス提供プログラム及び音声認識によるサービスを提供する方法
WO2019147350A1 (en) * 2018-01-26 2019-08-01 Walmart Apollo, Llc System for customized interactions-related assistance
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
CN108416592B (zh) * 2018-03-19 2022-08-05 成都信达智胜科技有限公司 一种高速语音识别方法
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
EP3777098B1 (en) * 2018-03-29 2022-10-19 Nokia Solutions and Networks Oy Configuring network slices
US11843719B1 (en) * 2018-03-30 2023-12-12 8X8, Inc. Analysis of customer interaction metrics from digital voice data in a data-communication server system
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US20210125614A1 (en) * 2018-07-18 2021-04-29 Nec Corporation Information processing system, information processing method, and storage medium
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10939030B2 (en) * 2018-09-07 2021-03-02 Canon Kabushiki Kaisha Video audio processing system and method of controlling the video audio processing system
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11222631B2 (en) * 2018-12-11 2022-01-11 International Business Machines Corporation Performance evaluation using audio and structured feedback
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
JP7273538B2 (ja) * 2019-02-26 2023-05-15 パナソニックホールディングス株式会社 装置、方法、及びプログラム
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
CN110147726B (zh) * 2019-04-12 2024-02-20 财付通支付科技有限公司 业务质检方法和装置、存储介质及电子装置
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
CN111970149B (zh) * 2020-08-17 2023-05-30 浪潮云信息技术股份公司 一种基于硬件防火墙qos的共享带宽实现方法
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
CN112102814A (zh) * 2020-11-09 2020-12-18 深圳市友杰智新科技有限公司 唤醒模型的评估方法、装置、计算机设备和存储介质
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112562550B (zh) * 2020-11-12 2023-06-30 国网山东省电力公司潍坊供电公司 一种电子桌牌
US11763803B1 (en) * 2021-07-28 2023-09-19 Asapp, Inc. System, method, and computer program for extracting utterances corresponding to a user problem statement in a conversation between a human agent and a user
KR102516391B1 (ko) * 2022-09-02 2023-04-03 주식회사 액션파워 음성 구간 길이를 고려하여 오디오에서 음성 구간을 검출하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267465A (ja) * 2005-03-23 2006-10-05 Tokyo Electric Power Co Inc:The 発話状態評価装置、発話状態評価プログラム、プログラム格納媒体
JP2009123029A (ja) * 2007-11-15 2009-06-04 Toshiba Tec Corp 商品販売データ処理装置
JP2011086087A (ja) * 2009-10-15 2011-04-28 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法およびプログラム
JP2011237966A (ja) * 2010-05-10 2011-11-24 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5336675B2 (ja) 1974-03-05 1978-10-04
JPS5140001A (ja) 1974-09-12 1976-04-03 Toa Electric Co Ltd Hosoonchoseisochi
US20010011228A1 (en) * 1998-07-31 2001-08-02 Grigory Shenkman Method for predictive routing of incoming calls within a communication center according to history and maximum profit/contribution analysis
US20050246165A1 (en) * 2004-04-29 2005-11-03 Pettinelli Eugene E System and method for analyzing and improving a discourse engaged in by a number of interacting agents
US8094790B2 (en) * 2005-05-18 2012-01-10 Mattersight Corporation Method and software for training a customer service representative by analysis of a telephonic interaction between a customer and a contact center
US7940897B2 (en) * 2005-06-24 2011-05-10 American Express Travel Related Services Company, Inc. Word recognition system and method for customer and employee assessment
US20080222027A1 (en) * 2005-10-24 2008-09-11 Megdal Myles G Credit score and scorecard development
US20080059200A1 (en) * 2006-08-22 2008-03-06 Accenture Global Services Gmbh Multi-Lingual Telephonic Service
US20130282446A1 (en) * 2010-04-15 2013-10-24 Colin Dobell Methods and systems for capturing, measuring, sharing and influencing the behavioural qualities of a service performance
JP5533219B2 (ja) 2010-05-11 2014-06-25 セイコーエプソン株式会社 接客データ記録装置
US20110282662A1 (en) * 2010-05-11 2011-11-17 Seiko Epson Corporation Customer Service Data Recording Device, Customer Service Data Recording Method, and Recording Medium
US9015046B2 (en) * 2010-06-10 2015-04-21 Nice-Systems Ltd. Methods and apparatus for real-time interaction analysis in call centers
CN102376032A (zh) * 2010-08-04 2012-03-14 塔塔咨询服务有限公司 表现管理系统
US9053449B2 (en) * 2011-02-22 2015-06-09 Theatrolabs, Inc. Using structured communications to quantify social skills
US20130290067A1 (en) * 2012-04-25 2013-10-31 Imerj LLC Method and system for assessing risk
US9313332B1 (en) * 2012-11-28 2016-04-12 Angel.Com Incorporated Routing user communications to agents
JP5336675B1 (ja) 2013-05-14 2013-11-06 株式会社セオン サービス評価診断システム、サービス評価診断方法及びサービス評価診断プログラム
US20150363735A1 (en) * 2014-06-13 2015-12-17 Vivint, Inc. Tracking customer interactions for a business

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267465A (ja) * 2005-03-23 2006-10-05 Tokyo Electric Power Co Inc:The 発話状態評価装置、発話状態評価プログラム、プログラム格納媒体
JP2009123029A (ja) * 2007-11-15 2009-06-04 Toshiba Tec Corp 商品販売データ処理装置
JP2011086087A (ja) * 2009-10-15 2011-04-28 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法およびプログラム
JP2011237966A (ja) * 2010-05-10 2011-11-24 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952054A (zh) * 2017-04-11 2017-07-14 西华大学 一种汽车4s店销售服务质量评价系统及评价方法
CN106952054B (zh) * 2017-04-11 2023-12-08 北京百车宝科技有限公司 一种汽车4s店销售服务质量评价系统及评价方法
JP2019191718A (ja) * 2018-04-20 2019-10-31 ClipLine株式会社 役務動作分析評価システム
JP2020027384A (ja) * 2018-08-10 2020-02-20 株式会社ユニゾンシステムズ 店舗管理システム、管理サーバー、及び店舗管理方法
WO2020091503A1 (en) * 2018-11-01 2020-05-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11367441B2 (en) 2018-11-01 2022-06-21 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11842735B2 (en) 2018-11-01 2023-12-12 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN109697551A (zh) * 2018-11-29 2019-04-30 合肥工业大学 一种基于大数据的政务服务评价系统
CN114041283A (zh) * 2019-02-20 2022-02-11 谷歌有限责任公司 利用事件前和事件后输入流来接洽自动化助理
CN114041283B (zh) * 2019-02-20 2024-06-07 谷歌有限责任公司 利用事件前和事件后输入流来接洽自动化助理

Also Published As

Publication number Publication date
JP6624368B2 (ja) 2019-12-25
US20170300990A1 (en) 2017-10-19
US10706448B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
JP6624368B2 (ja) 接客モニタリングシステム及び接客モニタリング方法
WO2016051693A1 (ja) 接客モニタリングシステム及び接客モニタリング方法
US9734831B2 (en) Utilizing voice biometrics
US11727408B2 (en) Systems for detecting biometric response to attempts at coercion
US9609134B2 (en) Utilizing voice biometrics
US20180240028A1 (en) Conversation and context aware fraud and abuse prevention agent
JP5747116B1 (ja) 防犯システム
WO2019071903A1 (zh) 微表情面审辅助方法、装置及存储介质
ES2844449T3 (es) Alertas basadas en reglas susceptibles al contexto para el monitoreo de fraude
US20140379525A1 (en) Utilizing voice biometrics
KR101983558B1 (ko) 보험금 청구 하는 방법 및 장치
US20180174146A1 (en) Situational access override
JP2016218911A (ja) 接客評価装置およびこれを備えた接客評価システムならびに接客評価方法
JP2016021184A (ja) 顔識別装置及びプログラム
JP6911968B2 (ja) 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
US20120242860A1 (en) Arrangement and method relating to audio recognition
JP6610992B2 (ja) 接客態度評価システム及び接客態度評価方法
Carter Confirm not command: examining fraudsters’ use of language to compel victim compliance in their own exploitation
US20220198804A1 (en) Frictionless Authentication and Monitoring
US20210058515A1 (en) Systems and methods for enhancing automated customer service for a caller
JP2018128709A (ja) 遠隔相談管理システムおよび遠隔相談管理方法
US20220020025A1 (en) Automatic payment determination
US20240037195A1 (en) Secure User Authentication Using Machine Learning and Geo-Location Data
US11093943B1 (en) Account security system
US20220237316A1 (en) Methods and systems for image selection and push notification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191112

R151 Written notification of patent or utility model registration

Ref document number: 6624368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151