CN109074595A - 顾客应对控制系统、顾客应对系统及程序 - Google Patents

Abstract

顾客应对控制系统包括：顾客信息获取部，获取顾客应对装置能够应对的顾客的信息即顾客信息；提示控制部，向第一操作员提示顾客信息；应对信息生成部，基于第一操作员的动作生成表示顾客应对装置应该应对顾客的应对内容的第一应对信息；应对控制部，通过指示顾客应对装置基于第一应对信息应对顾客，使第一操作员通过顾客应对装置应对顾客；操作员情感确定部，确定第一操作员的情感；应对判断部，基于第一操作员的情感，判断是否继续第一操作员通过顾客应对装置应对顾客的状态。

Description

顾客应对控制系统、顾客应对系统及程序

技术领域

本发明涉及顾客应对控制系统、顾客应对系统以及程序。

背景技术

已知一种终端，学习用户和通话对象的会话，将用户询问的通话对象的回答累积于回答表格中(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：特开2011-253389号公报

发明内容

要解决的课题

在操作员通过顾客应对装置应对顾客的系统中，有时由于操作员的状态而无法适当地应对顾客。

一般的公开

在本发明的第一方式中，提供顾客应对控制系统。顾客应对控制系统可以具备顾客信息获取部，所述顾客信息获取部获取顾客应对装置能够应对的顾客的信息即顾客信息。顾客应对控制系统可以具备提示控制部，所述提示控制部向第一操作员提示顾客信息。顾客应对控制系统可以具备应对信息生成部，所述应对信息生成部基于第一操作员的动作生成表示顾客应对装置应该应对顾客的应对内容的第一应对信息。顾客应对控制系统可以具备应对控制部，所述应对控制部通过指示顾客应对装置基于第一应对信息应对顾客，使第一操作员通过顾客应对装置应对顾客。顾客应对控制系统可以具备确定第一操作员的情感的操作员情感确定部。顾客应对控制系统可以具备应对判断部，所述应对判断部基于第一操作员的情感，判断是否继续第一操作员通过顾客应对装置应对顾客的状态。

操作员情感确定部可以确定第一操作员的情感的种类及强度。关于通过操作员情感确定部预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，应对判断部判断为不继续第一操作员通过顾客应对装置应对顾客的状态。

操作员情感确定部可以确定第一操作员的愤怒的强度。在愤怒的强度超过预先设定的值的情况下，应对判断部可以判断为不继续第一操作员通过顾客应对装置应对顾客的状态。

顾客应对控制系统可以具备操作员选择部220，所述操作员选择部在应对判断部判断为不使顾客应对装置进行基于第一应对信息的应对的情况下，从多个操作员中选择应对顾客的第二操作员。顾客应对控制系统可以具备向第二操作员通知应该开始向顾客的应对的应对通知部。

在应对通知部向第二操作员通知应该开始向顾客的应对之后，应对信息生成部可以基于第二操作员的动作生成表示顾客应对装置应该应对顾客的应对内容的第二应对信息。应对控制部可以通过指示顾客应对装置基于第二应对信息应对顾客，使第二操作员通过顾客应对装置应对顾客。

第一应对信息可以包含表示操作员的讲话内容的文本数据。应对控制部可以将文本数据向顾客应对装置发送，使顾客应对装置讲话。

顾客应对装置可以包括：第一状态，自律地应对顾客；以及第二状态，根据基于操作员的动作的应对信息进行向顾客的应对。顾客应对控制系统还可以包括应对历史通知部，在顾客应对装置从第一状态转移至第二状态的情况下，应对历史通知部向操作员通知表示顾客应对装置在第一状态下自律地应对顾客的内容的应对历史信息。

顾客应对控制系统可以具备顾客情感确定部，所述顾客情感确定部基于顾客应对装置检测出的顾客的状态，确定顾客应对装置所应对的顾客的情感的种类及强度。顾客应对控制系统可以具备转移控制部，关于通过顾客情感确定部预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，所述转移控制部使顾客应对装置从第一状态转移至第二状态。

顾客情感确定部可以确定顾客应对装置所应对的顾客的愤怒的强度。关于通过顾客情感确定部预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，转移控制部使顾客应对装置从第一状态转移至第二状态。

顾客应对控制系统还可以包括情感通知部，所述情感通知部向操作员通知表示顾客的情感的种类的信息。

顾客信息可以包含与顾客应对装置获取到的顾客的图像相关的信息、与顾客应对装置获取到的顾客的讲话内容相关的信息和与顾客过去购买的商品的购买历史相关的信息中至少任一方。

在本发明的第二方式中，提供一种系统。系统可以具备上述顾客应对控制系统。系统可以具备上述顾客应对装置。

在本发明的第三方式中，提供一种用于使计算机作为上述顾客应对控制系统而发挥作用的程序。

此外，上述一般的公开并未列举必要的特征的全部。并且，上述特征组的分组合也能够构成发明。

附图说明

图1为概略性地示出本实施方式涉及的顾客应对系统10的使用场景的一例。

图2为概略性地示出机器人40及服务器60的功能框图结构。

图3为概略性地说明自律动作状态的机器人40a应对顾客50a的情况下的顺序的图。

图4为概略性地说明直至向操作员80a委托向顾客50a的应对为止的顺序的图。

图5为概略性地示出操作员终端70a进行的应对通知的显示内容。

图6为概略性地示出机器人40a为操作员应对状态的情况下的计算机72a的显示内容。

图7为概略性地示出基于操作员80a的动作机器人40a应对顾客50a的情况下的顺序。

图8为概略性地说明直至将向顾客50a的应对者切换为操作员80b为止的顺序的图。

图9概略地示出应对模式时的计算机72b的显示内容。

图10概略地示出直至机器人40a恢复自律动作状态为止的顺序。

图11概略地示出为了选择适当的操作员80而使用的实际成绩表格。

具体实施方式

以下通过发明的实施方式而说明本发明，以下的实施方式并不限定权利要求书涉及的发明。并且，并不限定实施方式中说明的特征的组合的全部对于发明的解决方案来说是必须的。

图1为概略性地示出本实施方式涉及的顾客应对系统10的使用场景的一例。顾客应对系统10包括：服务器60、机器人40a、机器人40b以及机器人40c、操作员终端70a、操作员终端70b以及操作员终端70c。具备操作员终端70a、操作员终端70b及操作员终端70c以及服务器60的构成部分可以作为顾客应对控制系统而发挥作用。

机器人40a、机器人40b以及机器人40c与操作员终端70a、操作员终端70b以及操作员终端70c远程地设置。并且，机器人40a、机器人40b以及机器人40c还与服务器60远程地设置。操作员80a能够使用操作员终端70a通过服务器60以及通信网络90操作机器人40a、机器人40b以及机器人40c中任一个。同样地，操作员80b能够使用操作员终端70b通过服务器60以及通信网络90操作机器人40a、机器人40b以及机器人40c中任一个。操作员80c能够使用操作员终端70c通过服务器60以及通信网络90操作机器人40a、机器人40b以及机器人40c中任一个。

机器人40a、机器人40b以及机器人40c例如配置于店铺或事务所的接待处等，能够自律地应对来访的顾客。在图1所示的状况下，机器人40b正在自律地应对顾客50b。机器人40c正在自律地应对顾客50c。

操作员80a正在通过操作员终端70a、服务器60以及机器人40a应对顾客50a。机器人40a具有摄像头功能以及麦克风功能，将拍摄到的顾客50a的图像及声音通过通信网络90发送至服务器60。服务器60将接收到的图像及声音通过通信网络90发送至操作员终端70a。

操作员终端70a具有计算机72a以及头戴式受话器74a。计算机72a通过服务器60接收由机器人40a获取到的顾客50a的图像及声音。计算机72a接收到的图像通过计算机72a的画面被提供至操作员80a。并且，计算机72a接收到的声音通过头戴式受话器74a被提供至操作员80a。并且，服务器60将顾客50a当前的表情、顾客50a的商品的购买历史等的各种种类的顾客信息提供至计算机72a。

在操作员终端70a，头戴式受话器74a具有麦克风功能，将通过麦克风功能获取到的操作员80a的声音数据发送至服务器60。服务器60将基于声音数据的讲话文本数据通过通信网络90发送至机器人40a。机器人40a根据接收到的讲话文本数据进行讲话。从而，操作员80a能够通过机器人40a应对顾客50a。

并且，操作员终端70a具有摄像头功能，将通过摄像头功能获取到的操作员80a的图像发送至服务器60。服务器60基于从计算机72a接收到的操作员80a的声音及图像等的信息，确定操作员80a的情感。当判断操作员80a的情感恶化时，代替情感恶化的操作员80a，服务器60将向顾客50a的应对委托给未在顾客应对中的操作员80b。操作员80b通过操作员终端70b及机器人40a应对顾客50a。从而，在通过顾客应对系统10判断处于操作员80a的情感恶化等的、操作员80a无法适当地应对顾客的状态的情况下，能够替换操作员。

此外，机器人40b及机器人40c具有与机器人40a大致相同的功能。在顾客应对系统10的说明中，有时将机器人40a、机器人40b以及机器人40c总称为机器人40。并且，操作员终端70b具有计算机72b以及头戴式受话器74b，具有与操作员终端70a大致相同的功能。操作员终端70c具有计算机72c以及头戴式受话器74c，具有与操作员终端70a大致相同的功能。在顾客应对系统10的说明中，有时将操作员终端70a、操作员终端70b以及操作员终端70c总称为操作员终端70。

此外，在顾客应对系统10的说明中，有时特别地列举机器人40a和操作员终端70a的组合或者机器人40a和操作员终端70b的组合的动作。但是，机器人40和操作员终端70的组合不仅限于该组合，能够在任意的组合中实现同样的动作。

图2为概略性地示出机器人40及服务器60的功能框图结构。首先，对于机器人40的功能结构进行说明。机器人40包括：传感器部120、信息处理部130、控制对象160、通信部102。信息处理部130可以为MPU等的处理器。通信部102负责与服务器60的通信。通信部102可以为网络IF等的通信设备。

控制对象160包括扬声器。控制对象160还包括驱动机器人40的肢体部、头部等的可动部的电机等。

传感器部120具有麦克风、陀螺传感器、电机传感器、摄像头等的各种传感器。传感器部120的麦克风获取周围的声音。例如，传感器部120的麦克风获取顾客50的声音。传感器部120的摄像头通过可见光进行拍摄而生成图像信息。传感器部120的陀螺传感器检测机器人40的整体以及机器人40的各部的角速度。传感器部120的电机传感器检测驱动机器人40的可动部的电机的驱动轴的旋转角度。

传感器部120将通过麦克风获取到的声音数据、通过摄像头拍摄到的图像、通过陀螺传感器检测出的角速度、通过电机传感器检测出的旋转速度等的各种传感器数据输出至信息处理部130。信息处理部130将获取到的传感器信号供给至通信部102，并使其向服务器60发送。并且，信息处理部130基于通过传感器部120检测出的各种传感器数据，决定机器人40的行动。信息处理部130基于决定的行动控制控制对象160。

例如，信息处理部130基于各种传感器数据和从服务器60获取到的信息，决定机器人40的讲话内容、机器人40的肢体部的动作等。具体而言，信息处理部130解析通过传感器部120的麦克风获取到的声音数据，确定顾客50的讲话内容。并且，信息处理部130基于通过传感器部120的摄像头生成的图像信息，确定顾客50的表情。信息处理部130基于顾客50的讲话内容、顾客50的表情等，决定机器人40的讲话内容、机器人40的肢体部的动作，控制控制对象160的扬声器以及电机，使机器人40讲话，使肢体部等动作。从而，机器人40能够理解顾客50的讲话内容等，与顾客50会话或引导顾客50。这样，机器人40能够自律地应对顾客50。

此外，机器人40也可以将通过传感器部120获取到的信息等发送至服务器60，由服务器60决定机器人40的讲话内容或肢体部的动作等。机器人40接收通过服务器60决定的讲话内容或肢体部的动作等的指示信息，基于该指示信息使机器人讲话或使肢体部动作。这样，在服务器60决定机器人40的行动的情况下，由于人的指示实质上与机器人40的行动不相关，因此，可以视为机器人40自律地应对。

此外，机器人40讲话的内容也可以在服务器60中被决定，被发送至机器人40。这种情况下，包括服务器60中的讲话内容的功能部分和机器人40的模块，能够作为顾客应对装置而发挥作用。

接着，对于服务器60的功能模块结构进行说明。服务器60包括：信息处理部230、通信部202、通信部204、存储部280。信息处理部230包括：应对控制部240、顾客情感确定部250、转移控制部252、操作员情感确定部210、操作员选择部220、应对信息生成部242、提示控制部208。信息处理部230的功能可以通过MPU等的处理器安装。例如，应对控制部240、顾客情感确定部250、转移控制部252、操作员情感确定部210、操作员选择部220、应对信息生成部242、提示控制部208的功能可以通过处理器读入被存储于记录介质290的程序而实现。

通信部202负责与机器人40的通信。通信部202包括顾客信息获取部200。通信部204负责与操作员终端70的通信。通信部204包括主要负责向操作员80的通知的通知部270。通信部202以及通信部204可以为网络IF等的通信设备。存储部280包括硬盘装置、闪存等的记录介质。并且，存储部280包括RAM等的易失性存储装置。除了应对控制部240执行时读出的程序代码、各种临时数据之外，存储部280还存储信息处理部230的处理的执行所必要的数据等。

顾客信息获取部200获取机器人40能够应对的顾客的信息即顾客信息。例如，顾客信息获取部200通过通信网络90接收机器人40获取到的顾客的信息。此外，顾客信息可以包含机器人40获取到的顾客图像、机器人40获取到的顾客的讲话内容、和顾客过去购买的商品的购买历史中至少任一方。顾客过去购买的商品的购买历史可以被存储于存储部280。

提示控制部208向第一操作员提示顾客信息获取部200获取到的顾客信息。第一操作员为操作员80中的一位操作员。提示控制部208使顾客信息从通信部204向操作员终端70发送，使顾客信息显示于操作员终端70的计算机72。

应对信息生成部242基于第一操作员的动作生成表示机器人40应该应对顾客的应对内容的第一应对信息。例如，应对信息生成部242基于从操作员终端70获取到的第一操作员的声音数据，生成使机器人40讲话的讲话文本数据。

应对控制部240通过以基于第一应对信息应对顾客的方式指示机器人40，使第一操作员通过机器人40应对顾客。具体而言，应对控制部240将讲话文本数据发送至机器人40，使机器人40讲话。

操作员情感确定部210确定第一操作员的情感。应对判断部272基于第一操作员的情感，判断是否继续第一操作员通过机器人40应对顾客的状态。

具体而言，操作员情感确定部210确定第一操作员的情感的种类及强度。关于通过操作员情感确定部210预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，应对判断部272判断为不继续第一操作员通过机器人40应对顾客的状态。此外，有时也将是否“关于预先设定的种类的情感，确定了超过预先设定的值的强度”，称为应对停止条件。

更具体而言，操作员情感确定部210确定第一操作员的愤怒的强度。并且，在愤怒的强度超过预先设定的值的情况下，应对判断部272判断为不继续第一操作员通过机器人40应对顾客的状态。

操作员选择部220，在应对判断部272判断为不使机器人40进行基于第一应对信息的应对的情况下，从多个操作员中选择应对顾客的第二操作员。并且，通知部270向第二操作员通知应该开始向顾客的应对的内容。具体而言，通知部270将应对通知向第二操作员操作的操作员终端70发送。

在通知部270向第二操作员通知应该开始向顾客的应对之后，应对信息生成部242基于第二操作员的动作生成表示机器人40应该应对顾客的应对内容的第二应对信息。第二应对信息可以为表示基于第二操作员的声音数据的讲话内容的讲话文本数据。应对控制部240通过以基于第二应对信息应对顾客的方式指示机器人40，使第二操作员通过机器人40应对顾客。

机器人40包括：自律动作状态，自律地应对顾客；操作员应对状态，根据基于操作员的动作的应对信息进行向顾客的应对。在机器人40从自律动作状态转移至操作员应对状态的情况下，通知部270向操作员通知：表示机器人40在自律动作状态下自律地应对顾客的内容的应对历史信息。从而，操作员能够确认机器人40进行了怎样的应对而决定应对内容。

此外，通知部270可以向操作员通知表示顾客的情感的种类的信息。从而，操作员80能够考虑顾客的情感而决定适当的应对内容。

顾客情感确定部250基于机器人40检测出的顾客的状态，确定机器人40所应对的顾客的情感的种类及强度。关于通过顾客情感确定部250预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，转移控制部252使机器人40从自律动作状态转移至操作员应对状态。从而，例如，当机器人40在自律应对中顾客的情感恶化时，能够由操作员应对该顾客。另一方面，当顾客的情感在机器人40在自律应对中没有恶化时，可以不使操作员进行应对。

顾客情感确定部250确定机器人40所应对的顾客的愤怒的强度。关于通过顾客情感确定部250预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，转移控制部252使应对该顾客的机器人40从自律动作状态转移至操作员应对状态。此外，顾客信息可以包含与机器人40获取到的顾客的图像相关的信息、与机器人40获取到的顾客的讲话内容相关的信息和与顾客过去购买的商品的购买历史相关的信息中至少任一方。

图3为概略性地说明自律动作状态的机器人40a应对顾客50a的情况下的顺序的图。机器人40a将由传感器部120检测出的声音、图像等的传感器信息发送至服务器60。

在此，顾客50a的面部图像和顾客50a的姓名“A先生”已经被存储于服务器60的存储部280。例如，应对控制部240从过去机器人40a和顾客50a之间交谈的会话等中学习顾客50a的姓名，将顾客50a的面部图像和姓名“A先生”建立对应而存储于存储部280。

这种情况下，应对控制部240对照从机器人40a接收到的面部图像和存储于存储部280的面部图像，判断来访的人物是A先生，并且是过去有过来访经历的人。从而，生成“A先生来过。”这一信息。并且，应对控制部240，作为该状况下的适当的应对内容，决定讲话“您又来啦”，向机器人40a发送该讲话内容的文本数据，使机器人40a讲话。当讲话后，顾客50a回答道“嗯，来买手机壳了。”时，机器人40a将声音数据向服务器60发送。

顾客情感确定部250基于从机器人40a接收到的声音、图像等的信息，按照多个情感的种类的每一个确定顾客50a的情感的强度。例如，顾客情感确定部250确定“喜”、“怒”、“哀”、“乐”各自的强度。作为一例，顾客情感确定部250基于从图像确定的面部的表情、从声音确定的声音的状态等，确定情感的种类和该情感的强度。在此，作为声音的状态，能够例示是否包含怒气、是否愉悦等的声音的状态。此外，顾客情感确定部250可以从声音提取基本频率等的声音特征量，基于提取的声音特征量来确定声音的状态。顾客情感确定部250可以将最强的情感确定为顾客50a当前的情感。

在此，作为顾客50a的情感，当确定了“喜怒哀乐”中的“乐”的情感时，应对控制部240生成“A先生看起来很高兴。”这一信息。由于通过顾客情感确定部250判断顾客50a的情感没有恶化，因此转移控制部252不向操作员80委托对应，维持机器人40a的自律动作状态。此外，在服务器60中，通信部202从机器人40a连续接收表示机器人40a的讲话内容或动作内容等的应对历史，存储部280与时刻建立对应而存储应对历史。

图4为概略性地说明直至向操作员80a委托向顾客50a的应对为止的顺序的图。服务器60从使机器人40a讲话“您今天来买什么呢？”之后的“手机壳！！”这一顾客50a的声音及顾客50a的表情，判断“愤怒”的情感超过了阈值，生成“A先生正在愤怒。”的消息。与此对应地，转移控制部252决定使机器人40a从自律动作状态转移至操作员应对状态。

这种情况下，操作员选择部220从操作员80中选择应该应对顾客50a的操作员80。例如，操作员选择部220将当前正在应对其他的顾客50的操作员以外的操作员，选择为应该应对顾客50a的操作员80。此外，顾客50a的情感的强度越强，操作员选择部220选择应对能力越高的操作员80。表示操作员80的应对能力的信息，与识别操作员80的信息建立对应而被存储于存储部280，操作员选择部220可以参照被存储于存储部280的信息，选择应该应对顾客50a的操作员80。关于操作员80a的应对能力将在后面与实际成绩表格相关联地叙述。

当操作员选择部220选择操作员80a作为应该应对顾客50a的操作员时，通知部270将应对通知向操作员80a操作的操作员终端70a发送。这种情况下，通知部270将应对通知与表示顾客50a的情感的信息、表示机器人40a和顾客50a之间的应对历史的信息、表示顾客50a的图像以及顾客50a的过去的购买历史的信息一起，向操作员终端70a发送。

图5概略性地表示操作员终端70a进行的应对通知的显示内容。在操作员终端70a中，计算机72a当从服务器60接收到应对通知时，将表示应对已经被委托的目标对象410显示于计算机72a的画面。此外，计算机72a向操作员80a佩戴的头戴式受话器74a输出通知音，从而通知操作员80a。操作员80a按下目标对象410，当计算机72a检测出目标对象410被按下时，计算机72a转移至应对模式。

图6概略性地表示机器人40a为操作员应对状态的情况下的计算机72a的显示内容。在操作员终端70a中，计算机72a将从服务器60接收到的表示顾客50a的情感的信息显示于目标对象510。并且，计算机72a将从服务器60接收到的顾客50a的面部图像显示于目标对象520。并且，计算机72a将从服务器60接收到的表示机器人40a和顾客50a之间的应对历史的信息显示于目标对象530。并且，计算机72a将从服务器60接收到的表示顾客50a的购买历史的信息显示于目标对象560。

并且，计算机72a将手动按钮561以及自动按钮562显示于画面。自动按钮562为用于指示机器人40a转移至自律应对状态的按钮。手动按钮561为用于指示机器人40a转移至操作员应对状态的按钮。在图6中，由于机器人40a转移至操作员应对状态，因此，手动按钮561处于已经被选择的状态，自动按钮562处于能够选择的状态。

计算机72a从服务器60获取通过机器人40a获取到的声音，输出至头戴式受话器74a，向操作员80a提供声音。在此，计算机72a将头戴式受话器74a的麦克风部收集到的声音作为声音数据而获取，向服务器60发送。

此外，声音数据可以为表示声音波形的声音数据本身。这种情况下，在服务器60中，声音数据被文本化，作为讲话文本数据被发送至机器人40a。此外，计算机72a可以从声音数据提取语言并文本化，将得到的文本数据向服务器60发送。这种情况下，被发送至服务器60的文本数据可以直接作为应该使机器人40a讲话的文本的数据而被发送。

并且，计算机72a将通过计算机72a所具有的摄像头76a获取到的操作员80a的图像向服务器60发送。服务器60的操作员情感确定部210从接收到的操作员80a的声音及图像，确定操作员80a的情感。操作员情感确定部210所确定的情感从服务器60的通信部204向操作员终端70a发送。计算机72a将从服务器60接收到的表示操作员80a的情感的信息显示于目标对象570。

图7概略性地表示基于操作员80a的动作机器人40a应对顾客50a的情况下的顺序。

操作员80a考虑图6的目标对象530内的应对历史，讲话为“请多多原谅”时，“请多多原谅”的声音数据被从计算机72a发送至服务器60。在服务器60中，当通信部204接收到声音数据时，应对信息生成部242基于接收到的声音数据，生成包含使机器人40a讲话的讲话文本数据的应对信息。应对控制部240通过通信部202将应对信息向机器人40a发送，使机器人40a按照讲话文本数据讲话。从而，计算机72a及服务器60使操作员80a通过机器人40a应对顾客50a。

此外，机器人40a将通过传感器部120检测出的传感器信息逐次地向服务器60发送，在服务器60中，判断顾客50a的情感。并且，表示顾客的情感的信息、机器人40a和顾客50a的应对历史以及顾客图像被从服务器60逐次地向计算机72a发送。

图8为概略性地说明直至将向顾客50a的应对者切换为操作员80b为止的顺序的图。顾客50a的“够了！”的讲话作为声音数据被发送至计算机72a，从头戴式受话器74a被输出。对此，当操作员80a愤怒地讲话为“恕不奉陪！！”时，计算机72a将从该讲话生成的声音数据向服务器60发送。并且，计算机72a将通过摄像头76a获取到的操作员80a的图像向服务器60发送。

在服务器60中，操作员情感确定部210基于操作员80a的“恕不奉陪！！”的声音数据和从操作员80a的面部图像确定的表情，确定操作员80a的情感的种类和其强度。此外，操作员情感确定部210可以通过与顾客情感确定部250的动作同样的处理，从面部图像及声音数据确定情感。应对判断部272当判断操作员80a的“愤怒”的情感的强度超过了阈值时，操作员选择部220从操作员80之中选择操作员80b作为应该通过机器人40a应对顾客50a的操作员。

当操作员选择部220选择操作员80b作为应该应对顾客50a的操作员时，通知部270将应对通知向操作员80b操作的操作员终端70b发送。这种情况下，通知部270将应对通知与表示顾客50a的情感的信息、表示机器人40a和顾客50a之间的应对历史的信息、表示顾客50a的图像以及顾客50a的过去的购买历史的信息一起，向操作员终端70b发送。

在操作员终端70b中，当计算机72b从服务器60接收到应对通知时，计算机72b显示与图5所示的画面相同的画面。操作员终端70b对于应对通知的动作与关联于图5等说明的动作大致相同，因此，省略说明。计算机72b当转移至应对模式时，显示图9所示的画面。

图9概略地表示应对模式时的计算机72b的显示内容。如图所示，计算机72b显示与图6所示的显示内容所包含的信息相同种类的信息。

计算机72b显示于目标对象530的应对历史中包含：机器人40a以自律动作状态应对顾客50a的历史和操作员80a通过机器人40a应对顾客50a的历史。从而，操作员80b能够确认过去的操作员80a的应对历史，开始向顾客50a的应对。

图10概略地表示直至机器人40a恢复自律动作状态为止的顺序。操作员80b确认图9所示的应对历史，当进行了“欢迎下次光临！”的讲话时，操作员80b的声音由头戴式受话器74b获取，计算机72b将该讲话的声音数据发送至服务器60。

在服务器60中，应对信息生成部242将接收到的声音数据转移为讲话文本数据向机器人40a发送，使机器人40a讲话。之后，来自顾客50a的“再见！”的声音数据通过服务器60被发送至操作员终端70b。操作员80b判断结束应对时，按下计算机72b的画面上的自动按钮562，使计算机72b向服务器60发送以使机器人40a转移至自律动作状态为内容的转移指示。

在服务器60中，当通信部204接收到转移至自律动作状态的指示时，应对控制部240向机器人40a发送向自律动作状态的转移指示。在机器人40a中，当通信部102接收到向自律应对状态的转移指示时，信息处理部130及应对控制部240再次开始基于传感器部120的传感器信息的自律应对处理。这样，通过顾客应对系统10能够无缝衔接地切换操作员80进行的应对和机器人40的自律应对。

图11概略地示出为了选择适当的操作员80而使用的实际成绩表格。实际成绩表格的数据被存储于服务器60的存储部280。具体而言，存储部280将识别操作员80的操作员识别信息，与各个操作员80所应对的顾客50的属性、操作员80开始应对前的顾客50的情感的种类、应对实际成绩值建立对应而存储。

顾客50的属性包含顾客的年龄层以及顾客的性别等。应对时的顾客的情感的种类示出“怒”、“哀”等的、需要操作员80应对的情感的种类。应对实际成绩值在由于操作员80的应对而顾客50的情感好转的情况下被进行加法运算。例如，信息处理部230在顾客50的愤怒的强度由于操作员80的应对而减少一定值以上的情况下，在对应的应答实际成绩值中加上预先设定的值，存储于存储部280。信息处理部230可以在顾客50的情感由于操作员80的应对而从“怒”或者“哀”变为“喜”或者“乐”的情况下，在对应的应答实际成绩值中加上预先设定的值，存储于存储部280。

例如，在上述的示例中，在顾客50a的愤怒的情感的强度由于操作员80b的应对而减少一定值以上的情况下，将与操作员80b的操作员识别信息建立对应而存储于实际成绩表格中的应答实际成绩值与预先设定的值相加。

操作员选择部220，在选择应该应对顾客50的操作员80的情况下，参照存储于存储部280的实际成绩表格的数据，选择能够适当地应对作为对象的顾客50的操作员80。例如，操作员选择部220从实际成绩表格内的数据中检索与适合于作为对象的顾客50的属性和当前的情感的种类的信息相对应的操作员识别信息。并且，操作员选择部220更优先地提取所检索的操作员识别信息中的、较高的应对实际成绩值所对应的操作员识别信息。例如，操作员选择部220提取所检索的操作员识别信息中的、最高的应对实际成绩值所对应的操作员识别信息。并且，操作员选择部220将通过提取的操作员识别信息识别的操作员80，选择为应该应对作为对象的顾客50的操作员。从而，能够选择对于作为对象的顾客50的属性和情感应对能力高的操作员80。

如以上说明的，根据顾客应对系统10，在操作员80通过机器人40应对顾客的系统中，在判断操作员80不能适当地应对顾客50的状况的情况下，能够停止该操作员80的应对，将应对者切换为其他的操作员80。

此外，在服务器60中，可以在“悲”的情感的强度超过预先设定的值的情况下，应对判断部272判断为不继续该操作员80通过机器人40应对顾客50的状态。除此之外，可以在操作员80的“哀”的情感的强度超过预先设定的值的情况下，应对判断部272判断为不继续该操作员80通过机器人40应对顾客50的状态。用于操作员80的应对停止条件中的情感的种类除了上述的“怒”、“悲”、“哀”之外，能够使用各种情感。此外，操作员80的情感为应对判断部272用于应对停止条件的参数的一例。除了操作员80的情感之外，可以在判断操作员80的状态符合预先设定的种类的状态的情况下，应对判断部272判断为不继续操作员80应对顾客50的状态。作为操作员80的状态，能够例示操作员80的疲劳等。在服务器60中，信息处理部230可以从操作员80的声音或表情确定操作员80的疲劳。

并且，应对判断部272，在判断满足操作员80的应对停止条件的情况下，信息处理部230可以改为切换操作员80，或者在切换操作员80的基础上，向操作员80的管理者通知满足了应对停止条件的信息。操作员80的管理者可以为监督操作员80的业务的监督者等。

此外，在图4的说明中，主要说明了当顾客50的情感恶化时服务器60切换至操作员应对状态的情况。此外，可以当判断机器人40在自律动作状态下不能适当地对应顾客50时服务器60切换至操作员应对状态。例如，可以在不能决定使机器人40讲话的适当的讲话内容的情况下，服务器60切换至操作员应对状态。并且，也可以在预先设定的性别的顾客50来访的情况下，服务器60切换至操作员应对状态。例如，可以在女性来访的情况下，切换至操作员应对状态。例如，可以在化妆品等的女性用的商品卖场，由机器人40自律地应对男性，由操作员80应对女性。并且，也可以在预先设定的特定的顾客50来访的情况下，切换至操作员应对状态。例如，对于频繁地购买高价的商品的顾客50，可以由操作员80应对。并且，对于曾经由于机器人40的应对而情感恶化的顾客50，可以由操作员80应对。并且，也可以仅在顾客来访的情况下，由操作员80应对。例如，当人在附近时，机器人40通过自律动作状态进行劝诱行动，当人接近时，转移至操作员应对状态。

此外，服务器60的功能可以通过一个以上的计算机实现。服务器60的至少一部分的功能可以通过虚拟机实现。并且，服务器60的功能的至少一部分可以通过云实现。并且，在上述的说明中，由服务器60负责决定机器人40a的讲话内容的功能，服务器60的功能中的、关于机器人40a的控制的功能的至少一部分可以安装于机器人40a。并且，服务器60的功能中的、关于操作员终端70的控制的功能的至少一部分的功能，也可以安装于操作员终端70。此外，机器人40为顾客应对装置的一例。作为顾客应对装置，能够采用机器人以外的各种方式。

以上使用了实施方式说明了本发明，本发明的技术范围不限于上述实施方式记载的范围。对于本领域技术人员来说可以清楚得知，在上述实施方式中能够加入多种变更或者改良。从权利要求书的记载可以清楚得知，加入了上述变更或者改良的实施方式也包含于本发明的技术范围内。

权利要求书、说明书以及附图所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等的各处理的执行顺序，没有特别地明确“之前”、“先于”等，并且，应该注意，只要不是将在前的处理的输出用于在后的处理，能够以任意的顺序实现。关于权利要求书、说明书以及附图中的动作流程，即使方便起见使用了“首先”、“其次”等进行说明，但并不意味着必须以该顺序实施。

附图标记说明

10 顾客应对系统

40 机器人

50 顾客

60 服务器

90 通信网络

70 操作员终端

72 计算机

74 头戴式受话器

76 摄像头

80 操作员

102 通信部

120 传感器部

130 信息处理部

160 控制对象

20 顾客信息获取部

202 通信部

204 通信部

208 提示控制部

210 操作员情感确定部

220 操作员选择部

230 信息处理部

240 应对控制部

242 应对信息生成部

250 顾客情感确定部

252 转移控制部

270 通知部

272 应对判断部

280 存储部

290 记录介质

410 目标对象

510、520、530、560、570 目标对象

561 手动按钮

562 自动按钮。

Claims (13)

1.一种顾客应对控制系统，其特征在于，包括：

顾客信息获取部，获取顾客应对装置能够应对的顾客的信息即顾客信息；

提示控制部，向第一操作员提示所述顾客信息；

应对信息生成部，基于所述第一操作员的动作生成表示所述顾客应对装置应该应对所述顾客的应对内容的第一应对信息；

应对控制部，通过指示所述顾客应对装置基于所述第一应对信息应对所述顾客，使所述第一操作员通过所述顾客应对装置应对所述顾客；

操作员情感确定部，确定所述第一操作员的情感；以及

应对判断部，基于所述第一操作员的情感，判断是否继续所述第一操作员通过所述顾客应对装置应对所述顾客的状态。

2.根据权利要求1所述的顾客应对控制系统，其特征在于，

所述操作员情感确定部确定所述第一操作员的情感的种类及强度，

关于通过所述操作员情感确定部预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，所述应对判断部判断为不继续所述第一操作员通过所述顾客应对装置应对所述顾客的状态。

3.根据权利要求2所述的顾客应对控制系统，其特征在于，

所述操作员情感确定部确定所述第一操作员的愤怒的强度，

在所述愤怒的强度超过预先设定的值的情况下，所述应对判断部判断为不继续所述第一操作员通过所述顾客应对装置应对所述顾客的状态。

4.根据权利要求1至3中任一项所述的顾客应对控制系统，其特征在于，

所述顾客应对控制系统还包括：

操作员选择部200，在所述应对判断部判断为不使所述顾客应对装置进行基于所述第一应对信息的应对的情况下，从多个操作员中选择应对所述顾客的第二操作员；以及

应对通知部，向所述第二操作员通知应该开始向所述顾客的应对。

5.根据权利要求4所述的顾客应对控制系统，其特征在于，

在所述应对通知部向所述第二操作员通知应该开始向所述顾客的应对之后，所述应对信息生成部基于所述第二操作员的动作生成表示所述顾客应对装置应该应对所述顾客的应对内容的第二应对信息，

所述应对控制部通过指示所述顾客应对装置基于所述第二应对信息应对所述顾客，使所述第二操作员通过所述顾客应对装置应对所述顾客。

6.根据权利要求1至5中任一项所述的顾客应对控制系统，其特征在于，

所述第一应对信息包含表示所述第一操作员的讲话内容的文本数据，

所述应对控制部将所述文本数据向所述顾客应对装置发送，并使所述顾客应对装置讲话。

7.根据权利要求1至6中任一项所述的顾客应对控制系统，其特征在于，

所述顾客应对装置包括：第一状态，自律地应对顾客；以及第二状态，根据基于操作员的动作的应对信息来进行向顾客的应对，

所述顾客应对控制系统还包括应对历史通知部，在所述顾客应对装置从所述第一状态转移至所述第二状态的情况下，所述应对历史通知部向操作员通知表示所述顾客应对装置在所述第一状态下自律地应对所述顾客的内容的应对历史信息。

8.根据权利要求7所述的顾客应对控制系统，其特征在于，

所述顾客应对控制系统还包括：

顾客情感确定部，基于所述顾客应对装置检测出的顾客的状态，确定所述顾客应对装置所应对的顾客的情感的种类及强度；以及

转移控制部，关于通过所述顾客情感确定部预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，使所述顾客应对装置从所述第一状态转移至所述第二状态。

9.根据权利要求8所述的顾客应对控制系统，其特征在于，

所述顾客情感确定部确定所述顾客应对装置所应对的顾客的愤怒的强度，

关于通过所述顾客情感确定部预先设定的种类的情感，在确定了超过预先设定的值的强度的情况下，所述转移控制部使所述顾客应对装置从所述第一状态转移至所述第二状态。

10.根据权利要求8或9所述的顾客应对控制系统，其特征在于，

所述顾客应对控制系统还包括情感通知部，所述情感通知部向操作员通知表示所述顾客的情感的种类的信息。

11.根据权利要求1至10中任一项所述的顾客应对控制系统，其特征在于，

所述顾客信息包含与所述顾客应对装置获取到的所述顾客的图像相关的信息、与所述顾客应对装置获取到的所述顾客的讲话内容相关的信息和与所述顾客过去购买的商品的购买历史相关的信息中至少任一方。

12.一种顾客应对系统，其特征在于，包括：

根据权利要求1至11中任一项所述的顾客应对控制系统；以及

所述顾客应对装置。

13.一种程序，其特征在于，用于使计算机作为根据权利要求1至11中任一项所述的顾客应对控制系统而发挥作用。