CN107731225A - 待客装置、待客方法以及待客系统 - Google Patents

待客装置、待客方法以及待客系统 Download PDF

Info

Publication number
CN107731225A
CN107731225A CN201710417649.7A CN201710417649A CN107731225A CN 107731225 A CN107731225 A CN 107731225A CN 201710417649 A CN201710417649 A CN 201710417649A CN 107731225 A CN107731225 A CN 107731225A
Authority
CN
China
Prior art keywords
handing
guests
reply
over
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710417649.7A
Other languages
English (en)
Inventor
佐草敦
富山直美
青木裕
青木裕一
大森基司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107731225A publication Critical patent/CN107731225A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016After-sales
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • G10L15/07Adaptation to the speaker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0635Training updating or merging of old and new templates; Mean values; Weighting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Abstract

本公开提供待客装置、待客方法以及待客系统。待客装置具备:推定部,其通过解析接待对象的生物体数据来推定接待对象的情绪;交接研究部,其基于由推定部推定出的情绪,判断是否将对接待对象的应对交接给待客继任者;交接信息生成部,其在交接研究部判断为将对接待对象的应对交接给待客继任者的情况下,生成包括对接待对象进行了的应对内容和基于应对内容的交接内容的交接信息;以及通信部,其发送由交接信息生成部生成的交接信息。由此,能够顺畅地将待客装置对接待对象的接待结果从待客装置向待客继任者进行交接。

Description

待客装置、待客方法以及待客系统
技术领域
本公开涉及对接待对象进行接待并将接待结果交接给待客继任者的待客装置、该待客装置的待客方法、以及对接待对象进行接待并将接待结果交接给待客继任者的待客系统。本公开例如涉及在酒店、店铺等机器人对接待对象进行接待并将接待结果交接给待客继任者的技术。
背景技术
近年来,随着人工智能的发展,逐渐使得并非由人类而是使用机器人来进行受理业务、引导业务等各种待客业务。这些业务在零售商店、银行、酒店、医疗机构、看护机构、学校、制造工厂、其他各种机构中进行。
例如,在专利文献1中公开了以下内容。首先,机器人将交流行动的动作历史记录信息发送给中央控制装置。中央控制装置基于来自机器人的动作历史记录信息中的远程操作的信息,构建个人用行为(behavior)转变DB(数据库)、取决于年龄段/性别的行为转变DB以及取决于场所的行为转变DB。机器人选择与谈话对象的姓名、年龄段/性别或者场所相应的DB。机器人参照所选择的DB,基于与表示当前的机器人的动作的指令和谈话对象对于该机器人的动作所采取的行动相一致的动作历史记录信息,决定接下来的交流行动。在专利文献1中,机器人基于远程操作的动作历史记录信息来进行自主行动,因此,能够尽可能减少操作员的远程操作的次数。
另外,在专利文献2中公开了以下内容。交流机器人包括对周围、自身的状况进行检测的各式各样的传感器,基于传感器的输出来判断是否满足操作员呼叫条件。交流机器人通常通过自主控制,在与人类之间进行交流行动等,提供受理、道路引导等服务。交流机器人在判断为满足操作员呼叫条件时,经由网络将呼叫请求发送到操作员终端。操作员根据呼叫请求,对操作员终端进行操作并向交流机器人发送控制指令。交流机器人执行遵从控制指令的交流行动。在专利文献2中,能够高效地提供适当的服务。
现有技术文献
专利文献1:日本特开2009-131914号公报
专利文献2:日本特开2007-190641号公报
发明内容
发明所要解决的问题
提供一种能够顺畅地将待客装置对接待对象的接待结果从待客装置向待客继任者进行交接的待客装置、待客方法以及待客系统。
用于解决问题的技术方案
根据本公开的非限定性的某个示例性的实施方式,提供以下内容。
一种待客装置,具备:推定部,其通过解析接待对象的生物体数据来推定接待对象的情绪;交接研究部,其基于由推定部推定出的情绪,判断是否将对接待对象的应对交接给待客继任者;交接信息生成部,其在交接研究部判断为将对接待对象的应对交接给待客继任者的情况下,生成包括对接待对象进行了的应对内容和基于应对内容的交接内容的交接信息;以及通信部,其发送由交接信息生成部生成的交接信息。
发明效果
根据本公开,能够顺畅地将待客装置对接待对象的接待结果从待客装置向待客继任者进行交接。
附图说明
图1是表示本公开的一个实施方式涉及的待客系统的构成的一例的框图。
图2是表示图1所示的机器人的行动规则存储部所存储的行动规则的一例的图。
图3是表示由图1所示的待客系统进行的待客处理的一例的时序图。
图4是表示由图1所示的机器人进行的待客交接处理的一例的流程图。
图5是表示图1所示的服务器的交接关联信息存储部所存储的顾客的历史记录信息的一例的图。
图6是表示图1所示的平板电脑所显示的、表现包括应对支援请求信息的交接信息的紧急时的交接画面的一例的图。
图7是表示图1所示的平板电脑所显示的、表现不包括应对支援请求信息的交接信息的通常时的交接画面的一例的图。
标号说明
10:机器人 11:生物体数据测定部
12:情绪推定部 13:信息收集部
14:交接研究部 15:回答输出部
16:回答生成部 17:行动规则存储部
18:通信部 20:服务器
21:通信部 22:交接分析部
23:交接关联信息存储部 24:交接信息生成部
30:平板电脑 31:通信部
32:交接信息提示部
具体实施方式
(成为本公开的基础的见解)
机器人与人类的交流能力日益提高,可以料想今后机器人代替人类而进行对接待对象(人类)的接待等交流的情况将会增加。另一方面,机器人不具有完全地理解人类的情绪而完成全面的待客应对的交流能力,机器人难以代为进行所有的待客。因此,也有很多待客的最后阶段必须是人类(待客继任者)进行的情况。
然而,在上述现有技术中,关于从交流机器人等待客装置对待客继任者的待客内容的交接,没有进行任何研究,难以顺畅地将对接待对象的接待结果从待客装置交接给待客继任者。
在此,机器人能够测定自身所接触的接待对象的情绪(例如精神压力),能够根据测定出的接待对象的情绪,以某种程度应对接待对象。因此,机器人向待客继任者交接待客业务时,将接待对象是怎样的情绪交接给待客继任者,由此,待客继任者能够进行更好的待客。
例如,假定机器人主要在不明白(不知道)接待对象所提问的内容或者无法理解接待对象的意图等状况下,变得不知道如何应对为好的情况。在这种情况下,在将机器人对接待对象进行的应对的内容交接给待客继任者时,机器人感测接待对象的情绪和/或状态,针对焦急的接待对象,以包含诸如用稍快的语速进行应答之类的建议的方式交接待客应对。由此,待客继任者能够进行更好的待客。
另外,假定在便利店中的复印机的问题应对的情况。在这种情况下,最初是机器人进行应对。接下来,从机器人向待客继任者交接时,向待客继任者提示“机器人在这种状况下引起了问题”这一信息,向待客继任者传达来店者在哪一时刻(timing)、怎样的状况下生气了。由此,机器人能够顺畅地将待客应对交接给待客继任者。
另外,在机器人认识到接待对象的迷惑和/或郁郁不快感的情况下,作为交接信息,例如传达“该客人尚有不确定性”这一内容,或传答“在人类(待客继任者)进行应对时,还有再建议的余地”这一内容。由此,能够顺畅地将待客应对交接给待客继任者。
基于上述见解,本申请发明人用心对应该如何将待客应对从机器人(待客装置)交接给人类(待客继任者)进行了研究。其结果,完成了本公开。
如下是本公开的一个技术方案的概要。本公开的待客装置能够通过具备一部分构成要素的机器人、和具备其他构成要素并且以能够通信的方式与机器人连接的服务器来实现。另外,本公开的待客装置也可以通过具备所有构成要素的机器人或者服务器来实现。
[项目1]
一种待客装置,具备:推定部,其通过解析接待对象的生物体数据来推定所述接待对象的情绪;交接研究部,其基于由所述推定部推定出的所述情绪,判断是否将对所述接待对象的应对交接给待客继任者;交接信息生成部,其在所述交接研究部判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息;以及通信部,其发送由所述交接信息生成部生成的所述交接信息。
根据项目1的构成,取得接待对象的生物体数据,通过解析所取得的生物体数据来推定接待对象的情绪,并基于所推定出的情绪,判断是否将对接待对象的应对交接给待客继任者。此时,在判断为将对接待对象的应对交接给待客继任者的情况下,生成表示待客装置对接待对象进行了的应对内容以及基于应对内容的交接内容的交接信息,将所生成的交接信息例如发送给待客继任者所持的通信终端。其结果是,待客继任者能够通过通信终端来确认待客装置对接待对象进行了的应对内容以及基于应对内容的交接内容,能够顺畅地将待客装置对接待对象的接待结果从待客装置向待客继任者进行交接。
[项目2]
根据项目1所述的待客装置,还具备取得所述接待对象的所述生物体数据的生物体数据取得部。
[项目3]
根据项目1所述的待客装置,所述交接信息生成部,在所述交接研究部判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括表示需要所述待客继任者的支援的应对支援请求信息的所述交接信息。
根据项目3的构成,在判断为将对接待对象的应对交接给待客继任者的情况下,生成了包括表示需要待客继任者的支援的应对支援请求信息的交接信息,因此,在待客装置无法顺畅地进行对接待对象的应对的情况下,能够将需要待客继任者的支援这一情况例如提示于通信终端,能够紧急地将对接待对象的应对从待客装置交接给待客继任者。
[项目4]
根据项目1~3中任一项所述的待客装置,还具备第1存储部,所述第1存储部将应该对所述接待对象进行的应对内容与所述接待对象的情绪进行关联而预先存储,所述交接研究部,参照所述第1存储部,在与由所述推定部推定出的情绪对应的应对内容是对所述待客继任者的应对支援请求的情况下,判断为将对所述接待对象的应对交接给所述待客继任者。
根据项目4的构成,参照将接待对象的情绪与待客装置应该执行的应对内容进行关联而预先存储的行动存储部,能够决定相对于所推定出的情绪而适当的应对内容,在所决定的应对内容是对待客继任者的应对支援请求的情况下,判断为将对接待对象的应对交接给待客继任者,因此,待客装置能够准确地判断无法顺畅地进行对接待对象的应对的情况,并在需要待客继任者对接待对象的应对的情况下,紧急地从待客装置交接给待客继任者。
[项目5]
根据项目4所述的待客装置,所述推定部通过解析所述生物体数据来推定表示所述接待对象的愤怒程度的多个等级,所述第1存储部将要对所述接待对象进行的应对内容与所述多个等级的各等级进行关联而预先存储,所述交接研究部,参照所述第1存储部,在由所述推定部推定出的等级在预定等级以上的情况下,判断为将对所述接待对象的应对交接给所述待客继任者。
根据项目5的构成,将接待对象生气的愤怒情绪划分成多个等级,在所推定出的愤怒情绪的等级在预定等级以上的情况下,判断为将对接待对象的应对交接给所述待客继任者,因此,待客装置能够更准确地判断无法顺畅地进行对接待对象的应对的情况,并仅在需要待客继任者对接待对象的应对的情况下,紧急地从待客装置交接给待客继任者。
[项目6]
根据项目5所述的待客装置,还具备属性取得部,所述属性取得部取得所述接待对象的属性,所述交接研究部,在由所述属性取得部取得的所述接待对象的属性不符合预定的重要条件、并且由所述推定部推定出的愤怒的情绪在第1等级以上的情况下,判断为将对所述接待对象的应对交接给所述待客继任者,在由所述属性取得部取得的所述接待对象的属性符合预定的重要条件、并且由所述推定部推定出的愤怒的情绪在比所述第1等级低的第2等级以上的情况下,判断为将对所述接待对象的应对交接给所述待客继任者。
根据项目6的构成,在接待对象的属性不符合预定的重要条件时,所推定出的愤怒的情绪在第1等级以上的情况下,判断为将对接待对象的应对交接给待客继任者,另外,在接待对象的属性符合预定的重要条件时,所推定出的愤怒的情绪在比第1等级低的第2等级以上的情况下,判断为将对接待对象的应对交接给待客继任者,所以,能够根据接待对象的属性来变更将对接待对象的应对交接给待客继任者的情况下的愤怒情绪的等级。因此,能够针对重要的接待对象提高由待客继任者进行待客的比率,针对通常的接待对象提高由待客装置进行待客的比率,能够提高重要的接待对象对待客的满足度,并且能够有效地活用待客装置。
[项目7]
根据项目1~6中任一项所述的待客装置,还具备:识别信息取得部,其取得识别所述接待对象的识别信息;第2存储部,其将表示对所述接待对象的过去的待客历史记录的历史记录信息与所述识别信息进行关联而存储;以及应对决定部,其从所述第2存储部取得与由所述识别信息取得部取得的识别信息对应的所述接待对象的历史记录信息,基于所述历史记录信息来决定对所述接待对象的应对。
根据项目7的构成,按各接待对象来存储过去的待客历史记录,基于过去的待客历史记录来决定对接待对象的应对,所以,能够进行与接待对象相应的适当的应对。
[项目8]
根据项目7所述的待客装置,所述交接信息生成部,在所述交接研究部判断为不将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息,所述第2存储部将所述交接信息生成部所生成的所述交接信息作为所述历史记录信息来存储。
根据项目8的构成,将表示待客装置对接待对象进行了的应对内容以及基于应对内容的交接内容的交接信息作为历史记录信息依次积存于历史记录存储部,所以,能够基于所积存的过去的待客历史记录而更适当地决定对接待对象的应对,能够进行与接待对象相应的更适当的应对。
[项目9]
根据项目1~8中任一项所述的待客装置,所述交接信息生成部生成包括表示由所述推定部推定出的情绪的情绪信息的所述交接信息。
根据项目9的构成,除了待客装置对接待对象进行了的应对内容以及基于应对内容的交接内容之外,还能够将接待对象的情绪也提示给待客继任者,所以,待客继任者能够将接待对象的情绪也考虑在内,进行更适当的应对。
[项目10]
根据项目1~9中任一项所述的待客装置,还具备回答输出部,所述回答输出部包括扬声器、显示器以及人型形状体中的至少一方,使用语音、影像以及动作中的至少一方来对所述接待对象进行接待。
根据项目10的构成,机器人能够使用语音、影像以及身体动作中的至少一方来进行适当的待客。
另外,本公开不仅能够作为具备如上所述的特征性构成的待客装置而实现,而且也能够作为执行与待客装置所具备的特征性构成对应的特征性处理的待客方法等而实现。另外,也可以构成为除了本公开的待客装置之外,还具备待客继任者所持的通信终端的待客系统。因此,在以下的其他技术方案中,也能够实现与上述待客装置同样的效果。
[项目11]
一种待客方法,包括:取得接待对象的生物体数据,通过解析所述生物体数据来推定所述接待对象的情绪,基于所述情绪,判断是否将对所述接待对象的应对交接给待客继任者,在判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息,发送所述交接信息。
[项目12]
一种待客系统,具备:机器人,其对接待对象进行接待;服务器,其以能够通信的方式与所述机器人连接;以及通信终端,其以能够通信的方式与所述服务器连接,所述机器人具备:推定部,其通过解析接待对象的生物体数据来推定所述接待对象的情绪;以及交接研究部,其基于由所述推定部推定出的所述情绪,判断是否将对所述接待对象的应对交接给待客继任者,所述服务器具备:交接信息生成部,其在所述交接研究部判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息;以及通信部,其将由所述交接信息生成部生成的所述交接信息发送给所述通信终端,所述通信终端具备提示所述交接信息的交接信息提示部。
另外,也可以作为计算机程序而实现,所述计算机程序使计算机执行上述的待客方法所包含的特征性的处理。并且,毫无疑问也可以通过CD-ROM等计算机可读取的非瞬时性的记录介质或者互联网等通信网络来使这样的计算机程序流通。
此外,以下说明的实施方式均表示本公开的一个具体例。在以下的实施方式中表示的数值、形状、构成要素、步骤、步骤的顺序等仅为一例,并非旨在限定本公开。另外,对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素,作为任意的构成要素进行说明。另外,在所有的实施方式中,也可以组合各自的内容。
(实施方式)
以下,参照附图,对本公开的实施方式进行说明。图1是表示本公开的一个实施方式涉及的待客系统的构成的一例的框图。图1所示的待客系统具备机器人10、服务器20以及平板电脑30。
机器人10是使用语音、影像以及身体动作中的至少一方来对接待对象进行接待的人型机器人。在此,接待对象通常为人类。机器人20通常为机器。服务器20经由有线或者无线的通信线路(省略图示),以能够通信的方式与机器人10连接。平板电脑30是待客继任者所持、携带或者使用的通信终端的一例。平板电脑30经由有线或者无线的通信线路(省略图示),以能够通信的方式与服务器20连接。
机器人10具备生物体数据测定部11、情绪推定部12、信息收集部13、交接研究部14、回答输出部15、回答生成部16、行动规则存储部17以及通信部18。服务器20具备通信部21、交接分析部22、交接关联信息存储部23以及交接信息生成部24。平板电脑30具备通信部31以及交接信息提示部32。
在此,生物体数据测定部11相当于生物体数据取得部的一例。情绪推定部12相当于推定部的一例。交接研究部14相当于交接研究部的一例。交接信息生成部24相当于交接信息生成部的一例。通信部21相当于通信部的一例。行动规则存储部17相当于第1存储部的一例。信息收集部13相当于属性取得部或者识别信息取得部的一例。交接关联信息存储部23相当于第2存储部的一例。回答生成部16相当于应对决定部的一例。交接信息提示部32相当于交接信息提示部的一例。
机器人10的通信部18进行机器人10与服务器20之间的通信。通信部18将机器人10生成的各种信息向通信部21发送,并从通信部21接收服务器20生成的各种信息。
生物体数据测定部11取得接待对象的生物体数据。例如,生物体数据测定部11具备利用高感度光谱扩散毫米波雷达等来以非接触的方式计测人类的脉搏的传感器,检测接待对象的心率以及心跳变动。
此外,生物体数据测定部11的构成不特别限定于此例。例如,也可以为,使接待对象穿戴测定人类的体征数据等的智能手表,从智能手表取得体征数据等。
另外,生物体数据测定部11取得的生物体数据也不特别限定于上述的脉搏。只要是能够推定情绪的生物体数据,例如也可以使用语音、脸部图像、血液中氧气浓度、血压、体温。在该情况下,生物体数据测定部11构成为对各生物体数据进行计测。
情绪推定部12通过解析由生物体数据测定部11取得的生物体数据来推定接待对象的情绪(例如参照日本专利第5257525号说明书)。
具体而言,情绪推定部12针对生物体数据测定部11所取得的心率设定第1~第4阈值Th1a~Th4a(Th1a<Th2a<Th3a<Th4a)这4个阈值。在心率大于第3阈值Th3a且小于等于第4阈值Th4a、并且心跳变动处于预定的基准范围R1a~R2a内的情况下,推定为接待对象的情绪是等级为“大”的“愤怒”。在心率大于第2阈值Th2a且小于等于第3阈值Th3a、并且心跳变动处于基准范围R1a~R2a内的情况下,推定为接待对象的情绪是等级为“中”的“愤怒”。在心率大于第1阈值Th1a且小于等于第2阈值Th2a、并且心跳变动处于基准范围R1a~R2a内的情况下,推定为接待对象的情绪是等级为“小”的“愤怒”。
另外,情绪推定部12针对“喜悦”设定第1~第4阈值Th1a~Th4a以及预定的基准范围R1b~R2b(R1b>R2a),针对“悲伤”设定预定的第1~第4阈值Th1b~Th4b(Th1b<Th2b<Th3b<Th4b<Th1a)以及基准范围R1a~R2a,针对“享受(乐在其中)”设定第1~第4阈值Th1b~Th4b以及基准范围R1b~R2b。进而,情绪推定部12也可以通过与上述同样的条件判断,针对接待对象的情绪为“喜悦”、“悲伤”以及“享受”的各情绪,推定是3个等级“大”、“中”、“小”中的哪一个。
此外,使用生物体数据来推定接待对象的情绪的方法不特别限定于上述的例子。例如,可以进行诸如使用根据生物体传感器值生成的接待对象的清醒度和愉快度来确定接待对象的情绪(参照日本专利第5735592号说明书)等各种变更。
信息收集部13收集表示来自接待对象的询问内容的询问信息。再者,信息收集部13取得接待对象的属性以及用户ID。在此,用户ID是识别信息的一例。
具体而言,信息收集部13具备麦克风等,取得接待对象的语音。信息收集部13对所取得的语音进行语音识别,生成由字符串构成的文本数据并输出给交接研究部14。
另外,信息收集部13具备摄像头等,对接待对象的脸进行拍摄。信息收集部13参照使用户ID、脸部图像、是否与贵宾(premium customer)相符的信息彼此相关联的数据库,根据拍摄到的接待对象的脸部图像,取得接待对象的用户ID。信息收集部13取得是否与贵宾相符的信息作为接待对象的属性,将取得的用户ID以及是否与贵宾相符的信息输出给交接研究部14。在此,贵宾意味着是作为对于待客继任者而言重要的顾客而被登记的顾客。
另外,信息收集部13基于通过摄像头拍摄到的图像来判定接待对象是大人还是儿童,将判定结果作为接待对象的属性输出给交接研究部14。
此外,信息收集部13收集的接待对象的属性不特别限定于上述的例子。信息收集部13也可以基于通过摄像头拍摄到的图像,收集成为接待对象的特征的年龄、性别、体格等来作为接待对象的属性。
另外,信息收集部13的构成不特别限定于上述的例子。例如,可以进行诸如接待对象使用触摸面板等直接对询问信息和/或属性进行输入等各种变更。在此,作为接待对象输入的属性,例如也可以是用户ID、是否与贵宾相符的信息。
另外,信息收集部13参照的数据库也可以存储于机器人10内部的存储部、例如行动规则存储部17。另外,也可以将数据库预先存储于服务器20的交接关联信息存储部23,经由通信部18等来进行参照。或者,也可以将数据库存储于其他服务器等,经由通信部18等来进行参照。
行动规则存储部17预先存储有使接待对象的情绪与待客装置应该执行的应对内容彼此相关联的数据库。
具体而言,行动规则存储部17存储有“喜悦”、“愤怒”、“悲伤”以及“享受”来作为接待对象的情绪。在此,“喜悦”表示接待对象是高兴的,“愤怒”表示接待对象是生气的,“悲伤”表示接待对象是悲伤的,“享受”表示接待对象是享受的。另外,行动规则存储部17将针对各情绪的应对内容、例如行动内容作为行动规则,与上述的各情绪进行关联而存储。另外,在接待对象的情绪为“愤怒”的情况下,将“愤怒”的情绪划分成多个等级,对各等级关联不同的应对内容并进行存储。
图2是表示图1所示的机器人的行动规则存储部17所存储的行动规则的一例的图。
如图2所示,例如针对“喜悦”(图中记载为“喜”),存储有“询问理由”、“一起喜悦”以及“若知道理由,则说起与其有关的话题”这些应对内容。另外,针对“悲伤”(图中记载为“哀”),存储有“询问理由”以及“一起悲伤”这些应对内容。另外,针对“享受”(图中记载为“乐”),存储有“询问理由”、“一起享受”以及“若知道理由,则说起与其有关的话题”这些应对内容。
另外,针对等级为“大”的“愤怒”(图中记载为“怒”),存储有“立即进行应对支援请求”这一应对内容,针对等级为“中”的“愤怒”,存储有“给出另外的回答”这一应对内容,针对等级为“小”的“愤怒”,存储有“再次向对方进行确认”这一应对内容。
此外,行动规则存储部17所存储的行动规则不特别限定于上述的例子。例如也可以将“喜悦”、“悲伤”以及“享受”也划分成多个等级,并对各等级关联应对内容。或者,可以进行诸如根据使用本待客系统的状况来进一步设定具体的应对内容等各种变更。
重新参照图1。交接研究部14基于由情绪推定部12推定出的情绪,判断是否将对接待对象的应对交接给待客继任者。交接研究部14将判断结果输出给回答生成部16,并且经由通信部18通知给服务器20。
具体而言,交接研究部14参照行动规则存储部17所存储的行动规则,提取并决定与由情绪推定部12推定出的情绪对应的应对内容。交接研究部14在所决定的应对内容是对待客继任者的应对支援请求的情况下,判断为将对接待对象的应对交接给待客继任者。
例如,交接研究部14参照行动规则存储部17所存储的行动规则,在由情绪推定部12推定出的“愤怒”的情绪的等级在预定等级、例如等级“大”以上的情况下,判断为将对接待对象的应对交接给待客继任者。
此外,交接研究部14的判断基准不仅限定于上述的由情绪推定部12推定出的情绪。可以进行诸如将由信息收集部13等收集到的与接待对象的交互、接待对象的状况也考虑为判断基准等各种变更。
另外,交接研究部14也可以使判断基准根据由信息收集部13取得的接待对象的属性是否符合预定的重要条件而不同。在此,所谓预定的重要条件,例如也可以是为贵宾这一条件,贵宾意味着接待对象对待客继任者而言是重要的顾客。例如,在接待对象的属性不符合预定的重要条件时,交接研究部14在由情绪推定部12推定出的愤怒的情绪在第1等级以上、例如为等级“大”的情况下,判断为将对接待对象的应对交接给待客继任者。另一方面,在接待对象的属性符合预定的重要条件时,交接研究部14也可以在等级在比第1等级低的第2等级、例如等级“中”以上的情况下,判断为将对接待对象的应对交接给待客继任者。
回答生成部16经由交接研究部14,取得信息收集部13所收集到的来自接待对象的询问信息。回答生成部16基于交接研究部14所决定的应对内容等,生成针对来自接待对象的询问信息的回答信息,并输出给回答输出部15。
在生成上述回答信息时,回答生成部16经由通信部18对服务器20进行询问,取得所需要的信息。具体而言,在交接研究部14判断为不将对接待对象的应对交接给待客继任者的情况下,回答生成部16经由交接研究部14,取得信息收集部13所取得的用户ID。回答生成部16经由交接分析部22以及通信部18,从交接关联信息存储部23取得与所取得的用户ID对应的接待对象的历史记录信息来作为对接待对象的过去的待客历史记录。回答生成部16将该历史记录信息也考虑在内,并基于交接研究部14所决定的应对内容等,生成针对来自接待对象的询问信息的回答信息,输出给回答输出部15。
回答输出部15输出由回答生成部16生成的针对来自接待对象的询问内容的回答信息。例如,回答输出部15具备扬声器等,将由回答生成部16生成的回答信息转换成语音并进行说话。此外,回答输出部15的构成不特别限定于上述的例子。例如,可以进行诸如使用显示器等,将针对来自接待对象的询问内容的回答信息转换成图像并进行显示等各种变更。另外,也可以为,除了回答输出部15用语音进行的回答,机器人10还进行与回答信息相应的身体动作。
另外,交接研究部14在对接待对象的应对结束、或者判断为将对接待对象的应对交接给待客继任者的情况下,将包括信息收集部13所收集到的来自接待对象的询问信息、和回答生成部16所生成的回答信息的应对历史记录信息作为机器人10的应对内容,经由通信部18通知给服务器20。
关于服务器20的通信部21,除了与机器人10的通信之外,还进行服务器20与平板电脑30之间的通信。通信部21将服务器20生成的各种信息向通信部31发送,并从通信部31接收平板电脑30生成的各种信息。
交接分析部22基于经由通信部21从机器人10通知的包括来自接待对象的询问信息和针对来自接待对象的询问信息的回答信息的应对历史记录信息等,分析机器人10对接待对象的应对状况。
交接关联信息存储部23将与向待客继任者提示的交接信息关联的数据和用户ID建立对应并进行存储。交接分析部22将从机器人10通知的应对历史记录信息作为表示对接待对象的过去的待客历史记录的历史记录信息,与用户ID相关联地存储于交接关联信息存储部23。
交接信息生成部24基于由交接分析部22分析得到的机器人10对接待对象的应对状况、和交接关联信息存储部23所存储的与交接信息关联的数据,生成交接信息。在此,交接关联信息存储部23所存储的与交接信息关联的数据例如指的是表示对接待对象的过去的待客历史记录的历史记录信息。另外,交接信息生成部24所生成的交接信息也可以包括表示由情绪推定部12推定出的情绪的情绪信息。
具体而言,在交接研究部14判断为不将对接待对象的应对交接给待客继任者的情况下,交接信息生成部24生成包括对接待对象进行了的应对内容和基于应对内容的交接内容的交接信息,并使交接关联信息存储部23进行存储。再者,交接信息生成部24将生成的交接信息经由通信部21通知给平板电脑30。
另外,在交接研究部14判断为将对接待对象的应对交接给待客继任者的情况下,交接信息生成部24生成包括机器人10对接待对象进行了的应对内容和基于应对内容的交接内容的交接信息,并对生成的交接信息附加表示需要待客继任者的支援的应对支援请求信息。再者,交接信息生成部24使包括应对支援请求信息的交接信息存储于交接关联信息存储部23,并且经由通信部21通知给平板电脑30。
平板电脑30的通信部31进行服务器20与平板电脑30之间的通信,将平板电脑30生成的各种信息向通信部21发送,并从通信部21接收服务器20生成的各种信息。
交接信息提示部32由显示器等构成。交接信息提示部32经由通信部31取得交接信息生成部24所生成的交接信息,将使用所取得的交接信息制作而成的交接画面显示于显示器。此外,通信终端不特别限定于平板电脑30。例如,也可以使用智能手机、笔记本式或者台式计算机等作为通信终端。另外,也可以使用上述的交接信息来制作交接用语音,通过语音向待客继任者进行交接。
另外,本待客系统的构成不特别限定于上述的例子,可以进行各种变更。例如,也可以省略通信部18以及服务器20,对机器人10设置交接分析部22、交接关联信息存储部23以及交接信息生成部24。再者,也可以对机器人10设置将交接信息生成部24所生成的交接信息发送给平板电脑30的通信部,使机器人10也执行服务器20的处理。在该情况下,机器人10相当于待客装置的一例。
另外,也可以从机器人10中省略情绪推定部12、交接研究部14、回答生成部16以及行动规则存储部17,而对服务器20设置情绪推定部12、交接研究部14、回答生成部16以及行动规则存储部17。此时,机器人10具备生物体数据测定部11、信息收集部13、回答输出部15以及通信部18。另外,机器人10的通信部18也可以为,将生物体数据测定部11以及信息收集部13取得的信息发送给服务器20,并且接收服务器20生成的回答信息等。也可以为,服务器20的通信部21接收机器人10的生物体数据测定部11所取得的生物体数据等,服务器20执行情绪推定部12、交接研究部14以及回答生成部16的处理。在该情况下,服务器20相当于待客装置的一例。
另外,在服务器20作为待客装置进行工作的情况下,也可以取代机器人10,使用具备生物体数据测定部11、信息收集部13、回答输出部15以及通信部18的用户接口装置。这种用户接口装置例如也可以包括显示器、扬声器、麦克风。
接下来,说明由如上构成的待客系统进行的待客处理。图3是表示由图1所示的待客系统进行的待客处理的一例的时序图。此外,在以下的说明中,以如下情况为例进行说明:机器人10作为接待员(concierge)在酒店进行对顾客的接待,人类的接待员进行从机器人10的交接(继任)。在此,顾客是接待对象,接待员是待客继任者。
如图3所示,首先,机器人10进行对顾客的应对,例如接受来自顾客的提问、对提问进行回答(步骤S11)。
此时,机器人10的生物体数据测定部11例如测定顾客的脉搏作为生物体数据(步骤S12),情绪推定部12取得顾客的脉搏(步骤S13)。
接下来,情绪推定部12通过解析由生物体数据测定部11测定出的生物体数据来推定顾客的情绪。交接研究部14参照行动规则存储部17所存储的行动规则,决定与由情绪推定部12推定出的情绪对应的应对内容。另外,交接研究部14根据生物体数据来分析顾客的状况(步骤S14)。此时,信息收集部13收集来自顾客的询问信息。回答生成部16经由交接研究部14取得来自顾客的询问信息。另外,回答生成部16按照交接研究部14所决定的应对内容,生成针对来自顾客的询问信息的回答并使用回答输出部15通过语音进行输出,进行对顾客的应对(步骤S14)。
另外,信息收集部13取得顾客的用户ID。此外,信息收集部13经由交接研究部14将所取得的用户ID输出给回答生成部16。回答生成部16经由通信部18将顾客的用户ID发送给服务器20,并请求顾客的历史记录信息(步骤S15)。
接下来,服务器20的交接分析部22在交接关联信息存储部23中进行搜索,提取与经由通信部21取得的顾客的用户ID相关联地存储的顾客的历史记录信息(步骤S16)。
接下来,通信部21将交接分析部22所提取的顾客的历史记录信息发送给机器人10(步骤S17)。回答生成部16经由通信部18取得顾客的历史记录信息。回答生成部16还利用顾客的历史记录信息,按照交接研究部14所决定的应对内容,生成针对来自顾客的询问信息的回答信息,并使用回答输出部15通过语音来说话,进行对顾客的应对。
反复进行如上的各处理(图中用点划线围着的处理),依次执行机器人10对顾客的应对。
在此,在机器人10进行待客时,顾客对机器人10的应对怀有不满并发怒的情况下,在步骤S12、S13中取得的生物体数据发生变化。在此,在情绪推定部12推定出等级为“大”的“愤怒”的情绪的情况下,交接研究部14判断为将对接待对象的应对交接给待客继任者。另外,交接研究部14将表示需要待客继任者的支援的应对支援请求信息和从回答生成部16取得的表示机器人10的应对内容的应对历史记录信息,经由通信部18通知给服务器20(步骤S18)。
另外,在由机器人10进行的待客顺利结束的情况下,交接研究部14将从回答生成部16取得的表示机器人10的应对内容的应对历史记录信息,经由通信部18通知给服务器20(步骤S18)。
交接分析部22在经由通信部21取得了应对支援请求信息和表示应对内容的应对历史记录信息的情况下,分析机器人10对接待对象的应对状况,以包括分析结果的方式制作表示机器人10进行了的待客内容的历史记录的顾客的历史记录信息,并存储于交接关联信息存储部23(步骤S19)。另外,交接分析部22将需要待客继任者的支援这一情况通知给交接信息生成部24。交接信息生成部24参照交接关联信息存储部23的顾客的历史记录信息,生成包括应对支援请求信息和应对历史记录信息的交接信息(步骤S19)。
接下来,交接信息生成部24经由通信部21将包括应对支援请求信息和应对历史记录信息的交接信息通知给平板电脑30(步骤S20)。
平板电脑30的交接信息提示部32经由通信部31取得包括应对支援请求信息和应对历史记录信息的交接信息,显示使用所取得的交接信息制作而成的紧急时的交接画面(步骤S21)。
另外,交接分析部22在经由通信部21取得了表示应对内容的应对历史记录信息的情况下,分析机器人10对接待对象的应对状况,以包括分析结果的方式制作表示机器人10进行了的待客内容的历史记录的顾客的历史记录信息,并存储于交接关联信息存储部23(步骤S19)。另外,交接分析部22将顾客的历史记录信息的制作结束这一情况通知给交接信息生成部24。交接信息生成部24参照交接关联信息存储部23的顾客的历史记录信息,生成包括应对历史记录信息的交接信息(步骤S19)。
交接信息生成部24经由通信部21将包括应对历史记录信息的交接信息通知给平板电脑30(步骤S20)。
平板电脑30的交接信息提示部32经由通信部31取得包括应对历史记录信息的交接信息,显示使用所取得的交接信息制作而成的通常时的交接画面(步骤S21)。
根据上述处理,在本实施方式中,取得顾客的脉搏,并通过解析所取得的脉搏来推定顾客的情绪。另外,基于所推定出的情绪,判断是否将对顾客的应对交接给待客继任者。
此时,在判断为将对顾客的应对交接给待客继任者的情况下,生成包括机器人10对顾客进行了的应对内容和基于应对内容的交接内容的交接信息,将所生成的交接信息发送到待客继任者所持的平板电脑30。
其结果是,待客继任者能够通过平板电脑30来确认所显示的机器人10对接待对象进行了的应对内容和基于应对内容的交接内容。由此,能够顺畅地将机器人10对接待对象的接待结果从机器人10向待客继任者进行交接。
接下来,进一步详细地说明由上述的待客系统进行的待客处理中的、由机器人10进行的待客交接处理。图4是表示由图1所示的机器人10进行的待客交接处理的一例的流程图。
首先,机器人10处于待机状态(步骤S31),例如在酒店的受理窗口等待顾客的到来。
接下来,当顾客到访受理窗口时,机器人10的信息收集部13判断是否在所拍摄到的图像中发现了顾客(步骤S32)。在没有发现顾客的情况下(步骤S32:否),继续进行步骤S31的待机处理。
另一方面,在发现了顾客的情况下(步骤S32:是),信息收集部13取得顾客所说的话并输出给交接研究部14。交接研究部14将来自顾客的询问信息通知给回答生成部16。回答生成部16生成针对来自顾客的询问信息的回答信息。回答输出部15基于回答生成部16所生成的回答信息,实施与顾客的对话(步骤S33)。
接下来,交接研究部14判断与顾客的对话是否结束(步骤S34)。在与顾客的对话结束的情况下(步骤S34:是),交接研究部14使用通信部18将从回答生成部16取得的表示机器人10的应对内容的应对历史记录信息发送给服务器20(步骤S35)。之后,返回至步骤S31的待机处理,等候下一位顾客来店。
另一方面,在与顾客的对话尚未结束的情况下(步骤S34:否),生物体数据测定部11感测顾客的生物体数据(例如脉搏)。情绪推定部12根据由生物体数据测定部11取得的脉搏来推定顾客的情绪。交接研究部14基于情绪推定部12所推定出的顾客的情绪来分析顾客的状况(步骤S36)。
进而,交接研究部14根据所分析出的顾客的状况来判断是否能够进行对顾客的应对(步骤S37)。例如,在与顾客当前的情绪相关联的应对内容为“立即进行应对支援请求”的情况下,交接研究部14判断为不能进行对顾客的应对。另一方面,在与顾客当前的情绪相关联的应对内容为其他应对内容的情况下,交接研究部14判断为能够进行对顾客的应对。
在判断为能够进行对顾客的应对的情况下(步骤S37:是),回答生成部16经由通信部18向服务器20请求顾客的历史记录信息等,取得所需要的信息(步骤S38)。在此,所谓所需要的信息,例如是顾客为贵宾这一信息。之后,反复进行步骤S33以后的处理,回答生成部16将从服务器20取得的信息也考虑在内,继续进行与顾客的对话。
另一方面,在判断为不能进行对顾客的应对的情况下(步骤S37:否),交接研究部14使用通信部18将表示需要待客继任者的支援的应对支援请求信息和从回答生成部16取得的表示机器人10的应对内容的应对历史记录信息发送给服务器20,并结束处理(步骤S39)。之后,机器人10进行待机直到待客继任者到来为止。
接下来,具体地对通过上述的机器人10的待客交接处理而存储于服务器20的交接关联信息存储部23的顾客的历史记录信息进行说明。图5是表示图1所示的服务器20的交接关联信息存储部23所存储的顾客的历史记录信息的一例的图。此外,在以下的说明中,设在行动规则存储部17中,与顾客的属性不是贵宾、“愤怒”为“大”的情况相对应地存储有“立即进行应对支援请求”这一应对内容。另外,设在行动规则存储部17中,与顾客的属性是贵宾、“愤怒”为“中”和“大”的情况相对应地存储有“立即进行应对支援请求”这一应对内容。
如图5所示,作为顾客的历史记录信息,将顾客的用户ID、顾客的属性、待客的日期时间、表示顾客的情绪的情绪项目、该情绪的等级、机器人对顾客的应对内容、以及机器人对顾客的应对结果以表的形式存储于交接关联信息存储部23。
例如,就用户ID为“00101”的顾客而言,机器人10在2016年5月3日和6月24日进行了接待,在5月3日推定为顾客的情绪是等级“中”的“喜悦”。另外,机器人10进行了“询问顾客高兴的理由并称赞”这一应对,存储有“处于包括听到的理由在内而高兴的状态”这一应对结果。在6月24日推定为顾客的情绪是等级“小”的“悲伤”。机器人10进行了“询问顾客悲伤的理由并安慰”这一应对,存储有“处于包括听到的理由在内而悲伤的状态”这一应对结果。
另外,就用户ID为“00456”的顾客而言,机器人10在2016年5月31日进行了接待,推定为顾客的情绪是等级“大”的“愤怒”。机器人10进行了“理解错了提问意图,因此顾客对应对内容不满,中途发火了”这一应对,存储有“发送了应对支援请求”这一应对结果。在该情形中,顾客不是贵宾,而推定出情绪为等级“大”的“愤怒”,因此,发送了应对支援请求。
另外,就用户ID为“00789”的顾客而言,该顾客是贵宾,因此存储有表示贵宾的“P”作为顾客的属性。机器人10在2016年6月15日和6月23日进行了接待,在6月15日推定为顾客的情绪是等级“小”的“愤怒”。机器人10进行了“顾客对应对内容(回答内容)不满,愤怒度变高了”这一应对,存储有“取出历史记录信息并进行回答,顺利完成”这一应对结果。在6月23日推定为顾客的情绪是等级“中”的“愤怒”。机器人10进行了“反复询问顾客的提问,因此顾客对应对内容不满,中途发火了”这一应对,存储有“发送了应对支援请求”这一应对结果。在该情形中,顾客是贵宾,在6月15日推定为情绪是等级“小”的“愤怒”,因此,没有发送应对支援请求。另一方面,在6月23日推定为情绪是等级“中”的“愤怒”,因此,发送了应对支援请求。
另外,就用户ID为“00234”的顾客而言,机器人10在2016年6月19日进行了接待,推定为顾客的情绪是等级“大”的“享受”。机器人10进行了“询问顾客享受的理由,说出与该话题相关联的话来营造良好的气氛”这一应对,存储有“客人处于享受的状态”这一应对结果。
另外,就用户ID为“00673”的顾客而言,该顾客是贵宾,因此存储有表示贵宾的“P”作为顾客的属性。机器人10在2016年6月10日进行了接待,推定为顾客的情绪是等级“大”的“愤怒”。机器人10进行了“顾客对机器人进行应对这一情况不满,从最初开始就发火了”这一应对,存储有“发送了应对支援请求”这一应对结果。在该情形中,顾客是贵宾,推定为情绪是等级“大”的“愤怒”,因此,发送了应对支援请求。
最后,就用户ID为“10321”的顾客而言,由于检测出该顾客是儿童,因此存储有“儿童”作为顾客的属性。机器人10在2016年5月5日进行了接待,推定为顾客的情绪是等级“中”的“愤怒”。机器人10进行了“不断进行如询问愤怒的理由那样的提问”这一应对,存储有“询问愤怒的理由,基于理由完成了应对”这一应对结果。该情形为如下例子:针对该顾客,信息收集部13对是大人还是儿童进行判定,并将判定为是儿童的结果作为顾客的属性进行了存储。在该情况下,回答生成部16将会生成相对于儿童的回答。
接下来,对在像上述那样发送了应对支援请求的情况下显示于平板电脑30的紧急时的交接画面进行说明。图6是表示图1所示的平板电脑30所显示的紧急时的交接画面的一例的图。在图6中显示有包括应对支援请求信息的交接信息。
例如,在对图5所示的用户ID为“00789”的顾客的6月23日的接待中,在推定出等级“中”的“愤怒”的情况下,平板电脑30显示出图6所示的紧急时的交接画面。本例为如下例子:在酒店中,机器人10承担接待员的职责,人类的接待员作为待客继任者来接替待客。
首先,在交接画面的上部中央大大地显示出文字“紧急支援请求”。待客继任者通过观察该显示,能够了解到需要紧急接替待客这一情况。此外,该显示优选地以用红色等附加外框的方式来显示,以使得相比于其他显示被加以强调。
另外,在交接画面的上部右侧显示出文字“客人ID:00789,贵宾”。待客继任者通过观察该显示,能够了解到顾客是贵宾、是用户ID为“00789”的顾客。因此,待客继任者能够使用平板电脑30从服务器20取得用户ID为“00789”的顾客的历史记录信息等,帮助本次待客。
另外,在交接画面的下半部分显示出表示应对结果的“结果”和表示机器人10对顾客进行了的应对内容的“应对”,待客继任者通过参照“应对”所表示的机器人10与顾客之间的对话,能够了解到“愤怒度:中”(等级“中”的“愤怒”)、“客人似乎生气了”这一应对结果。因此,待客继任者能够基于具体的对话内容和所推定出的顾客的情绪,进行适当的接待。
接下来,对通常时的交接画面进行说明。在不发送应对支援请求地发送交接信息的情况下,通常时的交接画面显示于平板电脑30。图7是表示图1所示的平板电脑30所显示的通常时的交接画面的一例的图。在图7中显示有不包括应对支援请求信息的交接信息。
图7所示的例子例如是,在酒店的餐厅出口,偶然经过的机器人10向没能取得用户ID的顾客搭话时的例子。
首先,在交接画面的上部中央显示出文字“客人是高兴的”,待客继任者通过观察该显示,能够了解到机器人10对顾客进行了适当的待客这一情况。
在交接画面的上部右侧显示出文字“客人ID:不明、身材高大、40多岁”。待客继任者因用户ID不明而无法确定顾客。然而,由于显示有顾客的特征(身材高大、40多岁)作为顾客的属性,因此在根据该特征能够确定顾客的情况下,则能够将本次交接信息用于今后的待客。此外,上述的顾客的特征是信息收集部13作为顾客的属性而收集到的信息。
另外,在交接画面的下半部分显示出“结果”以及“应对”,待客继任者根据“应对”所表示的机器人10与顾客之间的对话,能够了解到“喜悦度:中”(等级“中”的“喜悦”)、“餐厅所提供的葡萄酒好喝”这一应对结果。因此,待客继任者能够将具体的对话内容和所推定出的顾客的情绪用于今后的待客。
以上,基于上述实施方式说明了本公开的一个技术方案涉及的待客系统,但本公开不限定于上述实施方式。只要不脱离本公开的宗旨,将本领域技术人员想到的各种变形应用于本实施方式,或者将不同的实施方式中的构成要素组合而构成的形态也包含在本公开的范围内。
产业上的可利用性
本公开涉及的待客装置、待客方法以及待客系统能够顺畅地将待客装置对接待对象的接待结果从待客装置向待客继任者进行交接。因此,作为对接待对象进行接待并将接待结果交接给待客继任者的待客装置、待客方法以及待客系统是有用的。

Claims (13)

1.一种待客装置,具备:
推定部,其通过解析接待对象的生物体数据来推定所述接待对象的情绪;
交接研究部,其基于由所述推定部推定出的所述情绪,判断是否将对所述接待对象的应对交接给待客继任者;
交接信息生成部,其在所述交接研究部判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息;以及
通信部,其发送由所述交接信息生成部生成的所述交接信息。
2.根据权利要求1所述的待客装置,
还具备取得所述接待对象的所述生物体数据的生物体数据取得部。
3.根据权利要求1所述的待客装置,
所述交接信息生成部,在所述交接研究部判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括表示需要所述待客继任者的支援的应对支援请求信息的所述交接信息。
4.根据权利要求1所述的待客装置,
还具备第1存储部,所述第1存储部将应该对所述接待对象进行的应对内容与所述接待对象的情绪进行关联而预先存储,
所述交接研究部,参照所述第1存储部,在与由所述推定部推定出的情绪对应的应对内容是对所述待客继任者的应对支援请求的情况下,判断为将对所述接待对象的应对交接给所述待客继任者。
5.根据权利要求4所述的待客装置,
所述推定部通过解析所述生物体数据来推定表示所述接待对象的愤怒程度的多个等级,
所述第1存储部将要对所述接待对象进行的应对内容与所述多个等级的各等级进行关联而预先存储,
所述交接研究部,参照所述第1存储部,在由所述推定部推定出的等级在预定等级以上的情况下,判断为将对所述接待对象的应对交接给所述待客继任者。
6.根据权利要求5所述的待客装置,
还具备属性取得部,所述属性取得部取得所述接待对象的属性,
所述交接研究部,
在由所述属性取得部取得的所述接待对象的属性不符合预定的重要条件、并且由所述推定部推定出的愤怒的情绪在第1等级以上的情况下,判断为将对所述接待对象的应对交接给所述待客继任者,
在由所述属性取得部取得的所述接待对象的属性符合预定的重要条件、并且由所述推定部推定出的愤怒的情绪在比所述第1等级低的第2等级以上的情况下,判断为将对所述接待对象的应对交接给所述待客继任者。
7.根据权利要求1~6中任一项所述的待客装置,还具备:
识别信息取得部,其取得识别所述接待对象的识别信息;
第2存储部,其将表示对所述接待对象的过去的待客历史记录的历史记录信息与所述识别信息进行关联而存储;以及
应对决定部,其从所述第2存储部取得与由所述识别信息取得部取得的识别信息对应的所述接待对象的历史记录信息,基于所述历史记录信息来决定对所述接待对象的应对。
8.根据权利要求7所述的待客装置,
所述交接信息生成部,在所述交接研究部判断为不将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括已对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息,
所述第2存储部将所述交接信息生成部所生成的所述交接信息作为所述历史记录信息来存储。
9.根据权利要求1所述的待客装置,
所述交接信息生成部生成包括表示由所述推定部推定出的情绪的情绪信息的所述交接信息。
10.根据权利要求1所述的待客装置,
还具备回答输出部,所述回答输出部包括扬声器、显示器以及人型形状体中的至少一方,使用语音、影像以及动作中的至少一方来对所述接待对象进行接待。
11.一种待客方法,包括:
取得接待对象的生物体数据,
通过解析所述生物体数据来推定所述接待对象的情绪,
基于所述情绪,判断是否将对所述接待对象的应对交接给待客继任者,
在判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息,
发送所述交接信息。
12.一种待客系统,具备:
机器人,其对接待对象进行接待;
服务器,其以能够通信的方式与所述机器人连接;以及
通信终端,其以能够通信的方式与所述服务器连接,
所述机器人具备:
推定部,其通过解析接待对象的生物体数据来推定所述接待对象的情绪;以及
交接研究部,其基于由所述推定部推定出的所述情绪,判断是否将对所述接待对象的应对交接给待客继任者,
所述服务器具备:
交接信息生成部,其在所述交接研究部判断为将对所述接待对象的应对交接给所述待客继任者的情况下,生成包括对所述接待对象进行了的应对内容和基于所述应对内容的交接内容的交接信息;以及
通信部,其将由所述交接信息生成部生成的所述交接信息发送给所述通信终端,
所述通信终端具备提示所述交接信息的交接信息提示部。
13.根据权利要求12所述的待客系统,
所述机器人还具备取得所述接待对象的所述生物体数据的生物体数据取得部。
CN201710417649.7A 2016-08-10 2017-06-06 待客装置、待客方法以及待客系统 Pending CN107731225A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016157465 2016-08-10
JP2016-157465 2016-08-10

Publications (1)

Publication Number Publication Date
CN107731225A true CN107731225A (zh) 2018-02-23

Family

ID=61160323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710417649.7A Pending CN107731225A (zh) 2016-08-10 2017-06-06 待客装置、待客方法以及待客系统

Country Status (3)

Country Link
US (1) US20180047030A1 (zh)
JP (1) JP2018027613A (zh)
CN (1) CN107731225A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785123A (zh) * 2019-01-21 2019-05-21 中国平安财产保险股份有限公司 一种业务办理协助方法、装置及终端设备
CN110085225A (zh) * 2019-04-24 2019-08-02 北京百度网讯科技有限公司 语音交互方法、装置、智能机器人及计算机可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6219448B1 (ja) * 2016-05-16 2017-10-25 Cocoro Sb株式会社 顧客応対制御システム、顧客応対システム及びプログラム
KR102348904B1 (ko) 2017-07-25 2022-01-07 삼성에스디에스 주식회사 유인 상담원에 의하여 보조 되는 무인 대화 서비스 제공 방법
US10791358B2 (en) 2017-12-07 2020-09-29 Enseo, Inc. Set-top box with interactive portal and system and method for use of same
JP7067414B2 (ja) * 2018-10-24 2022-05-16 トヨタ自動車株式会社 コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム
US11772274B2 (en) 2018-12-19 2023-10-03 Honda Motor Co., Ltd. Guide robot control device, guidance system using same, and guide robot control method
WO2020129311A1 (ja) * 2018-12-19 2020-06-25 本田技研工業株式会社 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
EP3806022A4 (en) * 2019-02-25 2022-01-12 QBIT Robotics Corporation INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING PROCEDURES
JP6900058B2 (ja) 2019-07-30 2021-07-07 株式会社リビングロボット パーソナルアシスタント制御システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1527992A (zh) * 2001-03-15 2004-09-08 �ʼҷ����ֵ������޹�˾ 监视偶尔需要帮助的独居者的自动系统
JP2007190641A (ja) * 2006-01-19 2007-08-02 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007213190A (ja) * 2006-02-08 2007-08-23 Advanced Telecommunication Research Institute International コミュニケーションロボット改良システム
JP2009294647A (ja) * 2008-05-09 2009-12-17 Agi:Kk 行動分析装置及びコールセンターシステム
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
CN104635574A (zh) * 2014-12-15 2015-05-20 山东大学 一种面向幼儿的早教陪护机器人系统
WO2016068262A1 (ja) * 2014-10-29 2016-05-06 京セラ株式会社 コミュニケーションロボット
JP2016092582A (ja) * 2014-11-04 2016-05-23 株式会社東芝 コールセンター支援システム、及び支援方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959080B2 (en) * 2002-09-27 2005-10-25 Rockwell Electronic Commerce Technologies, Llc Method selecting actions or phases for an agent by analyzing conversation content and emotional inflection
CN100436082C (zh) * 2003-08-12 2008-11-26 株式会社国际电气通信基础技术研究所 用于通信机器人的控制系统
JP2005103722A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 協調ロボット装置、システム、およびナビゲーションロボット装置
JP2006198730A (ja) * 2005-01-21 2006-08-03 Yaskawa Electric Corp 受付案内システム
US7933399B2 (en) * 2005-03-22 2011-04-26 At&T Intellectual Property I, L.P. System and method for utilizing virtual agents in an interactive voice response application
JP4639343B2 (ja) * 2006-01-20 2011-02-23 株式会社国際電気通信基礎技術研究所 ロボット遠隔操作システム
JP2007245317A (ja) * 2006-03-17 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> ロボット制御装置及びプログラム並びにロボット制御方法
JP2010094799A (ja) * 2008-10-17 2010-04-30 Littleisland Inc 人型ロボット
JP2010120129A (ja) * 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> ロボット連携システム、ロボット連携方法及びプログラム
US20120061155A1 (en) * 2010-04-09 2012-03-15 Willow Garage, Inc. Humanoid robotics system and methods
JP5987473B2 (ja) * 2012-05-23 2016-09-07 富士通株式会社 非言語情報収集装置および非言語情報収集プログラム
JP6218705B2 (ja) * 2014-08-19 2017-10-25 シャープ株式会社 見守りシステム、システム側装置、見守り方法、表示端末、及びコンピュータプログラム
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックIpマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
US9796093B2 (en) * 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
US10311400B2 (en) * 2014-10-24 2019-06-04 Fellow, Inc. Intelligent service robot and related systems and methods
US10265859B2 (en) * 2016-02-09 2019-04-23 Cobalt Robotics Inc. Mobile robot with removable fabric panels
JP6839818B2 (ja) * 2017-05-17 2021-03-10 パナソニックIpマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1527992A (zh) * 2001-03-15 2004-09-08 �ʼҷ����ֵ������޹�˾ 监视偶尔需要帮助的独居者的自动系统
JP2007190641A (ja) * 2006-01-19 2007-08-02 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007213190A (ja) * 2006-02-08 2007-08-23 Advanced Telecommunication Research Institute International コミュニケーションロボット改良システム
JP2009294647A (ja) * 2008-05-09 2009-12-17 Agi:Kk 行動分析装置及びコールセンターシステム
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
WO2016068262A1 (ja) * 2014-10-29 2016-05-06 京セラ株式会社 コミュニケーションロボット
JP2016092582A (ja) * 2014-11-04 2016-05-23 株式会社東芝 コールセンター支援システム、及び支援方法
CN104635574A (zh) * 2014-12-15 2015-05-20 山东大学 一种面向幼儿的早教陪护机器人系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785123A (zh) * 2019-01-21 2019-05-21 中国平安财产保险股份有限公司 一种业务办理协助方法、装置及终端设备
CN110085225A (zh) * 2019-04-24 2019-08-02 北京百度网讯科技有限公司 语音交互方法、装置、智能机器人及计算机可读存储介质
CN110085225B (zh) * 2019-04-24 2024-01-02 北京百度网讯科技有限公司 语音交互方法、装置、智能机器人及计算机可读存储介质

Also Published As

Publication number Publication date
US20180047030A1 (en) 2018-02-15
JP2018027613A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
CN107731225A (zh) 待客装置、待客方法以及待客系统
US11017779B2 (en) System and method for speech understanding via integrated audio and visual based speech recognition
US11222632B2 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
US20190206407A1 (en) System and method for personalizing dialogue based on user&#39;s appearances
US11017551B2 (en) System and method for identifying a point of interest based on intersecting visual trajectories
US11003860B2 (en) System and method for learning preferences in dialogue personalization
CN107870977A (zh) 基于用户状态形成聊天机器人输出
CN108847226A (zh) 管理人机对话中的代理参与
CN107731224A (zh) 待客装置、待客方法以及待客系统
WO2019133715A1 (en) System and method for artificial intelligence driven automated companion
WO2019161193A2 (en) System and method for adaptive detection of spoken language via multiple speech models
Salam et al. A multi-level context-based modeling of engagement in human-robot interaction
US11308312B2 (en) System and method for reconstructing unoccupied 3D space
US20220101856A1 (en) System and method for disambiguating a source of sound based on detected lip movement
US20190253724A1 (en) System and method for visual rendering based on sparse samples with predicted motion
CN109643313A (zh) 信息处理设备、信息处理方法和程序
EP3752959A1 (en) System and method for inferring scenes based on visual context-free grammar model
CN109101663A (zh) 一种基于互联网的机器人对话系统
WO2020129182A1 (ja) 対話装置、対話システムおよび対話プログラム
CN111063346A (zh) 基于机器学习的跨媒体明星情感陪伴交互系统
CN109550230A (zh) 一种交互体验装置和方法
KR102433964B1 (ko) 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
Hussain et al. The (im) possibility of decolonising gender in South Asia: a reading of Bollywood’s ‘new women’
Edirisinghe et al. Application of robot autobiographical memory in long-term human-robot social interactions
JPWO2021229692A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180223