CN108090474A - 一种基于云语音沟通和情绪感知的酒店服务机器人系统 - Google Patents
一种基于云语音沟通和情绪感知的酒店服务机器人系统 Download PDFInfo
- Publication number
- CN108090474A CN108090474A CN201810041979.5A CN201810041979A CN108090474A CN 108090474 A CN108090474 A CN 108090474A CN 201810041979 A CN201810041979 A CN 201810041979A CN 108090474 A CN108090474 A CN 108090474A
- Authority
- CN
- China
- Prior art keywords
- module
- customer
- service robot
- hotel
- hotel service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 35
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000009471 action Effects 0.000 claims abstract description 13
- 230000008921 facial expression Effects 0.000 claims abstract description 13
- 239000000463 material Substances 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000006854 communication Effects 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000002996 emotional effect Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 4
- 238000007639 printing Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Human Resources & Organizations (AREA)
- Mechanical Engineering (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Robotics (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于云语音沟通和情绪感知的酒店服务机器人系统技术邻域，包括了云语音识别模块、语义理解模块、语音播放模块、面部表情识别模块、人脸识别模块、显示模块、动作识别模块、情绪识别模块、入住/退房模块、打印材料模块、支付模块、监视录像系统模块、身份证扫描模块等，以上模块集成在酒店服务机器人身上，酒店服务机器人通过人脸识别技术判断是否有顾客办理入住、退房业务，通过与顾客语音交流办理业务，同时具有打印相关材料、支付、身份扫描等功能，酒店服务机器人通过人的面部表情、语音和动作三方面的信息判断顾客情绪，适当调整与顾客交流的情感场景，酒店服务机器人可以调用酒店监控系统，进行人脸识别，用来提醒没有进行人脸图像采集和记录过程的顾客进行人脸图像采集并记录。
Description
技术领域
本发明涉及到云语音识别、人脸识别和情绪识别技术等邻域，尤其是涉及到一种基于云语音沟通和情绪感知的酒店服务机器人系统技术邻域技术背景。
背景技术
近几年，智能控制迅速发展，推动了智能设备的发展。在云语音识别、人脸识别和情绪识别方面得到广泛运用，进而促进了云语音识别、人脸识别和情绪识别技术的成熟，使得这些技术相关的设备造价低廉。将云语音识别技术、人脸识别技术和情绪识别技术运用到一种多功能酒店服务机器人系统中，大量减少劳动力，节约成本，提高客人二次入住概率。
目前，将语音识别、人脸识别运用到酒店服务机器人上的现象很多，情绪识别技术在医疗服务机器人上的应用较多，但在酒店服务机器人上的应用几乎没有，学术界将语音识别、人脸识别运用到相关机器人上和自助办理酒店业务机器人的专利主要有：
1.中国公开专利：CN 105234945 A 一种基于网络语音对话及体感互动的迎宾机器人：迎宾机器人利用云语音计算平台实现机器人和顾客交流，并且机器人可以显示丰富的表情，但是，该发明没有将语音交流、顾客语音语义情绪识别运用到办理酒店业务上，没有将办理酒店业务、监控酒店环境结合在一起。
2.中国公开专利：CN 105701447 A 迎宾机器人：迎宾机器人采集目标顾客的人脸信息并保存，同时保存目标相应的基本信息，机器人跟顾客交流是根据目标的基本信息交流。该发明具有很大的灵活性，但是，没有具有办理特定的酒店业务，没有将人脸信息进行面部表情识别，并且没有监控功能。
3.中国公开专利：CN 105892320 A 自助服务机器人、服务方法、控制装置和服务系统：该发明实现自助办理入住酒店和退房手续，减少了顾客的排队时间，但是没有将语音识别、人脸识别和顾客情绪识别运用到机器人上，从而给顾客增加一些繁琐的步骤、降低入住体验。
发明内容
本发明是实现一种基于云语音沟通和情绪感知的酒店服务机器人系统，目的在于实现自主办理入住/退房手续，自动监控酒店环境。本发明包括了监视录像系统模块（1）、入住\退房程序模块（2）、打印材料模块（3）、人脸识别模块（4）、云语音识别模块（5）、面部表情识别模块（6）、语义理解模块（7）、动作识别模块（8）、情绪识别模块（9）、显示模块（10）、语音播放模块（11）、身份证扫描模块（12）、支付模块（13）、机器人主控电脑（14），将以上模块集成在酒店服务机器人上。
云语音识别模块是调用语音识别引擎，将语音信息转换为文本，根据一定的规则，计算输入特征与数据库模式之间的相似度，判断输入语义信息并寻找模式库中的最优答案。将模式库中的答案（文本信息）送至语音合成引擎并将合成结果通过扬声器输出；
语音播放模块是播放机器人合成后的语音；
人脸识别模块是识别并检测人脸是否在数据库中；
显示模块是显示顾客一些基本信息和一些业务指导信息；
面部表情识别模块是利用采集的顾客人脸图像信息识别顾客面部表情；
语义理解是利用语音采集设备对采集的顾客语音信息进行语义感情理解进而识别顾客当前情绪；
情绪识别模块是融合面部表情、语音语义理解和动作识别三方面信息对顾客情绪判断的结果进行加权，来判断顾客当前情绪，以提高顾客情绪识别的准确率；
入住/退房模块实现办理酒店入住/退房相关业务；
打印材料模块是在办理退房手续时，打印相关的材料；
支付模块是在入住时，给顾客支付消费金额，退房时，给顾客退换押金；
监视录像系统模块是机器人利用酒店监控系统的所有摄像头进行整个酒店环境检查（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，环境检查（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动），收集图像信息，然后调用图像处理模块和人脸识别模块，获得顾客的位置信息（位置信息为虚拟空间上位置信息）。提醒没有进行人脸识别的顾客进行录入个人信息和检测是否有顾客办理业务，从而调用退入住/退房模块进行业务办理。
身份证扫描模块是在办理入住酒店时，扫描顾客身份证，保存顾客资料；
机器人主控电脑处理以上模块各种请求。
本发明的优点：
1.将人脸识别技术加入酒店服务机器人，酒店服务机器人可以通过人脸识别技术实现识别人、身份证信息扫描、支付等功能；
2.将入住/退房业务加入酒店服务机器人，减少劳力、节省时间；
3.利用在线或离线云语音平台识别接口，可以做到顾客与酒店服务机器人沟通；
4.退房时，直接可以通过人脸识别，识别出该顾客是否入住过；
5.首次将情绪识别技术加入酒店服务机器人，酒店服务机器人可以对当前顾客情绪进行识别判断，并通过改变面部表情和说话的语音语调来调节顾客情绪，给顾客一个比较愉悦的情感交互场景，提高入住体验；
6.实现更加全面监控系统，不仅调用机器人身上的摄像头，同时还调用了酒店监视录像系统的所有摄像头，便于检查整个酒店环境。
附图说明
图1 酒店服务机器人外观结构示意图
图2 系统结构框图
图3 云语音识别模块结构框图
图4 人脸识别模块结构框图
图5 情绪识别模块结构框图
其中：1为监视录像系统模块，2为入住/退房程序模块，3为打印材料模块，4为人脸识别模块，5为云语音识别模块，6为面部表情识别模块，7为语义理解模块，8为动作识别模块，9为情绪识别模块，10为显示模块,11为语音播放模块，12为身份证扫描模块，13为支付模块，14为机器人主控电脑。
具体实施方式
图1为酒店服务机器人外观结构示意图。该结构图中使用一个高清摄像头和一组双目摄像头，使酒店服务机器人能准确地识别人脸和物体，并且能够获取周围的空间位置信息。机器人的头部可以进行360°旋转，使得它能够根据声源方位及时旋转头部的语音采集设备，以便更好的倾听顾客声音，理解并回答顾客提出的各类业务相关问题。此外，机器人胸部的触觉传感器具有敏感的知觉，它可以及时响应顾客的触碰，并做出不同的表情。机器人面部的眉毛、眼睛、脸颊可以通过改变LED灯颜色、形状和闪烁频率表达不同的情感，触控显示屏还可显示不同的视觉图片，机器人说话的语音语调也可随时改变，这些都可用来调节人的情绪。机器人底部的左、中、右驱轮使得它能够灵活辗转于酒店大厅和客房之间。
如图2，本发明实施共包括14个模块。该酒店服务机器人集成了监视录像系统模块1、入住/退房程序模块2、打印材料模块3、人脸识别模块4、云语音识别模块5、面部表情识别模块6、语义理解模块7、动作识别模块8、情绪识别模块9、显示模块10、语音播放模块11、身份证扫描模块12、支付模块13、机器人主控电脑14，以上模块集成在酒店服务机器人身上。
监控录像系统模块1是机器人负责检测酒店安全工作的重要模块，机器人调用酒店监控系统的所有摄像头和本身携带的摄像头（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动），对酒店所有环境进行检测，收集图像信息，然后调用人脸识别模块，提醒没有进行人脸图像采集的顾客进行采集人脸图像并存档和检测是否有顾客办理业务，从而调用入住/退房模块办理业务。
当摄像头采集到人脸图像，交给人脸识别模块4进行识别工作，并保存顾客人脸图像信息，机器人利用云语音识别模块5和语音播放模块11进行与顾客交流，顾客语音通过麦克风采集后，经过云语音识别模块5与机器人进行对话，在对话过程调用了入住/退房模块2进行入住或者退房手续办理，同时调用了面部表情识别6、顾客语音语义理解模块7和动作识别模块8通过情绪识别模块9对顾客当前情绪进行判断，根据情绪识别结果机器人调整与顾客的情感交流场景，在愉快的交谈中完成如下流程：利用身份证扫描模快12扫描顾客的个人信息并保存，使用支付模块13进行消费金额处理，最后在显示模块10中显示客户个人信息、房间信息和指导信息等信息。其中，在办理退房手续时，利用摄像头采集顾客的人脸信息，在人脸识别模块中进行识别和匹配，退房手续还有一步是使用打印材料模块3打印顾客本次交易的详细信息。以上的操作的硬件基础和软件环境都是依赖机器人主控电脑14。
下面，详细介绍每个步骤：
1.酒店服务机器人调用酒店监控系统的所有摄像头和本身携带的摄像头（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动），对酒店所有环境进行检测，收集图像信息，然后调用图像处理模块和人脸识别模块。人脸识别模块会返回某个顾客的位置信息（位置信息为虚拟空间上位置信息），如果发现酒店某处存在“陌生顾客”，提醒该顾客进行信息登记，并重新开辟一个新的线程，不断去发送该顾客的位置信息到酒店服务机器人上显示，并提醒保安处理，同时检测在酒店其它地方是否存在其他陌生顾客，如果有，同样将陌生顾客的位置信息发送到酒店服务机器人上显示（位置信息为虚拟空间上位置信息），并提醒保安处理；若发现有顾客到达前台，需要办理业务，则进入下一步。
2.当机器人发现有顾客到达酒店前台，首先通过云语音识别模块和声音播放模块向顾客问好（这条语音使用文本形式存储，需要调用使用时，直接送至语言合成引擎合成就可以输出语音播放模块播放，其中语音播放模块为扩音器，之后机器人需要询问顾客时都是使用该方式），同时通过人脸识别模块查找有没有该顾客信息，如果有则进入第4步；没有就进入第3步。
3.机器人先询问顾客是否办理入住业务，如果不办理入住业务，则在显示模板显示一些指导信息，其中显示模板为显示器；如果办理入住业务，则通过语言交流确定顾客需要哪种房型,客户可以根据房间位置、房型等信息自主选择比较合适自己的房间，在选择房型时，客户可以通过VR体验不同房间的效果。然后扫描顾客身份证，利用图像采集设备（如摄像头）采集顾客的人脸图像信息，并和顾客基本信息一起保存在数据库中。保存好之后显示顾客信息，如果顾客通过语音反馈信息有误，则通过语音识别模块进行修改信息。在此过程中机器人根据先前采集的顾客人脸图像、语音信息和顾客动作三方面的信息对顾客当前情绪进行识别判断，通过自身情感引擎调节顾客情绪，合理调整与顾客交流的情境，提高顾客入住的情感体验；如机器人发现顾客当前比较情绪低落，酒店服务机器人通过自身情感引擎，自动改变面部眉毛、眼睛、脸颊的LED灯颜色、形状和闪烁频率表达不同感情，并通过触控显示屏显示爱心、眼泪或者做鬼脸等表达感情的视觉图，同时改变沟通的语音语调调节顾客情绪。在比较愉悦的沟通语境下，继续为顾客分配房间，并显示支付宝/微信的二维码，供顾客付款，最后为顾客提供房间资料，房间资料包括房卡、房间物品清单、设备使用说明书等。
4.机器人先语音询问顾客是否办理退房业务，如果不办理退房业务，则在显示模板显示一些指导信息，其中显示模板为显示器；如果办理退房业务，结算顾客账单，显示顾客账单，若账单有误，协商并修改账单，然后显示支付宝/微信二维码，退款给顾客（或者收款），打印相关材料，最后语音致谢顾客。
以上四个步骤是一种自主入住酒店/退房酒店服务机器人系统流程，下面分别解释语音识别、人脸识别以及情绪识别三部分的实现过程。
图3所示为语音识别的过程，首先，语音采集模块通过语音采集设备（如麦克风等）对顾客语音信号进行采样，并进行语音端点检测；然后，语音处理模块对采样后的语音信号进行滤波，先把讲话顾客的声音从输入语音中提取出来，然后将语音从时域变换到倒谱域上，提取线性预测倒普系数（特征参数）；最后，语音识别模块调用语音识别引擎，将语音信息转换为文本，并根据一定的规则，判断输入语义信息寻找模式库中的最优答案；将模式库中的答案（文本信息）送至语音合成引擎并将合成结果通过扬声器输出。
图4为人脸识别过程，图像采集模块利用图像采集设备（单目或双目摄像头等）将人的人脸信息采集到机器人主控电脑上。经过图像处理模块对采集的人脸图像信息进行预处理，具体为均值滤波和图像灰度化、分割图像，利用canny边沿检测方法检测目标轮廓，依照人脸的几何特征方法（眼睛、鼻子等）检测是否有人脸。人脸识别模块使用目前先进算法进行人脸识别，在具体实施中，使用基于HAAR特征的aboost分类器，如果没有人，则继续监测；如果有发现人，则进行模板匹配（模板匹配可与神经网络等算法相结合，实现高精度、快速匹配），然后查看数据库是否有该图像，如果有，则人脸识别模块返回位置信息并提示false；如果没有则返回位置信息同时提示true，其中位置信息获取算法下面会详细解释。
图5为情绪识别过程，动作采集模块使用人体动作捕捉设备（如Kinect等）抓取人体动作，然后人体动作识别模块对捕捉到的人体动作进行情绪识别；之后再将经过语义理解、人脸识别和动作识别三方面的情绪识别结果进行信息融合，通过对不同信息加权共同判断顾客当前情绪，提高情绪识别的准确率，同时降低因单一信息造成情绪误判的概率。最后，建立不同的情感氛围情境模型，通过对整体氛围的分析帮助机器人更好的理解顾客情感，同时调用自身情感引擎，通过丰富的表情和语音调节顾客情绪，给顾客一个比较愉悦的情感交互场景，提高机器人与顾客沟通的效率和客人入住酒店的情感舒适度，也可提高客人二次入住酒店的概率。
获得位置信息算法实现：
算法原理：
1.根据摄像头的已知信息，建立监控系统所有摄像头的数学模型，根据数学模型求出雅克比矩阵。
2.由于雅可比矩阵可能存在奇异值或者摄像头存在不确定因素引起奇异值，限制摄像头运动空间可以避免奇异值情况，利用在线学习神经网络控制算法可以解决摄像头的动力学的不确定因素。
3.雅可比矩阵是满秩的，故可以通过摄像头的平移或者旋转的状态求出目标的位置。（虚拟空间上位置信息）
Claims (7)
1.一种基于云语音沟通和情绪感知的酒店服务机器人系统，其特征在于：所述的酒店服务机器人系统包括了监视录像系统模块（1）、入住\退房程序模块（2）、打印材料模块（3）、人脸识别模块（4）、云语音识别模块（5）、面部表情识别模块（6）、语义理解模块（7）、动作识别模块（8）、情绪识别模块（9）、显示模块（10）、语音播放模块（11）、身份证扫描模块（12）、支付模块（13）、机器人主控电脑（14），以上模块组成为酒店服务机器人，酒店服务机器人通过人脸识别技术判断是否有顾客办理入住/退房业务，通过与顾客语音交流办理业务，在语音交流过程中调用情绪识别模块对顾客当前情绪进行判断，适时调整与顾客沟通的语境场景，同时具有打印相关材料、支付、身份扫描等功能，在酒店服务机器人空闲时，机器人调用酒店监控系统，进行人脸识别，用来提醒没有进行人脸图像采集和记录过程的顾客进行人脸图像采集并记录。
2.如权利要求1所述的酒店服务机器人系统，其特征在于：酒店服务机器人可以调用酒店监控系统的摄像头，利用人脸识别模块（4），辨别顾客是否有在系统上实名登记；同样若检测到有顾客需办理业务，则调用入住/退房模块（2）进行业务办理。
3.如权利要求1所述的酒店服务机器人系统，其特征在于：酒店服务机器人可以与顾客进行远程语音交互，为顾客办理酒店业务；还可以为保安提供顾客实时位置信息，提高酒店安全系数。
4.如权利要求3所述的酒店服务机器人系统，其特征在于：酒店服务机器人可以采集顾客语音，可以跟顾客进行语音交流，具有离线或者在线语音识别功能，可以调用云语音计算平台。
5.如权利要求1所述的酒店服务机器人系统，其特征在于：酒店服务机器人可以通过对顾客的面部表情、语音语义理解、动作识别三方面信息融合加权判断顾客情绪，机器人可根据该情绪判断结果适当调整与顾客沟通的情境。
6.如权利要求1所述的酒店服务机器人系统，其特征在于：酒店服务机器人可以完成自主入住酒店和退房功能。
7.如权利要求1所述的酒店服务机器人系统，其特征在于：酒店服务机器人可以打印相关账单材料，具有支付、显示顾客信息和一些指导信息、扫描顾客身份证、发放房间资料等功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810041979.5A CN108090474A (zh) | 2018-01-17 | 2018-01-17 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810041979.5A CN108090474A (zh) | 2018-01-17 | 2018-01-17 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108090474A true CN108090474A (zh) | 2018-05-29 |
Family
ID=62182315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810041979.5A Pending CN108090474A (zh) | 2018-01-17 | 2018-01-17 | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090474A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN109101663A (zh) * | 2018-09-18 | 2018-12-28 | 宁波众鑫网络科技股份有限公司 | 一种基于互联网的机器人对话系统 |
| CN109583296A (zh) * | 2018-10-23 | 2019-04-05 | 安克创新科技股份有限公司 | 一种防止误检测方法、装置、系统及计算机存储介质 |
| CN109571507A (zh) * | 2019-01-16 | 2019-04-05 | 鲁班嫡系机器人（深圳）有限公司 | 一种服务机器人系统及服务方法 |
| CN109712644A (zh) * | 2018-12-29 | 2019-05-03 | 深圳市慧声信息科技有限公司 | 基于语音识别情绪变化控制led显示效果的方法、用于控制led显示效果的装置及系统 |
| CN109760061A (zh) * | 2019-03-05 | 2019-05-17 | 上海岚豹智能科技有限公司 | 基于离线语音的机器人控制方法及设备 |
| CN109871675A (zh) * | 2019-02-26 | 2019-06-11 | 蒙志标 | 一种可全面额接收和支付的银行柜台操作系统 |
| CN109866230A (zh) * | 2019-01-17 | 2019-06-11 | 深圳壹账通智能科技有限公司 | 客服机器人控制方法、装置、计算机设备及存储介质 |
| CN109877806A (zh) * | 2019-03-05 | 2019-06-14 | 哈尔滨理工大学 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
| CN110065076A (zh) * | 2019-06-04 | 2019-07-30 | 佛山今甲机器人有限公司 | 一种机器人二次开发编辑系统 |
| CN110116414A (zh) * | 2019-05-22 | 2019-08-13 | 汤佳利 | 一种4s店智能综合服务机器人及其系统 |
| CN110434872A (zh) * | 2019-09-04 | 2019-11-12 | 昆山瑞泰智能科技有限公司 | 慈善募捐机器人、机器人慈善募捐方法及调度方法 |
| CN110738775A (zh) * | 2019-10-09 | 2020-01-31 | 中山安信通机器人制造有限公司 | 一种基于机器人智能入住酒店的房卡领取方法 |
| CN110795981A (zh) * | 2019-07-01 | 2020-02-14 | 烟台宏远氧业股份有限公司 | 一种高压氧舱人脸识别交互方法及系统 |
| CN110861092A (zh) * | 2019-12-06 | 2020-03-06 | 壹佰米机器人技术(北京)有限公司 | 基于场景变化的pid参数智能优化方法 |
| CN111531552A (zh) * | 2020-03-13 | 2020-08-14 | 华南理工大学 | 一种心理陪伴机器人及情绪支援方法 |
| CN111650839A (zh) * | 2019-03-04 | 2020-09-11 | 青岛海尔洗衣机有限公司 | 一种衣物护理剂管理系统及其控制方法 |
| CN111687863A (zh) * | 2020-06-24 | 2020-09-22 | 中国银行股份有限公司 | 网点机器人自调节方法及装置 |
| CN111716348A (zh) * | 2019-03-21 | 2020-09-29 | 上海融吉信息科技有限公司 | 一种基于人工智能的酒店前台接待机器人系统 |
| CN112000475A (zh) * | 2020-08-18 | 2020-11-27 | 中国建设银行股份有限公司 | 一种业务处理方法、装置及设备 |
| CN112025724A (zh) * | 2020-08-21 | 2020-12-04 | 北京云迹科技有限公司 | 基于机器人记忆功能的全自动化入住系统及方法 |
| CN112183417A (zh) * | 2020-09-30 | 2021-01-05 | 重庆天智慧启科技有限公司 | 一种置业顾问服务能力评价系统及方法 |
| CN112518741A (zh) * | 2020-11-06 | 2021-03-19 | 深圳优地科技有限公司 | 机器人控制方法、装置、机器人和存储介质 |
| CN112734885A (zh) * | 2020-11-27 | 2021-04-30 | 北京顺天立安科技有限公司 | 一种基于政务大厅办事指南的虚拟人像机器人 |
| CN113223718A (zh) * | 2021-06-02 | 2021-08-06 | 重庆医药高等专科学校 | 一站式情绪宣泄系统 |
| CN113334397A (zh) * | 2021-04-30 | 2021-09-03 | 北京智能工场科技有限公司 | 一种情绪识别的实体机器人装置 |
| CN115177252A (zh) * | 2022-07-13 | 2022-10-14 | 承德石油高等专科学校 | 一种可便捷操作的智能养老服务心理疏导装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372604A (zh) * | 2016-08-31 | 2017-02-01 | 北京光年无限科技有限公司 | 智能机器人检测负面情绪的方法及系统 |
| CN106531162A (zh) * | 2016-10-28 | 2017-03-22 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
| CN106600478A (zh) * | 2017-01-23 | 2017-04-26 | 华南理工大学 | 一种应用于酒店接待服务的多功能机器人系统 |
| CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
-
2018
- 2018-01-17 CN CN201810041979.5A patent/CN108090474A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372604A (zh) * | 2016-08-31 | 2017-02-01 | 北京光年无限科技有限公司 | 智能机器人检测负面情绪的方法及系统 |
| CN106531162A (zh) * | 2016-10-28 | 2017-03-22 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
| CN106600478A (zh) * | 2017-01-23 | 2017-04-26 | 华南理工大学 | 一种应用于酒店接待服务的多功能机器人系统 |
| CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应系统 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN108805088B (zh) * | 2018-06-14 | 2021-05-28 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN109101663A (zh) * | 2018-09-18 | 2018-12-28 | 宁波众鑫网络科技股份有限公司 | 一种基于互联网的机器人对话系统 |
| CN109583296A (zh) * | 2018-10-23 | 2019-04-05 | 安克创新科技股份有限公司 | 一种防止误检测方法、装置、系统及计算机存储介质 |
| CN109712644A (zh) * | 2018-12-29 | 2019-05-03 | 深圳市慧声信息科技有限公司 | 基于语音识别情绪变化控制led显示效果的方法、用于控制led显示效果的装置及系统 |
| CN109571507A (zh) * | 2019-01-16 | 2019-04-05 | 鲁班嫡系机器人（深圳）有限公司 | 一种服务机器人系统及服务方法 |
| CN109866230A (zh) * | 2019-01-17 | 2019-06-11 | 深圳壹账通智能科技有限公司 | 客服机器人控制方法、装置、计算机设备及存储介质 |
| CN109871675A (zh) * | 2019-02-26 | 2019-06-11 | 蒙志标 | 一种可全面额接收和支付的银行柜台操作系统 |
| CN111650839A (zh) * | 2019-03-04 | 2020-09-11 | 青岛海尔洗衣机有限公司 | 一种衣物护理剂管理系统及其控制方法 |
| CN109760061A (zh) * | 2019-03-05 | 2019-05-17 | 上海岚豹智能科技有限公司 | 基于离线语音的机器人控制方法及设备 |
| CN109877806A (zh) * | 2019-03-05 | 2019-06-14 | 哈尔滨理工大学 | 具有情绪辨别能力的科技馆导游机器人面部装置及控制 |
| CN111716348A (zh) * | 2019-03-21 | 2020-09-29 | 上海融吉信息科技有限公司 | 一种基于人工智能的酒店前台接待机器人系统 |
| CN110116414A (zh) * | 2019-05-22 | 2019-08-13 | 汤佳利 | 一种4s店智能综合服务机器人及其系统 |
| CN110065076A (zh) * | 2019-06-04 | 2019-07-30 | 佛山今甲机器人有限公司 | 一种机器人二次开发编辑系统 |
| CN110795981A (zh) * | 2019-07-01 | 2020-02-14 | 烟台宏远氧业股份有限公司 | 一种高压氧舱人脸识别交互方法及系统 |
| CN110434872A (zh) * | 2019-09-04 | 2019-11-12 | 昆山瑞泰智能科技有限公司 | 慈善募捐机器人、机器人慈善募捐方法及调度方法 |
| CN110738775A (zh) * | 2019-10-09 | 2020-01-31 | 中山安信通机器人制造有限公司 | 一种基于机器人智能入住酒店的房卡领取方法 |
| CN110861092A (zh) * | 2019-12-06 | 2020-03-06 | 壹佰米机器人技术(北京)有限公司 | 基于场景变化的pid参数智能优化方法 |
| CN111531552A (zh) * | 2020-03-13 | 2020-08-14 | 华南理工大学 | 一种心理陪伴机器人及情绪支援方法 |
| CN111687863B (zh) * | 2020-06-24 | 2021-10-01 | 中国银行股份有限公司 | 网点机器人自调节方法及装置 |
| CN111687863A (zh) * | 2020-06-24 | 2020-09-22 | 中国银行股份有限公司 | 网点机器人自调节方法及装置 |
| CN112000475A (zh) * | 2020-08-18 | 2020-11-27 | 中国建设银行股份有限公司 | 一种业务处理方法、装置及设备 |
| CN112025724B (zh) * | 2020-08-21 | 2022-03-04 | 北京云迹科技有限公司 | 基于机器人记忆功能的全自动化入住系统及方法 |
| CN112025724A (zh) * | 2020-08-21 | 2020-12-04 | 北京云迹科技有限公司 | 基于机器人记忆功能的全自动化入住系统及方法 |
| CN112183417A (zh) * | 2020-09-30 | 2021-01-05 | 重庆天智慧启科技有限公司 | 一种置业顾问服务能力评价系统及方法 |
| CN112183417B (zh) * | 2020-09-30 | 2023-12-05 | 重庆天智慧启科技有限公司 | 一种置业顾问服务能力评价系统及方法 |
| CN112518741A (zh) * | 2020-11-06 | 2021-03-19 | 深圳优地科技有限公司 | 机器人控制方法、装置、机器人和存储介质 |
| CN112518741B (zh) * | 2020-11-06 | 2022-09-09 | 深圳优地科技有限公司 | 机器人控制方法、装置、机器人和存储介质 |
| CN112734885A (zh) * | 2020-11-27 | 2021-04-30 | 北京顺天立安科技有限公司 | 一种基于政务大厅办事指南的虚拟人像机器人 |
| CN113334397A (zh) * | 2021-04-30 | 2021-09-03 | 北京智能工场科技有限公司 | 一种情绪识别的实体机器人装置 |
| CN113223718A (zh) * | 2021-06-02 | 2021-08-06 | 重庆医药高等专科学校 | 一站式情绪宣泄系统 |
| CN115177252A (zh) * | 2022-07-13 | 2022-10-14 | 承德石油高等专科学校 | 一种可便捷操作的智能养老服务心理疏导装置 |
| CN115177252B (zh) * | 2022-07-13 | 2024-01-12 | 承德石油高等专科学校 | 一种可便捷操作的智能养老服务心理疏导装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090474A (zh) | 一种基于云语音沟通和情绪感知的酒店服务机器人系统 | |
| CN106600478A (zh) | 一种应用于酒店接待服务的多功能机器人系统 | |
| WO2020119630A1 (zh) | 一种多模态客户满意度综合评价系统、方法 | |
| US8295542B2 (en) | Adjusting a consumer experience based on a 3D captured image stream of a consumer response | |
| JP6596899B2 (ja) | 接客データ処理装置及び接客データ処理方法 | |
| US20190147228A1 (en) | System and method for human emotion and identity detection | |
| CN113424197A (zh) | 机器学习辅助自改进对象识别系统和方法 | |
| CN108748218A (zh) | 基于机器视觉与ar技术的新零售智能导购机器人及导购方法 | |
| US20110257985A1 (en) | Method and System for Facial Recognition Applications including Avatar Support | |
| CN109508974A (zh) | 一种基于特征融合的购物结账系统和方法 | |
| TW201201115A (en) | Facial expression recognition systems and methods and computer program products thereof | |
| US20140211017A1 (en) | Linking an electronic receipt to a consumer in a retail store | |
| CN110405789A (zh) | 一种查房陪护机器人、机器人查房陪护系统及方法 | |
| CN110414381A (zh) | 追踪式人脸识别系统 | |
| CN112581015B (zh) | 基于ai检验的咨询师质量评估系统及评估方法 | |
| JP2011210133A (ja) | 満足度算出方法、満足度算出装置およびプログラム | |
| SE2050058A1 (en) | Customer behavioural system | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN111260509A (zh) | 一种智能点餐服务系统及方法 | |
| Liu et al. | Gesture Recognition for UAV-based Rescue Operation based on Deep Learning. | |
| CN110689389A (zh) | 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端 | |
| WO2019077559A1 (en) | SYSTEM FOR MONITORING PRODUCTS AND USERS IN A STORE | |
| CN110322262A (zh) | 门店信息处理方法、装置及门店系统 | |
| JP2018094645A (ja) | 行動コマンド生成システム、応答システムおよび行動コマンド生成方法 | |
| WO2018173948A1 (ja) | サービス提供システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |