CN106600478A

CN106600478A - 一种应用于酒店接待服务的多功能机器人系统

Info

Publication number: CN106600478A
Application number: CN201710048758.6A
Authority: CN
Inventors: 杨辰光; 王尊冉; 湛文康; 贺波涛
Original assignee: Suzhou Morning Intelligent Technology Co Ltd; South China University of Technology SCUT
Current assignee: Suzhou Morning Intelligent Technology Co Ltd; South China University of Technology SCUT
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2017-04-26

Abstract

本发明公开了一种应用于酒店接待服务的多功能机器人系统，包括了语音采集、语音处理模块、云语音识别模块、语音播放模块、图像采集、图像处理模块、人脸识别模块、显示模块、入住/退房程序模块、打印材料模块、支付模块、监视录像系统模块、身份证扫描模块等，以上模块集成在前台移动机器人身上，前台移动机器人通过人脸识别技术判断是否有顾客办理入住、退房业务，通过与顾客语音交流办理业务，同时具有打印相关材料、支付、身份扫描等功能，前台机器人可以调用酒店监控系统，进行人脸识别，用来提醒没有进行人脸图像采集和记录过程的顾客进行人脸图像采集并记录。

Description

一种应用于酒店接待服务的多功能机器人系统

技术领域

本发明涉及到云语音识别和人脸识别技术邻域，尤其是涉及到一种应用于酒店接待服务的多功能机器人系统技术邻域技术背景。

背景技术

近几年，智能控制迅速发展，推动了智能设备的发展。在云语音识别和人脸识别得到广泛运用，进而促进了云语音识别和人脸识别技术的成熟，使得两种技术相关的设备造价低廉。将云语音识别技术和人脸识别技术运用到一种多功能酒店前台机器人系统中，大量减少劳动力，节约成本。

目前，将语音识别和人脸识别运用到迎宾机器人上的现象很多，学术界将语音识别、人脸识别运用到相关机器人上和自助办理酒店业务机器人的专利主要有：

1.中国公开专利：CN 105234945 A 一种基于网络语音对话及体感互动的迎宾机器人：迎宾机器人利用云语音计算平台实现机器人和顾客交流，并且机器人可以显示丰富的表情，但是，该发明没有将语音交流运用到办理酒店业务上，没有将办理酒店业务、监控酒店环境结合在一起。

2.中国公开专利：CN 105701447 A 迎宾机器人：迎宾机器人采集目标顾客的人脸信息并保存，同时保存目标相应的基本信息，机器人跟顾客交流是根据目标的基本信息交流。该发明具有很大的灵活性，但是，没有具有办理特定的酒店业务，并且没有监控功能。

3.中国公开专利：CN 105892320 A 自助服务机器人、服务方法、控制装置和服务系统：该发明实现自助办理入住酒店和退房手续，减少了顾客的排队时间，但是没有将语音识别和人脸识别运用到机器人上，从而给顾客增加一些繁琐的步骤。

发明内容

本发明是实现一种应用于酒店接待服务的多功能机器人系统，目的在于实现自主办理入住、退房手续，自动监控酒店环境。本发明包括了监视录像系统模块、退房程序模块、打印材料模块、图像采集、人脸识别模块、云语音识别模块、语音采集、显示模块、语音播放模块、入住程序模块、身份证扫描模块、支付模块、语音处理模块、图像处理模块、机器人主控电脑，将以上模块集成在前台移动机器人上。

语音采集是采集顾客语音信息，为机器人交流提供依据；

语音处理模块是对采集到顾客语音进行滤波，将语音从时域变换到倒谱域上，提取线性预测倒普系数（特征参数）等处理工作；

云语音识别模块是调用语音识别引擎，将语音信息转换为文本，根据一定的规则，计算输入特征与数据库模式之间的相似度，判断输入语义信息并寻找模式库中的最优答案。将模式库中的答案（文本信息）送至语音合成引擎并将合成结果通过扬声器输出；

语音播放模块是播放机器人合成后的语音；

图像采集是利用摄像头将人的人脸信息采集到机器人主控电脑上；

图像处理模块是处理采集的人脸图像信息，如滤波、灰度化等；

人脸识别模块是识别人脸和检测人脸是否在数据库中；

显示模块是显示顾客一些基本信息和一些业务指导信息；

入住程序模块实现办理入住酒店手续的程序；

退房程序模块实现办理退房手续的程序；

打印材料模块是在办理退房手续时，打印相关的材料；

支付模块是在入住时候，给顾客支付消费金额，退房时，给顾客退换押金；

监视录像系统模块是机器人利用酒店监控系统的所有摄像头进行整个酒店环境检查（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动），收集图像信息，然后调用图像处理模块和人脸识别模块，获得顾客的位置信息（位置信息为虚拟空间上位置信息）。提醒没有进行人脸识别的顾客进行录入个人信息和检测是否有顾客办理业务，从而调用退房、入住流程程序。

身份证扫描模块是在办理入住酒店时，扫描顾客身份证，保存顾客资料；

机器人主控电脑处理以上模块各种请求。

前台移动机器人通过人脸识别技术判断是否有顾客办理入住、退房业务，通过与顾客语音交流办理业务，同时具有打印相关材料、支付、身份扫描等功能，在前台机器人空闲时，机器人调用酒店监控系统，进行人脸识别，用来提醒没有进行人脸图像采集和记录过程的顾客进行人脸图像采集并记录。

前台移动机器人可以调用酒店监控系统的摄像头，并采集图像信息,然后调用图像处理模块和人脸识别模块，如果在非酒店前台处发现陌生顾客，则提醒该顾客进行信息登记，并重新开辟一个新的线程，不断去发送该顾客的位置信息到前台机器人上显示，并提醒保安处理，同时检测在酒店其它地方是否存在其他的陌生顾客，如果有，同样将陌生顾客的位置信息发送到前台机器人上显示，并提醒保安处理；同样若有检测到有顾客需办理业务，从而调用退房、入住流程程序, 其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动, 陌生顾客的位置信息为虚拟空间上位置信息。

前台移动机器人可以对采集到图像信息进行预处理，如滤波、分割、灰度化，可以对处理后的图像进行人脸识别，人脸识别算法不仅仅限于具体实施中的算法。

前台机器人可以采集顾客语音，可以跟顾客进行语音交流，具有离线或者在线语音识别功能，可以调用云语音计算平台。

前台移动机器人可以完成自主入住酒店和退房功能。

前台移动机器人可以打印相关账单材料，具有支付、显示顾客信息和一些指导信息、扫描顾客身份证、发放房间资料等功能, 其中房间资料包括房卡、房间物品清单、设备使用说明书等。

客户可以根据房间位置、房型等信息自主选择比较合适自己的房间，在选择房型时，客户可以通过VR体验不同房间的效果。

本发明的优点：

1.将人脸识别技术加入酒店前台机器人，酒店前台机器人可以通过人脸识别功能实现识别人，可以实现身份证信息扫描、支付功能等功能；

2.将入住、退房所有流程加入酒店前台机器人，减少劳动力；

3.利用在线或离线云语音平台识别接口，可以做到顾客与酒店前台机器人沟通；

4.退房时候，直接可以通过人脸识别，识别出该顾客是否入住过；

5.实现更加全面监控系统，不仅仅调用在机器人上的摄像头，还调用了酒店监视录像系统的所有摄像头，便于检查整个酒店环境。

附图说明

图1 本发明系统结构框图

图2 本发明办理入住手续流程图

图3 本发明办理退房手续流程图

图4 本发明图像处理模块和人脸识别模块流程图

图5 本发明语音处理模块和语音识别模块流程图

其中1为监视录像系统模块、2为退房程序模块、3为打印材料模块、4为图像采集、5为人脸识别模块、6为云语音识别模块、7为语音采集、8为显示模块、9为语音播放模块、10为入住程序模块、11为身份证扫描模块、12为支付模块、13为语音处理模块、14为图像处理模块、15为机器人主控电脑。

具体实施方式

如图1，本发明包括了监视录像系统模块1、退房程序模块2、打印材料模块3、图像采集4、人脸识别模块5、云语音识别模块6、语音采集7、显示模块8、语音播放模块9、入住程序模块10、身份证扫描模块11、支付模块12、语音处理模块13、图像处理模块14、机器人主控电脑15，以上模块集成在前台移动机器人身上。

监控录像系统模块1是机器人负责检测酒店的安全工作重要模块，机器人调用酒店监控系统的所有摄像头和本身携带的摄像头（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动），对酒店所有环境进行检测，收集图像信息，然后调用图像处理模块和人脸识别模块，提醒没有进行人脸图像采集的顾客进行采集人脸图像并存档和检测是否有顾客办理业务，从而调用退房、入住流程程序。

当图像采集4采集到人脸图像，交给图像处理模块14进行图像初步处理，处理后在人脸识别模块5进行识别工作，并保存顾客人脸图像信息，机器人利用云语音识别模块6和语音播放模块9进行与顾客交流，顾客通过语音采集模块7、语音处理模块13和云语音识别模块6与机器人进行对话，在对话过程调用了入住程序模块10或者退房程序模块2进行入住或者退房手续，利用身份证扫描模快11扫描所有顾客的个人信息并保存，使用支付模块12进行消费金额处理，最后在显示模块8中显示客户个人信息、房间信息和指导信息等信息。其中，在退房手续处理时候，利用图像采集4采集顾客的人脸信息，在人脸识别模块中进行识别和匹配，退房手续还有一步是使用打印材料模块3打印顾客本次交易的详细信息。以上的操作的硬件基础和软件环境都是依赖机器人主控电脑15。

下面，详细介绍每个步骤：

1.前台机器人调用酒店监控系统的所有摄像头和本身携带的摄像头（其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动），对酒店所有环境进行检测，收集图像信息，然后调用图像处理模块和人脸识别模块。人脸识别模块会返回某个顾客的位置信息（位置信息为虚拟空间上位置信息），如果发现酒店某处存在“陌生顾客”，提醒该顾客进行信息登记，并重新开辟一个新的线程，不断去发送该顾客的位置信息到前台机器人上显示，并提醒保安处理，同时检测在酒店其它地方是否存在其他的陌生顾客，如果有，同样将陌生顾客的位置信息发送到前台机器人上显示（位置信息为虚拟空间上位置信息），并提醒保安处理；如果是发现有顾客到达前台，需要办理业务，那么进入下一步。

2.当机器人发现有顾客到达酒店前台，首先通过云语音识别模块和声音播放模块向顾客问好（这条语音使用文本形式存储，需要调用使用时，直接送至语言合成引擎合成就可以输出语音播放模块播放，其中语音播放模块为扩音器，之后需要机器人询问顾客时都是使用该方式），同时通过人脸识别模块查找有没有该顾客信息，如果有则进入第4步；没有就进入第3步。

3.如图2所示，机器人首先通过询问顾客是否办理入住手续，如果不是办理入住业务，则在显示模板显示一些指导信息，其中显示模板为显示器；如果是办理入住业务，则通过语言交流确定顾客需要哪种房型,客户可以根据房间位置、房型等信息自主选择比较合适自己的房间，在选择房型时，客户可以通过VR体验不同房间的效果。接着扫描顾客身份证，利用采集图像模块采集顾客的人脸图像信息，并和顾客基本信息一起保存在数据库中。保存好之后显示顾客信息，如果顾客通过语音反应信息有误，则通过语音识别模块进行修改信息。接下来为顾客分配房间，并显示支付宝/微信的二维码，以供顾客付款，最后为顾客提供房间资料，房间资料包括房卡、房间物品清单、设备使用说明书等。

4.如图3所示，机器人首先通过询问顾客是否办理退房业务，如果不是办理退房业务，则在显示模板显示一些指导信息，其中显示模板为显示器；如果是办理退房业务，结算顾客账单，显示顾客账单，如果账单有误，经过协商并修改账单，接着显示支付宝/微信的二维码，退款给顾客（或者收款），打印相关材料，最后使用语音致谢顾客。

以上四个步骤是一种自主入住酒店/退房前台机器人系统流程，下面解释语音识别、人脸识别模块的技术、获得位置信息算法的实现。

图4为图像处理模块和人脸识别的流程图，摄像头为图像采集模块中设备，使用摄像头采集到人脸图像，使用OpenCV库来进行人脸识别，经过预处理，具体为均值滤波和图像灰度化、分割图像，接着利用canny边沿检测方法检测目标轮廓，依照人脸的几何特征方法（眼睛、鼻子等）检测是否有人脸，在这部分，为了提高识别精度，先利用人脸和非人脸样本进行迭代学习构造分类器，利用分类器检测得到人脸图片（没有检测到人脸，则继续监测），再次检测该图片的人脸特征以增加检测正确率。如果没有人，则继续监测；如果有发现人，则进行模板匹配，模板匹配可与神经网络等算法相结合，实现高精度、快速匹配。之后查看数据库是否有该图像，如果有，则返回位置信息加上false；如果没有则返回位置信息加上true，其中位置信息获取下面会详细解释。

如图5所示，通过麦克风进行顾客语音信号采样，并进行语音端点检测；之后进行预处理，采用自适应抵消法去除噪音；用平均能量法，将讲话者的声音从输入语音中提取出来，接着，将语音从时域变换到倒谱域上，提取线性预测倒普系数（特征参数），调用语音识别引擎，将语音信息转换为文本；最后根据一定的规则，计算输入特征与数据库模式之间的相似度，判断输入语义信息并寻找模式库中的最优答案；将模式库中的答案（文本信息）送至语音合成引擎并将合成结果通过扬声器输出。

获得位置信息算法实现：

算法原理：

1.根据摄像头的已知信息，建立监控系统所有摄像头的数学模型，根据数学模型求出雅克比矩阵。

2.由于雅可比矩阵可能存在奇异值或者摄像头存在不确定因素引起奇异值，限制摄像头运动空间可以避免奇异值情况，利用在线学习神经网络控制算法可以解决摄像头的动力学的不确定因素。

3.雅可比矩阵是满秩的，故可以通过摄像头的平移或者旋转的状态求出目标的位置。（虚拟空间上位置信息）

上述实施例为本发明的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种应用于酒店接待服务的多功能机器人系统，其特征在于：所述的多功能酒店前台机器人系统包括了监视录像系统模块、退房程序模块、打印材料模块、图像采集、人脸识别模块、云语音识别模块、语音采集、显示模块、语音播放模块、入住程序模块、身份证扫描模块、支付模块、语音处理模块、图像处理模块、机器人主控电脑，以上模块集成在前台移动机器人身上，前台移动机器人通过人脸识别技术判断是否有顾客办理入住、退房业务，通过与顾客语音交流办理业务，同时具有打印相关材料、支付、身份扫描等功能，在前台机器人空闲时，机器人调用酒店监控系统，进行人脸识别，用来提醒没有进行人脸图像采集和记录过程的顾客进行人脸图像采集并记录。

2. 根据权利1要求的一种应用于酒店接待服务的多功能机器人系统，其特征在于：前台移动机器人可以调用酒店监控系统的摄像头，并采集图像信息,然后调用图像处理模块和人脸识别模块，如果在非酒店前台处发现陌生顾客，则提醒该顾客进行信息登记，并重新开辟一个新的线程，不断去发送该顾客的位置信息到前台机器人上显示，并提醒保安处理，同时检测在酒店其它地方是否存在其他的陌生顾客，如果有，同样将陌生顾客的位置信息发送到前台机器人上显示，并提醒保安处理；同样若有检测到有顾客需办理业务，从而调用退房、入住流程程序, 其中，酒店监控系统的摄像头是可控的，可根据控制要求调整角度，在三维空间中实现无死角运动, 陌生顾客的位置信息为虚拟空间上位置信息。

3.根据权利1要求的一种应用于酒店接待服务的多功能机器人系统，其特征在于：前台移动机器人可以对采集到图像信息进行预处理，如滤波、分割、灰度化，可以对处理后的图像进行人脸识别，人脸识别算法不仅仅限于具体实施中的算法。

4.根据权利1要求的一种应用于酒店接待服务的多功能机器人系统，其特征在于：前台机器人可以采集顾客语音，可以跟顾客进行语音交流，具有离线或者在线语音识别功能，可以调用云语音计算平台。

5.根据权利1要求的一种应用于酒店接待服务的多功能机器人系统，其特征在于：前台移动机器人可以完成自主入住酒店和退房功能。

6. 根据权利5要求的一种应用于酒店接待服务的多功能机器人系统，其特征在于：前台移动机器人可以打印相关账单材料，具有支付、显示顾客信息和一些指导信息、扫描顾客身份证、发放房间资料等功能, 其中房间资料包括房卡、房间物品清单、设备使用说明书等。

7.根据权利5要求的一种应用于酒店接待服务的多功能机器人系统，其特征在于：客户可以根据房间位置、房型等信息自主选择比较合适自己的房间，在选择房型时，客户可以通过VR体验不同房间的效果。