CN112297019A - 泛在问询机器人及其问询方法 - Google Patents

Abstract

泛在问询机器人及其问询方法，属于智能机器人技术领域，包括：相互信号连接的前端设备和后台设备；所述前端设备包括：摄像头，所述摄像头捕获人脸数据，并将人脸数据传输至服务器；语音输入装置，所述语音输入装置捕获语音信息，并将语音信息传输至服务器；语音输出装置，所述语音输出装置接收服务器的答案信息并播放答案信息；所述后台设备包括：服务器、人脸数据处理模块、数据库。本发明来解决场馆基本的位置指导，业务说明等问题，场馆内的设备具有多个设备可在服务器的协调下接力为游客服务的功能，使场馆的规则相关的问题传递给游客更标准的回答，使得场馆标准化，专业化，人性化。

Description

泛在问询机器人及其问询方法

技术领域

本发明属于智能机器人技术领域，特别涉及泛在问询机器人及其问询方法。

背景技术

在图书馆、博物馆、纪念馆、展览馆、史料馆等室内场馆参观游览时，公共场馆会使用志愿者提供基本问询服务。由于场馆引导志愿者培训简单，志愿者经常更换，会使得志愿者回答的结果参差不齐，难免会误导使用者，影响场馆的整体体验感。而针对图书馆的基本检索则是采用传统的台式电脑的方式，键盘输入，功能单一。

公开号为CN107553505A的中国发明专利公开了一种主移动讲解系统平台机器人及讲解方法，自主移动讲解系统平台机器人包括可移动的机器人系统以及固定设置的展示平台，机器人系统与展示平台形成优势互补，适用于教育、会议、群体导览讲解等需要对多人讲解并展示内容的场合；基于该自主移动讲解系统平台机器人的讲解方法可以进行声画配合对用户进行讲解固定内容，同时用户可以通过人机交互单元与机器人系统进行一定的互动，用户与机器人之间的交互方式多元，可极大提高用户体验。该发明采用行走机器人方案，设备轮子滚动速度受限，需要定时充电，需要专人进行维护，价格比较昂贵，机械结构复杂故障率高，且同时只能服务一位用户。另外，行走机器人来回走动会碰到小朋友，引发安全事故。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供泛在问询机器人。

本发明的另一目的在于提供泛在问询机器人的问询方法，并且在多个泛在问询机器人之间共享数据，实现多台泛在问询机器人对同一个人进行接力导引服务。

为了达到上述目的，本发明采取了以下的技术方案。

泛在问询机器人，包括：相互信号连接的前端设备和后台设备；所述前端设备包括：

摄像头，所述摄像头捕获人脸数据，并将人脸数据传输给前端设备图形和声音处理模块处理；

语音输入装置，所述语音输入装置捕获语音信息，并将语音信息传输至前端设备图形和声音处理模块处理；

语音输出装置，所述语音输出装置接收服务器的答案信息并播放答案信息；

显示屏，所述显示屏左边可显示实时摄像头捕获画面以及对话的文字内容，右边可显示网页，地图等多媒体信息；

前端设备图形和声音处理模块：将摄像头获取到照片初步处理，获取人脸位置信息以及剪切后的人脸图像信息；将语音输入装置获取到的语音信息转化为文字信息；将人脸位置信息、人脸图像信息、文字信息返回给后台设备；

所述后台设备包括：服务器、人脸数据处理模块、数据库、语义分析模块；

所述服务器信号连接前端设备图形和声音处理模块；所述服务器接收前端设备图形和声音处理模块所返回的人脸位置信息以及剪切后的人脸图像信息，根据人脸图像信息判断是否开启对话请求，并将人脸认证结果的信息反馈给前端设备以开启语音对话流程；

服务器向人脸数据处理模块发送人脸特征值的数据请求；人脸数据处理模块通过对预先存储的人脸特征值集合与现场采集的人脸特征值进行对比，识别到人脸后即向数据库查询获取其个人信息；同时，服务器比对数据库中的临时个人对话信息，将本次识别到的个人的最后一次的问题对应的答案反馈给语音输出装置，以此实现使用者的识别和对话接力；

所述服务器信号连接有数据库；服务器将人脸图像信息和身份信息存储于数据库；服务器将当天参与问询机器人的人脸数据和身份信息以及所问问题都记录于数据库中的临时个人档案；

所述服务器信号连接有语义分析模块和语音输出装置；

服务器将文字信息输入语义分析模块进行分析以获得该使用者的问题意图；同时，服务器根据人脸数据处理模块返回的人脸比对数据，整理该使用者的所有对话，获得该使用者最近一次提问的问题和答案，并将此答案信息发送给语音输出装置播放。

语义分析模块会分析从语音输入装置获取到的文字信息。将文字信息按词分类切割，分类词汇送入语义分析模块内置的自然语言处理模块进行分析，根据词汇出现的频率概率，以及不同词汇组合的综合概率，来判断该文字语义；其中包括两种不同的词汇，一是意图类关键词，即根据此关键词可判断该使用者的意图是对应本系统的哪个功能点；二是名词关键词，即根据此关键词在预置词典内搜索相近词，以判断使用者的意图对应的对象；完成语义分析后，语义分析模块通过服务器从数据库内容搜索出最优答案，然后服务器将最优答案发送给语音输出装置播放。

同时，该使用者的信息以及其语义和答案被保存至数据库中的临时个人档案，再下一次识别到该使用者的人脸信息时，保存的信息将被获取并直接给语音输出装置播放，并显示在前端设备的显示屏上。

进一步，所述前端设备与后台设备采用TCP基础通道进行通信。

进一步，所述语音输入装置为双麦克风，利用麦克风的声音信号先后循序进行声音源的位置判断并只获取正前方的声音。

进一步，所述前端设备还包括：

设备灯带，所述设备灯带显示工作状态；

身份读卡器，所述身份读卡器，读取并录入使用者的身份信息，并将使用者的身份信息传输至服务器；服务器读取数据库存储的使用者身份信息并与身份读卡器读取的使用者身份信息进行匹配。

进一步，所述人脸数据处理模块，用以进行人脸识别，采用70个面部关键点的识别以及特征值的提取，将人脸灰度化，然后进行图像中像素的提速计算，通过HOG形式进行人脸位置的获取，在进行人脸对齐，针对不同角度人脸，先定位人脸的特征点，然后进行仿射、旋转、缩放，使各个特征点对齐，将人脸图像的像素值进行特征向量的转换，进行比对和传输。

使用上述泛在问询机器人的问询方法，包括以下步骤：

步骤一，摄像头进行人脸检测：当摄像头未捕获人脸数据时，持续进行人脸检测；当摄像头捕获人脸数据时，并将人脸数据传输给前端设备图形和声音处理模块处理，前端设备图形和声音处理模块获取人脸位置信息以及剪切后的人脸图像信息，并将上述信息传输至服务器；

步骤二，服务器验证身份信息：服务器将前端设备图形和声音处理模块传输过来的人脸图像信息发送给人脸数据处理模块进行对比，服务器接收人脸数据处理模块返回的人脸对比数据；

人脸数据处理模块通过对预先存储的人脸特征值集合与现场采集的人脸特征值进行对比，识别到人脸后即通过服务器向数据库查询获取该人脸对应的使用者的个人信息：

当数据库中未有该个人信息的，表明使用者首次使用问询服务，服务器在数据库中建立临时个人档案，临时个人档案用以存储当天参与问询机器人的人脸数据和身份信息以及所问问题；服务器根据人脸特征信息将提示对话的答案信息发送给捕获该人脸信息的摄像头附近的语音输出装置播放和显示屏显示，同时开启捕获该人脸信息的摄像头附近的语音输入装置，并进行步骤三；

当数据库中存有该个人信息的，表明使用者之前至少使用了1次问询服务，服务器整理该使用者的所有对话，使得本次的答案信息与最后一次对话的信息相一致，并将此答案信息发送给语音输出装置播放和显示屏显示，同时开启语音输入装置，并进行步骤三；

因此可实现“泛在”概念，即当游客在一个问询机器人上进行对话过后，同服务器下所有的问询机器人都能识别出该游客的上一次对话，当游客在使用另一个问询机器人时无需再开口提问即能得到回复，使得游客感受这些问询机器人都像是同一个机器人。

步骤三，问答业务流程：语音输入装置捕获语音信息，并将语音信息传输至前端设备图形和声音处理模块处理；前端设备图形和声音处理模块将语音输入装置获取到的语音信息转化为文字信息，并将该文字信息通过服务器传输至语义分析模块；语义分析模块进行分析以获得该使用者的问题意图，并通过服务器从数据库中搜索出最优答案并通过服务器发送给语音输出装置播放。

步骤四，当摄像头未能捕获人脸数据时，或语音输入装置阈值时间内未能捕获语音信息，则显示屏返回机器人初始界面并且后台设备结束活动。

本发明来解决场馆基本的位置指导，业务说明等问题。对于图书馆提供了图书的检索，查看书本所在的馆藏位置，以及场馆周围地点和普通场馆使用规则等相关的问题，减少了工作人员的工作负担，并使场馆的规则相关的问题传递给游客更标准的回答，使得场馆标准化，专业化。

本方案可实现“泛在”概念，即当游客在一个问询机器人上进行对话过后，同服务器下所有的问询机器人都能识别出该游客的上一次对话，当游客在使用另一个问询机器人时无需再开口提问即能得到回复，使得游客感受这些问询机器人都像是同一个机器人。

附图说明

图1是本发明的结构示意图；

图2是问询机器人的问询方法流程图；

图3是泛在机器人接力导引流程图一；

图4是泛在机器人接力导引流程图二；

图5是泛在机器人的拓扑应用场景；

图中：前端设备100、摄像头101、语音输入装置102、语音输出装置103、设备灯带104、身份读卡器105、显示屏106、前端设备图形和声音处理模块107、后台设备200、服务器201、人脸数据处理模块202、数据库203、语义分析模块204。

具体实施方式

下面结合附图，对本发明作进一步详细说明。

泛在机器人，包括：前端设备100和后台设备200。所述前端设备100与后台设备200采用TCP基础通道进行通信。

所述前端设备100包括：

摄像头101，所述摄像头101捕获人脸数据，并将人脸数据传输给前端设备图形和声音处理模块107处理；

语音输入装置102，所述语音输入装置102捕获语音信息，并将语音信息传输至前端设备图形和声音处理模块107处理。作为优选，所述语音输入装置102为双麦克风，利用麦克风的声音信号先后循序进行声音源的位置判断并只获取正前方的声音，有效地阻挡了其他方向说话人声带来的干扰，配合摄像头101进行人脸识别，在人走后则关闭麦克风，再次人脸识别后则开启麦克风。

语音输出装置103，所述语音输出装置103接收后台设备200的答案信息并播放答案信息；语音输出装置103用以播放语音，能够有效让使用者快速的得到想要咨询的问题的答案，使答案标准统一。

设备灯带104，所述设备灯带104显示状态，有助于提醒使用者的当前状态。

身份读卡器105，所述身份读卡器105，读取并录入使用者的身份信息。所述身份读卡器105读取的卡可以为身份证、市民卡、或校园卡等。

显示屏106，所述显示屏左边可显示实时摄像头捕获画面以及对话的文字内容，右边可显示网页，地图等多媒体信息。

前端设备图形和声音处理模块107，将摄像头101获取到照片初步处理，获取人脸位置信息以及剪切后的人脸图像信息；将语音输入装置103获取到的语音信息转化为文字信息；将人脸位置信息、人脸图像信息、文字信息返回给后台设备200。

所述后台设备200包括：服务器201、人脸数据处理模块202、数据库203、语义分析模块204。

服务器201，为整个泛在问询机器人的计算核心，包括以下信息的处理：

1.信号连接有前端设备图形和声音处理模块107。

所述服务器接收前端设备图形和声音处理模块所返回的人脸位置信息以及剪切后的人脸图像信息，根据人脸图像数据判断人脸对话请求，并将人脸认证结果的信息反馈给前端设备以开启语音对话流程；

2.信号连接有人脸数据处理模块202。

服务器向人脸数据处理模块发送人脸特征值的数据请求；人脸数据处理模块通过对预先存储的人脸特征值集合与现场采集的人脸特征值进行对比，识别到人脸后即向数据库查询获取其个人信息；同时，服务器比对数据库中的临时个人对话信息，将本次识别到的个人的最后一次的问题对应的答案反馈给语音输出装置，以此实现使用者的识别和对话接力；

3.信号连接有数据库203。

服务器将人脸图像信息和身份信息存储于数据库；服务器将当天参与问询机器人的人脸数据和身份信息以及所问问题都记录于数据库中的临时个人档案。

4.信号连接有语义分析模块204和语音输出装置103。

服务器将文字信息输入语义分析模块进行分析以获得该使用者的问题意图；同时，服务器根据人脸数据处理模块返回的人脸比对数据，整理该使用者的所有对话，获得该使用者最近一次提问的问题和答案，使得本次的答案信息与之前对话的信息相一致，并将此答案信息发送给语音输出装置播放。

语义分析模块内容多个功能点，例如问路功能点，搜索书籍功能点，搜索场馆活动功能点等。语义分析模块会分析从语音输入装置获取到的文字信息。将文字信息按词分类切割，分类词汇送入语义分析模块内置的自然语言处理模块进行分析，根据词汇出现的频率概率，以及不同词汇组合的综合概率，来判断该文字语义。其中包括两种不同的词汇，一是意图类关键词，即根据此关键词可判断该使用者的意图是对应本系统的哪个功能点；二是名词关键词，即根据此关键词在预置词典内搜索相近词，以判断使用者的意图对应的对象，例如由一可判断使用者正在问路，由二判断使用者在问的是茶水间。完成语义分析后，从数据库内容搜索出最优答案并通过服务器发送给语音输出装置播放。

同时，该使用者的信息以及其语义和答案被保存至个人临时数据库，再下一次识别到该使用者的人脸信息时，保存的信息将被获取并直接给语音输出装置播放，并显示在前端设备的显示屏上。

5.信号连接有身份读卡器105；身份读卡器105读取的使用者的身份信息，并发送给服务器201；服务器201读取数据库203存储的使用者身份信息并与身份读卡器105读取的使用者身份信息进行匹配。

人脸数据处理模块202，用以进行人脸识别，采用70个面部关键点的识别以及特征值的提取，将人脸灰度化，然后进行图像中像素的提速计算，通过HOG形式进行人脸位置的获取，在进行人脸对齐，针对不同角度人脸，先定位人脸的特征点，然后进行仿射、旋转、缩放，使各个特征点对齐，将人脸图像的像素值进行特征向量的转换，进行比对和传输。

泛在问询机器人的问询方法，包括以下步骤：

步骤一，摄像头进行人脸检测：当摄像头未捕获人脸数据时，持续进行人脸检测；当摄像头捕获人脸数据时，并将人脸数据传输给前端设备图形和声音处理模块处理，前端设备图形和声音处理模块获取人脸位置信息以及剪切后的人脸图像信息，并将上述信息传输至服务器；

步骤二，服务器验证身份信息：服务器将前端设备图形和声音处理模块传输过来的人脸图像信息发送给人脸数据处理模块进行对比，服务器接收人脸数据处理模块返回的人脸对比数据；

人脸数据处理模块通过对预先存储的人脸特征值集合与现场采集的人脸特征值进行对比，识别到人脸后即通过服务器向数据库查询获取该人脸对应的使用者的个人信息：

当数据库中未有该个人信息的，表明使用者首次使用问询服务，服务器在数据库中建立临时个人档案，临时个人档案用以存储当天参与问询机器人的人脸数据和身份信息以及所问问题；服务器根据人脸位置信息将提示对话的答案信息发送给捕获该人脸信息的摄像头附近的语音输出装置播放和显示屏显示，同时开启捕获该人脸信息的摄像头附近的语音输入装置，并进行步骤三；

当数据库中存有该个人信息的，表明使用者之前至少使用了1次问询服务，服务器整理该使用者的所有对话，使得本次的答案信息与最后一次对话的信息相一致，并将此答案信息发送给语音输出装置播放和显示屏显示，同时开启语音输入装置，并进行步骤三；

因此可实现“泛在”概念，即当游客在一个问询机器人上进行对话过后，同服务器下所有的问询机器人都能识别出该游客的上一次对话，当游客在使用另一个问询机器人时无需再开口提问即能得到回复，使得游客感受这些问询机器人都像是同一个机器人。

步骤三，问答业务流程：语音输入装置捕获语音信息，并将语音信息传输至前端设备图形和声音处理模块处理；前端设备图形和声音处理模块将语音输入装置获取到的语音信息转化为文字信息，并将该文字信息通过服务器传输至语义分析模块；语义分析模块进行分析以获得该使用者的问题意图，并通过服务器从数据库中搜索出最优答案并通过服务器发送给语音输出装置播放。

步骤四，当摄像头未能捕获人脸数据时，或语音输入装置阈值时间内未能捕获语音信息，则显示屏返回机器人初始界面并且后台设备结束活动。

进一步，答案信息，可以为显示普通文字的回答、显示地点的回答、显示活动的回答、显示找书的回答；

进一步，答案信息可以显示在显示屏中，当使用者点击答案信息的文字内容，可展现更多信息，如地图，如活动介绍页面，如相关书籍列表。

本方案具有以下优点：

1. 通过语义分析，能够有效让使用者快速的得到想要咨询的问题的答案，而不用通过选择菜单操作多次，同时答案标准统一。

2. 帮助使用者能够在不同区域接力导引之前想要咨询的问题，即“泛在”的概念。本方案可实现“泛在”概念，即当游客在一个问询机器人上进行对话过后，同服务器下所有的问询机器人都能识别出该游客的上一次对话，当游客在使用另一个问询机器人时无需再开口提问即能得到回复，使得游客感受这些问询机器人都像是同一个机器人。

3. 有效地使麦克风收音效果提升，帮助使用者消除环境带来的干扰。

4. 帮助管理人员有效的管理和使用，提升管理效率。

5. 使用者可以不用刷卡和密码登陆就能够通过站在机器面前就可以识别用户身份信息，并提示使用者一些温馨提示，帮助使用者快速了解场馆的使用相关情况。

6. 更安全，没有动态的硬件结构，减少了使用者冲突的风险。

需要指出的是：人脸数据处理模块202、数据库203、语义分析模块204可以集成于服务器201以组成一个一体式服务器，也可以分设于服务器201外部。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.泛在问询机器人，其特征在于，包括：相互信号连接的前端设备和后台设备；所述前端设备包括：

摄像头，所述摄像头捕获人脸数据，并将人脸数据传输给前端设备图形和声音处理模块处理；

语音输入装置，所述语音输入装置捕获语音信息，并将语音信息传输至前端设备图形和声音处理模块处理；

语音输出装置，所述语音输出装置接收服务器的答案信息并播放答案信息；

显示屏，所述显示屏显示实时摄像头捕获画面以及对话的文字内容；

前端设备图形和声音处理模块：将摄像头获取到照片初步处理，获取人脸位置信息以及剪切后的人脸图像信息；将语音输入装置获取到的语音信息转化为文字信息；将人脸位置信息、人脸图像信息、文字信息返回给后台设备；

所述后台设备包括：服务器、人脸数据处理模块、数据库、语义分析模块；

所述服务器信号连接前端设备图形和声音处理模块；所述服务器接收前端设备图形和声音处理模块所返回的人脸位置信息以及剪切后的人脸图像信息，根据人脸图像信息判断是否开启人脸对话请求，并将人脸认证结果的信息反馈给前端设备以开启语音对话流程；

服务器向人脸数据处理模块发送人脸特征值的数据请求；人脸数据处理模块通过对预先存储的人脸特征值集合与现场采集的人脸特征值进行对比，识别到人脸后即向数据库查询获取其个人信息；同时，服务器比对数据库中的临时个人对话信息，将本次识别到的个人的最后一次的问题对应的答案反馈给语音输出装置，以此实现使用者的识别和对话接力；

所述服务器信号连接有数据库；服务器将人脸图像信息和身份信息存储于数据库；服务器将当天参与问询机器人的人脸数据和身份信息以及所问问题都记录于数据库中的临时个人档案；

所述服务器信号连接有语义分析模块和语音输出装置；

服务器将文字信息输入语义分析模块进行分析以获得该使用者的问题意图；同时，服务器根据人脸数据处理模块返回的人脸比对数据，整理该使用者的所有对话，获得该使用者最近一次提问的问题和答案，并将此答案信息发送给语音输出装置播放，并显示在前端设备的显示屏上。

2.根据权利要求1所述的泛在问询机器人，其特征在于，所述前端设备与后台设备采用TCP基础通道进行通信。

3.根据权利要求1所述的泛在问询机器人，其特征在于，所述语音输入装置为双麦克风。

4.根据权利要求1所述的泛在问询机器人，其特征在于，所述前端设备还包括：

设备灯带，所述设备灯带显示工作状态；

身份读卡器，所述身份读卡器，读取并录入使用者的身份信息，并将使用者的身份信息传输至服务器；服务器读取数据库存储的使用者身份信息并与身份读卡器读取的使用者身份信息进行匹配。

5.根据权利要求1所述的泛在问询机器人，其特征在于，所述人脸数据处理模块，采用70个面部关键点的识别以及特征值的提取，将人脸灰度化，然后进行图像中像素的提速计算，通过HOG形式进行人脸位置的获取，在进行人脸对齐，针对不同角度人脸，先定位人脸的特征点，然后进行仿射、旋转、缩放，使各个特征点对齐，将人脸图像的像素值进行特征向量的转换，进行比对和传输。

6.使用权利要求1所述泛在问询机器人的问询方法，包括以下步骤：

步骤一，摄像头进行人脸检测：当摄像头未捕获人脸数据时，持续进行人脸检测；当摄像头捕获人脸数据时，并将人脸数据传输给前端设备图形和声音处理模块处理，前端设备图形和声音处理模块获取人脸位置信息以及剪切后的人脸图像信息，并将上述信息传输至服务器；

步骤二，服务器验证身份信息：服务器将前端设备图形和声音处理模块传输过来的人脸图像信息发送给人脸数据处理模块进行对比，服务器接收人脸数据处理模块返回的人脸对比数据；

人脸数据处理模块通过对预先存储的人脸特征值集合与现场采集的人脸特征值进行对比，识别到人脸后即通过服务器向数据库查询获取该人脸对应的使用者的个人信息：

当数据库中未有该个人信息的，表明使用者首次使用问询服务，服务器在数据库中建立临时个人档案，临时个人档案用以存储当天参与问询机器人的人脸数据和身份信息以及所问问题；服务器根据人脸位置信息将提示对话的答案信息发送给捕获该人脸信息的摄像头附近的语音输出装置播放和显示屏显示，同时开启捕获该人脸信息的摄像头附近的语音输入装置，并进行步骤三；

当数据库中存有该个人信息的，表明使用者之前至少使用了1次问询服务，服务器整理该使用者的所有对话，使得本次的答案信息与最后一次对话的信息相一致，并将此答案信息发送给语音输出装置播放和显示屏显示，同时开启语音输入装置，并进行步骤三；

步骤三，问答业务流程：语音输入装置捕获语音信息，并将语音信息传输至前端设备图形和声音处理模块处理；前端设备图形和声音处理模块将语音输入装置获取到的语音信息转化为文字信息，并将该文字信息通过服务器传输至语义分析模块；语义分析模块进行分析以获得该使用者的问题意图，并通过服务器从数据库中搜索出最优答案并通过服务器发送给语音输出装置播放；

步骤四，当摄像头未能捕获人脸数据时，或语音输入装置阈值时间内未能捕获语音信息，则显示屏返回机器人初始界面并且后台设备结束活动。

Images