CN109129507A - 一种智能讲解机器人及讲解方法和系统 - Google Patents

Abstract

本发明提供一种智能讲解机器人及讲解方法和系统，其中智能讲解机器人包括人机交互模块、激光雷达、超声波雷达和自主移动模块，还包括控制中心、无线模块、UWB标签和摄像头；所述UWB标签设置在所述智能讲解机器人上。本发明能够应用于博物馆、纪念馆、展览馆、史料馆等室内景区代替讲解人员进行智能讲解，该机器人具备高精度定位、自主导航行走、人机交互、身份识别、自动避障、智能讲解与展厅设备互动等功能。

Description

一种智能讲解机器人及讲解方法和系统

技术领域

本发明涉及智能机器人的技术领域，特别是一种智能讲解机器人及讲解方法和系统。

背景技术

在博物馆、纪念馆、展览馆、史料馆等室内景区参观游览时如果有讲解员进行深入讲解，会对了解主题有很大帮助，现有技术中一般是陪伴跟随的讲解员或者在展区固定设置用于讲解的多媒体系统，这两种方式一个需要培养讲解人员，耗费大量人力、物力及时间，一个需要根据展区数量设置相应的多媒体系统，导致基建和运维成本大。

申请号为CN201710951821.7的发明专利公开了一种主移动讲解系统平台机器人及讲解方法，自主移动讲解系统平台机器人包括可移动的机器人系统以及固定设置的展示平台，机器人系统与展示平台形成优势互补，适用于教育、会议、群体导览讲解等需要对多人间接并展示内容的场合；基于该自主移动讲解系统平台机器人的讲解方法可以进行声画配合对用户进行讲解固定内容，同时用户可以通过人机交互单元与机器人系统进行一定的互动，用户与机器人之间的交互方式多元，可极大提高用户体验。该发明没有采用激光雷达结合UWB标签进行定位和导航，也不具备人脸识别和为主要来宾进行讲解的功能。

申请号为CN1O7765220A的发明专利公开了一种基于UWB和激光雷达混合定位的行人跟随系统及方法，采用UWB对行人进行初步的定位与识别，然后利用激光雷达对行人进行精准的定位与识别，有效避障，满足复杂环境下行人的精准跟随以及定位；采用动态窗口来进行避障，精准度更高；采用Kalman滤波对机器人的于东进行滤波处理，稳定性更强。该系统既不能够与人进行人机互动，也不具备人脸识别和为主要来宾进行讲解的功能。

发明内容

为了解决上述的技术问题，本发明提出一种智能讲解机器人及讲解方法和系统，该讲解机器人具有自主定位和导航的功能，通过机器人本身所带激光雷达在室内利用SLAM(Simultaneous LocalizationAnd Mapping)技术进行地图构建和定位识别，同时通过在展厅设置锚点利用uwb超宽带定位方法实现组合定位，提高定位精度和可靠性。该讲解机器人利用3D摄像头实现人脸识别，通过自身大屏幕实现人机交互功能，在讲解过程中可根据预存储的主要宾客信息(如照片)进行身份识别并实现以主宾客(1人)为核心的讲解过程(包括讲解机器人和主宾客的距离及机器人显示屏朝向等)。讲解机器人在自主移动，引领讲解的过程中，可以通过精确定位信息感知自身的位置，并通过无线设备(如红外、蓝牙等)控制展厅相应位置的实物展品进行互动，包括展厅电子屏的音视频播放、模型的自动启动和关闭、全息投影播放等。

本发明的第一目的是提供了一种智能讲解机器人，包括人机交互模块、激光雷达、超声波雷达和自主移动模块，

还包括控制中心、无线模块、UWB标签和摄像头；

所述UWB标签设置在所述智能讲解机器人上。

优选的是，所述控制中心通过所述无线模块控制一定距离阈值内的具有无线遥控功能的设备。

在上述任一方案中优选的是，所述UWB标签与无线UWB定位锚点配合，实现所述智能讲解机器人的定位功能。

在上述任一方案中优选的是，所述摄像头为3D摄像头，安装在所述智能讲解机器人的上部，用于进行人脸拍摄和跟踪。

在上述任一方案中优选的是，所述控制中心用于将所述摄像头拍摄到的人脸图像与预先存储的宾客的照片进行对比，在确认主要宾客后控制所述摄像头跟踪主要宾客。

在上述任一方案中优选的是，所述人机交互模块包括显示屏、语音输入子模块、语音识别子模块和语音输出子模块。

在上述任一方案中优选的是，所述语音识别子模块用于将所述语音输入子模块收集到的语音进行识别和判断，并通过所述语音输出子模块播放解说词和/或背景音乐。

在上述任一方案中优选的是，所述激光雷达用于进行场景建图和/或定位匹配，还用于检测临时出现在前方的近距离障碍物。

在上述任一方案中优选的是，所述超声波雷达安装在所述讲解机器人的底部，用于检测近距离障碍物。

在上述任一方案中优选的是，所述控制中心还用于根据所述激光雷达和所述超声波雷达检测到的近距离障碍物的信息调整前进路线的功能。

在上述任一方案中优选的是，所述控制中心还用于根据所述摄像头、所述激光雷达和所述超声波雷达实时调整与主要宾客之间的距离。

本发明的第二目的是提供了一种智能讲解机器人的讲解方法，包括使用如权利要求1所述的智能讲解机器人进行讲解，还包括以下步骤：

步骤1：进行新场景的准备工作；

步骤2：进行主宾客识别，面向主宾客致欢迎词，在显示屏上显示讲解信息，并通过语音和/或触控方式进行人机互动；

步骤3：按照讲解移动路线进行讲解；

步骤4：判断是否有障碍物存在，如果有则执行步骤5，如果没有则继续执行步骤3；

步骤5：执行智能躲避方案；

步骤6：判断是否讲解完成，如果未完成则执行步骤3，如果已完成则执行步骤7；

步骤7：讲解完成后，进行人机互动。

优选的是，所述准备工作包括场景规划和设定所述智能讲解机器人的讲解移动路线。

在上述任一方案中优选的是，所述场景规划是指在场景中布置至少一个用于精确定位的UWB锚点。

在上述任一方案中优选的是，所述设定所述智能讲解机器人的讲解移动路线的步骤如下：

步骤11：所述智能讲解机器人按照预设的讲解移动路线行驶；

步骤12：激光雷达进行扫描和建模，生成雷达地图；

步骤13：将所述讲解移动路线和所述雷达地图保存在所述智能讲解机器人中。

在上述任一方案中优选的是，所述主宾客识别包括以下子步骤：

步骤21：使用摄像头对所有宾客进行扫描，拍摄人脸图片；

步骤22：将人脸图片与预存的主宾客人脸图像进行比对，并识别出主宾客。

在上述任一方案中优选的是，所述步骤3包括以下子步骤：

步骤31：所述智能讲解机器人移动到第一预订位置；

步骤32：通过显示屏展示位置信息，并通过无线模块打开第一预订位置的设备；

步骤33：进行主宾客识别，并面对主宾客播放讲解词；

步骤34：讲解结束后，前往下一个预定位置。

在上述任一方案中优选的是，所述智能躲避方案包括以下子步骤：

步骤51：当激光雷达或超声波雷达检测到临时出现的障碍物时，所述智能讲解机器人停止移动；

步骤52：根据障碍物的大小和位置制订绕行避让方案；

步骤53：绕行障碍物，前往下一个预订位置。

发明的第三目的是提供了一种智能讲解机器人的讲解系统，包括如权利要求1所述的智能讲解机器人，还包括以下模块：

至少一个UWB定位锚点、具有无线遥控功能的设备；

所述UWB定位锚点用于实现室内的精准定位；

所述智能讲解机器人用于远程遥控所述具有无线遥控功能的设备。

优选的是，所述UWB定位锚点安装在所需场景中，配合所述智能讲解机器人上的UWB标签实现精准定位。

在上述任一方案中优选的是，所述无线遥控的方式包括红外控制方式、蓝牙控制方式和WiFi方式中至少一种。

在上述任一方案中优选的是，所述具有无线遥控功能的设备包括电视、显示屏幕、音响、灯光设备、投影仪和互动模型中至少一种。

本发明提出了一种智能讲解机器人及讲解方法和系统，可应用于博物馆、纪念馆、展览馆、史料馆等室内景区代替讲解人员进行智能讲解。该机器人具备高精度定位、自主导航行走、人机交互、身份识别、自动避障、智能讲解与展厅设备互动等功能。

附图说明

图1为按照本发明的智能讲解机器人的一优选实施例的模块图。

图1A为按照本发明的智能讲解机器人的如图1所示实施例的实物模型图。

图2为按照本发明的智能讲解机器人的讲解方法的一优选实施例的流程图。

图2A为按照本发明的智能讲解机器人的讲解方法的如图2所示实施例的设定讲解移动路线的流程图。

图2B为按照本发明的智能讲解机器人的讲解方法的如图2所示实施例的主宾客识别方法的流程图。

图2C为按照本发明的智能讲解机器人的讲解方法的如图2所示实施例的智能讲解的流程图。

图2D为按照本发明的智能讲解机器人的讲解方法的如图2所示实施例的智能躲避方案的流程图。

图3为按照本发明的智能讲解机器人的讲解系统的一优选实施例的模块图。

图4为按照本发明的智能讲解机器人的讲解系统的另一优选实施例的应用图。

图5为按照本发明的智能讲解机器人的讲解方法的再一优选实施例的流程图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，一种智能讲解机器人包括控制中心100、UWB标签110、激光雷达120、超声波雷达130、摄像头140、人机互动模块150和自主移动模块160。

控制中心100为整个智能讲解机器人计算核心，采用工业控制计算机或者嵌入式系统来实现，包括以下功能：

1)与UWB标签110相连，获取智能讲解机器人所处的位置；

2)与激光雷达120相连，获取智能讲解机器人的位置和行进路线；

3)与超声波雷达130相连，当激光雷达120和超声波雷达130检测到障碍物时，控制智能讲解机器人停止前进，并重新规划路线；

4)与摄像头140相连，获取摄像头140拍摄到的图片，比对图片，确认主宾客，并控制智能讲解机器人面向主宾客进行讲解；

5)与人机互动模块150相连，接收输入信息，返回输出信息，并只能播放讲解词或其他内容。

UWB标签110为实现UWB在讲解机器人上设置的标签。

激光雷达120采用1线或多线激光雷达，主要任务包括：

1)在智能讲解机器人进行准备工作阶段，进行场景建图；

2)在智能讲解机器人工作时进行定位匹配；

3)可检测临时出现在前方的障碍物。

超声波雷达130安装在智能讲解机器人的底部周圈，可检测近距离的障碍物。

摄像头140为3D摄像头，安装在智能讲解机器人上部，主要负责进行人脸识别和跟踪，通过对预先存储的宾客的照片与现场采集图像进行，对比实现主要宾客的识别和跟踪，完成以主宾客(1人)为核心的讲解过程。

人机互动模块150包括显示屏151、语音输入模块152、语音输出模块153和语音识别模块154。显示屏151为LCD显示屏，为机器人人机交互的主体，具备触控功能，可显示展示的图片和视频；语音输入模块152为麦克阵列，负责收集语音；语音输出模块153为音响，用于播放解说词或背景音乐；语音识别模块154用于进行识别与判断。

自主移动模块160安装在讲解机器人的底部，用于实现智能讲解机器人的移动。

实施例二

如图2所示，执行步骤200，进行新场景的准备工作。准备工作包括场景规划和设定所述智能讲解机器人的讲解移动路线，场景规划是指在场景中布置至少一个用于精确定位的UWB锚点。设定所述智能讲解机器人的讲解移动路线的步骤如2A所示，执行步骤201，智能讲解机器人按照预设的讲解移动路线行驶。执行步骤202：激光雷达进行扫描和建模，生成雷达地图。步骤203：将所述讲解移动路线和所述雷达地图保存在所述智能讲解机器人中。

执行步骤210，进行主宾客识别，面向主宾客致欢迎词，在显示屏上显示讲解信息，并通过语音和/或触控方式进行人机互动。主宾客识别方法如图2B所示，执行步骤211：使用摄像头对所有宾客进行扫描，拍摄人脸图片。步骤212：将人脸图片与预存的主宾客人脸图像进行比对，并识别出主宾客。

执行步骤220，按照讲解移动路线进行讲解。如图2C所示，步骤220包括以下子步骤：执行步骤221，所述智能讲解机器人移动到第一预订位置。执行步骤222，通过显示屏展示位置信息，并通过无线模块打开第一预订位置的设备。执行步骤223，进行主宾客识别，并面对主宾客播放讲解词。执行步骤224，讲解结束后，前往下一个预定位置。

执行步骤230，判断是否有障碍物存在。如果没有障碍物存在，则继续执行步骤220。如果有则执行步骤240，执行智能躲避方案。智能躲避方案如图2D所示，执行步骤241，当激光雷达或超声波雷达检测到临时出现的障碍物时，智能讲解机器人停止移动。执行步骤242，根据障碍物的大小和位置制订绕行避让方案。执行步骤243，绕行障碍物，前往下一个预订位置。

执行步骤250，判断是否讲解完成，如果讲解未完成，则执行步骤220，如果讲解已完成则执行步骤260，讲解完成后，进行人机互动。

实施例三

如图3所示，智能讲解机器人讲解系统包括智能讲解机器人300、UWB定位锚点310、无线控制模块321和设备322。

智能讲解机器人300上的UWB标签与UWB定位锚点进行配合，实现智能讲解机器人300的精准定位。

UWB定位锚点310，在场景内设置至少一个无线UWB定位锚点，配合智能讲解机器人300上的UWB标签实现定位。

具备无线遥控功能的设备放置在场景中，由无线控制模块321和设备322组成，无线控制模块321包括红外控制装置、蓝牙控制装置和WiFi控制装置中至少一种，设备322包括电视、显示屏幕、音响、灯光设备、投影仪和互动模型中至少一种。

实施例四

如图4所示，智能讲解机器人讲解系统分为智能讲解机器人和展厅设备两大部分，其中智能讲解机器人为一个可自主移动的主体，可采用人性外形或其它外形，包括以下主要部分：

1)主控制器：此为整个智能讲解机器人计算核心，可采用工业控制计算机或者嵌入式系统来实现。

2)3D摄像头：3D摄像头安装在智能讲解机器人上部，主要负责进行人脸识别和跟踪，通过对预先存储的宾客的照片与现场采集图像进行，对比实现主要宾客的识别和跟踪，完成以主宾客(1人)为核心的讲解过程。

3)LCD显示屏：此为机器人人机交互的主体，具备触控功能，可显示展示的图片和视频。

4)麦克与音响：麦克阵列负责收集语音，并交由语音识别模块进行识别与判断，音响可播放解说词或背景音乐。

5)激光雷达：采用1线或多线激光雷达，主要任务包括利用激光雷达SLAM进行场景建图和定位匹配，同时可检测临时出现在前方的障碍物。

6)超声波雷达：在讲解机器人的底部周圈安装超声波雷达，可检测近距离的障碍物。

7)无线模块：与展厅设备配合，具备红外、蓝牙、WiFi等无线通信功能，可无线控制展厅各类设备。

8)UWB标签：为实现UWB在讲解机器人上设置的标签。

展厅设备包括以下两大部分：

1)UWB定位锚点：为了实现室内的精确定位在，展厅内部设置多个无线UWB定位锚点，配合讲解机器人上的标签实现定位。

2)具备无线模块的展厅设备：即具备无线遥控功能的展厅设备，如可通过红外控制的电视、显示器；可通过蓝牙控制的展厅音响；可通过WiFi控制的展厅互动模型等。

实施例五

如图5所示，系统在开始正式的讲解使用前，需要对新的场景路线进行建模和规划，首先要在场景中按要求布设一定的UWB锚点，用于精确定位。其次要人工遥控机器人按预设的讲解移动路线行驶，在行驶过程中，机器人的激光雷达进行扫描和建模，生成SLAM所必须的雷达地图。在完成准备工作后，可以开始正式讲解服务，当宾客到达后，机器人对所有宾客进行图像的人脸识别，并识别出主宾客(1人)，面向主宾客开始至欢迎词，同时在LCD上显示讲解信息，并可通过语音识别和触控方式和宾客实现人机互动。开始正式移动讲解时，通过UWB定位和实时雷达扫描结果比对预先的雷达地图实现精确定位并按预定路线行驶到第一展位。到达展位后，LCD屏显示该展位的基本内容，同时通过无线设备遥控打开第一展位的设备(如可通过红外控制的电视、显示器；可通过蓝牙控制的展厅音响；可通过WiFi控制的展厅互动模型等)。同时通过3D摄像头识别主宾客，将机身正向面对主宾客开始播放讲解词。完成该展位的讲解后，继续自主移动向下一个展位，在移动途中，如果有激光雷达或超声波雷达检测到临时出现的障碍物，可先停止移动，如根据障碍物大小和位置判断可以绕行避让，则实施避让，移动到下一个展位开始讲解。当完成所有展位的讲解后，通过3D摄像头识别主宾客，将机身正向面对主宾客开始播放致辞，并可通过语音识别和触控方式和宾客实现人机互动。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种智能讲解机器人，包括人机交互模块、激光雷达、超声波雷达和自主移动模块，其特征在于：

还包括控制中心、无线模块、UWB标签和摄像头；

所述UWB标签设置在所述智能讲解机器人上。

2.如权利要求1所述的智能讲解机器人，其特征在于，所述控制中心通过所述无线模块控制一定距离阈值内的具有无线遥控功能的设备。

3.如权利要求1所述的智能讲解机器人，其特征在于，所述UWB标签与无线UWB定位锚点配合，实现所述智能讲解机器人的定位功能。

4.如权利要求1所述的智能讲解机器人，其特征在于，所述摄像头为3D摄像头，安装在所述智能讲解机器人的上部，用于进行人脸拍摄和跟踪。

5.如权利要求4所述的智能讲解机器人，其特征在于，所述控制中心用于将所述摄像头拍摄到的人脸图像与预先存储的宾客的照片进行对比，在确认主要宾客后控制所述摄像头跟踪主要宾客。

6.如权利要求1所述的智能讲解机器人，其特征在于，所述人机交互模块包括显示屏、语音输入子模块、语音识别子模块和语音输出子模块。

7.如权利要求6所述的智能讲解机器人，其特征在于，所述语音识别子模块用于将所述语音输入子模块收集到的语音进行识别和判断，并通过所述语音输出子模块播放解说词和/或背景音乐。

8.如权利要求1所述的智能讲解机器人，其特征在于，所述激光雷达用于进行场景建图和/或定位匹配，还用于检测临时出现在前方的近距离障碍物。

9.一种智能讲解机器人的讲解方法，包括使用如权利要求1所述的智能讲解机器人进行讲解，其特征在于，还包括以下步骤：

步骤1：进行新场景的准备工作；

步骤2：进行主宾客识别，面向主宾客致欢迎词，在显示屏上显示讲解信息，并通过语音和/或触控方式进行人机互动；

步骤3：按照讲解移动路线进行讲解；

步骤4：判断是否有障碍物存在，如果有则执行步骤5，如果没有则继续执行步骤3；

步骤5：执行智能躲避方案；

步骤6：判断是否讲解完成，如果未完成则执行步骤3，如果已完成则执行步骤7；

步骤7：讲解完成后，进行人机互动。

10.一种智能讲解机器人的讲解系统，包括如权利要求1所述的智能讲解机器人，其特征在于，还包括以下模块：

至少一个UWB定位锚点、具有无线遥控功能的设备；

所述UWB定位锚点用于实现室内的精准定位；

所述智能讲解机器人用于远程遥控所述具有无线遥控功能的设备。