CN109571499A - 一种智能导航引领机器人及其实现方法 - Google Patents

一种智能导航引领机器人及其实现方法 Download PDF

Info

Publication number
CN109571499A
CN109571499A CN201811588905.XA CN201811588905A CN109571499A CN 109571499 A CN109571499 A CN 109571499A CN 201811588905 A CN201811588905 A CN 201811588905A CN 109571499 A CN109571499 A CN 109571499A
Authority
CN
China
Prior art keywords
robot
face
navigation
leads
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811588905.XA
Other languages
English (en)
Inventor
胡俊文
林其荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU TIANGAO SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
GUANGZHOU TIANGAO SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU TIANGAO SOFTWARE TECHNOLOGY Co Ltd filed Critical GUANGZHOU TIANGAO SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201811588905.XA priority Critical patent/CN109571499A/zh
Publication of CN109571499A publication Critical patent/CN109571499A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种智能导航引领机器人及其实现方法,该机器人包括机器人本体,还包括:语音识别应答系统,用于获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统;导航引领系统,用于利用激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,驱动机器人移动行走至目标点位置,并于导航引领过程中,获取相应的讲解内容输出;行走机构,设于所述机器人底部,以在所述导航引领系统的控制下,驱动机器人移动行走至目标点位置,本发明不仅可以友好地将用户指定导航引领到目标地,还可以通过预设地点进行循环讲解宣传,实现接待宣传两不误。

Description

一种智能导航引领机器人及其实现方法
技术领域
本发明涉及机器人技术领域,特别是涉及一种智能导航引领机器人及其实现方法。
背景技术
现在的引导服务多数仍为人工引导,一方面,无法满足大量用户的需求,另一方面,造成了人力资源的浪费。引导服务型机器人应运而生。
随着中国信息化建设步伐的加快,通信网络技术与人工智能技术的飞速发展,引导服务型机器人已经成为了机器人家族中的一个年轻成员,其专业领域和应用范围越来越广,目前这种成本型、人工型的呼叫中心,已逐渐向利润型、智能型转化。
然而,目前在世界范围研发的智能引导服务机器人主要是集中的问答咨询,广告展示,业务办理,远程监控,和智能接待,其均只是简单地将用户指定导航引领到目标地,宣传效率不高,而且不够友好。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种智能导航引领机器人及其实现方法,不仅可以友好地将用户指定导航引领到目标地,还可以通过设置的地点进行循环讲解宣传,实现接待宣传两不误。
为达上述目的,本发明提出一种智能导航引领机器人,包括机器人本体,还包括:
语音识别应答系统,用于获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统;
导航引领系统,用于利用激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,驱动机器人移动行走至目标点位置,并于导航引领过程中,获取相应的讲解内容输出;
行走机构,设于所述机器人底部,以在所述导航引领系统的控制下,驱动机器人移动行走至目标点位置。
优选地,所述语音识别应答系统包括:
语音采集装置,用于采集语音信息;
前端处理单元,用于采用语音前端处理技术对采集的原始语音信息进行处理;
语音识别单元,用于采用语音识别引擎对处理后的语音信号进行语音识别,得到与语音信号对应的语音文本;
匹配单元,用于将获得的语音文本于对话数据库中进行搜索,得到匹配的语音应答,并将匹配的语音应答发送给合成单元;
语音合成单元,用于利用合成技术,将所述语音应答进行润色处理后输出。
优选地,所述语音识别应答系统还包括语义分析单元,用于对语音识别后的语音文本进行语义分析,根据语义分析结果确定其是否为导航引领指令,于确定其为导航引领指令时,启动导航引领系统。
优选地,所述引领导航系统包括:
地图构建单元,用于利用激光雷达传感器采集数据,并利用即时定位与地图构建技术构建环境地图;
机器人位置获取单元,用于实时根据激光雷达传感器采集数据,并通过视觉定位算法获得该机器人于该环境地图中的当前位置;
目的地位置获取单元,用于获取目标点位置;
路径规划单元,用于根据机器人当前位置以及目标点位置,通过路径规划算法生成机器人从当前位置到目标点位置的最优路线;
行走控制单元,用于根据生成的最优路线产生控制信号至机器人的行走机构,以驱动机器人移动行走至所述目标点位置;
讲解内容输出单元,用于于机器人导航引领过程中,获取相应的讲解内容输出。
优选地,所述导航引领系统还包括障碍检测单元,以于所述行走控制单元驱动机器人移动行走过程中检测地面障碍物,并根据地面障碍物的检测结果控制所述行走控制单元进行避障处理。
优选地,所述目标点位置通过所述语音识别系统获得或为系统中预设的机器人当前位置的下一个目标点位置。
优选地,所述机器人还包括人脸识别系统,用于采集人脸图像,对采集的人脸图像进行人脸识别,根据人脸识别结果产生应答指令。
优选地,所述人脸识别系统包括:
人脸图像采集单元,用于通过利用摄像头采集用户的脸部图像;
人脸特征提取单元,用于利用人脸识别引擎对采集的人脸图像进行人脸特征识别,识别出人脸特征;
特征匹配及应答处理单元,用于将提取的人脸特征于预先建立的面部数据库中进行匹配,若获得人脸特征与面部数据库中某人的面部特征匹配的相似度达到预设阈值时,则判定为老用户,根据匹配结果获得该用户信息,根据预设规则生成相应的问候指令,并发送至语音识别系统以合成播放语音问候信息;若于面部数据库中未匹配到相应数据,则生成新的人脸ID,将提取的人脸特征与对应的人脸ID存入面部数据库,并根据预设规则生成相应的问候指令发送至语音识别系统以合成播放语音问候信息。
人脸跟随单元,用于于检测到人脸图像后,获取目标用户的人脸关键点,根据人脸关键点确定人脸中心点,并控制人脸图像采集单元以人脸中心点为焦点进行焦点跟随。
为达到上述目的,本发明还提供一种智能导航引领机器人的实现方法,包括如下步骤:
步骤S1,利用语音识别应答系统获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统;
步骤S2,利用导航引领系统通过激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,从而驱动机器人移动行走至目标点位置。
优选地,所述方法还包括:
采集人脸图像,对采集的人脸图像进行人脸识别,根据人脸识别结果产生应答指令,并对人脸进行焦点跟随。
与现有技术相比,本发明一种智能导航引领机器人及其实现方法通过利用语音识别应答系统、导航引领系统以及人脸识别系统,使得该机器人不仅可以实现优质的机器人引领服务,而且在接待过程中实现了焦点跟随,可令用户实时感受到机器人的接待引领,提升用户体验,同时,本发明还实现了导航引领过程中输出宣传讲解内容,实现了接待宣传两不误,通过本发明,降低了人力资源并提高了工作效率和客户满意度。
附图说明
图1为本发明一种智能导航引领机器人的结构示意图;
图2为本发明具体实施例中人脸识别系统的系统结构图;
图3为本发明一种智能导航引领机器人的实现方法的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种智能导航引领机器人的结构示意图。如图1所示,本发明一种智能导航引领机器人,除机器人本体外,还包括:
语音识别应答系统10,用于获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统20。
具体地,语音识别应答系统10包括:
语音采集装置101,用于采集语音信息。在本发明具体实施例中,语音采集装置为麦克风,其可支持2麦、4麦、6麦、线麦、环麦定制;
前端处理单元102,用于采用语音前端处理技术对采集的原始语音信息进行处理,部分消除噪声和不同说话人带来的影响,使处理后的语音信号更能反映语音的本质特征,在本发明具体实施例中,可利用回声消除、声源定位、波束成形、语音增强等语音前端处理技术进行语音处理,以采集到有效的语音信号;
语音识别单元103,用于采用语音识别引擎对处理后的语音信号进行语音识别,得到与语音信号对应的语音文本。由于语音识别技术为现有的成熟技术,在此不予赘述。
匹配单元104,用于将获得的语音文本于对话数据库中进行搜索,得到匹配的语音应答,并将匹配的语音应答发送给合成单元105,也就是说,对话数据库中包括预先设定好的对话信息;
语音合成单元105,用于利用合成技术,将机械的语音应答进行音色、感情等处理,使表达口语化。这里采用的合成技术为现有技术,在此不予赘述。
优选地,语音识别应答系统10还包括语义分析单元106,用于对语音识别后的语音文本进行语义分析,根据语义分析结果确定其是否为导航引领指令,于确定其为导航引领指令时,启动导航引领系统。具体地,语义分析单元106可通过对语音识别后的语音文本进行词法与句法分析,根据词法与句法分析结果确定是否为导航引领指令,若为导航引领指令,则获取其中的引领目的地信息,并启动导航引领系统。例如,假设该导航引领机器人应用于超市环境,当语音识别单元识别出的语音文本为“熟食柜台在哪儿?”,则一方面通过语义分析单元的词法句法分析判断其为导航引领指令,获得引领目的地信息“熟食柜台”,启动导航引领系统驱动机器人导航至该目的地,另一方面,则通过匹配单元104根据该语音文本于对话数据库中进行搜索,得到匹配的语音应答,例如根据对话数据库获得的语音应答为“请跟我来”。
导航引领系统20,用于利用激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,驱动机器人移动行走至目标点位置,并于导航引领过程中,获取相应的讲解内容输出。
具体地,导航引领系统20进一步包括:
地图构建单元201,用于利用激光雷达传感器采集数据,并利用即时定位与地图构建技术(SLAM)构建环境地图。这里的即时定位与地图构建技术(SLAM)包括但不限于扫描匹配、图优化等。
具体地说,当将机器人置于一个新环境时,例如超市,需要使用SLAM绘制当前环境的地图。控制机器人在该环境中移动,设置于机器人身上的激光雷达传感器不断收集数据,并利用SLAM算法,实时计算并绘制出相应的环境地图,该环境地图为二维栅格地图。
机器人位置获取单元202,用于实时根据激光雷达传感器采集数据,并通过视觉定位算法获得该机器人于该环境地图中的当前位置。具体地,基于构建的环境地图,机器人位置获取单元202利用机器人身上的激光雷达传感器实时采集数据,对机器人实时定位,获得机器人当前在环境地图下的位置信息。
目的地位置获取单元203,用于获取目标点位置。所述目标点位置可以通过语音识别系统获得或为系统中预设的下一个目标点位置。也就是说,这里目标点位置可以是通过语音识别系统识别出导航引领指令获取的目的地,也可以是预设的定点巡逻讲解的目标点中的下一个目标点,例如,预先设定了定点巡逻讲解的各目标点及其讲解顺序依次为A、B、C、D、E,当获得机器人当前的位置处于目标点C,则根据系统中的设定可获得目标点位置为D;
路径规划单元204,用于根据机器人当前位置以及目标点位置,通过路径规划算法生成机器人从当前位置到目标点位置的最优路线。由于现有技术中有很多路径规划算法,例如动态窗口模拟等,在此不予赘述。
行走控制单元205,用于根据生成的最优路线产生控制信号至机器人的行走机构40,以驱动机器人移动行走至目标点位置。
讲解内容输出单元206,用于于机器人导航引领过程中,获取相应的讲解内容输出。例如,当机器人行至目标点位置时,获取对于目标点的讲解内容输出,其中讲解内容的输出可以通过语音识别应答系统的语音输出装置输出。
优选地,导航引领系统20还包括障碍检测单元207,以于行走控制单元205驱动机器人移动行走过程中检测地面障碍物,并根据地面障碍物的检测结果控制行走控制单元205进行避障处理。具体地说,由于激光雷达传感器无法检测到高于或低于自身激光雷达切面的障碍物,因此可以在激光雷达传感器更低处安装超声波传感器,以检测地面障碍物,于检测到地面有障碍物时,通知驱动单元以避开所述障碍物。
行走机构30,设于所述机器人底部,以在行走控制单元205的控制下,驱动机器人移动行走至目标点位置。在本发明具体实施例中,行走机构40可采用增强的铝镁合金底盘以及防滑轮胎,以便在恶劣使用条件下确保安全。
可见,本发明不仅可以根据语音信息将用户导航引领到目标地,而且可以实现定点巡逻宣传讲解,定点巡逻宣传讲解首先要先通过即时定位与地图构建技术搭配激光雷达传感器来扫描要定点巡逻范围以绘制建立巡逻地图,然后于机器人终端设置定位目标点坐标,在机器人终端可通过按钮或语音交互指令下达行走到达目标点或循环导航目标点来进行宣传讲解内容,在上一个目标点讲解宣传完毕后进行下一个宣传讲解目标点讲解宣传,而且在讲解过程中可通过指令结束或打断讲解宣传模式。
优选地,本发明之智能导航引领机器人还包括:
人脸识别系统,用于采集人脸图像,对采集的人脸图像进行人脸识别,根据人脸识别结果产生应答指令。
具体地,如图2所示,人脸识别系统包括:
人脸图像采集单元401,用于通过利用摄像头(例如可于机器人头部的正面安装一超大广角全局快门摄像机),以采集用户的脸部图像;
人脸特征提取单元402,用于利用人脸识别引擎对采集的人脸图像进行人脸特征识别,识别出人脸特征。在本发明具体实施例中,人脸识别单元402的人脸识别过程如下:
对人脸图像进行人脸检测,并对所检测到人脸进行标记。其中,可通过标记框对人脸进行标记,所述标记框通常可采用矩形框,对人脸的上至额头、下至下巴、左右至双耳的区域进行框定。在本发明具体实施例中,可利用OpenCV的开源的人脸检测算法对图像进行人脸检测;
对人脸检测后的图像进行预处理,预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等;
人脸特征提取,人脸特征提取的方法一般采用如下两种:基于知识的表征方法;以及基于代数特征或统计学习的表征方法,其中基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率和角度等,人脸由眼睛、鼻子、嘴、下巴等局部构成,对这些局部和它们之间结构关系的几何描述,可作为识别人脸的重要特征,这些特征被称为几何特征,基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
特征匹配及应答处理单元403,用于将提取的人脸特征于预先建立的面部数据库中进行匹配,当获得人脸特征与面部数据库中某人的面部特征匹配的相似度达到预设阈值(例如80%)时,则认为是老用户,则根据匹配结果获得该用户信息,根据预设规则生成相应的问候指令,例如根据该匹配结果获得的用户信息为李女士,则生成相应的问候指令,并发送至语音识别系统以合成播放语音问候信息,如“李女士,您好!有什么需要我帮忙的吗?”;若于面部数据库中未匹配到相应数据,则生成新的人脸ID,将提取的人脸特征与对应的人脸ID存入面部数据库,同时也根据预设规则生成相应的问候指令发送至语音识别系统以合成播放语音问候信息,例如“尊敬的客人,您好”。
优选地,所述人脸识别系统40还包括:
人脸跟随单元404,用于于检测到人脸图像后,获取目标用户的人脸关键点,根据人脸关键点确定人脸中心点,并控制人脸图像采集单元401以人脸中心点为焦点进行焦点跟随。其中,人脸关键点可以是目标用户的五官,比如眼睛、鼻子和嘴巴等,人脸跟随单元404可以通过检测人脸器官的形状和不同器官在人脸所在的位置等方式确定人脸关键点,进而根据检测出的人脸关键点确定人脸中心点。在获取到人脸中心点后,以人脸中心点为焦点,则控制人脸图像采集单元(摄像头)以人脸中心点为焦点进行焦点跟随,从而达到机器人始终“注视”目标用户的效果,提升用户使用体验。
图3为本发明一种智能导航引领机器人的实现方法的步骤流程图。如图3所示,本发明一种智能导航引领机器人的实现方法,包括如下步骤:
步骤S1,利用语音识别应答系统获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统。
具体地,步骤S1进一步包括:
步骤S100,利用语音采集装置采集语音信息。在本发明具体实施例中,语音采集装置为麦克风,其可支持2麦、4麦、6麦、线麦、环麦定制;
步骤S101,采用语音前端处理技术对采集的原始语音信息进行处理,部分消除噪声和不同说话人带来的影响,使处理后的语音信号更能反映语音的本质特征,在本发明具体实施例中,可利用回声消除、声源定位、波束成形、语音增强等语音前端处理技术进行语音处理,以采集到有效的语音信号;
步骤S102,采用语音识别引擎对处理后的语音信号进行语音识别,得到与语音信号对应的语音文本。由于语音识别技术为现有的成熟技术,在此不予赘述。
步骤S103,将获得的语音文本于预先设定的对话数据库中进行搜索,得到匹配的语音应答,也就是说,对话数据库中包括预先设定好的对话信息;
步骤S104,利用合成技术,将机械的语音应答进行音色、感情等处理后输出,使表达口语化。由于这里采用的合成技术为现有技术,在此不予赘述。
优选地,步骤S1还包括如下步骤:
对语音识别后的语音文本进行语义分析,根据语义分析结果确定其是否为导航引领指令,于确定其为导航引领指令时,启动导航引领系统。具体地,可通过对语音识别后的语音文本进行词法与句法分析,根据词法与句法分析结果确定是否为导航引领指令,若为导航引领指令,则获取其中的引领目的地信息,并启动导航引领系统。例如,假设该导航引领机器人应用于超市环境,当语音识别单元识别出的语音文本为“熟食柜台在哪儿?”,则一方面通过词法句法分析判断其为导航引领指令,获得引领目的地信息“熟食柜台”,启动导航引领系统驱动机器人导航至该目的地,另一方面,则根据该语音文本于对话数据库中进行搜索,得到匹配的语音应答,例如根据对话数据库获得的语音应答为“请跟我来”。
步骤S2,利用导航引领系统通过激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,从而驱动机器人移动行走至目标点位置,并于机器人导航引领过程中,获取相应的讲解内容输出。
具体地,步骤S2进一步包括:
步骤S200,利用激光雷达传感器采集数据,并利用即时定位与地图构建技术(SLAM)构建环境地图。这里的即时定位与地图构建技术(SLAM)包括但不限于扫描匹配、图优化等。
具体地说,当将机器人置于一个新环境时,例如超市,需要使用SLAM绘制当前环境的地图。控制机器人在该环境中移动,设置于机器人身上的激光雷达传感器不断收集数据,并利用SLAM算法,实时计算并绘制出相应的环境地图,该环境地图为二维栅格地图。
步骤S201,实时根据激光雷达传感器采集数据,并通过视觉定位算法获得该机器人于该环境地图中的当前位置。具体地,基于构建的环境地图,利用机器人身上的激光雷达传感器实时采集数据,对机器人实时定位,获得机器人当前在环境地图下的位置信息。
步骤S202,获取目标点位置。所述目标点位置可以通过语音识别系统获得或为系统中预设的下一个目标点位置。也就是说,这里目标点位置可以是通过语音识别系统识别出导航引领指令获取的目的地,也可以是预设的定点巡逻讲解的目标点中的下一个目标点,例如,预先设定了定点巡逻讲解的各目标点及其讲解顺序依次为A、B、C、D、E,当获得机器人当前的位置处于目标点C,则根据系统中的设定可获得目标点位置为D;
步骤S204,根据机器人当前位置以及目标点位置,通过路径规划算法生成机器人从当前位置到目标点位置的最优路线。由于现有技术中有很多路径规划算法,例如动态窗口模拟等,在此不予赘述。
步骤S205,根据生成的最优路线产生控制信号至机器人的行走机构,以驱动机器人移动行走至目标点位置。
步骤S206,于机器人导航引领过程中,获取相应的讲解内容输出。
优选地,于步骤S205中,还包括:
利用超声波传感器于驱动单元驱动机器人移动行走过程中检测地面障碍物,并根据地面障碍物的检测结果进行避障处理。具体地说,由于激光雷达传感器无法检测到高于或低于自身激光雷达切面的障碍物,因此可以在激光雷达传感器更低处安装超声波传感器,以检测地面障碍物,于检测到地面有障碍物时,通知驱动单元以避开所述障碍物。
优选地,本发明之智能导航引领机器人的实现方法,还包括:
步骤S3,采集人脸图像,对采集的人脸图像进行人脸识别,根据人脸识别结果产生应答指令。
具体地,步骤S3进一步包括:
步骤S300,通过利用摄像头(例如可于机器人头部的正面安装一超大广角全局快门摄像机),以采集用户的脸部图像;
步骤S301,利用人脸识别引擎对采集的人脸图像进行人脸特征识别,识别出人脸特征。在本发明具体实施例中,步骤S301的人脸识别过程如下:
对人脸图像进行人脸检测,并对所检测到人脸进行标记。其中,可通过标记框对人脸进行标记,所述标记框通常可采用矩形框,对人脸的上至额头、下至下巴、左右至双耳的区域进行框定。在本发明具体实施例中,可利用OpenCV的开源的人脸检测算法对图像进行人脸检测;
对人脸检测后的图像进行预处理,预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等;
人脸特征提取,人脸特征提取的方法一般采用如下两种:基于知识的表征方法;以及基于代数特征或统计学习的表征方法,其中基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率和角度等,人脸由眼睛、鼻子、嘴、下巴等局部构成,对这些局部和它们之间结构关系的几何描述,可作为识别人脸的重要特征,这些特征被称为几何特征,基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
步骤S302,将提取的人脸特征于预先建立的面部数据库中进行匹配,当获得人脸特征与面部数据库中某人的面部特征匹配的相似度达到预设阈值(例如80%)时,则认为是老用户,则根据匹配结果获得该用户信息,根据预设规则生成相应的问候指令,例如根据该匹配结果获得的用户信息为李女士,则生成相应的问候指令,并发送至语音识别系统以合成播放语音问候信息,如“李女士,您好!有什么需要我帮忙的吗?”;若于面部数据库中未匹配到相应数据,则生成新的人脸ID,将提取的人脸特征与对应的人脸ID存入面部数据库,同时也根据预设规则生成相应的问候指令发送至语音识别系统以合成播放语音问候信息,例如“尊敬的客人,您好”。
优选地,步骤S3还包括:
于检测到人脸图像后,获取目标用户的人脸关键点,根据人脸关键点确定人脸中心点,并控制摄像头以人脸中心点为焦点进行焦点跟随。其中,人脸关键点可以是目标用户的五官,比如眼睛、鼻子和嘴巴等,于步骤S3中,可以通过检测人脸器官的形状和不同器官在人脸所在的位置等方式确定人脸关键点,进而根据检测出的人脸关键点确定人脸中心点。在获取到人脸中心点后,以人脸中心点为焦点,则控制人脸图像采集单元(摄像头)以人脸中心点为焦点进行焦点跟随,从而达到机器人始终“注视”目标用户的效果,提升用户使用体验。
以一个实际场景应用来说明本发明:以将该机器人应用于一展厅为例,首先该机器人利用其具有的激光雷达传感器采集数据,其导航引领系统通过利用SLAM算法,实时计算并绘制出相应的展厅环境地图,该展厅环境地图为二维栅格地图。当该机器人处于展厅时,人脸识别系统实时监测是否有人来进行迎宾接待,语音识别应答系统采集识别传达指令进行接待引领宣传,导航引领系统根据机器人当前位置及目标点位置自动规划最优路径,灵活避障,遇到行人和障碍物主动避开,实时展示客户需要宣传效果。
在机器人移动过程中,人脸识别系统还采用焦点跟随功能,以使机器人时刻跟随用户,对人体动作进行预判,跟随更精准,持续与用户保持互动。本发明的主要应用场景可以是但不限于超市,迎宾接待,定点讲解巡逻,服务大厅,展览等场景。
综上所述,本发明一种智能导航引领机器人及其实现方法通过利用语音识别应答系统、导航引领系统以及人脸识别系统,使得该机器人不仅可以实现优质的机器人引领服务,而且在接待过程中实现了焦点跟随,可令用户实时感受到机器人的接待引领,提升用户体验,同时,本发明还实现了导航引领过程中输出宣传讲解内容,实现了接待宣传两不误,通过本发明,降低了人力资源并提高了工作效率和客户满意度。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种智能导航引领机器人,包括机器人本体,还包括:
语音识别应答系统,用于获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统;
导航引领系统,用于利用激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,驱动机器人移动行走至目标点位置,并于导航引领过程中,获取相应的讲解内容输出;
行走机构,设于所述机器人底部,以在所述导航引领系统的控制下,驱动机器人移动行走至目标点位置。
2.如权利要求1所述的一种智能导航引领机器人,其特征在于,所述语音识别应答系统包括:
语音采集装置,用于采集语音信息;
前端处理单元,用于采用语音前端处理技术对采集的原始语音信息进行处理;
语音识别单元,用于采用语音识别引擎对处理后的语音信号进行语音识别,得到与语音信号对应的语音文本;
匹配单元,用于将获得的语音文本于对话数据库中进行搜索,得到匹配的语音应答,并将匹配的语音应答发送给合成单元;
语音合成单元,用于利用合成技术,将所述语音应答进行润色处理后输出。
3.如权利要求2所述的一种智能导航引领机器人,其特征在于:所述语音识别应答系统还包括语义分析单元,用于对语音识别后的语音文本进行语义分析,根据语义分析结果确定其是否为导航引领指令,于确定其为导航引领指令时,启动导航引领系统。
4.如权利要求2所述的一种智能导航引领机器人,其特征在于,所述引领导航系统包括:
地图构建单元,用于利用激光雷达传感器采集数据,并利用即时定位与地图构建技术构建环境地图;
机器人位置获取单元,用于实时根据激光雷达传感器采集数据,并通过视觉定位算法获得该机器人于该环境地图中的当前位置;
目的地位置获取单元,用于获取目标点位置;
路径规划单元,用于根据机器人当前位置以及目标点位置,通过路径规划算法生成机器人从当前位置到目标点位置的最优路线;
行走控制单元,用于根据生成的最优路线产生控制信号至机器人的行走机构,以驱动机器人移动行走至所述目标点位置;
讲解内容输出单元,用于于机器人导航引领过程中,获取相应的讲解内容输出。
5.如权利要求4所述的一种智能导航引领机器人,其特征在于:所述导航引领系统还包括障碍检测单元,以于所述行走控制单元驱动机器人移动行走过程中检测地面障碍物,并根据地面障碍物的检测结果控制所述行走控制单元进行避障处理。
6.如权利要求5所述的一种智能导航引领机器人,其特征在于:所述目标点位置通过所述语音识别系统获得或为系统中预设的机器人当前位置的下一个目标点位置。
7.如权利要求4所述的一种智能导航引领机器人,其特征在于,所述机器人还包括人脸识别系统,用于采集人脸图像,对采集的人脸图像进行人脸识别,根据人脸识别结果产生应答指令。
8.如权利要求7所述的一种智能导航引领机器人,其特征在于,所述人脸识别系统包括:
人脸图像采集单元,用于通过利用摄像头采集用户的脸部图像;
人脸特征提取单元,用于利用人脸识别引擎对采集的人脸图像进行人脸特征识别,识别出人脸特征;
特征匹配及应答处理单元,用于将提取的人脸特征于预先建立的面部数据库中进行匹配,若获得人脸特征与面部数据库中某人的面部特征匹配的相似度达到预设阈值时,则判定为老用户,根据匹配结果获得该用户信息,根据预设规则生成相应的问候指令,并发送至语音识别系统以合成播放语音问候信息;若于面部数据库中未匹配到相应数据,则生成新的人脸ID,将提取的人脸特征与对应的人脸ID存入面部数据库,并根据预设规则生成相应的问候指令发送至语音识别系统以合成播放语音问候信息。
人脸跟随单元,用于于检测到人脸图像后,获取目标用户的人脸关键点,根据人脸关键点确定人脸中心点,并控制人脸图像采集单元以人脸中心点为焦点进行焦点跟随。
9.一种智能导航引领机器人的实现方法,包括如下步骤:
步骤S1,利用语音识别应答系统获取和识别语音信息,根据识别的语音信息产生应答指令,并根据识别的语音信息启动导航引领系统;
步骤S2,利用导航引领系统通过激光雷达传感器采集数据建立环境地图,获取机器人当前位置及目标点位置,基于所建立的环境地图生成最优路径,从而驱动机器人移动行走至目标点位置。
10.如权利要求9所述的一种智能导航引领机器人的实现方法,其特征在于,所述方法还包括:
采集人脸图像,对采集的人脸图像进行人脸识别,根据人脸识别结果产生应答指令,并对人脸进行焦点跟随。
CN201811588905.XA 2018-12-25 2018-12-25 一种智能导航引领机器人及其实现方法 Pending CN109571499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811588905.XA CN109571499A (zh) 2018-12-25 2018-12-25 一种智能导航引领机器人及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811588905.XA CN109571499A (zh) 2018-12-25 2018-12-25 一种智能导航引领机器人及其实现方法

Publications (1)

Publication Number Publication Date
CN109571499A true CN109571499A (zh) 2019-04-05

Family

ID=65931711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811588905.XA Pending CN109571499A (zh) 2018-12-25 2018-12-25 一种智能导航引领机器人及其实现方法

Country Status (1)

Country Link
CN (1) CN109571499A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070016A (zh) * 2019-04-12 2019-07-30 北京猎户星空科技有限公司 一种机器人控制方法、装置及存储介质
CN110405767A (zh) * 2019-08-01 2019-11-05 深圳前海微众银行股份有限公司 智能化展厅的引领方法、装置、设备及存储介质
CN110450174A (zh) * 2019-08-02 2019-11-15 深圳市三宝创新智能有限公司 一种前台机器人的导航领路方法
CN110717003A (zh) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 基于路径规划的智能购物车自主导航与自动跟随方法
CN110909585A (zh) * 2019-08-15 2020-03-24 北京致行慕远科技有限公司 一种路线确定方法、可行进设备、和存储介质
CN111324129A (zh) * 2020-03-19 2020-06-23 中国建设银行股份有限公司 基于人脸识别的导航方法及装置
CN111412913A (zh) * 2020-04-17 2020-07-14 上海擎朗智能科技有限公司 基于机器人的导航方法、装置、设备及介质
CN111640258A (zh) * 2020-06-12 2020-09-08 北京云迹科技有限公司 移动设备控制方法、装置和设备
CN111694353A (zh) * 2020-05-14 2020-09-22 特斯联科技集团有限公司 一种导引控制方法、装置、存储介质及服务机器人
CN111768512A (zh) * 2020-05-26 2020-10-13 同济大学 一种产线巡检机器人及巡检方法
CN111867191A (zh) * 2020-08-06 2020-10-30 上海上实龙创智能科技股份有限公司 一种基于机器人的展厅灯光控制系统
CN112304313A (zh) * 2020-09-29 2021-02-02 深圳优地科技有限公司 醉酒目标引导方法、装置、系统与计算机可读存储介质
CN112784634A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 视频信息处理方法、装置和系统
CN113370229A (zh) * 2021-06-08 2021-09-10 山东新一代信息产业技术研究院有限公司 展厅智能讲解机器人及实现方法
CN113488040A (zh) * 2021-06-28 2021-10-08 山东新一代信息产业技术研究院有限公司 一种博物馆机器人的功能实现方法、设备及介质
CN113587932A (zh) * 2021-07-27 2021-11-02 中国地质大学(武汉) 基于人脸识别的室内导航机器人系统及导航方法
CN113758479A (zh) * 2021-04-02 2021-12-07 北京京东拓先科技有限公司 无人机寻址方法、装置、无人机以及存储介质
CN113807585A (zh) * 2021-09-18 2021-12-17 北京声智科技有限公司 一种游览路径推荐方法、装置及相关设备
CN114012740A (zh) * 2021-12-10 2022-02-08 北京云迹科技有限公司 一种基于机器人的目标地点引领方法、装置和机器人
CN114131626A (zh) * 2021-12-09 2022-03-04 昆山市工研院智能制造技术有限公司 机器人、服务系统及方法
CN114179101A (zh) * 2021-12-10 2022-03-15 北京云迹科技有限公司 基于机器人的企业访问引领控制方法、装置和引领机器人
CN114237251A (zh) * 2021-12-17 2022-03-25 北京云迹科技股份有限公司 目标地点的接力引领方法、装置、电子设备及存储介质
CN114518115A (zh) * 2022-02-17 2022-05-20 安徽理工大学 一种基于大数据深度学习的导航系统
CN114770559A (zh) * 2022-05-27 2022-07-22 中迪机器人(盐城)有限公司 一种机器人的取物控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065863A (zh) * 2017-03-13 2017-08-18 山东大学 一种基于人脸识别技术的导览解说机器人及方法
CN108818569A (zh) * 2018-07-30 2018-11-16 浙江工业大学 面向公共服务场景的智能机器人系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065863A (zh) * 2017-03-13 2017-08-18 山东大学 一种基于人脸识别技术的导览解说机器人及方法
CN108818569A (zh) * 2018-07-30 2018-11-16 浙江工业大学 面向公共服务场景的智能机器人系统

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070016A (zh) * 2019-04-12 2019-07-30 北京猎户星空科技有限公司 一种机器人控制方法、装置及存储介质
CN110405767A (zh) * 2019-08-01 2019-11-05 深圳前海微众银行股份有限公司 智能化展厅的引领方法、装置、设备及存储介质
CN110450174A (zh) * 2019-08-02 2019-11-15 深圳市三宝创新智能有限公司 一种前台机器人的导航领路方法
CN110909585A (zh) * 2019-08-15 2020-03-24 北京致行慕远科技有限公司 一种路线确定方法、可行进设备、和存储介质
CN110717003A (zh) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 基于路径规划的智能购物车自主导航与自动跟随方法
CN112784634A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 视频信息处理方法、装置和系统
CN111324129A (zh) * 2020-03-19 2020-06-23 中国建设银行股份有限公司 基于人脸识别的导航方法及装置
CN111412913A (zh) * 2020-04-17 2020-07-14 上海擎朗智能科技有限公司 基于机器人的导航方法、装置、设备及介质
CN111694353A (zh) * 2020-05-14 2020-09-22 特斯联科技集团有限公司 一种导引控制方法、装置、存储介质及服务机器人
CN111768512A (zh) * 2020-05-26 2020-10-13 同济大学 一种产线巡检机器人及巡检方法
CN111640258A (zh) * 2020-06-12 2020-09-08 北京云迹科技有限公司 移动设备控制方法、装置和设备
CN111867191A (zh) * 2020-08-06 2020-10-30 上海上实龙创智能科技股份有限公司 一种基于机器人的展厅灯光控制系统
CN112304313A (zh) * 2020-09-29 2021-02-02 深圳优地科技有限公司 醉酒目标引导方法、装置、系统与计算机可读存储介质
CN113758479A (zh) * 2021-04-02 2021-12-07 北京京东拓先科技有限公司 无人机寻址方法、装置、无人机以及存储介质
CN113370229A (zh) * 2021-06-08 2021-09-10 山东新一代信息产业技术研究院有限公司 展厅智能讲解机器人及实现方法
CN113488040A (zh) * 2021-06-28 2021-10-08 山东新一代信息产业技术研究院有限公司 一种博物馆机器人的功能实现方法、设备及介质
CN113587932A (zh) * 2021-07-27 2021-11-02 中国地质大学(武汉) 基于人脸识别的室内导航机器人系统及导航方法
CN113807585A (zh) * 2021-09-18 2021-12-17 北京声智科技有限公司 一种游览路径推荐方法、装置及相关设备
CN113807585B (zh) * 2021-09-18 2024-04-30 北京声智科技有限公司 一种游览路径推荐方法、装置及相关设备
CN114131626A (zh) * 2021-12-09 2022-03-04 昆山市工研院智能制造技术有限公司 机器人、服务系统及方法
CN114012740A (zh) * 2021-12-10 2022-02-08 北京云迹科技有限公司 一种基于机器人的目标地点引领方法、装置和机器人
CN114179101A (zh) * 2021-12-10 2022-03-15 北京云迹科技有限公司 基于机器人的企业访问引领控制方法、装置和引领机器人
CN114012740B (zh) * 2021-12-10 2023-08-29 北京云迹科技股份有限公司 一种基于机器人的目标地点引领方法、装置和机器人
CN114179101B (zh) * 2021-12-10 2024-01-19 北京云迹科技股份有限公司 基于机器人的企业访问引领控制方法、装置和引领机器人
CN114237251A (zh) * 2021-12-17 2022-03-25 北京云迹科技股份有限公司 目标地点的接力引领方法、装置、电子设备及存储介质
CN114518115A (zh) * 2022-02-17 2022-05-20 安徽理工大学 一种基于大数据深度学习的导航系统
CN114518115B (zh) * 2022-02-17 2023-10-27 安徽理工大学 一种基于大数据深度学习的导航系统
CN114770559A (zh) * 2022-05-27 2022-07-22 中迪机器人(盐城)有限公司 一种机器人的取物控制系统及方法

Similar Documents

Publication Publication Date Title
CN109571499A (zh) 一种智能导航引领机器人及其实现方法
CN102023703B (zh) 组合唇读与语音识别的多模式界面系统
JP6816767B2 (ja) 情報処理装置およびプログラム
CN109741815A (zh) 一种医疗引导机器人及其实现方法
US6853880B2 (en) Autonomous action robot
JP4460528B2 (ja) 識別対象識別装置およびそれを備えたロボット
JP3996015B2 (ja) 姿勢認識装置及び自律ロボット
CN110405789B (zh) 一种查房陪护机器人、机器人查房陪护系统及方法
CN109366504A (zh) 一种智能展会服务机器人系统
TW201923737A (zh) 交互方法和設備
JP5405381B2 (ja) 音声対話装置
CN107336243A (zh) 基于智能移动终端的机器人控制系统及控制方法
CN107919121A (zh) 智能家居设备的控制方法、装置、存储介质及计算机设备
CN110728308B (zh) 基于改进Yolov2目标检测和语音识别的交互式导盲系统及方法
CN106157956A (zh) 语音识别的方法及装置
JP2007164379A (ja) インターフェース装置およびそれを備えた移動ロボット
US20040190754A1 (en) Image transmission system for a mobile robot
CN105662797A (zh) 一种智能物联网导盲杖
US20040190753A1 (en) Image transmission system for a mobile robot
JP5411789B2 (ja) コミュニケーションロボット
JP2008087140A (ja) 音声認識ロボットおよび音声認識ロボットの制御方法
WO2018108176A1 (zh) 机器人视频通话控制方法、装置及终端
CN108734083A (zh) 智能设备的控制方法、装置、设备和存储介质
JP2009222969A (ja) 音声認識ロボットおよび音声認識ロボットの制御方法
CN112099500A (zh) 一种基于语音控制的家用智能垃圾桶、系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405