CN107538485A - 一种机器人导引方法及系统 - Google Patents

一种机器人导引方法及系统 Download PDF

Info

Publication number
CN107538485A
CN107538485A CN201610494312.1A CN201610494312A CN107538485A CN 107538485 A CN107538485 A CN 107538485A CN 201610494312 A CN201610494312 A CN 201610494312A CN 107538485 A CN107538485 A CN 107538485A
Authority
CN
China
Prior art keywords
robot
camera
scene
guided
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610494312.1A
Other languages
English (en)
Other versions
CN107538485B (zh
Inventor
徐方
邹风山
杨奇峰
李邦宇
姜楠
宋健
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy Of Sciences Holdings Ltd
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
Chinese Academy Of Sciences Holdings Ltd
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy Of Sciences Holdings Ltd, Shenyang Siasun Robot and Automation Co Ltd filed Critical Chinese Academy Of Sciences Holdings Ltd
Priority to CN201610494312.1A priority Critical patent/CN107538485B/zh
Publication of CN107538485A publication Critical patent/CN107538485A/zh
Application granted granted Critical
Publication of CN107538485B publication Critical patent/CN107538485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机器人导引方法及系统,机器人头部的正面设置第一摄像头,机器人本体的正面设置第二摄像头,安装于机器人内部的用于视觉处理的控制器,用于与所述第一摄像头、所述第二摄像头进行通信,在待导引场景中移动并操作机器人,对待导引场景进行图像采集,创建导引地图,关联和存储待展示物体的图像信息和导引地图中的待导引场景的位置和介绍信息;获取所处场景的当前图像,根据导引地图和当前图像获取机器人的实时定位信息;根据所述实时定位信息和导引地图引导用户进入下一所述待导引场景,实现了双摄像头的机器人自动导引系统,使得导引的应用地点不受限制,方便了游客,减少了人力资源,提高了导引工作的工作效率。

Description

一种机器人导引方法及系统
技术领域
本申请涉及机器人视觉应用技术领域,具体涉及一种机器人导引方法及系统。
背景技术
随着自动化技术快速发展,机器人的工业化应用有着快速的增长量,但是机器人主要用于工业生产线上,用于代替人类完成一些简单、繁琐、重复的任务,在其他领域的应用较少。
目前,在导向领域中,传统的向导是由向导人员直接带领或者利用地图指引来实现,较为先进的方法是通过一些多媒体终端向用户提供查询服务,但这些方法耗费人力、使用困难,而且不能和用户随时交流。其他的导引系统如电子向导一般都是固定装配,通常分布在一些流动人员较多的区域,无法跟随用户并连续提供引导信息,不直观,且与游客之间缺乏互动。
发明内容
本发明针对现有电子导向技术领域还不够成熟,导引系统不够智能和生动等问题,提供了一种机器人导引方法及系统。
一方面,本发明提供一种机器人导引方法,包括:
提供所述机器人,所述机器人包括移动底盘、机器人本体和机器人头部;所述机器人头部的正面设置第一摄像头,所述机器人本体的正面设置第二摄像头;所述机器人还包括安装于所述机器人内部的用于视觉处理的控制器,所述控制器用于与所述第一摄像头、所述第二摄像头进行通信;
所述控制器获取所述第一摄像头和所述第二摄像头采集到的采集标定板的图像,计算获得所述第一摄像头和所述第二摄像头的关联外参参数,并保存在所述控制器的配置文件中;
在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,创建导引地图,以使所述控制器存储所述导引地图;
移动并操作所述机器人,使所述机器人采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息;
获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息;
所述机器人根据所述实时定位信息和所述导引地图,控制所述移动底盘运动来引导用户进入下一待导引场景。
作为一种可选的实施方式,在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,创建导引地图,以使所述控制器存储所述导引地图,包括:
在待导引场景中移动并操作所述机器人,使所述机器人通过所述第一摄像头和所述第二摄像头对所述待导引场景中的环境进行图像的实时采集;
通过图像处理创建导引地图,以使所述控制器存储所述导引地图。
作为一种可选的实施方式,通过图像处理创建导引地图,以使所述控制器存储所述导引地图,包括:
对实时采集到的所述待导引场景的图像进行特征点提取;
对所述第一摄像头和所述第二摄像头采集所述待导引场景的图像时的相邻两帧之间的所有特征点进行跟踪、匹配和关联,创建所述导引地图,以使所述控制器存储所述导引地图。
作为一种可选的实施方式,移动并操作所述机器人,使所述机器人采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息,包括:
移动并操作所述机器人,使所述机器人通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息。
作为一种可选的实施方式,移动并操作所述机器人,使所述机器人通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息,包括:
移动并操作所述机器人,使所述机器人通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息;
利用特征点检测至少一个算子和边缘检测至少一个算子的检测方法检测出所述待展示物体的图像信息中所述待展示物体的边缘信息;
所述控制器关联和存储所述待展示物体的图像信息、边缘信息、所述导引地图中的所述待导引场景的介绍信息和位置。
作为一种可选的实施方式,所述机器人本体的背面设置包括显示屏的显示系统,所述显示屏用于显示所述第一摄像头获取的图像信息,所述待展示物体的图像信息包括所述待展示物体的图像特征点,所述方法还包括:
根据当前待导引场景中的所述待展示物体的所述图像特征点和所述边缘信息,识别、获取所述待展示物体的所处位置;
通过所述第一摄像头识别出所述机器人所处的当前位置与所述待展示物体的所处位置之间的空间关系,创建移动路径;
所述机器人根据所述移动路径进行移动,使所述机器人与所述待展示物体之间的空间关系在一定范围内;
所述机器人调取所述导引地图中的所述待导引场景的所述介绍信息,以及所述控制器控制所述显示屏显示所述第一摄像头获取的图像信息和/或所述介绍信息中的全部或者部分介绍信息。
作为一种可选的实施方式,该方法还包括:
通过所述显示系统投影显示预先存储在所述机器人中的所述待展示物体的三维虚拟影像。
作为一种可选的实施方式,获取所述机器人所处场景的当前图像,结合所述导引地图获取所述机器人的实时定位信息,包括:
通过所述第一摄像头和所述第二摄像头获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息。
作为一种可选的实施方式,所述机器人头部的背面设置第三摄像头,所述控制器还用于与所述第三摄像头进行通信,所述方法还包括:
所述第三摄像头实时获取和检测采集到的当前图像中的人脸;
所述机器人通过人脸识别技术和人脸跟踪技术判断所述当前图像中的人是否为指定的待导引游客;
所述机器人检测所述人脸的大小,判断所述待导引游客与所述第三摄像头之间的距离;
所述机器人根据所述距离调整与所述待导引游客之间的距离在设定的范围内。
作为一种可选的实施方式,所述机器人根据所述实时定位信息和所述导引地图,控制所述移动底盘运动来引导用户进入下一所述待导引场景进行参观之前,还包括:
所述第三摄像头实时获取和检测采集到的当前图像中的人脸在空间位置是否变化,如果变化,所述机器人根据所述实时定位信息和所述导引地图,控制所述移动底盘运动来引导用户进入下一所述待导引场景进行参观。
作为一种可选的实施方式,所述第一摄像头与水平面呈15度夹角向上。
作为一种可选的实施方式,所述第二摄像头与水平面呈15度夹角向下。
作为一种可选的实施方式,所述第一摄像头、所述第二摄像头分别通过第一USB数据线与所述控制器连接。
作为一种可选的实施方式,所述第三摄像头与水平面呈15度夹角向上;所述第三摄像头通过第二USB数据线与所述控制器连接。
另一方面,本发明还提供一种适用于上述任一实施方式所述的机器人导引方法的机器人导引系统,包括所述机器人,所述机器人包括移动底盘、机器人本体和机器人头部;所述机器人头部的正面设置第一摄像头,所述机器人本体的正面设置第二摄像头;所述机器人还包括安装于所述机器人内部的用于视觉处理的控制器,所述控制器用于与所述第一摄像头、所述第二摄像头进行通信;
所述控制器用于获取所述第一摄像头和所述第二摄像头采集到的采集标定板的图像,计算获得所述第一摄像头和所述第二摄像头的关联外参参数,以及用于保存所述关联外参参数在所述控制器的配置文件中;
所述控制器还用于存储导引地图,所述导引地图为在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,以创建的所述导引地图;
所述控制器还用于关联和存储待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息,所述待展示物体的图像信息为移动并操作所述机器人时,所述机器人采集到的所述待导引场景中的所述待展示物体的图像信息;
所述机器人还用于获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息;
所述机器人还用于根据所述实时定位信息和所述导引地图引导用户进入下一待导引场景。
作为一种可选的实施方式,所述机器人还用于通过所述第一摄像头和所述第二摄像头对所述待导引场景中的环境进行图像的实时采集,对实时采集到的所述待导引场景的图像进行特征点提取;还用于对所述第一摄像头和所述第二摄像头采集所述待导引场景的图像时的相邻两帧之间的所有特征点进行跟踪、匹配和关联,创建所述导引地图,以使所述控制器存储所述导引地图;
所述机器人还用于通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息,利用特征点检测至少一个算子和边缘检测至少一个算子的检测方法检测出所述待展示物体的图像信息中所述待展示物体的边缘信息,以使所述控制器关联和存储所述待展示物体的图像信息、边缘信息、所述导引地图中的所述待导引场景的介绍信息和位置。
作为一种可选的实施方式,所述机器人本体的背面设置包括显示屏的显示系统,所述显示屏用于显示所述第一摄像头获取的图像信息,所述待展示物体的图像信息包括所述待展示物体的图像特征点,所述机器人还用于根据当前待导引场景中的所述待展示物体的所述图像特征点和所述边缘信息,识别、获取所述待展示物体的所处位置,通过所述第一摄像头识别出所述机器人所处的当前位置与所述待展示物体的所处位置之间的空间关系,创建移动路径,所述机器人还用于根据所述移动路径进行移动,使所述机器人与所述待展示物体之间的空间关系在一定范围内,调取所述导引地图中的所述待导引场景的所述介绍信息,以使所述控制器控制所述显示屏显示所述第一摄像头获取的图像信息和/或所述介绍信息中的全部或者部分介绍信息,或者使所述控制器控制所述显示系统投影显示预先存储在所述机器人中的所述待展示物体的三维虚拟影像。
作为一种可选的实施方式,所述机器人还用于通过所述第一摄像头和所述第二摄像头获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息。
作为一种可选的实施方式,所述机器人头部的背面设置第三摄像头,所述控制器还用于与所述第三摄像头进行通信,所述第三摄像头还用于实时获取和检测采集到的当前图像中的人脸;所述机器人还用于通过人脸识别技术和人脸跟踪技术判断所述当前图像中的人是否为指定的待导引游客,检测所述人脸的大小,判断所述待导引游客与所述第三摄像头之间的距离,根据所述距离调整与所述待导引游客之间的距离在设定的范围内;
所述第三摄像头还用于实时获取和检测采集到的当前图像中的人脸在空间位置是否变化,如果变化,所述机器人根据所述实时定位信息和所述导引地图引导用户进入下一所述待导引场景进行参观。
作为一种可选的实施方式,所述第一摄像头与水平面呈15度夹角向上。
作为一种可选的实施方式,所述第二摄像头与水平面呈15度夹角向下。
作为一种可选的实施方式,所述第一摄像头、所述第二摄像头分别通过第一USB数据线与所述控制器连接。
作为一种可选的实施方式,所述第三摄像头与水平面呈15度夹角向上;所述第三摄像头通过第二USB数据线与所述控制器连接。
本发明提供一种机器人导引方法及系统,所述机器人包括移动底盘、机器人本体和机器人头部;所述机器人头部的正面设置第一摄像头,所述机器人本体的正面设置第二摄像头;所述机器人还包括安装于所述机器人内部的用于视觉处理的控制器,所述控制器用于与所述第一摄像头、所述第二摄像头进行通信;所述控制器获取所述第一摄像头和所述第二摄像头采集到的采集标定板的图像,计算获得所述第一摄像头和所述第二摄像头的关联外参参数,并保存在所述控制器的配置文件中;在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,创建导引地图,以使所述控制器存储所述导引地图;移动并操作所述机器人,使所述机器人采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息;获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息;所述机器人根据所述实时定位信息和所述导引地图引导用户进入下一待导引场景,实现了双摄像头的机器人自动导引系统,使得导引的应用地点不受限制,方便了游客,减少了人力资源,提高了导引工作的工作效率。
附图说明
图1为本发明实施例提供的一种机器人导引方法流程图;
图2为本发明实施例提供的另一种机器人导引方法流程图;
图3为本发明实施例提供的另一种机器人导引方法流程图;
图4a为本发明实施例提供的一种机器人外部结构图;
图4b为本发明实施例提供的另一种机器人外部结构图;
图4c为本发明实施例提供的一种机器人结构图;
图4d为本发明实施例提供的另一种机器人结构图;
图4e为本发明实施例提供的另一种机器人结构图;
图5为本发明实施例提供的实时定位的信息处理流程示意图。
具体实施方式
下面阐述的实施例代表允许本领域技术人员实践本发明的必要信息,并且示出实践本发明的最佳方式。一旦根据附图阅读了以下的描述,本领域技术人员就将理解本发明的构思并且将认识到此处未特别阐明的这些构思的应用。应当理解,这些构思和应用落入本公开和所附权利要求书的范围。下面结合实施例对本发明进一步说明。
请参见图1,图1为本发明实施例提供的一种机器人导引方法流程图。如图1所示,本实施例提供的机器人导引方法,包括:
110、提供机器人;在本步骤中,机器人包括移动底盘、机器人本体和机器人头部;机器人头部的正面设置第一摄像头,机器人本体的正面设置第二摄像头;机器人还包括安装于机器人内部的用于视觉处理的控制器,控制器用于与第一摄像头、第二摄像头进行通信;
120、控制器获取第一摄像头和第二摄像头采集到的采集标定板的图像,计算获得第一摄像头和第二摄像头的关联外参参数,并保存在控制器的配置文件中;
130、在待导引场景中移动并操作机器人,使机器人对待导引场景进行图像采集,创建导引地图,以使控制器存储导引地图;
140、移动并操作机器人,使机器人采集待导引场景中的待展示物体的图像信息,以使控制器关联和存储待展示物体的图像信息和导引地图中的待导引场景的位置和介绍信息;
150、获取机器人所处场景的当前图像,根据导引地图和当前图像获取机器人的实时定位信息;
160、机器人根据实时定位信息和导引地图引导用户进入下一待导引场景。
作为一种可选的实施方式,上述步骤130,即在待导引场景中移动并操作机器人,使机器人对待导引场景进行图像采集,创建导引地图,以使控制器存储导引地图,通过如下步骤实现:
131、在待导引场景中移动并操作机器人,使机器人通过第一摄像头和第二摄像头对待导引场景中的环境进行图像的实时采集;
132、通过图像处理创建导引地图,以使控制器存储导引地图。
作为一种可选的实施方式,上述步骤132,即通过图像处理创建导引地图,以使控制器存储导引地图,通过如下步骤实现:
133、对实时采集到的待导引场景的图像进行特征点提取;
134、对第一摄像头和第二摄像头采集待导引场景的图像时的相邻两帧之间的所有特征点进行跟踪、匹配和关联,创建导引地图,以使控制器存储导引地图。
作为一种可选的实施方式,上述步骤140,即移动并操作机器人,使机器人采集待导引场景中的待展示物体的图像信息,以使控制器关联和存储待展示物体的图像信息和导引地图中的待导引场景的位置和介绍信息,具体通过如下步骤所示的方法实现:
141、移动并操作机器人,使机器人通过第一摄像头采集待导引场景中的待展示物体的图像信息,以使控制器关联和存储待展示物体的图像信息和导引地图中的待导引场景的位置和介绍信息。
作为一种可选的实施方式,上述步骤141,即移动并操作机器人,使机器人通过第一摄像头采集待导引场景中的待展示物体的图像信息,以使控制器关联和存储待展示物体的图像信息和导引地图中的待导引场景的位置和介绍信息,具体通过如下步骤所示的方法实现:
142、移动并操作机器人,使机器人通过第一摄像头采集待导引场景中的待展示物体的图像信息;
143、利用特征点检测至少一个算子和边缘检测至少一个算子的检测方法检测出待展示物体的图像信息中待展示物体的边缘信息;
144、控制器关联和存储待展示物体的图像信息、边缘信息、导引地图中的待导引场景的介绍信息和位置。
作为一种可选的实施方式,请参见图2,图2为本发明实施例提供的另一种机器人导引方法流程图。在本实施例提供的机器人导引方法中,机器人本体的背面设置包括显示屏的显示系统,显示屏用于显示第一摄像头获取的图像信息,待展示物体的图像信息包括待展示物体的图像特征点,如图2所示,基于图1所示的机器人导引方法,本实施方式提供的机器人导引方法,还包括如下步骤:
方法还包括:
210、根据当前待导引场景中的待展示物体的图像特征点和边缘信息,识别、获取待展示物体的所处位置;
220、通过第一摄像头识别出机器人所处的当前位置与待展示物体的所处位置之间的空间关系,创建移动路径;
230、机器人根据移动路径进行移动,使机器人与待展示物体之间的空间关系在一定范围内;
240、机器人调取导引地图中的待导引场景的介绍信息,以及控制器控制显示屏显示第一摄像头获取的图像信息和/或介绍信息中的全部或者部分介绍信息。
作为一种可选的实施方式,本实施方式提供的机器人导引方法,还包括如下步骤:
通过显示系统投影显示预先存储在机器人中的待展示物体的三维虚拟影像。
作为一种可选的实施方式,上述步骤150,即获取机器人所处场景的当前图像,结合导引地图获取机器人的实时定位信息,包括:
通过第一摄像头和第二摄像头获取机器人所处场景的当前图像,根据导引地图和当前图像获取机器人的实时定位信息。
作为一种可选的实施方式,请参见图3,图3为本发明实施例提供的另一种机器人导引方法流程图。在本实施例提供的机器人导引方法中,机器人头部的背面设置第三摄像头,控制器还用于与第三摄像头进行通信,如图3所示,基于图2所示的机器人导引方法,本实施方式提供的机器人导引方法,还包括如下步骤:
310、第三摄像头实时获取和检测采集到的当前图像中的人脸;
320、机器人通过人脸识别技术和人脸跟踪技术判断当前图像中的人是否为指定的待导引游客;
330、机器人检测人脸的大小,判断待导引游客与第三摄像头之间的距离;
340、机器人根据距离调整与待导引游客之间的距离在设定的范围内。
作为一种可选的实施方式,上述步骤160,即机器人根据实时定位信息和导引地图引导用户进入下一待导引场景进行参观之前,还包括如下步骤:
第三摄像头实时获取和检测采集到的当前图像中的人脸在空间位置是否变化,如果变化,机器人根据实时定位信息和导引地图引导用户进入下一待导引场景进行参观。
作为一种可选的实施方式,第一摄像头与水平面呈15度夹角向上。
作为一种可选的实施方式,第二摄像头与水平面呈15度夹角向下。
作为一种可选的实施方式,第一摄像头、第二摄像头分别通过第一USB数据线与控制器连接。
作为一种可选的实施方式,第三摄像头与水平面呈15度夹角向上;第三摄像头通过第二USB数据线与控制器连接。
另一方面,本实施例还提供一种适用于上述实施方式的机器人导引方法的机器人导引系统,请参见图4a、图4b、图4c、图4d和图4e,图4a为本发明实施例提供的一种机器人外部结构图,图4b为本发明实施例提供的另一种机器人外部结构图,图4c为本发明实施例提供的一种机器人结构图,图4d为本发明实施例提供的另一种机器人结构图,图4e为本发明实施例提供的另一种机器人结构图。在本实施例提供的机器人导引系统包括机器人,如图4a和图4b所示,机器人包括移动底盘410、机器人本体420和机器人头部430;机器人头部430的正面设置第一摄像头431,机器人本体420的正面设置第二摄像头421,如图4c所示,机器人还包括安装于机器人内部的用于视觉处理的控制器422,控制器422用于与第一摄像头431、第二摄像头421进行通信;以下对本实施方式中的各个模块单元的通信方式和功能进行详细描述。
在本实施方式中,控制器422用于获取第一摄像头431和第二摄像头421采集到的采集标定板的图像,计算获得第一摄像头431和第二摄像头421的关联外参参数,以及用于保存关联外参参数在控制器422的配置文件中;控制器422还用于存储导引地图,导引地图为在待导引场景中移动并操作机器人,使机器人对待导引场景进行图像采集,以创建的导引地图;控制器422还用于关联和存储待展示物体的图像信息和导引地图中的待导引场景的位置和介绍信息,待展示物体的图像信息为移动并操作机器人时,机器人采集到的待导引场景中的待展示物体的图像信息。
在本实施方式中,机器人还用于获取机器人所处场景的当前图像,根据导引地图和当前图像获取机器人的实时定位信息;机器人还用于根据实时定位信息和导引地图,控制移动底盘410运动来引导用户进入下一待导引场景。
作为一种可选的实施方式,机器人还用于通过第一摄像头431和第二摄像头421对待导引场景中的环境进行图像的实时采集,对实时采集到的待导引场景的图像进行特征点提取;还用于对第一摄像头431和第二摄像头421采集待导引场景的图像时的相邻两帧之间的所有特征点进行跟踪、匹配和关联,创建导引地图,以使控制器422存储导引地图;机器人还用于通过第一摄像头431采集待导引场景中的待展示物体的图像信息,利用特征点检测至少一个算子和边缘检测至少一个算子的检测方法检测出待展示物体的图像信息中待展示物体的边缘信息,以使控制器422关联和存储待展示物体的图像信息、边缘信息、导引地图中的待导引场景的介绍信息和位置。
作为一种可选的实施方式,如图4b和4d所示,机器人本体420的背面设置包括显示屏423的显示系统,显示屏423用于显示第一摄像头431获取的图像信息,待展示物体的图像信息包括待展示物体的图像特征点,机器人还用于根据当前待导引场景中的待展示物体的图像特征点和边缘信息,识别、获取待展示物体的所处位置,通过第一摄像头431识别出机器人所处的当前位置与待展示物体的所处位置之间的空间关系,创建移动路径,机器人还用于根据移动路径进行移动,使机器人与待展示物体之间的空间关系在一定范围内,调取导引地图中的待导引场景的介绍信息,以使控制器422控制显示屏423显示第一摄像头431获取的图像信息和/或介绍信息中的全部或者部分介绍信息,或者使控制器422控制显示系统投影显示预先存储在机器人中的待展示物体的三维虚拟影像。
作为一种可选的实施方式,机器人还用于通过第一摄像头431和第二摄像头421获取机器人所处场景的当前图像,根据导引地图和当前图像获取机器人的实时定位信息。
作为一种可选的实施方式,如图4b和4e所示,在本实施例提供的机器人中,机器人头部430的背面设置第三摄像头432,控制器422还用于与第三摄像头432进行通信,第三摄像头432还用于实时获取和检测采集到的当前图像中的人脸;机器人还用于通过人脸识别技术和人脸跟踪技术判断当前图像中的人是否为指定的待导引游客,检测人脸的大小,判断待导引游客与第三摄像头432之间的距离,根据距离调整与待导引游客之间的距离在设定的范围内;第三摄像头432还用于实时获取和检测采集到的当前图像中的人脸在空间位置是否变化,如果变化,机器人根据实时定位信息和导引地图引导用户进入下一待导引场景进行参观。
作为一种可选的实施方式,第一摄像头431与水平面呈15度夹角向上。
作为一种可选的实施方式,第二摄像头421与水平面呈15度夹角向下。
作为一种可选的实施方式,第一摄像头431、第二摄像头421分别通过第一USB数据线与控制器422连接。
作为一种可选的实施方式,第三摄像头432与水平面呈15度夹角向上;第三摄像头432通过第二USB数据线与控制器422连接。
参见图5所示,图5为本发明实施例提供的实时定位的信息处理流程示意图,如图5所示,本实施例提供的机器人导引方法及系统中,通过第一摄像头和第二摄像头进行地图创建,即对应图5中所示的建图线程,用于首次使用时进行二维场景地图的实时创建,以及后续使用时进行及时优化和维护;以及图5中的跟踪线程用于在建图或者维护地图及后续的定位过程中实时采集图像的特征点,以便机器人进行跟踪,实现移动或者场景的导引、讲解和展示,主要是根据采集到的图像的特征点,在两个图像关键帧之间实时计算域,以更新摄像机的姿态值;以及图5中的精确定位线程用于在展示区中需要用机器人的第三摄像头进行待基于增强现实技术展示的物品的精确定位,其中获取当前场景图像是基于粗定位的位置信息将图像中展品部分的图像区域抽取出来,提取图像特征点,计算其与机器人之间的精确的位置姿态数据,实现移动或者场景的导引、讲解和展示。
综上描述,本发明实施例提供的机器人导引方法及系统,所述机器人包括移动底盘、机器人本体和机器人头部,所述机器人头部的正面设置第一摄像头;所述机器人本体的正面设置第二摄像头,所述机器人还包括安装于所述机器人内部的用于视觉处理的控制器,所述控制器用于与所述第一摄像头、所述第二摄像头进行通信;所述控制器获取所述第一摄像头和所述第二摄像头根据采集到的采集标定板的图像,通过计算获得的所述第一摄像头和所述第二摄像头的关联外参参数,并保存在所述控制器的配置文件中;在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,创建导引地图,以使所述控制器存储所述导引地图;移动并操作所述机器人,使所述机器人采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息;获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息;所述机器人根据所述实时定位信息和所述导引地图引导用户进入下一所述待导引场景,实现了双摄像头的机器人自动导引系统,使得导引的应用地点不受限制,方便了游客,减少了人力资源,提高了导引工作的工作效率。
显然,上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (10)

1.一种机器人导引方法,其特征在于,包括:
提供所述机器人,所述机器人包括移动底盘、机器人本体和机器人头部;所述机器人头部的正面设置第一摄像头,所述机器人本体的正面设置第二摄像头;所述机器人还包括安装于所述机器人内部的用于视觉处理的控制器,所述控制器用于与所述第一摄像头、所述第二摄像头进行通信;
所述控制器获取所述第一摄像头和所述第二摄像头采集到的采集标定板的图像,计算获得所述第一摄像头和所述第二摄像头的关联外参参数,并保存在所述控制器的配置文件中;
在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,创建导引地图,以使所述控制器存储所述导引地图;
移动并操作所述机器人,使所述机器人采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息;
获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息;
所述机器人根据所述实时定位信息和所述导引地图,控制所述移动底盘运动来引导用户进入下一待导引场景。
2.如权利要求1所述的机器人导引方法,其特征在于,在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,创建导引地图,以使所述控制器存储所述导引地图,包括:
在待导引场景中移动并操作所述机器人,使所述机器人通过所述第一摄像头和所述第二摄像头对所述待导引场景中的环境进行图像的实时采集;
通过图像处理创建导引地图,以使所述控制器存储所述导引地图。
3.如权利要求2所述的机器人导引方法,其特征在于,通过图像处理创建导引地图,以使所述控制器存储所述导引地图,包括:
对实时采集到的所述待导引场景的图像进行特征点提取;
对所述第一摄像头和所述第二摄像头采集所述待导引场景的图像时的相邻两帧之间的所有特征点进行跟踪、匹配和关联,创建所述导引地图,以使所述控制器存储所述导引地图。
4.如权利要求1所述的机器人导引方法,其特征在于,移动并操作所述机器人,使所述机器人采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息,包括:
移动并操作所述机器人,使所述机器人通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息。
5.如权利要求4所述的机器人导引方法,其特征在于,移动并操作所述机器人,使所述机器人通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息,以使所述控制器关联和存储所述待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息,包括:
移动并操作所述机器人,使所述机器人通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息;
利用特征点检测至少一个算子和边缘检测至少一个算子的检测方法检测出所述待展示物体的图像信息中所述待展示物体的边缘信息;
所述控制器关联和存储所述待展示物体的图像信息、边缘信息、所述导引地图中的所述待导引场景的介绍信息和位置。
6.如权利要求5所述的机器人导引方法,其特征在于,所述机器人本体的背面设置包括显示屏的显示系统,所述显示屏用于显示所述第一摄像头获取的图像信息,所述待展示物体的图像信息包括所述待展示物体的图像特征点,所述方法还包括:
根据当前待导引场景中的所述待展示物体的所述图像特征点和所述边缘信息,识别、获取所述待展示物体的所处位置;
通过所述第一摄像头识别出所述机器人所处的当前位置与所述待展示物体的所处位置之间的空间关系,创建移动路径;
所述机器人根据所述移动路径进行移动,使所述机器人与所述待展示物体之间的空间关系在一定范围内;
所述机器人调取所述导引地图中的所述待导引场景的所述介绍信息,以及所述控制器控制所述显示屏显示所述第一摄像头获取的图像信息和/或所述介绍信息中的全部或者部分介绍信息。
7.一种适用于上述1至6中任一权利要求所述的机器人导引方法的机器人导引系统,其特征在于,包括所述机器人,所述机器人包括移动底盘、机器人本体和机器人头部,所述机器人头部的正面设置第一摄像头;所述机器人本体的正面设置第二摄像头,所述机器人还包括安装于所述机器人内部的用于视觉处理的控制器,所述控制器用于与所述第一摄像头、所述第二摄像头进行通信;
所述控制器用于获取所述第一摄像头和所述第二摄像头根据采集到的采集标定板的图像,通过计算获得的所述第一摄像头和所述第二摄像头的关联外参参数,以及用于保存所述关联外参参数在所述控制器的配置文件中;
所述控制器还用于存储导引地图,所述导引地图为在待导引场景中移动并操作所述机器人,使所述机器人对所述待导引场景进行图像采集,以创建的所述导引地图;
所述控制器还用于关联和存储待展示物体的图像信息和所述导引地图中的所述待导引场景的位置和介绍信息,所述待展示物体的图像信息为移动并操作所述机器人时,所述机器人采集到的所述待导引场景中的所述待展示物体的图像信息;
所述机器人还用于获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息;
所述机器人还用于根据所述实时定位信息和所述导引地图,控制所述移动底盘运动来引导用户进入下一所述待导引场景。
8.如权利要求7所述的机器人导引系统,其特征在于,所述机器人还用于通过所述第一摄像头和所述第二摄像头对所述待导引场景中的环境进行图像的实时采集,对实时采集到的所述待导引场景的图像进行特征点提取;还用于对所述第一摄像头和所述第二摄像头采集所述待导引场景的图像时的相邻两帧之间的所有特征点进行跟踪、匹配和关联,创建所述导引地图,以使所述控制器存储所述导引地图;
所述机器人还用于通过所述第一摄像头采集所述待导引场景中的待展示物体的图像信息,利用特征点检测至少一个算子和边缘检测至少一个算子的检测方法检测出所述待展示物体的图像信息中所述待展示物体的边缘信息,以使所述控制器关联和存储所述待展示物体的图像信息、边缘信息、所述导引地图中的所述待导引场景的介绍信息和位置。
9.如权利要求8所述的的机器人导引系统,其特征在于,所述机器人本体的背面设置包括显示屏的显示系统,所述显示屏用于显示所述第一摄像头获取的图像信息,所述待展示物体的图像信息包括所述待展示物体的图像特征点,所述机器人还用于根据当前待导引场景中的所述待展示物体的所述图像特征点和所述边缘信息,识别、获取所述待展示物体的所处位置,通过所述第一摄像头识别出所述机器人所处的当前位置与所述待展示物体的所处位置之间的空间关系,创建移动路径,所述机器人还用于根据所述移动路径进行移动,使所述机器人与所述待展示物体之间的空间关系在一定范围内,调取所述导引地图中的所述待导引场景的所述介绍信息,以使所述控制器控制所述显示屏显示所述第一摄像头获取的图像信息和/或所述介绍信息中的全部或者部分介绍信息,或者使所述控制器控制所述显示系统投影显示预先存储在所述机器人中的所述待展示物体的三维虚拟影像。
10.如权利要求7至9中任一所述的的机器人导引系统,其特征在于,
所述机器人还用于通过所述第一摄像头和所述第二摄像头获取所述机器人所处场景的当前图像,根据所述导引地图和所述当前图像获取所述机器人的实时定位信息。
CN201610494312.1A 2016-06-29 2016-06-29 一种机器人导引方法及系统 Active CN107538485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610494312.1A CN107538485B (zh) 2016-06-29 2016-06-29 一种机器人导引方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610494312.1A CN107538485B (zh) 2016-06-29 2016-06-29 一种机器人导引方法及系统

Publications (2)

Publication Number Publication Date
CN107538485A true CN107538485A (zh) 2018-01-05
CN107538485B CN107538485B (zh) 2020-12-01

Family

ID=60962868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610494312.1A Active CN107538485B (zh) 2016-06-29 2016-06-29 一种机器人导引方法及系统

Country Status (1)

Country Link
CN (1) CN107538485B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718294A (zh) * 2019-08-28 2020-01-21 云知声智能科技股份有限公司 一种智能导医机器人和智能导医方法
CN113485374A (zh) * 2021-08-13 2021-10-08 南京科技职业学院 一种自助导游机器人
CN114407044A (zh) * 2022-02-25 2022-04-29 合肥言尚智能科技有限公司 一种导引机器人及其导引方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101920498A (zh) * 2009-06-16 2010-12-22 泰怡凯电器(苏州)有限公司 实现室内服务机器人同时定位和地图创建的装置及机器人
CN103576686A (zh) * 2013-11-21 2014-02-12 中国科学技术大学 一种机器人自主导引及避障的方法
CN103699126A (zh) * 2013-12-23 2014-04-02 中国矿业大学 智能导游机器人
CN105015419A (zh) * 2015-07-17 2015-11-04 中山大学 基于立体视觉定位与建图的自动泊车系统及方法
CN205058045U (zh) * 2015-10-26 2016-03-02 众德迪克科技(北京)有限公司 一种带有视觉伺服系统的机器人
CN105522557A (zh) * 2016-01-19 2016-04-27 中国人民解放军国防科学技术大学 一种智能安保服务机器人平台
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101920498A (zh) * 2009-06-16 2010-12-22 泰怡凯电器(苏州)有限公司 实现室内服务机器人同时定位和地图创建的装置及机器人
CN103576686A (zh) * 2013-11-21 2014-02-12 中国科学技术大学 一种机器人自主导引及避障的方法
CN103699126A (zh) * 2013-12-23 2014-04-02 中国矿业大学 智能导游机器人
CN105015419A (zh) * 2015-07-17 2015-11-04 中山大学 基于立体视觉定位与建图的自动泊车系统及方法
CN205058045U (zh) * 2015-10-26 2016-03-02 众德迪克科技(北京)有限公司 一种带有视觉伺服系统的机器人
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法
CN105522557A (zh) * 2016-01-19 2016-04-27 中国人民解放军国防科学技术大学 一种智能安保服务机器人平台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110718294A (zh) * 2019-08-28 2020-01-21 云知声智能科技股份有限公司 一种智能导医机器人和智能导医方法
CN110718294B (zh) * 2019-08-28 2022-04-01 云知声智能科技股份有限公司 一种智能导医机器人和智能导医方法
CN113485374A (zh) * 2021-08-13 2021-10-08 南京科技职业学院 一种自助导游机器人
CN114407044A (zh) * 2022-02-25 2022-04-29 合肥言尚智能科技有限公司 一种导引机器人及其导引方法

Also Published As

Publication number Publication date
CN107538485B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN109890573B (zh) 移动机器人的控制方法、装置、移动机器人及存储介质
CN109657575A (zh) 室外施工人员智能视频跟踪算法
CN105678288B (zh) 目标跟踪方法和装置
US20170038835A1 (en) Gaze direction mapping
CN108596148B (zh) 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
CN107234625B (zh) 视觉伺服定位和抓取的方法
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN107660039A (zh) 一种识别动态手势的灯具控制系统
CN106959691A (zh) 可移动电子设备和即时定位与地图构建方法
CN108960067A (zh) 基于深度学习的实时的列车驾驶员动作识别系统和方法
CN104423569A (zh) 指向位置侦测装置、方法及计算机可读取纪录媒体
CN113116224B (zh) 机器人及其控制方法
CN107538485A (zh) 一种机器人导引方法及系统
CN106354264A (zh) 基于视线追踪的实时人机交互系统及其工作方法
CN107392098A (zh) 一种基于人体骨架信息的动作完成度识别方法
US11763566B2 (en) Target association using occlusion analysis, clustering, or both
WO2019007701A1 (en) LOCATION OF MOBILE DEVICE IN COMPLEX THREE DIMENSIONAL SCENES
CN105760809A (zh) 用于头部姿态估计的方法和设备
Nar et al. Abnormal activity detection for bank ATM surveillance
CN107610157A (zh) 一种无人机目标追踪方法及系统
CN106933227A (zh) 一种引导智能机器人的方法以及电子设备
CN104952104A (zh) 一种三维人体姿态估计方法和装置
CN109955248A (zh) 一种机器人及其人脸跟随方法
CN106814853A (zh) 一种基于机器学习的眼控跟踪方法
CN108681403A (zh) 一种采用视线跟踪的小车控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant