CN111380535A - 基于视觉标签的导航方法、装置、移动式机器及可读介质 - Google Patents
基于视觉标签的导航方法、装置、移动式机器及可读介质 Download PDFInfo
- Publication number
- CN111380535A CN111380535A CN202010401972.7A CN202010401972A CN111380535A CN 111380535 A CN111380535 A CN 111380535A CN 202010401972 A CN202010401972 A CN 202010401972A CN 111380535 A CN111380535 A CN 111380535A
- Authority
- CN
- China
- Prior art keywords
- image
- visual
- instruction
- navigation method
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 9
- 239000002245 particle Substances 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000004807 localization Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及机器定位及导航的技术领域,公开了一种基于视觉标签的导航方法,其主要包括以下步骤:识别出第一图像并获得所述特征区的尺度值;当所述尺度值小于第一阈值时,指示移动部件沿调整路径进行移动;获得此后识别出的特征区的尺度值,当所述尺度值大于第一阈值时,获得对应的自定位坐标,随后指示所述移动部件向预设地点进行移动。本公开的一些技术效果在于:拍摄到具有特征区的第一图像时,使移动式机器下一步能以锁定某一场景的标签在视野范围内的方式进行移动,降低了机器在位姿初始化后一段时间内无法捕捉到场景的标签的概率。通过指示移动部件沿调整路径进行移动,使得定位精度能快速得到提高,提高了路径规划效率、改善了规划效果。
Description
技术领域
本公开涉及机器定位及导航的技术领域,特别涉及基于视觉标签的导航方法、装置、移动式机器。
背景技术
随着提高机器自动化水平的需求日趋强烈,作为核心技术之一——机器的定位及路径规划技术受到广泛关注。
众所周知,当机器——例如室内机器人执行自动化任务(如自动导航到指定地点来配送货物或按规划的路径移动来收集周围环境的信息)时,首先需要获得初始的位姿信息。而由于一些情况下,机器开机后,附近环境并不具有能及时为机器定位提供足够充分的条件时(例如机器在开机所在的位置上拍摄到的图像中不具有特征标记),机器无法获知自身位置,则需要进行位姿初始化。此时机器会自动地按照预设的路径移动,试图捕捉周围环境中与电子地图中已有的相匹配的特征,并通过其他各种传感器收集环境信息一起用于解算出初始的位姿。
较常见的情况是,当自带的视觉相机获取到具有符合预设数量的特征点的图像时,机器通过对该图像进行处理,便能获得对应的视觉点云数据,从而推算出自身在场景中的概略位置。后续机器将根据该概略位置进行路径规划,使自身向目标位置(即任务的终点)进行移动,并在移动过程中融合里程计等传感器的测量数据来进行定位。
事实上,对于特征点较少或环境光线干扰较为严重的场景,机器位姿初始化时获得的概略位置有相当大的不可靠性,机器可能在后续移动过程中相当长一段时间内需要反复进行位姿初始化,不利于进行准确、高效的路径规划以及执行移动任务。
发明内容
为解决前述的至少一个技术问题,本公开在第一方面提出了一种基于视觉标签的导航方法,其技术方案如下:
基于视觉标签的导航方法,其包括以下步骤:发出用于指示移动部件配合进行视觉标签搜索的第一指令;持续获取视觉相机生成的场景的图像;识别出首张具有特征区的图像作为第一图像,并获得所述特征区的尺度值;当所述尺度值小于第一阈值时,根据所述特征区在所述第一图像中的位置,生成调整路径的数据;所述调整路径用于引导所述移动部件进行移动,使所述特征区出现在视觉相机拍摄生成的后续图像中,且尺度值在一段时间内增大;发出用于指示移动部件沿所述调整路径进行移动的第二指令;获得此后识别出的特征区的尺度值,当所述尺度值大于第一阈值时,获得对应的自定位坐标;根据所述自定位坐标,发出用于指示所述移动部件向预设地点进行移动的第三指令。
优选地,所述第一阈值为所述特征区的像素数与所述图像的像素数的比例值。
优选地,获得所述特征区的位置点到所述图像中心的参考距离;根据所述参考距离调整所述第一阈值。
优选地,还包括在发出所述第二指令之前执行的以下步骤:根据所述第一图像,获得所述特征区的位置点到图像中心的参考距离;当所述距离大于第二阈值时,发出用于指示所述视觉相机调整摄像头方向以获得第二图像的第四指令;在所述第二图像中,所述位置点到所述图像中心的参考距离小于所述第二阈值。
优选地,在识别出所述第一图像后,且在发出所述第四指令前,发出用于指示所述移动部件暂停移动的第五指令。
优选地,在获取到所述第一图像后,执行融合定位操作;所述融合定位操作包括以下步骤:获取里程计的测量数据;处理第一图像及后续的图像,获得系列的图像对应的视觉点云数据;获得系列的图像的自定位坐标;对所述自定位坐标、所述视觉点云数据及所述测量数据采用粒子滤波算法进行处理,输出每一时刻的优化后的位姿数据;根据融合定位操作获得的所述位姿数据,生成所述第三指令。
优选地,所述粒子滤波算法为AMCL算法。
本公开在第二方面提出了一种导航装置,适用于具有视觉相机及移动部件的移动式机器,其包括用于执行所述导航方法的步骤的处理模块。
本公开在第三方面提出了一种移动式机器,其包括驱动部件、移动部件、视觉相机及控制器;所述视觉相机用于对场景进行拍摄,生成场景的图像;所述控制器用于执行所述导航方法的步骤;所述驱动部件用于接收所述第一指令、所述第二指令及所述第三指令,并根据相应指令驱使移动部件进行移动。
本公开在第四方面提出了一种计算机可读介质,所述计算机可读介质中存储有计算机程序,所述计算机程序由处理模块加载并执行以实现所述导航方法的步骤。
本公开的一些技术效果在于:拍摄到具有特征区的第一图像时,使移动式机器下一步能以锁定某一场景的标签在视野范围内的方式进行移动,降低了机器在位姿初始化后一段时间内无法捕捉到场景的标签的概率。通过指示移动部件沿调整路径进行移动,使得定位精度能快速得到提高,提高了路径规划效率、改善了规划效果。
附图说明
为更好地理解本公开的技术方案,可参考下列的、用于对现有技术或实施例进行辅助说明的附图。这些附图将对现有技术或本公开部分实施例中,涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下:
图1为一个实施例中,移动式机器从起始位置到预设地点的规划路径示意图;
图2为一个实施例中,第一图像的示意图;
图3为一个实施例中,特征区尺寸值大于第一阈值时的示意图。
上述附图中,附图标记及其所对应的技术特征如下:
11-起始位置,12-停留位置,13-中转位置,14-预设地点
21-初始路径,22-调整路径,23-目的路径,
31-标签,32-障碍物,
40-图像边界,41-特征区。
具体实施方式
下文将对本公开涉及的技术手段或技术效果作进一步的展开描述,显然,所提供的实施例(或实施方式)仅是本公开意旨涵盖的部分实施方式,而并非全部。基于本公开中的实施例以及图文的明示或暗示,本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例,都将在本公开请求保护的范围之内。
本公开提出的基于视觉标签的导航方法及其相关的细节步骤,主要(但不是绝对)的适用对象为室内的、在地上移动的机器(也称移动式机器)。另外,这样的机器至少自带有:
(1)视觉相机——用于对场景进行拍摄,并生成场景的图像;视觉相机包括但不限于单目摄像头、双目摄像头或多目摄像头;
(2)驱动部件——用于接受驱动信号,并驱动移动部件进行移动;
(3)移动部件——用于带动机器其他一些或全部的部件进行移动;移动部件的类型包括但不限于:轮式移动部件、步行移动部件(单腿式、双腿式和多腿式)、履带式移动部件、爬行式移动部件、蠕动式移动部件或游动式移动部件等类型;
(4)控制器或部分的控制单元、处理单元——用于发出驱动信号,或还可以根据需要地用于通过收集各类传感器数据、处理相关数据进行定位。
在一些更具体的情况下,机器包括了扫地机器人、搬运小车、室内建图机器人、AGV(Automated Guided Vehicle,可理解为自动导引车)或具有定位及导航功能的移动式底盘等常见的类型。
本公开在第一方面提出了一种基于视觉标签的导航方法,其主要包括以下步骤:
基于视觉标签的导航方法,其包括以下步骤:
发出用于指示移动部件配合进行视觉标签搜索的第一指令;
持续获取视觉相机生成的场景的图像;
识别出首张具有特征区的图像作为第一图像,并获得所述特征区的尺度值;
当所述尺度值小于第一阈值时,根据所述特征区在所述第一图像中的位置,生成调整路径的数据;所述调整路径用于引导所述移动部件进行移动,使所述特征区出现在视觉相机拍摄生成的后续图像中,且尺度值在一段时间内增大;发出用于指示移动部件沿所述调整路径进行移动的第二指令;
获得此后识别出的特征区的尺度值,当所述尺度值大于第一阈值时,获得对应的自定位坐标;
根据所述自定位坐标,发出用于指示所述移动部件向预设地点进行移动的第三指令。
下面对以上步骤涉及的主要对象或关系进行说明。如需进一步理解未详述之处,可参照现有技术的相关内容、本文的其他相关描述或发明意旨进行合理地推理。
关于第一指令、第二指令及第三指令。视乎机器的具体构成,第一指令、第二指令或第三指令一般可以由具有控制或处理功能的模块发出。换一个角度来看,这些指令的形式可以是电路信号,接收电路信号的对象一般是驱动部件,这样可使驱动部件按照电路信号的内容来驱动移动部件进行移动。
关于视觉标签搜索。它是这样的系列动作:机器在开机后通过视觉相机进行场景的拍摄,处理模块获取拍摄到的图像,对图像进行识别,判断图像中是否存在视觉标签投影到图像上的特征区。一般来说,可以通过预设一个初始路径,使移动部件沿着该路径进行移动,从而实现视觉标签搜索的目的。初始路径是“预设的”主要体现于该初始路径的设计逻辑是预设的,这意味着初始路径在一些实施例中,是指具有固定方向的移动路径;在一些实施例中,是指具有固定距离的移动路径;但在一些实施例中,也可以是指根据视觉相机拍摄到的图像的内容或质量进行预设性的调整,例如初始路径以是背向光源的移动路径,可以是调整到图像平均亮度在某个阈值范围内的移动路径,可以是调整到视觉相机能获得具有更多色差的角度的移动路径等。根据一些现有技术的记载,初始路径也可以是一种主动避开障碍物的、无碰撞的、漫游的路径。当然,预设的初始路径以及视觉标签搜索的技术并非本公开的发明点,许多机器人在位姿初始化时,都会通过沿预设的路径进行移动来寻找视觉上的目标,以此进行自身的定位。
关于场景的图像。场景指机器所在的空间的环境,图像则是视觉相机对视野范围内的场景进行拍摄而生成的(原始的或经过简单预处理的)图像。本公开提出的规划方法,适用于场景中设置有视觉标签(或简称标签)的场合。
关于视觉标签与特征区。基于视觉标签进行视觉自定位,属于基于特征的视觉定位技术,其原理主要包括:可以预先地通过对场地中的视觉标签进行拍摄,采集到带有特征区的图像,这些视觉标签应当具有与其旁边景物有所区别的特征,例如形状、色彩、位置等;标签可以直接采用场地里的一些景物,也可以通过人为的方式在场地中设置一些物体,如外观呈矩形或其他形状的标记物。对于图像纹理不够丰富的场景,如视野中存在大量白墙或玻璃墙,可以在这些物体上粘贴标记物(如矩形或者更多边形的标记物图案)作为视觉标签,使得场景的多个位置、多个角度具有足够多、足够大识别度的视觉标签。利用视觉相机在场地内的不同位置对场景进行拍摄,可以得到关于视觉标签的系列图像,据此可以制作得到标签样本库(或称基于特征的场景地图数据库),标签样本库中存储有标签的特征信息以及标签的位置信息。如此,往后在场地中的各种机器在进行视觉自定位时,通过视觉相机对场景进行拍摄,便可获得场景的图像,对图像进行特征识别,便可提取出图像中的特征区(即场地中的视觉标签投影到图像中的区域)的特征信息,据此可以在标签样本库中进行特征匹配,从而找到该标签在世界坐标系下的位置,据此利用PnP(Perspective-n-Point,透视n点投影)算法可以推算出视觉相机的自定位坐标以及朝向。一般来说,当存在两个以上摄像头/摄像单元时,为提高数据处理效率,可以选取其中的一幅图像对特征区的特征信息进行识别。当然,为了确保较高的定位精度,也可以选取多幅图像对特征区的特征信息进行识别,然后求出自定位坐标。基于视觉标签的视觉自定位技术可见诸众多文献,在此不作进一步展开。
关于识别出特征区的方法。由于标签样本库中存在着不同角度、距离拍摄到的视觉标签的图像,在机器进行视觉自定位时,如果拍摄到的图像中具有特征区,则可以将拍摄到的图像中的特征区与标签样本库中的特征区进行比对,找到标签样本库中最为匹配的特征区对应的标签信息,从而得到特征区在世界坐标系下的坐标。图像的特征区(或称特征区域)的识别方法还有很多,由于比较成熟,在此不作展开。
关于第一图像。一般来说,视觉相机会进行连续的拍摄,因此获取到的图像也是系列的,当第一次识别到某张图像上具有特征区时,这张图像就是第一图像。
关于调整路径。考虑到一些情况下,机器在移动过程中首次获得第一图像时,视觉相机与视觉标签具有一定距离,此时对应的第一图像中的特征区的尺寸相对较小,由此而生成的第一自定位数据的误差会相对较大,例如计算出来的视觉标签到视觉相机的距离的精度会较低,因此,如果使特征区的尺寸变大,则有利于提高定位的精度。现有技术中,即使视觉相机拍摄到了第一图像,机器也不会改变原有移动方向,会继续保持原来的方向进行移动,这可能会导致该特征区从后续系列的图像上消失,如果后续一段时间内,由于场景的标签较为稀疏,或者受到环境光线干扰而无法在图像中识别出新的特征区,那么机器的定位将受到严重影响,甚至可能会丢失位置。不同于现有技术,本公开提出的导航方法,会在识别出第一图像后,让机器沿规划的调整路径进行移动,以使移动过程中,视觉相机能“锁定”住对应的视觉标签,并使视觉标签的成像——特征区在尺度上变得越来越大。具体的实现过程,可以是通过指示移动部件沿调整路径进行移动,使移动部件带动视觉相机移动,使视觉相机与视觉标签的距离变小。
更具体地,可以通过特征区在第一图像中的位置,判断出视觉标签在视觉相机光轴的某个方向上,同时可以通过里程计等传感器获得移动部件的移动方向,根据视觉标签所在的方向调整移动方向,则可以使视觉相机一直能拍摄到视觉标签,并使视觉相机向视觉标签所在地进行靠近。
也可以通过计算出视觉相机的坐标,结合视觉标签的坐标,推算出机器下一时刻的位置以及以该位置作为起点规划出向视觉标签所在位置移动的方向作为调整路径。
调整路径可以具有预设的终点,例如使终点位于起点的某个方向,具有某个距离;当然,调整路径也可以不具有预设的、已知坐标的终点,即可以是引导机器往某个方向旋转、往某个方向移动过去,当拍摄到特征区的尺寸度大于第一阈值的图像时,则令此时机器所在的位置作为调整路径的终点。因此,调整路径的数据,可以是包含明确的起点、终点的数据,也可以是不包含明确的终点坐标的数据。调整路径的作用在于引导机器或移动部件按照某个或某一些方向进行移动,以供视觉相机在移动过程中在合适的位置持续地拍摄到视觉标签,从而使特征区的尺寸在一段时间内变大,考虑到运动过程、定位过程均可能存在误差,可能机器或移动部件未到达调整路径的终点,视觉相机就已经生成符合要求的图像,此时不需要继续沿调整路径运动,可以通过发出第三指令,指示移动部件立即按照目的路径的引导进行移动。
关于尺度值。它用于衡量特征区的尺寸大小,因此不限于具体的形式,即尺度值可以通过特征区的像素数来体现,也可以通过特征区的边缘的周长来体现,也可以通过特征区的像素数与图像的像素数的比值来进行体现,当然,还可以用其他的参数来描述尺度值,在此不作过多限制。
关于第一阈值。第一阈值的大小,可以是自定义的,可以与具体需求、视觉相机性能、定位环境等因素进行综合考虑而定。一般来说,第一阈值相对高,得到的图像的质量也会相对较高,较有利于提高定位精度。
在一些实施例中,所述第一阈值为所述特征区的像素数与所述图像的像素数的比例值。例如第一阈值可以设置为10%或15%等数值。
在一些实施例中,获得所述特征区的位置点到所述图像中心的参考距离;根据所述参考距离调整所述第一阈值。当特征区靠近图像边界时,畸变的程度会较大,靠近图像中心时,畸变的程度会相对较小。本公开提出的方案中,用参考距离的大小,来评价特征区是否靠近图像边界或者图像中心。通过参考距离来动态调整第一阈值,可以使尺度值大于第一阈值时获得的自定位坐标具有更高精度。一般来说,可以使参考距离与第一阈值的关系体现为正相关关系,这意味着,当特征区在图像中央时,其对应的第一阈值可以相对较小,而当特征区位于图像的一个边角时,其对应的第一阈值可以相对地设置为较大值。在一些实施例中,参考距离与第一阈值具有正比关系。当然,还可以根据数学知识为参考距离与第一阈值设置成其他的正相关关系。
关于自定位坐标。由于通过识别特征区的特征(例如线条的数量、线条之间的角度等)可以确定特征区对应的视觉标签,因此得到第一图像,就可以得到视觉标签在某个坐标系下的坐标,而自定位坐标,一般指在与视觉标签相同的坐标系下,机器某个部位或者视觉相机的坐标。如果以场地的某点为参考原点而建立坐标系,在得到自定位坐标的前提下,又明确了机器执行任务需要到达的预设地点(的坐标),那么便可以根据场地的地图(如室内地图)规划出目的路径,使移动部件按此路径移动到预设地点中。
关于预设地点和目的路径。预设地点是指机器在本次任务中需要到达的最终目的地或中途地点,例如室内物流车需要将物品运输到某个货架前时,那么该货架前的位置便是所述的预设地点;又例如扫地机器人需要先到达某个角落进行清扫,再去其他地方进行清扫,那么这个角落便是本次清扫任务中的一个预设地点。目的路径的终点便是预设地点。目的路径的数据,与调整路径的数据类型可以是一致的,它可以包括用于表示目的路径的方程,也可以包括用于表示目的路径的一个个坐标点,也可以是包括移动方向与距离的数据。现有的技术,多数是根据第一图像获得了第一次自定位坐标,便开始规划移动向预设地点的路径,但是由于第一次自定位得到的坐标精度太低,这样的路径规划会导致机器在后续过程中走过较多的无效的路径,如果在中途无法拍摄到视觉标签,那么会进一步降低定位的效率。本公开提出的方案,是在规划目的路径前,先通过规划调整路径,使机器能迅速地提高定位精度,保障了目的路径具有相对较高的精准度。
需要注意的是,自定位坐标仅仅是从一种技术上进行定位而得到的位姿数据,它们具有一定的作用,有许多机器只依靠视觉自定位的方式进行导航。然而,目前也有许多机器采用融合定位的方式获得具有更高精度的位姿数据。融合定位技术已有许多成熟的应用方式,其本质是通过不同类型的传感器对环境信息或机器自身移动信息进行感知,通过对这些传感器获取的数据进行综合性处理,从而得出具有更高可信度或更高精度的位姿数据。一般来说,定位传感器包括视觉相机、激光雷达、里程计等等。常见的融合定位技术是基于粒子滤波算法来实现的,许多文献均有记载,在此不作展开。
对于一些较为先进的机器,其不需要移动部件进行移动,通过视觉相机的旋转平台便可以调整摄像头的拍摄方向的情况,为进一步提高视觉标签的成像质量,在一些实施例中,在发出所述第二指令之前首先执行以下步骤:根据所述第一图像,获得所述特征区的位置点到图像中心的参考距离;当所述距离大于第二阈值时,发出用于指示所述视觉相机调整摄像头方向以获得第二图像的第四指令;在所述第二图像中,所述位置点到所述图像中心的参考距离小于所述第二阈值。更具体地,可以获得特征区的位置点到图像中心的位移矢量,然后通过先验的映射关系推算出摄像头的调整角度,便可根据该调整角度生成第四指令,指示视觉相机(在一些实施例中,视觉相机为大型的摄像装置,其包括装载摄像头的旋转平台)调整摄像头的朝向。映射关系是指摄像头的旋转角矢量与对应的位移矢量的映射关系。同理地,第二阈值也可以是自定义的。设置第二阈值,是为了保证特征区尽量靠近图像中心。
在一些实施例中,在识别出所述第一图像后,且在发出所述第四指令前,发出用于指示所述移动部件暂停移动的第五指令。该步骤有利于拥有更充足的时间调整摄像头的朝向。
在一些实施例中,在获取到所述第一图像后,执行融合定位操作;所述融合定位操作包括以下步骤:获取里程计的测量数据;处理第一图像及后续的图像,获得系列的图像对应的视觉点云数据;获得系列的图像的自定位坐标;对所述自定位坐标、所述视觉点云数据及所述测量数据采用粒子滤波算法进行处理,输出每一时刻的优化后的位姿数据;根据融合定位操作获得的所述位姿数据,生成所述第三指令。
在一些实施例中,所述粒子滤波算法为AMCL算法。AMCL(AdaptiveMonteCarloLocalization,可理解为自适应蒙特卡洛定位)算法属于粒子滤波算法中的一种,结合第一自定位数据、视觉点云数据、里程计的测量数据以及栅格地图数据,执行AMCL算法,能实现具有较高精度的融合定位操作。
考虑到不同场合下的机器运行速度以及对于数据的处理速度的不同,得到的自定位坐标或者融合定位输出的位姿数据会有不一样的延时。在一些实施例中,对于速度较低(例如0.1m/s或更低)的机器,一般获得第一图像后不久(例如1s内)便能获得自定位坐标,此时可以按照在获得第一图像时机器的位置作为调整路径的起点;但对于速度相对较高的机器,如速度达到1m/s,如果按照获得第一图像时机器的位置作为调整路径的起点,则可能不够准确,此时可以利用里程计的测量数据进行推算,推算机器在设定时间(例如1s)后的位置,以此作为调整路径的起点。
前文对本公开提出的路径规划方法涉及的概念、原理或事物间的主要关系进行了说明。本段通过附图直观展示一种具体的应用情景。如图1所示,当机器在起始位置11开机后,并未能拍摄到带有视觉标签的图像,此时处理模块则可以按照预设的程式,发出第一指令,然后移动部件沿预设的初始路径21进行移动,移动过程中通过测距传感器感知到障碍物32的存在,进行了转向,再移动一段路程后,视觉相机第一次拍摄到了完整的视觉标签31,由此生成了图2所示的第一图像,第一图像的图像边界40内包含了完整的特征区41,但此时特征区41的尺度值小于第一阈值,此时机器位于停留位置12,处理模块控制机器立即在该处降低速度,然后规划出调整路径22,并发出第二指令,机器随后沿着调整路径22向前移动,移动过程中,视觉相机生成了图3所示的图像,该图像中有完整的特征区41,此时特征区41的尺度值大于第一阈值,此时机器位于中转位置13,处理模块通过控制,使移动部件立即在该处降低速度,然后规划出目的路径23,使机器通过走弯曲的路线避开障碍而移动到预设地点14。
本公开在第二方面提出了一种导航装置,适用于具有视觉相机及移动部件的移动式机器,其包括用于执行所述导航方法的步骤的处理模块。处理模块可以以硬件形式内嵌于或独立于移动式机器的处理器中,也可以以软件形式存储于移动式机器的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本公开在第三方面提出了一种移动式机器,其包括驱动部件、移动部件、视觉相机及控制器(或处理器);所述视觉相机用于对场景进行拍摄,生成场景的图像;所述控制器用于执行所述导航方法的步骤;所述驱动部件用于接收所述第一指令、所述第二指令及所述第三指令,并根据相应指令驱使移动部件进行移动。
本公开在第四方面提出了一种计算机可读介质,所述计算机可读介质中存储有计算机程序,所述计算机程序由处理模块加载并执行以实现所述导航方法的步骤。
本领域技术人员可以理解的是,实施例中的全部或部分步骤,可以通过计算机程序来指令相关的硬件实现,该程序可以存储于计算机可读介质中,可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。
在符合本领域技术人员的知识和能力水平范围内,本文提及的各种实施例或者技术特征在不冲突的情况下,可以相互组合而作为另外一些可选实施例,这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例,仍属于本公开揭露的技术范围内,亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
另外,多数实施例的描述是基于不同的重点而展开的,如需进一步理解未详述之处,可参照现有技术的相关内容、本文的其他相关描述或发明意旨进行合理地推理。
再次强调,上文所列举的实施例,为本公开较为典型的、较佳实施例,仅用于详细说明、解释本公开的技术方案,以便于读者理解,并不用以限制本公开请求保护的范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案,都应被涵盖在本公开请求保护的范围之内。
Claims (10)
1.基于视觉标签的导航方法,其特征在于,包括以下步骤:
发出用于指示移动部件配合进行视觉标签搜索的第一指令;
持续获取视觉相机生成的场景的图像;
识别出首张具有特征区的图像作为第一图像,并获得所述特征区的尺度值;
当所述尺度值小于第一阈值时,根据所述特征区在所述第一图像中的位置,生成调整路径的数据;
所述调整路径用于引导所述移动部件进行移动,使所述特征区出现在视觉相机拍摄生成的后续图像中,且尺度值在一段时间内增大;
发出用于指示移动部件沿所述调整路径进行移动的第二指令;
获得此后识别出的特征区的尺度值,当所述尺度值大于第一阈值时,获得对应的自定位坐标;
根据所述自定位坐标,发出用于指示所述移动部件向预设地点进行移动的第三指令。
2.根据权利要求1所述的导航方法,其特征在于:
所述第一阈值为所述特征区的像素数与所述图像的像素数的比例值。
3.根据权利要求1所述的导航方法,其特征在于:
获得所述特征区的位置点到所述图像中心的参考距离;
根据所述参考距离调整所述第一阈值。
4.根据权利要求1所述的导航方法,其特征在于,还包括在发出所述第二指令之前执行的以下步骤:
根据所述第一图像,获得所述特征区的位置点到图像中心的参考距离;
当所述距离大于第二阈值时,发出用于指示所述视觉相机调整摄像头方向以获得第二图像的第四指令;
在所述第二图像中,所述位置点到所述图像中心的参考距离小于所述第二阈值。
5.根据权利要求4所述的导航方法,其特征在于:
在识别出所述第一图像后,且在发出所述第四指令前,发出用于指示所述移动部件暂停移动的第五指令。
6.根据权利要求1所述的导航方法,其特征在于:
在获取到所述第一图像后,执行融合定位操作;
所述融合定位操作包括以下步骤:
获取里程计的测量数据;
处理第一图像及后续的图像,获得系列的图像对应的视觉点云数据;
获得系列的图像的自定位坐标;
对所述自定位坐标、所述视觉点云数据及所述测量数据采用粒子滤波算法进行处理,输出每一时刻的优化后的位姿数据;
根据融合定位操作获得的所述位姿数据,生成所述第三指令。
7.根据权利要求6所述的导航方法,其特征在于:
所述粒子滤波算法为AMCL算法。
8.导航装置,其特征在于,包括用于执行权利要求1至7所述的导航方法的步骤的处理模块。
9.移动式机器,包括驱动部件、移动部件、视觉相机及控制器,其特征在于:
所述视觉相机用于对场景进行拍摄,生成场景的图像;
所述控制器用于执行权利要求1至7任一所述的导航方法的步骤;
所述驱动部件用于接收所述第一指令、所述第二指令及所述第三指令,并根据相应指令驱使移动部件进行移动。
10.计算机可读介质,其特征在于:
所述计算机可读介质中存储有计算机程序,所述计算机程序由处理模块加载并执行以实现如权利要求1至7任一所述的导航方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010401972.7A CN111380535A (zh) | 2020-05-13 | 2020-05-13 | 基于视觉标签的导航方法、装置、移动式机器及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010401972.7A CN111380535A (zh) | 2020-05-13 | 2020-05-13 | 基于视觉标签的导航方法、装置、移动式机器及可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111380535A true CN111380535A (zh) | 2020-07-07 |
Family
ID=71222243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010401972.7A Pending CN111380535A (zh) | 2020-05-13 | 2020-05-13 | 基于视觉标签的导航方法、装置、移动式机器及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111380535A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111735446A (zh) * | 2020-07-09 | 2020-10-02 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN113954064A (zh) * | 2021-09-27 | 2022-01-21 | 广东博智林机器人有限公司 | 机器人导航控制方法、装置、系统、机器人和存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101619984A (zh) * | 2009-07-28 | 2010-01-06 | 重庆邮电大学 | 一种基于颜色路标的移动机器人视觉导航方法 |
US20130096735A1 (en) * | 2011-10-03 | 2013-04-18 | Vocollect, Inc. | Warehouse vehicle navigation system and method |
CN105425807A (zh) * | 2016-01-07 | 2016-03-23 | 朱明� | 一种基于人工路标的室内机器人导航方法及装置 |
CN106197422A (zh) * | 2016-06-27 | 2016-12-07 | 东南大学 | 一种基于二维标签的无人机定位及目标跟踪方法 |
CN106969766A (zh) * | 2017-03-21 | 2017-07-21 | 北京品创智能科技有限公司 | 一种基于单目视觉和二维码路标的室内自主导航方法 |
CN107451593A (zh) * | 2017-07-07 | 2017-12-08 | 西安交通大学 | 一种基于图像特征点的高精度gps定位方法 |
CN108764391A (zh) * | 2018-04-25 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 一种智能设备,商品盘点方法、装置以及设备 |
CN109508021A (zh) * | 2018-12-29 | 2019-03-22 | 歌尔股份有限公司 | 一种自动导引车的导引方法、装置和系统 |
CN110567441A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 |
CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
CN110989661A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 一种基于多个定位二维码的无人机精准降落方法及系统 |
CN111060869A (zh) * | 2019-12-02 | 2020-04-24 | 中睿通信规划设计有限公司 | 一种智能仓储uhfrfid标签的定位方法和系统 |
-
2020
- 2020-05-13 CN CN202010401972.7A patent/CN111380535A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101619984A (zh) * | 2009-07-28 | 2010-01-06 | 重庆邮电大学 | 一种基于颜色路标的移动机器人视觉导航方法 |
US20130096735A1 (en) * | 2011-10-03 | 2013-04-18 | Vocollect, Inc. | Warehouse vehicle navigation system and method |
CN105425807A (zh) * | 2016-01-07 | 2016-03-23 | 朱明� | 一种基于人工路标的室内机器人导航方法及装置 |
CN106197422A (zh) * | 2016-06-27 | 2016-12-07 | 东南大学 | 一种基于二维标签的无人机定位及目标跟踪方法 |
CN106969766A (zh) * | 2017-03-21 | 2017-07-21 | 北京品创智能科技有限公司 | 一种基于单目视觉和二维码路标的室内自主导航方法 |
CN107451593A (zh) * | 2017-07-07 | 2017-12-08 | 西安交通大学 | 一种基于图像特征点的高精度gps定位方法 |
CN108764391A (zh) * | 2018-04-25 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 一种智能设备,商品盘点方法、装置以及设备 |
CN109508021A (zh) * | 2018-12-29 | 2019-03-22 | 歌尔股份有限公司 | 一种自动导引车的导引方法、装置和系统 |
CN110567441A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 |
CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
CN110989661A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 一种基于多个定位二维码的无人机精准降落方法及系统 |
CN111060869A (zh) * | 2019-12-02 | 2020-04-24 | 中睿通信规划设计有限公司 | 一种智能仓储uhfrfid标签的定位方法和系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111735446A (zh) * | 2020-07-09 | 2020-10-02 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN111735446B (zh) * | 2020-07-09 | 2020-11-13 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN113954064A (zh) * | 2021-09-27 | 2022-01-21 | 广东博智林机器人有限公司 | 机器人导航控制方法、装置、系统、机器人和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275649B2 (en) | Apparatus of recognizing position of mobile robot using direct tracking and method thereof | |
US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
Chen et al. | Qualitative vision-based path following | |
CN111325796A (zh) | 用于确定视觉设备的位姿的方法和装置 | |
CN110275538A (zh) | 智能巡航车导航方法及系统 | |
CN111788102A (zh) | 用于跟踪交通灯的里程计系统和方法 | |
KR20110011424A (ko) | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 | |
Alizadeh | Object distance measurement using a single camera for robotic applications | |
CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
CN108544494B (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
WO2018180454A1 (ja) | 移動体 | |
WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 | |
CN111964680A (zh) | 一种巡检机器人的实时定位方法 | |
CN112298168A (zh) | 一种车位检测方法及装置、自动泊车方法及装置 | |
CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
US20200159229A1 (en) | System and method for creating a single perspective synthesized image | |
CN111397609A (zh) | 路径规划方法、移动式机器及计算机可读介质 | |
Manivannan et al. | Vision based intelligent vehicle steering control using single camera for automated highway system | |
KR100906991B1 (ko) | 로봇의 비시인성 장애물 탐지방법 | |
CN111591284A (zh) | 基于单目识别的视野盲区避障方法及装置 | |
CN212044739U (zh) | 一种基于惯性数据和视觉特征的定位装置及机器人 | |
Hudecek et al. | A system for precise positioning of vehicles aiming at increased inductive charging efficiency | |
EP3985609A1 (en) | Positioning system and method for determining the three-dimensional position of a movable object | |
CN114972491A (zh) | 视觉slam方法、电子设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |