CN111998853A - 一种agv视觉导航方法及系统 - Google Patents
一种agv视觉导航方法及系统 Download PDFInfo
- Publication number
- CN111998853A CN111998853A CN202010878329.3A CN202010878329A CN111998853A CN 111998853 A CN111998853 A CN 111998853A CN 202010878329 A CN202010878329 A CN 202010878329A CN 111998853 A CN111998853 A CN 111998853A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- surrounding image
- agv
- surrounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000007 visual effect Effects 0.000 title claims abstract description 28
- 238000006073 displacement reaction Methods 0.000 claims abstract description 49
- 238000003860 storage Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 6
- 239000013598 vector Substances 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Abstract
本发明提供了一种AGV视觉导航方法,所述方法包括:S101、获取AGV机器人当前所处位置的周围图像;S102、调取所述当前所处位置的之前周围图像,所述之前周围图像与所述周围图像具有间隔时间,所述间隔时间至少为2秒;S103、确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移;S104、根据所述运动位移控制所述AGV机器人的运动状态和运动线路。本发明调取不同间隔时间的之前周围图像,将之前周围图像与实时周围图像对比目标对象,以此确定AGV机器人接下来的运动状态,本发明具有响应时间短、运动状态确定时间快的优点。
Description
技术领域
本发明涉及机器人导航领域,尤其涉及一种AGV视觉导航方法及系统。
背景技术
作为目前物流业仓库中普遍使用的搬运机器人,AGV(Automated GuidedVehicle,装备有电磁或光学等自动导航装置)系统因其在物流中具有灵活性、可靠性、成本低以及高度安全性等优点,被广泛地应用到了烟草、银行、造纸等行业中。
随着机器视觉技术及计算机技术的不断发展,基于机器视觉的AGV导航技术逐渐成为智能机器人领域的一个重要研究方向。
有鉴于此,有必要提供一种AGV视觉导航方法及系统,以解决上述问题。
发明内容
本发明提供了一种AGV视觉导航方法及系统,通过单目相机和激光传感器的多传感器融合,实现地图构建和实时定位,实现机器人避障功能,为机器人自主行走提供更为可行的导航。
实现本发明目的的技术方案如下:
一种AGV视觉导航方法,所述方法包括:
获取AGV机器人当前所处位置的周围图像,
调取所述当前所处位置的之前周围图像,所述之前周围图像与所述周围图像具有间隔时间,所述间隔时间至少为2秒;
确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移;
根据所述运动位移控制所述AGV机器人的运动状态和运动线路。
作为本发明的进一步改进,所述获取AGV机器人当前所处位置的周围图像,包括:
AGV机器人的底盘上安装有广角相机;
广角相机拍摄AGV机器人的当前所处位置的周围图像,所述周围图像为AGV机器人正前方300°范围内的广角图像;
标定所述广角图像的目标对象,所述目标对象包括充电桩、其他AGV机器人、固定放置的物品、墙体或移动物中的一个或多个。
作为本发明的进一步改进,所述调取所述当前所处位置的之前周围图像,包括:
处理AGV机器人采集的实时周围图像,并在每帧周围图像中依据已知坐标系标记AGV机器人的坐标数据、目标对象相对AGV机器人的位置坐标点;
根据不同的坐标数据标定实时周围图像的目标对象,将所述实时周围图像按照坐标数据分类存储在图像数据库;
当AGV机器人行进至对应坐标数据时,从所述图像数据库中调取本AGV机器人在坐标数据的间隔帧周围图像,所述间隔帧周围图像与所述实时周围图像的间隔时间至少2秒。
作为本发明的进一步改进,确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移,包括:
所述之前周围图像在存储之前先选取存储图像目标对象;
接收到所述周围图像后选取所述周围图像的实时图像目标对象,所述存储图像目标对象与实时图像目标对象为同一个目标对象;
对比存储图像目标对象的边缘像素与实时图像目标对象的边缘像素,得到所述实时图像目标对象相对所述存储图像目标对象的运动位移。
作为本发明的进一步改进,所述对比存储图像目标对象的边缘像素与实时图像目标对象的边缘像素,得到所述实时图像目标对象相对所述存储图像目标对象的运动位移,包括:
在所述周围图像中确定与所述之前周围图像中第一特征区域对应的第二特征区域;
调取所述之前周围图像,所述之前周围图像标定有至少一个第一特征区域;
对所述周围图像下采样得到候选特征区域,候选特征区域的数量大于或等于所述第一特征区域;
在所述候选特征区域中根据边缘像素匹配出对应第一特征区域的第二特征区域;
第一特征区域中包含有存储图像目标对象,第二特征区域中包含有实时图像目标对象,
以广角相机的相机坐标为基准,确定第一特征区域内存储图像目标对象的坐标点和第二特征区域内实时图像目标对象的坐标点;
根据两个坐标点的差值得到所述实时图像目标对象相对所述存储图像目标对象的运动位移。
作为本发明的进一步改进,根据所述运动位移控制所述AGV机器人的运动状态和运动线路,包括:
若所述运动位移为0,则判定为目标对象为静止状态,控制AGV机器人绕过目标对象后按照原规划路径继续运动;
若所述运动位移为负值,则调取所述之前周围图像对应的AGV机器人原运动状态和原运动路径,控制AGV机器人安装原运动状态和原运动路径运动;
若所述运动位移为正值,则控制AGV机器人停止运动,连续获取AGV机器人当前所处位置的最新周围图像,对比存储图像目标对象的边缘像素与最新图像目标对象的边缘像素,直至目标对象消失,控制AGV机器人按照原规划路径继续运动。
作为本发明的进一步改进,确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移,包括:
调取所述之前周围图像,所述之前周围图像与所述周围图像具有2秒以上的间隔时间;
选取所述之前周围图像的第一目标对象与所述周围图像的第二目标对象,得到第一目标对象与第二目标对象在所述间隔时间的运动位移,所述第一目标和所述第二目标为同一个目标对象在所述间隔时间的不同状态;
识别第一特征区域的第一目标和第二特征区域的第二目标,将第一特征区域和第二特征区域叠加,得到叠加区域;在所述叠加区域检测第二目标相对第一目标的位置变化关系,根据所述位置变化关系判断第二目标的运动状态,所述运动状态为静止目标或移动目标;
基于所述运动位移和所述运动状态确定所述目标对象的运动情况;
根据所述运动情况控制所述AGV机器人的运动状态和运动线路。
一种AGV视觉导航系统,包括:
图像采集模块,获取AGV机器人当前所处位置的周围图像;
导航芯片,调取所述当前所处位置的之前周围图像,所述之前周围图像与所述周围图像具有至少2秒的间隔时间;并且,确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移;
控制模块,根据所述运动位移控制所述AGV机器人的运动状态和运动线路。
作为本发明的进一步改进,上述的一种AGV视觉导航方法在所述导航芯片上运行。
与现有技术相比,本发明的有益效果是:
1、本发明调取不同间隔时间的之前周围图像,将之前周围图像与实时周围图像对比目标对象,以此确定AGV机器人接下来的运动状态,本发明具有响应时间短、运动状态确定时间快的优点。
2、本发明根据不同位置分类存储之前周围图像,并把之前周围图像的目标对象标定位置数据,具有调取快速的优点。
附图说明
图1为AGV视觉导航方法的流程图;
图2为图1的步骤S101的流程图;
图3为图1的步骤S102的流程图;
图4为图1的步骤S103的流程图;
图5为图4中步骤S103c的流程图;
图6为AGV视觉导航系统的原理框图;
图7为AGV视觉导航方法的详细流程图;
图8为FAST角点提取流程图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
除非上下文另有要求,否则,在整个说明书和权利要求书中,术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思,即为“包含,但不限于”。在说明书的描述中,术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外,所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
“A、B和C中的至少一个”与“A、B或C中的至少一个”具有相同含义,均包括以下A、B和C的组合:仅A,仅B,仅C,A和B的组合,A和C的组合,B和C的组合,及A、B和C的组合。
“A和/或B”,包括以下三种组合:仅A,仅B,及A和B的组合。
如本文中所使用,根据上下文,术语“如果”任选地被解释为意思是“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。
另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
如本文所使用的那样,“约”或“近似”包括所阐述的值以及处于特定值的可接受偏差范围内的平均值,其中所述可接受偏差范围如由本领域普通技术人员考虑到正在讨论的测量以及与特定量的测量相关的误差(即,测量系统的局限性)所确定。
请参阅图1,本发明公开了一种AGV视觉导航方法,包括:
S101、获取AGV机器人当前所处位置的周围图像。
S102、调取当前所处位置的之前周围图像,之前周围图像与周围图像具有间隔时间,间隔时间至少为2秒。
S103、确定之前周围图像和周围图像中目标对象在间隔时间的运动位移。
S104、根据运动位移控制AGV机器人的运动状态和运动线路。
示例性的,步骤S101中的当前所处位置,是指AGV机器人在坐标系中的实时定位坐标。步骤S101中的周围图像,并非完全限定为AGV机器人四周图像,而是根据安装于AGV机器人的图像采集设备,视实际情况采集180°~320°范围内的图像。
在一些实施例中,请参阅图2,步骤S101具体可以通过下述的步骤S101a至步骤S101c实现。
S101a、AGV机器人的底盘上安装有广角相机。
S101b、广角相机拍摄AGV机器人的当前所处位置的周围图像,周围图像为AGV机器人正前方300°范围内的广角图像。
S101c、标定广角图像的目标对象,目标对象包括充电桩、其他AGV机器人、固定放置的物品、墙体或移动物中的一个或多个。
在实际应用时,优选图像采集设备为广角相机,广角相机拍摄到的周围图像中,可能的目标对象有:固定建筑物(墙体、门、承重柱、电梯、台阶、斜坡)、办公物品(桌子、椅子、充电桩、货物)、移动物(人、其他AGV机器人、运输车辆、电梯)。
利用广角相机拍摄的周围图像,对周围图像进行时间轴对齐、匹配、信度融合操作,从而完成对AGV机器人的当前所处位置周围环境的感知。基于感知信息。具体地,(1)根据广角相机采集的周围图像,检测算法能够定位出前方目标物体(固定建筑物、办公物品、移动物)的具体位置并提供其大致的轮廓,这个阶段的误差范围还较大。(2)基于前方目标物体的位置和轮廓,分类算法对前方目标物体进行精确的识别,同时回归算法对其进行特征点定位,进而得到目标紧致的轮廓信息。(3)利用连续帧图像的内容、排除交叉关系和周边环境的干扰,得到关键目标物体的特征抽取。
优选广角相机还利用cmos的选型和ISP参数优化,保证低光照等条件下的图像清晰度。在相似物体的甄别上,比如大充电桩与小充电桩的高度不同,设立专门的数据组来收集相似目标对象的样本,根据特定场景快速完成目标对象的甄别。
在一些实施例中,步骤S102的之前周围图像,存储在数据库中。之前周围图像在数据库存储时,采用矢量存储的方式。这就需要把采集设备之前所采集的周围图像(位图)转换成矢量图然后进行存储。位图转矢量图的目的,是便于确定目标对象的边缘像素和目标对象的准确位置信息。矢量图是由各个矢量对象组成,它是用数学原理将各种矢量对象组合而成的图形。之前周围图像在数据库存储时,矢量存储的同时还标记有索引,索引包括一个数据矩阵和一个调色板矩阵,数据矩阵由彩色的矩形单元拼成的。矩形单元的值为调色板矩阵的色彩值。
确定目标对象的边缘像素,是通过模糊边缘检测方法进行确定的,周围图像以数学点阵形式描述的障碍边缘信息,进行AGV机器人路径规划或运行规划时,需要获取目标对象的最大及最小半径,以及目标对象之外某点与障碍中心的距离等参量。本发明实施例利用边缘信息求取障碍的中心。本发明实施例还通过将任意形状障碍分解成简单形体的方法,得到目标对象的重心。将目标对象分解成几个简单形状的区域,简单形状的区域中心是已知的,在原有坐标系中,通过图形分解和坐标变换就可求任意形状目标对象的几何中心。例如,目标对象是任意的固定建筑物,固定建筑物为凸曲面,凸曲面的分解由多个弓形及三角形组成,由于三角形及弓形的几何中心容易求得,通过适当的坐标变换便可求得固定建筑物的几何中心。
将目标对象分解成几个简单形状的区域后,还对区域进行特征点提取。特征点提取过程是:建立尺度空间金字塔,对每层图像的金字塔进行网格划分,用以增加空间尺度信息,增设网格行限制和列限制;特征点检测时,使用改进FAST角点提取,设置感兴趣区域,提高特征点提取精度;在计算Harris角点响应部分时考虑角点邻域梯度;剔除重叠特征点时,采用非极大值抑制方法,抑制Harris角点响应的低阈值特征点输出。
请参阅图8,在改进的FAST角点提取中,构建图像尺度金字塔,对该部分用到的所有参数进行初始化,并将高斯金字塔的每一层进行网格划分。增设网格行限制和网格列限制。在FAST角点提取过程中,需对图像进行边界处理,增设感兴趣区域;使用初始阈值对感兴趣区域内的特征点进行提取,并对较难提取到的特征点所在的网格部分采用先降低阈值再检测的方法,同时对特征点为空的情况设置了最小阈值,实现改进的FAST角点提取;将所有提取到的特征点进行累积,并将已在感兴趣区域提取到的特征点的位置还原至已划分的网格区域中。
在特征点提取后输出时,采用非极大值抑制的方法,用以提高特征点输出的质量,减少特征点在某些区域内出现的聚集重叠现象。该算法的本质是当出现多个待选结果值时,依照设定的目标条件对数据进行过滤,选出最适合的实验结果。以图像建立的尺度空间金字塔顶层为第1层,选取在每层金字塔上都出现的特征点ai,ai∈A,A={a1,a2,…,ai},ai=(xi,yi,εi)为已有特征点。对候选特征点bj(非每层均出现),bj∈B,B={b1,b2,…,bj},bj={xj,yj,εj}。剔除重叠特征点的流程为:
Step1:特征点输出时,计算图像中现有的候选特征点bj所在的金字塔层上的某网格区域与已有特征点ai坐标之间的距离,并设置距离的临界阈值为l;
Step2:求解出候选特征点bj={xj,yj,εj}与特征点A={a1,a2,…,ai}坐标之间的距离,选出距离≤l的候选特征点bj′={xj,yj,εj};
Step3:计算Step2中求出的距离值不超过l的候选特征点bj′={xj,yj,εj}的Harris角点响应阈值εj′,根据候选特征点b={xj,yj,εj}响应阈值的激烈程度,即εj′数值的大小将这些候选特征点按照降序进行排列;
Step4:根据非极大值抑制算法的原理,将Harris角点响应阈值εj′极大值所在的候选特征点bj′={xj,yj,εj}保留下来,剔除其中的低阈值邻近候选特征点,得到特征点所在最佳位置的邻近特征点,实现降低重叠特征点输出的目的。
本发明实施例还提取特征点提取后的相似物体甄别,用图像特征点分布均匀性来寻找相似物体,主要是用来估计特征点的数目在不同区域的周围图像内是否相同。如果特征点数量相同或者数量相近,说明周围图像中有相似物体;如果特征点的数量相差较多,说明周围图像中不具有相似物体。
用图像特征点分布均匀性来寻找相似物体,具体为:首先,将待检测特征点的周围图像按照垂直、水平、中心和四周、左上至右下、左下至右上的5个方向对该周围图像进行区域划分,得到上、下、左、右、左下、右上、左上、右下、中心和四周等10个图像区域的方向;接着,按照以上划分方向对待检测图像内每一个区域的特征点数量进行统计,得到特征点在10个方向上的数据值;然后,计算待检测周围图像中已划分的10个区域中的特征点数量的平均值;计算待检测周围图像的特征点数量在已划分的10个区域内的方差数值。从求得的特征点数量方差数值的大小关系可以推断出,特征点数量的方差数值越大,证明数据的浮动越明显,间接地确定出周围图像中是否具有相似物体。
示例性的,步骤S102中的间隔时间至少为2秒。在已知技术中,通常调取本帧周围图像的上一帧周围图像,以此确定目标对象的运动位移。帧是影像动画中最小单位的单幅影像画面,我们通常说帧数,简单地说,就是在1秒钟时间里传输的图片的帧数,每秒钟帧数(fps)愈多,所显示的动作就会愈流畅。周围图像是由一张张连续的图片组成的,每幅图片就是一帧,PAL制式每秒钟25帧(每秒钟拍摄25张周围图像),NTSC制式每秒钟30帧(每秒钟拍摄30张周围图像)。
但是在本发明实施例中,调取间隔时间至少2秒的之前周围图像,可以理解为:调取AGV机器人本趟运动轨迹的之前周围图像。也可以理解为:调取AGV机器人运动到此位置时前趟运动轨迹的之前周围图像。具体地,优先调取AGV机器人运动到此位置时前趟运动轨迹的之前周围图像,这样先识别实时周围图像的实时目标对象,将实时目标对象与前趟此位置之前周围图像的前趟目标对象做对比,若实时目标对象与前趟目标对象一致,则跳过步骤S103,直接以前趟运动轨迹的运动位移为基准,按照前趟运动轨迹继续行驶。若实时目标对象与前趟目标对象不一致,则调取本趟运动轨迹2秒之前的之前周围图像,将实时目标对象与本趟之前目标对象做对比,确定本趟之前目标对象与实时目标对象在间隔时间(大于2秒)的运动位移。若运动位移为0,则判定为目标对象为静止状态,控制AGV机器人绕过目标对象后按照原规划路径继续运动。若运动位移为负值,则调取之前周围图像对应的AGV机器人原运动状态和原运动路径,控制AGV机器人安装原运动状态和原运动路径运动。若运动位移为正值,则控制AGV机器人停止运动,连续获取AGV机器人当前所处位置的上一帧周围图像,对比存储图像目标对象的边缘像素与上一帧图像目标对象的边缘像素,直至目标对象消失,控制AGV机器人按照原规划路径继续运动。
在示例性实施例中,确定之前周围图像和周围图像中目标对象在间隔时间的运动位移,包括:
(1)调取之前周围图像,之前周围图像与周围图像具有2秒以上的间隔时间;(2)选取之前周围图像的第一目标对象与周围图像的第二目标对象,得到第一目标对象与第二目标对象在间隔时间的运动位移,第一目标和第二目标为同一个目标对象在间隔时间的不同状态;(3)识别第一特征区域的第一目标和第二特征区域的第二目标,将第一特征区域和第二特征区域叠加,得到叠加区域;在叠加区域检测第二目标相对第一目标的位置变化关系,根据位置变化关系判断第二目标的运动状态,运动状态为静止目标或移动目标;(4)基于运动位移和运动状态确定目标对象的运动情况;(5)根据运动情况控制AGV机器人的运动状态和运动线路。
本发明实施例的实时目标对象与之前目标对象匹配,具体如下:
当对图像进行ORB算法的特征点提取后,还需将提取到的特征点进行匹配,确定其对应的位置关系。
假设通过ORB算法提取到的两帧图像中二进制特征点描述子的表达形式如式(1)所示:
利用式(2)对特征点描述子K1和K2进行异或处理:
计算结果d(K1,K2)的值越大,证明相似程度越低。将计算结果按照数值的大小进行排序,其中,数值最小的点即距离最近的点为最佳匹配点。通过异或方法计算特征点描述子的匹配结果具有很高的效率。实际运用中,暴力匹配总是尽可能地完成所有匹配,从中找到最佳匹配对。但是,会存在一些误匹配的情况,错误的特征点匹配会对机器人的视觉导航产生干扰,得到的运动估计结果不准确。此时,需要使用RANSAC
(randomsampleconsensus,随机抽样一致)算法对特征点做进一步的筛选。
在一些实施例中,请参阅图3,步骤S102具体可以通过下述的步骤S102a至步骤S102c实现。
S102a、处理AGV机器人采集的实时周围图像,并在每帧周围图像中依据已知坐标系标记AGV机器人的坐标数据、目标对象相对AGV机器人的位置坐标点。
S102b、根据不同的坐标数据标定实时周围图像的目标对象,将实时周围图像按照坐标数据分类存储在图像数据库。
S102c、当AGV机器人行进至对应坐标数据时,从图像数据库中调取本AGV机器人在坐标数据的间隔帧周围图像,间隔帧周围图像与实时周围图像的间隔时间至少2秒。
除了坐标数据之外,本发明实施例的AGV视觉导航还结合激光技术,激光主要为单线激光雷达,具体地,单线激光雷达获取的激光数据和Kinect获取的视觉信息数据的融合过程.在地图的更新阶段,采用Baye估计方法。Baye估计是基于Baye定理的条件或后验概率的统计数据融合算法,它适用于具有可加高斯噪声的不确定性信息,可以通过已知的向量Z估计出未知状态下n维向量十假定完成既定任务所需的有关的环境信息向量为F,通过传感器获得的数据信息用向量d表示,则数据融合的任务就是要通过数据向量d推导来估计环境向量F,假设P(f,d)是随机向量f和d的联合概率分布密度丽数,则有贝叶斯公式如下:
P(f,d)=P(f{ld)·P(d)=P(f|d).P(f)
式中:P(d)、P(O)分别表示d和f的边缘分布密度函数。
本传感器是从不同坐标系统获取数据,以间接的方式采用贝叶斯估计进行数据融合。
在一些实施例中,请参阅图4,步骤S103具体可以通过下述的步骤S103a至步骤S103c实现。
S103a、之前周围图像在存储之前先选取存储图像目标对象。
S103b、接收到周围图像后选取周围图像的实时图像目标对象,存储图像目标对象与实时图像目标对象为同一个目标对象。
S103c、对比存储图像目标对象的边缘像素与实时图像目标对象的边缘像素,得到实时图像目标对象相对存储图像目标对象的运动位移。
在一些实施例中,请参阅图5,步骤S103c具体可以通过下述的步骤S103c1至步骤S103c7实现。
S103c1、在周围图像中确定与之前周围图像中第一特征区域对应的第二特征区域。
S103c2、调取之前周围图像,之前周围图像标定有至少一个第一特征区域。
S103c3、对周围图像下采样得到候选特征区域,候选特征区域的数量大于或等于第一特征区域。
S103c4、在候选特征区域中根据边缘像素匹配出对应第一特征区域的第二特征区域。
S103c5、第一特征区域中包含有存储图像目标对象,第二特征区域中包含有实时图像目标对象。
S103c6、以广角相机的相机坐标为基准,确定第一特征区域内存储图像目标对象的坐标点和第二特征区域内实时图像目标对象的坐标点。
S103c7、根据两个坐标点的差值得到实时图像目标对象相对存储图像目标对象的运动位移。
在示例性实施例中,步骤S104具体可以通过下述方式判断运动状态和运动路线。
若运动位移为0,则判定为目标对象为静止状态,控制AGV机器人绕过目标对象后按照原规划路径继续运动。
若运动位移为负值,则调取之前周围图像对应的AGV机器人原运动状态和原运动路径,控制AGV机器人安装原运动状态和原运动路径运动。
若运动位移为正值,则控制AGV机器人停止运动,连续获取AGV机器人当前所处位置的最新周围图像,对比存储图像目标对象的边缘像素与最新图像目标对象的边缘像素,直至目标对象消失,控制AGV机器人按照原规划路径继续运动。
请参阅图6,本发明公开了一种AGV视觉导航系统,包括图像采集模块、导航芯片和控制模块,其中,图像采集模块获取AGV机器人当前所处位置的周围图像;导航芯片调取当前所处位置的之前周围图像,之前周围图像与周围图像具有至少2秒的间隔时间;并且,确定之前周围图像和周围图像中目标对象在间隔时间的运动位移;控制模块根据运动位移控制AGV机器人的运动状态和运动线路。
本发明公开的一种AGV视觉导航系统,AGV视觉导航方法在AGV视觉导航系统的导航芯片上运行。请参阅图7,AGV视觉导航方法,包括以下步骤:
S701、AGV机器人的底盘上安装有广角相机;
S702、广角相机拍摄AGV机器人的当前所处位置的周围图像,周围图像为AGV机器人正前方300°范围内的广角图像;
S703、标定广角图像的目标对象,目标对象包括充电桩、其他AGV机器人、固定放置的物品、墙体或移动物中的一个或多个;
S704、处理AGV机器人采集的实时周围图像,并在每帧周围图像中依据已知坐标系标记AGV机器人的坐标数据、目标对象相对AGV机器人的位置坐标点;
S705、根据不同的坐标数据标定实时周围图像的目标对象,将实时周围图像按照坐标数据分类存储在图像数据库;
S706、当AGV机器人行进至对应坐标数据时,从图像数据库中调取本AGV机器人在坐标数据的间隔帧周围图像,间隔帧周围图像与实时周围图像的间隔时间至少2秒;
S707、之前周围图像在存储之前先选取存储图像目标对象;
S708、接收到周围图像后选取周围图像的实时图像目标对象,存储图像目标对象与实时图像目标对象为同一个目标对象;
S709、对比存储图像目标对象的边缘像素与实时图像目标对象的边缘像素,得到实时图像目标对象相对存储图像目标对象的运动位移;
S710、根据运动位移控制AGV机器人的运动状态和运动线路。
本发明调取不同间隔时间的之前周围图像,将之前周围图像与实时周围图像对比目标对象,以此确定AGV机器人接下来的运动状态,本发明具有响应时间短、运动状态确定时间快的优点。本发明根据不同位置分类存储之前周围图像,并把之前周围图像的目标对象标定位置数据,具有调取快速的优点。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种AGV视觉导航方法,其特征在于,所述方法包括:
获取AGV机器人当前所处位置的周围图像;
调取所述当前所处位置的之前周围图像,所述之前周围图像与所述周围图像具有间隔时间,所述间隔时间至少为2秒;
确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移;
根据所述运动位移控制所述AGV机器人的运动状态和运动线路。
2.根据权利要求1所述的AGV视觉导航方法,其特征在于,所述获取AGV机器人当前所处位置的周围图像,包括:
AGV机器人的底盘上安装有广角相机;
广角相机拍摄AGV机器人的当前所处位置的周围图像,所述周围图像为AGV机器人正前方300°范围内的广角图像;
标定所述广角图像的目标对象,所述目标对象包括充电桩、其他AGV机器人、固定放置的物品、墙体或移动物中的一个或多个。
3.根据权利要求1所述的AGV视觉导航方法,其特征在于,所述调取所述当前所处位置的之前周围图像,包括:
处理AGV机器人采集的实时周围图像,并在每帧周围图像中依据已知坐标系标记AGV机器人的坐标数据、目标对象相对AGV机器人的位置坐标点;
根据不同的坐标数据标定实时周围图像的目标对象,将所述实时周围图像按照坐标数据分类存储在图像数据库;
当AGV机器人行进至对应坐标数据时,从所述图像数据库中调取本AGV机器人在坐标数据的间隔帧周围图像,所述间隔帧周围图像与所述实时周围图像的间隔时间至少2秒。
4.根据权利要求1所述的AGV视觉导航方法,其特征在于,确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移,包括:
所述之前周围图像在存储之前先选取存储图像目标对象;
接收到所述周围图像后选取所述周围图像的实时图像目标对象,所述存储图像目标对象与实时图像目标对象为同一个目标对象;
对比存储图像目标对象的边缘像素与实时图像目标对象的边缘像素,得到所述实时图像目标对象相对所述存储图像目标对象的运动位移。
5.根据权利要求4所述的AGV视觉导航方法,其特征在于,所述对比存储图像目标对象的边缘像素与实时图像目标对象的边缘像素,,得到所述实时图像目标对象相对所述存储图像目标对象的运动位移,包括:
在所述周围图像中确定与所述之前周围图像中第一特征区域对应的第二特征区域;
调取所述之前周围图像,所述之前周围图像标定有至少一个第一特征区域;
对所述周围图像下采样得到候选特征区域,候选特征区域的数量大于或等于所述第一特征区域;
在所述候选特征区域中根据边缘像素匹配出对应第一特征区域的第二特征区域;
第一特征区域中包含有存储图像目标对象,第二特征区域中包含有实时图像目标对象;
以广角相机的相机坐标为基准,确定第一特征区域内存储图像目标对象的坐标点和第二特征区域内实时图像目标对象的坐标点;
根据两个坐标点的差值得到所述实时图像目标对象相对所述存储图像目标对象的运动位移。
6.根据权利要求1所述的AGV视觉导航方法,其特征在于,根据所述运动位移控制所述AGV机器人的运动状态和运动线路,包括:
若所述运动位移为0,则判定为目标对象为静止状态,控制AGV机器人绕过目标对象后按照原规划路径继续运动;
若所述运动位移为负值,则调取所述之前周围图像对应的AGV机器人原运动状态和原运动路径,控制AGV机器人安装原运动状态和原运动路径运动;
若所述运动位移为正值,则控制AGV机器人停止运动,连续获取AGV机器人当前所处位置的最新周围图像,对比存储图像目标对象的边缘像素与最新图像目标对象的边缘像素,直至目标对象消失,控制AGV机器人按照原规划路径继续运动。
7.一种AGV视觉导航系统,其特征在于,包括:
图像采集模块,获取AGV机器人当前所处位置的周围图像;
导航芯片,调取所述当前所处位置的之前周围图像,所述之前周围图像与所述周围图像具有至少2秒的间隔时间;并且,确定所述之前周围图像和所述周围图像中目标对象在所述间隔时间的运动位移;
控制模块,根据所述运动位移控制所述AGV机器人的运动状态和运动线路。
8.根据权利要求7所述的AGV视觉导航系统,其特征在于,权利要求1-6的一种AGV视觉导航方法在所述导航芯片上运行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010878329.3A CN111998853A (zh) | 2020-08-27 | 2020-08-27 | 一种agv视觉导航方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010878329.3A CN111998853A (zh) | 2020-08-27 | 2020-08-27 | 一种agv视觉导航方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111998853A true CN111998853A (zh) | 2020-11-27 |
Family
ID=73472052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010878329.3A Pending CN111998853A (zh) | 2020-08-27 | 2020-08-27 | 一种agv视觉导航方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111998853A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113295156A (zh) * | 2021-05-08 | 2021-08-24 | 西安达升科技股份有限公司 | 一种agv融合导航系统及方法 |
CN113295157A (zh) * | 2021-05-08 | 2021-08-24 | 西安达升科技股份有限公司 | 一种agv视觉导航方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200494A (zh) * | 2014-09-10 | 2014-12-10 | 北京航空航天大学 | 一种基于光流的实时视觉目标跟踪方法 |
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN106598046A (zh) * | 2016-11-29 | 2017-04-26 | 北京智能管家科技有限公司 | 机器人躲避控制方法和装置 |
CN110111364A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 运动检测方法、装置、电子设备及存储介质 |
CN110738689A (zh) * | 2019-10-22 | 2020-01-31 | 武汉工程大学 | 一种小车自动跟随和躲避目标的方法、系统及装置 |
CN111208785A (zh) * | 2020-04-20 | 2020-05-29 | 浙江欣奕华智能科技有限公司 | 一种运动控制方法及装置 |
CN111583716A (zh) * | 2020-04-29 | 2020-08-25 | 浙江吉利汽车研究院有限公司 | 一种车辆避障方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-27 CN CN202010878329.3A patent/CN111998853A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN104200494A (zh) * | 2014-09-10 | 2014-12-10 | 北京航空航天大学 | 一种基于光流的实时视觉目标跟踪方法 |
CN106598046A (zh) * | 2016-11-29 | 2017-04-26 | 北京智能管家科技有限公司 | 机器人躲避控制方法和装置 |
CN110111364A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 运动检测方法、装置、电子设备及存储介质 |
CN110738689A (zh) * | 2019-10-22 | 2020-01-31 | 武汉工程大学 | 一种小车自动跟随和躲避目标的方法、系统及装置 |
CN111208785A (zh) * | 2020-04-20 | 2020-05-29 | 浙江欣奕华智能科技有限公司 | 一种运动控制方法及装置 |
CN111583716A (zh) * | 2020-04-29 | 2020-08-25 | 浙江吉利汽车研究院有限公司 | 一种车辆避障方法、装置、电子设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113295156A (zh) * | 2021-05-08 | 2021-08-24 | 西安达升科技股份有限公司 | 一种agv融合导航系统及方法 |
CN113295157A (zh) * | 2021-05-08 | 2021-08-24 | 西安达升科技股份有限公司 | 一种agv视觉导航方法 |
CN113295156B (zh) * | 2021-05-08 | 2024-05-03 | 西安达升科技股份有限公司 | 一种agv融合导航系统及方法 |
CN113295157B (zh) * | 2021-05-08 | 2024-05-03 | 西安达升科技股份有限公司 | 一种agv视觉导航方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113269098B (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
US10304237B2 (en) | Method and device for real-time mapping and localization | |
Pire et al. | Stereo parallel tracking and mapping for robot localization | |
Angelova et al. | Learning and prediction of slip from visual information | |
Rummelhard et al. | Conditional monte carlo dense occupancy tracker | |
Schneider et al. | Pedestrian path prediction with recursive bayesian filters: A comparative study | |
Wang et al. | Online simultaneous localization and mapping with detection and tracking of moving objects: Theory and results from a ground vehicle in crowded urban areas | |
AU2019233779B2 (en) | Vehicle tracking | |
Lacroix et al. | Rover self localization in planetary-like environments | |
CN113345018A (zh) | 一种动态场景下的激光单目视觉融合定位建图方法 | |
Häselich et al. | Confidence-based pedestrian tracking in unstructured environments using 3D laser distance measurements | |
CN111998853A (zh) | 一种agv视觉导航方法及系统 | |
Baig et al. | A robust motion detection technique for dynamic environment monitoring: A framework for grid-based monitoring of the dynamic environment | |
Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
CN110864670B (zh) | 目标障碍物位置的获取方法和系统 | |
Betge-Brezetz et al. | Object-based modelling and localization in natural environments | |
Christie et al. | Semantics for UGV Registration in GPS-denied Environments | |
Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
CN113158816B (zh) | 面向室外场景物体的视觉里程计二次曲面路标构建方法 | |
Hoy et al. | Bayesian tracking of multiple objects with vision and radar | |
Laible et al. | Building local terrain maps using spatio-temporal classification for semantic robot localization | |
CN114581847A (zh) | 一种基于gam跟踪器的社区行人异常行为检测方法和装置 | |
Siew et al. | Simultaneous localization and mapping with moving object tracking in 3d range data using probability hypothesis density (phd) filter | |
Dogru et al. | Monocular Person Localization with Lidar Fusion for Social Navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |