CN110018633B - 一种用于agv定位与导航的二维编码设计方法 - Google Patents
一种用于agv定位与导航的二维编码设计方法 Download PDFInfo
- Publication number
- CN110018633B CN110018633B CN201811532223.7A CN201811532223A CN110018633B CN 110018633 B CN110018633 B CN 110018633B CN 201811532223 A CN201811532223 A CN 201811532223A CN 110018633 B CN110018633 B CN 110018633B
- Authority
- CN
- China
- Prior art keywords
- agv
- coding
- navigation
- pattern
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013461 design Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000011217 control strategy Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 18
- 238000003909 pattern recognition Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000007621 cluster analysis Methods 0.000 claims description 5
- 230000000750 progressive effect Effects 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B11/00—Automatic controllers
- G05B11/01—Automatic controllers electric
- G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
- G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于AGV定位与导航的二维编码设计方法,包括:(1)编码标志设计,设计一种包含导航和定位两种主要功能的人工编码二维码标志,保证图像在模糊的情况下也可以被快速精确识别;(2)AGV视觉系统模型设计,根据人工编码标志特点,设计AGV视觉系统模型,保证AGV所识别标志图像在不同坐标系下的转换,提高识别精度;(3)编码表示快速识别方法,包含图像预处理、定位图案识别、导航图案识别和编码图案信息分析,通过对地面编码标志精确识别,快速获取编码包含信息;(4)AGV自动导航控制策略,根据所识别的编码标志信息,将信息转换为AGV控制信号,控制AGV执行相应命令。所述方法使得AGV在高速运动下也能够稳定快速地识别人工编码标志。
Description
技术领域
本发明涉及信息编码和机器视觉识别领域,具体涉及一种用于AGV定位与导航的二维编码设计方法。
背景技术
我国是互联网大国,网民人数世界第一,电子商务在我国迅猛发展,网购在我国十分普及。物流作为网购过程中的重要环节,影响着消费者的网购体验。消费者希望能够以最快的速度获取购买的商品,然而实际情况是消费者通常需要等待几天,在电商活动期间甚至需要等待一个星期以上,这样使得网购商品的即得性大大降低,消费者的满意度也大幅降低。
自动导引运输车(Automated Guided Vehicle,简称AGV)应用于物流行业是近年来形成的新型模式,其安全可靠、自动化程度高、可灵活调度等优点满足包裹在搬运过程中的要求,可以极大地降低人工成本,将人从繁重、重复的劳动中解放出来,并且弥补了传统工作方式灵活性和鲁棒性差的缺点。
视觉系统是AGV获取外界信息最主要的来源之一,是基于视觉导航的AGV装置的重要部分。视觉导航就是通过摄像头采集路面上含有路径或标志信息的图像,图像经过数字图像处理技术处理后得到特征点在计算机图像坐标系的坐标值,再利用计算机图像坐标系和世界坐标系的关系进行转换,得到AGV姿态的偏差,并作为反馈来控制AGV。目前基于视觉导航的AGV常用的引导方式是在路面贴上连续的标识线作为路径,AGV通过视觉系统识别标识线,并沿着标识线行走。Kiva systems公司的Kiva 机器人和立镖公司的快递机器人采用视觉加惯性导航,在有二维码标志的区域通过机器人底部的高速摄像头识别二维码进行纠偏和定位,在没有二维码的区域通过惯性导航。机器人底部的高速摄像头能够在高速运动的情况下拍摄到路面的清晰图像,但是高速摄像头价格昂贵,而普通摄像头在拍摄高速运动物体时图像容易模糊,模糊的二维码图像识别难度非常大,而且惯性导航成本高。
发明内容
本发明的目的是针对现有技术的不足,提供了一种用于AGV定位与导航的二维编码设计方法,即使AGV在高速运动情况下也能够稳定快速地识别人工编码标志,相比视觉加惯性导航,这种方法提高了AGV导航与定位效率,同时降低了设备成本,更具经济性和实用性。
本发明的目的可以通过如下技术方案实现:
一种用于AGV定位与导航的二维编码设计方法,所述方法包括以下步骤:
根据AGV行走路径特点,设计一种人工编码二维编码标志,所述编码标志包含实现定位功能的定位图案、实现导航功能的导航图案和实现信息编码功能的编码图案;
根据AGV直行和直角转弯两种动作方式特点,以及提前获取前方路面信息的要求,设计AGV视觉系统,确保AGV能够快速识别所述编码标志,同时能够在计算机坐标系和世界坐标系中互相转换;
根据所述编码标志的特点,设计一套解码算法,包括编码标志图像预处理、定位图案识别、导航图案识别和编码图案信息分析,保证AGV计算机系统快速精确地解析编码标志信息;其次,设计AGV执行编码标志指令信息的方式,利用比例-微分控制器,使AGV通过编码标志获取偏离角度和偏离距离,从而调整行进姿态。
进一步地,所述定位图案具有旋转不变性,以任何角度摆放,逐行扫描定位图案都满足:黑边:白边:黑边:白边:黑边=1:1:3:1:1;
所述导航图案共有五个,一个位于编码标志的中心,另外四个分布在其四周,分别位于编码标志四条边的中点处,导航图案也具有旋转不变性,逐行扫描导航图案都满足:黑边:白边:黑边:白边:黑边=1:1:1:1:1;
所述编码图案分别集中在三个区域,根据不同的设计位置被赋予一个唯一的数字标识,编码规则就是利用编码图案的位置、数量以及它们之间的相互组合,得到编码图案的所有可能组合,分别用来代表对应的编码标志;
AGV行走路径采用栅格形路径,因此AGV只有两种行走方式,一种是直线行走,一种是直角转弯,根据AGV的行走方式,编码标志在路径上的布置规则如下:
①路段与路段的交点处布置编码标志,用于AGV识别交叉路口;
②路段中间点布置编码标志,AGV读取到路段中间的编码标志并发送给上位机系统,上位机系统告诉AGV是通过前方交叉路口还是等待通过。
进一步地,所述设计的AGV视觉系统,摄像头安装在AGV头部正上方,能够使 AGV提前获取路面前方二维编码标志信息,同时加入垂直和水平两个角度信息,使坐标值在四种坐标系下快速转换;
二维编码标志和AGV运动在世界坐标系下,具有世界坐标值,根据摄像头高度H、前进路径偏移距离D、前进路径移动距离S、摄像头光轴与水平面夹角θ、摄像头光轴与前进路径偏移夹角Φ,实现世界坐标系坐标值与摄像头坐标系坐标值相互转换;再根据摄像头焦距f,实现摄像头坐标系坐标值与垂直投影面坐标系坐标值相互转换;进而根据计算机坐标系单位像素间距,实现垂直投影面坐标系坐标值与计算机坐标系坐标值相互转换,世界坐标系与计算机坐标系转换过程中,考虑AGV仅在世界坐标系水平面,即世界坐标系垂直方向坐标值为0方向运动,以及摄像头焦距与计算机坐标系坐标值约束条件,能够简化计算过程,实现坐标转换与未知量变量快速求解。
进一步地,所述编码标志图像预处理指先采用加权平均法对编码标志图像进行灰度化,得到灰度图像,再将灰度图像进行二值化,得到二值化处理后的图像,再根据二值化处理后的图像进行定位图案的识别、导航图案识别和编码图案信息分析。
进一步地,所述定位图案识别的具体步骤为:
S1、隔行遍历图像,找出图像中每行的黑线段和白线段,并按寻找到的先后顺序放入到线段集合中;
S2、对线段集合进行顺序遍历,寻找满足黑:白:黑:白:黑=1:1:3:1:1的五条线段组合,并计算五条线段组合的中心坐标,放入特征中心集合;
S3、对特征中心集合进行聚类分析,排除干扰点后,如果特征中心集合的数量达到一定数量,则继续下一步;
S4、对特征中心集合中所有点的坐标值求均值作为它们的中心坐标,也即定位图案的中心坐标。
进一步地,对定位图案识别的过程中能够得到包含所有线段的线段集合,如果通过定位图案的识别能够得到定位图案的中心坐标,则继续进行导航图案的识别,否则直接识别下一张图像;导航图案识别的具体步骤如下:
S1、对线段集合进行顺序遍历,寻找满足黑:白:黑:白:黑=1:1:1:1:1的五条线段组合,并计算五条线段组合的中心坐标,放入特征中心集合;
S2、对特征中心集合进行聚类分析,排除干扰点,通过平均值计算分别得到五个导航图案的中心坐标,并根据五个导航图案的中心坐标计算得到AGV的偏移角度Φ、 AGV的偏移距离D和与二维编码标志中心的距离RD。
进一步地,如果识别出了定位图案和导航图案,则继续编码图案信息分析,否则结束,所述编码图案信息分析的具体过程为:
S1、根据二值图像进行边缘检测,找出图像中所有连通区域;
S2、对检测出来的区域边缘求解最小外接矩形,并求它们的中心坐标,通过外接矩形的密集度、体态比和包含像素数这三个特征排除干扰点,再通过识别出来的导航图案中心坐标排除编码图案之外的干扰点,最后能够得到包含所有编码图案中心的集合;
S3、通过比较编码图案中心与导航图案中心的相对位置,能够知道编码图案属于第几个区域;
S4、分别对每个区域的编码图案按照对应特征识别每个编码图案的编码位置;
S5、最后按照编码规则输出编码图案对应的二进制数,并转换为十进制数。
进一步地,所述利用比例-微分控制器,使AGV通过编码标志获取偏离角度和偏离距离,从而调整行进姿态的自动导航控制策略为:
由于AGV只有两种行走方式:直线行走和直角转弯,因此控制策略分为两种情况:
(1)当AGV以固定速度v直线行驶,它的被控变量为偏移角度Φ和偏移距离D,则AGV系统模型能够写成如下:
式中U为AGV角速度的控制输入,为偏移角度Φ的一阶微分,当AGV产生偏移的时候,根据偏移角度和偏移距离向反方向施加一个偏转角速度量,使其回到编码标志所在的直线上,根据实际情况此处采用PD控制,用如下方程表示:
闭环系统方程为:
(2)若AGV某些编码标志处需要实现直角转弯,当检测到这些编码标志时,首先计算AGV距离编码标志的距离RD,接着通过延时停止,使AGV的中心刚好停止在编码标志的中心,然后原地旋转90°,最后接着进行直线行驶。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明通过信息编码技术,利用二进制图像编码手段,实现了包含定位、导航、操作指令的大信息量二维编码设计;
2、本发明采用机器视觉、计算机视觉技术,利用二维编码标志的特点,设计了AGV视觉系统,实现了提前获取地面标识信息、大幅度降低硬件成本的效果;
3、本发明通过图像处理技术,利用加权平均灰度化、局部自适应阈值二值化、二维码特定区域遍历扫描方法,实现了二维码标识快速扫描、导航定位参数精准输出的功能;
4、本发明通过自动控制技术,利用比例微分控制器调节方法,设计了比例系数、微分系数、通用控制算法,实现对AGV行进偏差快速、准确、稳定控制的效果。
附图说明
图1为本发明设计的编码标志图。
图2为本发明实施例中的编码标志图。
图3为本发明实施例中AGV视觉系统模型示意图。
图4为计算机图像坐标系示意图。
图5为本发明实施例中编码标志的整体识别方法流程图。
图6(a)为本发明实施例中清晰图像灰度化处理结果,图6(b)为本发明实施例中模糊图像灰度化处理结果。
图7(a)为本发明实施例中清晰图像二值化处理结果,图7(b)为本发明实施例中模糊图像二值化处理结果。
图8(a)为本发明实施例中清晰图像编码标志的识别结果示意图,图8(b)为本发明实施例中模糊图像编码标志的识别结果示意图。
图9为本发明实施例中编码图案的位置顺序示意图。
其中,1-第一个导航图案,2-第二个导航图案,3-第三个导航图案,4-第四个导航图案,5-第五个导航图案,6-定位图案,7-编码图案。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例:
本实施例提供了一种用于AGV定位与导航的二维编码设计方法,包括以下内容:
一、编码标志的设计
所述编码标志即使图像在模糊的情况下也可以被快速识别,编码标志如附图1所示,图中1表示第一个导航图案,2表示第二个导航图案,3表示第三个导航图案,4 表示第四个导航图案,5表示第五个导航图案,6表示定位图案,7表示编码图案(编码区域)。定位图案具有旋转不变性。定位图案以任何角度摆放,逐行扫描图案都满足:
黑边:白边:黑边:白边:黑边=1:1:3:1:1
通过这个特征,逐行扫描图像可以很快地找到定位图案。导航图案也具有旋转不变性,满足:
黑边:白边:黑边:白边:黑边=1:1:1:1:1
导航图案有五个,中间一个,四周分别有四个,四周的导航图案距离中心的导航图案的距离为L。编码区域分别集中在三个区域,编码图案根据不同的设计位置被赋予一个唯一的数字标识,编码规则就是利用编码图案的位置、数量以及它们之间的相互组合,因此编码图案所有的可能组合一共4096种。
编码规则:编码位置一共有12个,编码位置的顺序如图1中编码图案中的数字所示,编码位置上有黑色方块代表1,编码位置上无黑色方块则代表0,因此12个编码位置可以组成一个12位二进制数。编号0表示12位二进制数的最低位,编号11表示 12位二进制数的最高位,因此一共存在4096种编码可能,分别对应一个12位二进制数,也可以转化为十进制数。如图2所示编码标志表示的12位二进制数为 101011011010,对应的十进制数为2778,因此图2所示编码标志代表2778号编码标志。
AGV行走路径采用栅格形路径,因此AGV只有两种行走方式,一种是直线行走,一种是直角转弯。根据AGV的行走方式,编码标志在路径上的布置规则如下:
①路段与路段的交点处布置编码标志,用于AGV识别交叉路口;
②路段中间点布置编码标志,AGV读取到路段中间的编码标志并发送给上位机系统,上位机系统告诉AGV是通过前方交叉路口还是等待通过。
二、AGV视觉系统模型设计
根据AGV直行和直角转弯两种行走方式以及编码标志布置规则可知,AGV只识别行驶方向上的编码标志。附图3所示为AGV视觉系统模型。
附图3中XωYωZω表示世界坐标系,Yω轴垂直于地面,Zω轴在编码标志组成的直线上。XCCDYCCDZCCD表示摄像机坐标系,坐标轴原点OCCD为光心,ZCCD轴与摄像机光轴重合,方向指向景物方向。XCYC表示投影图像坐标系,坐标原点OC为摄像机光轴与投影图像平面的交点,OC与OCCD之间的距离表示焦距f。xpyp表示计算机图像坐标系,以图像左上角为图像原点,xp轴正方向为从左至右,yp轴正方向为从上至下。由于摄像机是需要采集地面上的图像,所以摄像机的安装与水平线有一定角度θ,即光轴与水平方向的夹角为θ。摄像机离地面高度为H。假设附图3中AGV并不在编码标志所在直线上,即存在一定的偏移角度和偏移距离。设偏移夹角为Φ,即摄像机光轴与Zω轴正方向的夹角。摄像机在Xω轴正方向的偏移距离为D,在Zω轴正方向距离世界坐标系原点的距离为S。
设某一特征点在世界坐标系的坐标为Pω(Xω,Yω,Zω),在摄像机坐标系下对应的坐标为PCCD(XCCD,YCCD,ZCCD),两者存在如下转换关系:
摄像机的成像以针孔模型为基础,根据投影关系,可以得到该特征点在投影平面坐标系下的坐标Pc(xc,yc):
因为所有的编码标志都放置在地面,所以编码标志上特征点在世界坐标系下Yω轴坐标值为0。设该特征点在计算机图像坐标系下的坐标为Pp(xp,yp)。投影平面坐标系的单位为一连续变量(比如mm),而计算机图像坐标系的单位为像素,如附图4所示。因此存在如下转换关系:
式中dx,dy表示CCD在x,y轴单位像素的间距,单位为mm/像素,x0,y0表示投影平面坐标系原点Oc在计算机图像坐标系下的坐标。
假设通过图像处理可以得到某一特征点在计算机图像坐标系下的坐标Pp(xp,yp),通过公式(4)变换可以得到该特征点在投影平面坐标系下的坐标Pc(xc,yc),将坐标 Pc(xc,yc)代入公式(3)可得如下两个等式:
因为如果f sinθ-yc cosθ=0,代入(6)得到yc sinθ+fcosθ=0,联立 f sinθ-yccosθ=0可得到f2+yc 2=0,而这是不可能成立的,所以(f sinθ-yc cosθ)不为零。将公式(6)两边除以(f sinθ-yc cosθ)得到如下公式:
当摄像机采集到一帧含有编码路标的图像时,通过图像处理能够得到五个导航图案的中心在计算机图像坐标系下的坐标,然后通过公式(4)转换成投影平面坐标系下的坐标Pc1(xc1,yc1)Pc5(xc5,yc5),它们分别对应第一到第五个导航图案。从编码标志图案中可以看到第三和第四个导航图案位于编码标志的中心线上,且距离为2L。将Pc3, Pc4两点分别代入公式(7)得到如下两个等式:
式中Zω3、Zω4分别是Pc3、Pc4在世界坐标系Zω方向的坐标值,式中Xω3、Xω4分别是Pc3、Pc4在世界坐标系Xω方向的坐标值,因此Zω3-Zω4=2L,Xω3-Xω4=0。然后将公式(8)减去公式(9)并整理后可得:
将Φ代入公式(5)和公式(6)得到一个未知量为D和Zw-S的方程组,写成矩阵形式为:
用RD表示相对距离Zw-S,即摄像机距离特征点Pc(xc,yc)的距离。则可解得:
摄像机经过标定后,f为已知的,且特征点Pc3,Pc4在Zω轴上,因此Xω=0。所以只需要通过图像处理获取第三和第四个导航图案在计算机图像坐标系下的坐标,就可以得到AGV姿态偏移的两个量,即偏移角Φ和偏移中心线的位移D,并可以得到 AGV距离特征点的距离RD。
三、快速识别方法
AGV运行速度快,因此摄像机采集的单帧图像很可能在运动方向会产生模糊,本实施例设计的编码标志适应于这种情况。即使图像在运动方向上产生模糊,图像中与运动方向垂直的方向上依然存在着显著特征。通过下述识别方法,可以快速找到特征点。整体的识别方法流程图如附图5所示。
摄像头采集到的原始图案是彩色图像,彩色图像具有全面的信息,但数据量非常的大,处理起来非常耗时,AGV对实时性要求高,因此需要将彩色图像转化成灰度图像。本实施例选用加权平均法对图像进行灰度化,计算方法如下:
F(x,y)=[R(x,y)Wr+G(x,y)Wg+B(x,y)Wb] (14)
F(x,y)是坐标值为(x,y)的像素的灰度值,R(x,y)、G(x,y)、B(x,y)分别为该点像素R、G、B分量,Wr、Wg、Wb分把为R、G、B对应的权值。当权值分别取Wr=0.299、 Wg=0.587、Wb=0.114时灰度化处理后的图像附图6所示,图6(a)为清晰图像灰度化处理结果,图6(b)为模糊图像灰度化处理结果。
灰度图像依然具有256种亮度,为了便于处理,通常将灰度图像进行二值化,二值化图像只包含0和255两种灰度值,0表示黑色,255表示白色。二值化最重要的就是选择阈值,通常使用两种方法:全局固定阈值和局部自适应阈值。
全局固定阈值方法就是使用统一的阈值对全局像素进行阈值化,按照如下公式:
局部自适应阈值方法则是根据像素邻域块的像素值分布来确定该像素位置上的二值化阈值,公式如式(15),但是其中的阈值T是由其周围邻域像素的分布来决定的。当图像亮度不均匀时,不同亮度区域会有自己对应的阈值,这样可以得到的二值化图像更能真实的还原特征的细节。常用的局部自适应阈值有:局部邻域块的均值和局部邻域块的高斯加权和。
考虑AGV工作场地光亮不均匀,采用固定阈值方法进行二值化容易丢失许多细节,因此本实施例采用局部自适应阈值方法进行二值化。附图7所示为二值化处理后的图像,图7(a)为清晰图像二值化处理结果,图7(b)为模糊图像二值化处理结果。
AGV基本的运动方式就是直线行走,在计算机图像坐标系下,AGV行走方向为y 轴负方向。因此定位图案和导航图案在y轴方向容易产生模糊,二值化处理后定位图案和导航图案在y轴方向的比例特征消失,但是x轴方向上的比例特征仍然存在,如附图7(b)所示。根据这个特征,定位图案的识别方法和步骤如下:
1.隔行遍历图像,找出图像中每行的黑线段和白线段,并按寻找到的先后顺序放入到线段集合中;
2.对线段集合进行顺序遍历,寻找满足黑:白:黑:白:黑=1:1:3:1:1的五条线段组合,并计算五条线段组合的中心坐标,并放入特征中心集合;
3.对特征中心集合进行聚类分析,排除干扰点后,如果特征中心集合的数量达到一定数量,则继续下一步;
4.对特征中心集合中所有点的坐标值求均值作为到他们的中心坐标,也即定位图案的中心坐标。
对定位图案识别的过程中可以得到包含所有线段的线段集合,如果通过定位图案的识别能够得到定位图案的中心,则继续进行导航图案的识别,否则直接识别下一张图像。导航图案的识别方法和步骤如下:
1.对线段集合进行顺序遍历,寻找满足黑:白:黑:白:黑=1:1:1:1:1的五条线段组合,并计算五条线段组合的中心坐标,并放入特征中心集合;
2.对特征中心集合进行聚类分析,排除干扰点。由编码标志的特点可知:第三、四、五个导航图案在一条直线上,因此它们的特征中心的x轴坐标值非常接近,且第三、四、五个导航图案的特征中心的总和肯定比第一、二个导航图案的特征中心的总和多。根据以上特点和特征中心的x轴坐标值,可以将特征中心集合化分为三类,即第一个导航图案的特征中心为第一类,第二个导航图案的特征中心为第二类,第三、四、五个导航图案的特征中心为第三类类;
3.对第一类和第二类的特征中心的坐标值进行求均值,可以得到第一、二个导航图案的中心坐标Pp1、Pp2;
4.由编码标志的特点可知:第一、二、五个导航图案在一条直线上,因此第五个导航图案的特征中心的y轴坐标值与第一、二个导航图案中心的y轴坐标值非常接近,且第三、四个导航图案的特征中心的y轴坐标值远离第一、二个导航图案中心的y轴坐标值。根据这个特征,可以将第三类特征中心分为三类,即第三个导航图案的特征中心为第四类,第四个导航图案的特征中心为第五类,第五个导航图案的特征中心为第六类;
5.分别对第四、五、六类特征中心分别求坐标均值,可以得到第三、四、五个导航图案的中心坐标Pp3、Pp4、Pp5。
通过以上方法对含有编码标志的清晰图像和模糊图像进行处理后分别得到如附图 8(a)和附图8(b)所示的结果。
通过以上方法对导航图案的识别,可以得到AGV行驶方向上两个导航图案中心的坐标Pp3(xp3,yp3)、Pp4(xp4,yp4)。摄像头已经经过标定,f、x0、y0、dx、dy为已知量,将其代入公式(4),可得到这两个特征点在投影平面坐标系下的坐标Pc3(xc3,yc3)、 Pc4(xc4,yc4)。摄像头安装参数θ、H,以及这两个特征点实际相距距离为2L都为已知量,将其代入公式(10)可得到AGV的偏移角度Φ。
通过以上图像处理的方法还可以得到编码标志的中心坐标,即第五个导航图案的中心坐标Pp5(xp5,yp5),由公式(4)变换得到投影平面坐标系下坐标Pc5(xc5,yc5),然后将其代入公式(12)和公式(13)可得到AGV的偏移距离D和与编码标志中心的距离RD。
编码图案如附图9所示可以分为a、b、c三个区域,每个区域有四个编码位置,a 区域为组成二进制数的高四位,b区域为组成二进制数的中间四位,c区域为组成二进制数的低四位。每个区域中四个编码位置的顺序如附图9所示,图中三个区域的编码位置都具有特定的特征。
三个区域中第0号编码位置具有共同特征:编码位置x、y轴坐标值与该区域相邻的两个导航图案中心的x、y轴坐标值分别接近。如a区域中第0号编码位置,x轴坐标值与第二个导航图案中心的x轴坐标值非常接近,y轴坐标值与第三个导航图案中心的y轴坐标值接近。三个区域中第2号编码位置具有共同特征:编码位置与该区域相邻的两个导航图案中心形成接近180度的钝角。如a区域中第2号编码位置与相邻的两个导航图案(第二、三个导航图案)几乎在一条直线上,因此它们形成一个接近180 度的钝角。a、c区域中1、3号编码位置的特征为:1号编码位置y轴坐标值与其中一个相邻导航图案中心的y轴坐标值接近,3号编码位置x轴坐标值与其中一个相邻导航图案中心的x轴坐标值接近。b区域中1、3号编码位置的特征为:1号编码位置x轴坐标值与其中一个相邻导航图案中心的x轴坐标值接近,3号编码位置y轴坐标值与其中一个相邻导航图案中心的y轴坐标值接近。
编码图案解析的具体步骤如下:
1.前面已经对定位图案和导航图案进行了识别,如果识别出了定位图案和导航图案,则继续解析编码图案,否则结束。
2.如果已经识别出了定位图案和导航图案,则根据二值图像进行边缘检测,找出图像中所有连通区域;
3.对检测出来的区域边缘求解最小外接矩形,并求它们的中心坐标,通过外接矩形的密集度、体态比和包含像素数这三个特征排除干扰点,在通过识别出来的导航图案中心坐标排除编码图案之外的干扰点,最后可以得到包含所有编码图案中心的集合;
4.通过比较编码图案中心与导航图案中心的相对位置,可以知道编码图案属于第几个区域;
5.分别对每个区域的编码图案按照以上的特征识别每个编码图案的编码位置;
6.输出编码图案对应的二进制数,并转换为十进制数。
四、自动导航控制策略
AGV只有两种行走方式:直线行走和直角转弯,因此控制策略分为两种情况分析。
1.直线行走
AGV以固定速度v直线行驶,它的被控变量为偏移角度Φ和偏移距离D。AGV系统模型可写成如下:
式中U为AGV角速度的控制输入,为偏移角度Φ的一阶微分。当AGV产生偏移的时候,根据偏移角度和偏移距离向反方向施加一个偏转角速度量,使其回到编码标志所在的直线上。根据实际情况本发明采用PD控制,用如下方程表示:
闭环系统方程为:
通过实验可以得到,当比例系数Kp=0.15,微分系数Kd=0.05时,AGV行走效果较好。
2.直角转弯
AGV某些编码标志处需要实现直角转弯,当检测到这些编码标志时,首先计算 AGV距离编码标志的距离RD,接着通过延时停止,AGV的中心刚好停止在编码标志的中心,然后原地旋转90°,最后接着进行直线行走。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (7)
1.一种用于AGV定位与导航的二维编码设计方法,其特征在于,所述方法包括以下步骤:
根据AGV行走路径特点,设计一种人工编码二维编码标志,所述编码标志包含实现定位功能的定位图案、实现导航功能的导航图案和实现信息编码功能的编码图案;
根据AGV直行和直角转弯两种动作方式特点,以及提前获取前方路面信息的要求,设计AGV视觉系统,确保AGV能够快速识别所述编码标志,同时能够在计算机坐标系和世界坐标系中互相转换;
根据所述编码标志的特点,设计一套解码算法,包括编码标志图像预处理、定位图案识别、导航图案识别和编码图案信息分析,保证AGV计算机系统快速精确地解析编码标志信息;其次,设计AGV执行编码标志指令信息的方式,利用比例-微分控制器,使AGV通过编码标志获取偏离角度和偏离距离,从而调整行进姿态;
所述定位图案具有旋转不变性,以任何角度摆放,逐行扫描定位图案都满足:黑边:白边:黑边:白边:黑边=1:1:3:1:1;
所述导航图案共有五个,一个位于编码标志的中心,另外四个分布在其四周,分别位于编码标志四条边的中点处,导航图案也具有旋转不变性,逐行扫描导航图案都满足:黑边:白边:黑边:白边:黑边=1:1:1:1:1;
所述编码图案分别集中在三个区域,根据不同的设计位置被赋予一个唯一的数字标识,编码规则就是利用编码图案的位置、数量以及它们之间的相互组合,得到编码图案的所有可能组合,分别用来代表对应的编码标志;
AGV行走路径采用栅格形路径,因此AGV只有两种行走方式,一种是直线行走,一种是直角转弯,根据AGV的行走方式,编码标志在路径上的布置规则如下:
①路段与路段的交点处布置编码标志,用于AGV识别交叉路口;
②路段中间点布置编码标志,AGV读取到路段中间的编码标志并发送给上位机系统,上位机系统告诉AGV是通过前方交叉路口还是等待通过。
2.根据权利要求1所述的一种用于AGV定位与导航的二维编码设计方法,其特征在于:所述设计的AGV视觉系统,摄像头安装在AGV头部正上方,能够使AGV提前获取路面前方二维编码标志信息,同时加入垂直和水平两个角度信息,使坐标值在四种坐标系下快速转换;
二维编码标志和AGV运动在世界坐标系下,具有世界坐标值,根据摄像头高度H、前进路径偏移距离D、前进路径移动距离S、摄像头光轴与水平面夹角θ、摄像头光轴与前进路径偏移夹角Φ,实现世界坐标系坐标值与摄像头坐标系坐标值相互转换;再根据摄像头焦距f,实现摄像头坐标系坐标值与垂直投影面坐标系坐标值相互转换;进而根据计算机坐标系单位像素间距,实现垂直投影面坐标系坐标值与计算机坐标系坐标值相互转换,世界坐标系与计算机坐标系转换过程中,考虑AGV仅在世界坐标系水平面,即世界坐标系垂直方向坐标值为0方向运动,以及摄像头焦距与计算机坐标系坐标值约束条件,能够简化计算过程,实现坐标转换与未知量变量快速求解。
3.根据权利要求1所述的一种用于AGV定位与导航的二维编码设计方法,其特征在于:所述编码标志图像预处理指先采用加权平均法对编码标志图像进行灰度化,得到灰度图像,再将灰度图像进行二值化,得到二值化处理后的图像,再根据二值化处理后的图像进行定位图案的识别、导航图案识别和编码图案信息分析。
4.根据权利要求3所述的一种用于AGV定位与导航的二维编码设计方法,其特征在于,所述定位图案识别的具体步骤为:
S1、隔行遍历图像,找出图像中每行的黑线段和白线段,并按寻找到的先后顺序放入到线段集合中;
S2、对线段集合进行顺序遍历,寻找满足黑:白:黑:白:黑=1:1:3:1:1的五条线段组合,并计算五条线段组合的中心坐标,放入特征中心集合;
S3、对特征中心集合进行聚类分析,排除干扰点后,如果特征中心集合的数量达到一定数量,则继续下一步;
S4、对特征中心集合中所有点的坐标值求均值作为它们的中心坐标,也即定位图案的中心坐标。
5.根据权利要求4所述的一种用于AGV定位与导航的二维编码设计方法,其特征在于,对定位图案识别的过程中能够得到包含所有线段的线段集合,如果通过定位图案的识别能够得到定位图案的中心坐标,则继续进行导航图案的识别,否则直接识别下一张图像;导航图案识别的具体步骤如下:
S1、对线段集合进行顺序遍历,寻找满足黑:白:黑:白:黑=1:1:1:1:1的五条线段组合,并计算五条线段组合的中心坐标,放入特征中心集合;
S2、对特征中心集合进行聚类分析,排除干扰点,通过平均值计算分别得到五个导航图案的中心坐标,并根据五个导航图案的中心坐标计算得到AGV的偏移角度Φ、AGV的偏移距离D和与二维编码标志中心的距离RD。
6.根据权利要求5所述的一种用于AGV定位与导航的二维编码设计方法,其特征在于:如果识别出了定位图案和导航图案,则继续编码图案信息分析,否则结束,所述编码图案信息分析的具体过程为:
S1、根据二值图像进行边缘检测,找出图像中所有连通区域;
S2、对检测出来的区域边缘求解最小外接矩形,并求它们的中心坐标,通过外接矩形的密集度、体态比和包含像素数这三个特征排除干扰点,再通过识别出来的导航图案中心坐标排除编码图案之外的干扰点,最后能够得到包含所有编码图案中心的集合;
S3、通过比较编码图案中心与导航图案中心的相对位置,能够知道编码图案属于第几个区域;
S4、分别对每个区域的编码图案按照对应特征识别每个编码图案的编码位置;
S5、最后按照编码规则输出编码图案对应的二进制数,并转换为十进制数。
7.根据权利要求1所述的一种用于AGV定位与导航的二维编码设计方法,其特征在于:所述利用比例-微分控制器,使AGV通过编码标志获取偏离角度和偏离距离,从而调整行进姿态的自动导航控制策略为:
由于AGV只有两种行走方式:直线行走和直角转弯,因此控制策略分为两种情况:
(1)当AGV以固定速度v直线行驶,它的被控变量为偏移角度Φ和偏移距离D,则AGV系统模型能够写成如下:
式中U为AGV角速度的控制输入,为偏移角度Φ的一阶微分,当AGV产生偏移的时候,根据偏移角度和偏移距离向反方向施加一个偏转角速度量,使其回到编码标志所在的直线上,根据实际情况此处采用PD控制,用如下方程表示:
闭环系统方程为:
(2)若AGV某些编码标志处需要实现直角转弯,当检测到这些编码标志时,首先计算AGV距离编码标志的距离RD,接着通过延时停止,使AGV的中心刚好停止在编码标志的中心,然后原地旋转90°,最后接着进行直线行驶。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811532223.7A CN110018633B (zh) | 2018-12-14 | 2018-12-14 | 一种用于agv定位与导航的二维编码设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811532223.7A CN110018633B (zh) | 2018-12-14 | 2018-12-14 | 一种用于agv定位与导航的二维编码设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110018633A CN110018633A (zh) | 2019-07-16 |
CN110018633B true CN110018633B (zh) | 2020-08-18 |
Family
ID=67188618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811532223.7A Active CN110018633B (zh) | 2018-12-14 | 2018-12-14 | 一种用于agv定位与导航的二维编码设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110018633B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112965473A (zh) * | 2019-11-27 | 2021-06-15 | 深圳市大富科技股份有限公司 | 导航服务器、自动导引运输车及其路线导航方法、系统 |
CN112987710A (zh) * | 2019-11-29 | 2021-06-18 | 深圳市大富科技股份有限公司 | 一种导航服务器、agv、导航系统及方法 |
CN113129394B (zh) * | 2020-12-23 | 2022-09-06 | 合肥工业大学 | 一种基于区域分割编码的平行四边形编码标志及其编码方法 |
CN113361292B (zh) * | 2021-05-25 | 2023-04-28 | 北京航宇荣康科技股份有限公司 | 基于人工智能和二维码导航的agv行驶优化方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009244239A (ja) * | 2008-04-01 | 2009-10-22 | Victor Co Of Japan Ltd | 位置情報表示装置、映像記録装置、及び位置情報入力システム |
CN103268119A (zh) * | 2013-06-05 | 2013-08-28 | 合肥凌翔信息科技有限公司 | 无人搬运车导航控制系统及其导航控制方法 |
CN105446333A (zh) * | 2015-11-10 | 2016-03-30 | 中辰环能技术(株洲)有限公司 | 视觉agv导航系统 |
CN105912971A (zh) * | 2016-04-01 | 2016-08-31 | 深圳普智联科机器人技术有限公司 | 一种用于agv导航的规则图形码码阵及其读码方法 |
CN107247985A (zh) * | 2017-05-27 | 2017-10-13 | 浙江隐齿丽医学技术有限公司 | 新型二维码的编码、定位及识别方法 |
CN107423786A (zh) * | 2017-07-20 | 2017-12-01 | 北京邮电大学 | 一种基于二维码的定位导航方法、装置及设备 |
CN107609451A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人(深圳)有限公司 | 一种基于二维码的高精度视觉定位方法及系统 |
CN107830853A (zh) * | 2017-11-01 | 2018-03-23 | 杨子锐 | 一种以QRCode二维码为标记的导航方向辨识方法 |
CN108592906A (zh) * | 2018-03-30 | 2018-09-28 | 合肥工业大学 | 基于二维码和惯性传感器的agv复合导航方法 |
-
2018
- 2018-12-14 CN CN201811532223.7A patent/CN110018633B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009244239A (ja) * | 2008-04-01 | 2009-10-22 | Victor Co Of Japan Ltd | 位置情報表示装置、映像記録装置、及び位置情報入力システム |
CN103268119A (zh) * | 2013-06-05 | 2013-08-28 | 合肥凌翔信息科技有限公司 | 无人搬运车导航控制系统及其导航控制方法 |
CN105446333A (zh) * | 2015-11-10 | 2016-03-30 | 中辰环能技术(株洲)有限公司 | 视觉agv导航系统 |
CN105446333B (zh) * | 2015-11-10 | 2017-05-10 | 中辰环能技术(株洲)有限公司 | 视觉agv导航系统 |
CN105912971A (zh) * | 2016-04-01 | 2016-08-31 | 深圳普智联科机器人技术有限公司 | 一种用于agv导航的规则图形码码阵及其读码方法 |
CN107247985A (zh) * | 2017-05-27 | 2017-10-13 | 浙江隐齿丽医学技术有限公司 | 新型二维码的编码、定位及识别方法 |
CN107423786A (zh) * | 2017-07-20 | 2017-12-01 | 北京邮电大学 | 一种基于二维码的定位导航方法、装置及设备 |
CN107609451A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人(深圳)有限公司 | 一种基于二维码的高精度视觉定位方法及系统 |
CN107830853A (zh) * | 2017-11-01 | 2018-03-23 | 杨子锐 | 一种以QRCode二维码为标记的导航方向辨识方法 |
CN108592906A (zh) * | 2018-03-30 | 2018-09-28 | 合肥工业大学 | 基于二维码和惯性传感器的agv复合导航方法 |
Non-Patent Citations (5)
Title |
---|
Research of AGV Positioning Based on the Two-Dimensional Code Recognition Method;Li Juntao,Wu Zhilei,Zhang Jun,Chen Weiyi;《2015 International Conference on Logistics, Informatics and Service Sciences》;20151231;全文 * |
The study of applying the AGV navigation system based on two dimensional bar code;Chuanhong Zhou, Xinchang Liu;《2016 International Conference on Industrial Informatics-Computing Technology,Intelligent Technology,Industrial Information Integration 》;20161231;全文 * |
一种基于标记码的AGV小车导航修正方法;徐仲勋 等;《机床与液压》;20180228;第46卷(第3期);全文 * |
基于QR二维码技术的AGV系统在仓储中的应用设计;于娟;《天津职业技术师范大学学报》;20150930;第25卷(第3期);全文 * |
基于二维码定位导航的两轮差速转向AGV设计;杨友良 等;《物流科技》;20171231(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110018633A (zh) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109739237B (zh) | 一种基于新型编码标志的agv视觉导航及定位方法 | |
CN110018633B (zh) | 一种用于agv定位与导航的二维编码设计方法 | |
CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
CN108225303B (zh) | 二维码定位标签、基于二维码的定位导航系统和方法 | |
Kluge | Extracting road curvature and orientation from image edge points without perceptual grouping into features | |
CN107045629B (zh) | 一种多车道线检测方法 | |
CN108489486B (zh) | 二维码以及用于机器人的视觉-惯性组合导航系统及方法 | |
CN101398907B (zh) | 一种用于移动机器人的二维码结构及解码方法 | |
US8757490B2 (en) | Method and apparatus for encoding and reading optical machine-readable data codes | |
CN111801711A (zh) | 图像标注 | |
CN111401150B (zh) | 一种基于实例分割和自适应变换算法的多车道线检测方法 | |
CN111598952B (zh) | 一种多尺度合作靶标设计与在线检测识别方法及系统 | |
CN102721364A (zh) | 一种工件的定位方法及其装置 | |
CN107421540A (zh) | 一种基于视觉的移动机器人导航方法及系统 | |
CN106679671A (zh) | 一种基于激光数据的导航标识图识别方法 | |
CN111524115A (zh) | 钢板切割件的定位方法和分拣系统 | |
CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 | |
CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
Truong et al. | New lane detection algorithm for autonomous vehicles using computer vision | |
CN117382426B (zh) | 一种车载受电弓自适应控制方法及系统 | |
CN206832260U (zh) | 一种基于视觉的移动机器人导航系统 | |
Goronzy et al. | QRPos: Indoor positioning system for self-balancing robots based on QR codes | |
Truong et al. | Lane boundaries detection algorithm using vector lane concept | |
CN115984806B (zh) | 道路标线破损动态检测系统 | |
CN113673462B (zh) | 一种基于车道线的物流agv定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |