CN109739237B - 一种基于新型编码标志的agv视觉导航及定位方法 - Google Patents

Abstract

本发明公开了一种基于新型编码标志的AGV视觉导航及定位方法，首先结合数字信息和二维码设计编码标志，使其具有导航和定位两种功能；构建摄像头系统模型，当AGV的摄像头识别到前方的编码标志在当前帧图像的位置时，通过构建的摄像头系统模型转化为实际编码标志距离AGV的位置；对摄像头采集到的图像进行图像处理，用于缓解廉价摄像头拍摄运动物体而出现的模糊问题，以及快速定位出编码标志中设计的定位特征点、导航特征点；编码标志的解码，根据识别出的导航特征点，便可定位出编码标志中包含码值信息的数字，从而减小之后的分类器识别数字难度；最后，根据之前得到的控制信息，设计比例‑微分控制器，用于控制AGV小车行走。

Description

一种基于新型编码标志的AGV视觉导航及定位方法

技术领域

本发明涉及信息编码、机器视觉、机器学习技术领域，具体涉及一种基于新型编码标志的AGV视觉导航及定位方法。

背景技术

我国是互联网大国，网民人数世界第一，电子商务在我国迅猛发展，网购在我国十分普及。物流作为网购过程中的重要环节，影响着消费者的网购体验。消费者希望能够以最快的速度获取购买的商品，然而实际情况是消费者通常需要等待几天，在电商活动期间甚至需要等待一个星期以上，这样使得网购商品的即得性大大降低，消费者的满意度也大幅降低。

我国物流行业中应用大量自动导引运输车(Automated Guided Vehicle，简称AGV)来搬运快递包裹，能够极大地提高搬运效率。多AGV物流分拣系统是最近几年出现的一种新的自动化分拣模式，它具有如下优点：1、工作时间不受限制。2、分拣差错率极低。3、灵活性和鲁棒性高。4、降低了物流成本、提高了物流速度。以上的几个优点都能从各个方面减少物流成本、提高物流分拣效率。

视觉系统是AGV获取外界信息最主要的来源之一，是基于视觉导航的AGV装置的重要部分。视觉导航就是通过摄像头采集路面上含有路径或标志信息的图像，图像经过数字图像处理技术处理后得到特征点在计算机图像坐标系的坐标值，再利用计算机图像坐标系和世界坐标系的关系进行转换，得到AGV姿态的偏差，并作为反馈来控制AGV。目前基于视觉导航的AGV常用的引导方式是在路面贴上连续的标识线作为路径，AGV通过视觉系统识别标识线，并沿着标识线行走。Kiva systems公司的Kiva机器人和立镖公司的快递机器人采用视觉加惯性导航，在有二维码标志的区域通过机器人底部的高速摄像头识别二维码进行纠偏和定位，在没有二维码的区域通过惯性导航。机器人底部的高速摄像头能够在高速运动的情况下拍摄到路面的清晰图像，但是高速摄像头价格昂贵，而普通摄像头在拍摄高速运动物体时图像容易模糊，模糊的二维码图像识别难度非常大，而且惯性导航成本高。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于新型编码标志的AGV视觉导航及定位方法，使快递分拣机器人即使在高速行驶时也能够精准导航和定位。本发明设计的编码标志将数字信息和二维码的优点相结合，设计出相比二维码具有信息量小、易识别、抗干扰等优点，使AGV在使用普通摄像头、且高速行驶的情况下也能够精准导航和定位。

本发明的目的可以通过采取如下技术方案达到：

一种基于新型编码标志的AGV视觉导航及定位方法，所述的AGV视觉导航及定位方法包括以下步骤：

S1、编码标志的设计，提出包含定位功能、导航功能、数字信息编码功能的二维码数字编码标志；

S2、构建AGV视觉系统模型，用于AGV快速识别编码标志，同时在计算机坐标系和世界坐标系中互相转换；

S3、编码标志快速识别，根据二维码数字编码标志特点采用解码算法，包括编码标志图像预处理、定位图案识别、导航图案识别、编码区域信息分析，保证AGV视觉系统模型快速精确地解析编码标志信息；

S4、自动导航控制策略，设计AGV执行编码标志指令信息的方式，利用比例-微分控制器，使AGV通过从编码标志获取偏离角度和偏离距离，从而调整行进姿态。

进一步地，所述的二维码数字编码标志包括五个导航图案、一个定位图案和三个编码区域，其中，五个导航图案是中间一个，四周分别有四个，四周的导航图案距离中心的导航图案的距离为L，一个定位图案和三个编码区域依次位于四周相邻的导航图案之间，

其中，所述的定位图案具有旋转不变性，定位图案以任何角度摆放，逐行扫描图案都满足：

黑边:白边:黑边:白边:黑边＝1:1:3:1:1；

所述的导航图案也具有旋转不变性，导航图案以任何角度摆放，逐行扫描图案都满足：

黑边:白边:黑边:白边:黑边＝1:1:1:1:1；

每个编码区域分别绘制0-9的数字图案，编码规则如下：

编码位置一共有a，b，c三个编码区域，定义编码位置的顺序，编码位置上0-9的数字代表有效编码，a区域为组成十进制数的高位，b区域为组成十进制数的中间位，c区域为组成十进制数的低位，最终解码值＝a*100+b*10+c；

AGV行走路径采用栅格形路径，AGV行走方式包括直线行走和直角转弯，二维码数字编码标志在路径上的布置规则如下：

(1)路段与路段的交点处布置编码标志，用于AGV识别交叉路口；

(2)路段中间点布置编码标志，AGV读取到路段中间的编码标志并发送给上位机系统，上位机系统告诉AGV是通过前方交叉路口还是等待通过。

进一步地，所述的步骤S2、构建AGV视觉系统模型的过程如下：

将X_ωY_ωZ_ω表示世界坐标系，Y_ω轴垂直于地面，Z_ω轴在编码标志组成的直线上，将X_CCDY_CCDZ_CCD表示摄像机坐标系，坐标轴原点O_CCD为光心，Z_CCD轴与摄像机光轴重合，方向指向景物方向，X_CY_C表示投影图像坐标系，坐标原点O_C为摄像机光轴与投影图像平面的交点，O_C与O_CCD之间的距离表示焦距f，将x_py_p表示计算机图像坐标系，以图像左上角为图像原点，x_p轴正方向为从左至右，y_p轴正方向为从上至下；由于摄像机需要采集地面上的图像，所以摄像机的安装与水平线有一定角度θ，即光轴与水平方向的夹角为θ，摄像机离地面高度为H，假设AGV不在编码标志所在直线上，即存在一定的偏移角度和偏移距离，设偏移夹角为Φ，即摄像机光轴与Z_ω轴正方向的夹角，摄像机在X_ω轴正方向的偏移距离为D，在Z_ω轴正方向距离世界坐标系原点的距离为S；

设某一特征点在世界坐标系的坐标为P_ω(X_ω,Y_ω,Z_ω)，在摄像机坐标系下对应的坐标为P_CCD(X_CCD,Y_CCD,Z_CCD)，两者存在如下转换关系：

摄像机的成像以针孔模型为基础，根据投影关系，得到该特征点在投影平面坐标系下的坐标P_c(x_c,y_c)：

因为所有的编码标志都放置在地面，所以编码标志上特征点在世界坐标系下Y_ω轴坐标值为0，设该特征点在计算机图像坐标系下的坐标为P_p(x_p,y_p)，投影平面坐标系的单位为一连续变量，而计算机图像坐标系的单位为像素，存在如下转换关系：

式中dx,dy表示CCD在x,y轴单位像素的间距，单位为mm/像素，x₀,y₀表示投影平面坐标系原点O_c在计算机图像坐标系下的坐标；

假设通过图像处理能够得到某一特征点在计算机图像坐标系下的坐标P_p(x_p,y_p)，通过公式(4)变换能够得到该特征点在投影平面坐标系下的坐标P_c(x_c,y_c)，将坐标P_c(x_c,y_c)代入公式(3)得如下两个等式：

将公式(6)两边除以(f sinθ-y_c cosθ)得到如下公式：

当摄像机采集到一帧含有编码路标的图像时，通过图像处理能够得到五个导航图案的中心在计算机图像坐标系下的坐标，然后通过公式(4)转换成投影平面坐标系下的坐标P_c1(x_c1,y_c1)…P_c5(x_c5,y_c5)，它们分别对应第一到第五个导航图案，编码标志图案中第三和第四个导航图案位于编码标志的中心线上，且距离为2L，将P_c3，P_c4两点分别代入公式(7)得到如下两个等式：

式中Z_ω3、Z_ω4分别是P_c3、P_c4在世界坐标系Z_ω方向的坐标值，式中X_ω3、X_ω4分别是P_c3、P_c4在世界坐标系X_ω方向的坐标值，因此Z_ω3-Z_ω4＝2L，X_ω3-X_ω4＝0，然后将公式(8)减去公式(9)并整理后得到：

将_Φ代入公式(5)和公式(6)得到一个未知量为D和Z_w-S的方程组，写成矩阵形式为：

用RD表示相对距离Z_w-S，即摄像机距离特征点P_c(x_c,y_c)的距离，则解得：

摄像机经过标定后，f为已知的，且特征点P_c3，P_c4在Z_ω轴上，因此X_ω＝0，通过图像处理获取第三和第四个导航图案在计算机图像坐标系下的坐标，就能够得到AGV姿态偏移的两个量，即偏移角Φ和偏移中心线的位移D，并得到AGV距离特征点的距离RD。

进一步地，所述的步骤S3、编码标志快速识别的过程如下：

S3.1、将摄像头采集的原始彩色图像进行灰度化处理得到灰度图像；

S3.2、对灰度图像进行二值化处理；

S3.3、对定位图案进行识别；

S3.4、对导航图案进行识别；

S3.5、输出导航参数，通过以上方法对导航图案进行识别后得到AGV行驶方向上两个导航图案中心的坐标P_p3(x_p3,y_p3)、P_p4(x_p4,y_p4)，摄像头已经经过标定，f、x₀、y₀、dx、dy为已知量，将其代入公式(4)，得到这两个特征点在投影平面坐标系下的坐标P_c3(x_c3,y_c3)、P_c4(x_c4,y_c4)，摄像头安装参数θ、H，以及这两个特征点实际相距距离为2L都为已知量，将其代入公式(10)得到AGV的偏移角度Φ，通过图像处理方法得到编码标志的中心坐标，即第五个导航图案的中心坐标P_p5(x_p5,y_p5)，由公式(4)变换得到投影平面坐标系下坐标P_c5(x_c5,y_c5)，然后将其代入公式(12)和公式(13)得到AGV的偏移距离D和与编码标志中心的距离RD；

S3.6、对编码图案进行定位；

S3.7、透射变化，先通过对识别出的导航定位点进行投射变化成新的图像，然后在新的图像上进行解码得到仿射变化后的图像；

S3.8、编码图案解析，得出最终的编码值。

进一步地，所述的步骤S3.1、将摄像头采集的原始彩色图像进行灰度化处理过程如下：

选用加权平均法对图像进行灰度化，计算方法如下：

F(x,y)＝[R(x,y)W_r+G(x,y)W_g+B(x,y)W_b] (14)

F(x,y)是坐标值为(x,y)的像素的灰度值，R(x,y)、G(x,y)、B(x,y)分别为该点像素R、G、B分量，W_r、W_g、W_b分别为R、G、B对应的权值。

进一步地，所述的步骤S3.2、对灰度图像进行二值化处理中，采用全局固定阈值和局部自适应阈值作为二值化阈值。

进一步地，所述的步骤S3.3、对定位图案进行识别的过程如下：

S3.3.1、隔行遍历图像，找出图像中每行的黑线段和白线段，并按寻找到的先后顺序放入到线段集合中；

S3.3.2、对线段集合进行顺序遍历，寻找满足黑:白:黑:白:黑＝1:1:3:1:1的五条线段组合，并计算五条线段组合的中心坐标，并放入特征中心集合；

S3.3.3、对特征中心集合进行聚类分析，排除干扰点后，如果特征中心集合的数量达到一定数量，则继续下一步；

S3.3.4、对特征中心集合中所有点的坐标值求均值作为中心坐标，也即定位图案的中心坐标。

进一步地，所述的步骤S3.4、对导航图案进行识别的过程如下：

S3.4.1、对线段集合进行顺序遍历，寻找满足黑:白:黑:白:黑＝1:1:1:1:1的五条线段组合，并计算五条线段组合的中心坐标，并放入特征中心集合；

S3.4.2、对特征中心集合进行聚类分析，排除干扰点，由编码标志的特点可知第三、四、五个导航图案在一条直线上，因此它们的特征中心的x轴坐标值非常接近，且第三、四、五个导航图案的特征中心的总和肯定比第一、二个导航图案的特征中心的总和多。根据以上特点和特征中心的x轴坐标值，可以将特征中心集合化分为三类，即第一个导航图案的特征中心为第一类，第二个导航图案的特征中心为第二类，第三、四、五个导航图案的特征中心为第三类类；

S3.4.3、对第一类和第二类的特征中心的坐标值进行求均值，可以得到第一、二个导航图案的中心坐标P_p1、P_p2；

S3.4.4、由编码标志的特点可知：第一、二、五个导航图案在一条直线上，因此第五个导航图案的特征中心的y轴坐标值与第一、二个导航图案中心的y轴坐标值非常接近，且第三、四个导航图案的特征中心的y轴坐标值远离第一、二个导航图案中心的y轴坐标值，根据这个特征，将第三类特征中心分为三类，即第三个导航图案的特征中心为第四类，第四个导航图案的特征中心为第五类，第五个导航图案的特征中心为第六类；

S3.4.5、分别对第四、五、六类特征中心分别求坐标均值，得到第三、四、五个导航图案的中心坐标P_p3、P_p4、P_p5。

进一步地，所述的步骤S3.8、编码图案解析的过程如下：

根据导航图案进行抠图，抠出包含数字的三个编码区域；

将三个编码区域输入到训练好的ANN神经网络进行预测输出；

对三个编码区域的输出值按照编码规则进行组合，得出最终的编码值。

进一步地，所述的步骤S4、自动导航控制策略包括直线行走和直角转弯，其中，

当AGV直线行走时，AGV以固定速度v直线行驶，它的被控变量为偏移角度Φ和偏移距离D，AGV系统模型写成如下：

闭环系统方程为：

式中U为AGV角速度的控制输入，当AGV产生偏移的时候，根据偏移角度和偏移距离向反方向施加一个偏转角速度量，使其回到编码标志所在的直线上，采用PD控制，用如下方程表示：

闭环系统方程为：

当AGV直角转弯时，此时AGV检测到某些编码标志处需要实现直角转弯，首先计算AGV距离编码标志的距离RD，接着通过延时停止，AGV的中心刚好停止在编码标志的中心，然后原地旋转90°，最后接着进行直线行走。

本发明相对于现有技术具有如下的优点及效果：

1.编码标志的设计：本发明设计的编码标志结合了数字信息和二维码的优点，使其具有导航和定位两种功能，即使图像在中度模糊的情况下也可以被快速识别；

2.构建摄像头系统模型：当AGV的摄像头识别到前方的编码标志在当前帧图像的位置时，通过构建的摄像头系统模型转化为实际编码标志距离AGV的位置；

3.对摄像头采集到的图像进行图像处理，用于缓解廉价摄像头拍摄运动物体而出现的模糊问题，以及快速定位出编码标志中设计的定位特征点、导航特征点；

4.数字编码标志的设计采用数字，更容易理解，各个数字特征明显。从而只用很少的样本便可以训练得到精度很高的网络。

5.编码标志的解码，根据识别出的导航特征点，便可定位出编码标志中包含码值信息的数字，从而减小之后的分类器识别数字难度；同时采用ANN神经网络来对定位出来的数字进行预测。最后将识别的数字通过编码规则组合在一起便是编码标志对应的码值。

6.最后，根据之前得到的控制信息，设计比例-微分控制器，用于控制AGV小车行走。

附图说明

图1是本发明中编码标志示意图；

图2是本发明中仿射变化处理图像示意图；

图3是本发明中AGV视觉系统模型示意图；

图4是本发明中计算机图像坐标系示意图；

图5是本发明中整体识别方法流程图；

图6是本发明中灰度化处理图像示意图，其中，图6(a)是清晰图像灰度化处理结果，图6(b)是模糊图像灰度化处理结果；

图7是本发明中二值化处理图像示意图，其中，图7(a)是清晰图像二值化处理结果，图7(b)是模糊图像二值化处理结果；

图8是本发明中识别结果示意图示意图，其中，图8(a)是清晰图像的处理结果，图8(b)是模糊图像的处理结果；

图9是本发明中编码位置顺序图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于新型编码标志的AGV视觉导航及定位方法，用于提高AGV导航与定位效率，该方法包括以下两部分：

一、新型编码标志与视觉系统设计：首先根据AGV行走路径的特点，设计了一种新型数字编码二维码标志，包含定位功能、导航功能、数字信息编码功能，保证图像在模糊的情况下也可以被快速精确识别；其次，根据AGV直行和直角转弯两种动作方式特点，以及提前获取前方路面信息的要求，设计AGV视觉系统模型，确保AGV可以快速识别编码标志，同时可以在计算机坐标系和世界坐标系中互相转换。

二、编码标志识别与指令执行：首先根据数字编码标志特点设计一套解码算法，包括编码标志图像预处理、定位图案识别、导航图案识别、编码区域信息分析等，保证AGV视觉系统模型快速精确地解析编码标志信息；其次，设计了AGV执行编码标志指令信息的方式，利用比例-微分控制器，使AGV通过从编码标志获取偏离角度和偏离距离，从而调整行进姿态。

本实施例公开的一种基于新型编码标志的AGV视觉导航及定位方法包括以下具体步骤：

S1、编码标志的设计

本发明设计的编码标志集合导航和定位两种功能，即使图像在模糊的情况下也可以被快速识别，编码标志如附图1所示，图中1表示第一个导航图案，2表示第二个导航图案，3表示第三个导航图案，4表示第四个导航图案，5表示第五个导航图案，6表示定位图案，7表示编码区域(编码图案)。定位图案具有旋转不变性。定位图案以任何角度摆放，逐行扫描图案都满足：

黑边:白边:黑边:白边:黑边＝1:1:3:1:1

通过这个特征，逐行扫描图像可以很快地找到定位图案。导航图案也具有旋转不变性，满足：

黑边:白边:黑边:白边:黑边＝1:1:1:1:1

导航图案有五个，中间一个，四周分别有四个，四周的导航图案距离中心的导航图案的距离为L。编码区域分别集中在三个区域，然后在每个编码区域分别绘制0-9的数字图案，编码规则就是利用编码图案的位置、数量以及它们之间的相互组合，因此编码图案所有的可能组合一共1000种。

编码规则：编码位置一共有a，b，c三个编码区域，编码位置的顺序如附图9中编码图案中的数字所示，编码位置上0-9的数字代表有效编码，因此一共存在1000种编码可能，a区域为组成十进制数的高位，b区域为组成十进制数的中间位，c区域为组成十进制数的低位。最终解码值＝a*100+b*10+c。

AGV行走路径采用栅格形路径，因此AGV只有两种行走方式，一种是直线行走，一种是直角转弯。根据AGV的行走方式，编码标志在路径上的布置规则如下：

1.路段与路段的交点处布置编码标志，用于AGV识别交叉路口；

2.路段中间点布置编码标志，AGV读取到路段中间的编码标志并发送给上位机系统，上位机系统告诉AGV是通过前方交叉路口还是等待通过。

S2、构建AGV视觉系统模型

根据AGV直行和直角转弯两种行走方式以及编码标志布置规则可知，AGV只识别行驶方向上的编码标志。附图3所示为摄像头系统模型。

附图3中X_ωY_ωZ_ω表示世界坐标系，Y_ω轴垂直于地面，Z_ω轴在编码标志组成的直线上。X_CCDY_CCDZ_CCD表示摄像机坐标系，坐标轴原点O_CCD为光心，Z_CCD轴与摄像机光轴重合，方向指向景物方向。X_CY_C表示投影图像坐标系，坐标原点O_C为摄像机光轴与投影图像平面的交点，O_C与O_CCD之间的距离表示焦距f。x_py_p表示计算机图像坐标系，以图像左上角为图像原点，x_p轴正方向为从左至右，y_p轴正方向为从上至下。由于摄像机是需要采集地面上的图像，所以摄像机的安装与水平线有一定角度θ，即光轴与水平方向的夹角为θ。摄像机离地面高度为H。假设附图3中AGV并不在编码标志所在直线上，即存在一定的偏移角度和偏移距离。设偏移夹角为Φ，即摄像机光轴与Z_ω轴正方向的夹角。摄像机在X_ω轴正方向的偏移距离为D，在Z_ω轴正方向距离世界坐标系原点的距离为S。

设某一特征点在世界坐标系的坐标为P_ω(X_ω,Y_ω,Z_ω)，在摄像机坐标系下对应的坐标为P_CCD(X_CCD,Y_CCD,Z_CCD)，两者存在如下转换关系：

摄像机的成像以针孔模型为基础，根据投影关系，可以得到该特征点在投影平面坐标系下的坐标P_c(x_c,y_c)：

因为所有的编码标志都放置在地面，所以编码标志上特征点在世界坐标系下Y_ω轴坐标值为0。设该特征点在计算机图像坐标系下的坐标为P_p(x_p,y_p)。投影平面坐标系的单位为一连续变量(比如mm)，而计算机图像坐标系的单位为像素，如附图4所示。因此存在如下转换关系：

式中dx,dy表示CCD在x,y轴单位像素的间距，单位为mm/像素，x₀,y₀表示投影平面坐标系原点O_c在计算机图像坐标系下的坐标。

假设通过图像处理可以得到某一特征点在计算机图像坐标系下的坐标P_p(x_p,y_p)，通过公式(4)变换可以得到该特征点在投影平面坐标系下的坐标P_c(x_c,y_c)，将坐标P_c(x_c,y_c)代入公式(3)可得如下两个等式：

因为如果f sinθ-y_c cosθ＝0，代入(6)得到y_c sinθ+f cosθ＝0，联立f sinθ-y_ccosθ＝0可得到f²+y_c ²＝0，而这是不可能成立的，所以(fsinθ-y_c cosθ)不为零。将公式(6)两边除以(fsinθ-y_c cosθ)得到如下公式：

当摄像机采集到一帧含有编码路标的图像时，通过图像处理能够得到五个导航图案的中心在计算机图像坐标系下的坐标，然后通过公式(4)转换成投影平面坐标系下的坐标P_c1(x_c1,y_c1)…P_c5(x_c5,y_c5)，它们分别对应第一到第五个导航图案。从编码标志图案中可以看到第三和第四个导航图案位于编码标志的中心线上，且距离为2L。将P_c3，P_c4两点分别代入公式(7)得到如下两个等式：

式中Z_ω3、Z_ω4分别是P_c3、P_c4在世界坐标系Z_ω方向的坐标值，式中X_ω3、X_ω4分别是P_c3、P_c4在世界坐标系X_ω方向的坐标值，因此Z_ω3-Z_ω4＝2L，X_ω3-X_ω4＝0。然后将公式(8)减去公式(9)并整理后可得：

将Φ代入公式(5)和公式(6)得到一个未知量为D和Z_w-S的方程组，写成矩阵形式为：

用RD表示相对距离Z_w-S，即摄像机距离特征点P_c(x_c,y_c)的距离。则可解得：

摄像机经过标定后，f为已知的，且特征点P_c3，P_c4在Z_ω轴上，因此X_ω＝0。所以只需要通过图像处理获取第三和第四个导航图案在计算机图像坐标系下的坐标，就可以得到AGV姿态偏移的两个量，即偏移角Φ和偏移中心线的位移D，并可以得到AGV距离特征点的距离RD。

S3、编码标志快速识别

AGV运行速度快，因此摄像机采集的单帧图像很可能在运动方向会产生模糊，本发明设计的编码标志适应于这种情况。即使图像在运动方向上产生模糊，图像中与运动方向垂直的方向上依然存在着显著特征。通过本步骤的识别方法，可以快速找到特征点。整体的识别方法流程图如附图5所示。

S3.1、灰度化处理

摄像头采集到的原始图案是彩色图像，彩色图像具有全面的信息，但数据量非常的大，处理起来非常耗时，AGV对实时性要求高，因此需要将彩色图像转化成灰度图像。本实施例选用加权平均法对图像进行灰度化，计算方法如下：

F(x,y)＝[R(x,y)W_r+G(x,y)W_g+B(x,y)W_b] (14)

F(x,y)是坐标值为(x,y)的像素的灰度值，R(x,y)、G(x,y)、B(x,y)分别为该点像素R、G、B分量，W_r、W_g、W_b分别为R、G、B对应的权值。当权值分别取W_r＝0.299、W_g＝0.587、W_b＝0.114时灰度化处理后的图像附图6所示，图6(a)是清晰图像灰度化处理结果，图6(b)是模糊图像灰度化处理结果。

S3.2、二值化处理

灰度图像依然具有256种亮度，为了便于处理，通常将灰度图像进行二值化，二值化图像只包含0和255两种灰度值，0表示黑色，255表示白色。二值化最重要的就是选择阈值，通常使用两种方法：全局固定阈值和局部自适应阈值。

全局固定阈值方法就是使用统一的阈值对全局像素进行阈值化，按照如下公式：

局部自适应阈值方法则是根据像素邻域块的像素值分布来确定该像素位置上的二值化阈值，公式如式(15)，但是其中的阈值T是由其周围邻域像素的分布来决定的。当图像亮度不均匀时，不同亮度区域会有自己对应的阈值，这样可以得到的二值化图像更能真实的还原特征的细节。常用的局部自适应阈值有：局部邻域块的均值和局部邻域块的高斯加权和。

由于AGV工作场地光亮不均匀，采用固定阈值方法进行二值化容易丢失许多细节，因此本发明采用局部自适应阈值方法进行二值化。附图7所示为二值化处理后的图像，图7(a)是清晰图像二值化处理结果，图7(b)是模糊图像二值化处理结果。

S3.3、定位图案的识别

AGV基本的运动方式就是直线行走，在计算机图像坐标系下，AGV行走方向为y轴负方向。因此定位图案和导航图案在y轴方向容易产生模糊，二值化处理后定位图案和导航图案在y轴方向的比例特征消失，但是x轴方向上的比例特征仍然存在，如附图7(b)所示。根据这个特征，定位图案的识别方法和步骤如下：

S3.3.1、隔行遍历图像，找出图像中每行的黑线段和白线段，并按寻找到的先后顺序放入到线段集合中；

S3.3.2、对线段集合进行顺序遍历，寻找满足黑:白:黑:白:黑＝1:1:3:1:1的五条线段组合，并计算五条线段组合的中心坐标，并放入特征中心集合；

S3.3.3、对特征中心集合进行聚类分析，排除干扰点后，如果特征中心集合的数量达到一定数量，则继续下一步；

S3.3.4、对特征中心集合中所有点的坐标值求均值作为中心坐标，也即定位图案的中心坐标。

S3.4、导航图案的识别

对定位图案识别的过程中可以得到包含所有线段的线段集合，如果通过定位图案的识别能够得到定位图案的中心，则继续进行导航图案的识别，否则直接识别下一张图像。导航图案的识别方法和步骤如下：

S3.4.1、对线段集合进行顺序遍历，寻找满足黑:白:黑:白:黑＝1:1:1:1:1的五条线段组合，并计算五条线段组合的中心坐标，并放入特征中心集合；

S3.4.2、对特征中心集合进行聚类分析，排除干扰点。由编码标志的特点可知：第三、四、五个导航图案在一条直线上，因此它们的特征中心的x轴坐标值非常接近，且第三、四、五个导航图案的特征中心的总和肯定比第一、二个导航图案的特征中心的总和多。根据以上特点和特征中心的x轴坐标值，可以将特征中心集合化分为三类，即第一个导航图案的特征中心为第一类，第二个导航图案的特征中心为第二类，第三、四、五个导航图案的特征中心为第三类类；

S3.4.3、对第一类和第二类的特征中心的坐标值进行求均值，可以得到第一、二个导航图案的中心坐标P_p1、P_p2；

S3.4.4、由编码标志的特点可知：第一、二、五个导航图案在一条直线上，因此第五个导航图案的特征中心的y轴坐标值与第一、二个导航图案中心的y轴坐标值非常接近，且第三、四个导航图案的特征中心的y轴坐标值远离第一、二个导航图案中心的y轴坐标值。根据这个特征，可以将第三类特征中心分为三类，即第三个导航图案的特征中心为第四类，第四个导航图案的特征中心为第五类，第五个导航图案的特征中心为第六类；

S3.4.5、分别对第四、五、六类特征中心分别求坐标均值，可以得到第三、四、五个导航图案的中心坐标P_p3、P_p4、P_p5。

通过以上方法对含有编码标志的图像进行处理后得到如附图8所示的结果，其中，图8(a)是清晰图像的处理结果，图8(b)是模糊图像的处理结果。

S3.5、导航参数输出

通过以上方法对导航图案的识别，可以得到AGV行驶方向上两个导航图案中心的坐标P_p3(x_p3,y_p3)、P_p4(x_p4,y_p4)。摄像头已经经过标定，f、x₀、y₀、dx、dy为已知量，将其代入公式(4)，可得到这两个特征点在投影平面坐标系下的坐标P_c3(x_c3,y_c3)、P_c4(x_c4,y_c4)。摄像头安装参数θ、H，以及这两个特征点实际相距距离为2L都为已知量，将其代入公式(10)可得到AGV的偏移角度Φ。

通过以上图像处理的方法还可以得到编码标志的中心坐标，即第五个导航图案的中心坐标P_p5(x_p5,y_p5)，由公式(4)变换得到投影平面坐标系下坐标P_c5(x_c5,y_c5)，然后将其代入公式(12)和公式(13)可得到AGV的偏移距离D和与编码标志中心的距离RD。

S3.6、编码图案定位

根据之前步骤S3.4，已经对导航图案进行了定位，根据图1可见，可以根据导航图案定位出编码图案。编码图案a可由导航点3和导航点2定位出来，编码图案b可由导航点4和导航点2定位出来，编码图案c可由导航点1和导航点4定位出来。

S3.7、透射变化

如果只依靠导航点来定位编码图案，由于AGV在进行循迹时是在不断地调整姿态，摄像头采集到的是二维码图案视角不是固定的，由此将会对分类器提出更高的要求，加大解码的难处，如图9所示。此处提出了先通过识别出的导航定位点1、2、3、4进行投射变化成新的图像，然后在新的图像上进行解码，经过仿射变化后的图像如图2所示。

S3.8、编码图案解析

编码图案如附图9所示可以分为a、b、c三个区域，a区域为组成十进制数的高位，b区域为组成十进制数的中间位，c区域为组成十进制数的低位。最终解码值＝a*100+b*10+c。每个区域中四个编码位置的顺序如附图9所示。

首先如果已经识别出了定位图案和导航图案，根据导航图案进行抠图，找出感兴趣的三个编码区域。

然后对三个编码图案进行训练集采集，通过ANN神经网络进行训练，一共有0-9十个类别。这里对每个类别分别采集了2000张图片进行训练，最终训练得到的神经网络达到了98％的准确率。

编码图案解析时，三个编码区域输入到训练好的ANN神经网络进行预测输出，最后把三个输出值按照我们规定的组合规则进行组合，最后输出最后组合值。比如a区域预测输出值为4，b区域预测输出值为5，c区域预测输出值为6，则最终的预测组合在一起为4*100+5*10+6＝456。

编码图案解析的具体步骤如下：

S3.8.1、前面已经对定位图案和导航图案进行了识别，如果识别出了定位图案和导航图案，则继续解析编码图案，否则结束。

S3.8.2、如果已经识别出了定位图案和导航图案，则根据导航标志进行定位编码图案，抠出包含数字的感兴趣区域(ROI)；

S3.8.3、把抠出来的图像输入到训练好的神经网络中，进行预测，输出其预测的值；

S3.8.4、分别对三个编码区域进行抠图，并且进行预测输出；

S3.8.5、对三个编码区域的输出值按照编码规则进行组合，得出最终的编码值。

S4、自动导航控制策略

AGV只有两种行走方式：直线行走和直角转弯，因此控制策略分为两种情况分析。

1.直线行走

AGV以固定速度v直线行驶，它的被控变量为偏移角度Φ和偏移距离D。AGV系统模型可写成如下：

闭环系统方程为：

式中U为AGV角速度的控制输入。当AGV产生偏移的时候，根据偏移角度和偏移距离向反方向施加一个偏转角速度量，使其回到编码标志所在的直线上。根据实际情况本发明采用PD控制，用如下方程表示：

闭环系统方程为：

通过实验可以得到，当Kp＝0.15，Kd＝0.05时，AGV行走效果较好。

2.直角转弯

AGV某些编码标志处需要实现直角转弯，当检测到这些编码标志时，首先计算AGV距离编码标志的距离RD，接着通过延时停止，AGV的中心刚好停止在编码标志的中心，然后原地旋转90°，最后接着进行直线行走。

综上所述，本发明提出一种基于机器学习的新型编码标志的视觉导航和定位方法，使快递分拣机器人即使在高速行驶时也能够精准导航和定位。本发明中编码标志将数字信息和二维码的优点相结合，设计出相比二维码具有信息量小、易识别、抗干扰等优点，使AGV在使用普通摄像头、且高速行驶的情况下也能够精准导航和定位，提高AGV导航与定位效率，降低设备成本。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的AGV视觉导航及定位方法包括以下步骤：

S1、编码标志的设计，提出包含定位功能、导航功能、数字信息编码功能的二维码数字编码标志，所述的二维码数字编码标志包括五个导航图案、一个定位图案和三个编码区域，其中，五个导航图案是中间一个，四周分别有四个，四周的导航图案距离中心的导航图案的距离为L，一个定位图案和三个编码区域依次位于四周相邻的导航图案之间，

其中，所述的定位图案具有旋转不变性，定位图案以任何角度摆放，逐行扫描图案都满足：

黑边:白边:黑边:白边:黑边＝1:1:3:1:1；

所述的导航图案也具有旋转不变性，导航图案以任何角度摆放，逐行扫描图案都满足：

黑边:白边:黑边:白边:黑边＝1:1:1:1:1；

每个编码区域分别绘制0-9的数字图案，编码规则如下：

编码位置一共有a，b，c三个编码区域，定义编码位置的顺序，编码位置上0-9的数字代表有效编码，a区域为组成十进制数的高位，b区域为组成十进制数的中间位，c区域为组成十进制数的低位，最终解码值＝a*100+b*10+c；

AGV行走路径采用栅格形路径，AGV行走方式包括直线行走和直角转弯，二维码数字编码标志在路径上的布置规则如下：

(1)路段与路段的交点处布置编码标志，用于AGV识别交叉路口；

(2)路段中间点布置编码标志，AGV读取到路段中间的编码标志并发送给上位机系统，上位机系统告诉AGV是通过前方交叉路口还是等待通过；

S2、构建AGV视觉系统模型，用于AGV快速识别编码标志，同时在计算机坐标系和世界坐标系中互相转换；

S3、编码标志快速识别，根据二维码数字编码标志特点采用解码算法，包括编码标志图像预处理、定位图案识别、导航图案识别、编码区域信息分析，保证AGV视觉系统模型快速精确地解析编码标志信息；

S4、自动导航控制策略，设计AGV执行编码标志指令信息的方式，利用比例-微分控制器，使AGV通过从编码标志获取偏离角度和偏离距离，从而调整行进姿态。

2.根据权利要求1所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S2、构建AGV视觉系统模型的过程如下：

将X_ωY_ωZ_ω表示世界坐标系，Y_ω轴垂直于地面，Z_ω轴在编码标志组成的直线上，将X_CCDY_CCDZ_CCD示摄像机坐标系，坐标轴原点O_CCD为光心，Z_CCD轴与摄像机光轴重合，方向指向景物方向，X_CY_C表示投影图像坐标系，坐标原点O_C为摄像机光轴与投影图像平面的交点，O_C与O_CCD之间的距离表示焦距f，将x_py_p表示计算机图像坐标系，以图像左上角为图像原点，x_p轴正方向为从左至右，y_p轴正方向为从上至下；由于摄像机需要采集地面上的图像，所以摄像机的安装与水平线有一定角度θ，即光轴与水平方向的夹角为θ，摄像机离地面高度为H，假设AGV不在编码标志所在直线上，即存在一定的偏移角度和偏移距离，设偏移夹角为Φ，即摄像机光轴与Z_ω轴正方向的夹角，摄像机在X_ω轴正方向的偏移距离为D，在Z_ω轴正方向距离世界坐标系原点的距离为S；

设某一特征点在世界坐标系的坐标为P_ω(X_ω,Y_ω,Z_ω)，在摄像机坐标系下对应的坐标为P_CCD(X_CCD,Y_CCD,Z_CCD)，两者存在如下转换关系：

摄像机的成像以针孔模型为基础，根据投影关系，得到该特征点在投影平面坐标系下的坐标P_c(x_c,y_c)：

因为所有的编码标志都放置在地面，所以编码标志上特征点在世界坐标系下Y_ω轴坐标值为0，设该特征点在计算机图像坐标系下的坐标为P_p(x_p,y_p)，投影平面坐标系的单位为一连续变量，而计算机图像坐标系的单位为像素，存在如下转换关系：

式中dx,dy表示CCD在x,y轴单位像素的间距，单位为mm/像素，x₀,y₀表示投影平面坐标系原点O_c在计算机图像坐标系下的坐标；

假设通过图像处理能够得到某一特征点在计算机图像坐标系下的坐标P_p(x_p,y_p)，通过公式(4)变换能够得到该特征点在投影平面坐标系下的坐标P_c(x_c,y_c)，将坐标P_c(x_c,y_c)代入公式(3)得如下两个等式：

将公式(6)两边除以(fsinθ-y_ccosθ)得到如下公式：

当摄像机采集到一帧含有编码路标的图像时，通过图像处理能够得到五个导航图案的中心在计算机图像坐标系下的坐标，然后通过公式(4)转换成投影平面坐标系下的坐标P_c1(x_c1,y_c1)…P_c5(x_c5,y_c5)，它们分别对应第一到第五个导航图案，编码标志图案中第三和第四个导航图案位于编码标志的中心线上，且距离为2L，将P_c3，P_c4两点分别代入公式(7)得到如下两个等式：

式中Z_ω3、Z_ω4分别是P_c3、P_c4在世界坐标系Z_ω方向的坐标值，式中X_ω3、X_ω4分别是P_c3、P_c4在世界坐标系X_ω方向的坐标值，因此Z_ω3-Z_ω4＝2L，X_ω3-X_ω4＝0，然后将公式(8)减去公式(9)并整理后得到：

将Φ代入公式(5)和公式(6)得到一个未知量为D和Z_w-S的方程组，写成矩阵形式为：

用RD表示相对距离Z_w-S，即摄像机距离特征点P_c(x_c,y_c)的距离，则解得：

摄像机经过标定后，f为已知的，且特征点P_c3，P_c4在Z_ω轴上，因此X_ω＝0，通过图像处理获取第三和第四个导航图案在计算机图像坐标系下的坐标，就能够得到AGV姿态偏移的两个量，即偏移角Φ和偏移中心线的位移D，并得到AGV距离特征点的距离RD。

3.根据权利要求2所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S3、编码标志快速识别的过程如下：

S3.1、将摄像头采集的原始彩色图像进行灰度化处理得到灰度图像；

S3.2、对灰度图像进行二值化处理；

S3.3、对定位图案进行识别；

S3.4、对导航图案进行识别；

S3.5、输出导航参数，通过以上方法对导航图案进行识别后得到AGV行驶方向上两个导航图案中心的坐标P_p3(x_p3,y_p3)、P_p4(x_p4,y_p4)，摄像头已经经过标定，f、x₀、y₀、dx、dy为已知量，将其代入公式(4)，得到这两个特征点在投影平面坐标系下的坐标P_c3(x_c3,y_c3)、P_c4(x_c4,y_c4)，摄像头安装参数θ、H，以及这两个特征点实际相距距离为2L都为已知量，将其代入公式(10)得到AGV的偏移角度Φ，通过图像处理方法得到编码标志的中心坐标，即第五个导航图案的中心坐标P_p5(x_p5,y_p5)，由公式(4)变换得到投影平面坐标系下坐标P_c5(x_c5,y_c5)，然后将其代入公式(12)和公式(13)得到AGV的偏移距离D和与编码标志中心的距离RD；

S3.6、对编码图案进行定位；

S3.7、透射变化，先通过对识别出的导航定位点进行投射变化成新的图像，然后在新的图像上进行解码得到仿射变化后的图像；

S3.8、编码图案解析，得出最终的编码值。

4.根据权利要求3所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S3.1、将摄像头采集的原始彩色图像进行灰度化处理过程如下：

选用加权平均法对图像进行灰度化，计算方法如下：

F(x,y)＝[R(x,y)W_r+G(x,y)W_g+B(x,y)W_b] (14)

F(x,y)是坐标值为(x,y)的像素的灰度值，R(x,y)、G(x,y)、B(x,y)分别为该点像素R、G、B分量，W_r、W_g、W_b分别为R、G、B对应的权值。

5.根据权利要求3所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S3.2、对灰度图像进行二值化处理中，采用全局固定阈值和局部自适应阈值作为二值化阈值。

6.根据权利要求3所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S3.3、对定位图案进行识别的过程如下：

S3.3.1、隔行遍历图像，找出图像中每行的黑线段和白线段，并按寻找到的先后顺序放入到线段集合中；

S3.3.2、对线段集合进行顺序遍历，寻找满足黑:白:黑:白:黑＝1:1:3:1:1的五条线段组合，并计算五条线段组合的中心坐标，并放入特征中心集合；

S3.3.3、对特征中心集合进行聚类分析，排除干扰点后，如果特征中心集合的数量达到一定数量，则继续下一步；

S3.3.4、对特征中心集合中所有点的坐标值求均值作为中心坐标，也即定位图案的中心坐标。

7.根据权利要求3所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S3.4、对导航图案进行识别的过程如下：

S3.4.1、对线段集合进行顺序遍历，寻找满足黑:白:黑:白:黑＝1:1:1:1:1的五条线段组合，并计算五条线段组合的中心坐标，并放入特征中心集合；

S3.4.2、对特征中心集合进行聚类分析，排除干扰点，由编码标志的特点可知第三、四、五个导航图案在一条直线上，因此它们的特征中心的x轴坐标值非常接近，且第三、四、五个导航图案的特征中心的总和肯定比第一、二个导航图案的特征中心的总和多。根据以上特点和特征中心的x轴坐标值，可以将特征中心集合化分为三类，即第一个导航图案的特征中心为第一类，第二个导航图案的特征中心为第二类，第三、四、五个导航图案的特征中心为第三类类；

S3.4.3、对第一类和第二类的特征中心的坐标值进行求均值，可以得到第一、二个导航图案的中心坐标P_p1、P_p2；

S3.4.4、由编码标志的特点可知：第一、二、五个导航图案在一条直线上，因此第五个导航图案的特征中心的y轴坐标值与第一、二个导航图案中心的y轴坐标值非常接近，且第三、四个导航图案的特征中心的y轴坐标值远离第一、二个导航图案中心的y轴坐标值，根据这个特征，将第三类特征中心分为三类，即第三个导航图案的特征中心为第四类，第四个导航图案的特征中心为第五类，第五个导航图案的特征中心为第六类；

S3.4.5、分别对第四、五、六类特征中心分别求坐标均值，得到第三、四、五个导航图案的中心坐标P_p3、P_p4、P_p5。

8.根据权利要求3所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S3.8、编码图案解析的过程如下：

根据导航图案进行抠图，抠出包含数字的三个编码区域；

将三个编码区域输入到训练好的ANN神经网络进行预测输出；

对三个编码区域的输出值按照编码规则进行组合，得出最终的编码值。

9.根据权利要求3所述的一种基于新型编码标志的AGV视觉导航及定位方法，其特征在于，所述的步骤S4、自动导航控制策略包括直线行走和直角转弯，其中，

当AGV直线行走时，AGV以固定速度v直线行驶，它的被控变量为偏移角度Φ和偏移距离D，AGV系统模型写成如下：

闭环系统方程为：

式中U为AGV角速度的控制输入，当AGV产生偏移的时候，根据偏移角度和偏移距离向反方向施加一个偏转角速度量，使其回到编码标志所在的直线上，采用PD控制，用如下方程表示：

闭环系统方程为：

当AGV直角转弯时，此时AGV检测到某些编码标志处需要实现直角转弯，首先计算AGV距离编码标志的距离RD，接着通过延时停止，AGV的中心刚好停止在编码标志的中心，然后原地旋转90°，最后接着进行直线行走。

Images