CN110703773A - 一种使用圆和编码光源作为标识物进行agv定位的方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种使用圆和编码光源作为标识物进行AGV定位的方法，制作标识物；截取图像帧，检测该帧图像中的大圆形孔，获取大圆形孔在图像坐标系下的一般方程；利用射影几何的方法计算大圆形孔的圆心；建立初始坐标系；对检测到的大圆形孔进行跟踪，使用射影几何的方法计算大圆形孔的圆心；计算当前帧像平面和标识物平面的单应性矩阵；对时分编码光源进行跟踪与解码；计算AGV上相机光心在场景坐标系下的坐标；判断AGV相机拍摄是否结束。本发明提升了AGV视觉定位的抗干扰能力，降低了数据处理量，具有成本低、精度高、实时性好的优点，可用于自动化工业机器人在实际场景的精确定位。

Description

一种使用圆和编码光源作为标识物进行AGV定位的方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种使用圆和编码光源作为标识物进行AGV定位的方法。

背景技术

目前，最接近的现有技术：自动导引车(AGV,Automated Guided Vehicle)是一种装备有电磁、超声波、激光等自动导航装置，在没有外界人员干预和操控的情况下，能够按照规定路径精确行驶，自动完成移载作业任务的功能型运输车。AGV依靠车载传感器采集外界信号，确定所处工作空间位置及姿态信息，这个过程称作定位。目前AGV在工业应用中，存在多种定位方法：采用GPS、WIFI、蓝牙等无线定位精度较低，且在被建筑物遮挡的车间中易受到干扰；采用磁导引方法进行定位成本较低且定位结构简单，但AGV只能在固定路线上行驶；采用激光导引定位精度较高，但其成本较高。而目前使用计算机视觉对AGV进行导引定位的方案普遍使用不能自发光的标识物，且在整幅图像中提取目标标识物的几何特征从而确定标识物的图像坐标，因此具有抗干扰能力差、数据处理量大、实时性差的缺点。

西安电子科技大学在其申请的专利“利用编码光源为标志物的增强现实三维注册方法”(申请日：2016年7月1日，申请号：201610511507.2，公开号：106204744B)中公开了一种利用编码光源为标志物进行三维注册的方法。该方法利用自然场景中空间位置坐标已知且拟作为标志的光源进行时分编码，跟踪视频图像中检测到的光源，对跟踪到的光源进行解码，从而确定的视频设备在自然场景中的旋转矩阵和平移向量。但该方法中存在的不足之处是：只使用了编码光源作为标识物，因此对编码光源的初定位比较困难，不适合AGV在复杂场景下的应用。因此，将这种方法中提到的编码光源和标识物结合起来，仅使用单个相机就可以完成AGV在实际场景的定位。

综上所述，现有技术存在的问题是：

(1)目前使用计算机视觉对AGV进行导引定位的方案抗干扰能力差、数据处理量大、实时性差。

(2)目前采用GPS、WIFI、蓝牙等无线方法进行AGV导引定位精度较低，采用磁导引方法进行定位AGV只能在固定路线上行驶；采用激光导引定位精度较高，但其成本较高。

解决上述技术问题的难度：

AGV机器人自主行驶的先决条件就是有效的定位，而AGV在移动过程中的定位，又是一个更为困难的问题。之前大多数基于计算机视觉的AGV定位方法都存在可靠性差、数据处理量大、实时性差的缺点，因此无法直接投入商业应用中。且之前采用计算机视觉进行AGV定位的方法，如果使用相同标识物，则无法确定AGV上相机拍摄到的标识物在场景中的位置，从而无法完成在大场景中的定位，如果使用不同标识物可以完成AGV在大场景中的定位，但由于标识物不同，因此难以完成大量标识物的加工制造。

解决上述技术问题的意义：

采用计算机视觉作为AGV的主要导航方式具有成本低，精度高，安装精度要求低等优点，但目前主要受限于靠性差、数据处理量大、实时性差等缺点迟迟不能广泛应用于实际工业场景。因此，设计一种实时性好、精度高、抗干扰能力强的AGV视觉定位方案具有很高应用价值。

发明内容

针对现有技术存在的问题，本发明提供了一种使用圆和编码光源作为标识物进行AGV定位的方法。

本发明是这样实现的，一种使用圆和编码光源作为标识物进行AGV定位的方法，所述使用圆和编码光源作为标识物进行AGV定位的方法采用黑色背景下的高亮圆形与编码光源结合作为标识物的方法，使用单个相机完成AGV在实际场景下的定位；通过对标识物的检测和计算获得AGV上相机坐标系相对于标识物坐标系的旋转矩阵和平移向量；通过对编码光源的解码来获得当前标识物坐标系相对于场景坐标系的旋转矩阵和平移向量；利用坐标系之间的相对位姿关系进行计算，获得AGV在实际场景的坐标和姿态信息。

进一步，所述使用圆和编码光源作为标识物进行AGV定位的方法包括以下步骤：

第一步，标识物使用有白色匀光板灯箱作为背景光源，在匀光板上贴上有两个大圆形孔和一个小圆形孔的黑色不透明贴纸；在匀光板开一个与不透明贴纸上小圆孔直径和位置完全相同的孔，使得时分编码光源的光线能够穿过匀光板和黑色不透明贴纸；

第二步，检测图像中的大圆形孔，获取大圆形孔在图像坐标系下的方程；截取视频一帧，在该帧图像上从左到右，从上到下每隔40个像素产生一个种子点；判断种子点所在位置的灰度值，如果该灰度值大于某一阈值，则认为该种子点可能位于圆形孔内；对于可能在圆形孔内的种子点，在该种子点的0°,45°,90°,135°,180°,225°,270°,315°八个方向上进行边缘搜索；若该种子点每个方向上都存在边缘点，则可以认为该种子点位于一个连通域内；对该种子点搜索出来的八个边缘点进行亚像素边缘检测，使用最小二乘法获得椭圆的一般方程的各项系数，椭圆一般方程如下所示：

其中a,b,c,d,e,f为所求椭圆的系数。分别计算八个方向的点和拟合的二次曲线的Sampson距离。对距离求和即为拟合总误差，误差表达式如下：

ΔE＝ΔE₁+ΔE₂+ΔE₃+……+ΔE₈；

其中ΔE表示拟合的总误差，ΔE_i表示八个方向点距离拟合椭圆的Sampson距离,C是二次曲线的系数方阵，x是边缘点坐标的齐次表示x＝[x_e y_e 1]^T；若计算出来的ΔE小于某一个阈值，则该种子点所在的连通域是一个椭圆；对于之后的种子点，先判断该种子点是否在已拟合的椭圆内，如果在已拟合的椭圆内则不进行操作，否则进行相同的操作；获得C_i为大圆孔在图像坐标系下的系数方阵；

第三步，利用射影几何的方法计算大圆形孔的圆心；根据绝对二次曲线的定义，使用标定好的相机内参K计算绝对二次曲线：

ω＝(KK^T)^-1；

平面π上的所有圆和Ω_∞交于两点，两点位于π和π_∞两平面的交线上，获得C_i和ω的交点的点集A：

A＝{x|x^TC_ix＝0,x^Tωx＝0}；

对点集A中的所有点使用最小二乘法进行直线拟合，获取无穷远直线在像平面的投影l_vanish＝[m n 1]^T；根据极点极线关系可知极点圆心所对应的极线是无穷远直线，根据下式求出圆心坐标：

为第i个大圆孔在图像坐标系下系数方阵的逆，O_i为第i个大圆孔在图像坐标系下的圆心的齐次坐标；

第四步，建立初始坐标系；计算连接相邻两圆心之间直线方程的系数：

l_y＝O_i×O_j；

以该直线作为y轴，根据极点极线关系，以两圆心连线作为y轴，计算两圆心连线对应的x方向的无穷远点：

X_i∞＝Cl_ij；

X_i∞是通过计算得出的x方向的无穷远点，在每个圆心处建立候选坐标系，候选坐标系x轴方程为l_xi；

l_xi＝O_i×X_i∞；

确定标识物上大圆孔和拍摄帧中大圆孔的对应关系，使用时分编码光源做辅助判断；在每个候选坐标系的x轴上的一定范围内寻找局部极大值点；

第五步，大圆形孔的跟踪和圆心计算；截取新的一帧图像，以前一帧图像的检测到的大圆形孔的圆心作为当前帧的种子点，在该种子点的0°,45°,90°,135°,180°,225°,270°,315°八个方向上进行边缘搜索，对该种子点搜索出来的八个边缘点进行亚像素边缘检测，之后使用最小二乘法获得椭圆的一般方程的各项系数；再利用射影几何的方法计算当前帧圆形孔的圆心；

第六步，联立直线和椭圆方程计算标识物上各点在图像上的对应点的位置，使用最小二乘法获得前帧像平面和标识物平面的单应性矩阵；计算当前帧像平面和标识物平面的单应性矩阵H；利用当前帧圆心以及圆孔和时分编码光源的相对位置关系建立当前帧的坐标系；分别联立该坐标系平行于x轴的直线，y轴直线和椭圆的一般方程，求得y轴和x轴与椭圆的交点；

使用计算出来的图像中交点的坐标和该交点在标识物坐标系下对应点的坐标建立方程，利用最小二乘法获得像平面和标识物平面的单应性矩阵H，使得；

x_cam＝Hx_marker；

x_cam是图像坐标系下点的齐次坐标，x_marker标识物坐标系下对应点的齐次坐标；

第七步，使用单应性矩阵和编码光源在标识物坐标系下的坐标计算编码光源在图像中的坐标；计算该坐标点周围的平均灰度，若平均灰度大于某一阈值，则认为该帧编码光源是处于亮的状态，否则认为该帧编码光源是处于灭的状态；记录完整编码周期内图像帧中的编码光源的亮灭状态，获得每个光源的解码序列；时分编码光源在标识物坐标系的齐次坐标表示为x_light，使用单应性矩阵H计算时分编码光源在图像坐标系中的位置；

x_camlight＝Hx_light；

x_camlight为时分编码光源在图像坐标系中点的坐标，以该点为中心建立一个7×7的矩形窗口作为时分编码光源的跟踪窗口；

在每一帧计算时分编码光源跟踪窗口所在位置，并计算该窗口内平均灰度值；若平均灰度值大于某一阈值，则认为该帧编码光源是处于亮的状态，否则认为该帧编码光源是处于灭的状态；将光源亮时的解码设定为1，将光源灭时的解码设定为0；记录完整编码周期内图像帧中的编码光源的亮灭状态，获得与每个光源在视频图像中的亮灭状态对应的(0,1)解码序列；

第八步，通过单应性矩阵和相机内参计算相机坐标系相对于标识物坐标系的旋转矩阵和平移向量，对比解码序列可以获得标识物坐标系相对于实际场景坐标系的旋转矩阵和平移向量；利用坐标系之间的相对位姿关系进行计算，获得AGV在场景坐标系下的坐标和姿态信息；计算AGV上相机光心在场景坐标系下的坐标，通过像平面和标识物平面的单应性矩阵H，以及相机内参矩阵K，通过下式求出相机坐标系和标识物坐标系之间的旋转矩阵和平移向量；

λ[r₁ r₂ t]＝K^-1H；

r₁和r₂是旋转矩阵的第一和第二列，t是平移向量，λ是比例因子；因为旋转矩阵是一个单位正交矩阵，有以下约束：

r₁×r₂＝r₃；

r₃旋转矩阵的第三列，通过约束获得一个标准化的外参数M_c矩阵描述相机坐标系和标识物坐标系之间的关系；

R_c是一个3×3的旋转矩阵，t_c是一个3×1的平移向量；寻找与解码序列相同的编码光源在场景坐标系中的位置，获得当前AGV上相机拍摄到的标识物坐标系相对于场景坐标系的旋转平移矩阵M_s；

R_s是一个3×3的旋转矩阵，t_s是一个3×1的平移向量，计算AGV机器人上相机在场景坐标系下的坐标为：

第九步，判断相机拍摄是否结束：若是，则结束；若否，则返回第五步。

进一步，所述第二步检测图像中的大圆形孔，获取大圆形孔在图像坐标系下的方程具体包括：

(1)在AGV相机连续拍摄的视频流中截取一帧；

(2)在截取图像帧中检测连通域，使用最小二乘法将连通域拟合为椭圆，使用Sampson距离作为拟合误差，若拟合误差小于某一阈值，则认为该连通域是椭圆。判断检测到圆形孔的数量是否小于2个：若是，返回(1)，若否，执行第三步。

进一步，所述第三步利用射影几何的方法计算大圆形孔的圆心具体包括：

(1)根据射影几何中绝对二次曲线的定义使用标定好的相机内参计算绝对二次曲线；

(2)计算绝对二次曲线和大圆形孔在图像中的交点，利用交点拟合消影线；

(3)利用极点极线关系，计算大圆孔圆心在图像坐标系中的坐标。

进一步，所述第四步建立初始坐标系具体包括：

(1)以两圆心的连线作为y轴，用极点极线关系在每个圆心处建立候选坐标系，在每个候选坐标系x轴方向检测编码光源是否存在；

(2)若该帧没有检测到任何编码光源，则返回计算绝对二次曲线和大圆形孔在图像中的交点，利用交点拟合消影线；否则，以含有编码光源的候选x轴作为x轴，两圆心连线作为y轴建立初始坐标系。

进一步，所述第五步大圆形孔的跟踪和圆心计算具体包括：

(1)截取一帧图像，对大圆形孔进行跟踪并且计算大圆孔的一般方程，判断跟踪到大圆形孔的数量是否小于2个：若是，返回在截取图像帧中检测连通域，使用最小二乘法将连通域拟合为椭圆，使用Sampson距离作为拟合误差，若否，执行(2)；

(2)利用射影几何的方法计算大圆形孔的圆心。

本发明的另一目的在于提供一种应用所述使用圆和编码光源作为标识物进行AGV定位的方法的计算机视觉处理系统。

综上所述，本发明的优点及积极效果为：本发明使用高亮圆形与编码光源结合作为标识物进行AGV高精度定位的新方法，通过新标识物以及新检测方法的设计，提升了AGV视觉定位的抗干扰能力，降低了数据处理量，具有成本低、精度高、实时性好的优点，此外还可以进行暗光条件下视觉定位。

与现有技术相比，本发明具有以下优势：

(1)本发明通过新标识物以及新检测方法的设计，只需要检测和跟踪视频图像中少量的点就可以完成AGV的定位，克服了现有技术的在视频图像中进行大量特征点检测和特征匹配时计算量庞大的不足，提高了检测速度。

(2)本发明的标识物和时分编码光源都是可以自发光，可以避免由于光线条件变化对于AGV定位精度的影响，此外还可以在暗光或者无光条件下进行AGV定位，提升了定位系统的鲁棒性。

(3)本发明在计算AGV相对场景情况位置时加入了时分编码光源，通过在场景不同位置使用不同编码的光源，可以判断当前AGV相机拍摄到的标识物在实际场景中的位置，从而仅使用单个相机就可以完成AGV在实际场景的定位。

附图说明

图1是本发明实施例提供的使用圆和编码光源作为标识物进行AGV定位的方法流程图。

图2是本发明实施例提供的使用圆和编码光源作为标识物进行AGV定位的方法实现流程图。

图3是本发明实施例提供的设计的标识物立体示意图。

图4是本发明实施例提供的标识物的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种使用圆和编码光源作为标识物进行AGV定位的方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的使用圆和编码光源作为标识物进行AGV定位的方法包括以下步骤：

S101：标识物使用有白色匀光板灯箱作为背景光源，在匀光板上贴上有两个大圆形孔和一个小圆形孔的黑色不透明贴纸；在匀光板开一个与不透明贴纸上小圆孔直径和位置完全相同的孔，使得时分编码光源的光线能够穿过匀光板和黑色不透明贴纸；

S102：检测图像中的大圆形孔，获取大圆形孔在图像坐标系下的方程；

S103：利用射影几何的方法计算大圆形孔的圆心；

S104：建立初始坐标系：

S105：大圆形孔的跟踪和圆心计算；

S106：联立直线和椭圆方程计算标识物上各点在图像上的对应点的位置，使用最小二乘法获得前帧像平面和标识物平面的单应性矩阵；

S107：使用单应性矩阵H和编码光源在标识物坐标系下的坐标计算编码光源在图像中的坐标。计算该坐标点周围的平均灰度，若平均灰度大于某一阈值，则认为该帧编码光源是处于亮的状态，否则认为该帧编码光源是处于灭的状态。记录完整编码周期内图像帧中的编码光源的亮灭状态，就可以获得每个光源的解码序列；

S108：通过单应性矩阵和相机内参计算相机坐标系相对于标识物坐标系的旋转矩阵和平移向量，对比解码序列可以获得标识物坐标系相对于实际场景坐标系的旋转矩阵和平移向量。利用坐标系之间的相对位姿关系进行计算，就可以获得AGV在场景坐标系下的坐标和姿态信息；

S109：判断相机拍摄是否结束：若是，则结束；若否，则返回S105。

在本发明的优选实施例中，步骤S102具体包括：

(1)在AGV相机连续拍摄的视频流中截取一帧；

(2)在截取图像帧中检测连通域，使用最小二乘法将连通域拟合为椭圆，使用Sampson距离作为拟合误差，若拟合误差小于某一阈值，则认为该连通域是椭圆。判断检测到圆形孔的数量是否小于2个：若是，返回(1)，若否，执行S103；

在本发明的优选实施例中，步骤S103具体包括：

(1)根据射影几何中绝对二次曲线的定义使用标定好的相机内参计算绝对二次曲线；

(2)计算绝对二次曲线和大圆形孔在图像中的交点，利用交点拟合消影线；

(3)利用极点极线关系，计算大圆孔圆心在图像坐标系中的坐标。

在本发明的优选实施例中，步骤S104具体包括：

(1)以两圆心的连线作为y轴，用极点极线关系在每个圆心处建立候选坐标系，在每个候选坐标系x轴方向检测编码光源是否存在；

(2)若该帧没有检测到任何编码光源，则返回计算绝对二次曲线和大圆形孔在图像中的交点，利用交点拟合消影线；否则，以含有编码光源的候选x轴作为x轴，两圆心连线作为y轴建立初始坐标系。

在本发明的优选实施例中，步骤S105具体包括：

(1)截取一帧图像，对大圆形孔进行跟踪并且计算大圆孔的一般方程，判断跟踪到大圆形孔的数量是否小于2个：若是，返回S102(2)，若否，执行(2)；

(2)利用射影几何的方法计算大圆形孔的圆心。

下面结合附图对本发明的技术方案作进一步的描述。

如图2所示，本发明实施例提供的使用圆和编码光源作为标识物进行AGV定位的方法具体包括以下步骤：

步骤一，制作标识物。

本发明的时分编码硬件电路，对场景坐标系下坐标已知的光源进行通断控制，每个光源在视频图像的连续25帧中呈现不同的亮灭变化。本发明标识物使用有白色匀光板灯箱作为背景光源，在匀光板上贴上含有标识信息的黑色不透明贴纸。黑色不透明贴纸上有两个直径为50mm的大圆形孔和一个直径为3mm的小圆形孔。在匀光板开一个与不透明贴纸上小圆孔直径和位置完全相同的孔，使得时分编码光源的光线能够穿过匀光板和黑色不透明贴纸。标识物立体图见图3，标识物的正视图见图4。

步骤二，检测图像上大圆形孔，获取大圆形孔在图像坐标系下一般方程。

截取视频一帧，在该帧图像上从左到右，从上到下每隔40个像素产生一个种子点。判断种子点所在位置的灰度值，如果该灰度值大于某一阈值，则可以认为该种子点可能位于圆形孔内。对于可能在圆形孔内的种子点，在该种子点的0°,45°,90°,135°,180°,225°,270°,315°八个方向上进行边缘搜索。若该种子点每个方向上都存在边缘点，则可以认为该种子点位于一个连通域内。对该种子点搜索出来的八个边缘点进行亚像素边缘检测，之后使用最小二乘法获得椭圆的一般方程的各项系数。椭圆一般方程如下所示：

其中a,b,c,d,e,f为所求椭圆的系数。分别计算八个方向的点和拟合的二次曲线的Sampson距离。对距离求和即为拟合总误差，误差表达式如下：

ΔE＝ΔE₁+ΔE₂+ΔE₃+……+ΔE₈；

其中ΔE表示拟合的总误差，ΔE_i表示八个方向点距离拟合椭圆的Sampson距离,C是二次曲线的系数方阵，x是边缘点坐标的齐次表示x＝[x_e y_e 1]^T。若计算出来的ΔE小于某一个阈值，则认为该种子点所在的连通域是一个椭圆。

对于之后的种子点，先判断该种子点是否在已拟合的椭圆内，如果在已拟合的椭圆内则不进行操作，否则进行相同的操作。最后可以获得C_i为大圆孔在图像坐标系下的系数方阵。

判断当前帧检测到的大圆形孔的数量是否小于2个，若是，则返回步骤二，若否，则执行步骤三。

步骤三，利用射影几何的方法计算大圆形孔的圆心。

根据绝对二次曲线的定义，使用标定好的相机内参K计算绝对二次曲线：

ω＝(KK^T)^-1；

平面π上的所有圆和Ω_∞交于两点，这两点位于π和π_∞两平面的交线上。由上述关系，可以获得C_i和ω的交点的点集A：

A＝{x|x^TC_ix＝0,x^Tωx＝0}；

对点集A中的所有点使用最小二乘法进行直线拟合，获取无穷远直线在像平面的投影l_vanish＝[m n 1]^T。根据极点极线关系可知极点圆心所对应的极线是无穷远直线，因此可以根据下式求出圆心坐标：

为第i个大圆孔在图像坐标系下系数方阵的逆，O_i为第i个大圆孔在图像坐标系下的圆心的齐次坐标。

步骤四，建立初始坐标系。

计算连接相邻两圆心之间直线方程的系数：

l_y＝O_i×O_j；

以该直线作为y轴。根据极点极线关系，以两圆心连线作为y轴，计算两圆心连线对应的x方向的无穷远点：

X_i∞＝Cl_ij；

X_i∞是通过计算得出的x方向的无穷远点。在每个圆心处建立候选坐标系，候选坐标系x轴方程为l_xi。

l_xi＝O_i×X_i∞；

由于标识物上大圆孔参数完全相同，因此无法直接确定标识物上大圆孔和拍摄帧中大圆孔的对应关系，需要使用时分编码光源做辅助判断。

在每个候选坐标系的x轴上的一定范围内寻找局部极大值点。判断是否在帧图像中找到了局部极大值点，若是，则以含有编码光源的候选x轴作为x轴，两圆心连线作为y轴建立初始坐标系，若否，返回步骤二。

步骤五，大圆形孔的跟踪和圆心计算。

截取新的一帧图像，以前一帧图像的检测到的大圆形孔的圆心作为当前帧的种子点，在该种子点的0°,45°,90°,135°,180°,225°,270°,315°八个方向上进行边缘搜索，对该种子点搜索出来的八个边缘点进行亚像素边缘检测，之后使用最小二乘法获得椭圆的一般方程的各项系数。再利用射影几何的方法计算当前帧圆形孔的圆心。

判断当前帧跟踪到的大圆形孔的数量是否小于2个，若是，则返回步骤二，若否，则执行步骤六。

步骤六，计算当前帧像平面和标识物平面的单应性矩阵H。

利用当前帧圆心以及圆孔和时分编码光源的相对位置关系建立当前帧的坐标系。分别联立该坐标系平行于x轴的直线，y轴直线和椭圆的一般方程，可求得y轴和x轴与椭圆的交点；

使用计算出来的图像中交点的坐标和该交点在标识物坐标系下对应点的坐标建立方程，利用最小二乘法获得像平面和标识物平面的单应性矩阵H，使得；

x_cam＝Hx_marker；

x_cam是图像坐标系下点的齐次坐标，x_marker标识物坐标系下对应点的齐次坐标。

步骤七，时分编码光源的跟踪与解码。

时分编码光源在标识物坐标系的齐次坐标可以表示为x_light，使用单应性矩阵H可以计算时分编码光源在图像坐标系中的位置；

x_camlight＝Hx_light；

x_camlight为时分编码光源在图像坐标系中点的坐标，以该点为中心建立一个7×7的矩形窗口作为时分编码光源的跟踪窗口。

在每一帧计算时分编码光源跟踪窗口所在位置，并计算该窗口内平均灰度值。若平均灰度值大于某一阈值，则认为该帧编码光源是处于亮的状态，否则认为该帧编码光源是处于灭的状态。将光源亮时的解码设定为1，将光源灭时的解码设定为0。记录完整编码周期内图像帧中的编码光源的亮灭状态，就可以获得与每个光源在视频图像中的亮灭状态对应的(0,1)解码序列。

步骤八，计算AGV上相机光心在场景坐标系下的坐标，通过像平面和标识物平面的单应性矩阵H，以及相机内参矩阵K，可以通过下式求出相机坐标系和标识物坐标系之间的旋转矩阵和平移向量；

λ[r₁ r₂ t]＝K^-1H；

r₁和r₂是旋转矩阵的第一和第二列，t是平移向量，λ是比例因子。因为旋转矩阵是一个单位正交矩阵，因此有以下约束：

r₁×r₂＝r₃；

r₃旋转矩阵的第三列。通过上述约束可以获得一个标准化的外参数M_c矩阵来描述相机坐标系和标识物坐标系之间的关系；

R_c是一个3×3的旋转矩阵，t_c是一个3×1的平移向量。寻找与解码序列相同的编码光源在场景坐标系中的位置，就可以获得当前AGV上相机拍摄到的标识物坐标系相对于场景坐标系的旋转平移矩阵M_s；

R_s是一个3×3的旋转矩阵，t_s是一个3×1的平移向量。因此可以计算AGV机器人上相机在场景坐标系下的坐标为：

步骤九，判断相机拍摄是否结束：若是，则结束；若否，则返回步骤五。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种使用圆和编码光源作为标识物进行AGV定位的方法，其特征在于，所述使用圆和编码光源作为标识物进行AGV定位的方法采用黑色背景下的高亮圆形与编码光源结合作为标识物的方法，使用单个相机完成AGV在实际场景下的定位；通过对标识物的检测和计算获得AGV上相机坐标系相对于标识物坐标系的旋转矩阵和平移向量；通过对编码光源的解码来获得当前标识物坐标系相对于场景坐标系的旋转矩阵和平移向量；利用坐标系之间的相对位姿关系进行计算，获得AGV在实际场景的坐标和姿态信息。

2.如权利要求1所述的使用圆和编码光源作为标识物进行AGV定位的方法，其特征在于，所述使用圆和编码光源作为标识物进行AGV定位的方法包括以下步骤：

第一步，标识物使用有白色匀光板灯箱作为背景光源，在匀光板上贴上有两个大圆形孔和一个小圆形孔的黑色不透明贴纸；在匀光板开一个与不透明贴纸上小圆孔直径和位置完全相同的孔，使得时分编码光源的光线能够穿过匀光板和黑色不透明贴纸；

第二步，检测图像中的大圆形孔，获取大圆形孔在图像坐标系下的方程；截取视频一帧，在该帧图像上从左到右，从上到下每隔40个像素产生一个种子点；判断种子点所在位置的灰度值，如果该灰度值大于某一阈值，则认为该种子点可能位于圆形孔内；对于可能在圆形孔内的种子点，在该种子点的0°,45°,90°,135°,180°,225°,270°,315°八个方向上进行边缘搜索；若该种子点每个方向上都存在边缘点，则可以认为该种子点位于一个连通域内；对该种子点搜索出来的八个边缘点进行亚像素边缘检测，使用最小二乘法获得椭圆的一般方程的各项系数，椭圆一般方程如下所示：

其中a,b,c,d,e,f为所求椭圆的系数，分别计算八个方向的点和拟合的二次曲线的Sampson距离，对距离求和即为拟合总误差，误差表达式如下：

ΔE＝ΔE₁+ΔE₂+ΔE₃+……+ΔE₈；

其中ΔE表示拟合的总误差，ΔE_i表示八个方向点距离拟合椭圆的Sampson距离,C是二次曲线的系数方阵，x是边缘点坐标的齐次表示x＝[x_e y_e 1]^T；若计算出来的ΔE小于某一个阈值，则该种子点所在的连通域是一个椭圆；对于之后的种子点，先判断该种子点是否在已拟合的椭圆内，如果在已拟合的椭圆内则不进行操作，否则进行相同的操作；获得C_i为大圆孔在图像坐标系下的系数方阵；

第三步，利用射影几何的方法计算大圆形孔的圆心；根据绝对二次曲线的定义，使用标定好的相机内参K计算绝对二次曲线：

ω＝(KK^T)^-1；

平面π上的所有圆和Ω_∞交于两点，两点位于π和π_∞两平面的交线上，获得C_i和ω的交点的点集A：

A＝{x|x^TC_ix＝0,x^Tωx＝0}；

对点集A中的所有点使用最小二乘法进行直线拟合，获取无穷远直线在像平面的投影l_vanish＝[m n 1]^T；根据极点极线关系可知极点圆心所对应的极线是无穷远直线，根据下式求出圆心坐标：

为第i个大圆孔在图像坐标系下系数方阵的逆，O_i为第i个大圆孔在图像坐标系下的圆心的齐次坐标；

第四步，建立初始坐标系；计算连接相邻两圆心之间直线方程的系数：

l_y＝O_i×O_j；

以该直线作为y轴，根据极点极线关系，以两圆心连线作为y轴，计算两圆心连线对应的x方向的无穷远点：

X_i∞＝Cl_ij；

X_i∞是通过计算得出的x方向的无穷远点，在每个圆心处建立候选坐标系，候选坐标系x轴方程为l_xi；

l_xi＝O_i×X_i∞；

确定标识物上大圆孔和拍摄帧中大圆孔的对应关系，使用时分编码光源做辅助判断；在每个候选坐标系的x轴上的一定范围内寻找局部极大值点；

第五步，大圆形孔的跟踪和圆心计算；截取新的一帧图像，以前一帧图像的检测到的大圆形孔的圆心作为当前帧的种子点，在该种子点的0°,45°,90°,135°,180°,225°,270°,315°八个方向上进行边缘搜索，对该种子点搜索出来的八个边缘点进行亚像素边缘检测，之后使用最小二乘法获得椭圆的一般方程的各项系数；再利用射影几何的方法计算当前帧圆形孔的圆心；

第六步，联立直线和椭圆方程计算标识物上各点在图像上的对应点的位置，使用最小二乘法获得前帧像平面和标识物平面的单应性矩阵；计算当前帧像平面和标识物平面的单应性矩阵H；利用当前帧圆心以及圆孔和时分编码光源的相对位置关系建立当前帧的坐标系；分别联立该坐标系平行于x轴的直线，y轴直线和椭圆的一般方程，求得y轴和x轴与椭圆的交点；

使用计算出来的图像中交点的坐标和该交点在标识物坐标系下对应点的坐标建立方程，利用最小二乘法获得像平面和标识物平面的单应性矩阵H，使得；

x_cam＝Hx_marker；

x_cam是图像坐标系下点的齐次坐标，x_marker标识物坐标系下对应点的齐次坐标；

第七步，使用单应性矩阵和编码光源在标识物坐标系下的坐标计算编码光源在图像中的坐标；计算该坐标点周围的平均灰度，若平均灰度大于某一阈值，则认为该帧编码光源是处于亮的状态，否则认为该帧编码光源是处于灭的状态；记录完整编码周期内图像帧中的编码光源的亮灭状态，获得每个光源的解码序列；时分编码光源在标识物坐标系的齐次坐标表示为x_light，使用单应性矩阵H计算时分编码光源在图像坐标系中的位置；

x_camlight＝Hx_light；

x_camlight为时分编码光源在图像坐标系中点的坐标，以该点为中心建立一个7×7的矩形窗口作为时分编码光源的跟踪窗口；

在每一帧计算时分编码光源跟踪窗口所在位置，并计算该窗口内平均灰度值；若平均灰度值大于某一阈值，则认为该帧编码光源是处于亮的状态，否则认为该帧编码光源是处于灭的状态；将光源亮时的解码设定为1，将光源灭时的解码设定为0；记录完整编码周期内图像帧中的编码光源的亮灭状态，获得与每个光源在视频图像中的亮灭状态对应的(0,1)解码序列；

第八步，通过单应性矩阵和相机内参计算相机坐标系相对于标识物坐标系的旋转矩阵和平移向量，对比解码序列可以获得标识物坐标系相对于实际场景坐标系的旋转矩阵和平移向量；利用坐标系之间的相对位姿关系进行计算，获得AGV在场景坐标系下的坐标和姿态信息；计算AGV上相机光心在场景坐标系下的坐标，通过像平面和标识物平面的单应性矩阵H，以及相机内参矩阵K，通过下式求出相机坐标系和标识物坐标系之间的旋转矩阵和平移向量；

λ[r₁ r₂ t]＝K^-1H；

r₁和r₂是旋转矩阵的第一和第二列，t是平移向量，λ是比例因子；因为旋转矩阵是一个单位正交矩阵，有以下约束：

r₁×r₂＝r₃；

r₃旋转矩阵的第三列，通过约束获得一个标准化的外参数M_c矩阵描述相机坐标系和标识物坐标系之间的关系；

R_c是一个3×3的旋转矩阵，t_c是一个3×1的平移向量；寻找与解码序列相同的编码光源在场景坐标系中的位置，获得当前AGV上相机拍摄到的标识物坐标系相对于场景坐标系的旋转平移矩阵M_s；

R_s是一个3×3的旋转矩阵，t_s是一个3×1的平移向量，计算AGV机器人上相机在场景坐标系下的坐标为：

第九步，判断相机拍摄是否结束：若是，则结束；若否，则返回第五步。

3.如权利要求2所述的使用圆和编码光源作为标识物进行AGV定位的方法，其特征在于，所述第二步检测图像中的大圆形孔，获取大圆形孔在图像坐标系下的方程具体包括：

(1)在AGV相机连续拍摄的视频流中截取一帧；

(2)在截取图像帧中检测连通域，使用最小二乘法将连通域拟合为椭圆，使用Sampson距离作为拟合误差，若拟合误差小于某一阈值，则认为该连通域是椭圆；判断检测到圆形孔的数量是否小于2个：若是，返回(1)，若否，执行第三步。

4.如权利要求2所述的使用圆和编码光源作为标识物进行AGV定位的方法，其特征在于，所述第三步利用射影几何的方法计算大圆形孔的圆心具体包括：

(1)根据射影几何中绝对二次曲线的定义使用标定好的相机内参计算绝对二次曲线；

(2)计算绝对二次曲线和大圆形孔在图像中的交点，利用交点拟合消影线；

(3)利用极点极线关系，计算大圆孔圆心在图像坐标系中的坐标。

5.如权利要求2所述的使用圆和编码光源作为标识物进行AGV定位的方法，其特征在于，所述第四步建立初始坐标系具体包括：

(1)以两圆心的连线作为y轴，用极点极线关系在每个圆心处建立候选坐标系，在每个候选坐标系x轴方向检测编码光源是否存在；

(2)若该帧没有检测到任何编码光源，则返回计算绝对二次曲线和大圆形孔在图像中的交点，利用交点拟合消影线；否则，以含有编码光源的候选x轴作为x轴，两圆心连线作为y轴建立初始坐标系。

6.如权利要求2所述的使用圆和编码光源作为标识物进行AGV定位的方法，其特征在于，所述第五步大圆形孔的跟踪和圆心计算具体包括：

(1)截取一帧图像，对大圆形孔进行跟踪并且计算大圆孔的一般方程，判断跟踪到大圆形孔的数量是否小于2个：若是，返回在截取图像帧中检测连通域，使用最小二乘法将连通域拟合为椭圆，使用Sampson距离作为拟合误差，若否，执行(2)；

(2)利用射影几何的方法计算大圆形孔的圆心。

7.一种应用权利要求1～6任意一项所述使用圆和编码光源作为标识物进行AGV定位的方法的计算机视觉处理系统。

Images