CN205175398U - 以定距三球为视觉标志物的室内自动运输车定位系统 - Google Patents

Abstract

本实用新型公开了一种以定距三球为视觉标志物的室内自动运输车定位系统，系统结构在于：采用特定大小比例、特定摆放位置、可发光的三球组合作为标志物，并固定在自动运输车上；小孔摄像机固定在室内天花板上，向下拍摄标志物；通过连接在摄像机的嵌入式系统对每帧图像进行标志物提取和分析，完成对自动运输车位姿的检测，并把定位结果通过无线模块完成对自动运输车的通信及控制。本实用新型所述定位系统不仅计算简单、能同时实现位置、方向及倾角定位，且稳定性好，精度高，可完成复杂环境下的定位。

Description

以定距三球为视觉标志物的室内自动运输车定位系统

技术领域

本实用新型涉及一种室内定位技术领域，特别涉及一种基于机器视觉的室内自动运输车定位技术领域。

背景技术

由于室内环境中存在较多的限制条件，导致GPS系统并不能发挥它准确定位的优势。因此寻找一个合适技术进行室内定位（IPS）也很快成为当今研究开发的热点。目前常用的室内定位技术包括AGPS技术、超声波技术、射频识别技术和无线局域网技术等，但这些技术的定位精度比较低，不仅易受多径效应和环境变动而影响计算，而且需要在室内布置大量硬件设施辅助定位，不利于维护。近年来出现一些基于视觉的物体位置和方向的检测方法，如文献“DeRenLi,YongLiu,XiuXiaoYuan,Image-basedself-positionandorientationmethodformovingplatform[J].ScienceChinaInformationSciences,2013,56(4):4649-4662.”其主要优势是能够避开上述技术因传输产生的误差，提供比较高的定位精度，并且能够不增加硬件成本就能进行目标物方向和倾角的检测。

对于机器视觉的定位方式，目前主要有以下三种方案：单目视觉定位、双目视觉定位和全方位视觉定位。基于双目视觉的定位系统，主要根据双摄像头获取场景图像的视差信息进行位置判断，如文献“白明,庄严,王伟.双目立体匹配算法的研究与进展[J].控制与决策,2008,23(7):721-729.”；全方位视觉定位系统，利用全方位摄像头获取包含360°场景信息的图像，接着把全方位图展开成柱面全景图，最后实现目标物的定位，如文献“周明晖.基于全方位视觉的柱面展开与实时目标跟踪算法研究[D].上海:上海交通大学,2013”。对比以上两种方案，基于单目视觉的定位系统无需解决双目视觉系统中双图像的像素匹配和全方位视觉系统中图像畸变、像素重复与丢失等带来的误差问题，并具有成本低、体积小、实时性高的特点，因此近年来越来越多地被采用。其中基于几何投影法的单目视觉测距方法被广泛应用于移动机器人测距、汽车自动壁障等。但在实际应用时，机器人或汽车的走动容易引起摄像头的抖动，这将严重影响测距算法，造成较大的误差。

通常自动运输车（AGV）本身不适用于作为定位目标，因为不同应用的AGV外观不尽相同，需要针对不同的AGV更改识别算法，并且AGV外观在不同视图下不具有不变性，需要增加矫正算法，这不仅会带来矫正误差，而且会增加代码开销。

发明内容

本实用新型的目的是为了避免上述现有室内定位技术存在的误差问题，提供一种采用固定单摄像头方式并以特定组合的三球标志物作为定位目标的室内自动运输车定位系统，实现室内自动运输车的快速、精确、可靠的定位。

本实用新型所采用技术方案如下：

设计一种由特定组合的三球标志物作为定位目标，间接实现室内自动运输车位置、方向及倾角的检测，该标志物由两个半径相同的小球和一个半径为小球半径2倍的大球组合而成，且两个小球球心与大球球心距离都为大球半径的4倍，三球球心构成一个以小球球心与大球球心的距离为腰长，顶角为120°的等腰三角形，三个球均可分别装入三种不同颜色的LED，搭配成27种不同编码的标志物。在室内地面中，大球球心主要作为定位目标的位置判断，等腰三角形在室内地面的方位作为定位目标方向的判断，三小球的球心所构成平面与室内平面产生的夹角作为定位目标的倾角判断。

所述三种不同颜色的LED为红、绿、蓝三种颜色的LED。

所述等腰三角形方位是指以大球球心为原点，与底边中点构成的射线在室内地面指向的方向。

在室内天花板上固定安装光轴垂直于室内地面的摄像机，由该摄像机获取室内地面图像，处理器对所获取的图像进行预处理、标志物的识别以及位姿的计算，并通过无线通信模块完成对自动运输车的导航及控制。

优选的，所述处理器为DSP数字信号处理器。

所述图像预处理具体处理过程如下：先对RGB图像进行颜色分割，接着对颜色分割后的图像进行形态学腐蚀和膨胀操作，最后对图像进行边缘提取操作。

所述标志物的识别具体处理过程如下：先对所有边缘轮廓像素进行归类和记录，接着对满足面积要求以及圆形度要求的轮廓进行筛选，对筛选后的轮廓图像进行最小二乘法的椭圆拟合，最后利用三球之间的距离、线度比例关系和模式匹配方法识别出标志物。

所述位姿的计算具体处理过程如下：先由图像中三球球心的位置根据小孔成像的几何投影关系计算出三球在室内地面位置，再根据三球的计算结果进一步得出目标物的方向和倾角。

优选的，所述无线通信模块为工作在2.4G～2.5GHz的无线收发芯片。

与现有技术相比，本实用新型具有以下优点：

(1)对单个球状物进行位置定位，它在任意视角下都具不变性，任意方位都不影响识别的稳定性，避免了增加矫正算法带来的代码开销，提高识别速度。

(2)检测自动运输车方向和倾角时，只需通过三球位置关系即可检测，无需对自动运输车轮廓进行处理，此方式实现简洁，且误差小、实时性好。

(3)根据三球的可发光性、特定的距离及线度比例关系，不仅提高了系统对标志物识别的可靠性，抗干扰能力强，可完成复杂环境下的定位，且可组合成27种编号的标志物，可适用于多台自动运输车的同时导航及控制。

(4)标志物的使用让系统不局限于某种形状的自动运输车，只需把标志物安装在自动运输车就可定位，提高系统普适性。

(5)采用固定摄像机方式，无需解决机器人或汽车走动引起摄像头抖动造成的误差问题，有效提高了室内的定位精度。

附图说明

图1为本实用新型中的三球标志物构造示意图；

图2为本实用新型中的标志物位置定位原理模型图；

图3为本实用新型中的标志物方向检测示意图；

图4(a)～(b)分别为标志物中小球Q的y方向倾斜及两小球x方向倾斜示意图；

图5为本实用新型中的系统组成示意图；

图6为本实用新型中的处理器对每帧图像的处理及识别算法流程图；

具体实施方式

下面结合附图对本实用新型的实施作进一步的详细描述

设计一种由特定组合的三球标志物作为定位目标，间接实现室内自动运输车的定位功能，该标志物结构如图1所示，由三个小球半径比例为R1:R2:R3=2:1:1，两个小球球心与大球球心距离L0与大球半径R1比例为L0:R1=4:1，两个小球球心与大球球心之间的夹角∠QPQ’=120°，三个球均可分别装入三种不同颜色的LED，搭配成27种不同组合的标志物。

进行定位目标的位置检测时，只需找出大球球心在图像中的位置，然后通过几何投影关系求出在室内地面的位置。如图2所示，该摄像机成像模型简化为小孔成像模型，在室内坐标系中，将摄像头在室内地面的垂直投影点O作为坐标系原点，沿着摄像头方向的右方定义为X轴方向，摄像头正前方定义为Y轴方向。在图像坐标系中，H和W分别为图像的高和宽，为方便计算，定义图像矩形的中点G’为图像坐标系的原点，y轴为原点垂直于图像上边界向上的方向。P(x,y)是目标点的室内坐标，p(u,v)为对应的图像坐标。则目标点在Y轴的坐标y有下面公式确定：

$y=(h-\mathrm{\Δh})\tan ({\tan }^{-1}\left(\frac{y_1}{h}\right)+{\tan }^{-1}\left(\frac{2v\×\tan \mathrm{\θ}}{H}\right))$

其中h为摄像头距离地面的高度，y1是摄像头光轴与地面交点G到O点的距离，Δh是标志物质心距离地面的高度、2θ为摄像机的垂直视场角，H为图像的高。

则目标点在X轴的坐标x有下面公式确定：

$x=\frac{y}{\sin ({\tan }^{-1}\left(\frac{y_1}{h}\right)+{\tan }^{-1}\left(\frac{2v\×\tan \mathrm{\θ}}{H}\right))}\×\frac{2u\×{\tan \mathrm{\θ}}^{\′}}{W}$

其中2θ’为摄像机的水平视场角，W为图像的宽。

参照图3，进行定位目标的方向检测时，先由上述公式获得三个球球心在室内坐标系的坐标P(x1,y1)、Q(x2,y2)、Q’(x3,y3)，在进行方向解算之前，需要对这些坐标进行修正，这是因为当三球球心平面与室内平面不平行（即存在倾角）时，这时P(x1,y1)、Q(x2,y2)、Q’(x3,y3)组成的三角形不再是顶角为120°的等腰三角形，然而已知这种误差是由于小球相对大球有垂直偏移造成，使得计算x、y的计算结果同时被改变，且已知三球构成一个标准边长为L0的等腰三角形，因此可以根据这些特性对存在变形的三角形进行矫正，其方法：用两点距离公式分别计算出距离Lpq和距离Lpq’，先求得Lpq与L0的偏差ΔL，保持v不变，u减少或增加1，重新算得Lpq与L0的偏差ΔL’，找出使得ΔL’相对ΔL减少时u的变化趋势，并保持这个趋势，同样的，保持u不变，改变v的值，使得ΔL’相对ΔL减少时v的变化趋势，继续按照这个趋势给v、u减少或增加1，直到Lpq与L0的偏差量最小，则中止循环，根据新的v、u值重新算得Q的坐标值y2、x2。同理对Q’坐标进行矫正得到新的坐标值y3、x3。当然如果一开始Lpq和Lpq’的值都接近或等于L0，则无需矫正，直接进行下面的方向解算。

以大球球心坐标P为极点建立极坐标系，其中极轴平行于CD。Q(x2,y2)、Q’(x3,y3)直角坐标转为极坐标，求得线段的中点Qm，Qm在极坐标系的极角即为标志物的方向角β，从而得到自动运输车的方向。

参照图4，进行定位目标的倾角检测时，主要依据三小球的球心所构成平面与室内平面产生的夹角，该夹角在P为原点的直角坐标系中可分解成y方向倾角γy（上下倾）和x方向倾角γx（左右倾），依然先获得矫正后室内三球球心坐标值P(x1,y1)、Q(x2,y2)、Q’(x3,y3)，图4(a)为小球Q的y方向倾斜示意图，Q相对P在y轴方向上的距离Lqp=|y2-y1|，αq由公式αq=tan-1((h-Δh)/y2)求得，Lq由公式Lq=L0×|sin(β-π/3)|确定，则Q在y方向倾角γyq由如下公式确定：

${\mathrm{\γ}}_{\mathrm{yq}}={\sin }^{-1}\left(\frac{L_{\mathrm{qp}}\×\sin (180-{\mathrm{\α}}_q)}{L_q}\right)-{\mathrm{\α}}_q$

小球Q相对大球P垂直偏移量Δhq由公式Δhq=Lq*sinγyq确定。

同理Q’在y方向倾角由如下公式确定：

${\mathrm{\γ}}_{{\mathrm{yq}}^{\′}}={\sin }^{-1}\left(\frac{L_{q^{\′}p}\×\sin (180-{\mathrm{\α}}_{q^{\′}})}{L_{q^{\′}}}\right)-{\mathrm{\α}}_{q^{\′}}$

其中Lq’p为Q’相对P点在y轴方向的距离，αq’=tan-1((h-Δh)/y3)，Lq’=L0*|sin(β+π/3)|。

小球Q’相对大球P垂直偏移量Δhq’由公式Δhq’=Lq’*sinγyq’确定。

因此标志物y方向倾角由如下公式确定：

当γy>0表示向上倾斜，γy<0表示向下倾斜。

图4(b)为两小球x方向倾斜示意图，其中确定，

最后当γx>0表示Q比Q’高，γx<0表示Q比Q’低。

图5给出了本实用新型的以定距三球为视觉标志物的室内自动运输车定位系统的示意图，参照图5，该系统包括：固定在室内天花板5上的小孔摄像机1；用于图像处理与识别的嵌入式系统2；作为定位目标且固定于自动运输车的三球组合标志物3；用于嵌入式系统与自动运输车通信的无线模块4。系统工作过程：摄像机1的光轴垂直于室内地面6，向下拍摄室内地面图像，连接在摄像机的嵌入式系统2对所获取的图像进行处理和分析，完成标志物3的识别及位姿的计算，并通过无线通信模块4完成对自动运输车的导航及控制。

本实用新型中嵌入式系统处理器对图像的处理及识别算法流程如图6所示，具体包括如下：

步骤1：在每个像素的R、G、B分量中，如果满足其中一个分量均大于另两个分量150灰度差时，把该像素置为255，如果不满足则置0，根据此方式对图像进行颜色分割。

步骤2：为减少噪声和一些小面积红色块的影响，对颜色分割后的图像进行形态学腐蚀和膨胀操作，这里采用5×5的圆形结构元素作为形态核，这不仅较好的去除噪声，而且不影响图像中标志物的形状。

步骤3：采用Canny方法，对图像进行轮廓边缘提取。

步骤4：为去除背景中类椭圆或者其他形状边缘特征的影响，先对轮廓图像使用面积约束，对于640*480像素的图像，这里选取最小的面积阈值Smin=40和最大的面积阈值Smax=31415，把满足面积区间S∈[Smin,Smax]的轮廓进行筛选。

步骤5：面积筛选之后，接着采用周长平方与面积之间的比值C=P2/S进行圆形度判断，其中P表示物体的周长，当轮廓满足圆特性时，求得C的值将是接近4π的值。

步骤6：得到筛选后的轮廓图像，即可进行圆的识别，这里采用最小二乘法椭圆拟合方法，把每个边缘轮廓的所有像素点分别代入目标函数：

$f(A,B,C,D,E,F)$

$=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{({\mathrm{Ax}}_i^2+{\mathrm{Bx}}_i{y}_i+{\mathrm{Cy}}_i^2+{\mathrm{Dx}}_i+{\mathrm{Ey}}_i+F)}^2$

通过求解目标函数的最小值来确认椭圆的各个参数A、B、C、D、E、F。

步骤7：为进一步提高系统识别可靠性，可根据三个小球半径比例为R1:R2:R3=2:1:1，两个小球球心与大球球心距离L0与大球半径R1比例为L0:R1=4:1此特定几何关系，在圆拟合后的图像中依次组合邻近的三个圆，并对每组三圆进行一次几何判断和筛选。

步骤8：在每组三圆中的每个圆分别采用Hu不变矩匹配进行区域形状匹配，该方法具有较强的平移、尺度和旋转不变性，匹配结果由以下公式确定：

$I(A,B)=\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}\frac{|m^{A_i}-m^{B_i}|}{\left|m^{A_i}\right|}$

$m^{A_i}=\mathrm{sign}\left(h^{A_i}\right)\&CenterDot;\log \left(h^{A_i}\right),$ $m^{B_i}=\mathrm{sign}\left(h^{B_i}\right)\&CenterDot;\log \left(h^{B_i}\right),$

其中是A和B的Hu矩

具体做法如下：

假设存在N个符合比例条件的三圆，记录每组三圆的每个圆中心位置(u,v)i={(ui,vi),(ui+1,vi+1)},i∈[0,N]和半径Ri={ri,ri+1},i∈[0,N]，以每个圆中心位置为中心，长和宽都为2R的矩形在原RGB图像设置感兴趣区域(ROI)，并且取出每个ROI的RGB分量最大的通道进行二值化处理，并记录该球颜色Ci，最后与圆外为黑色，圆内为白色的模板进行Hu矩匹配，只有三圆中的每个圆同时满足相似条件的才是最终的识别结果，并记录此时所获得大球图像的圆心p(u1,v1)及颜色C1，按照逆时针方向记录Q小球图像的圆心q(u2,v2)及颜色C2，Q’小球图像的圆心q’(u3,v3)及颜色C3。

每种颜色用两位二进制数来表示，这里规定00代表红色，01代表绿色，10代表蓝色，因此三球颜色组合需要用6位二进制数来表示，例如C1C2C3分别为蓝、绿、红，则该组合二进制编码为100100，用该方式对多架室内自动运输车进行编号。

步骤9：把三球球心的图像坐标p(u1,v1)、q(u2,v2)、q’(u3,v3)代入(1)所述方法即可以获得三球球心的室内坐标P(x1,y1)、Q(x2,y2)、Q’(x3,y3)，进而得到自动运输车的位置P(x,y)、方向角β、上下倾角γy、左右倾角γx。

以上所述的本实用新型的实施方式，并不构成对本实用新型保护范围的限定。任何在本实用新型的精神原则之内所作出的修改、等同替换和改进等，均应包含在本实用新型的权利要求保护范围之内。

Claims (1)

1.一种以定距三球为视觉标志物的室内自动运输车定位系统，其特征在于由特定组合的三球标志物作为定位目标，间接实现室内自动运输车位置、方向及倾角的检测；

所述特定组合的三球标志物由两个半径相同的小球和一个半径为小球半径2倍的大球组合而成，且两个小球球心与大球球心距离都为大球半径的4倍，三球球心构成一个以小球球心与大球球心的距离为腰长，顶角为120°的平面等腰三角形，该平面与自动运输车底盘平面平行，三个球均可分别装入三种不同颜色的LED，搭配成27种不同编号的标志物；

所述大球用于标志物在室内地面中的位置判断；

所述等腰三角形用于标志物方向的检测，即等腰三角形中顶点为大球球心的点作为原点，与底边中点构成的射线在室内地面指向的方向即为标志物方向；

所述平面用于标志物倾角检测，即三小球的球心所构成平面与室内平面产生的夹角作为标志物的倾角；

所述不同编号为采用00代表红色，01代表绿色，10代表蓝色，使用6位二进制数来表示不同颜色组合的标志物。