CN105741268B

CN105741268B - 一种基于彩色图块及其拓扑关系的视觉定位方法

Info

Publication number: CN105741268B
Application number: CN201610046093.0A
Authority: CN
Inventors: 仲伟波; 关静; 冯友兵; 石婕
Original assignee: Jiangsu University of Science and Technology
Current assignee: Nanjing Wolf Information Technology Co ltd
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2018-08-31
Anticipated expiration: 2036-01-22
Also published as: CN105741268A

Abstract

本发明公开了一种基于彩色图块及其拓扑关系的视觉定位方法，通过视觉传感器获取由彩色图块组成的人工路标图像并进行识别，利用预存的图像与位置间的对应关系获取对应的位置坐标。给出的人工路标具有唯一性，属性易于提取，所构建的人工路标拓扑模式对于图像的旋转、扭曲等具有一定的鲁棒性，人工路标拓扑模式的匹配方法快速有效，能够满足定位的要求。

Description

一种基于彩色图块及其拓扑关系的视觉定位方法

技术领域

本发明涉及一种基于彩色图块及其拓扑关系的视觉定位方法，属于定位技术领域。

背景技术

随着科技进步和社会的发展，对基于定位的服务需求越来越多。如全球定位系统(GPS)根据卫星信号进行定位，能提供准确的经纬度、时间信息。除基于无线信号定位外，还有基于超声波、激光以及视觉定位，随着图像采集设备性能的提升和图像处理技术的发展，视觉定位越来越受到人们的重视。视觉定位即通过视觉传感器获取图像，根据图像中包含的信息实现定位。

根据视觉传感器的个数视觉定位可分为单目视觉定位和双(多)目视觉定位，其中单目视觉定位利用一个视觉传感器实现定位，且没有双(多)目视觉定位中视差和匹配困难的问题。视觉定位的方法分为两类：一类是预先对视觉传感器及系统有关参数进行标定，利用图像信息计算得到视觉传感器的坐标实现定位；另一类是根据图像与位置间的对应关系，通过对获取图像处理并与预存的图像模式匹配实现定位，后者不需要进行预先标定。用于定位的图像称为路标，可以分为自然路标和人工路标两类。自然路标即为一般场景中的标识，自然路标变化复杂，特征不明显。人工路标是人工设计放在特定位置的标志，相比较起来设计合理的人工路标则特征突出，易于识别。

本发明给出的方法属于第二类视觉定位方法，其一般流程是：(1)设计合适的人工路标，并建立人工路标模式与位置坐标的对照表；(2)获取人工路标图像并进行属性提取；(3)构建人工路标模式并与预存模式匹配，由实现建立的模式位置对应关系获得位置信息，从而实现定位。其中人工路标的选择是定位的基础，复杂的人工路标虽然含有更多的信息，但其处理难度大，速度慢，人工路标的合理性影响定位的速度和精度。在定位过程中，由于摄像头的旋转或倾斜可能造成图像的旋转或变形。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于彩色图块及其拓扑关系的视觉定位方法，不需要对视觉传感器提前标定，给出的彩色图块属性提取方法、人工路标拓扑模式及其构建方法对于图像旋转、轻微变形都具有一定的不变性，人工路标拓扑模式识别采用分层处理，匹配速度快，定位实时性强。

技术方案：在基于彩色图块的单目视觉定位中，用于定位的图像被称为人工路标，人工路标与定位精度、速度密切相关，是定位的基础。本发明给出一种简单有效的人工路标方案：每个人工路标由四个彩色图块构成，每个图块有红、绿、蓝、黄四种颜色，以及圆形，正三角形，正方形，正五边形，正六边形，五角星形六种形状，且属于同一人工路标的图块间距离小于非同一人工路标图块间最小距离。由彩色图块颜色、形状及位置关系形成不同的人工路标，每个人工路标对应唯一的一个位置坐标。

一种基于彩色图块及其拓扑关系的视觉定位方法，包括以下内容：

在定位之前按照本发明给出的人工路标拓扑模式的构建方式存储所有的人工路标模式及其对应的坐标。

定位时通过视觉传感器获取的图像中至少要含有一个完整的人工路标，为了减少光照等对视觉传感器获取人工路标图像的影响，需先进行增强归一化以利于彩色图块属性的提取。本发明提出一种多通道增强融合的方法，即分别在图像的R/G/B三个通道分别进行自适应增强，最后将三个通道增强处理的结果融合成一幅彩色图像，并在此基础上进行图像颜色、形状的计算。

在增强后的图像上利用Canny边缘检测算子获取图块边缘轮廓线，并根据残缺图块轮廓线不闭合且分布在图像边缘的特点去除不完整轮廓线。采用Shi—Tomasi算法提取角点，并根据角点间连线的几何特性进行伪角点滤除，图块形状是基于其轮廓线角点的个数判定。图块质心依据角点坐标计算，将每个图块角点坐标平均值作为质心坐标，圆形则根据其轮廓线上所有坐标均值计算质心。图块的颜色根据图块质心及其8邻域颜色的R、G、B分量判定色块的颜色。

将所获图像上图块进行编号，分别找到距本图块最近的三个图块，由于属于同一人工路标中的图块间距离小于不同人工路标的图块间距离，则属于同一人工路标四个图块的编号相同，仅排列顺序有可能不同。确定图像中所有完整的人工路标后将最靠近图像中心的人工路标模式作为目标模式。

完成人工路标中图块属性的提取后构建人工路标拓扑模式，人工路标拓扑模式可表示为：

X＝{CNum,SNum,(C,S)_i|i＝1,2,3,4}

其中CNum,SNum分别表示人工路标所含图块颜色、形状的个数，取值为1,2,3,4中的一个；C,S为每个图块的颜色及形状，其中红、绿、蓝、黄四种颜色分别用1,2,3,4表示，圆形、正三角形、正方形、正五边形、正六边形、五角星形分别用0,3,4,5,6,10表示。(C,S)_i表示人工路标中图块属性及其间的拓扑关系，本发明中将组成人工路标的四个图块按逆时针顺序排列组成一个环。按上述方法构建的人工路标拓扑模式具有一定的旋转、缩放一致性。

对于人工路标拓扑模式的匹配，本发明给出的方法为：

X₁＝{CNum₁,SNum₁,(C₁,S₁)_i|i＝0,1,2,3}

X₂＝{CNum₂,SNum₂,(C₂,S₂)_i|i＝0,1,2,3}

对于上述两个模式，定义：

其中C_1,j,S_1,j分别表示第1个模式中第j个图块的颜色和形状，C_2,j,S_2,j分别表示第2个模式中第j个图块的颜色和形状。当CNum₁＝CNum₂且SNum₁＝SNum₂，并且D_k,k＝0,1,2,3中有且仅有一个为0时，则此两个模式被认为匹配成功，根据已知的模式位置对应关系可以获得待匹配人工路标对应的位置，从而实现定位。

有益效果：与现有技术相比，本发明具有如下优点：人工路标简单明确，彩色图块特征提取方法高效易行，所构建的人工路标拓扑模式对于图像旋转、轻微变形具有一定的不变性，针对人工路标拓扑模式的特点给出的匹配方法能够减少样本数量，匹配方法简单有效，节省了定位时间，保证了定位精度。

附图说明

图1为由摄像头获取人工路标图像并形成对应模式的过程图；

图2为摄像头获取的原始图像和多通道增强融合后的图像，其中包括背景墙有斑点或是裂缝的图像及其处理后的图像；

图3为人工路标图像中图块边缘提取结果和伪边缘滤除结果；

图4为人工路标图像中图块角点提取结果和伪角点滤除结果；

图5为旋转或变形的图像及其角点提取结果；

图6为人工路标的质心提取结果；

图7为人工路标中图块间的拓扑关系及其计算。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于彩色图块及其拓扑关系的视觉定位方法，包括以下五个部分内容：

1)环境布置：在某一平面上按照一定的间隔布置人工路标，设置每个路标对应的位置信息并建立相应的对照表。获取图像时尽量保持视觉传感器到平面的距离不变，且其光轴与平面垂直，同时还要保证视觉传感器所获取的图像中至少包含一个完整的人工路标。

2)人工路标图像的获取及预处理：视觉传感器获取的人工路标图像由于光照等原因的影响，需先进行图像增强归一化。图2A为单目视觉传感器获取的人工路标图像，可以看出：彩色几何图块与图像背景的区分不明显，尤其是黄色图块，极易造成图块属性提取遗漏，从而使模式构建错误。本发明利用图像多通道增强融合方法，对彩色人工路标图像在RGB三个通道分别进行自适应增强和归一化处理，经过R通道处理后保留的是绿色和蓝色图块，经过G通道处理后保留的是红色图块，经过B通道处理后保留的是红色、黄色和绿色图块，最后三个通道的处理结果融合，结果如图2B所示，从图中可以看出，增强后的图像背景为白色，前景色块边缘和颜色清晰，具有很强的区分度。另外背景中可能有裂缝或斑点，如图2C、2E所示，用上述方法进行处理后的图像如图2D、2F，从图中可以看出裂缝、斑点完全去掉，组成人工路标的彩色图块的形状、颜色等属性保留完好。处理结果表明多通道增强融合方法效果较好，能够满足后续图块属性提取的要求，有利于模式构建和识别的进行。

3)人工路标图像中彩色图块的属性提取：在增强后的人工路标图像上利用Canny边缘检测算子获取图块边缘，图3B为图3A边缘提取结果。残缺图块的不闭合轮廓线进行如下遍历以实现滤除：如果某轮廓线中有不少于2个点位于距图像边缘不大于5个像素点，且该轮廓线不闭合，则认为该轮廓线就是残缺图块的轮廓线，予以去除，图3C即为边缘残缺轮廓的滤除结果。

图块形状是基于其轮廓线，通过图块角点的个数判断的，在人工路标轮廓线图像上采用Shi—Tomasi算法进行角点提取，图4B的处理结果为图4C。受图块几何形状、图块变形等影响，角点提取后可能会出现伪角点。由角点的几何特性可知，将角点依次两两相连，相邻连线相交且夹角较大，若其夹角小于某一阈值，可认定中间角点为伪角点。本发明中在每个图块的轮廓像素坐标链表中，依次计算相邻角点间连线的斜率及其倾斜角，若连续三个角点两两连线的倾斜角之差小于指定度数，则认为这三个角点位于一条直线上，中间的角点则为伪角点，图4D为伪角点滤除结果。

图块质心依据角点坐标计算，将每个图块角点坐标平均值作为质心坐标，圆形则根据其轮廓线上所有坐标均值计算质心。图块的颜色经图像增强后对比强烈，易于区分，所以直接根据图块质心及其8邻域颜色的R、G、B分量判定色块的颜色。

在定位过程中，摄像头可能会旋转或倾斜，获取的图像如图5A、5C，人工路标图像中图块发生旋转或扭曲，用上述方法进行角点提取结果如图5B、5D，角点个数正确。此外，对多幅旋转人工路标图像和由于视觉传感器主光轴不垂直人工路标平面而造成变形人工路标图像进行处理，都能得到正确的图块轮廓和角点结果，因此对于图块旋转或扭曲等情况，人工路标的属性提取不受影响。

4)人工路标拓扑模式构建：由单目视觉传感器获取的图像中可能包含不止一个人工路标，本发明首先根据同一人工路标中的图块间距离小于不同人工路标的图块间距离的准则确定图中所含人工路标模式，并将最靠近图像中心的人工路标模式作为目标模式，其模式由图块颜色、形状的种类数，每个图块的颜色、形状，图块间的位置关系构成，可用下式表示：

X＝{CNum,SNum,(C,S)_i|i＝1,2,3,4}

其中CNum,SNum分别表示所有图块的颜色和形状种类数目，C,S为每个图块的颜色及形状。(C,S)_i则表示每个图块的位置关系，具体构建方法如图6，以四个图块质心的中心作为坐标原点，设定X轴平行于图像坐标的u轴建立坐标系。依次计算每个图块质心到原点的连线与X轴的夹角，并按照从小到大顺序排列，即为人工路标中各图块间的位置关系。所构建的拓扑模式不受图块旋转、轻微变形等影响，具有一定的鲁棒性。

5)人工路标模式的匹配：目标模式确定后，与预存的人工路标模式进行匹配得到相应的位置坐标。匹配方法如下：

X₁＝{CNum₁,SNum₁,(C₁,S₁)_i|i＝0,1,2,3}

X₂＝{CNum₂,SNum₂,(C₂,S₂)_i|i＝0,1,2,3}

其中C_1,j,S_1,j分别表示第1个模式中第j个图块的颜色和形状，C_2,j,S_2,j分别表示第2个模式中第j个图块的颜色和形状。若CNum₁＝CNum₂且SNum₁＝SNum₂，则两个模式可能匹配，否则不属于同一模式。先对CNum,SNum进行比较可减少待匹配模式的范围，提升匹配效率。当CNum₁＝CNum₂且SNum₁＝SNum₂时，若D_k,k＝0,1,2,3中有且仅有一个为0，则两个模式完全匹配，即X₁＝X₂，根据预存的模式位置对应关系即可获知当前模式的位置，实现定位。

Claims

1.一种基于彩色图块及其拓扑关系的视觉定位方法，其特征在于，包括以下内容：

在定位之前按照人工路标拓扑模式格式存储所有的人工路标模式及其对应的坐标；

定位时通过视觉传感器获取的图像中至少要含有一个完整的人工路标，对视觉传感器获取人工路标图像进行增强归一化处理；

在增强后的图像上获取图块边缘轮廓线，并去除不完整轮廓线；

提取所有图块的角点，并根据角点间连线的几何特性进行伪角点滤除，图块形状是基于其轮廓线角点的个数判定，依据角点坐标计算图块质心，根据图块质心及其8邻域颜色的R、G、B分量判定色块的颜色；

确定图像中所有完整的人工路标后将最靠近图像中心的人工路标模式作为目标模式；

目标模式确定后，与预存的人工路标模式进行匹配得到相应的位置坐标；

采用多通道增强融合的方法对视觉传感器获取人工路标图像进行增强归一化处理，即分别在图像的R/G/B三个通道分别进行自适应增强，最后将三个通道增强处理的结果融合成一幅彩色图像，并在此基础上进行图像颜色、形状的计算。

2.如权利要求1所述的基于彩色图块及其拓扑关系的视觉定位方法，其特征在于，在增强后的图像上利用Canny边缘检测算子获取图块边缘轮廓线，并根据残缺图块轮廓线不闭合且分布在图像边缘的特点去除不完整轮廓线。

3.如权利要求1所述的基于彩色图块及其拓扑关系的视觉定位方法，其特征在于，采用Shi—Tomasi算法提取角点，并根据角点间连线的几何特性进行伪角点滤除；将每个图块角点坐标平均值作为质心坐标，圆形则根据其轮廓线上所有坐标均值计算质心；图块的颜色根据图块质心及其8邻域颜色的R、G、B分量判定色块的颜色。

4.如权利要求1所述的基于彩色图块及其拓扑关系的视觉定位方法，其特征在于，根据同一人工路标中的图块间距离小于不同人工路标的图块间距离的准则确定图中所含人工路标模式，将所获图像上图块进行编号，并将最靠近图像中心的人工路标模式作为目标模式，其模式由图块颜色、形状的种类数，每个图块的颜色、形状，图块间的位置关系构成，可用下式表示：

X＝{CNum,SNum,(C,S)_i|i＝1,2,3,4}

其中CNum,SNum分别表示人工路标所含图块颜色、形状的个数，取值为1,2,3,4中的一个；C,S为每个图块的颜色及形状，其中红、绿、蓝、黄四种颜色分别用1,2,3,4表示，圆形、正三角形、正方形、正五边形、正六边形、五角星形分别用0,3,4,5,6,10表示；(C,S)_i为组成人工路标的图块属性及其间的位置关系；将组成人工路标的四个图块按逆时针顺序排列组成一个环。

5.如权利要求1所述的基于彩色图块及其拓扑关系的视觉定位方法，其特征在于，目标模式确定后，与预存的人工路标模式进行匹配得到相应的位置坐标；匹配方法可描述为：对于两个模式

X₁＝{CNum₁,SNum₁,(C₁,S₁)_i|i＝0,1,2,3}

X₂＝{CNum₂,SNum₂,(C₂,S₂)_i|i＝0,1,2,3}

定义：

其中C_1,j,S_1,j分别表示第1个模式中第j个图块的颜色和形状，C_2,j,S_2,j分别表示第2个模式中第j个图块的颜色和形状，CNum,SNum分别表示人工路标所含图块颜色、形状的个数，取值为1,2,3,4中的一个；C,S为每个图块的颜色及形状，其中红、绿、蓝、黄四种颜色分别用1,2,3,4表示，圆形、正三角形、正方形、正五边形、正六边形、五角星形分别用0,3,4,5,6,10表示；(C,S)_i为组成人工路标的图块属性及其间的位置关系；当CNum₁＝CNum₂且SNum₁＝SNum₂，并且D_k,k＝0,1,2,3中有且仅有一个为0时，则此两个模式被认为匹配成功，根据已知的模式位置对应关系可以获得待匹配人工路标对应的位置，从而实现定位。