CN102682292B - 基于单目视觉的道路边缘检测及粗定位方法 - Google Patents

Abstract

基于单目视觉的道路边缘检测以及粗定位方法，涉及机器视觉和智能控制领域。本发明针对连续的具有不同边缘特征的道路提供了两种道路边缘检测方法，适用于半结构化和非结构化的道路，可用于机器人的视觉导航及智能控制。一种是基于颜色的道路边缘检测方法，另一种是基于阈值分割的道路边缘检测方法。在得到道路边缘的基础之上，对图像进行逆透视投影变换，将前视图转化成俯视图，根据转换后的图像中的像素和实际距离的线性对应关系，计算机器人当前位置和道路边缘的垂直距离以及航向角。本发明的方法实施简单，抗干扰力强，实时性好，适用于半结构化道路、非结构化道路。

Description

基于单目视觉的道路边缘检测及粗定位方法

技术领域

发明涉及计算机视觉、模式识别领域，移动机器人导航技术及方法。

技术背景

智能移动机器人是包含环境感知、控制决策、路径规划等多个模块并应用计算机技术、信息技术、机器人技术、微电子技术的复杂系统。它一般融合了多种传感器技术，包括GPS、激光雷达、摄像机、超声波、陀螺仪等，将感知的数据进行处理和融合，从而得到机器人定位信息，前方障碍信息，用于行走规划和决策。移动机器人现在广泛应用于军事、医疗、农业、工业等各个领域。特别是在遇到极端环境和危险条件时，如核污染、高压、深海，甚至是外太空，移动机器人均可以有效降低人工作业的风险，提高工作效率，推动了社会和科技的进步与发展。

移动机器人有多种分类，由控制类型可分为遥控型机器人和自主型机器人。

2011年11月26日，美国成功发射了“好奇号”新一代火星探测车是集最新科技的核动力遥控型移动机器人，它是继“勇气号”、“机遇号”、“凤凰号”之后第四个火星探测车，具有很强的移动行驶能力，携带了大量环境分析监测仪器，可以将多种分析资料通过卫星传回地球。

自主型移动机器人是未来的发展趋势。它综合应用了计算机视觉、模式识别、模糊控制，专家系统等人工智能技术，由已知的结构化环境、半结构化环境下的自主移动，向非结构化未知环境的自主移动和探索发展。

其中智能汽车又是目前备受关注的移动机器人技术应用领域之一。清华大学研制的智能汽车THMR—V，可以行驶在一般道路和高速公路上，设计车速为高速公路80km/h，一般道路20km/h。汽车上装备有彩色摄像机和激光测距仪，差分GPS、磁罗盘和光码盘等导航和环境检测系统，可在校园等非结构化环境中行驶和避障。谷歌于2010年公布了自己正在研制中的智能车，丰田Prius。它安装了视频摄像头，激光测距仪，雷达传感器，GPS卫星定位系统，从传感信息中获得交通情况，在谷歌自己的地图导航下行驶了超过16万英里（其中包括偶尔有人控制的行驶路段）。智能车感知道路环境是依靠多种传感器的信息融合，对传感器的精度要求较高。

对于移动机器人来说，最常使用的是视觉传感器，即安装彩色摄像机。计算机视觉，模式识别技术对移动机器人的导航起到了至关重要的作用。对于结构化道路的视觉识别算法，一般是对车道线，交通标识，信号灯及道路区域的检测。对于非结构化道路的视觉识别算法，有对于可行驶区域，障碍物的检测。目前带有车道线的结构化的道路检测算法已经比较成熟，而对于乡村道路、不带车道线的城市道路的检测还缺少一些通用性较强的算法。

针对目前的多数视觉识别算法，对传感器要求高，时间复杂性高的缺点，对非结构化的环境识别仍需要满足较多条件，无法准确的给出导航信息的现状，本发明提出了基于单目视觉的道路边缘检测及粗定位方法。

发明内容

本发明针对移动机器人视觉算法对传感器要求高，实时性弱，对非结构化道路识别通用性较低等问题，提出了基于单目视觉的道路边缘检测及粗定位方法。

本发明的特征在于，是一种半自动式的基于移动机器人单目视觉的道路边缘检测和粗定位方法，是在由操作人员操控的计算机和装在移动机器人上的单镜头CCD摄像机共同串接而成的基于单目视觉的道路边缘检测和粗定位系统中实现的，该方法是依次按照以下步骤实现的；

步骤(1)，单镜头CCD摄像机将机器人前进时拍摄到的能反映道路和非道路边界两侧颜色差异的路况图像输入到计算机中显示；

步骤(2)，操作人员根据所述的道路和非道路边界两侧的颜色差异，来选择性的启动设在所述计算机内的两个不同的软件模块；

对于道路和非道路边界两侧颜色有显著差异的RGB颜色空间彩色路况图像，启动基于颜色的道路边缘检测模块；

对于道路和非道路边界两侧颜色模糊且无明显边界的RBG颜色空间彩色路况图像，启动基于阈值分割的道路边缘检测模块；

步骤(3)，所述基于颜色的道路边缘检测模块依次执行以下步骤进行道路边缘的检测；

步骤(3.1)，参数初始化，读入所述RBG颜色空间的彩色路况图像，设置感兴趣区域ROI的范围为所述路况图像的1/4～1/2大小，从所述彩色路况图像左下角开始划分；

步骤(3.2)，从所述彩色路况图像中取出感兴趣区域ROI的图像并转换到HSV颜色空间，得到新的路况图像；

亮度v'=max(R,G,B),

饱和度

色度

若H’<0，则用(H’+360)代替，其中RGB分别为原像素点红、蓝、绿三色的亮度值，令V=255tV',S=255S',H=H'/2

步骤(3.3)，按以下方式用openCV库中的cvCanny函数模块进行canny抽边，得到canny图：

设定步骤(3.2)得到的结果图像边缘连接处作为梯度阈值为50的控制边缘，内侧初始分割处作为梯度阈值为150的控制强边缘，输入为感兴趣区域ROI的HSV颜色空间图像和上述两个梯度阈值；输出为canny抽边图；

步骤(3.4)，设定HSV的颜色范围区间，把绿色区域或土黄色区域提取出来，其中绿色的范围区间为(20,0,0)～(70,40,0)，土黄色的范围为(10,0,0)～(30,0,150)；

步骤(3.5)，利用openCV库中的cvErode函数模块对步骤(3.4)得到的绿色或土黄色区域进行腐蚀操作，输出为结果图像；

步骤(3.6)，利用openCV库中的cvDilate函数模块对步骤(3.5)得到的结果图像进行膨胀操作，输出为经过腐蚀膨胀操作后的绿色或土黄色区域结果图像；

步骤(3.7)，从步骤(3.6)得到的结果图像中提取拟合用的边缘点：为道路左侧边缘时，在步骤(3.6)得到的结果图像内，从右至左地扫描，若canny抽边图中某个边缘点左侧的5个像素内有绿色点，而右侧的5个像素内对应的没有绿色点，则认为该边缘点为真实边缘点，边缘点左右不足5个像素时，此边缘点直接舍去，得到一个真实边缘点样本集；对土黄色区域按同样步骤；

步骤(3.8)，判断真实边缘点：

若所述真实边缘点样本集中，真实边缘点的个数m≥30，则执行以下步骤；

步骤(3.8.1)，从所述真实边缘点样本集中，随机地选出两个真实边缘点，作为两个样本数据；

步骤(3.8.2)，通过openCV库中的cvFitline函数模块，用最小二乘法拟合出一条直线；输入为步骤(3.8.1)得到的两个样本数据，计算误差类型为CV_DIST_L2，极坐标半径和角度误差均为0.01，输出所拟合直线的斜率和截距；之后再统计与所述直线距离小于4个像素点的边缘点个数k，以此作为后续步骤拟合用的点；

步骤(3.8.3)，若k/m大于0.3，则接受拟合模型，再通过所述的k个点利用最小二乘法重新拟合直线，即得到最终结果；否则，返回步骤(3.8.1)；当重复执行次数大于设定的最大循环次数200次时，则失败；若所述真实边缘点样本集中的真实边缘点数小于30时则失败；

步骤(4)，所述基于阈值分割的道路边缘检测模块，在道路右侧边缘处，依次做以下步骤进行道路边缘检测；

步骤(4.1)，设置感兴趣区域ROI的大小为图像右下角1/4部分；

步骤(4.2)，取出感兴趣区域图像，并按下式转换为灰度图像；

v₀(x,y)=0.212671×R(x，y)十0，71516O×G(x,y)+0。072169×B(x，y)，

x，y代表所述图像中以左上角为原点的像素点坐标值；v₀表示(x,y)像素点的灰度值，R表示彩色图像中所在像素的红色通道值，G表示彩色图像中所在像素的绿色通道值，B表示彩色图像中所在像素的蓝色通道值，v₀，R,G，B都在[0，255]内;

步骤(4.3)，按下式对像素点(x,y)进行均值模糊处理，将以(x,y)为中心的5×5的像素值矩阵V与核矩阵K卷积，得到新的像素值V1；

V₁(x,y)=V*K，*表示卷积，

步骤(4.4)，计算每个灰度值对应的像素点数，制成颜色直方图；

步骤(4.5)，设定CCD摄像机获取的感兴趣区域图像，在灰度空间中的值域为[0,l-1]，1∈(0,255]:

按下式计算评判值η(t),遍历所有灰度值的评判值，选出评判值最大的一个灰度值作为分类最优的灰度阈值；

其中，

为根据灰度分类阈值t划分的大于和小于等于该值的两类像素点，通过计算出现概率P₀(t)、P₁(t)而得到的类间方差；

p，为灰度值i的像素点出现的概率；图像的总像素为

n表示灰度值为i的像素点数，利用直方图的结果计算得到灰度为i的像素出现的概率为

P₀(t)、P₁(t)是根据所述灰度阈值t划分的两类的灰度值出现概率；μ_r(t)为整个灰度值值域内像素点的概率加权总和；

为根据灰度阈值t划分的大于和小于等于该值的两类像素点，通过计算出现概率而得到的类内方差；

其中，μ₀(t),μ₁(t)分别为在阈值t以下和以上的灰度值值域中，像素点出现的概率的加权均值；

步骤(4.6),基于步骤(4.54)得到的灰度分类阈值t，分别把高于所述灰度分类阈值t以及低于所述灰度分类阈值t的两类像素点，将其灰度值按下式进行二值化处理；

v(x,y)为进行二值化处理后的像素灰度值；

步骤(4.7),利用所述openCV库中的cvCanny函数模块对步骤(4.5)得到的二值图像进行canny抽边，输出为canny抽边图像；设定作为边缘连接处的控制边缘连接的像素梯度阈值为50，作为边缘初始切割处的控制强边缘连接处的像素梯度阈值为100；

步骤(4.8),对于步骤(4.7)得到的二值化处理以后的canny抽边图，按照从左到右取得第一个白色边缘点，作为边界点，得到一个边界点集；

步骤(4.9),利用openCV库中的cvHoughLines函数模块对步骤(4.8)得到的边界点集中的所有边界点进行Hough直线拟合，得到道路边缘；设定极坐标半径的分辨率为3个像素点，极坐标角度分辨率为

直线转换到极坐标上需通过该直线的曲线条数最少为50；

步骤(5)，按一下步骤进行机器人和道路边缘的相对粗定位；

步骤(5.1)，把步骤(4)检测得到的路况边缘的前向图通过做逆透视投影变换得到道路边缘的俯视图，步骤如下：

步骤(5.1.1)，用机器人上的摄像机拍摄一幅带有梯形图像，在俯视图中为矩形的前向图；

步骤(5.1.2)，在步骤(5.1.1)得到的前向图中选择一个梯形的四个顶点，记录坐标；

步骤(5.1.3)，任意设置俯视图中矩形大小与像素的对应关系，从而得到所述四个顶点在做完逆透视投影变换后得到的俯视图中的四个顶点，记录坐标；

步骤(5.1.4)，利用openCV中的cvWrapPerspectiveQMatrix函数模块，求出逆透视投影变换矩阵H，输入为步骤(5.1.2)、(5.1.3)中的两套坐标构成的两个4×2的矩阵，输出为逆透视投影变换矩阵H；

步骤(5.1.5)，把所述前向图和逆透视投影变换矩阵输入openCV中的cvWrapPerspective函数模块中，得到逆透视投影变换后的俯视图；

步骤(5.2)，按以下步骤计算航向角偏差和横向位移：

所述航向角偏差是指机器人行驶方向AC与道路边缘线的延长线AE之间的夹角θ，

所述横向位移是指所述机器人行驶方向AC上的机器人中心B到所述道路边缘延长线上的垂直距离BD；

步骤(5.2.1)，求航向角偏差θ，

在所述前向图的道路边缘线上任意两点，将其中的每一个点的坐标乘以所述逆透视投影变换矩阵H，就得到所述道路边缘线的延长线上对应两点的坐标(x_l，y₁)、(x₂，y₂)，相应的直线AE的斜率k=(y₂一y₂)/(x₂一x₁)，则θ=90°-arctan(k);若x₁=x₂，则0=0°;

步骤(5.2.2)，求横向位移BD，

步骤(5.2.2.1)，设定：所述俯视图的左上角为坐标原点，坐标用像素点表示，每一个像素点对应实际长度为7.5mm，在步骤(5.1.3)中设置俯视图坐标时设定的；联立如下方程可得到机器人行驶方向AC中A的纵坐标为h；

width表示图像宽度，

步骤(5.2.2.2)，设机器人行驶方向AC与所述俯视图的交点C的纵坐标为图像高度height，则从C点到道路边缘线的延长线的垂直距离为CE=sin(θ)*7.5*(h-height);

步骤(5.2.2.3)，按下式计算横向位移BD：

BD=sin(θ)*7.5*(h-height-d/7.5)

d是机器人中心B和俯视图下边缘的垂直距离BC，也是机器人前方的盲区距离，单位为mm。

本发明的主要优点是：

1、本发明针对连续的具有不同边缘特征的道路提供了两种道路边缘检测方法，对道路环境的适应性强，通用性好。一种适用于道路和非道路边界两侧颜色差异比较大的情况（如两侧为绿化带的道路），对光照条件和阴影的敏感性较弱；另一种方法适用于边界处相对不够清晰的道路情况，对阴影很敏感。两种方法主要适用于半结构化道路以及非结构化道路。

2、有些时候由于摄像机的视野或者安装角度，或者道路较宽等原因，图像不能完整显示道路的两侧，本发明的道路边缘检测方法针对单侧的边缘检测，降低了对摄像机视野范围和安装角度的要求；本发明的方法不需要分辨率很高的摄像机，降低了对摄像机清晰度的要求。

3、本发明在检测到道路的边缘后，对机器人进行了相对于道路边缘的粗定位，给出了定位结果，此结果可以更好的辅助控制机器人的行进。

本发明实现了两种基于单目视觉的道路边缘检测方法，在其基础上，实现了机器人相对于道路边缘的粗定位。

第一种方法是基于颜色的道路边缘检测方法，首先将图像转换到HSV颜色空间上，利用道路和非道路的颜色差异，以H值为主范围区间，S和V为辅助范围区间，将图像粗略分成道路和非道路区域的二值灰度图；结合原始图像的canny边缘图，根据道路边缘处梯度较大以及边缘两侧的颜色不同，提取道路边缘点；当道路边缘点的数目较多时，才进行下一步的处理，否则丢弃这一帧图像对下一帧图像进行处理；然后用RANSAC方法对道路边缘点进行直线拟合。从已有的道路边缘点中随机抽取两点进行直线拟合，当拟合结果较好时，去除干扰较大的点，对剩余的边缘点再次进行随机抽样直线拟合。两次拟合可以使拟合结果更准确，并且能很好的去除图像中一些噪点的干扰。

另一种方法是基于阈值分割的道路边缘检测方法，先将原图像转化成灰度图像；选择灰度阈值t将图像划为道路和非道路两类，计算两类的类间方差；遍历t的值，选取使得类间方差最大的t值作为道路区域和非道路区域的临界值；利用灰度阈值t将图像二值化，提取二值化图像的边缘点即为道路边缘点；对道路边缘点进行Hough直线检测，得到道路边缘线。

在检测到道路边缘之后，对机器人进行和道路边缘的相对粗定位，计算机器人和道路方向的夹角以及机器人与道路边缘的垂直距离。对已得到的道路边缘线图像进行逆透视投影变化，将图像从摄像机正常的视角图转换为俯视图；逆透视投影变换后的图像和实际的距离有一个线性的对应关系，一个像素点在实际中代表的长度为α毫米；利用图像中直线的斜率可以算出机器人当前和道路方向的夹角θ，机器人和道路边缘的垂直距离δ可以从图像中根据三角关系求出。

本发明的优劣：本发明提出的道路边缘检测方法适用于半结构化和非结构化道路，对于图像稳定性及传感器色彩偏差上有很好的鲁棒性，可用于小型移动机器人。同时，可以很好满足实时导航的需求，处理延迟低，对于非结构化道路适用范围广。算法得出的最终结果，可以辅助机器人定位，对机器人控制决策起到决定性作用。由于算法基于单目视觉，因此具有视觉算法的通病，即对于光照条件、阴影较为敏感，在这些条件下的检测效果会受到影响。

附图说明

图1、2为基于颜色的道路边缘检测算法的步骤说明图，其中：

图1(a)为划分ROI后的原始图像，图1(b)为canny抽边结果图，图1(c)为绿色区域提取结果图，图1(d)为腐蚀膨胀处理后的绿色区域图。

图2为RANSAC直线拟合结果图。

图3、4、5为基于阈值分割的道路边缘检测算法的步骤说明图，其中：

图3(a)为划分ROI后的原始图像，图3(b)为转化为灰度空间的图像。

图4(a)为利用灰度阈值进行二值化的结果图，图4(b)为canny抽边后去冗简化的结果图。

图6、7、8、9为机器人粗定位实施方法的步骤说明图，其中：

图5为最终直线拟合结果图。

图6为世界坐标系与图像坐标系示意图。

图7为对于实际道路，逆透视投影变换前后的效果对比图。其中(a)为原图，(b)为逆透视投影变换后的图。

图8为用于求逆透视投影变换矩阵的图像。其中(a)为原图，图中的四个点为选取的四个点，(b)为逆透视投影变换后的效果图。

图9为航向角偏差和横向位移计算示意图。

图10为基于单目视觉的道路边缘检测和粗定位方法的流程图。

具体实施方式

本发明设计了基于单目视觉的道路边缘检测和粗定位方法。图1所示的是道路边缘检测和粗定位的流程。本发明设计了两种道路边缘检测方法，一种是基于颜色的道路边缘检测方法，另一种是基于阈值分割的道路边缘检测方法。在道路边缘检测的基础上，对机器人进行了相对于道路边缘的粗定位。实现过程中的图像处理利用的是openCV开源库。

一、根据实际环境选择道路检测算法

首先根据实际道路环境选择用哪一种算法，如果道路和非道路边界两侧颜色差异比较大的情况（如两侧为绿化带的道路）就选择基于颜色的道路边缘检测方法；否则就选取基于阈值分割的道路边缘检测方法。

二、道路边缘检测算法

基于颜色的道路边缘检测方法

本方法的关键是道路边缘点的提取和道路边缘线的拟合。由于道路边缘两侧的颜色一般是有很大区别的，并且道路边缘处的图像梯度较大，因此本方法使用颜色范围区间和canny图像相结合的方法提取边缘点；提取的边缘点可能有一些干扰，本方法使用抗干扰力较强的RANSAC方法来拟合道路边缘线。以两旁是绿化带的道路为例，具体的步骤如下：

1.参数的初始化：使用设置颜色的范围区间H、S、V的值，例如绿色：(20,0,0)～(70,40,0)，土黄色：(10,0,0)～(30,0,150)，ROI（感兴趣区域）的大小（范围在图像的四分之一至二分之一大小，从图像左下角或者右下角开始划分）；

2.读入图像，取出图像的ROI，将原始图像转换到HSV空间，公式如下：

a)将颜色图像从RGB颜色空间转换到HSV颜色空间

i.每个像素点的H，S，V分量的值分别如下计算：

亮度V=max(R,G，B)

饱和度

色度

若H<0，则用(H+360)代替

其中R，G，B分别为该点红、绿、蓝三色的亮度值。

ii.为了方便存储和计算，对每个点的H，S，V分量值做如下计算：

V'=255V,S'=255S,H'=H/2;

对于RGB颜色空间的彩色图像，对于每个像素点进行上述计算，可以转化为HSV颜色空间图像。

3.进行canny抽边得到canny图：利用openCV库中的cvCanny函数进行，输入参数为原始图像，作为控制边缘的梯度阈值为50，内侧初始分割处作为控制强边缘的像素阈值为150，输出为canny抽边图；图1(a)为划分ROI后的图像，图1(b)为取出ROI后的canny抽边图；

4.用HSV的范围区间将绿色或土黄色区域提取出来；如图1(c)；

5.对绿色或土黄色区域图进行腐蚀操作：利用openCV库中的函数cvErode函数，输入为原始图像，其余参数为默认的矩形矩阵，无需输入，输出为结果图像；

6.对绿色或土黄色区域图进行膨胀操作：利用openCV库中的函数cvDilate函数，输入为原始图像，其余参数为默认，无需输入，输出为结果图像；如图1(d)；

7.提取用于拟合的边缘点：对canny图从下至上从右至左扫描（如果是道路左侧边缘），若canny图中的边缘点左侧5像素内有绿色点或土黄色点，右侧5像素内没有绿色点或者土黄色点，则认定为真实的边缘点。一行最多只有一个真实边缘点。左右不足5像素的点直接舍去；

8.如果真实边缘点的个数小于30则无法拟合；如果真实边缘点的个数大于30，则采用RANSAC算法对上面步骤得到的真实边缘点进行直线拟合：

a)设真实边缘点样本集中总共有m个点，随机地选出两个样本数据；

b)通过这两个点用最小二乘法拟合直线：利用openCV库中的cvFitLine函数，输入为两个点的点集，计算误差类型为CV_DIST_L2，极坐标半径和角度误差均为0.01，输出为直线的参数；然后统计与直线距离小于4像素的点即拟合上的点的个数K；

c)如果K/m大于0.3就接受拟合模型，则接受该拟合结果，并且通过所有能够拟合上的数据利用最小二乘方法拟合直线；否则重新执行a)-c)；

d)如果重复执行次数大于最大允许次数200，则失败；

最终结果如图2。

基于阈值分割的道路边缘检测算法

针对一些非结构化道路中，道路区域边缘不清晰，道路区域与非道路区域颜色差异大的特点，在系统中利用了一种最大类间方差法，将摄像机捕捉到的图像，在灰度空间中进行自适应的聚类，使其动态地进行阈值分割，从而识别出可行驶的道路区域。

算法中将道路区域和非道路区域分为两类C₀和C₁，通过分别计算两类的类间方差和类内方差，获得最佳灰度分割阈值t，即灰度阈值t可使得两类的类间方差最大，类内方差最小。该方法的判决条件，是根据将图像二分时，同一类的像素点颜色相似，不同类的像素点颜色差异大的特点演化而来。

具体实施步骤如下：

1.设置感兴趣区域ROI大小为图像右下角四分之一部分。图3(a)为划分感兴趣区域后得到的图像；

2.将图像转化为灰度图像，公式如下（其中x，y代表图像中以左上角为原点的像素点坐标值，v₀表示(x,y)像素点的灰度值，R表示彩色图像中所在像素的红色通道值，G表示彩色图像中所在像素的绿色通道值，B表示彩色图像中所在像素的蓝色通道值，v₀,R,G,B∈[0,255]):

v₀(x,y)=0.212671×R(x,y)+0.71516O×G(x,y)+O.072169×B(x,y)

3.利用均值模糊算法对图像进行模糊处理，用以减少个别的颜色突变点。图3(b)为灰度空间的图像；具体公式如下（其中x，y代表图像中以左上角为原点的像素点坐标值，v₀表示(x,y)像素点的灰度值，K表示均值模糊的核矩阵，V表示以(x,y)为中心的5×5的像素值矩阵，*表示卷积）：

V₁(x,y)=V*K

4.对灰度图进行颜色直方图统计，即计算每种灰度值对应的像素点数；

5.摄像机获取的图像在灰度空间中的值域为[0,I-1](l∈[0,255]),设灰度值为i的像素点个数为n_i则图像的总像素为

则利用直方图的结果可计算得到灰度为i的像素出现的概率为

所以根据上述公式我们可以得到：

0≤p_i≤1且

对于某一个灰度值t作为阈值，可将灰度值划分为两类。通过以下公式可计算得到两类的出现概率为：

因此，可以计算得到两类的均值，以及图像的总体灰度概率均值分别为：

由此可得出两类的类间方差为：

类内方差为：

最终评判值计算公式为

遍历所有灰度评判值大小选出最终评判值最大的灰度值，即分类最优的灰度阈值。

6.按照上一步得到灰度分类阈值，将高于此数值和低于此数值的两类像素进行简单的黑白二值处理。结果如图4(a)。公式如下（其中x，y代表图像中以左上角为原点的像素点坐标值，v₁表示(x,y)像素点二值化之前的灰度值，v表示所在像素二值化处理后的灰度值，t为上一步求出的灰度分类阈值）：

7.对此二值图像进行canny抽边：利用openCV库中的cvCanny函数进行，输入参数为原始图像，作为控制边缘的梯度阈值为50，内侧初始分割处作为控制强边缘的像素阈值为150，输出为canny抽边图

8.根据上一步的canny抽边图，按行从左到右取得第一个白色点（如果是沿道路右边缘），得到一个边界点集，起到去除冗余信息简化结果的作用。图4(b)为抽边且边缘简化后的结果；

9.利用上一步得到的边界点集进行Hough直线拟合：使用openCV库中的cvHoughLines函数，输入为原始图像，极坐标半径的分辨率3像素，极坐标系角度的分辨率直线所需最少的曲线交点50，输出为Hough拟合图。即得到了道路边沿。如图5。

三、机器人和道路边缘的相对粗定位

机器人行进时，需不断的通过摄像机检测出的道路边缘来计算当前机器人和道路边缘之间的横向位移以及航向角偏差。横向位移即为机器人中心与道路边缘的垂直距离。航向角偏差即为机器人当前行驶方向和欲行驶的规划路线之间的夹角。具体的计算步骤如下：

1、逆透视投影变换

为了方便的计算出机器人的横向位移偏差和航向角偏差，将检测到的车道边缘图像做逆透视投影变换，将前向图变换成俯视图，如图7。

在欧氏空间中定义两个坐标系W和I，分别表示世界坐标系和图像坐标系：

W={(x,y,z))∈E³

I={(u,v)}∈E²

其中E是欧氏空间，x、y、z是世界坐标系W中的坐标，z=0的平面是地平面；u、v是图像坐标系中的坐标，图像坐标系的原点是图像的左上角。

逆透视投影变换的实质就是将图像坐标系I下的道路图像，即摄像机所获取的图像，变换到世界坐标系W下的z=0平面中，两者关系如图6。

由于z=0，并且变换后的图像没有旋转变换，因此只需要将一个3×3的变换矩阵和原图像相乘就可以得到逆透视投影变换后的图像。

f(x,y)=(x,y,1)×H

其中(x,y)是原始图像中一点的坐标，H是3×3的逆透视投影变换矩阵，f(x,y)是变换后的坐标。

具体步骤如下：

（1）用机器人上的摄像机拍摄一幅带有梯形图案，俯视图时为矩形的前向图；

（2）在图片中取一个梯形的四个顶点，记录坐标；

（3）根据俯视图中的矩形大小与像素的对应关系设置矩形这四个顶点在新的坐标系中的x，y坐标；

（4）利用openCV中的cvWarpPerspectiveQMatrix函数求出逆透视投影矩阵H。cvWarpPerspectiveQMatrix函数的输入是上述两套坐标构成的两个4×2的矩阵，输出是逆透视投影变换矩阵H。

（5）利用openCV中的函数cvWarpPerspective，函数的输入是原始图像和逆透视投影变换矩阵H，输出是变换后的图像。

用于计算逆透视投影变换矩阵的图像和逆透视投影变化后的图像如图8.

具体实例：如图8，图像的分辨率为768*576，取四个点，坐标分别为（92，574），（230，437），（722，566），（572，432）；设定在新坐标系下的坐标为（304，575），（304，375），（464，575），（464，375）。用openCV中的cvWarpPerspectiveQMatrix函数求出逆透视投影变换矩阵。cvWarpPerspectiveQMatrix函数的输入是两个矩阵4×2的矩阵，每个矩阵是由4个点的横纵坐标组成的，就是变换前和变换后的坐标。求得的逆透视投影变换矩阵为：

-0.291892      -1.36039      487.334

-0.0454482     -2.89973      1062.64

-0.000060317   -0.00356855   1

得到逆透视投影变换后的图像，原来的四个点在逆透视投影变换后，基本为正方形的四个顶点。

由于图片中一个方砖的实际宽度为600mm，各顶点在图像中的坐标也已知，可算出逆透视投影变换后一个像素点在实际中的距离是7.5mm，这是后续计算机器人行驶状态的重要依据。由于逆透视投影变换后的图像的四个点的坐标是人为规定的，因此可以控制这四个点的位置来调整图像中一个像素点对应的实际距离。

2、航向角偏差和横向位移计算

在图9中，假设机器人的位置是AC中点B的位置，中心实线（直线ABC）是机器人行驶的方向，车道边缘的方向是经过逆透视投影变换后的车道边缘线，虚线是车道边缘线的延长线，它和中心实线（直线ABC）的夹角即为机器人的航向角偏差θ，线段BD长度就是横向位移。

（1）求行驶角度偏差θ。由前面的检测算法可以得到原始图像中道路边缘线上的每一点的坐标，将其乘以逆透视投影变换矩阵H就可以得到直线DE上任意一点的坐标，然后用两点的坐标(x₁，y₁)，(x₂，y₂)(x₁不等于x₂)算出直线的斜率k=(y₂-y₂)/(x₂-x₁)，然后可以求出θ=90°一arctan(k);若x₁=x₂,则θ=0°。

（2）求横向位移偏差（BD）。

i.图中A点的坐标用直线ABC和直线DE的方程联立可以求出来。假设图像中左上角为坐标原点，坐标用像素来表示，A点的纵坐标为h。方程如下：

（width表示图像宽度），

ii.在做逆透视投影变换的时候，有一个可选的尺度∝（mm），即为一个像素点对应的实际的长度（例如上面提到的7.5mm），那么可以得出，线段CE的实际长度为sin(θ)*∝*(h-height)，其中height为图像的像素高度，也就是C的纵坐标。

iii.假设机器人中心和图像下方的实际距离(BC)是d（mm），这个距离即为摄像机安装在机器人上后的盲区距离，转换成像素的距离就是d/∝，那么横向位移(BD)的计算就变成sin(θ)*∝*(h-height-d/∝)。

Claims (1)

1.基于单目视觉的道路边缘检测和粗定位方法，其特征在于，是一种半自动式的基于移动机器人单目视觉的道路边缘检测和粗定位方法，是在由操作人员操控的计算机和装在移动机器人上的单镜头CCD摄像机共同串接而成的基于单目视觉的道路边缘检测和粗定位系统中实现的，该方法是依次按照以下步骤实现的； 

步骤(1)，单镜头CCD摄像机将机器人前进时拍摄到的能反映道路和非道路边界两侧颜色差异的路况图像输入到计算机中显示； 

步骤(2)，操作人员根据所述的道路和非道路边界两侧的颜色差异，来选择性的启动设在所述计算机内的两个不同的软件模块； 

对于道路和非道路边界两侧颜色有显著差异的RGB颜色空间彩色路况图像，启动基于颜色的道路边缘检测模块； 

对于道路和非道路边界两侧颜色模糊且无明显边界的RBG颜色空间彩色路况图像，启动基于阈值分割的道路边缘检测模块； 

步骤(3)，所述基于颜色的道路边缘检测模块依次执行以下步骤进行道路边缘的检测； 

步骤(3.1)，参数初始化，读入所述RBG颜色空间的彩色路况图像，设置感兴趣区域ROI的范围为所述路况图像的1/4～1/2大小，从所述彩色路况图像左下角开始划分； 

步骤(3.2)，从所述彩色路况图像中取出感兴趣区域ROI的图像并转换到HSV颜色空间，得到新的路况图像； 

亮度V′=max(R,G,B)， 

饱和度

色度

若H′<0，则用(H′+360)代替，其中RGB分别为原像素点红、蓝、绿三色的亮度值，令V=255V′，S=255S′，H=H′/2； 

步骤(3.3)，按以下方式用openCV库中的cvCanny函数模块进行canny抽边，得到canny图： 

设定步骤(3.2)得到的结果图像边缘连接处作为梯度阈值为50的控制边缘，内侧初始分割处作为梯度阈值为150的控制强边缘，输入为感兴趣区域ROI的HSV颜色空间图像和上述两个梯度阈值；输出为canny抽边图； 

步骤(3.4)，设定HSV的颜色范围区间，把绿色区域或土黄色区域提取出来，其中绿色的范围区间为(20,0,0)～(70,40,0)，土黄色的范围为(10,0,0)～(30,0,150)； 

步骤(3.5)，利用openCV库中的cvErode函数模块对步骤(3.4)得到的绿色或土黄色区域进行腐蚀操作，输出为结果图像； 

步骤(3.6)，利用openCV库中的cvDilate函数模块对步骤(3.5)得到的结果图像进行膨胀操作，输出为经过腐蚀膨胀操作后的绿色或土黄色区域结果图像； 

步骤(3.7)，从步骤(3.6)得到的结果图像中提取拟合用的边缘点：为道路左侧边缘时，在步骤(3.6)得到的结果图像内，从右至左地扫描，若canny抽边图中某个边缘点左侧的5个像素内有绿色点，而右侧的5个像素内对应的没有绿色点，则认为该边缘点为真实边缘点，边缘点左右不足5个像素时，此边缘点直接舍去，得到一个真实边缘点样本集；对土黄色区域按同样步骤； 

步骤(3.8)，判断真实边缘点： 

若所述真实边缘点样本集中，真实边缘点的个数m≥30，则执行以下步骤； 

步骤(3.8.1)，从所述真实边缘点样本集中，随机地选出两个真实边缘点，作为两个样本数据； 

步骤(3.8.2)，通过openCV库中的cvFitline函数模块，用最小二乘法拟合出一条直线；输入为步骤(3.8.1)得到的两个样本数据，计算误差类型为CV_DIST_L2，极坐标半径和角度误差均为0.01，输出为所拟合直线的斜率和截距；之后再统计与所述直线距离小于4个像素点的边缘点个数k，以此作为后续步骤拟合用的点； 

步骤(3.8.3)，若k/m大于0.3，则接受拟合模型，再通过所述的k个点利用最小二乘法重新拟合直线，即得到最终结果；否则，返回步骤(3.8.1)；当重复执行次数大于设定的最大循环次数200次时，则失败；若所述真实边缘点样本集中的真实边缘点数小于30时则失败； 

步骤(4)，所述基于阈值分割的道路边缘检测模块，在道路右侧边缘处，依次做以下步骤进行道路边缘检测； 

步骤(4.1)，设置感兴趣区域ROI的大小为图像右下角1/4部分； 

步骤(4.2)，取出感兴趣区域图像，并按下式转换为灰度图像； 

v₀(x,y)=0.212671×R(x,y)+0.715160×G(x,y)+0.072169×B(x,y)， 

x，y代表所述图像中以左上角为原点的像素点坐标值；v₀表示(x,y)像素点的灰度值，R表示彩色图像中所在像素的红色通道值，G表示彩色图像中所在像素的绿色通道值，B表示彩色图像中所在像素的蓝色通道值，v₀,R,G,B都在[0,255]内； 

步骤(4.3)，按下式对像素点(x,y)进行均值模糊处理，将以(x,y)为中心的5×5的像素值矩阵V与核矩阵K卷积，得到新的像素值V1； 

v₁(x,y)=V*K，*表示卷积， 

步骤(4.4)，计算每个灰度值对应的像素点数，制成颜色直方图； 

步骤(4.5)，设定CCD摄像机获取的感兴趣区域图像，在灰度空间中的值域为[0,l-1]，l∈(0,255]； 

按下式计算评判值η(t)，遍历所有灰度值的评判值，选出评判值最大的一个灰度值作为分类最优的灰度阈值； 

其中，为根据灰度分类阈值t划分的大于和小于等于该值的两类像素点，通过计算出现概率P₀(t)、P₁(t)而得到的类间方差； 

p_i为灰度值i的像素点出现的概率；图像的总像素为

n表示灰度值为i的像素点数，利用直方图的结果计算得到灰度为i的像素出现的概率为

P₀(t)、P₁(t)是根据所述灰度阈值t划分的两类的灰度值出现概率；μ_T(t)为整个灰度值值域内像素点的概率加权总和； 

为根据灰度阈值t划分的大于和小于等于该值的两类像素点，通过计算出现概率而得到的类内方差； 

其中，μ₀(t)、μ₁(t)分别为在阈值t以下和以上的灰度值值域中，像素点出现的概率的加权均值； 

步骤(4.6)，基于步骤(4.5)得到的灰度分类阈值t，分别把高于所述灰度分类阈值t以及低于所述灰度分类阈值t的两类像素点，将其灰度值按下式进行二值化处理； 

v(x,y)为进行二值化处理后的像素灰度值； 

步骤(4.7)，利用所述openCV库中的cvCanny函数模块对步骤(4.5)得到的二值图像进行canny抽边，输出为canny抽边图像；设定作为边缘连接处的控制边缘连接的像素梯度阈值为50，作为边缘初始切割处的控制强边缘连接处的像素梯度阈值为100； 

步骤(4.8)，对于步骤(4.7)得到的二值化处理以后的canny抽边图，按照从左到右取得第一个白色边缘点，作为边界点，得到一个边界点集； 

步骤(4.9)，利用openCV库中的cvHoughLines函数模块对步骤(4.8)得到的边界点集中的所有边界点进行Hough直线拟合，得到道路边缘；设定极坐标半径的分辨率为3个像素点，极坐标角度分辨率为

直线转换到极坐标上需通过该直线的曲线条数最少为50； 

步骤(5)，按以下步骤进行机器人和道路边缘的相对粗定位； 

步骤(5.1)，把步骤(4)检测得到的路况边缘的前向图通过做逆透视投影变换得到道路边缘的俯视图，步骤如下： 

步骤(5.1.1)，用机器人上的摄像机拍摄一幅带有梯形图像，在俯视图中为矩形的前向图； 

步骤(5.1.2)，在步骤(5.1.1)得到的前向图中选择一个梯形的四个顶点，记录坐标； 

步骤(5.1.3)，任意设置俯视图中矩形大小与像素的对应关系，从而得到所述四个顶点在做完逆透视投影变换后得到的俯视图中的四个顶点，记录坐标； 

步骤(5.1.4)，利用openCV中的cvWrapPerspectiveQMatrix函数模块，求出逆透视投影变换矩阵H，输入为步骤(5.1.2)、(5.1.3)中的两套坐标构成的两个4×2的矩阵，输出为逆透视投影变换矩阵H； 

步骤(5.1.5)，把所述前向图和逆透视投影变换矩阵输入openCV中的cvWrapPerspective函数模块中，得到逆透视投影变换后的俯视图； 

步骤(5.2)，按以下步骤计算航向角偏差和横向位移： 

所述航向角偏差是指机器人行驶方向AC与道路边缘线的延长线AE之间的夹角θ， 

所述横向位移是指所述机器人行驶方向AC上的机器人中心B到所述道路边缘延长线上的垂直距离BD； 

步骤(5.2.1)，求航向角偏差θ， 

在所述前向图的道路边缘线上任意两点，将其中的每一个点的坐标乘以所述逆透视投影变换矩阵H，就得到所述道路边缘线的延长线上对应两点的坐标(x₁,y₁)、(x₂,y₂)，相应的直线AE的斜率k=(y₂-y₂)/(x₂-x₁)，则θ=90°-arctan(k);若x₁=x₂，则θ=0°； 

步骤(5.2.2)，求横向位移BD， 

步骤(5.2.2.1)，设定：所述俯视图的左上角为坐标原点，坐标用像素点表示，每一个像素点对应实际长度为7.5mm，在步骤(5.1.3)中设置俯视图坐标时设定的；联立如下方程可 得到机器人行驶方向AC中A的纵坐标为h； 

width表示图像宽度， 

步骤(5.2.2.2)，设机器人行驶方向AC与所述俯视图的交点C的纵坐标为图像高度height，则从C点到道路边缘线的延长线的垂直距离为CE=sin(θ)*7.5*(h-height)； 

步骤(5.2.2.3)，按下式计算横向位移BD： 

BD=sin(θ)*7.5*(h-height-d/7.5) 

d是机器人中心B和俯视图下边缘的垂直距离BC，也是机器人前方的盲区距离，单位为mm。 

Images