CN109726681A - 一种基于机器学习识别与图像分割的盲道识别定位算法 - Google Patents

Abstract

一种基于机器学习识别与图像分割的盲道图像定位算法，首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而使用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。本发明通过盲道独特的纹理特征识别盲道，能够同时识别不同颜色的盲道，满足了视觉导盲仪中盲道定位功能的实际应用需求。

Description

一种基于机器学习识别与图像分割的盲道识别定位算法

技术领域

本发明涉及一种基于机器学习识别与图像分割的盲道识别定位算法，用于确定盲道在图像中的位置以引导盲人沿盲道行走，尤其适用于计算机视觉导盲。

背景技术

目前传统的方法是借助导盲杖或导盲犬等来协助盲人行走，然而它们都有很大的局限性：导盲杖的探测范围有限且精度不高，而导盲犬的数量较少且价格昂贵，因此盲人的出行安全难以得到保障。除此以外，虽然现代化的电子导盲设备多种多样，例如基于红外、蓝牙、射频等原理的非视觉导盲仪等，但是这些设备的应用也较为有限。实际上，盲人缺失的是视觉，只有计算机视觉导盲装置才可能最大程度弥补盲人的生理缺陷，最大程度缩小盲人相对于常人行为能力的巨大差距。

近些年，世界各地开始致力于开发计算机视觉导盲装置，希望通过这些设备可以帮助盲人真正地安全出行，可以说，计算机视觉导盲已经成为了如今导盲研究领域的热点，而导盲道作为最普遍的导盲道路设施必然是视觉处理的重点。国内外对盲道识别、分割进行了一定的研究，主要基于颜色与纹理两种信息识别、分割盲道。颜色聚类分析的方法通过将原RGB图像转换到Lab或HSL颜色空间进行聚类分析，选取合适的阈值对整幅图像进行分割，确定盲道区域。纹理聚类分析的方法是通过灰度直方图、灰度共生矩阵等方法提取纹理特征再进行聚类分析，选取合适阈值分割出盲道区域。

但现有的方法存在一定的缺陷：(1)基于颜色聚类分析的方法对颜色与光照敏感，且无法适用于盲道与背景区域颜色相近的情况；(2)基于纹理聚类分析的方法对光照适应性较好，但仍未解决盲道与背景区域对比度低时的识别问题。

由于上述缺陷的存在，因而在计算机视觉导盲中，现有方法应用的效果不够理想。

发明内容

为了解决上述问题，本发明提供了一种基于机器学习识别与图像分割的盲道识别定位算法，能够对各种颜色的盲道有较好的识别效果，提高了引导盲人行走的可靠性。

本发明的技术解决方案是：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道形状失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。

所述的利用双目视觉信息将倾斜视角下的道路图像转换为鸟瞰视角步骤包括：

步骤一：利用双目摄像头对盲道进行拍摄，获取盲道的左、右相机图像；

步骤二：利用双目视觉信息计算得到盲道所在平面的法向量

步骤三：根据法向量通过两次旋转与一次平移将相机坐标系O_cX_cY_cZ_c转换到鸟瞰坐系O_bX_bY_bZ_b，把倾斜视角下的道路图像转换为鸟瞰视角，消除射影变换带来的盲道失真。

所述的采集训练图像正负样本，通过LBP算子提取样本纹理的特征向量，利用Adaboost算法训练盲道识别分类器，然后利用分类器在线识别盲道区域的步骤包括：

步骤一：对包含盲道的鸟瞰图进行标记，作为正样本，不含盲道的整幅图片作为负样本。

步骤二：利用LBP算子对采集的正负样本逐个提取特征向量，用此向量来描述样本的纹理特征。

步骤三：将上一步提取到的正负样本的特征向量作为训练数据，设置相应的分类器训练参数，训练盲道识别分类器。

步骤四：对一幅新的图像，采用滑动窗口遍历整幅图像，并将每个窗口区域输入到训练好的盲道级联分类器中，若某个区域通过了所有层的强分类器，则标记此区域为盲道，若整幅图像的所有区域都未被标记，则认为此图像中不存在盲道。

所述的对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线的步骤包括。

步骤一：根据识别结果得到前景图像。获取上一步盲道分类器识别的盲道区域结果，选取识别矩形框的最大内接圆作为确信的盲道区域，并将圆内的像素赋值为255，其它区域像素赋值为0，得到前景图像。

步骤二：在前景图像的基础上获取背景图像。背景图像中主要标记确信的非盲道区域和需要标记分水岭划分准确分界线的未知区域。在前景图像上，通过深度膨胀来获得一个超过前景大小的区域，并对整幅图像进行阈值处理，将白色区域的像素值转换为0，定义为未知区域，而将黑色区域的像素值转换成128，定义为非盲道区域，即得到了背景图像。

步骤三：利用标记分水岭算法分割盲道区域。将前景、背景及未知区域合成为一个标记图像，将标记图像与梯度图像作为标记分水岭算法的输入。标记分水岭算法根据标记得到的先验知识，从前景区域和背景区域开始同时向未知区域进行生长，直到达到两个区域的分界为止，最终水坝的位置便是所需要得到的盲道边界，从而分割出盲道区域。

步骤四：确定盲道区域中心线。根据标记分水岭分割结果，采用Canny算子检测区域的边缘，得到盲道区域边缘线。对边缘图像采用Hough变换检测盲道边界所在直线，并根据两条边界确定盲道的中心线。将检测到的中心线再经由单应矩阵逆变换到原图像，最终实现盲道在图像中的定位。

本发明与现有技术相比的优点在于：(1)鸟瞰图消除了盲道倾斜视角带来的射影失真；(2)基于机器学习识别的方法能够抓住盲道纹理的独特特征，准确识别不同颜色的盲道；(3)通过形态学操作的标记分水岭能够准确分割出盲道区域；(4)利用直线表征盲道图像区域定位结果，更加方便。

附图说明

图1为本发明基于机器学习识别与图像分割的盲道识别定位算法的总体流程图；

图2为本发明相机坐标系与鸟瞰坐标系几何关系示意图；

图3为本发明训练用正负样本示意图，其中(a)为正样本，(b)、(c)为负样本。

图4为本发明盲道LBP特征向量提取

图5为本发明盲道识别结果

图6为本发明识别、分割、定位过程中每一步结果

具体实施方式

本发明基于机器学习识别与图像分割的盲道图像定位算法总体流程如图1所示，具体包括：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。

下面结合说明书附图对本发明中的各个部分做详细说明：

所述的利用双目视觉信息将倾斜视角下的道路图像转换为鸟瞰视角示意图如图2所示，其步骤包括：

步骤一：对盲道进行拍摄，获取盲道的左、右相机图像；

步骤二：由利用双目视觉信息得到盲道所在平面的法向量为

步骤三：如图2所示，通过两次旋转与一次平移可将相机坐标系O_cX_cY_cZ_c转换到鸟瞰坐系O_bX_bY_bZ_b。

根据步骤二得到的地面的法向量两次旋转的角度可以由计算法向量与各坐标轴的夹角近似获取。设绕Z_c轴旋转的角度为θ，旋转矩阵为R_Z(θ)，绕X_c轴旋转的角度为α，旋转矩阵为R_X(α)，则旋转矩阵R_cb为：

平移向量为T_cb，由旋转后的鸟瞰坐标系O_bX_bY_bZ_b的沿Y_b轴负方向移动，至鸟瞰图视角左边缘线与地面相交点和原视角左边缘线与地面的相交点重合于点p。记此时O_b点与O_c点的水平距离为d，则平移向量T_cb为：

T_cb＝(0,d,0)^T

已知相机在Y_bO_bZ_b平面的视角为则d为：

其中h为相机坐标系原点到地面平面的高度，γ为相机坐标系Z_c轴与地面的夹角，可由下式得到：

其中为相机坐标系Z_c轴的单位方向向量。

根据相机坐标系到鸟瞰坐标系的旋转矩阵R_cb和平移向量T_cb，可以推导出原图像坐标与鸟瞰图坐标之间的单应性矩阵H_cb。设标定好的相机内参矩阵为K，地面上的任意点在相机坐标系下的坐标为(X_c,Y_c,Z_c)^T，在原图像中坐标为(x_c,y_c)^T，在鸟瞰坐标系下的坐标为(X_b,Y_b,Z_b)^T，在鸟瞰图中坐标为(x_b,y_b)^T，则根据相机透视投影模型、坐标系转换关系及相机坐标系下的地面方程，有约束式：

由上式可得相机视角原图像坐标到鸟瞰图坐标的单应变换为：

s₃[x_b y_b 1]^T＝H_cb[x_c y_c 1]^T

其中的单应性矩阵H_cb为：

式中s₁、s₂、s₃表示比例因子，且s₃＝s₂/s₁。

采集训练图像正负样本，通过LBP算子提取图像纹理特征向量，利用Adaboost算法训练盲道识别分类器，然后利用分类器在线识别盲道区域的步骤包括：

步骤一：对包含盲道的鸟瞰图进行标记，作为正样本，不含盲道的整幅图片作为负样本，正、负样本如图3所示。

步骤二：对采集的正负样本逐个提取其LBP特征向量，用此向量来描述样本的纹理特征。如图4所示：

步骤三：将上一步提取的正负样本的LBP特征作为训练的数据集，设置相应的分类器训练参数，主要有特征类型、检测窗口大小、误警率、包含的弱分类器总数、强分类器级数，根据选取的参数训练盲道级联分类器。

步骤四：对一幅新的图像，采用滑动窗口遍历整幅图像，并将每个窗口区域输入到训练好的盲道级联分类器中，若某个区域通过了所有层的强分类器，则标记此区域为盲道，若整幅图像的所有区域都未被标记，则认为此图像中不存在盲道。调整滑动窗口大小，对不同尺度上的图像采用以上检测方法，从而使分类器能够满足不同目标大小的识别需求。

对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线的步骤包括：

步骤一：根据识别结果得到前景图像。获取上一步盲道分类器识别的盲道区域结果如图6(a)所示，由于分类器只是粗略确定盲道区域的位置及大小，因此其标记的矩形框内可能会存在非盲道区域。为尽可能减少这些非盲道区域对分割的影响，选取矩形框的最大内接圆作为确信的盲道区域，并将圆内的像素赋值为255，其它区域像素赋值为0，得到前景图像如图6(b)所示。

步骤二：在前景图像的基础上获取背景图像。背景图像中主要标记确信的非盲道区域和需要分水岭划分准确分界线的未知区域。在前景图像上，通过深度膨胀来获得一个超过前景大小的区域，并对整幅图像进行阈值处理，将白色区域的像素值转换为0，定义为未知区域，而将黑色区域的像素值转换成128，定义为非盲道区域，即得到了背景图像如图6(c)所示。

步骤三：利用标记分水岭算法分割盲道区域。将前景、背景及未知区域合成为一个标记图像，将标记图像与梯度图像作为标记分水岭算法的输入，如图6(d)所示。标记分水岭算法根据标记得到的先验知识，从前景区域和背景区域开始同时向未知区域进行生长，直到达到两个区域的分界为止，最终水坝的位置便是所需要得到的盲道边界，从而分割出盲道区域，如图6(e)所示。

步骤四：确定盲道区域中心线。根据标记分水岭分割结果，采用Canny算子检测区域的边缘，得到盲道区域边缘线如图6(f)所示。对边缘图像采用Hough变换检测盲道边界所在直线，并根据两条边界确定盲道的中心线。将检测到的中心线再经由单应矩阵逆变换到原图像，如图6(h)所示，最终实现盲道在图像中的定位。

Claims (4)

1.一种基于机器学习识别与图像分割的盲道图像定位算法，其特征在于：首先通过双目摄像头采集道路图片进行盲道检测，利用双目视觉得到的三维信息对采集到的图像进行处理，把倾斜视角下的道路图像转换为鸟瞰视角图像，消除射影变换带来的盲道失真；进而利用变换后的图像作为训练的正负样本，通过LBP算子提取样本图像纹理特征向量，利用Adaboost算法离线训练盲道识别分类器，然后利用分类器在线识别盲道区域；最后对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线。

2.根据权利要求1所述的利用双目视觉信息将倾斜视角下的道路图像转换为鸟瞰视角步骤包括：

步骤一：利用双目摄像头对盲道进行拍摄，获取盲道的左、右相机图像；

步骤二：利用双目视觉信息计算得到盲道所在平面的法向量

步骤三：根据法向量通过两次旋转与一次平移将相机坐标系O_cX_cY_cZ_c转换到鸟瞰坐系O_bX_bY_bZ_b，把倾斜视角下的道路图像转换为鸟瞰视角，消除射影变换带来的盲道失真。

3.根据权利要求1所述的采集训练图像正负样本，通过LBP算子提取样本纹理的特征向量，利用Adaboost算法训练盲道识别分类器，然后利用分类器在线识别盲道区域的步骤包括：

步骤一：对包含盲道的鸟瞰图进行标记，作为正样本，不含盲道的整幅图片作为负样本。

步骤二：利用LBP算子对采集的正负样本逐个提取特征向量，用此向量来描述样本的纹理特征。

步骤三：将上一步提取到的正负样本的特征向量作为训练数据，设置相应的分类器训练参数，训练盲道识别分类器。

步骤四：对一幅新的图像，采用滑动窗口遍历整幅图像，并将每个窗口区域输入到训练好的盲道级联分类器中，若某个区域通过了所有层的强分类器，则标记此区域为盲道，若整幅图像的所有区域都未被标记，则认为此图像中不存在盲道。

4.根据权利要求1所述的对识别结果进行形态学操作，利用标记分水岭算法精确分割盲道区域，通过canny算子与霍夫变换确定盲道区域边界线，并定位盲道中心线的步骤包括。

步骤一：根据识别结果得到前景图像。获取上一步盲道分类器识别的盲道区域结果，选取识别矩形框的最大内接圆作为确信的盲道区域，并将圆内的像素赋值为255，其它区域像素赋值为0，得到前景图像。

步骤二：在前景图像的基础上获取背景图像。背景图像中主要标记确信的非盲道区域和需要标记分水岭划分准确分界线的未知区域。在前景图像上，通过深度膨胀来获得一个超过前景大小的区域，并对整幅图像进行阈值处理，将白色区域的像素值转换为0，定义为未知区域，而将黑色区域的像素值转换成128，定义为非盲道区域，即得到了背景图像。

步骤三：利用标记分水岭算法分割盲道区域。将前景、背景及未知区域合成为一个标记图像，将标记图像与梯度图像作为标记分水岭算法的输入。标记分水岭算法根据标记得到的先验知识，从前景区域和背景区域开始同时向未知区域进行生长，直到达到两个区域的分界为止，最终水坝的位置便是所需要得到的盲道边界，从而分割出盲道区域。

步骤四：确定盲道区域中心线。根据标记分水岭分割结果，采用Canny算子检测区域的边缘，得到盲道区域边缘线。对边缘图像采用Hough变换检测盲道边界所在直线，并根据两条边界确定盲道的中心线。将检测到的中心线再经由单应矩阵逆变换到原图像，最终实现盲道在图像中的定位。