CN114111651A - 一种基于多线结构光的车载路面凹陷检测方法 - Google Patents

Abstract

本发明公开了一种基于多线结构光的车载路面凹陷检测方法，包括以下步骤：利用红外激光发射器向车前路面投射多线结构光图案；利用红外摄像机采集车前路面图像，并在图像中添加车迹线；提取图像中的多线结构光图案、车道线、路面边缘等信息；根据多线结构光图案的变化情况判断车迹线或车道线内是否存在大的起伏或凹陷；若存在凹陷，估算凹陷与车辆之间的距离并将信息反馈给车辆控制系统；当车辆处于行进状态时，重复上述步骤，持续为控制系统提供车前路面信息。本发明能有效检测各种车道、各种行驶状态下的凹陷并得出凹陷与车辆之间的距离。

Description

一种基于多线结构光的车载路面凹陷检测方法

技术领域

本发明涉及路面检测领域，尤其涉及一种基于多线结构光的车载路面凹陷检测方法。

背景技术

公路路面在交通载荷和自然因素的作用下难免会出现凹坑破损。对于无人驾驶车或高速行驶车辆而言，这些凹陷是影响安全行车的重要隐患，及时地路面凹陷检测事关行车安全。当前的车载雷达技术很容易探测道路上存在的各种凸起障碍，但对于道路凹陷检测则显得力不从心。

发明内容

发明目的：为了解决目前道路凹陷检测不准确，误报率高的问题，本发明提供一种基于多线结构光的车载路面凹陷检测方法。

技术方案：一种基于多线结构光的车载路面凹陷检测方法，包括以下步骤：

(1)利用红外激光发射器向车前路面投射多线结构光图案；

(2)利用红外摄像机采集车前路面图像，并在图像中添加车迹线；

(3)提取图像中的多线结构光图案、车道线、路面边缘等信息；

(4)根据多线结构光图案的变化情况判断车迹线或车道线内是否存在大的起伏或凹陷；

(5)若存在凹陷，估算凹陷与车辆之间的距离并将信息反馈给车辆控制系统；

(6)当车辆处于行进状态时，重复上述步骤，持续为控制系统提供车前路面信息。

所述红外激光发射器固定于车前较低位置，发射连续或脉冲时间红外激光，其光斑为多条相互平行的直线，多线形状的光斑投射方向倾斜向下，照射区域为车前一定距离的路面，且线条与车辆前进方向垂直。

所述红外摄像机固定于车身前部较高位置处或置于车顶，其内、外参数已通过标定获得；摄像机对路面连续拍摄，拍摄时间与脉冲结构光同步，其拍摄的区域为步骤(1)中结构光所照射的路面区域，且所拍摄的路面上的结构光图案位于摄像机视场的中间位置；所述车迹线为根据车辆转向信号、摄像机视场、摄像机内外参数在每帧图像中自动添加的车辆前进的轨迹，

车迹线方程如下：

其中车迹线在相机拍摄图像上的坐标投影分别如下：

其中2α为摄像头的可视角度范围，b为摄像头距离地面距离,β为摄像头中心线和水平面的夹角，H为拍摄图像的高度，W为拍摄图像的高度，L为汽车前后轮轴距，D为前轮距离车头的距离,

为后轮和水平方向的夹角。

所述步骤(3)中的车道线以及路面边缘提取，由于单一的拟合算法无法视线多种路面的拟合效果，因此提出了自适应拟合算法，自适应直线拟合算法以最小二乘法中的直线拟合作为基本依据，利用直线拟合得到的偏差来判断是否需要进行二次曲线拟合以及三次曲线拟合，

最小二乘法的直线拟合公式如下，设x和y之间的函数关系为y＝a+bx，其中a代表截距，b代表斜率；对于等精度测量所得到的N组数据(x_i，y_i)，i＝1,2……N,其中x_i被认为是准确的，所有的误差只联系着y_i，用最小二乘法估计参数时，要求观测值y_i的偏差的加权平方和为最小，即可使下式的值最小：

上式分别对a、b求偏导得：

整理后得到方程组:

解上述方程组便可求得拟合直线参数a和b的最佳估计值。

偏差计算公式如下：

自适应拟合步骤如下：

(a)输入聚类后道路边缘和车道线样本点集合M(x，y)；

(b)提取控制道路边缘和每一条车道线的样本点集合M′(x′，y′)，并对集合内的样本点进行拟合，首先采用直线拟合法进行拟合其中一条车道线或道路边缘并计算出偏差δ，设定阈值h₁、h₂和h₃；

(c)若δ≤h₁，，则继续用直线拟合法拟合下一个控制车道线或道路边缘的样本点集合M″(x″，y″)；若h₂≥δ＞h₁，则采用二次曲线拟合算法，二次曲线的公式如下：

若h₃≥δ＞h₂，则采用三次曲线拟合算法，三次曲线的公式如下：

若δ＞h₃，则不拟合；

(d)以δ最小为原则，遍历所以聚类后的路面边缘和车道线样本点集合，得到拟合效果。

所述步骤(3)中的多线结构光光条中心提取采用基于自适应窗口的二维灰度重心法提取光条中心，其计算公式为：

x₀＝∑_i，j∈s(I(i，j)*j)/∑_i，j∈sI(i，j)

y₀＝∑_i，j∈s(I(i，j)*i)/∑_i，j∈sI(i，j)

其中，s代表进行灰度重心提取的区域，且要覆盖光条饱和区域，I(i，j)表示坐标(i，j)处的灰度值，(x₀，y₀)是提取处理的坐标。对于凹坑引起的光条图像遮挡断线，根据凹坑的下降特性，在断线处取常值作为其光条中心。

所述步骤(4)中的车辆行驶状态的判断方法为：若所得交点集合中存在与灭点相重合的点，则表示车辆在直行；若所得交点中不存在与灭点相重合的点，则表示车辆在转弯。

所述步骤(4)中凹陷的判断方法为：若相机视场中多线结构光光条平行且并未出现断线情况，则表示前方道路平坦；若相机视场中车迹线或车道线附近多线结构光平行但出现断线和偏移情况，则表示前方道路存在凹陷。

所述步骤(5)中的凹陷与车辆的距离计算方法如下：

由于多线结构光投射系统在汽车上的位置和角度保持不变，所以投射到前方路面的光条与车辆的距离L₀也不变，L₀为路面无凹陷或障碍时，结构光投射到路面的光条到车辆之间的距离。若检测到前方路面存在凹陷，近似认为凹陷与车辆的距离为L。假设摄像机的坐标系为O_c-X_cY_cZ_c，多线结构光发射器的坐标系为O_g-X_gY_gZ_g，如图8所示，结构光光面与地面的距离为a，摄像机光心与地面的距离为b，图9中A、B为光条与凹陷的交点，中点为C，由坐标系变换原理可得在世界坐标系O_w-X_wY_wZ_w下光平面上各点坐标，前方路面平坦时，投射到路面的结构光光条与路面相交处为H,A点坐标为(x_w1，y_w1，z_w1)，B点坐标为(x_w2，y_w2，z_w2)，C点坐标为(x_w3，y_w3，z_w3)。

则凹陷与车辆距离L计算公式如下：

L₀＝O_wH

有益效果：与现有技术相比，本发明具有如下显著优点：

本发明采用多线结构光的车载路面凹陷检测，提高道路凹陷检测准确率，降低了误报率；不同于现有技术采用的单一拟合算法无法实现多种路面的拟合效果，本发明提出了自适应拟合算法，能实现更多路面的检测。

附图说明

图1为本发明的流程图；

图2为本发明硬件示意图；

图3为车辆在水平路面、上坡以及下坡路面直线行驶时前方路面水平情况的摄像机图像；

图4为车辆在水平路面、上坡以及下坡路面左转行驶时前方路面水平情况的摄像机图像；

图5为车辆在水平路面、上坡以及下坡路面右转行驶时前方路面水平情况的摄像机图像；

图6为车辆在水平路面、上坡以及下坡路面直线行驶时前方路面存在凹陷情况的摄像机图像；

图7为车辆在水平路面、上坡以及下坡路面左转行驶时前方路面存在凹陷情况的摄像机图像；

图8为车辆在水平路面、上坡以及下坡路面右转行驶时前方路面存在凹陷情况的摄像机图像；

图9为凹陷与车辆距离的计算模型；

图10为摄像机成像关系图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

一种基于多线结构光的车载路面凹陷检测方法，如图1所示，包括以下步骤：

(1)利用红外激光发射器向车前路面投射多线结构光图案；

所述红外激光发射器固定于车前较低位置，例如左右车灯内，发射连续或脉冲时间红外激光，其光斑为多条相互平行的直线，多线形状的光斑投射方向倾斜向下，照射区域为车前一定距离的路面，且线条与车辆前进方向垂直，整个系统的硬件示意图如图2所示。

(2)利用红外摄像机采集车前路面图像，并在图像中添加车迹线，

所述红外摄像机固定于车身前部较高位置处或置于车顶，其内、外参数已通过标定获得；摄像机对路面连续拍摄或与或拍摄时间与脉冲结构光同步，其拍摄的区域为前述步骤(1)中结构光所照射的路面区域，且所拍摄的路面上的结构光图案位于摄像机视场的中间位置；所述车迹线为根据车辆转向信号、摄像机视场、摄像机内外参数在每帧图像中自动添加的车辆前进的轨迹。车迹线方程如下：

其中车迹线在相机拍摄图像上的坐标投影分别如下：

其中2α为摄像头的可视角度范围，b为摄像头距离地面距离,β为摄像头中心线和水平面的夹角，H为拍摄图像的高度，W为拍摄图像的高度，L为汽车前后轮轴距，D为前轮距离车头的距离为

为后轮和水平方向的夹角。

(3)提取图像中的多线结构光图案、车道线、路面边缘等信息；

结构光光条提取采用基于自适应窗口的二维灰度重心法提取光条中心。其计算公式为：

x₀＝∑_i，j∈s(I(i，j)*j)/∑_i，j∈sI(i，j)

y₀＝∑_i，j∈s(I(i，j)*i)/∑_i，j∈sI(i，j)

式中，s代表进行灰度重心提取的区域，且要覆盖光条饱和区域，I(i，j)表示坐标(i，j)处的灰度值，(x₀，y₀)是提取处理的坐标。对于凹坑引起的光条图像遮挡断线，根据凹坑的下降特性，在断线处取常值作为其光条中心。

车道线以及路面边缘提取，由于单一的拟合算法无法视线多种路面的拟合效果，因此提出了自适应拟合算法。

自适应直线拟合算法以最小二乘法中的直线拟合作为基本依据，利用直线拟合得到的偏差来判断是否需要进行二次曲线拟合以及三次曲线拟合。

最小二乘法的直线拟合公式如下，设x和y之间的函数关系为y＝a+bx，其中a代表截距，b代表斜率。对于等精度测量所得到的N组数据(x_i，y_i)，i＝1，2，........N，其中x_i被认为是准确的，所有的误差只联系着y_i，用最小二乘法估计参数时，要求观测值y_i的偏差的加权平方和为最小，即可使下式的值最小：

上式分别对a、b求偏导得：

整理后得到方程组：

解上述方程组便可求得拟合直线参数a和b的最佳估计值。

偏差计算公式如下：

自适应拟合步骤如下：

(a)输入聚类后道路边缘和车道线样本点集合M(x,y)；

(b)提取控制道路边缘和每一条车道线的样本点集合M′(x′，y′)，并对集合内的样本点进行拟合。首先采用直线拟合法进行拟合其中一条车道线或道路边缘并计算出偏差δ，设定阈值h₁、h₂和h₃；

(c)若δ≤h₁，，则继续用直线拟合法拟合下一个控制车道线或道路边缘的样本点集合M″(x″，y″)；若h₂≥δ≥h₁，则采用二次曲线拟合算法，二次曲线的公式如下：

若h₃≥δ≥h₂，则采用三次曲线拟合算法，三次曲线的公式如下：

若δ＞h₃，则不拟合；

(d)以δ最小为原则，遍历所以聚类后的路面边缘和车道线样本点集合，得到拟合效果。

(4)根据多线结构光图案的变化情况判断车迹线或车道线内是否存在大的起伏或凹陷；

如图3、图4、图5所示，若相机视场中多线结构光光条平行且并未出现断线情况，则表示前方道路平坦；如图6、图7、图8所示，若相机视场中车迹线或车道线附近多线结构光平行但出现断线和偏移情况，则表示前方道路存在凹陷。

(5)若存在凹陷，估算凹陷与车辆之间的距离并将信息反馈给车辆控制系统；

由于多线结构光投射系统在汽车上的位置和角度保持不变，所以投射到前方路面的光条与车辆的距离L₀也不变，L₀为路面无凹陷或障碍时，结构光投射到路面的光条到O_w的距离。若检测到前方路面存在凹陷，近似认为凹陷与车辆的距离为L。假设摄像机的坐标系为O_c-X_cY_cZ_c，多线结构光发射器的坐标系为O_g-X_gY_gZ_g，如图9所示，结构光光面与地面的距离为a，摄像机光心与地面的距离为b。图10中A、B为光条与凹陷的交点，中点为C。由坐标系变换原理可得在世界坐标系下光平面上各点坐标，设A点坐标为(x_w1，y_w1，z_w1)，B点坐标为(x_w2，y_w2，z_w2)，C点坐标为(x_w3，y_w3，z_w3)。

则凹陷与车辆距离L计算公式如下：

L₀＝O_wH

(6)当车辆处于行进状态时，重复上述步骤，持续为控制系统提供车前路面信息。

Claims (6)

1.一种基于多线结构光的车载路面凹陷检测方法，其特征在于，包括以下步骤：

(1)利用红外激光发射器向车前路面投射多线结构光图案；

(2)利用红外摄像机采集车前路面图像，并在图像中添加车迹线；

(3)提取图像中的多线结构光图案、车道线、路面边缘等信息；

(4)根据多线结构光图案的变化情况判断车迹线或车道线内是否存在大的起伏或凹陷；

(5)若存在凹陷，估算凹陷与车辆之间的距离并将信息反馈给车辆控制系统；

(6)当车辆处于行进状态时，重复进行上述步骤，持续为控制系统提供车前路面信息。

2.根据权利要求1所述的一种基于多线结构光的车载路面凹陷检测方法，其特征在于，所述步骤(1)中红外激光发射器固定于车前较低位置，发射连续或脉冲时间红外激光，其光斑为多条相互平行的直线，多线形状的光斑投射方向倾斜向下，照射区域为车前一定距离的路面，且线条与车辆前进方向垂直。

3.根据权利要求1所述的一种基于多线结构光的车载路面凹陷检测方法，其特征在于，所述步骤(2)中红外摄像机固定于车身前部较高位置处或置于车顶，其内、外参数已通过标定获得；摄像机对路面连续拍摄，拍摄时间与脉冲结构光同步，其拍摄的区域为步骤(1)中结构光所照射的路面区域，所拍摄的路面上的结构光图案位于摄像机视场的中间位置；

所述车迹线为根据车辆转向信号、摄像机视场、摄像机内外参数在每帧图像中自动添加的车辆前进的轨迹，车迹线方程如下：

其中车迹线在相机拍摄图像上的坐标投影分别如下：

其中2α为摄像头的可视角度范围，b为摄像头距离地面距离,β为摄像头中心线和水平面的夹角，H为拍摄图像的高度，W为拍摄图像的高度，L为汽车前后轮轴距，前轮距离车头的距离为D,后轮和水平方向的夹角为

4.根据权利要求1所述的一种基于多线结构光的车载路面凹陷检测方法，其特征在于，所述步骤(3)包含了以下步骤：

(3.1)结构光光条提取采用基于自适应窗口的二维灰度重心法提取光条中心，其计算公式为：

其中，s代表进行灰度重心提取的区域，且要覆盖光条饱和区域，I(i,j)表示坐标(i,j)处的灰度值，(x₀,y₀)是提取处理的坐标，对于凹坑引起的光条图像遮挡断线，根据凹坑的下降特性，在断线处取常值作为其光条中心；

(3.2)车道线及路面边缘信息的提取采用自适应拟合法，自适应拟合以最小二乘法的直线拟合作为依据，

设y＝a+bx，基于最小二乘法得到的拟合参数如下：

偏差为：

所述自适应拟合步骤如下：

(a)输入聚类后道路边缘和车道线样本点集合M(x,y)；

(b)提取控制道路边缘和每一条车道线的样本点集合M'(x',y')，并对集合内的样本点进行拟合，首先采用直线拟合法进行拟合其中一条车道线或道路边缘并计算出偏差δ，设定阈值h₁、h₂和h₃；

(c)若δ≤h₁，则继续用直线拟合法拟合下一个控制车道线或道路边缘的样本点集合M”(x”,y”)；若h₂≥δ≥h₁，则采用二次曲线拟合算法，二次曲线的公式如下：

若h₃≥δ≥h₂，则采用三次曲线拟合算法，三次曲线的公式如下：

若δ＞h₃，则不拟合；

(d)以δ最小为原则，遍历所有聚类后的路面边缘和车道线样本点集合，得到拟合效果。

5.根据权利要求1所述的一种基于多线结构光的车载路面凹陷检测方法，其特征在于，所述步骤(4)中根据多线结构光图案的变化情况判断车迹线或车道线内是否存在大的起伏或凹陷，具体判别方法如下：

若相机拍摄所得的已调结构光图案中多线平行且无断线与偏移情况，则前方路面平坦；若相机拍摄所得的已调结构光图案中车迹线或车道线附近多线平行但出现断线和偏移情况，则前方路面存在凹陷。

6.根据权利要求1所述的一种基于多线结构光的车载路面凹陷检测方法，其特征在于，所述步骤(5)中凹陷与车辆之间的距离估算过程如下：

其中，L₀为路面无凹陷或障碍时，结构光投射到路面的光条与车辆之间的距离，设摄像机的坐标系为O_c-X_cY_cZ_c，多线结构光发射器的坐标系为O_g-X_gY_gZ_g，发射的结构光光条与地面的距离为a，摄像机光心与地面的距离为b；前方路面平坦时，投射到路面的结构光光条与路面相交处为H，A、B为光条与路面凹陷的交点，中点为C，由坐标系变换原理可得在世界坐标系O_w-X_wY_wZ_w下光平面上各点坐标，设A点坐标为(x_w1,y_w1,z_w1)，B点坐标为(x_w2,y_w2,z_w2)，C点坐标为(x_w3,y_w3,z_w3)，基于坐标系变换原理、三角形相似原理以及摄像机成像原理，若检测到前方路面存在凹陷，设凹陷与车辆的距离为L，凹陷与车辆距离L计算公式如下：

L₀＝O_wH

Images