CN105678787A - 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 - Google Patents

Abstract

本发明公开了一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，属于交通车辆主动安全技术领域。其主要步骤：当检测到载重货车倒车时，启动安装于车尾两端的两个已经完成标定和校正的红外鱼眼摄像头同步采集倒车环境图像信息，输出经过拼接处理后的倒车图像，在驾驶室内的显示屏幕上显示。通过双目鱼眼视觉系统获取要追踪的障碍物目标的初始位置和距离，然后利用与低秩矩阵理论相结合的基于粒子滤波的视频目标跟踪算法，实现对障碍物的追踪，在追踪过程中，对图像模板进行实时更新，检查是否有新的障碍物。当检测到车辆拐弯时，启动超声波雷达检测货车旁边一米范围内有障碍物，则显示障碍物位置并发出预警。主要用于大型货车。

Description

一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法

技术领域

本发明涉及一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪的方法

技术背景

随着中国物流行业的快速发展，载重货车的需求也越来越多，货车的车身也越来越长，载货量也越来越多，由载重货车引起的交通事故也在不断增加，后果一般非常严重，尤其是由于倒车和拐弯的不当操作产生的碰撞事故在其中占了相当的比例。相当于直行驾驶而言，载重货车倒车和拐弯的难度非常大，由于车身过长，货厢体积又太大，倒车和拐弯时的盲区面积非常大，一般看不清车尾后和车侧旁的物体和行人状况，从而导致碰撞事故越来越多。货车运行在大风雪或气候恶劣的环境居多，夜晚倒车更是成为一个盲点，货车司机在开车的过程中完全看不到车后的情况。此外，由于车身过长，货车拐弯时不容易发现旁边的行人或行驶的车辆，容易造成事故，这是一个很大的安全隐患。

目前针对货车倒车安全的方法有以下两个：一、在倒车时，一个人在车后拿对讲机指挥倒车，要是晚上的话，还会用到手电筒，边用手电筒画圈边用对讲机指挥，可是还是避免不了灾难的降临；二、为了减少车辆的盲区，车辆需要安装一些辅助的设备来帮助驾驶员倒车，倒车影像系统能使驾驶员能够更轻松的掌握到车后面的环境及情况，可以提高安全系数，减少事故发生。

当货车拐弯时，由于车厢很长，司机一边要观察车辆前行的情况，又要注意避让车侧的车辆或行人，保持安全距离，同时还要时刻观察他们的行驶状态，做好预防措施，但是司机很难全面的观察到这些情况，而且会分散司机的注意力，有一定的安全隐患。

倒车影像系统以声音和图像的形式告知驾驶员汽车周围的障碍物情况，解除了驾驶员在泊车或倒车时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和实现模糊的缺陷，独立完成倒车操作，提高驾驶的安全性。

专利CN201210430928.4(公开号CN102923000A)提出一种基于普通双目摄像头的倒车障碍物检测方法，虽然这种方法能利用哈尔特征分类法判断出车后的行人和车辆，但是没有进一步提出对障碍物进行跟踪的方法，而本发明可以做到障碍物的实时检测追踪，此外，鱼眼摄像头的使用可以提供足够广阔的视野，保证了覆盖车后所有障碍物。

专利CN2015102994001(公开号CN104835118A)提出一种通过两路鱼眼摄像头采集全景图像的方法，但是没有提到对全景图像的进一步应用，而本发明除了对两幅图像进行拼接外还实现了对障碍物的监测和追踪。

专利CN2010101972159(公开号CN101859376A)公开了一种基于鱼眼摄像头的人体检测的自动监控系统，利用分类器检测鱼眼图像中的人体，而本发明用两个双目鱼眼摄像头视觉系统检测障碍物，并进行障碍物跟踪。

专利CN201110193257X(公开号CN102874196A)提出一种基于机器视觉的汽车防撞方法，这种方法不仅通过立体视觉信息得出障碍物与汽车的距离，而且还能计算出安全范围，但是并没有对摄像头进行标定和图像拼接等预处理与处理阶段进行说明，而且只解决了汽车前行的避障问题，而本发明提供了详细的预处理算法，并且解决了大货车转弯或变道时侧面障碍物的检测和预警。

所以，有必要发明视野更宽、检测范围更广、跟踪效果跟稳定的的载重货车行驶障碍物检测及跟踪的方法，提高障碍物检测的准确率和鲁棒性，无论是在货车倒车还是拐弯时都能检测障碍物，辅助驾驶员安全驾驶，提高载重货车的安全性。

发明内容

本发明的目的是提供一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪的方法，在倒车时，能够使驾驶员观察到一个大视场的车后环境，检测并追踪到障碍物的同时发出提醒，辅助载重货车驾驶员直观、动态、清晰的实施倒车操作，降低倒车难度，有效避免由于倒车而发生的交通事故。当货车拐弯时，启动车侧的超声波雷达，实时检测有无障碍物并发出提醒，避免发生事故。

该发明方法包括以下步骤：

A倒车障碍物信息采集

汽车的电子控制中心检测到汽车挡位置于倒挡上时，启动安装在货车车尾两端呈俯视角的两个采样频率相同的全天候红外鱼眼摄像头，获取倒车实时视频。

B双目鱼眼摄像头标定

首先进行单目标定，获取摄像机内参数(焦距、摄像机中心主点、畸变向量)和外参数(旋转矩阵和平移向量)。

由于鱼眼摄像头具有成像视野广和高畸变特性，本发明提出一种利用特定的椭圆标定板提供精确的点线特征来完成摄像头标定的算法，根据特征椭圆检测和参数拟合技术对检测到的特征点进行可靠性分析，得到鱼眼摄像头的内外参数。

标定板特征提取的流程主要包括以下方面：

B1、平滑滤波

用5×5模板对图像进行Gauss滤波，消除噪声影响；

B2、边缘检测

利用Canny算子进行边缘检测；

B3、轮廓线搜索

在Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(x_left,y_left)和(x_right,y_right)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：

L＝|x_right+x_left-W|

其中，W为图像宽度。如果L大于某个阈值T，则认为两个边缘点偏离实际成像边界较远，予以抛弃；否则将其保留，视为该椭圆是一个有效特征椭圆。实际实现过程中，阈值T＝20.

B4、椭圆参数拟合

利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数。将拟合得到的椭圆圆心(x₀,y₀)作为特征点，以便于后期标定过程中的初始参数确定和图像的去畸变处理。

B5、摄像头内外参数确定

根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理：

式中s为一常系数，选取P所在平面为世界坐标平面，故可以设距离Z＝0。

考虑到镜头畸变的影响，P₀所对应的坐标必须要经过校正，所以引入3个径向畸变参数k₁k₂k₃和2个切向畸变向量p₁p₂。用r＝0位置泰勒级数展开，可以列出下式：

式中第一项为消除镜头的径向畸变，第二项为消除镜头的切向畸变。模型确立后，联系这两个式子，再通过椭圆标定板引入多个已知参数，通过最小二乘法，可以求得内参数(焦距f_x、f_y、摄像机中心主点c_x、c_y、畸变向量k₁k₂k₃、p₁p₂)和外参数(旋转矩阵r₁r₂r₃和平移向量t)。

利用两个单目摄像机的外参数，由下式得两个摄像机之间的相对位置关系，即两个摄像机之间的旋转矩阵R_s和平移向量T_s：

C双目鱼眼摄像头畸变校正

由于鱼眼摄像头存在非常严重的畸变，本发明利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼镜头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像。

D双目鱼眼图像区域拼接

完成图像的校正和无畸变处理后，先对双目鱼眼采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L-M算法对投影变换矩阵进行迭代精炼，利用引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像。

E判断障碍物初始位置以及距离

利用无畸变，已经校正好的鱼眼双目视觉系统和已知的特征对应点以及基于极线约束的双目视差获取方法获取视差值之后，深度信息Z可以通过相似三角形计算出来：

即:

倒车时图像信息处理模块利用三角测距法计算出每一帧图像中距离车尾最近的障碍物位置和距离，同时在视差图中找到连续帧图像中面积最大的障碍物，将满足以上两点的障碍物作为追踪的初始位置。

F基于低秩矩阵的障碍物跟踪

根据E中得到的障碍物的初始位置，本发明用一种改进的低秩矩阵跟踪方法，将低秩矩阵的理论引入到基于粒子滤波的视频目标跟踪算法中，实现对障碍物的跟踪，同时，对载重货车驾驶员发出提示音。在追踪障碍物的过程中，对图像模板进行实时更新，检查是否有新的障碍物。

G超声波雷达监测障碍物

在货车车厢两侧各安装6个等距的超声波雷达，设定波速发散角为60°。当检测到方向盘转动，货车转弯时，启动超声波雷达开始检测货车两侧的障碍物，若检测到有车辆或行人时，显示障碍物位置并发出提醒。

重复以上A-F步的操作。

与现有技术相比，本发明的有益效果是：

一、倒车时，启动双目鱼眼摄像头视觉系统，输出拼接后的图像，驾驶员可以无死角的观察到倒车环境，保证了双目鱼眼摄像头视觉系统可以检测到车后所有的障碍物，提到载重货车倒车安全。此外，不需要雷达测距就能获取障碍物距离信息，提高视觉系统的多用性。

二、在确定障碍物的初始位置时，图像信息处理模块对每一帧图像进行障碍物距离与位置计算，获得距离车尾最近的障碍物信息，同时在视差图中找到连续帧图像中面积最大的障碍物目标，只有满足以上两个条件，才能完成障碍物的准确检测和初始位置的确定，这种判断方法有效提高了障碍物的检测率和追踪的效果。

三、将低秩矩阵的理论引入到基于粒子滤波的视频目标跟踪算法中，实现对障碍物的实时高效跟踪，提高障碍物的跟踪率，算法的计算量少，提高了计算速率。此外，与双目鱼眼视觉测量相结合，应用于载重货车倒车环境感知中，提高了系统的鲁棒性。

本发明方法提出的目标追踪算法与X.Mei(X.MeiandH.B.Ling,“RobustVisualTrackingandVehicleClassificationviaSparseRepresentation,”IEEETrans.PatternAnal.Mach.Intell.,vol.33,no.11,pp.2259-2272,Nov.2011.)提出的目标追踪算法对数据的处理速度对比结果见表1

可以看到，本发明提出的算法每秒处理的帧数可以达到140帧左右，是X.Mei提出的算法的7倍左右，说明将低秩理论引入到基于粒子滤波的视频目标追踪算法中，可以有效提高算法的处理速率。

四、当载重货车拐弯或变道时，由于货车车身很长，针对可能会碰撞到车侧障碍物的问题，本发明将超声波雷达测距技术应用于货车前行拐弯环境感知中，通过检测并判断拐弯时安全范围内是否存在障碍物，来辅助驾驶员安全驾驶。

总之，本发明的倒车辅助驾驶方法可以提供无死角视野，并且检测范围广；本发明提出的结合低秩理论的视频目标追踪算法能够准确的追踪到障碍物，具有较好的鲁棒性、实时性，并且计算速率较快。

附图说明

图1为本发明的倒车安全技术实现流程图。

图2为本发明的拐弯安全技术实现流程图。

图3为本发明的倒车安全技术算法流程图

具体实施方法

实施例

本发明的具体实施方式是，一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪的方法，包括以下步骤：

A倒车障碍物信息采集

汽车的电子控制中心检测到汽车挡位置于倒挡上时，启动安装在货车车尾两端呈俯视角的两个采样频率相同的全天候红外鱼眼摄像头，获取倒车实时视频。

B双目鱼眼摄像头标定

首先进行单目标定，获取摄像机内参数(焦距、摄像机中心主点、畸变向量)和外参数(旋转矩阵和平移向量)。

由于鱼眼摄像头具有成像视野广和高畸变特性，本发明提出一种利用特定的椭圆标定板提供精确的点线特征来完成摄像头标定的算法，根据特征椭圆检测和参数拟合技术对检测到的特征点进行可靠性分析，得到鱼眼摄像头的内外参数。

标定板特征提取的流程主要包括以下方面：

B1、平滑滤波

用5×5模板对图像进行Gauss滤波，消除噪声影响；

B2、边缘检测

利用Canny算子进行边缘检测；

B3、轮廓线搜索

在Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(x_left,y_left)和(x_right,y_right)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：

L＝|x_right+x_left-W|

其中，W为图像宽度。如果L大于某个阈值T，则认为两个边缘点偏离实际成像边界较远，予以抛弃；否则将其保留，视为该椭圆是一个有效特征椭圆。实际实现过程中，阈值T＝20.

B4、椭圆参数拟合

利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数。将拟合得到的椭圆圆心(x₀,y₀)作为特征点，以便于后期标定过程中的初始参数确定和图像的去畸变处理。

B5、摄像头内外参数确定

根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理：

式中s为一常系数，选取P所在平面为世界坐标平面，故可以设距离Z＝0。

考虑到镜头畸变的影响，P₀所对应的坐标必须要经过校正，所以引入3个径向畸变参数k₁k₂k₃和2个切向畸变向量p₁p₂。用r＝0位置泰勒级数展开，可以列出下式：

式中第一项为消除镜头的径向畸变，第二项为消除镜头的切向畸变。模型确立后，联系这两个式子，再通过椭圆标定板引入多个已知参数，通过最小二乘法，可以求得内参数(焦距f_x、f_y、摄像机中心主点c_x、c_y、畸变向量k₁k₂k₃、p₁p₂)和外参数(旋转矩阵r₁r₂r₃和平移向量t)。

利用两个单目摄像机的外参数，由下式得两个摄像机之间的相对位置关系，即两个摄像机之间的旋转矩阵R_s和平移向量T_s：

C双目鱼眼摄像头畸变校正

由于鱼眼摄像头存在非常严重的畸变，本发明利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼镜头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像。

D双目鱼眼图像区域拼接

完成图像的校正和无畸变处理后，先对双目鱼眼采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L-M算法对投影变换矩阵进行迭代精炼，利用引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像。

E判断障碍物初始位置以及距离

利用无畸变，已经校正好的鱼眼双目视觉系统和已知的特征对应点以及基于极线约束的双目视差获取方法获取视差值之后，深度信息Z可以通过相似三角形计算出来：

即:

倒车时图像信息处理模块利用三角测距法计算出每一帧图像中距离车尾最近的障碍物位置和距离，同时在视差图中找到连续帧图像中面积最大的障碍物，将满足以上两点的障碍物作为追踪的初始位置。

F基于低秩矩阵的障碍物跟踪

根据E中得到的障碍物的初始位置，本发明用一种改进的低秩矩阵跟踪方法，将低秩矩阵的理论引入到基于粒子滤波的视频目标跟踪算法中，实现对障碍物的跟踪，同时，对载重货车驾驶员发出提示音。在追踪障碍物的过程中，对图像模板进行实时更新，检查是否有新的障碍物。

G超声波雷达监测障碍物

在货车车厢两侧各安装6个等距的超声波雷达，设定波速发散角为60°。当检测到方向盘转动，货车转弯时，启动超声波雷达开始检测货车两侧的障碍物，若检测到有车辆或行人时，显示障碍物位置并发出提醒。

重复以上A-F步的操作。

Claims (5)

1.一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，包括以下步骤：

步骤一、对双目鱼眼摄像头进行标定

首先进行单目标定，获取摄像机内参数和外参数，标定板特征提取的流程为：

1)、平滑滤波，用5×5模板对图像进行Gauss滤波，消除噪声影响；

2)、边缘检测，利用Canny算子进行边缘检测；

3)、轮廓线搜索，Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(x_left,y_left)和(x_right,y_right)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：

L＝|x_right+x_left-W|

其中，W为图像宽度，如果L小于某个阈值T，视为该椭圆是一个有效特征椭圆，否则予以抛弃；

4)、椭圆参数拟合，利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数，将拟合得到的椭圆圆心(x₀,y₀)作为特征点；

5)、鱼眼摄像头内外参数确定，根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理以及畸变校正公式，可以求得摄像机的内参数和外参数；根据两个摄像机之间的相对位置关系，利用两个单目摄像机的外参数，可求得两个摄像机之间的旋转矩阵和平移向量；

步骤二、双目鱼眼摄像头畸变校正

利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼摄像头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像；

步骤三、双目鱼眼图像区域拼接

完成图像的校正和无畸变处理后，先对双目鱼眼视觉系统采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L-M算法对投影变换矩阵进行迭代精炼，引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像；其特征在于：

步骤四、判断障碍物初始位置以及距离

利用无畸变，已经校正好的双目鱼眼视觉系统和已知的特征点以及基于极线约束的双目视差获取方法获取视差值之后，就可以通过相似三角形计算出距离信息Z：

即:

其中x^l和x^r分别为障碍物在左右摄像机成像仪上的水平位置，T为两台摄像机之间的距离，f为焦距；

倒车时图像信息处理模块利用三角测距法计算出每一帧图像中距离车尾最近的障碍物位置和距离信息Z，同时在视差图中找到连续帧图像中面积最大的障碍物，将满足以上两点的障碍物作为追踪的初始位置；

步骤五、基于低秩矩阵的障碍物跟踪

根据步骤四中得到的障碍物的初始位置需要对每一帧图像进行计算，将低秩矩阵的计算方法引入到基于粒子滤波的视频目标跟踪算法中，可减小算法的计算量，提高计算速率，实现对障碍物的及时跟踪，同时，对载重货车驾驶员发出提示音，在追踪障碍物的过程中，对图像模板进行实时更新，检查是否有新的障碍物；

步骤六、超声波雷达监测障碍物

在货车车厢两侧各安装六个等距的超声波雷达，设定波速发散角为60°；当检测到方向盘转动，货车转弯时，启动超声波雷达开始检测货车两侧的障碍物，若检测到有车辆或行人时，显示障碍物位置并发出提醒。

2.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤一中所述的标定板带有椭圆孔，在进行椭圆轮廓线搜索时，设定的阈值为20。

3.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤四中所述的判断障碍物初始位置需要同时满足两个条件：一、通过三角测距法确定最近障碍物的位置和距离；二、在视差图中找出连续帧面积最大的障碍物。

4.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤四中所述的确定障碍物位置是对每一帧图像而言。

5.根据权利要求1所述的一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪方法，其特征在于：步骤四中所述的在视差图中找出面积最大的障碍物是对连续帧图像而言。