CN107609472A - 一种基于车载双摄像头的无人驾驶汽车机器视觉系统 - Google Patents

Abstract

本发明公开了一种基于车载双摄像头的无人驾驶汽车机器视觉系统，该视觉系统采用一个36万像素和一个120万像素的CMOS工业摄像机分别对近处的车道线和远处的交通标志牌及信号灯的交通环境进行数据采集，并在Linux+Qt环境下对采集到的视频数据采用C++进行编程处理，所述编程处理包括车辆识别算法、车道线识别算法、交通标志识别算法和交通信号灯检测与识别四个部分。本发明的视觉系统采用两个摄像头分别对近处的车道线和远处的交通标志牌及信号灯进行了视频采集，并进行了处理，处理数据时运算速度快，能够满足真是环境下实时性和准确性的要求。

Description

一种基于车载双摄像头的无人驾驶汽车机器视觉系统

技术领域

本发明涉及无人驾驶技术领域，尤其涉及一种基于车载双摄像头的无人驾驶汽车机器视觉系统。

背景技术

现有的智能车视觉处理系统一般采用单摄像头采集数据来对车道线、交通标志、交通信号灯等道路信息进行识别。但是在应用时，车道线识别希望摄像头拍摄到的最近区域离车越近越好，而交通标志和交通信号灯的识别希望摄像头拍摄的区域越广越远才好，以便于进行实时处理。同时采用单摄像头需要拍摄很大的范围，这样需要更高像素的摄像头，处理起来数据量大，影响实时性。针对采用单个摄像头同时采集车道线、车辆、交通信号灯和交通标志等信息进行无人车视觉开发时会使得数据运算量大，运算速度慢等问题。研发运算速率较高的无人驾驶汽车机器视觉系统，成为本领域技术人员亟待解决的问题。

发明内容

本发明为了解决现有技术的上述不足，提供了一种基于车载双摄像头的无人驾驶汽车机器视觉系统。

本发明的上述目的通过以下的技术方案来实现：一种基于车载双摄像头的无人驾驶汽车机器视觉系统，采用一个36万像素和一个120万像素的CMOS工业摄像机分别对近处的车道线和远处的交通标志牌及信号灯的交通环境进行数据采集，并在Linux+Qt环境下对采集到的视频数据采用C++进行编程处理，所述编程处理包括车辆识别算法、车道线识别算法、交通标志识别算法和交通信号灯检测与识别四个部分；

所述车道线识别算法通过对于图像生成感兴趣区域、图像预处理、canny边缘检测、霍夫线变换、斜率筛选、车道线合并、中线拟合组成。

所述车辆识别算法通过生成感兴趣区域、图像预处理、轮廓提取、尺寸筛选、卡尔曼滤波跟踪车辆可能区域、基于概率神经网络的分类器识别；所述车辆识别算法中创新引用卡尔曼滤波技术，对通过车底阴影特征提取得到的车辆可能区域进行跟踪，避免识别过程中由于干扰因素导致的漏检问题，大大提高了算法鲁棒性。

所述交通标志识别算法首先提取出的每一帧图像进行灰度化、二值化、滤波、形态学处理和感兴趣区域分割提取等预处理操作，以减少计算量。然后，通过特征提取的方法来获取交通标志图像的特征；提取了Gabor、HOG、ORB特征，并对其进行了融合，提高了识别系统的准确率。最后，采用支持向量机对交通标志进快速、准确的分类。

所述交通信号灯检测与识别：算法包括预处理、检测、识别三个部分。交通信号灯最重要且最敏感的特征就是颜色，首先将图像的颜色空间从RGB转换为HSV；然后进行检测部分，目的是提取出交通信号灯的候选区域，主要步骤为初步滤波、设置三种颜色的训练集、对颜色分布进行高斯拟合、利用先验颜色阈值(H、S、V三个分量)分割颜色、检测连通域感知边界框、利用三个必要条件筛选边界框建立候选区域、扩展候选区域；最后进行识别部分，使用训练好的带有HOG特征的SVM分类器对扩展候选区域进行识别，确认交通灯的状态。

本发明的工作原理是：当装在本系统的汽车行驶在规格化道路时，前方道路情况分别通过双摄像头采集图像，进行算法处理，通过车道线算法识别前方车道线，并拟合出中线，通过计算车头与中线偏差使车辆进行车道保持；当前方出现障碍车辆时，通过识别发出信息，提示车辆进行避障；在交通路口，当识别交通信号灯为绿灯时控制车辆按照提示进行相应的行驶，识别为红灯与黄灯时，则立即发出制动信号，控制车辆执行制动行为；通过识别交通标志进行相应的减速、调头等行驶行为。

本发明与现有技术相比的优点是：本发明的视觉系统采用两个摄像头分别对近处的车道线和远处的交通标志牌及信号灯进行了视频采集，并进行了处理。相比单个摄像头，本发明采用的两个摄像头像素较低，处理数据时运算速度快，能够满足真是环境下实时性和准确性的要求。通过算法识别不同目标发送相应数据信号，实现无人驾驶车辆的车道识别与跟踪，对于周围车辆的主动避撞，根据交通标志进行相应的车辆控制，通过交通信号灯实现快速启动与停止。

附图说明

图1为本发明中车道线识别算法的原理图。

图2为本发明中车辆识别算法的原理图。

图3为本发明中交通标志识别算法的原理图。

图4为本发明中交通信号灯检测与识别的原理图。

具体实施方式

下面结合附图对本发明进一步详述。

本发明的一种基于车载双摄像头的无人驾驶汽车机器视觉系统，采用一个36万像素和一个120万像素的CMOS工业摄像机分别对近处的车道线和远处的交通标志牌及信号灯的交通环境进行数据采集，并在Linux+Qt环境下对采集到的视频数据采用C++进行编程处理，所述编程处理包括车辆识别算法、车道线识别算法、交通标志识别算法和交通信号灯检测与识别四个部分；

如图1所示，所述车道线识别算法通过对于图像生成感兴趣区域、图像预处理、canny边缘检测、霍夫线变换、斜率筛选、车道线合并、中线拟合组成。

如图2所示，所述车辆识别算法通过生成感兴趣区域、图像预处理、轮廓提取、尺寸筛选、卡尔曼滤波跟踪车辆可能区域、基于概率神经网络的分类器识别；所述车辆识别算法中创新引用卡尔曼滤波技术，对通过车底阴影特征提取得到的车辆可能区域进行跟踪，避免识别过程中由于干扰因素导致的漏检问题，大大提高了算法鲁棒性。

如图3所示，所述交通标志识别算法首先提取出的每一帧图像进行灰度化、二值化、滤波、形态学处理和感兴趣区域分割提取等预处理操作，以减少计算量。然后，通过特征提取的方法来获取交通标志图像的特征；提取了Gabor、HOG、ORB特征，并对其进行了融合，提高了识别系统的准确率。最后，采用支持向量机对交通标志进快速、准确的分类。

如图4所示，所述交通信号灯检测与识别：算法包括预处理、检测、识别三个部分。交通信号灯最重要且最敏感的特征就是颜色，首先将图像的颜色空间从RGB转换为HSV；然后进行检测部分，目的是提取出交通信号灯的候选区域，主要步骤为初步滤波、设置三种颜色的训练集、对颜色分布进行高斯拟合、利用先验颜色阈值(H、S、V三个分量)分割颜色、检测连通域感知边界框、利用三个必要条件筛选边界框建立候选区域、扩展候选区域；最后进行识别部分，使用训练好的带有HOG特征的SVM分类器对扩展候选区域进行识别，确认交通灯的状态。

本发明的工作原理是：当装在本系统的汽车行驶在规格化道路时，前方道路情况分别通过双摄像头采集图像，进行算法处理，通过车道线算法识别前方车道线，并拟合出中线，通过计算车头与中线偏差使车辆进行车道保持；当前方出现障碍车辆时，通过识别发出信息，提示车辆进行避障；在交通路口，当识别交通信号灯为绿灯时控制车辆按照提示进行相应的行驶，识别为红灯与黄灯时，则立即发出制动信号，控制车辆执行制动行为；通过识别交通标志进行相应的减速、调头等行驶行为。

上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利所揭示精神的所作的任何等同变更或修饰，均落入本专利包括的范围。

Claims (5)

1.一种基于车载双摄像头的无人驾驶汽车机器视觉系统，其特征在于：该视觉系统采用一个36万像素和一个120万像素的CMOS工业摄像机分别对近处的车道线和远处的交通标志牌及信号灯的交通环境进行数据采集，并在Linux+Qt环境下对采集到的视频数据采用C++进行编程处理，所述编程处理包括车辆识别算法、车道线识别算法、交通标志识别算法和交通信号灯检测与识别四个部分。

2.根据权利要求1所述的一种基于车载双摄像头的无人驾驶汽车机器视觉系统，其特征在于：所述车道线识别算法通过对于图像生成感兴趣区域、图像预处理、canny边缘检测、霍夫线变换、斜率筛选、车道线合并、中线拟合组成。

3.根据权利要求1所述的一种基于车载双摄像头的无人驾驶汽车机器视觉系统，其特征在于：所述车辆识别算法通过生成感兴趣区域、图像预处理、轮廓提取、尺寸筛选、卡尔曼滤波跟踪车辆可能区域、基于概率神经网络的分类器识别；所述车辆识别算法中创新引用卡尔曼滤波技术，对通过车底阴影特征提取得到的车辆可能区域进行跟踪，避免识别过程中由于干扰因素导致的漏检问题，大大提高了算法鲁棒性。

4.根据权利要求1所述的一种基于车载双摄像头的无人驾驶汽车机器视觉系统，其特征在于：所述交通标志识别算法首先提取出的每一帧图像进行灰度化、二值化、滤波、形态学处理和感兴趣区域分割提取等预处理操作，以减少计算量；然后，通过特征提取的方法来获取交通标志图像的特征；提取了Gabor、HOG、ORB特征，并对其进行了融合，提高了识别系统的准确率；最后，采用支持向量机对交通标志进快速、准确的分类。

5.根据权利要求1所述的一种基于车载双摄像头的无人驾驶汽车机器视觉系统，其特征在于：所述交通信号灯检测与识别：算法包括预处理、检测、识别三个部分；交通信号灯最重要且最敏感的特征就是颜色，首先将图像的颜色空间从RGB转换为HSV；然后进行检测部分，目的是提取出交通信号灯的候选区域，主要步骤为初步滤波、设置三种颜色的训练集、对颜色分布进行高斯拟合、利用先验颜色阈值分割颜色、检测连通域感知边界框、利用三个必要条件筛选边界框建立候选区域、扩展候选区域；最后进行识别部分，使用训练好的带有HOG特征的SVM分类器对扩展候选区域进行识别，确认交通灯的状态。