CN107578012B - 一种基于聚类算法选择敏感区域的驾驶辅助系统 - Google Patents

Abstract

本发明公开了一种基于聚类算法选择敏感区域的驾驶辅助系统，包括：基于CCD图像采集设备和蓝牙设备的图像采集单元，接收所述图像采集单元传送的数据信息、支持L2级别自动驾驶功能的车道线检测单元，所述车道线检测单元读取蓝牙单元传送的数据信息并采用车道线检测方法输出车道线的具体位置信息；所述车道线检测单元包括图像预处理单元、分类器单元、车道线统计单元、信息提取单元和信息整合单元。本系统通过对切割后的图像块进行分类，包含了车道线的图像块被保留，不包含车道线的图像块被去除，能够得到一个近似的车道线轮廓范围。

Description

一种基于聚类算法选择敏感区域的驾驶辅助系统

技术领域

本发明涉及图像采集和处理技术领域，尤其涉及一种基于聚类算法选择敏感区域的驾驶辅助系统。

背景技术

目前存在多种驾驶辅助系统，其中的车道线检测功能大多借助计算机视觉或其他传感器实现。其中基于计算机视觉的车道线检测多是通过数学模型确定一个固定的感兴趣区域然后对图像中的边界信息进行提取然后通过直线或曲线模型对其中的边界线进行拟合。其中确立感兴趣区域的方法包括依照车道线的特点直接划定一部分区域作为感兴趣区域、利用直方图获得图像的统计学特征从而获取车道部分的颜色特征从而得到车道所在位置的大致范围、在图像中定义优先像素再利用卡尔曼滤波进行跟踪的方法。进行边界提取的方法包括Canny算子、Gabor滤波的虚部等方法。拟合的模型包括直线模型和双曲线模型等。目前已有技术普遍存在可靠性较差的问题，如容易将图像中的其他直线如道路护栏、标识牌中的大段直线误识别为车道线或容易受光线、阴影道路积水等影响提取到错误的边界线从而使整个车道线识别发生错误。目前大多通过定义感兴趣区域来排除无关区域的干扰使得车道线检测过程中不会被路牌、天空等无用信息干扰但是这样使车道线检测仅能在划定的区域进行，鲁棒性较差，而且依然没有解决在有干扰的条件下边界识别容易错误的问题。

发明内容

根据现有技术存在的问题，本发明公开了一种基于聚类算法选择敏感区域的驾驶辅助系统，具体方案是包括：

CCD图像采集设备和蓝牙设备的图像采集单元，所述图像采集单元以一定的角度和位置固定安装在车辆前部，实时对车辆前方的路况图像进行采集并通过蓝牙单元将采集到的数据信息实时输出；

接收所述图像采集单元传送的数据信息、支持L2级别自动驾驶功能的车道线检测单元，所述车道线检测单元读取蓝牙单元传送的数据信息并采用车道线检测方法输出车道线的具体位置信息；所述车道线检测单元包括图像预处理单元、分类器单元、车道线统计单元、信息提取单元和信息整合单元，

所述图像预处理单元接收蓝牙单元传送的道路图像信息对道路图像中的车辆图像进行检测和标注、对车辆所在位置进行图像修复使对应位置恢复空旷的路面图像；

所述分类器单元接收图像预处理单元传送的图像信息对输入的图像块是否包含了车道线信息进行分类，并将分类结果保存在LIM矩阵中；

所述车道线统计单元接收LIM矩阵传送的数据信息并根据LIM矩阵的内容预测图像中消失点的预测位置，根据该预测位置采用聚类方法获取路况图像中每一条车道线所属的感兴趣区域；

所述信息提取单元接收车道线统计单元传送的感兴趣区域并将其转换成HSV色彩空间并提取其中的白色和黄色区域，利用Hough变换变换提取其中的直线特征得到车道线位置数据；

所述信息整合单元接收信息提取单元传送的车道线位置数据，与其通过网络获取的道路信息进行比对，判断是否找到全部车道线，若没有找全则继续驱动车道线统计单元和信息提取单元对其他车道线进行检测；当检测到全部的车道线时根据车道线位置信息判断车辆是否偏离了正确方向，并将车道线和当前车辆的角度信息传递给所述警报单元，所示报警单元发出报警信号提示用户。

进一步的，所述车道线统计单元获取车道线所属的感兴趣区域时：设将车道线在图像中的形状近似为一条直线、所有车道线最终相交于消失点，根据LIM矩阵中的数值分布估计消失点的大概位置，将这一位置坐标假设为消失点通过统计过消失点的不同直线穿过图像块的数目对LIM矩阵中的图像块进行聚类依次找到每一条车道线所属的感兴趣区域。

进一步的，所述图像预处理单元对图像进行修复时：采用R-CNN车辆检测方法将车辆对应部分图像涂黑，采用PatchMatch方法对缺失部分的像素进行临近搜索将黑色部分补全。

由于采用了上述技术方案，本发明提供的一种基于聚类算法选择敏感区域的驾驶辅助系统，通过对切割后的图像块进行分类，包含了车道线的图像块被保留，不包含车道线的图像块被去除，能够得到一个近似的车道线轮廓范围。在光照影响下许多车道线的边界无法用边缘检测算法进行提取，同时道路中一些直线区域也会被误提取，而使用分类器选取感兴趣区域避免了这一过程。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统的结构示意图；

图2为本发明中图像处理单元切割图像的示意图；

图3为本发明中分类器单元所使用的卷积神经网络结构图；

图4为车道线统计单元的工作流程图；

图5为不同角度过消失点的直线穿过包含车道线的图像块数目直方图；

图6为4帧不同图像由车道线统计单元处理后得到的第一条车道线感兴趣区域示意图；

图7为车道线感兴趣区域提取的示意图；

图8为最终得到的车道线信息示意图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

一种基于聚类算法选择敏感区域的驾驶辅助系统，具体包括：基于CCD图像采集设备和蓝牙设备的图像采集单元；与图像采集设备连接的蓝牙单元；支持L2级别自动驾驶功能的车道线检测单元；能够根据车道线检测单元的返回结果对驾驶员进行安全提示的警报单元；

所述图像采集单元以一定的角度和位置固定安装在车辆前部，能够实时对车辆前方的图像进行采集并通过其中蓝牙功能与装有Android系统的移动设备进行传输。

所述蓝牙单元运行在装有Android系统的移动设备中，在配对后能够与所述图像采集设备进行连接。

所述车道线检测单元能够读取蓝牙单元中的数据并经过车道线检测方法给出车道线的具体位置信息。车道线检测单元中包括图像预处理单元、分类器单元、车道线统计单元、信息提取单元和信息整合单元。

所述图像预处理单元取得由所述蓝牙单元传输的道路图像，并包含了一个用于对前方道路车辆进行检测的车辆检测单元，并根据相应的尺寸对图像进行切割供分类器单元使用。

所述车辆检测单元实现了对道路图像中的车辆图像进行检测和标注并利用生成器模型对车辆所在位置进行修复使对应位置恢复空旷的路面图像。其中使用R-CNN实现车辆检测功能，并将对应部分图像涂黑，采用PatchMatch方法对缺失部分的像素进行临近搜索将黑色部分补全。

所述分类器单元由一个具有2个卷积层和2个池化层的卷积神经网络构成，用于对输入的图像块是否包含了车道线信息进行分类，并将分类结果保存在LIM矩阵中。

所述车道线统计单元接受LIM矩阵传送的数据并根据LIM矩阵的内容预测图像中消失点的预测位置。在道路建设中出于安全考虑会使车道线在弯道中也保持一个较大(就是比较值，不陡峭的那种不知道改叫较大还是较小)的弧度。因此在图像中，可以将车道线在图像中的形状近似为一条直线且所有车道线最终相交于消失点。故如果一条直线过消失点且穿过大量包含了车道线信息的图像块可认为该直线所穿过的图像块共同包含了一条车道线的图像信息。而根据LIM矩阵中的数值分布可以估计出消失点大概的位置，将这一位置坐标假设为消失点通过统计过消失点的不同直线穿过图像块的数目对LIM矩阵中的图像块进行聚类依次找到每一条车道线所属的感兴趣区域。

信息提取单元将从车道线统计单元得到的感兴趣区域图像转换成HSV色彩空间并提取其中的白色和黄色区域，然后利用Hough变换提取其中的直线特征得到车道线位置数据。

所述信息整合单元获取到信息提取单元得到的车道线位置数据，并与其通过网络获取的道路信息进行比对，判断是否已经找到全部车道线，若没有找全则继续驱动车道线统计单元和信息提取单元对其他车道线进行检测。当检测到全部的车道线时根据车道线位置信息判断车辆是否偏离了正确方向，并将车道线和当前车辆的角度信息传递给所述的警报单元。

所述警报单元接收到所述车道线检测单元的车道线位置信息用于在车辆偏离正确的道路方向是通过声音等方式对驾驶员员进行警示。

进一步的，设将车道线在图像中的形状近似为一条直线、所有车道线最终相交于消失点，根据LIM矩阵中的数值分布估计消失点的大概位置，将这一位置坐标假设为消失点通过统计过消失点的不同直线穿过图像块的数目对LIM矩阵中的图像块进行聚类依次找到每一条车道线所属的感兴趣区域。

进一步的，所述图像预处理单元对图像进行修复时：采用R-CNN车辆检测方法将车辆对应部分图像涂黑，采用PatchMatch方法对缺失部分的像素进行临近搜索将黑色部分补全。R-CNN是已知目前已有非常成熟的借助卷积神经网络对车辆进行检测的检测方法，PatchMatch是打补丁的方法。

实施例：

如图1所示的如图1所示的驾驶辅助系统包括图像采集单元1、蓝牙单元2、车道线检测单元3和警报单元4.其中车道线检测单元3又包括了图像预处理单元3.1、分类器单元3.2、车道线统计单元3.3、信息提取单元3.4、信息整合单元3.5。

所述图像采集单元1通过CCD摄像头采集车辆前方的图像，通过特定的安装高度和角度使地平线大约固定在图像某一位置并通过角度定义车道线在视野近处近似为直线。

所述蓝牙单元2使用蓝牙4.0协议，将车外的图像采集单元与车内的车道线检测单元连接，并在配对后连续不断的接收图像采集单元传递的图像。

所述车道线检测单元3根据蓝牙单元2接收到的图像计算给出输入图像中车道线的位置信息以及当前车辆偏离正方向的角度。

所述警报单元根据当前车辆方向和车道线检测单元的车道线位置信息判断车辆是否偏离了安全方向并在偏离安全方向后通过声音等方式对驾驶员发出警告。

所述图像预处理单元3.1对图像预处理的方法如图2所示，其中输入图像尺寸为1242*375像素，以图像左上角为原点坐标，分别取向右和向下为x轴、y轴的正方向。

其中，纵坐标小于195处的部分为天空，横坐标小于100和大于850像素的位置为道路左右两侧，在图2中以绿色阴影标注属于与道路无关区域。剩余的道路区域尺寸为180*750像素，可按照图2中所示切分成150个图像块，保存在矩阵pitch中。

img_i,j代表第i行第j列位置的图像块，由所述分类器单元3.2对图像块进行处理。

所述分类器单元采用了包含2个卷积层和2个池化层的卷积神经网络实现，该卷积神经网络结构如图3所示，包含了输入层、卷积层C1、池化层S2、卷积层C2、池化层S4、全连接层F5和F6以及输出层。所述卷积神经网络的输入是尺寸为30*30通道数为3的RGB图像。所述卷积层C1在进行卷积时不对来自输入层的边界进行填充，该层长宽为14深度为6，所述卷积层C3在卷积时使用全0对边界进行填充，深度为12。C1与C3使用的卷积和尺寸均为3、步长为1。池化层S2和S4采用最大池化。全连接层F5和F6的尺寸分别为588和150。

输出层尺寸为2，分别表示输入图像被认为属于包含车道线信息和不包含车道线信息的概率。在训练时使用交叉熵错误率作为损失函数。

分类后的结果得到LIM矩阵如公式2所示：

其中D是所述分类器单元3.2，当输入图像包含车道线信息时，结果为1、否则为0。根据LIM矩阵的结果，将全部包含了车道线信息的图像块保存在集合C中。

结果得到的LIM矩阵传送给车道线统计单元3.3，用于对LIM矩阵中的内容进行提取，步骤如图4所示。

所述S1用来根据LIM矩阵中元素的分布情况估计车道线消失点在道路图像中的坐标。由于消失点位于地平线附近，而在平坦道路中地平线位置近似不变，故可以先假设消失点纵坐标为第一行图像块上方15像素处，即图像上方180像素处。消失点横坐标为第一行被识别为包含车道线信息的图像块的重心位置。

由于车道线近似为过消失点的直线，所述S2中可以步长为2度，过假设出的消失点做直线，统计不同角度下直线穿过包含了车道线的图像块的数目得到直方图如图5所示。

在步骤S3中，求得直方图中的最大值，若存在多个连续的最大值则取连续最大值的中心位置，若存在离散的最大值分布则取最后一个角度α。

所述步骤S4根据求得的α值，将对应角度的直线所穿过的包含了车道线的图像块保存在集合Cα中，并取：

C＝C/C_α (3)

同时对LIM矩阵进行更新，将LIM矩阵中全部不再属于集合C的元素全部重置为0。

所述车道线统计单元3.3将LIM矩阵、与集合C和Cα的内容传递给所述信息提取单元3.4。信息提取单元获得的输入数据可视化后如图6所示。

已知，将图像转化为HSV色彩空间，并设定参数可过滤出图像中的黄色和白色区域。由于目前所提取的感兴趣区域已经压缩到一个很小的范围，故直接使用霍夫变换就可以提取出对应车道线的直线表达式。

若通过HSV色彩空间提取出的黄色或白色区域过小，可以认为提取到了无效的数据，信息提取单元返回错误信息。

所述信息整合单元3.4根据从网络或者GPS得到的数据，获取当前道路应有几条车道线。当所述信息提取单元获取了道路信息时，由信息整合单元判断是否找全了全部车道线，当所述信息提取单元返回错误信息时则由所述信息整合单元根据已有的车道线信息和道路等宽的假设，对其余车道线进行估计。拟合出3条车道线的结果如图7所示。

根据图像中得到的车道线模型，可以用当前所在车道两侧车道线角度的平均值得到当前驾驶方向的角度，当该角度与数值方向大于某一阈值时，通过所述警报单元4发出声音，对驾驶员发出提醒以保证安全驾驶。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于聚类算法选择敏感区域的驾驶辅助系统，其特征在于包括：

基于CCD图像采集设备和蓝牙设备的图像采集单元，所述图像采集单元以一定的角度和位置固定安装在车辆前部，实时对车辆前方的路况图像进行采集并通过蓝牙单元将采集到的数据信息实时输出；

接收所述图像采集单元传送的数据信息、支持L2级别自动驾驶功能的车道线检测单元，所述车道线检测单元读取蓝牙单元传送的数据信息并采用车道线检测方法输出车道线的具体位置信息；所述车道线检测单元包括图像预处理单元、分类器单元、车道线统计单元、信息提取单元和信息整合单元；

所述图像预处理单元接收蓝牙单元传送的道路图像信息对道路图像中的车辆图像进行检测和标注、对车辆所在位置进行图像修复使对应位置恢复空旷的路面图像；

所述分类器单元接收图像预处理单元传送的图像信息对输入的图像块是否包含了车道线信息进行分类，并将分类结果保存在LIM矩阵中；

所述车道线统计单元接收LIM矩阵传送的数据信息并根据LIM矩阵的内容预测图像中消失点的预测位置，根据该预测位置采用聚类方法获取路况图像中每一条车道线所属的感兴趣区域；

所述信息提取单元接收车道线统计单元传送的感兴趣区域并将其转换成HSV色彩空间并提取其中的白色和黄色区域，利用Hough变换提取其中的直线特征得到车道线位置数据；

所述信息整合单元接收信息提取单元传送的车道线位置数据，与其通过网络获取的道路信息进行比对，判断是否找到全部车道线，若没有找全则继续驱动车道线统计单元和信息提取单元对其他车道线进行检测；当检测到全部的车道线时根据车道线位置信息判断车辆是否偏离了正确方向，并将车道线和当前车辆的角度信息传递给警报单元，警报单元发出报警信号提示用户；

所述车道线统计单元获取车道线所属的感兴趣区域时：设将车道线在图像中的形状近似为一条直线、所有车道线最终相交于消失点，根据LIM矩阵中的数值分布估计消失点的大概位置，将这一位置坐标假设为消失点通过统计过消失点的不同直线穿过图像块的数目对LIM矩阵中的图像块进行聚类依次找到每一条车道线所属的感兴趣区域；

所述图像预处理单元对图像进行修复时：采用R-CNN车辆检测方法将车辆对应部分图像涂黑，采用PatchMatch方法对缺失部分的像素进行临近搜索将黑色部分补全；

所述图像预处理单元对图像预处理的方法为：其中输入图像尺寸为1242*375像素，以图像左上角为原点坐标，分别取向右和向下为x轴、y轴的正方向；其中，纵坐标小于195处的部分为天空，横坐标小于100和大于850像素的位置为道路左右两侧，剩余的道路区域尺寸为180*750像素，切分成150个图像块，保存在矩阵pitch中；

img_i,j代表第i行第j列位置的图像块，由分类器单元对图像块进行处理；

所述分类器单元采用了包含2个卷积层和2个池化层的卷积神经网络实现，该卷积神经网络结构包含输入层、卷积层C1、池化层S2、卷积层C2、池化层S4、全连接层F5和F6以及输出层，输出层尺寸为2，分别表示输入图像被认为属于包含车道线信息和不包含车道线信息的概率，在训练时使用交叉熵错误率作为损失函数：

分类后的结果得到LIM矩阵如公式2所示：

其中D是所述分类器单元，当输入图像包含车道线信息时，结果为1、否则为0，根据LIM矩阵的结果，将全部包含了车道线信息的图像块保存在集合C中；

将LIM矩阵传送至车道线统计单元用于对LIM矩阵中的内容进行提取，包括如下步骤：

S1：用来根据LIM矩阵中元素的分布情况估计车道线消失点在道路图像中的坐标；

S2：设步长为2度，假设出的消失点做直线，统计不同角度下直线穿过包含了车道线的图像块的数目；

S3：求得直方图中的最大值，若存在多个连续的最大值则取连续最大值的中心位置，若存在离散的最大值分布则取最后一个角度α；

S4：根据求得的α值，将对应角度的直线所穿过的包含了车道线的图像块保存在集合Cα中，并取：

C＝C/C_α (3)

同时对LIM矩阵进行更新，将LIM矩阵中全部不再属于集合C的元素全部重置为0；

所述车道线统计单元将LIM矩阵、与集合C和Cα的内容传递给所述信息提取单元。

Images