CN104835324B - 一种道路偏离监控方法及系统 - Google Patents

Abstract

本申请公开了一种道路偏离监控方法及系统，该方法包括：利用车辆上的成像装置对非结构化道路进行实时成像处理，得到实时道路图像；提取实时道路图像中的路面行进痕迹方向，得到道路纹理图；根据道路纹理图，确定非结构化道路的道路消失点；通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图；根据光流收敛图，计算得到成像聚焦中心；计算道路消失点与成像聚焦中心的距离，利用距离对车辆是否偏离非结构化道路做出判断；当判断出车辆偏离非结构化道路时，发出报警信号。可见，本申请是在对非结构化道路上的路面行进痕迹方向进行视觉感知的基础上，进而实现了对非结构化道路的偏离监控。

Description

一种道路偏离监控方法及系统

技术领域

本发明涉及数字图像处理和机器视觉技术领域，特别涉及一种道路偏离监控方法及系统。

背景技术

随着汽车的人口和全世界汽车保有量的快速增长，交通事故也日益增多。其中造成这些交通事故的重要因素是驾驶者无意识偏离道路。

现有的关于道路偏离监控的研究主要是基于对结构化道路的视觉感知的基础上展开的，这里的结构化道路为具有显著道路边界和车道标线的道路。但是，对于非结构化道路，如乡村道路、沙漠道路或草地道路等，由于缺乏显著道路边界和车道标线，现有的技术无法对上述非结构化道路进行视觉感知，从而无法实现对非结构化道路的偏离监控。

综上所述可以看出，如何实现对非结构化道路的偏离监控是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的是提供一种道路偏离监控方法及系统，实现了对非结构化道路的偏离监控。其具体方案如下：

一种道路偏离监控方法，应用于非结构化道路，所述方法包括：

利用车辆上的成像装置对所述非结构化道路进行实时成像处理，得到实时道路图像；

提取所述实时道路图像中的路面行进痕迹方向，得到道路纹理图；

根据所述道路纹理图，确定所述非结构化道路的道路消失点；

通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图；

根据所述光流收敛图，计算得到成像聚焦中心；

计算所述道路消失点与所述成像聚焦中心的距离，利用所述距离对所述车辆是否偏离所述非结构化道路做出判断；

当判断出所述车辆偏离所述非结构化道路时，发出报警信号。

优选的，所述提取所述实时道路图像中的路面行进痕迹方向，得到道路纹理图的过程包括，利用Gabor滤波器提取所述实时道路图像中的路面行进痕迹方向，得到所述道路纹理图。

优选的，所述根据所述道路纹理图，确定所述非结构化道路的道路消失点的过程包括，分别统计所述道路纹理图上的点所对应的路面行进痕迹方向的数量，得到每个点所对应的路面行进痕迹方向数量，将具有最多的路面行进痕迹方向数量的点确定为所述非结构化道路的道路消失点。

优选的，所述通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图的过程包括，通过分别统计所述实时道路图像中光流的光流矢量指向所述实时道路图像中每个点的光流矢量数目，得到所述实时道路图像中每个点对应的光流矢量数目，以形成表示光流矢量数目分布情况的光流收敛图。

优选的，所述通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图的过程包括，通过分别统计所述实时道路图像中光流的光流矢量经过所述实时道路图像中每个点的邻域的光流矢量数目，得到所述实时道路图像中每个点对应的光流矢量数目，以形成表示光流矢量数目分布情况的光流收敛图；其中，每个点的邻域具有相同的邻域半径。

优选的，所述根据所述光流收敛图，计算得到成像聚焦中心的过程包括：将所述光流收敛图中对应最大光流矢量数目的点确定为所述成像聚焦中心。

优选的，所述根据所述光流收敛图，计算得到成像聚焦中心的过程包括：将与多帧连续的道路纹理图对应的多张光流收敛图进行累加统计，得到相应的累加光流收敛图；将所述累加光流收敛图中对应最大光流矢量数目的点确定为所述成像聚焦中心。

优选的，所述路面行进痕迹方向为路面行进车辙方向。

优选的，所述计算所述道路消失点与所述成像聚焦中心的距离，利用所述距离对所述车辆是否偏离所述非结构化道路做出判断的过程包括，计算所述道路消失点与所述成像聚焦中心的欧几里得距离，判断所述欧几里得距离与帧宽度的比值是否大于预设阈值，如果是，则判定所述车辆偏离所述非结构化道路，如果否，则判定所述车辆没有偏离所述非结构化道路。

本发明还公开了一种道路偏离监控系统，应用于非结构化道路，所述系统包括：

成像装置，用于对所述非结构化道路进行实时成像处理，得到实时道路图像，所述成像装置位于车辆上；

痕迹处理模块，用于提取所述实时道路图像中的路面行进痕迹方向，得到道路纹理图；

第一确定模块，用于根据所述道路纹理图，确定所述非结构化道路的道路消失点；

光流处理模块，用于通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图；

第二确定模块，用于根据所述光流收敛图，计算得到成像聚焦中心；

计算模块，用于计算所述道路消失点与所述成像聚焦中心的距离；

判断模块，用于利用所述距离对所述车辆是否偏离所述非结构化道路做出判断；

报警模块，用于当所述判断模块判断出所述车辆偏离所述非结构化道路时，发出报警信号。

本发明中，通过对非结构化道路的实时道路图像中的路面行进痕迹方向进行提取，得到了道路纹理图，并利用道路纹理图来确定非结构化道路的道路消失点；另外，通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图，并根据光流收敛图计算得到成像聚焦中心；利用道路消失点与成像聚焦中心的距离来对车辆是否偏离非结构化道路进行判断，当判断出车辆偏离非结构化道路时，便发出报警信号。可见，本发明是在对非结构化道路上的路面行进痕迹方向进行视觉感知的基础上，进而实现了对非结构化道路的偏离监控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种道路偏离监控方法流程图；

图2为本发明实施例公开的一种道路偏离监控系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种道路偏离监控方法，应用于非结构化道路。参见图1所示，上述方法包括步骤S101至步骤S105，其中需要说明的是，步骤S102与步骤S103在时间上并不存在先后顺序，这里只是为了表述上的方便，将它们拆成了两个步骤。上述方法具体包括：

步骤S101：利用车辆上的成像装置对非结构化道路进行实时成像处理，得到实时道路图像。

具体的，可以利用数码相机或摄像机等对非结构化道路进行实时成像处理，得到连续多帧的实时道路图像。

步骤S102：提取实时道路图像中的路面行进痕迹方向，得到道路纹理图；根据道路纹理图，确定非结构化道路的道路消失点。

具体的，可利用Gabor滤波器提取实时道路图像中的路面行进痕迹方向的信息，得到道路纹理图。其中，优选的路面行进痕迹方向为路面行进车辙方向，当然，也可以是路面行进脚印方向等行进痕迹方向。例如，对乡村道路、沙漠道路或草地道路上的路面行进车辙方向的信息进行提取，得到相应的道路纹理图。

需要说明的是，消失点是指一组平行线在透视投影平面的汇聚点。而现有的道路偏离监控技术中，道路消失点是指道路边界或车道标线延伸到无限远处在投影平面上的汇聚点。而对于缺乏显著道路边界和车道标线的非结构化道路环境，现有的道路偏离监控技术显然无法对非结构化道路进行视觉感知。

本实施例中，上述根据道路纹理图，确定非结构化道路的道路消失点的具体过程可以为：分别统计道路纹理图上的点所对应的路面行进痕迹方向的数量，得到每个点所对应的路面行进痕迹方向数量，将具有最多的路面行进痕迹方向数量的点确定为非结构化道路的道路消失点。所谓的统计某个点所对应的路面行进痕迹方向的数量，也就是计算经过该点的路面行进痕迹方向的数量。当然，为了减少计算量，可以先在道路纹理图上确定出一个局部统计区域，而道路消失点是该局部统计区域上的某个点。比如将画面中道路延伸方向上的一个圆形区域确定为局部统计区域，然后只对该局部统计区域上的点进行路面行进痕迹方向数量的统计，这样可以大大减少计算量。

步骤S103：通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图；根据光流收敛图，计算得到成像聚焦中心。

具体的，上述通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图的过程可以具体包括：通过分别统计实时道路图像中光流的光流矢量指向实时道路图像中每个点的光流矢量数目，得到实时道路图像中每个点对应的光流矢量数目，以形成表示光流矢量数目分布情况的光流收敛图。

由于实时道路图像中的光流的光流矢量是离散的，光流矢量本身存在着量化误差，所以为了提高光流收敛图的准确性，可以对得到光流收敛图的过程进行进一步的优化。具体的，上述通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图的过程也可以具体包括：通过分别统计实时道路图像中光流的光流矢量经过实时道路图像中每个点的邻域的光流矢量数目，得到实时道路图像中每个点对应的光流矢量数目，以形成表示光流矢量数目分布情况的光流收敛图；其中，每个点的邻域具有相同的邻域半径。

另外，上述根据光流收敛图，计算得到成像聚焦中心的过程可具体包括：将光流收敛图中对应最大光流矢量数目的点确定为成像聚焦中心。

为了防止噪声因素的干扰，减少突然运动对光流收敛图的影响，获得更加稳定的成像聚焦中心，上述根据光流收敛图，计算得到成像聚焦中心的过程还可具体包括：将与多帧连续的道路纹理图对应的多张光流收敛图进行累加统计，得到相应的累加光流收敛图；将累加光流收敛图中对应最大光流矢量数目的点确定为成像聚焦中心。

步骤S104：计算道路消失点与成像聚焦中心的距离，利用距离对车辆是否偏离非结构化道路做出判断。

具体的，上述计算道路消失点与成像聚焦中心的距离，利用距离对车辆是否偏离非结构化道路做出判断的过程具体包括：计算道路消失点与成像聚焦中心的欧几里得距离，判断欧几里得距离与帧宽度的比值是否大于预设阈值，如果是，则判定车辆偏离非结构化道路，如果否，则判定车辆没有偏离非结构化道路。其中，欧几里得距离与帧宽度的比值表示了一种归一化的距离。相比于欧几里得距离本身，归一化的距离具有更高的参考价值和更广的通用性。

另外，还可以利用欧几里得距离与帧宽度的比值，结合预设阈值，来计算出车辆偏离非结构化道路的偏离程度。进一步的，也可以通过车辆上的车载显示设备，对上述偏离程度进行实时的显示，以方便司机可以及时的了解当前车辆的偏离程度。

步骤S105：当判断出车辆偏离非结构化道路时，发出报警信号。

具体的，当判断出车辆偏离非结构化道路时，可以发出声音报警信号，也可以发出声光报警信号。进一步的，可以根据车辆的偏离程度，对发出的报警信号做出相应的调整。比如，当偏离程度越大时，声音报警信号所对应的声音的强度越强，频率也越大。

本发明实施例中，通过对非结构化道路的实时道路图像中的路面行进痕迹方向进行提取，得到了道路纹理图，并利用道路纹理图来确定非结构化道路的道路消失点；另外，通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图，并根据光流收敛图计算得到成像聚焦中心；利用道路消失点与成像聚焦中心的距离来对车辆是否偏离非结构化道路进行判断，当判断出车辆偏离非结构化道路时，便发出报警信号。可见，本发明是在对非结构化道路上的路面行进痕迹方向进行视觉感知的基础上，进而实现了对非结构化道路的偏离监控。

相应的，本发明实施例还公开了一种道路偏离监控系统，应用于非结构化道路。参见图2所示，上述系统包括：

成像装置21，用于对非结构化道路进行实时成像处理，得到实时道路图像，成像装置21位于车辆上；

痕迹处理模块22，用于提取实时道路图像中的路面行进痕迹方向，得到道路纹理图；

第一确定模块23，用于根据道路纹理图，确定非结构化道路的道路消失点；

光流处理模块24，用于通过对实时道路图像的光流进行收敛分析处理，得到光流收敛图；

第二确定模块25，用于根据光流收敛图，计算得到成像聚焦中心；

计算模块26，用于计算道路消失点与成像聚焦中心的距离；

判断模块27，用于利用距离对车辆是否偏离非结构化道路做出判断；

报警模块28，用于当判断模块27判断出车辆偏离非结构化道路时，发出报警信号。

上述系统中各个组分更具体的作用可参考上一实施例中公开的道路偏离监控方法，在此不再赘述。

本发明实施例公开的系统中，痕迹处理模块可用于对非结构化道路的实时道路图像中的路面行进痕迹方向进行提取，得到了道路纹理图；第一确定模块可用于根据道路纹理图来确定非结构化道路的道路消失点；另外，通过光流处理模块，对实时道路图像的光流进行收敛分析处理，得到光流收敛图，而第二确定模块则可以根据光流收敛图计算得到成像聚焦中心；判断模块通过利用道路消失点与成像聚焦中心的距离来对车辆是否偏离非结构化道路进行判断；当判断出车辆偏离非结构化道路时，报警模块便发出报警信号。可见，本发明是在对非结构化道路上的路面行进痕迹方向进行视觉感知的基础上，进而实现了对非结构化道路的偏离监控。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种道路偏离监控方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种道路偏离监控方法，其特征在于，应用于非结构化道路，所述方法包括：

利用车辆上的成像装置对所述非结构化道路进行实时成像处理，得到实时道路图像；

提取所述实时道路图像中的路面行进痕迹方向，得到道路纹理图；

根据所述道路纹理图，确定所述非结构化道路的道路消失点；

通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图；

根据所述光流收敛图，计算得到成像聚焦中心；

计算所述道路消失点与所述成像聚焦中心的距离，利用所述距离对所述车辆是否偏离所述非结构化道路做出判断；

当判断出所述车辆偏离所述非结构化道路时，发出报警信号。

2.根据权利要求1所述的道路偏离监控方法，其特征在于，所述提取所述实时道路图像中的路面行进痕迹方向，得到道路纹理图的过程包括：

利用Gabor滤波器提取所述实时道路图像中的路面行进痕迹方向，得到所述道路纹理图。

3.根据权利要求1所述的道路偏离监控方法，其特征在于，所述根据所述道路纹理图，确定所述非结构化道路的道路消失点的过程包括：

分别统计所述道路纹理图上的点所对应的路面行进痕迹方向的数量，得到每个点所对应的路面行进痕迹方向数量，将具有最多的路面行进痕迹方向数量的点确定为所述非结构化道路的道路消失点。

4.根据权利要求1所述的道路偏离监控方法，其特征在于，所述通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图的过程包括：

通过分别统计所述实时道路图像中光流的光流矢量指向所述实时道路图像中每个点的光流矢量数目，得到所述实时道路图像中每个点对应的光流矢量数目，以形成表示光流矢量数目分布情况的光流收敛图。

5.根据权利要求1所述的道路偏离监控方法，其特征在于，所述通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图的过程包括：

通过分别统计所述实时道路图像中光流的光流矢量经过所述实时道路图像中每个点的邻域的光流矢量数目，得到所述实时道路图像中每个点对应的光流矢量数目，以形成表示光流矢量数目分布情况的光流收敛图；其中，每个点的邻域具有相同的邻域半径。

6.根据权利要求4或5所述的道路偏离监控方法，其特征在于，所述根据所述光流收敛图，计算得到成像聚焦中心的过程包括：

将所述光流收敛图中对应最大光流矢量数目的点确定为所述成像聚焦中心。

7.根据权利要求4或5所述的道路偏离监控方法，其特征在于，所述根据所述光流收敛图，计算得到成像聚焦中心的过程包括：

将与多帧连续的道路纹理图对应的多张光流收敛图进行累加统计，得到相应的累加光流收敛图；将所述累加光流收敛图中对应最大光流矢量数目的点确定为所述成像聚焦中心。

8.根据权利要求1至5任一项所述的道路偏离监控方法，其特征在于，所述路面行进痕迹方向为路面行进车辙方向。

9.根据权利要求1至5任一项所述的道路偏离监控方法，其特征在于，所述计算所述道路消失点与所述成像聚焦中心的距离，利用所述距离对所述车辆是否偏离所述非结构化道路做出判断的过程包括：

计算所述道路消失点与所述成像聚焦中心的欧几里得距离，判断所述欧几里得距离与帧宽度的比值是否大于预设阈值，如果是，则判定所述车辆偏离所述非结构化道路，如果否，则判定所述车辆没有偏离所述非结构化道路。

10.一种道路偏离监控系统，其特征在于，应用于非结构化道路，所述系统包括：

成像装置，用于对所述非结构化道路进行实时成像处理，得到实时道路图像，所述成像装置位于车辆上；

痕迹处理模块，用于提取所述实时道路图像中的路面行进痕迹方向，得到道路纹理图；

第一确定模块，用于根据所述道路纹理图，确定所述非结构化道路的道路消失点；

光流处理模块，用于通过对所述实时道路图像的光流进行收敛分析处理，得到光流收敛图；

第二确定模块，用于根据所述光流收敛图，计算得到成像聚焦中心；

计算模块，用于计算所述道路消失点与所述成像聚焦中心的距离；

判断模块，用于利用所述距离对所述车辆是否偏离所述非结构化道路做出判断；

报警模块，用于当所述判断模块判断出所述车辆偏离所述非结构化道路时，发出报警信号。