CN114495043A - 基于双目视觉系统的上下坡路况检测方法、系统和智能终端 - Google Patents

Abstract

本发明公开了一种基于双目视觉系统的上下坡路况检测方法和系统，所述方法包括：获取目标路段的原始图像，并计算所述原始图像的视差图；基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云；对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；确定异常区域，并定位所述异常区域内的实际路面观测距离；基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。能够实时检测到前方道路的上下坡情况，进而提高驾驶的舒适性和安全性。

Description

基于双目视觉系统的上下坡路况检测方法、系统和智能终端

技术领域

本发明涉及自动驾驶辅助技术领域，具体涉及一种基于双目视觉系统的上下坡路况检测方法、系统和智能终端。

背景技术

随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。自动驾驶是汽车产业与人工智能、物联网等新兴信息技术深

度融合的产物，是当前全球汽车与交通出行领域智能化和网联化发展的主要方向。

监测前方道路并评估其危险情况是自动驾驶技术发展中的关键的环节。因此，提供一种基于双目视觉系统的上下坡路况检测方法，以期能够实时检测到前方道路的上下坡情况，从而为汽车控制系统做出相关处理提供准确的数据支持，进而提高驾驶的舒适性和安全性，就成为本领域技术人员亟待解决的问题。

发明内容

为此，本发明实施例提供一种基于双目视觉系统的上下坡路况检测方法和系统，以期能够实时检测到前方道路的上下坡情况，从而为汽车控制系统做出相关处理提供准确的数据支持，进而提高驾驶的舒适性和安全性。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于双目视觉系统的上下坡路况检测方法，所述方法包括：

获取目标路段的原始图像，并计算所述原始图像的视差图；

基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云；

对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；

确定异常区域，并定位所述异常区域内的实际路面观测距离；

基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；

若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。

进一步地，确定异常区域具体包括：

计算每个栅格内包含的所述候选三维点云的个数，以得到个数统计图；

计算所述个数统计图和预存的理论个数统计图的比值，以得到概率统计图；

获取所述概率统计图中栅格差异区域，并通过经验阈值检测所述栅格差异区域，以得到异常区域。

进一步地，得到拟合误差之后还包括：

若所述拟合误差小于所述第一预设阈值，则判定所述目标路段为非上下坡路段。

进一步地，判定所述目标路段为上下坡路段，之后还包括：

对所述异常区域进行双段路面模型拟合，以得到所述上下坡路段的拐角距离和坡度。

进一步地，对所述异常区域进行双段路面模型拟合，以得到所述上下坡路段的拐角距离和坡度，具体包括：

将所述异常区域划分为第一区域和第二区域，并记录第一区域的拟合路面模型为road_model1，拟合误差为e1，记录第二区域的拟合路面模型为road_model2，拟合误差为e2；

若拟合误差e1和拟合误差e2均小于第二预设阈值，且路面模型road_model1和路面模型road_model2之间的夹角大于第三预设阈值，则判定所述异常区域为上下坡路段。

进一步地，利用以下公式得到三维点云的三维信息：

其中：

是双目图像的光心点，

是车载双目视觉传感器的基线，

是图像像素点，f是车载双目视觉传感器的焦距，

是图像像素点计算得到的三维点云，disparity是视差值。

进一步地，所述对所述三维点云进行筛选，具体包括：

若检测距离为Z，检测宽度为W，则选取

且

的作为候选三维点云。

本发明还提供一种基于双目视觉系统的上下坡路况检测系统，所述系统包括：

图像获取单元，用于获取目标路段的原始图像，并计算所述原始图像的视差图；

三维点云筛选单元，用于基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云；

栅格分组单元，用于对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；

异常区域获取单元，用于确定异常区域，并定位所述异常区域内的实际路面观测距离；

拟合误差获取单元，用于基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；

结果输出单元，用于在所述拟合误差大于第一预设阈值时，判定所述目标路段为上下坡路段。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

本发明所提供的基于双目视觉系统的上下坡路况检测方法和系统，通过对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图，进而确定异常区域，并定位所述异常区域内的实际路面观测距离；基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。这样，该方法能够实时检测到前方道路的上下坡情况，可自动判断前方路段是否存在上下坡，从而为汽车控制系统做出相关处理提供准确的数据支持，进而提高驾驶的舒适性和安全性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于双目视觉系统的上下坡路况检测方法一种具体实施方式的流程图；

图2为图1所示方法中坡度参数关系的示意图；

图3为本发明所提供的基于双目视觉系统的上下坡路况检测系统一种具体实施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了实现上下坡路况的准确检测，从而提高自动驾驶的舒适性和安全性，本发明提供一种基于双目视觉系统的上下坡路况检测方法。在该实施例中，为了描述方便，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。

请参考图1，图1为本发明所提供的基于双目视觉系统的上下坡路况检测方法一种具体实施方式的流程图。

在一种具体实施方式中，如图1所示，本发明所提供的基于双目视觉系统的上下坡路况检测方法包括以下步骤：

S1：获取目标路段的原始图像，并计算所述原始图像的视差图。具体地，通过车载双目视觉传感器，获取同时刻的双目图像作为原始图像，并对所述原始图像进行处理，通过立体匹配算法，得到双目图像的稠密视差图（简称视差图）。

S2：基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云。

在一个具体使用场景中，依据双目立体视觉系统成像模型选取成像光心(cy)下侧的区域作为检测区域，通过三维重建，并利用以下公式获取三维点云的三维信息：

其中：

是双目图像的光心点，

是车载双目视觉传感器的基线，

是图像像素点，f是车载双目视觉传感器的焦距，

是图像像素点计算得到的三维点云， disparity是视差值。

其中，所述对所述三维点云进行筛选，具体包括：

通过实际需求中的检测距离在三维点云中选点，若检测距离为Z，检测宽度为W，则选取

且

的作为候选三维点云。

S3：对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；并计算每个栅格的代表高度，记录为栅格高度图。

具体地，候选三维点云按照实际三维坐标进行栅格分组，每个栅格横向尺寸记为

，纵向尺寸记为

,每个三维点的栅格位置为：

S4：确定异常区域，并定位所述异常区域内的实际路面观测距离；

其中，确定异常区域具体包括：

计算每个栅格内包含的所述候选三维点云的个数，以得到个数统计图；计算每个栅格内包含的三维点的个数，记录为个数统计图。

计算所述个数统计图和预存的理论个数统计图的比值，以得到概率统计图；

获取所述概率统计图中栅格差异区域，并通过经验阈值检测所述栅格差异区域，以得到异常区域。

也就是说，每个栅格有对应的实际世界坐标系下的区域，通过相机位姿计算路面区域落在各栅格区域的理论个数，记录为理论个数统计图。计算每个栅格的个数统计与理论个数统计的比值，记录为概率统计图，障碍物处的栅格概率统计值会与路面处的栅格有较大差异，通过经验阈值检测异常区域，定位检测的实际路面观测距离

。

S5：基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；应用实际路面观测距离和栅格图生成路面点集，其水平坐标x表示距离，垂直坐标y表示高度，用路面点集拟合全局路面模型road_model，并记录拟合误差e。

S6：若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。

若所述拟合误差小于所述第一预设阈值，则判定所述目标路段为非上下坡路段。

其中，在步骤S6，判定所述目标路段为上下坡路段，之后还包括：

对所述异常区域进行双段路面模型拟合，以得到所述上下坡路段的拐角距离和坡度。

具体包括：

将所述异常区域划分为第一区域和第二区域，并记录第一区域的拟合路面模型为road_model1，拟合误差为e1，记录第二区域的拟合路面模型为road_model2，拟合误差为e2；

若拟合误差e1和拟合误差e2均小于第二预设阈值，且路面模型road_model1和路面模型road_model2之间的夹角大于第三预设阈值，则判定所述异常区域为上下坡路段，上下坡拐角距离为d2，坡度为a。

在一个具体使用场景中，如图2所示，当拟合误差e小于第一预设阈值（th1）时，判断当前场景不是上下坡场景；当拟合误差e大于第一预设阈值（th1）时，判断当前场景为上下坡场景，则对路面点集做双段路面模型拟合，并记录第一段（距离从d1到第二区域）拟合路面模型为road_model1，拟合误差为e1；第二段（距离从d2到d3区域）拟合路面模型为road_model2，拟合误差为e2。当拟合误差e1和拟合误差e2都小于第二预设阈值（th2）时，且第一路面模型road_model1和第二路面模型road_model2之间的夹角（a）大于第三预设阈值（th3）时，判断当前场景是上下坡场景，上下坡拐角距离为d2，坡度为a。

在上述具体实施方式中，本发明所提供的基于双目视觉系统的上下坡路况检测方法，通过对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图，进而确定异常区域，并定位所述异常区域内的实际路面观测距离；基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。这样，该方法能够实时检测到前方道路的上下坡情况，可自动判断前方路段是否存在上下坡，从而为汽车控制系统做出相关处理提供准确的数据支持，进而提高驾驶的舒适性和安全性。

除了上述方法，本发明还提供一种基于双目视觉系统的上下坡路况检测系统，该系统与上述方法实施例可相互补充和参考。

如图3所示，所述系统包括：

图像获取单元100，用于获取目标路段的原始图像，并计算所述原始图像的视差图；

三维点云筛选单元200，用于基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云；

栅格分组单元300，用于对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；

异常区域获取单元400，用于确定异常区域，并定位所述异常区域内的实际路面观测距离；

拟合误差获取单元500，用于基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；

结果输出单元600，用于在所述拟合误差大于第一预设阈值时，判定所述目标路段为上下坡路段。

在上述具体实施方式中，本发明所提供的基于双目视觉系统的上下坡路况检测系统，通过对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图，进而确定异常区域，并定位所述异常区域内的实际路面观测距离；基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。这样，该方法能够实时检测到前方道路的上下坡情况，可自动判断前方路段是否存在上下坡，从而为汽车控制系统做出相关处理提供准确的数据支持，进而提高驾驶的舒适性和安全性。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。

易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于双目视觉系统的上下坡路况检测方法，其特征在于，所述方法包括：

获取目标路段的原始图像，并计算所述原始图像的视差图；

基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云；

对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；

确定异常区域，并定位所述异常区域内的实际路面观测距离；

基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；

若所述拟合误差大于第一预设阈值，则判定所述目标路段为上下坡路段。

2.根据权利要求1所述的上下坡路况检测方法，其特征在于，确定异常区域具体包括：

计算每个栅格内包含的所述候选三维点云的个数，以得到个数统计图；

计算所述个数统计图和预存的理论个数统计图的比值，以得到概率统计图；

获取所述概率统计图中栅格差异区域，并通过经验阈值检测所述栅格差异区域，以得到异常区域。

3.根据权利要求1所述的上下坡路况检测方法，其特征在于，得到拟合误差之后还包括：

若所述拟合误差小于所述第一预设阈值，则判定所述目标路段为非上下坡路段。

4.根据权利要求1所述的上下坡路况检测方法，其特征在于，判定所述目标路段为上下坡路段，之后还包括：

对所述异常区域进行双段路面模型拟合，以得到所述上下坡路段的拐角距离和坡度。

5.根据权利要求4所述的上下坡路况检测方法，其特征在于，对所述异常区域进行双段路面模型拟合，以得到所述上下坡路段的拐角距离和坡度，具体包括：

将所述异常区域划分为第一区域和第二区域，并记录第一区域的拟合路面模型为road_model1，拟合误差为e1，记录第二区域的拟合路面模型为road_model2，拟合误差为e2；

若拟合误差e1和拟合误差e2均小于第二预设阈值，且路面模型road_model1和路面模型road_model2之间的夹角大于第三预设阈值，则判定所述异常区域为上下坡路段。

6.根据权利要求5所述的上下坡路况检测方法，其特征在于，利用以下公式得到三维点云的三维信息：

其中：

是双目图像的光心点，

是车载双目视觉传感器的基线，

是图像像素点，f是车载双目视觉传感器的焦距，

是图像像素点计算得到的三维点云，disparity是视差值。

7.根据权利要求6所述的上下坡路况检测方法，其特征在于，所述对所述三维点云进行筛选，具体包括：

若检测距离为Z，检测宽度为W，则选取

且

的作为候选三维点云。

8.一种基于双目视觉系统的上下坡路况检测系统，其特征在于，所述系统包括：

图像获取单元，用于获取目标路段的原始图像，并计算所述原始图像的视差图；

三维点云筛选单元，用于基于所述视差图获取检测区域的三维点云，并对所述三维点云进行筛选，以得到筛选后的候选三维点云；

栅格分组单元，用于对所述候选三维点云进行栅格分组，并根据每个栅格的代表高度，生成栅格高度图；

异常区域获取单元，用于确定异常区域，并定位所述异常区域内的实际路面观测距离；

拟合误差获取单元，用于基于所述栅格高度图和所述实际路面观测距离生成路面点集，并根据所述路面点集拟合全局路面模型，并得到拟合误差；

结果输出单元，用于在所述拟合误差大于第一预设阈值时，判定所述目标路段为上下坡路段。

9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。

Images