CN108596899B - 道路平坦性检测方法、装置及设备 - Google Patents

Abstract

本申请提供一种道路平坦性检测方法、装置及终端，应用于辅助驾驶技术领域，该方法包括：根据双目摄像机采集到的双目源图像得到稠密视差图与V视差图；根据在V视差图中拟合出的路面相关线，在V视差图中确定非平坦候选区域；根据非平坦候选区域中有效视差点的视差值在稠密视差图中确定候选视差点；在稠密视差图中，从候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为设定方向上的搜索结束点；根据各个搜索结束点所围成区域的面积、高度分布信息确定道路平坦性。应用该方法，可以实现尽可能准确地预测出前方行驶道路的平坦性，进而在前方道路上存在不平坦区域时及时向司机发出预警。

Description

道路平坦性检测方法、装置及设备

技术领域

本申请涉及辅助驾驶技术领域，尤其涉及一种道路平坦性检测方法、装置及设备。

背景技术

由于地貌环境复杂多变，在日常行车过程中，很可能遇到不平坦道路，例如，道路上存在较大的凹坑区域或凸起区域，这些不平坦区域将增大汽车的行车阻力，进而影响行车速度，还会造成车辆颠簸，进而降低司乘人员的乘坐舒适度，严重时甚至可能引发交通事故，由此可见，道路的平坦性关系到行车安全、司乘人员的乘坐体验、汽车的使用寿命等诸多事宜，因此，在行车过程中，提前检测前方行驶道路的平坦性，以在前方道路上存在不平坦区域时提前向司机发出预警尤为重要。

发明内容

有鉴于此，本申请提供一种道路平坦性检测方法、装置及设备，以实现尽可能准确地预测出前方行驶道路的平坦性，进而在前方道路上存在不平坦区域时，及时向司机发出预警，以提醒司机提前采取相应措施，从而降低不平坦区域所造成的不良影响。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种道路平坦性检测方法，所述方法包括：

根据双目摄像机采集到的双目源图像，得到稠密视差图与V视差图；

根据在所述V视差图中拟合出的用于表示道路的路面相关线，在所述V视差图中确定非平坦候选区域；

根据所述非平坦候选区域中有效视差点的视差值，在所述稠密视差图中确定候选视差点；

在所述稠密视差图中，从所述候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为所述设定方向上的搜索结束点；

根据各个所述搜索结束点所围成区域的面积、高度分布信息，确定道路平坦性。

可选的，所述根据在所述V视差图中拟合出的用于表示道路的路面相关线，在所述V视差图中确定非平坦候选区域，包括：

在所述V视差图中拟合出用于表示道路路面的路面相关线；

分别将所述路面相关线向上平移第一预设距离、第二预设距离，得到第一边界线与第二边界线，所述第一预设距离小于所述第二预设距离；

分别将所述路面相关线向下平移第三预设距离、第四预设距离，得到第三边界线与第四边界线，所述第三预设距离小于所述第四预设距离；

将所述第一边界线与所述第二边界线所围成区域确定为第一类型的非平坦候选区域，并将所述第三边界线与所述第四边界线所围成区域确定为第二类型的非平坦候选区域。

可选的，所述根据所述非平坦候选区域中有效视差点的视差值在所述稠密视差图中确定候选视差点，包括；

针对所述第一类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最大的有效视差点确定为第一类候选点；

针对所述第二类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最小的有效视差点确定为第二类候选点；

确定所述第一类候选点与所述第二类候选点映射到所述稠密视差图中的视差点为候选视差点。

可选的，所述在所述稠密视差图中，从所述候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为所述设定方向上的搜索结束点，包括：

在所述稠密视差图中，从所述候选视差点处开始，沿预设的多个设定方向分别遍历视差点；

计算出当前遍历到的视差点在设定三维坐标系的Y轴上的坐标值；

确定所述Y轴上的坐标值与设定Y轴坐标值之间的差值，若所述差值小于预设阈值，则将所述当前遍历到的视差点确定为所述设定方向上的搜索结束点，并在所述设定方向上停止遍历。

可选的，所述预设的多个设定方向至少包括4个设定方向，且所述设定方向的数量为偶数；

所述根据各个所述搜索结束点所围成区域的面积、高度分布信息确定道路平坦性，包括：

计算出各个所述搜索结束点所围成区域投影至设定三维坐标系的XZ平面上的投影区域的面积；

对各个所述搜索结束点进行分组，其中，每一分组中包括两个搜索结束点，且所述两个搜索结束点所在方向相反；

针对每一分组，根据所述分组中两个搜索结束点连线上的每一个视差点的视差值确定所述分组对应的高度分布信息；

根据各个分组对应的高度分布信息与所述投影区域的面积确定所述投影区域在路面上的对应区域的平坦性。

可选的，所述根据所述分组中两个搜索结束点连线上的每一个视差点的视差值确定所述分组对应的高度分布信息，包括：

针对分组中的两个搜索结束点连线上的每一个视差点，计算出所述视差点在所述设定三维坐标系的Y轴上的坐标值；

确定每一个视差点在所述设定三维坐标系的Y轴上的坐标值与设定Y轴坐标值之间的差值；

确定各个差值的平均值，与各个差值中的最大值；

将所述平均值与所述最大值作为所述分组对应的高度分布信息。

根据本申请实施例的第二方面，提供一种道路平坦性检测装置，所述装置包括：

图像处理模块，用于根据双目摄像机采集到的双目源图像，得到稠密视差图与V视差图；

候选区域确定模块，用于根据在所述V视差图中拟合出的用于表示道路的路面相关线，在所述V视差图中确定非平坦候选区域；

候选点确定模块，用于根据所述非平坦候选区域中有效视差点的视差值，在所述稠密视差图中确定候选视差点；

搜索模块，用于在所述稠密视差图中，从所述候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为所述设定方向上的搜索结束点；

平坦性确定模块，用于根据各个所述搜索结束点所围成区域的面积、高度分布信息，确定道路平坦性。

可选的，所述候选区域确定模块包括：

拟合子模块，用于在所述V视差图中拟合出用于表示道路的路面相关线；

第一平移子模块，用于分别将所述路面相关线向上平移第一预设距离、第二预设距离，得到第一边界线与第二边界线，所述第一预设距离小于所述第二预设距离；

第二平移子模块，用于分别将所述路面相关线向下平移第三预设距离、第四预设距离，得到第三边界线与第四边界线，所述第三预设距离小于所述第四预设距离；

区域确定子模块，用于将所述第一边界线与所述第二边界线所围成区域确定为第一类型的非平坦候选区域，并将所述第三边界线与所述第四边界线所围成区域确定为第二类型的非平坦候选区域。

可选的，所述候选点确定模块包括；

第一确定子模块，用于针对所述第一类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最大的有效视差点确定为第一类候选点；

第二确定子模块，用于针对所述第二类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最小的有效视差点确定为第二类候选点；

映射子模块，用于确定所述第一类候选点与所述第二类候选点映射到所述稠密视差图中的视差点为候选视差点。

可选的，所述搜索模块包括：

遍历子模块，用于在所述稠密视差图中，从所述候选视差点处开始，沿预设的多个设定方向分别遍历视差点；

第一计算子模块，用于计算出当前遍历到的视差点在设定三维坐标系的Y轴上的坐标值；

第三确定子模块，用于确定所述Y轴上的坐标值与设定Y轴坐标值之间的差值，若所述差值小于预设阈值，则将所述当前遍历到的视差点确定为所述设定方向上的搜索结束点，并在所述设定方向上停止遍历。

可选的，所述预设的多个设定方向至少包括4个设定方向，且所述设定方向的数量为偶数；

所述平坦性确定模块包括：

投影子模块，用于计算出各个所述搜索结束点所围成区域投影至设定三维坐标系的XZ平面上的投影区域的面积；

分组子模块，用于对各个所述搜索结束点进行分组，其中，每一分组中包括两个搜索结束点，且所述两个搜索结束点所在方向相反；

第四确定子模块，用于针对每一分组，根据所述分组中两个搜索结束点连线上的每一个视差点的视差值确定所述分组对应的高度分布信息；

第五确定子模块，用于根据各个分组对应的高度分布信息与所述投影区域的面积确定所述投影区域在路面上的对应区域的平坦性。

可选的，所述第四确定子模块包括：

第二计算子模块，用于针对分组中的两个搜索结束点连线上的每一个视差点，计算出所述视差点在所述设定三维坐标系的Y轴上的坐标值；

第六确定子模块，用于确定每一个视差点在所述设定三维坐标系的Y轴上的坐标值与设定Y轴坐标值之间的差值；

第七确定子模块，用于确定各个差值的平均值，与各个差值中的最大值；将所述平均值与所述最大值作为所述分组对应的高度分布信息。

根据本申请实施例的第三方面，提供一种道路平坦性检测终端，包括存储器、处理器、通信接口、摄像头组件，以及通信总线；

其中，所述存储器、处理器、通信接口、双目摄像机通过所述通信总线进行相互间的通信；

所述双目摄像机，用于采集双目源图像，并通过所述通信总线将所述双目源图像发送至所述处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一道路平坦性检测方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一道路平坦性检测方法。

由上述实施例可见，通过根据双目摄像机采集到的双目源图像得到稠密视差图与V视差图；根据在V视差图中拟合出的路面相关线，在V视差图中确定非平坦候选区域；根据非平坦候选区域中有效视差点的视差值在稠密视差图中确定候选视差点；在稠密视差图中，从候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为设定方向上的搜索结束点；根据各个搜索结束点所围成区域的面积、高度分布信息确定道路平坦性。

由于首先根据在V视差图中拟合出的路面相关线在V视差图中确定非平坦候选区域，后续仅针对非平坦候选区域进行处理，可以节省后续不平坦区域检测的计算量，进一步，根据非平坦候选区域在稠密视差图中确定候选视差点，也即凹坑区域的最低点或者是凸起区域的最高点，再以该候选视差点为中心，向多个方向开始搜索，确定各个方向上的搜索结束点，由各个搜索结束点所围成区域即可以较为准确地表示出路面上的凹坑区域或凸起区域在稠密视差图中的对应区域，可较为准确地确定出路面上的凹坑区域或凸起区域的真实面积以及高度分布信息，结合面积、高度分度信息，以及物理意义上不平坦区域的特点，即可确定出道路的平坦性。

综上所述，本申请所提供的方法可以实现尽可能准确地预测出前方行驶道路的平坦性，进而在前方道路上存在平坦性较差，也即较为危险的不平坦区域时，及时向司机发出预警，以提醒司机提前采取相应措施，例如避让、减速等措施，以尽可能地降低由于不平坦区域所造成的不良影响。

附图说明

图1为不平坦道路的一种示例；

图2为本申请一示例性实施例提供的道路平坦性检测方法的一个实施例流程图；

图3为稠密视差图的一种示例；

图4为在V视差图中拟合出的路面相关线的一种示例；

图5为在V视差图中划分出的平坦区域与非平坦候选区域的一种示例；

图6为设定方向上搜索结束点的一种示例；

图7为高度分布图的一种示例；

图8为U视差图中的道路平坦性检测区域的一种示例；

图9为本申请一示例性实施例提供的道路平坦性检测装置的一个实施例框图；

图10所示为本申请道路平坦性检测装置所在道路平坦性检测终端的一种硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在日常行车过程中，很可能遇到不平坦道路，例如，如图1所示，为不平坦道路的一种示例，其中，在图1(a)所示例的不平坦道路上存在平坦性较差，也即凸起程度较大的凸起区域(如图1(a)中矩形框所框定的区域)，在图1(b)所示例的不平坦道路上存在平坦性较差，也即凹陷程度较大的凹坑区域(如图1(b)中矩形框所框定的区域)，汽车在不平坦道路上行驶时，会存在较大的行车阻力，从而影响行车速度，同时，还会造成车辆颠簸，从而降低司乘人员的乘坐舒适度，颠簸严重时甚至可能引发交通事故。由此可见，在行车过程中，提前检测前方行驶道路的平坦性，以在前方道路上存在不平坦区域时提前向司机发出预警尤为重要。

基于此，本申请提供一种道路平坦性检测方法，以实现尽可能准确地预测出前方行驶道路的平坦性，进而在前方道路上存在平坦性较差，也即较为危险的不平坦区域时，及时向司机发出预警，以提醒司机提前采取相应措施，例如避让、减速等措施，以尽可能地降低由于不平坦区域所造成的不良影响。

如下，示出下述实施例对本申请提供的道路平坦性检测方法进行说明：

请参见图2，为本申请一示例性实施例提供的道路平坦性检测方法的一个实施例流程图，该方法可以包括以下步骤：

步骤201：根据双目摄像机采集到的双目源图像，得到稠密视差图与V视差图。

在本申请实施例中，可以在车辆上布设双目摄像机，该双目摄像机具有左右两个摄像头，在一次图像采集过程中，该左右两个摄像头分别采集到一幅图像，为了描述方便，在本申请实施例中，将双目摄像机的两个摄像头所采集到的两幅图像统称为双目源图像。

在本申请实施例中，可以首先对双目源图像进行预处理，该预处理可以包括下采样、滤波平滑等处理，其中，下采样的主要目的是将高分辨率的灰度图缩减为低分辨率的缩略图，例如，假设双目源图像的灰度图大小为M*N，对该灰度图进行r*s倍下采样，即可得到尺寸大小为(M/r)*(N/s)的缩略图，通过该种处理，可以节省后续计算量；滤波平滑处理可以为高斯滤波，主要目的是去除图像中的噪点。

后续，可以根据预处理后的双目源图像，匹配得到稠密视差图，稠密视差图是指在绝大部分图像像素点处均具有视差值，进一步还可以对稠密视差图进行后处理(后处理过程可以包括置信度检验，左右一致性检测和斑点滤波等处理)，得到最终的稠密视差图，例如，如图3所示，为稠密视差图的一种示例，图3中，图3(a)为图1(a)对应的稠密视差图，图3(b)为图1(b)对应的稠密视差图，在图3(a)中，矩形框所框定区域对应图1(a)中的凸起区域，在图3(b)中，矩形框所框定区域对应图1(b)中的凹坑区域。

在本申请实施例中，可以继续基于稠密视差图得到V视差图，本领域技术人员可以理解的是，V视差图的行数，即图像高度与稠密视差图相同，V视差图的列数为稠密视差图中的最大视差值，以V视差图中第i行第j列上的视差点为例，其视差值表示在稠密视差图的第i行上，视差值为j的视差点的个数。

至于根据预处理后的双目源图像得到稠密视差图，以及根据稠密视差图得到V视差图的具体过程，本领域技术人员可以参见现有技术中的相关描述，本申请对此不再详述。

步骤202：根据在V视差图中拟合出的用于表示道路的路面相关线，在V视差图中确定非平坦候选区域。

在本申请实施例中，可以利用霍夫线检测技术，在V视差图中拟合出一条用于表示道路的直线，为了描述方便，将该直线称为路面相关线，例如，如图4所示，为在V视差图中拟合出的路面相关线的一种示例，在图4中，直线L表示拟合出的路面相关线。

在一实施例中，在设定的图像坐标系(如图4所示，图像坐标系以V视差图的左上角顶点为坐标原点，以水平向右为X轴正方向，以垂直向下为Y轴正方向)中，图4中所示例的路面相关线L可以通过如下式(一)表示：

在上述式(一)中，h表示双目摄像机的离地高度，B表示双目摄像机的基线长度，θ表示双目摄像机的俯仰角，f表示双目摄像机的焦距。

此外，本领域技术人员可以理解的是，上述式(一)中的x对应的物理意义为视差值d。

后续，根据该路面相关线在V视差图中确定非平坦候选区域，具体过程如下：

由于在实际应用中，经过立体匹配得到的稠密视差图上，路面视差点的视差值会在一定范围内波动，从而导致拟合出的路面相关线具有一定的波动性，为了削弱视差值的波动对非平坦区域的检测结果的影响，在本申请实施例中，以路面相关线为中心，在V视差图中划出平坦区域与非平坦候选区域，具体的，可以理解为，分别将路面相关线向上平移第一预设距离、第二预设距离(第一预设距离小于第二预设距离)，为了描述方便，将向上平移后的两条直线分别称为第一边界线和第二边界线；相应的，可以分别将路面相关线向下平移第三预设距离、第四预设距离(第三预设距离小于第四预设距离)，为了描述方便，将向下平移后的两条直线分别称为第三边界和第四边界线，后续，可以将第一边界线与第二边界线所围成的区域确定为第一类型，即凸起类型的非平坦候选区域，将第三边界线与第四边界线所围成的区域确定为第二类型，即凹坑类型的非平坦候选区域，将第一边界线和第三边界线所围成的区域确定为平坦区域。

例如，如图5所示，为在V视差图中划分出的平坦区域与非平坦候选区域的一种示例，在图5中，直线L1为第一边界线，直线L2为第二边界线，直线L3为第三边界线，直线L4为第四边界线，那么，直线L1与直线L2所围成区域即为第一类型的非平坦候选区域，直线L3与直线L4所围成区域即为第二类型的非平坦候选区域，直线L1与直线L3所围成区域即为平坦区域。此外，根据上述式(一)以及数学概念，可以通过下述式(二)表示上述L1至L4：

本领域技术人员可以理解的是，上述式(二)中，Δ1小于Δ2；Δ3小于Δ4。

步骤203：根据非平坦候选区域中有效视差点的视差值，在稠密视差图中确定候选视差点。

在本申请实施例中，针对第一类型，即凸起类型的非平坦候选区域，可以在该非平坦候选区域的每一行中，将视差值最大的有效视差点确定为第一类候选点，即凸起候选点，该第一类候选点对应的物理意义可以为路面上凸起区域的最高点，相应的，针对第二类型，即凹坑类型的非平坦候选区域，可以在该非平坦候选区域的每一行中，将视差值最小的有效视差点确定为第二类候选点，即凹坑候选点，该第二类候选点对应的物理意义可以为路面上凹坑区域的最低点，例如，如图5所示，P1为第二类候选点，P2为第一类候选点。

在一实施例中，可以采取逐行搜索的方法，分别在每一行的第一类型的非平坦候选区域中确定第一类候选点，在每一行的第二类型的非平坦候选区域中确定第二类候选点，本领域技术人员可以理解的是，由于并非在非平坦候选区域的每一行中均存在有效视差点，从而并非在每一行中均会存在第一类候选点，和/或第二类候选点。

后续，将前述确定出的第一类候选点与第二类候选点分别映射到稠密视差图中，将映射到稠密视差图中的视差点确定为候选视差点，本领域技术人员可以理解的是，通过第一类候选点(或第二类候选点)在V视差图中所在行即可确定其映射的候选视差点在稠密视差图中所在行，通过第一类候选点(或第二类候选点)在V视差图中所在列即可确定其映射的候选视差点的视差值，从而在稠密视差图中确定候选视差点。此外，本领域技术人员还可以理解的是，由于在稠密视差图的一行中，具有同一视差值的视差点可能不止一个，从而，针对一个第一类候选点(或第二类候选点)，可能会在稠密视差图中确定其映射的多个候选视差点。

步骤204：在稠密视差图中，从候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为设定方向上的搜索结束点。

在本申请实施例中，针对每一候选视差点，可以从该候选视差点处开始沿预设的多个，例如4个、6个，或8个设定方向分别遍历视差点，并且，每遍历到一个视差点，则确定当前遍历到的视差点在设定三维坐标系的Y轴上的坐标值，在此先说明，该三维坐标系以双目摄像机左右两个摄像头的中心点为原点，以垂直于地面向上为Y轴正方向，以指向车头前方为Z轴正方向，以指向司机右侧方向为X轴正方向，从而，通过上述所确定的视差点在该三维坐标系的Y轴上的坐标值即可以表示出该视差点对应的物体点与路面之间的距离，具体的，通过数学概念可将该距离表示为视差点在三维坐标系的Y轴上的坐标值与设定坐标值之间的差值，其中，设定坐标值表示路面在三维坐标系中的Y轴坐标值。

在一实施例中，可以通过下述式(三)计算出视差点在三维坐标系的Y轴上的坐标值：

在式(三)中，H表示稠密视差图的高度，v表示被测视差点在图像坐标系中的Y轴坐标值。

后续，若确定出的差值小于预设阈值，则可以认为视差点对应的物体点与路面之间在垂直方向上的距离较近，也即该物体点属于地面平坦区域。从而，可以将当前遍历到的视差点确定为设定方向上的搜索结束点，并停止遍历。

通过上述处理，即可确定每一设定方向上的搜索结束点，例如，如图6所示，为设定方向上搜索结束点的一种示例，在图6中，以8个设定方向为例，点p为候选视差点，点P1至P8则分别为8个方向上的搜索结束点。

步骤205：根据各个搜索结束点所围成区域的面积、高度分布信息确定道路平坦性。

在本申请实施例中，可以连接相邻的搜索结束点，该些搜索结束点所围成区域，例如图6中所示例的粗黑实线所表示的区域即为路面上的凹坑区域或凸起区域在稠密视差图中的对应区域。

之后，将该区域投影至上述三维坐标系的XZ平面上，得到该区域在XZ平面上的投影区域，通过上述关于三维坐标系的描述可知，该投影区域对应的物理意义则为路面上的凹坑区域或凸起区域，进一步可以计算出该投影区域的面积，也即计算出路面上的凹坑区域或凸起区域的真实面积。

在一实施例中，可以通过下述式(四)计算出各个搜索结束点所围成区域中的每一个视差点在上述三维坐标系中的X轴坐标值和Z轴坐标值：

在上述式(四)中，u为被测视差点在图像坐标系中的X轴坐标值，W为稠密视差图的图像宽度。

在本申请实施例中，还可以得到路面上的凹坑区域或凸起区域的高度分布信息，具体过程如下：

将各个搜索结束点进行分组，每一分组中包括两个搜索结束点，且该两个搜索结束点所在方向相反，例如，以图6中示例出的搜索结束点为例，可以将q1、q2分为一组，将q3、q4分为一组，将q5、q6分为一组，将q7、q8分为一组。

基于上述关于分组的描述，则可以得出在本申请实施例中，预设的多个设定方向至少包括4个设定方向，且设定方向的数量为偶数。

后续，针对各个分组，分别确定每一分组的高度分布信息，以分组q1、q2为例，针对该两个搜索结束点连线上的每一个视差点，根据上述式(三)计算出视差点在设定三维坐标系的Y轴上的坐标值，进一步计算出每一视差点在三维坐标系的Y轴上的坐标值与设定Y轴坐标值之间的差值，也即计算出每一视差点对应的物体点与路面之间的高度差值，再进一步，可以确定出各个高度差值的平均值以及各个高度差值中的最大值，将该平均值与该最大值确定为该分组对应的高度分布信息。

通过上述处理过程，即可得到每一个分组对应的高度分布信息。

为了使本领域技术人员可以直观理解高度分布信息的物理意义，示出图7所示例的高度分布图，在图7所示例的高度分布图中，以凹坑区域为例，纵轴表示视差点在三维坐标系中的Y轴坐标值，横轴表示像素点，T_max表示各个高度差值中的最大值，该最大值越大，则可以表示凹坑区域的凹陷程度越明显。

后续，在本申请实施例中，则可以根据每一个分组对应的高度分布信息与上述投影区域的面积，共同确定路面上凹坑区域或凸起区域的平坦性。

在一实施例中，可以预先设定一个条件，例如下述式(五)所示例的条件：

在上述式(五)中，S表示投影区域，也即路面上凹坑区域或凸起区域的面积，S_thrshold表示预设的面积阈值，T_avg表示各个高度差值的平均值，T_avgthrshold表示预设的均值阈值，T_maxthrshold表示预设的最大值阈值。

在一实施例中，若投影区域的面积，以及每个分组对应的高度分布信息满足上述式(五)所示例的设定条件，则可以认为投影区域在路面上的对应区域，也即路面上的凸起区域或凹坑区域的较为平坦，则可以将该类区域看作平坦区域，反之，则可以认为投影区域在路面上的对应区域的平坦性较差，则可以将该类区域看作较为危险的不平坦区域。

进一步，在确定出路面上存在较为危险的不平坦区域之后，则可以向司机发出预警，以提醒司机提前采取相应措施，例如避让、减速等措施，以尽可能地降低由于不平坦区域所造成的不良影响。

此外，需要说明的是，上述所描述的计算出路面上的凹坑区域或凸起区域的真实面积的过程仅仅作为一个可选的实现方式，在实际应用中，还可以通过其他方式计算出路面上的凹坑区域或凸起区域的真实面积。

例如，可以根据稠密视差图得到U视差图，关于根据稠密视差图得到U视差图的具体过程，本领域技术人员可以参见现有技术中的详细描述，本申请对此不再详述。

后续，将V视差图中，例如图5中，直线L1与直线L4所围成区域中的有效视差点投影到U视差图中，得到U视差图中的道路平坦性检测区域，例如，如图8所示，为U视差图中的道路平坦性检测区域的一种示例。

由于不平坦区域的视差值比平坦区域的视差大或者小，那么，将导致在U视差图上呈现面积较大的“黑洞”，例如，图8中灰色矩形框所框定的区域，基于此，则可以在U视差图中确定出“黑洞”区域，继而，根据上述式(四)计算出“黑洞”区域所对应的路面上的凹坑区域或凸起区域的真实面积。

在上述描述中，在U视差图中确定出“黑洞”区域的过程可以包括：在U视差图中，采用设定大小，例如n*n的滑动窗口，依次遍历每一个n*n大小的区域，统计滑动窗口内白色像素点的个数，若白色像素点的个数大于0且小于设定的阈值，则可以认为该滑动窗口当前遍历到的区域为“边缘”区域，若滑动窗口内不存在白色像素点，则可以认为该滑动窗口当前遍历到的区域为“黑洞”区域。

后续，针对“边缘”区域，计算出距离其最近的“黑洞”区域，例如，可以通过计算区域的中心点之间的距离，来确定最近的“黑洞”区域，将该“边缘”区域中的白色像素点看作距离其最近的“黑洞”区域的边缘，如此，则可以得到图8中所示例的“黑洞”区域。

由上述实施例可见，通过根据双目摄像机采集到的双目源图像得到稠密视差图与V视差图；根据在V视差图中拟合出的路面相关线，在V视差图中确定非平坦候选区域；根据非平坦候选区域中有效视差点的视差值在稠密视差图中确定候选视差点；在稠密视差图中，从候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为设定方向上的搜索结束点；根据各个搜索结束点所围成区域的面积、高度分布信息确定道路平坦性。

由于首先根据在V视差图中拟合出的路面相关线在V视差图中确定非平坦候选区域，后续仅针对非平坦候选区域进行处理，可以节省后续不平坦区域检测的计算量，进一步，根据非平坦候选区域在稠密视差图中确定候选视差点，也即凹坑区域的最低点或者是凸起区域的最高点，再以该候选视差点为中心，向多个方向开始搜索，确定各个方向上的搜索结束点，由各个搜索结束点所围成区域即可以较为准确地表示出路面上的凹坑区域或凸起区域在稠密视差图中的对应区域，可较为准确地确定出路面上的凹坑区域或凸起区域的真实面积以及高度分布信息，结合面积、高度分度信息，以及物理意义上不平坦区域的特点，即可确定出道路的平坦性。

综上所述，本申请所提供的方法可以实现尽可能准确地预测出前方行驶道路的平坦性，进而在前方道路上存在平坦性较差，也即较为危险的不平坦区域时，及时向司机发出预警，以提醒司机提前采取相应措施，例如避让、减速等措施，以尽可能地降低由于不平坦区域所造成的不良影响。

与前述道路平坦性检测方法的实施例相对应，本申请还提供了道路平坦性检测装置的实施例。

请参见图9，为本申请一示例性实施例提供的道路平坦性检测装置的一个实施例框图，该装置可以包括图像处理模块91、候选区域确定模块92、候选点确定模块93、搜索模块94、平坦性确定模块95。

其中，图像处理模块91，可以用于根据双目摄像机采集到的双目源图像，得到稠密视差图与V视差图；

候选区域确定模块92，可以用于根据在所述V视差图中拟合出的用于表示道路的路面相关线，在所述V视差图中确定非平坦候选区域；

候选点确定模块93，可以用于根据所述非平坦候选区域中有效视差点的视差值，在所述稠密视差图中确定候选视差点；

搜索模块94，可以用于在所述稠密视差图中，从所述候选视差点处开始沿预设的多个设定方向分别进行搜索，将搜索到的首个满足设定条件的视差点确定为所述设定方向上的搜索结束点；

平坦性确定模块95，可以用于根据各个所述搜索结束点所围成区域的面积、高度分布信息确定道路平坦性。

在一实施例中，所述候选区域确定模块92可以包括(图9中未示出)：

拟合子模块，用于在所述V视差图中拟合出用于表示道路的路面相关线；

第一平移子模块，用于分别将所述路面相关线向上平移第一预设距离、第二预设距离，得到第一边界线与第二边界线，所述第一预设距离小于所述第二预设距离；

第二平移子模块，用于分别将所述路面相关线向下平移第三预设距离、第四预设距离，得到第三边界线与第四边界线，所述第三预设距离小于所述第四预设距离；

区域确定子模块，用于将所述第一边界线与所述第二边界线所围成区域确定为第一类型的非平坦候选区域，并将所述第三边界线与所述第四边界线所围成区域确定为第二类型的非平坦候选区域。

在一实施例中，所述候选点确定模块93可以包括(图9中未示出)：

第一确定子模块，用于针对所述第一类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最大的有效视差点确定为第一类候选点；

第二确定子模块，用于针对所述第二类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最小的有效视差点确定为第二类候选点；

映射子模块，用于确定所述第一类候选点与所述第二类候选点映射到所述稠密视差图中的视差点为候选视差点。

在一实施例中，所述搜索模块94可以包括(图9中未示出)：

遍历子模块，用于在所述稠密视差图中，从所述候选视差点处开始，沿预设的多个设定方向分别遍历视差点；

第一计算子模块，用于计算出当前遍历到的视差点在设定三维坐标系的Y轴上的坐标值；

第三确定子模块，用于确定所述Y轴上的坐标值与设定Y轴坐标值之间的差值，若所述差值小于预设阈值，则将所述当前遍历到的视差点确定为所述设定方向上的搜索结束点，并在所述设定方向上停止遍历。

在一实施例中，所述预设的多个设定方向至少包括4个设定方向，且所述设定方向的数量为偶数；

所述平坦性确定模块95可以包括：

投影子模块，用于计算出各个所述搜索结束点所围成区域投影至设定三维坐标系的XZ平面上的投影区域的面积；

分组子模块，用于对各个所述搜索结束点进行分组，其中，每一分组中包括两个搜索结束点，且所述两个搜索结束点所在方向相反；

第四确定子模块，用于针对每一分组，根据所述分组中两个搜索结束点连线上的每一个视差点的视差值确定所述分组对应的高度分布信息；

第五确定子模块，用于根据各个分组对应的高度分布信息与所述投影区域的面积确定所述投影区域在路面上的对应区域的平坦性。

在一实施例中，所述第四确定子模块可以包括(图9中未示出)：

第二计算子模块，用于针对分组中的两个搜索结束点连线上的每一个视差点，计算出所述视差点在所述设定三维坐标系的Y轴上的坐标值；

第六确定子模块，用于确定每一个视差点在所述设定三维坐标系的Y轴上的坐标值与设定Y轴坐标值之间的差值；

第七确定子模块，用于确定各个差值的平均值，与各个差值中的最大值；将所述平均值与所述最大值作为所述分组对应的高度分布信息。

本申请道路平坦性检测装置的实施例可以应用在道路平坦性检测终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在道路平坦性检测终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本申请道路平坦性检测装置所在道路平坦性检测终端的一种硬件结构图，其中，处理器1001是该道路平坦性检测终端1000的控制中心，利用各种接口和线路连接整个道路平坦性检测装置的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行道路平坦性检测装置1000的各种功能和处理数据，从而对该道路平坦性检测装置进行整体监控。

可选的，处理器1001可包括(图10中未示出)一个或多个处理核心；可选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002主要包括(图10中未示出)存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储道路平坦性检测装置1000的使用所创建的数据(比如采集到的双目源图像、计算得到的稠密视差图或者处理得到的灰度图像)等。

此外，存储器1002可以包括(图10中未示出)高速随机存取存储器，还可以包括(图10中未示出)非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件。相应地，存储器1002还可以包括(图10中未示出)存储器控制器，以提供处理器1001对存储器1002的访问。

在一些实施例中，装置1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通信总线或信号线(图10中未示出)相连。各个外围设备可以通信总线或信号线与外围设备接口1003相连。具体地，外围设备可以包括：射频组件1004、触摸显示屏1005、摄像头组件1006、音频组件1007、定位组件1008和电源组件1009中的至少一种。

其中，摄像头组件1006用于采集双目源图像。

在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

除了图10所示例的各个硬件之外，实施例中装置所在的道路平坦性检测终端通常根据该终端的实际功能，还可以包括其它硬件，对此不再赘述。

本领域技术人员可以理解的是，图10所示例的道路平坦性检测终端可以应用在汽车上，也可以应用在电脑、智能手机等其它设备上，本申请对此并不作限制。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一道路平坦性检测方法。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种道路平坦性检测方法，其特征在于，所述方法包括：

根据双目摄像机采集到的双目源图像，得到稠密视差图与V视差图；

根据在所述V视差图中拟合出的用于表示道路的路面相关线，在所述V视差图中确定非平坦候选区域；

根据所述非平坦候选区域中有效视差点的视差值，在所述稠密视差图中确定候选视差点；

在所述稠密视差图中，从所述候选视差点处开始，沿预设的多个设定方向分别遍历视差点；

计算出当前遍历到的视差点在设定三维坐标系的Y轴上的坐标值；

确定所述Y轴上的坐标值与设定Y轴坐标值之间的差值，若所述差值小于预设阈值，则将所述当前遍历到的视差点确定为所述设定方向上的搜索结束点，并在所述设定方向上停止遍历；

根据各个所述搜索结束点所围成区域的面积、高度分布信息，确定道路平坦性。

2.根据权利要求1所述的方法，其特征在于，所述根据在所述V视差图中拟合出的用于表示道路路面的路面相关线，在所述V视差图中确定非平坦候选区域，包括：

在所述V视差图中拟合出用于表示道路的路面相关线；

分别将所述路面相关线向上平移第一预设距离、第二预设距离，得到第一边界线与第二边界线，所述第一预设距离小于所述第二预设距离；

分别将所述路面相关线向下平移第三预设距离、第四预设距离，得到第三边界线与第四边界线，所述第三预设距离小于所述第四预设距离；

将所述第一边界线与所述第二边界线所围成区域确定为凸起类型的第一类型的非平坦候选区域，并将所述第三边界线与所述第四边界线所围成区域确定为凹坑类型的第二类型的非平坦候选区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述非平坦候选区域中有效视差点的视差值在所述稠密视差图中确定候选视差点，包括：

针对所述第一类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最大的有效视差点确定为第一类候选点；

针对所述第二类型的非平坦候选区域，在所述非平坦候选区域的每一行中，将视差值最小的有效视差点确定为第二类候选点；

确定所述第一类候选点与所述第二类候选点映射到所述稠密视差图中的视差点为候选视差点。

4.根据权利要求1所述的方法，其特征在于，所述预设的多个设定方向至少包括4个设定方向，且所述设定方向的数量为偶数；

所述根据各个所述搜索结束点所围成区域的面积、高度分布信息确定道路平坦性，包括：

计算出各个所述搜索结束点所围成区域投影至设定三维坐标系的XZ平面上的投影区域的面积；

对各个所述搜索结束点进行分组，其中，每一分组中包括两个搜索结束点，且所述两个搜索结束点所在方向相反；

针对每一分组，根据所述分组中两个搜索结束点连线上的每一个视差点的视差值确定所述分组对应的高度分布信息；

根据各个分组对应的高度分布信息与所述投影区域的面积确定所述投影区域在路面上的对应区域的平坦性。

5.根据权利要求4所述的方法，其特征在于，所述根据所述分组中两个搜索结束点连线上的每一个视差点的视差值确定所述分组对应的高度分布信息，包括：

针对分组中的两个搜索结束点连线上的每一个视差点，计算出所述视差点在所述设定三维坐标系的Y轴上的坐标值；

确定每一个视差点在所述设定三维坐标系的Y轴上的坐标值与设定Y轴坐标值之间的差值；

确定各个差值的平均值，与各个差值中的最大值；

将所述平均值与所述最大值作为所述分组对应的高度分布信息。

6.一种道路平坦性检测装置，其特征在于，所述装置包括：

图像处理模块，用于根据双目摄像机采集到的双目源图像，得到稠密视差图与V视差图；

候选区域确定模块，用于根据在所述V视差图中拟合出的用于表示道路的路面相关线，在所述V视差图中确定非平坦候选区域；

候选点确定模块，用于根据所述非平坦候选区域中有效视差点的视差值，在所述稠密视差图中确定候选视差点；

搜索模块，用于在所述稠密视差图中，从所述候选视差点处开始，沿预设的多个设定方向分别遍历视差点；计算出当前遍历到的视差点在设定三维坐标系的Y轴上的坐标值；确定所述Y轴上的坐标值与设定Y轴坐标值之间的差值，若所述差值小于预设阈值，则将所述当前遍历到的视差点确定为所述设定方向上的搜索结束点，并在所述设定方向上停止遍历；

平坦性确定模块，用于根据各个所述搜索结束点所围成区域的面积、高度分布信息，确定道路平坦性。

7.根据权利要求6所述的装置，其特征在于，所述候选区域确定模块包括：

拟合子模块，用于在所述V视差图中拟合出用于表示道路的路面相关线；

第一平移子模块，用于分别将所述路面相关线向上平移第一预设距离、第二预设距离，得到第一边界线与第二边界线，所述第一预设距离小于所述第二预设距离；

第二平移子模块，用于分别将所述路面相关线向下平移第三预设距离、第四预设距离，得到第三边界线与第四边界线，所述第三预设距离小于所述第四预设距离；

区域确定子模块，用于将所述第一边界线与所述第二边界线所围成区域确定为第一类型的非平坦候选区域，并将所述第三边界线与所述第四边界线所围成区域确定为第二类型的非平坦候选区域。

8.一种道路平坦性检测终端，其特征在于，包括存储器、处理器、通信接口、摄像头组件，以及通信总线；

其中，所述存储器、处理器、通信接口、摄像头组件通过所述通信总线进行相互间的通信；

所述摄像头组件，用于采集双目源图像，并通过所述通信总线将所述双目源图像发送至所述处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5任一所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述方法。

Images