CN115205809A - 路面凹凸度检测方法和系统 - Google Patents

路面凹凸度检测方法和系统 Download PDF

Info

Publication number
CN115205809A
CN115205809A CN202211118430.4A CN202211118430A CN115205809A CN 115205809 A CN115205809 A CN 115205809A CN 202211118430 A CN202211118430 A CN 202211118430A CN 115205809 A CN115205809 A CN 115205809A
Authority
CN
China
Prior art keywords
road surface
road
height
elevation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211118430.4A
Other languages
English (en)
Other versions
CN115205809B (zh
Inventor
谢启伟
裴姗姗
肖志鹏
孙钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202211118430.4A priority Critical patent/CN115205809B/zh
Publication of CN115205809A publication Critical patent/CN115205809A/zh
Application granted granted Critical
Publication of CN115205809B publication Critical patent/CN115205809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种路面凹凸度检测方法和系统，所述方法包括：通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；根据所述高程图计算路面高度曲线；将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。在自动驾驶或辅助驾驶场景中，提高了地面凹凸度的检测准确性。

Description

路面凹凸度检测方法和系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种路面凹凸度检测方法和系统。
背景技术
在自动驾驶或辅助驾驶技术中，对于路面区域的感知结果重点关注于可通过性；车辆是否可以通过当前路面，取决于路面上的凸起高度或凹陷的深度。当路面凸起的高度或凹陷的深度大于底盘到地面间的距离时，此种路况不可通行，这就要求对地面的凸起或凹陷进行高精度测量。
因此，提供一种路面凹凸度检测方法和系统，以期提高对地面凹凸度的准确检测，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种路面凹凸度检测方法和系统，以期在自动驾驶或辅助驾驶场景中，提高地面凹凸度的检测准确性。
为了实现上述目的，本发明实施例提供如下技术方案：
本发明提供一种路面凹凸度检测方法，所述方法包括：
通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；
基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；
根据所述高程图计算路面高度曲线；
将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；
基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。
在一些实施例中，所述图像数据为YUV图像数据，所述语义分割结果包括桥梁接缝、普通路面、路面标识、减速带、井盖、破损路面、非标准障碍物、路面积水和路面背景中的至少一者。
在一些实施例中，将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型，具体包括：
利用第一预设公式，对前一帧的路面高度曲线
Figure 890426DEST_PATH_IMAGE001
和后一帧的路面高度曲线
Figure 958876DEST_PATH_IMAGE002
进行高度融合；
其中，所述第一预设公式为：
Figure 363313DEST_PATH_IMAGE003
其中，高度曲线模型为
Figure 946741DEST_PATH_IMAGE004
表示为距离相机在z的位置，高程为height，前一帧和后一帧之间的移动距离为
Figure 462036DEST_PATH_IMAGE005
，
Figure 588255DEST_PATH_IMAGE006
是前一帧的路面高度曲线
Figure 163592DEST_PATH_IMAGE007
在距离为
Figure 968737DEST_PATH_IMAGE008
的权重值.
Figure 287723DEST_PATH_IMAGE009
是后一帧的路面高度曲线
Figure 127503DEST_PATH_IMAGE004
在距离为z的权重；
Figure 873742DEST_PATH_IMAGE004
更新完成后，需要同步更新权重值
Figure 572708DEST_PATH_IMAGE009
；
Figure 164227DEST_PATH_IMAGE009
的更新是将上式使用的
Figure 389672DEST_PATH_IMAGE010
和
Figure 306812DEST_PATH_IMAGE009
进行加和，并与预设阈值th_value对比取值，使更新的权重不大于预设阈值th_value。
在一些实施例中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，具体包括：
利用第二预设公式对
Figure 86549DEST_PATH_IMAGE011
的高程数据等间距差分，生成差分数组
Figure 747338DEST_PATH_IMAGE012
；
对所述差分数组
Figure 702655DEST_PATH_IMAGE013
进行排序，选取所述差分数组
Figure 525118DEST_PATH_IMAGE013
的中位数；
在所述中位数小于预设阈值的情况下，则所述道路类型为规范道路；
在所述中位数大于预设阈值的情况下，则所述道路类型为非规范道路。
在一些实施例中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为规范道路的情况下，则对所述路面高程进行滤波计算，得到滤波计算结果；
基于所述滤波计算计算结果得到所述凹凸度识别结果。
在一些实施例中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为非规范道路的情况下，则以所述路面高程曲线模型作为凹凸度识别结果。
本发明还提供一种路面凹凸度检测系统，所述系统包括：
图像数据获取单元，用于通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；
高程图生成单元，用于基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；
高度曲线生成单元，用于根据所述高程图计算路面高度曲线；
高度曲线融合单元，用于将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；
识别结果输出单元，用于基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
本发明所提供的路面凹凸度检测方法和系统，通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；根据所述高程图计算路面高度曲线；将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。这样，本发明所提供的方法和系统，利用高度曲线多帧融合方法通过迭代加权方式更新感知高度数据，迭代方式内存占用小，运行效率高，自适应权重系数增强了方案在动、静场景下的鲁棒性，在自动驾驶或辅助驾驶场景中，提高了地面凹凸度的检测准确性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的路面凹凸度检测方法的流程示意图之一；
图2为本发明所提供的YUV图像示意图；
图3为本发明所提供的视差图；
图4为本发明所提供的分割图；
图5为本发明所提供的高程图；
图6为本发明所提供的融合高程曲线图；
图7为本发明所提供的路面凹凸度检测方法的流程示意图之二；
图8为本发明所提供的分割俯视图；
图9为本发明所提供的规范路面高程曲线图；
图10为本发明所提供的路面凹凸度检测系统的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中路面凹凸度检测困难，准确性较低的技术问题，本发明提供一种路面凹凸度检测方法，其基于双目视觉的感知技术，实现了对地面凹凸尺寸的精确测量，提高了路面凹凸度检测的准确性。
请参考图1，图1为本发明所提供的路面凹凸度检测方法的流程示意图之一。
在一种具体实施方式中，本发明提供一种路面凹凸度检测方法包括以下步骤：
S101：通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；例如，所述语义分割结果包括桥梁接缝、普通路面、路面标识、减速带、井盖、破损路面、非标准障碍物、路面积水和路面背景中的至少一者。
其中，所述图像数据为YUV图像数据，YUV图像数据包括三个分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。
在一个具体使用场景中，步骤S101是一个数据获取的过程，具体地，数据获取是通过双目视觉传感器，YUV图像数据（图2所示）、双目视差数据（图3所示）、对应检测区域的语义分割结果（图4所示）。其中YUV数据、视差数据和语义分割方案作为行业内通用技术，不再赘述，以下对语义分割的类别结果进行说明。结合实用场景，对检测区域（roi1）内的YUV图像进行语义分割，分割结果包括了：桥梁接缝，普通路面，路面标识，减速带，井盖，破损路面，非标准障碍物，路面积水和背景等。
S102：基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图。
具体地，高程图也称为高度图，在进行高度图计算时，视差图截取检测区域（roi1），将图像区域视差点
Figure 57730DEST_PATH_IMAGE014
转换为世界坐标系下的三维点
Figure 522210DEST_PATH_IMAGE015
，转换公式为：
Figure 191088DEST_PATH_IMAGE016
其中，b为双目立体相机系统中左相机光心到右相机光心的间距；
f为双目立体相机系统中的相机焦距；
Figure 450031DEST_PATH_IMAGE017
与
Figure 204361DEST_PATH_IMAGE018
为双目立体相机中主相机主点坐标；
Figure 347897DEST_PATH_IMAGE019
和
Figure 136862DEST_PATH_IMAGE020
是所述检测区域内的图像点坐标信息；
Figure 301127DEST_PATH_IMAGE021
,
Figure 808332DEST_PATH_IMAGE022
和
Figure 614614DEST_PATH_IMAGE023
是所述检测区域内的图像点转化的三维点坐标信息。
基于检测区域（roi）内转换的三维点，拟合路面模型，路面模型方程为：
Figure 992505DEST_PATH_IMAGE024
并计算三维点到路面模型的垂直距离：
Figure 731267DEST_PATH_IMAGE025
其中，A、B、C和D是路面模型方程的参数；
Figure 460188DEST_PATH_IMAGE021
、
Figure 804582DEST_PATH_IMAGE022
、
Figure 302559DEST_PATH_IMAGE023
是三维点在世界坐标系下的信息；
H是三维点距离路面模型的垂直距离；
将垂直距离投影至俯视平面,生成如图5所示的高程图。
S103：根据所述高程图计算路面高度曲线；具体地，设置高程曲线检测区域（roi2），对检测区域（roi2）内的数据进行统计分析（可采用均值，中值等其他统计分析方法），获得路面高程曲线。
S104：将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；
S105：基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。
在本发明中，以双目立体相机坐标系为参考系，沿主相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。
在一些实施例中，将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型，具体包括：
利用第一预设公式，对前一帧的路面高度曲线
Figure 339785DEST_PATH_IMAGE026
和后一帧的路面高度曲线
Figure 369052DEST_PATH_IMAGE027
进行高度融合；
其中，所述第一预设公式为：
Figure 517137DEST_PATH_IMAGE028
其中，高度曲线模型为
Figure 135200DEST_PATH_IMAGE029
表示为距离相机在z的位置，高程为height，前一帧和后一帧之间的移动距离为
Figure 77748DEST_PATH_IMAGE030
，
Figure 781262DEST_PATH_IMAGE031
是前一帧的路面高度曲线
Figure 608404DEST_PATH_IMAGE032
在距离为
Figure 815394DEST_PATH_IMAGE033
的权重值.
Figure 194423DEST_PATH_IMAGE034
是后一帧的路面高度曲线
Figure 385233DEST_PATH_IMAGE029
在距离为z的权重；
Figure 609541DEST_PATH_IMAGE029
更新完成后，需要同步更新权重值
Figure 202196DEST_PATH_IMAGE034
；
Figure 361913DEST_PATH_IMAGE034
的更新是将上式使用的
Figure 774440DEST_PATH_IMAGE035
和
Figure 68018DEST_PATH_IMAGE034
进行加和，并与预设阈值th_value对比取值，使更新的权重不大于预设阈值th_value。由于前一帧和后一帧之间的移动距离为
Figure 515180DEST_PATH_IMAGE030
，因此，在融合前，要对其两帧之间的位置，即前一帧的高程数据移动
Figure 970432DEST_PATH_IMAGE030
，然后使用上述公式对高程进行融合。权重的更新同理，前移动
Figure 870255DEST_PATH_IMAGE030
保证数据对其，再迭代更新每个位置的权重值。
一般的，
Figure 436366DEST_PATH_IMAGE036
前一段观测的融合数据，
Figure 878979DEST_PATH_IMAGE037
是当前检测数据，因此，权重
Figure 770712DEST_PATH_IMAGE038
的值设置为1。
为保证融合数据在保证鲁棒性的同时，有较好的检测灵敏度，针对不同的场景设置不同的th_value，在车辆静止状态时，设置较大的th_value，保证修正的高度曲线模型稳定，在车辆运动状态时，设置较小的th_value，保证修正的高度曲线模型能快速响应前方道路的高程变化。如图6所示，横坐标代表检测距离，纵坐标代表高程数据。
具体地，场景判断理论依据是路面不平度等级，路面不平度等级划分行业内已有明确标准，不再赘述，本专利的实用场景，在路面不平度8级分类标准基础上，做粗略二值划分：规范道路（A级，B级，C级，D级）和非规范道路（E级，F级，G级，H级）。
在一些实施例中，如图7所示，基于所述路面高程曲线模型识别所述目标区域内的道路类型，具体包括以下步骤：
S701：利用第二预设公式对
Figure 157831DEST_PATH_IMAGE039
的高程数据等间距差分，生成差分数组
Figure 527632DEST_PATH_IMAGE040
；
S702：对所述差分数组
Figure 949387DEST_PATH_IMAGE040
进行排序，选取所述差分数组
Figure 746441DEST_PATH_IMAGE041
的中位数；
S703：在所述中位数小于预设阈值的情况下，则所述道路类型为规范道路；
S704：在所述中位数大于预设阈值的情况下，则所述道路类型为非规范道路。
其中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括以下步骤：
在所述道路类型为规范道路的情况下，则对所述路面高程进行滤波计算，得到滤波计算结果；
基于所述滤波计算计算结果得到所述凹凸度识别结果。
其中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为非规范道路的情况下，则以所述路面高程曲线模型作为凹凸度识别结果。
在具体实施场景中，判断为非规范道路的场景，则上述融合后得到的高程曲线即为最终结果，判断为规范道路的场景，则继续以下滤波处理。
基于图像数据生成的分割图，并将分割图投影至俯视视角，具体的，俯视视角的图像像素点P1（x1，y1）与分割图的P2（x2，y2）转换关系为：
Figure 496223DEST_PATH_IMAGE042
其中，A、B、C和D是路面模型方程的参数；
Figure 669715DEST_PATH_IMAGE043
是俯视视角的图像像素点P1（x1，y1）在世界坐标系的x，y，z坐标；f为双目立体相机系统中的相机焦距；
Figure 680396DEST_PATH_IMAGE044
与
Figure 913931DEST_PATH_IMAGE045
为双目立体相机中主相机主点坐标；
每个俯视视角的图像像素点通过上述转换关系可以关联分割图的一个像素位置，获得对应类别信息。结果如图8所示。
应用检测区域（roi2），对区域内分割俯视图分析，提取分割模型
Figure 275643DEST_PATH_IMAGE046
，即距离相机在z的位置，分割类别为label。将分割模型类别为路面，路面标识，背景和积水等低等级类别设置为判断条件1，满足判断条件1的区域高程置0：
Figure 987247DEST_PATH_IMAGE047
最终结果如图9所示，在图9中，横坐标代表检测距离，纵坐标代表高程数据。
在上述具体实施方式中，本发明所提供的路面凹凸度检测方法，通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；根据所述高程图计算路面高度曲线；将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。这样，本发明所提供的方法和系统，利用高度曲线多帧融合方法通过迭代加权方式更新感知高度数据，迭代方式内存占用小，运行效率高，自适应权重系数增强了方案在动、静场景下的鲁棒性，在自动驾驶或辅助驾驶场景中，提高了地面凹凸度的检测准确性。并且，本发明通过场景判断策略，场景判断以路面不平度分级为基础，将场景划分为规范道路与非规范道路，在满足实用场景条件下，简化分级难度，且应用等间距差分，在保证效果的同时，降低计算复杂度。进一步地，本发明采取的滤波策略，实现分割结果的视角转换，应用场景判断和分割俯视图，实现以分割内容为依据的多类别滤波方案，提高了规范路面场景的高度数据准确性。
除了上述方法，本发明还提供一种路面凹凸度检测系统，如图10所示，所述系统包括：
图像数据获取单元1001，用于通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；
高程图生成单元1002，用于基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；
高度曲线生成单元1003，用于根据所述高程图计算路面高度曲线；
高度曲线融合单元1004，用于将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；
识别结果输出单元1005，用于基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。
在上述具体实施方式中，本发明所提供的路面凹凸度检测系统，通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；根据所述高程图计算路面高度曲线；将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。这样，本发明所提供的方法和系统，利用高度曲线多帧融合方法通过迭代加权方式更新感知高度数据，迭代方式内存占用小，运行效率高，自适应权重系数增强了方案在动、静场景下的鲁棒性，在自动驾驶或辅助驾驶场景中，提高了地面凹凸度的检测准确性。并且，本发明通过场景判断策略，场景判断以路面不平度分级为基础，将场景划分为规范道路与非规范道路，在满足实用场景条件下，简化分级难度，且应用等间距差分，在保证效果的同时，降低计算复杂度。进一步地，本发明采取的滤波策略，实现分割结果的视角转换，应用场景判断和分割俯视图，实现以分割内容为依据的多类别滤波方案，提高了规范路面场景的高度数据准确性。
在一些实施例中，所述图像数据为YUV图像数据，所述语义分割结果包括桥梁接缝、普通路面、路面标识、减速带、井盖、破损路面、非标准障碍物、路面积水和路面背景中的至少一者。
在一些实施例中，将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型，具体包括：
利用第一预设公式，对前一帧的路面高度曲线
Figure 993380DEST_PATH_IMAGE048
和后一帧的路面高度曲线
Figure 132237DEST_PATH_IMAGE049
进行高度融合；
其中，所述第一预设公式为：
Figure 981245DEST_PATH_IMAGE050
其中，高度曲线模型为
Figure 762119DEST_PATH_IMAGE049
表示为距离相机在z的位置，高程为height，前一帧和后一帧之间的移动距离为
Figure 481813DEST_PATH_IMAGE051
。
在一些实施例中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，具体包括：
利用第二预设公式对
Figure 57151DEST_PATH_IMAGE052
的高程数据等间距差分，生成差分数组
Figure 271750DEST_PATH_IMAGE053
；
对所述差分数组
Figure 325157DEST_PATH_IMAGE054
进行排序，选取所述差分数组
Figure 368199DEST_PATH_IMAGE055
的中位数；
在所述中位数小于预设阈值的情况下，则所述道路类型为规范道路；
在所述中位数大于预设阈值的情况下，则所述道路类型为非规范道路。
在一些实施例中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为规范道路的情况下，则对所述路面高程进行滤波计算，得到滤波计算结果；
基于所述滤波计算计算结果得到所述凹凸度识别结果。
在一些实施例中，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为非规范道路的情况下，则以所述路面高程曲线模型作为凹凸度识别结果。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application SpecificIntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synclink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种路面凹凸度检测方法，其特征在于，所述方法包括：
通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；
基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；
根据所述高程图计算路面高度曲线；
将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；
基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。
2.根据权利要求1所述的路面凹凸度检测方法，其特征在于，所述图像数据为YUV图像数据，所述语义分割结果包括桥梁接缝、普通路面、路面标识、减速带、井盖、破损路面、非标准障碍物、路面积水和路面背景中的至少一者。
3.根据权利要求1所述的路面凹凸度检测方法，其特征在于，将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型，具体包括：
利用第一预设公式，对前一帧的路面高度曲线
Figure 716269DEST_PATH_IMAGE001
和后一帧的路面高度曲线
Figure 206156DEST_PATH_IMAGE002
进行高度融合；
其中，所述第一预设公式为：
Figure 798811DEST_PATH_IMAGE003
其中，高度曲线模型为
Figure 348741DEST_PATH_IMAGE002
表示为距离相机在z的位置，高程为height，前一帧和后一帧之间的移动距离为
Figure 636634DEST_PATH_IMAGE004
,
Figure 930212DEST_PATH_IMAGE005
是前一帧的路面高度曲线
Figure 642953DEST_PATH_IMAGE006
在距离为
Figure 239151DEST_PATH_IMAGE007
的权重值.
Figure 404553DEST_PATH_IMAGE008
是后一帧的路面高度曲线
Figure 236243DEST_PATH_IMAGE009
在距离为z的权重；
Figure 537911DEST_PATH_IMAGE010
更新完成后，需要同步更新权重值
Figure 567659DEST_PATH_IMAGE011
；
Figure 954778DEST_PATH_IMAGE008
的更新是将上式使用的
Figure 590159DEST_PATH_IMAGE012
和
Figure 887279DEST_PATH_IMAGE008
进行加和，并与预设阈值
Figure 949913DEST_PATH_IMAGE013
对比取值，使更新的权重不大于预设阈值
Figure 824328DEST_PATH_IMAGE013
。
4.根据权利要求3所述的路面凹凸度检测方法，其特征在于，基于所述路面高程曲线模型识别所述目标区域内的道路类型，具体包括：
利用第二预设公式对
Figure 997821DEST_PATH_IMAGE014
的高程数据等间距差分，生成差分数组
Figure 149448DEST_PATH_IMAGE015
；
对所述差分数组
Figure 382983DEST_PATH_IMAGE016
进行排序，选取所述差分数组
Figure 744694DEST_PATH_IMAGE016
的中位数；
在所述中位数小于预设阈值的情况下，则所述道路类型为规范道路；
在所述中位数大于预设阈值的情况下，则所述道路类型为非规范道路。
5.根据权利要求4所述的路面凹凸度检测方法，其特征在于，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为规范道路的情况下，则对所述路面高程进行滤波计算，得到滤波计算结果；
基于所述滤波计算计算结果得到所述凹凸度识别结果。
6.根据权利要求4所述的路面凹凸度检测方法，其特征在于，基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果，具体包括：
在所述道路类型为非规范道路的情况下，则以所述路面高程曲线模型作为凹凸度识别结果。
7.一种路面凹凸度检测系统，其特征在于，所述系统包括：
图像数据获取单元，用于通过双目相机获取目标区域内的图像数据，并基于所述图像数据生成视差图和所述视差图中检测区域的语义分割结果；
高程图生成单元，用于基于所述视差图和所述语义分割结果，计算所述检测区域内各像素点的高度数据，并根据所有所述高度数据生成所述检测区域的高程图；
高度曲线生成单元，用于根据所述高程图计算路面高度曲线；
高度曲线融合单元，用于将连续帧所述图像数据对应的路面高度曲线进行数据融合，得到路面高程曲线模型；
识别结果输出单元，用于基于所述路面高程曲线模型识别所述目标区域内的道路类型，并根据所述道路类型输出凹凸度识别结果。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202211118430.4A 2022-09-15 2022-09-15 路面凹凸度检测方法和系统 Active CN115205809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118430.4A CN115205809B (zh) 2022-09-15 2022-09-15 路面凹凸度检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118430.4A CN115205809B (zh) 2022-09-15 2022-09-15 路面凹凸度检测方法和系统

Publications (2)

Publication Number Publication Date
CN115205809A true CN115205809A (zh) 2022-10-18
CN115205809B CN115205809B (zh) 2023-03-24

Family

ID=83573243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118430.4A Active CN115205809B (zh) 2022-09-15 2022-09-15 路面凹凸度检测方法和系统

Country Status (1)

Country Link
CN (1) CN115205809B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846544B (zh) * 2023-07-17 2024-06-21 緯創資通股份有限公司 路面的平整度偵測方法、運算裝置及電腦可讀取媒體

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002911A1 (en) * 2008-07-06 2010-01-07 Jui-Hung Wu Method for detecting lane departure and apparatus thereof
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
US20190100215A1 (en) * 2017-09-29 2019-04-04 Toyota Jidosha Kabushiki Kaisha Road surface detecting apparatus
CN110110682A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 遥感图像的语义立体重构方法
CN110569704A (zh) * 2019-05-11 2019-12-13 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法
CN112149493A (zh) * 2020-07-31 2020-12-29 上海大学 基于双目立体视觉的道路高程测量方法
CN112417976A (zh) * 2020-10-26 2021-02-26 深圳大学 一种路面检测识别方法、装置、智能终端及存储介质
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113011255A (zh) * 2021-02-05 2021-06-22 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
CN113140002A (zh) * 2021-03-22 2021-07-20 北京中科慧眼科技有限公司 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113240632A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、系统和智能终端
CN113240631A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113763303A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN113792707A (zh) * 2021-11-10 2021-12-14 北京中科慧眼科技有限公司 基于双目立体相机的地形环境检测方法、系统和智能终端
CN114332802A (zh) * 2022-03-15 2022-04-12 北京中科慧眼科技有限公司 基于双目相机的路面平坦度语义分割方法和系统
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统
WO2022114283A1 (ko) * 2020-11-24 2022-06-02 주식회사 넥스트칩 지면 요철 결정 전자 장치 및 그 동작방법
CN114972470A (zh) * 2022-07-22 2022-08-30 北京中科慧眼科技有限公司 基于双目视觉的路面环境获取方法和系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002911A1 (en) * 2008-07-06 2010-01-07 Jui-Hung Wu Method for detecting lane departure and apparatus thereof
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
US20190100215A1 (en) * 2017-09-29 2019-04-04 Toyota Jidosha Kabushiki Kaisha Road surface detecting apparatus
CN110569704A (zh) * 2019-05-11 2019-12-13 北京工业大学 一种基于立体视觉的多策略自适应车道线检测方法
CN110110682A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 遥感图像的语义立体重构方法
CN112149493A (zh) * 2020-07-31 2020-12-29 上海大学 基于双目立体视觉的道路高程测量方法
CN112417976A (zh) * 2020-10-26 2021-02-26 深圳大学 一种路面检测识别方法、装置、智能终端及存储介质
WO2022114283A1 (ko) * 2020-11-24 2022-06-02 주식회사 넥스트칩 지면 요철 결정 전자 장치 및 그 동작방법
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113011255A (zh) * 2021-02-05 2021-06-22 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
CN113140002A (zh) * 2021-03-22 2021-07-20 北京中科慧眼科技有限公司 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113240632A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、系统和智能终端
CN113240631A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113763303A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN113792707A (zh) * 2021-11-10 2021-12-14 北京中科慧眼科技有限公司 基于双目立体相机的地形环境检测方法、系统和智能终端
CN114332802A (zh) * 2022-03-15 2022-04-12 北京中科慧眼科技有限公司 基于双目相机的路面平坦度语义分割方法和系统
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统
CN114972470A (zh) * 2022-07-22 2022-08-30 北京中科慧眼科技有限公司 基于双目视觉的路面环境获取方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846544B (zh) * 2023-07-17 2024-06-21 緯創資通股份有限公司 路面的平整度偵測方法、運算裝置及電腦可讀取媒體

Also Published As

Publication number Publication date
CN115205809B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
CN112906449B (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
US20160307052A1 (en) Device and method for recognizing obstacle and parking slot to support unmanned autonomous parking function
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
US11762957B2 (en) RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
CN114509045A (zh) 车轮区域高程检测方法和系统
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
US20220277470A1 (en) Method and system for detecting long-distance target through binocular camera, and intelligent terminal
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN111678518B (zh) 一种用于修正自动泊车路径的视觉定位方法
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN115205809B (zh) 路面凹凸度检测方法和系统
CN112149493A (zh) 基于双目立体视觉的道路高程测量方法
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统
CN114937255A (zh) 一种激光雷达与相机融合的检测方法及装置
CN111754574A (zh) 基于双目相机的距离测试方法、装置、系统和存储介质
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN113781543A (zh) 基于双目相机的限高装置检测方法、系统和智能终端
CN115346003A (zh) 一种基于双目立体视觉的路面冲击分级方法和系统
CN114972470B (zh) 基于双目视觉的路面环境获取方法和系统
CN113689565B (zh) 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant