CN113674275A - 基于稠密视差图的路面不平度检测方法、系统和智能终端 - Google Patents

基于稠密视差图的路面不平度检测方法、系统和智能终端 Download PDF

Info

Publication number
CN113674275A
CN113674275A CN202111224178.0A CN202111224178A CN113674275A CN 113674275 A CN113674275 A CN 113674275A CN 202111224178 A CN202111224178 A CN 202111224178A CN 113674275 A CN113674275 A CN 113674275A
Authority
CN
China
Prior art keywords
road surface
grade
target area
sum
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111224178.0A
Other languages
English (en)
Other versions
CN113674275B (zh
Inventor
裴姗姗
孙钊
肖志鹏
王欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202111224178.0A priority Critical patent/CN113674275B/zh
Publication of CN113674275A publication Critical patent/CN113674275A/zh
Application granted granted Critical
Publication of CN113674275B publication Critical patent/CN113674275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于稠密视差图的路面不平度检测方法、系统和智能终端，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；基于所述拟合直线模型分别统计n列的带权重残差和；根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。该方案能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，进而提高了驾驶舒适性。

Description

基于稠密视差图的路面不平度检测方法、系统和智能终端
技术领域
本发明涉及自动驾驶辅助技术领域，具体涉及一种基于稠密视差图的路面不平度检测方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。在自动驾驶（或辅助驾驶）过程中，城市道路、高速道路是重要的应用场景不同路段的路面状况存在差异，路面不平度状态不仅影响驾驶体验，同时对汽车本身也有很大损害。
因此，提供一种基于稠密视差图的路面不平度检测方法，以期获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高驾驶舒适性，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于稠密视差图的路面不平度检测方法、系统和智能终端，以期能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高驾驶舒适性。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于稠密视差图的路面不平度检测方法，所述方法包括：
获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
基于所述拟合直线模型分别统计n列的带权重残差和；
根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
进一步地，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：
基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 169336DEST_PATH_IMAGE001
其中，
Figure 564545DEST_PATH_IMAGE002
为双目立体视觉成像系统中左相机光心到右相机光心的间距；
Figure 37639DEST_PATH_IMAGE003
为双目立体视觉成像系统中的相机焦距；
Figure 125681DEST_PATH_IMAGE004
与
Figure 392714DEST_PATH_IMAGE005
为双目立体视觉成像系统中相机主点的图像坐标；
Figure 591614DEST_PATH_IMAGE006
和
Figure 994914DEST_PATH_IMAGE007
是所述检测区域内的图像坐标点；
Figure 988278DEST_PATH_IMAGE008
为图像点坐标为
Figure 742607DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
进一步地，所述基于所述拟合直线模型分别统计n列的带权重残差和，具体包括：
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
进一步地，利用以下公式计算所述平均残差绝对值之和：
Figure 479619DEST_PATH_IMAGE010
其中，
Figure 3004DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 432848DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 877736DEST_PATH_IMAGE013
是直线模型参数；
Figure 418439DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 61910DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
进一步地，利用以下公式计算所述带权重残差和：
Figure 397076DEST_PATH_IMAGE016
其中，
Figure 125998DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 126184DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 624161DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
进一步地，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，具体包括：
设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
遍历全部列的带权重残差和；
若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
若所述带权重残差和大于该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
进一步地，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
本发明还提供一种基于稠密视差图的路面不平度检测系统，其特征在于，所述系统包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
直线模型拟合单元，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
重残差和获取单元，用于基于所述拟合直线模型分别统计n列的带权重残差和；
结果输出单元，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于稠密视差图的路面不平度检测方法，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于稠密视差图的路面不平度检测方法一种具体实施方式的流程图；
图2-图4为不同路面等级的场景示意图；
图5为本发明所提供的基于稠密视差图的路面不平度检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的基于稠密视差图的路面不平度检测方案，可以实现不需要依赖其他额外的外界输入信息下，对当前的行驶路面不平度进行感知，从而使得车辆辅助驾驶系统在收到路面平整度等级后做出相关处理，优化辅助驾驶的道路感知功能，提高驾驶的舒适性和安全性。
在一种具体实施方式中，如图1所示，本发明所提供的基于稠密视差图的路面不平度检测方法，包括以下步骤：
S1：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。
S2：基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息。具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，步骤S2具体包括以下步骤：
S21：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
S22：以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
S23：根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 130229DEST_PATH_IMAGE001
其中，
Figure 346447DEST_PATH_IMAGE002
为双目立体视觉成像系统中左相机光心到右相机光心的间距；
Figure 228952DEST_PATH_IMAGE003
为双目立体视觉成像系统中的相机焦距；
Figure 581436DEST_PATH_IMAGE004
与
Figure 992826DEST_PATH_IMAGE005
为双目立体视觉成像系统中相机主点的图像坐标；
Figure 430760DEST_PATH_IMAGE006
和
Figure 851377DEST_PATH_IMAGE007
是所述检测区域内的图像坐标点；
Figure 323947DEST_PATH_IMAGE008
为图像点坐标为
Figure 171817DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
S3：将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型。
具体地，对三维点云信息pts数据进行分组，在感兴趣的目标区域内，按照世界坐标系下的物理尺度划分m行n列的投影栅格区域，对每个投影栅格区域内的三维点云信息pts数据拟合直线模型。
其中，直线模型方程为：
Figure 831469DEST_PATH_IMAGE020
公式中，c1，c0为直线模型参数，其可以为预设值或者为经验值。
S4：基于所述拟合直线模型分别统计n列的带权重残差和。
在一个实施例中，为了保证数据准确度，步骤S4具体包括以下步骤：
S41：统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
S42：对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
在步骤S41中，利用以下公式计算所述平均残差绝对值之和：
Figure 55777DEST_PATH_IMAGE010
其中，
Figure 382853DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 667204DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 79730DEST_PATH_IMAGE013
是直线模型参数；
Figure 560259DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 741842DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
在步骤S42中，投影栅格的每一行pts数据对应的距离范围不同，在投影栅格区域中，对m行分别设置不同权重，并统计n列的带权重残差和
Figure 197094DEST_PATH_IMAGE021
，具体利用以下公式计算所述带权重残差和：
Figure 96917DEST_PATH_IMAGE016
其中，
Figure 663027DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 371220DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 997374DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
S5：根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高速公路、环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情况，如城市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面情况，例如坑洼路面等。
在该具体实施方式中，步骤S5具体包括以下步骤：
S51：设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
S52：遍历全部列的带权重残差和；
S53：若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
S54：若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
S55：若所述带权重残差和大于该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
为了提高方法的准确性，根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
在一个具体场景中，依据不同等级路面设置带权重残差和的阈值，即第一预设阈值Th1和第二预设阈值Th2，基于Th1和Th2，对每一列计算的带权重残差和进行投票，具体为：
Figure 384493DEST_PATH_IMAGE022
其中，
Figure 488715DEST_PATH_IMAGE023
是j列投影栅格的带权重残差和；
Figure 644890DEST_PATH_IMAGE024
是
Figure 894474DEST_PATH_IMAGE025
对A级路面的投票结果；
Figure 175414DEST_PATH_IMAGE026
是
Figure 348907DEST_PATH_IMAGE025
对B级路面的投票结果；
Figure 359588DEST_PATH_IMAGE027
是
Figure 796385DEST_PATH_IMAGE025
对C级路面的投票结果；
Figure 892517DEST_PATH_IMAGE028
是归属A级路面的统计值；
Figure 338542DEST_PATH_IMAGE029
是归属B级路面的统计值；
Figure 469309DEST_PATH_IMAGE030
是归属C级路面的统计值；
遍历全部列的当带权重残差和，当带权重残差和小于等于阈值Th1时，归属第一等级的统计值
Figure 588925DEST_PATH_IMAGE031
加1，当带权重残差和大于阈值Th1且小于等于阈值Th2时，归属第二等级的统计值
Figure 172353DEST_PATH_IMAGE032
加1，当带权重残差和大于阈值Th2时，归属第三等级的统计值
Figure 422069DEST_PATH_IMAGE033
加1。
而后，计算单帧图像在不同类别下的置信度，具体为：
Figure 876184DEST_PATH_IMAGE034
其中,
Figure 185943DEST_PATH_IMAGE035
是归属第一级路面的统计值；
Figure 256667DEST_PATH_IMAGE036
是归属第二级路面的统计值；
Figure 310074DEST_PATH_IMAGE037
是归属第三级路面的统计值；
Figure 821958DEST_PATH_IMAGE038
是当前帧属于第一级路面的置信度；
Figure 302617DEST_PATH_IMAGE039
是当前帧属于第二级路面的置信度；
Figure 595059DEST_PATH_IMAGE040
是当前帧属于第三级路面的置信度；
最后，根据不同等级路面的置信度，选择置信度值最高的路面等级作为检测结果输出，以提高结果准确性。
在上述具体实施方式中，本发明所提供的基于稠密视差图的路面不平度检测方法，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。
除了上述方法，本发明还提供一种基于稠密视差图的路面不平度检测系统，如图5所示，所述系统包括：
视差图获取单元100，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。
点云信息获取单元200，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，点云信息获取单元200具体用于：
基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 452156DEST_PATH_IMAGE001
其中，
Figure 864552DEST_PATH_IMAGE002
为双目立体视觉成像系统中左相机光心到右相机光心的间距；
Figure 516113DEST_PATH_IMAGE003
为双目立体视觉成像系统中的相机焦距；
Figure 561429DEST_PATH_IMAGE004
与
Figure 691059DEST_PATH_IMAGE005
为双目立体视觉成像系统中相机主点的图像坐标；
Figure 239852DEST_PATH_IMAGE006
和
Figure 327894DEST_PATH_IMAGE007
是所述检测区域内的图像坐标点；
Figure 594927DEST_PATH_IMAGE008
为图像点坐标为
Figure 200352DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
直线模型拟合单元300，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
具体地，对三维点云信息pts数据进行分组，在感兴趣的目标区域内，按照世界坐标系下的物理尺度划分m行n列的投影栅格区域，对每个投影栅格区域内的三维点云信息pts数据拟合直线模型。
其中，直线模型方程为：
Figure 869231DEST_PATH_IMAGE041
公式中，c1，c0为直线模型参数，其可以为预设值或者为经验值。
重残差和获取单元400，用于基于所述拟合直线模型分别统计n列的带权重残差和；
在一个实施例中，为了保证数据准确度，重残差和获取单元400具体用于：
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
利用以下公式计算所述平均残差绝对值之和：
Figure 128174DEST_PATH_IMAGE010
其中，
Figure 335033DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 337624DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 861010DEST_PATH_IMAGE013
是直线模型参数；
Figure 25275DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 1321DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
投影栅格的每一行pts数据对应的距离范围不同，在投影栅格区域中，对m行分别设置不同权重，并统计n列的带权重残差和
Figure 542024DEST_PATH_IMAGE042
，具体利用以下公式计算所述带权重残差和：
Figure 919915DEST_PATH_IMAGE016
其中，
Figure 520661DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 452845DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 797239DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
结果输出单元500，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高速公路、环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情况，如城市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面情况，例如坑洼路面等。
在该具体实施方式中，结果输出单元500具体用于：
设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
遍历全部列的带权重残差和；
若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
若所述带权重残差和大于该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
为了提高方法的准确性，根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，结果输出单元500还用于：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
在一个具体场景中，依据不同等级路面设置带权重残差和的阈值，即第一预设阈值Th1和第二预设阈值Th2，基于Th1和Th2，对每一列计算的带权重残差和进行投票，具体为：
Figure 295216DEST_PATH_IMAGE022
其中，
Figure 394759DEST_PATH_IMAGE023
是j列投影栅格的带权重残差和；
Figure 610977DEST_PATH_IMAGE024
是
Figure 493482DEST_PATH_IMAGE025
对A级路面的投票结果；
Figure 845966DEST_PATH_IMAGE026
是
Figure 447236DEST_PATH_IMAGE025
对B级路面的投票结果；
Figure 885171DEST_PATH_IMAGE027
是
Figure 571367DEST_PATH_IMAGE025
对C级路面的投票结果；
Figure 512778DEST_PATH_IMAGE028
是归属A级路面的统计值；
Figure 626228DEST_PATH_IMAGE029
是归属B级路面的统计值；
Figure 551458DEST_PATH_IMAGE030
是归属C级路面的统计值；
遍历全部列的当带权重残差和，当带权重残差和小于等于阈值Th1时，归属第一等级的统计值
Figure 775766DEST_PATH_IMAGE043
加1，当带权重残差和大于阈值Th1且小于等于阈值Th2时，归属第二等级的统计值
Figure 571684DEST_PATH_IMAGE044
加1，当带权重残差和大于阈值Th2时，归属第三等级的统计值
Figure 856035DEST_PATH_IMAGE045
加1。
而后，计算单帧图像在不同类别下的置信度，具体为：
Figure 2982DEST_PATH_IMAGE046
其中,
Figure 30981DEST_PATH_IMAGE035
是归属第一级路面的统计值；
Figure 133935DEST_PATH_IMAGE036
是归属第二级路面的统计值；
Figure 589188DEST_PATH_IMAGE037
是归属第三级路面的统计值；
Figure 489010DEST_PATH_IMAGE038
是当前帧属于第一级路面的置信度；
Figure 523962DEST_PATH_IMAGE039
是当前帧属于第二级路面的置信度；
Figure 560052DEST_PATH_IMAGE040
是当前帧属于第三级路面的置信度；
最后，根据不同等级路面的置信度，选择置信度值最高的路面等级作为检测结果输出，以提高结果准确性。
在上述具体实施方式中，本发明所提供的基于稠密视差图的路面不平度检测系统，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于稠密视差图的路面不平度检测方法，其特征在于，所述方法包括：
获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
基于所述拟合直线模型分别统计n列的带权重残差和；
根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
2.根据权利要求1所述的路面不平度检测方法，其特征在于，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：
基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 299785DEST_PATH_IMAGE001
其中，
Figure 44887DEST_PATH_IMAGE002
为双目立体视觉成像系统中左相机光心到右相机光心的间距；
Figure 12843DEST_PATH_IMAGE003
为双目立体视觉成像系统中的相机焦距；
Figure 108975DEST_PATH_IMAGE004
与
Figure 210792DEST_PATH_IMAGE005
为双目立体视觉成像系统中相机主点的图像坐标；
Figure 544821DEST_PATH_IMAGE006
和
Figure 683679DEST_PATH_IMAGE007
是所述检测区域内的图像坐标点；
Figure 267107DEST_PATH_IMAGE008
为图像点坐标为
Figure 251243DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
3.根据权利要求1所述的路面不平度检测方法，其特征在于，所述基于所述拟合直线模型分别统计n列的带权重残差和，具体包括：
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
4.根据权利要求3所述的路面不平度检测方法，其特征在于，利用以下公式计算所述平均残差绝对值之和：
Figure 236517DEST_PATH_IMAGE010
其中，
Figure 546275DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 85841DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 139248DEST_PATH_IMAGE013
是直线模型参数；
Figure 979028DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 459688DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
5.根据权利要求4所述的路面不平度检测方法，其特征在于，利用以下公式计算所述带权重残差和：
Figure 676430DEST_PATH_IMAGE016
其中，
Figure 533527DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 227814DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 879375DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
6.根据权利要求5所述的路面不平度检测方法，其特征在于，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，具体包括：
设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
遍历全部列的带权重残差和；
若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
若所述带权重残差和大于该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
7.根据权利要求6所述的路面不平度检测方法，其特征在于，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
8.一种基于稠密视差图的路面不平度检测系统，其特征在于，所述系统包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
直线模型拟合单元，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
重残差和获取单元，用于基于所述拟合直线模型分别统计n列的带权重残差和；
结果输出单元，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN202111224178.0A 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、系统和智能终端 Active CN113674275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224178.0A CN113674275B (zh) 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224178.0A CN113674275B (zh) 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113674275A true CN113674275A (zh) 2021-11-19
CN113674275B CN113674275B (zh) 2022-03-18

Family

ID=78550715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224178.0A Active CN113674275B (zh) 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN113674275B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
CN108151681A (zh) * 2017-11-23 2018-06-12 中国第汽车股份有限公司 一种基于双目相机的车载路面不平度识别系统及方法
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
WO2021120574A1 (en) * 2019-12-19 2021-06-24 Suzhou Zhijia Science & Technologies Co., Ltd. Obstacle positioning method and apparatus for autonomous driving system
CN113240631A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113240632A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、系统和智能终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151681A (zh) * 2017-11-23 2018-06-12 中国第汽车股份有限公司 一种基于双目相机的车载路面不平度识别系统及方法
CN107945220A (zh) * 2017-11-30 2018-04-20 华中科技大学 一种基于双目视觉的重建方法
WO2021120574A1 (en) * 2019-12-19 2021-06-24 Suzhou Zhijia Science & Technologies Co., Ltd. Obstacle positioning method and apparatus for autonomous driving system
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113240631A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN113240632A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、系统和智能终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁海根: "基于V-视差算法的自动驾驶中障碍物躲避软件设计", 《沈阳大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统

Also Published As

Publication number Publication date
CN113674275B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN112906449B (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN113240632B (zh) 基于语义分割网络的路面检测方法、系统和智能终端
US11762957B2 (en) RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN112465831B (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
CN114509045A (zh) 车轮区域高程检测方法和系统
CN113240631B (zh) 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN113781543B (zh) 基于双目相机的限高装置检测方法、系统和智能终端
CN111754574A (zh) 基于双目相机的距离测试方法、装置、系统和存储介质
CN113689565B (zh) 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端
CN115205809B (zh) 路面凹凸度检测方法和系统
US20230147557A1 (en) Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal
CN113253256B (zh) 基于传感器融合设备的监控方法、装置和传感器融合设备
CN114511600A (zh) 基于点云配准的位姿计算方法和系统
CN114049307A (zh) 基于双目立体视觉的路面高度检测方法、系统和智能终端
CN113706622B (zh) 基于双目立体视觉的路面拟合方法、系统和智能终端
CN115116038B (zh) 基于双目视觉的障碍物识别方法和系统
CN118135527B (zh) 基于双目相机的道路场景感知方法、系统和智能终端
CN117455815B (zh) 基于卫星影像平顶建筑物顶底偏移校正方法及相关设备
CN114298965A (zh) 基于双目视觉系统的帧间匹配检测方法、系统和智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant