CN113689565B - 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端 - Google Patents

基于双目立体视觉的路面平整度等级检测方法、系统和智能终端 Download PDF

Info

Publication number
CN113689565B
CN113689565B CN202111224179.5A CN202111224179A CN113689565B CN 113689565 B CN113689565 B CN 113689565B CN 202111224179 A CN202111224179 A CN 202111224179A CN 113689565 B CN113689565 B CN 113689565B
Authority
CN
China
Prior art keywords
target area
dimensional point
point cloud
cloud information
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111224179.5A
Other languages
English (en)
Other versions
CN113689565A (zh
Inventor
裴姗姗
孙钊
肖志鹏
王欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202111224179.5A priority Critical patent/CN113689565B/zh
Publication of CN113689565A publication Critical patent/CN113689565A/zh
Application granted granted Critical
Publication of CN113689565B publication Critical patent/CN113689565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Civil Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Architecture (AREA)
  • Medical Informatics (AREA)
  • Structural Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目立体视觉的路面平整度等级检测方法、系统和智能终端，所述方法包括：在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子；将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。该方案通过多个特征描述子作为基础，并利用训练分离器中训练处的模型，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。

Description

基于双目立体视觉的路面平整度等级检测方法、系统和智能 终端
技术领域
本发明涉及自动驾驶辅助技术领域，具体涉及一种基于双目立体视觉的路面平整度等级检测方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。在自动驾驶（或辅助驾驶）过程中，城市道路、高速道路是重要的应用场景，不同路段的路面状况存在差异，路面不平度状态不仅影响驾驶体验，同时对汽车本身也有很大损害。
因此，提供一种基于双目立体视觉的路面平整度等级检测方法，以期获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高驾驶舒适性，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于双目立体视觉的路面平整度等级检测方法、系统和智能终端，以期能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高驾驶舒适性。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目立体视觉的路面平整度等级检测方法，所述方法包括：
获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子；
将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。
进一步地，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：
基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure DEST_PATH_IMAGE001
其中，B为双目立体视觉成像系统中左相机光心到右相机光心的间距；
F为双目立体视觉成像系统中的相机焦距；
cx与cy为双目立体视觉成像系统中相机主点的图像坐标；
Figure 287548DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
是所述目标区域内的图像坐标点；
disp为图像点坐标为（
Figure 204689DEST_PATH_IMAGE002
，
Figure 781164DEST_PATH_IMAGE003
）的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
进一步地，所述计算所述目标区域内的三维点云信息对应的至少两类特征描述子，具体包括：
基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子；
基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子；
基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子。
进一步地，所述基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子，具体包括：
将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
将m×n个平均残差绝对值之和作为所述第一特征描述子。
进一步地，所述基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子，具体包括：
按照世界坐标系下的物理尺度将目标区域划分为多个n列的投影分段区域，并对每个投影分段区域内的三维点云数据分别拟合平面模型；
统计每个投影分段区域中，三维点云信息与对应拟合平面模型的误差标准差；
将n个误差标准差作为所述第二特征描述子。
进一步地，所述基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子，具体包括：
对三维点云信息数据进行栅格投影，按照世界坐标系下的物理尺度划分m2行n2列的投影栅格区域；
计算每个栅格区域内三维点集的平均高度值，生成目标区域的栅格高度图；
将栅格高度图进行二维傅里叶变换，以得到频域图像；
将所述频域图像展为一维向量，并将该一维向量作为所述第三特征描述子。
进一步地，利用以下公式将栅格高度图进行二维傅里叶变换：
Figure 176373DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
是时域函数，表示序列为x行y列的栅格点的高度值；
Figure 787483DEST_PATH_IMAGE006
是频域函数，u，v表示频域点的图像表示时的空间位置。
本发明还提供一种基于双目立体视觉的路面平整度等级检测系统，所述系统包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
特征描述子计算单元，用于在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子；
结果输出单元，用于将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于双目立体视觉的路面平整度等级检测方法、系统和智能终端，通过在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子，将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。这样，该方案通过多个特征描述子作为基础，并利用训练分离器中训练处的模型，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目立体视觉的路面平整度等级检测方法一种具体实施方式的流程图；
图2-图4为不同路面等级的场景示意图；
图5为本发明所提供的基于双目立体视觉的路面平整度等级检测系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的基于双目立体视觉的路面平整度等级检测方法，可以实现不需要依赖其他额外的外界输入信息下，对当前的行驶路面不平度进行感知，从而使得车辆辅助驾驶系统在收到路面平整度等级后做出相关处理，优化辅助驾驶的道路感知功能，提高驾驶的舒适性和安全性。
在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体视觉的路面平整度等级检测方法，包括以下步骤：
S1：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。
S2：基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息。具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，步骤S2具体包括以下步骤：
S21：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
S22：以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
S23：根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure DEST_PATH_IMAGE007
其中，B为双目立体视觉成像系统中左相机光心到右相机光心的间距；
F为双目立体视觉成像系统中的相机焦距；
cx与cy为双目立体视觉成像系统中相机主点的图像坐标；
Figure 609945DEST_PATH_IMAGE002
和
Figure 408137DEST_PATH_IMAGE003
是所述目标区域内的图像坐标点；
disp为图像点坐标为（
Figure 607037DEST_PATH_IMAGE002
，
Figure 275916DEST_PATH_IMAGE003
）的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
S3：在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子。
S4：将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。也就是说，将步骤S3中得到的多个特征描述子整合为一个特征向量，送入机器学习训练分类器。分类器是根据预先采样的对应于不同路面的特征向量及相应的不同路面等级标签预先训练得到的。基于样本训练形成的训练器，待分类的目标图像输入后，提取出该图像中目标区域的特征向量，将这样的特征向量输入到分类器中，即可以得到分类结果。
应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高速公路、环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情况，如城市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面情况，例如坑洼路面等。
优选地，为了保证算法准确性，同时降低算法难度，保证算法输出效率，步骤S3中计算的特征描述子可以包括三类。具体地，基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子；基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子；基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子。
优选地，为了保证算法准确性，同时降低算法难度，保证算法输出效率，步骤S3中计算的特征描述子可以包括三类。具体地，基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子；基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子；基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子。
Figure 567482DEST_PATH_IMAGE008
其中，c1，c0为直线模型参数，其可以为预设值或者为经验值。
在步骤S312中，利用以下公式统计每个投影栅格区域中，三维点云信息pts与对应拟合直线模型的平均残差绝对值之和：
Figure DEST_PATH_IMAGE009
其中，
Figure 321811DEST_PATH_IMAGE010
为世界坐标系下三维点的横向距离；
Figure DEST_PATH_IMAGE011
为世界坐标系下三维点的纵向距离；
c1，c0是直线模型参数；
num序列为i行j列投影栅格内三维点云信息pts的个数；
Figure 589982DEST_PATH_IMAGE012
是序列为i行j列投影栅格的平均残差绝对值之和；
将m×n个平均残差绝对值之和作为特征一的描述子。
在步骤S3中，所述基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子，具体包括：
S321：按照世界坐标系下的物理尺度将目标区域划分为多个n列的投影分段区域，并对每个投影分段区域内的三维点云数据分别拟合平面模型；
S322：统计每个投影分段区域中，三维点云信息与对应拟合平面模型的误差标准差；
S323：将n个误差标准差作为所述第二特征描述子。
在步骤S321中，利用以下公式对每个分段区域内pts数据拟合平面模型：
Figure DEST_PATH_IMAGE013
其中，
Figure 113367DEST_PATH_IMAGE014
是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；
Figure DEST_PATH_IMAGE015
是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；
Figure 339949DEST_PATH_IMAGE016
是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；
D是世界坐标系原点到路面平面的距离。
在步骤S322中，统计每个投影分段区域中，三维点云信息pts与对应拟合平面模型的误差标准差，具体计算公式为：
Figure DEST_PATH_IMAGE017
其中，
Figure 581574DEST_PATH_IMAGE018
和D是路面模型方程的参数；
Figure DEST_PATH_IMAGE019
是离散三维点在世界坐标系下的位置信息；
Figure 387856DEST_PATH_IMAGE020
是坐标为
Figure DEST_PATH_IMAGE021
的离散三维点到对应拟合平面的距离；
Figure 31327DEST_PATH_IMAGE022
是误差标准。
在步骤S3中，所述基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子，具体包括：
S331：对三维点云信息数据进行栅格投影，按照世界坐标系下的物理尺度划分m2行n2列的投影栅格区域；
S332：由于一个栅格区域表征的世界坐标系下的区域较小，近似将栅格内区域高度看做一致，计算每个栅格区域内三维点集的平均高度值，生成目标区域的栅格高度图；
S333：将栅格高度图进行二维傅里叶变换，以得到频域图像；
S334：将所述频域图像展为一维向量，并将该一维向量作为所述第三特征描述子。
在步骤S333中，利用以下公式将栅格高度图进行二维傅里叶变换：
Figure 163231DEST_PATH_IMAGE004
其中，
Figure 892153DEST_PATH_IMAGE005
是时域函数，表示序列为x行y列的栅格点的高度值；
Figure 970968DEST_PATH_IMAGE006
是频域函数，u，v表示频域点的图像表示时的空间位置。
当特征描述子为上述三个时，将上述三个特征的描述子整合为一个特征向量，送入机器学习训练分类器。分类器是根据预先采样的对应于不同路面的特征向量及相应的不同路面等级标签预先训练得到的。新的待分类的图像到来时后，提取出该图像中感兴趣区域的特征向量，将这样的特征向量输入到分类器中，然后得到分类结果。
在上述具体实施方式中，本发明所提供的基于双目立体视觉的路面平整度等级检测方法，通过在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子，将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。这样，该方案通过多个特征描述子作为基础，并利用训练分离器中训练处的模型，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。
除了上述方法，本发明还提供一种基于双目立体视觉的路面平整度等级检测系统，如图5所示，所述系统包括：
视差图获取单元100，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元200，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
特征描述子计算单元300，用于在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子；
结果输出单元400，用于将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。
在上述具体实施方式中，本发明所提供的基于双目立体视觉的路面平整度等级检测系统，通过在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子，将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级。这样，该方案通过多个特征描述子作为基础，并利用训练分离器中训练处的模型，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制系统输出对当前行驶路面不平度的感知结果，为控制系统的行驶指令提供数据支撑，进而提高了驾驶舒适性。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于双目立体视觉的路面平整度等级检测方法，其特征在于，所述方法包括：
获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子；
将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级；
所述计算所述目标区域内的三维点云信息对应的至少两类特征描述子，具体包括：
基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子；
基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子；
基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子。
2.根据权利要求1所述的路面平整度等级检测方法，其特征在于，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：
基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure DEST_PATH_IMAGE002
其中，B为双目立体视觉成像系统中左相机光心到右相机光心的间距；
F为双目立体视觉成像系统中的相机焦距；
cx与cy为双目立体视觉成像系统中相机主点的图像坐标；
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE006
是所述目标区域内的图像坐标点；
disp为图像点坐标为（
Figure 230816DEST_PATH_IMAGE004
，
Figure 147956DEST_PATH_IMAGE006
）的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
3.根据权利要求2所述的路面平整度等级检测方法，其特征在于，所述基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子，具体包括：
将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
将m×n个平均残差绝对值之和作为所述第一特征描述子。
4.根据权利要求2所述的路面平整度等级检测方法，其特征在于，所述基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子，具体包括：
按照世界坐标系下的物理尺度将目标区域划分为多个n列的投影分段区域，并对每个投影分段区域内的三维点云数据分别拟合平面模型；
统计每个投影分段区域中，三维点云信息与对应拟合平面模型的误差标准差；
将n个误差标准差作为所述第二特征描述子。
5.根据权利要求2所述的路面平整度等级检测方法，其特征在于，所述基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子，具体包括：
对三维点云信息数据进行栅格投影，按照世界坐标系下的物理尺度划分m2行n2列的投影栅格区域；
计算每个栅格区域内三维点集的平均高度值，生成目标区域的栅格高度图；
将栅格高度图进行二维傅里叶变换，以得到频域图像；
将所述频域图像展为一维向量，并将该一维向量作为所述第三特征描述子。
6.根据权利要求5所述的路面平整度等级检测方法，其特征在于，利用以下公式将栅格高度图进行二维傅里叶变换：
Figure DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE010
是时域函数，表示序列为x行y列的栅格点的高度值；
Figure DEST_PATH_IMAGE012
是频域函数，u，v表示频域点的图像表示时的空间位置。
7.一种基于双目立体视觉的路面平整度等级检测系统，其特征在于，所述系统包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
特征描述子计算单元，用于在所述稠密视差图中划定目标区域，并计算所述目标区域内的三维点云信息对应的至少两类特征描述子；
结果输出单元，用于将各所述特征描述子整合为一个特征向量，并基于所述特征向量在机器学习训练分类器中得到当前道路的路面平整度等级；
所述计算所述目标区域内的三维点云信息对应的至少两类特征描述子，具体包括：
基于拟合直线模型计算所述目标区域内的三维点云信息对应的第一特征描述子；
基于拟合平面模型计算所述目标区域内的三维点云信息对应的第二特征描述子；
基于目标区域的栅格高度图计算所述目标区域内的三维点云信息对应的第三特征描述子。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
CN202111224179.5A 2021-10-21 2021-10-21 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端 Active CN113689565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224179.5A CN113689565B (zh) 2021-10-21 2021-10-21 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224179.5A CN113689565B (zh) 2021-10-21 2021-10-21 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113689565A CN113689565A (zh) 2021-11-23
CN113689565B true CN113689565B (zh) 2022-03-18

Family

ID=78587686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224179.5A Active CN113689565B (zh) 2021-10-21 2021-10-21 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN113689565B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统
CN119779391B (zh) * 2024-12-20 2025-09-26 同济大学 搭载于压路机平台的路面平整度和密实度视觉检测装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033953A (zh) * 2007-02-02 2007-09-12 西安交通大学 基于图像处理与图像识别的平整度检测方法
CN106651836A (zh) * 2016-11-04 2017-05-10 中国科学院上海微系统与信息技术研究所 一种基于双目视觉的地平面检测方法
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
WO2017208264A1 (en) * 2016-06-03 2017-12-07 Deshmukh Ranjeet A road surface evenness and roughness measurement system
WO2021098161A1 (zh) * 2019-11-20 2021-05-27 中铁四局集团第一工程有限公司 一种路面平整度检测方法及系统
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033953A (zh) * 2007-02-02 2007-09-12 西安交通大学 基于图像处理与图像识别的平整度检测方法
WO2017208264A1 (en) * 2016-06-03 2017-12-07 Deshmukh Ranjeet A road surface evenness and roughness measurement system
CN106651836A (zh) * 2016-11-04 2017-05-10 中国科学院上海微系统与信息技术研究所 一种基于双目视觉的地平面检测方法
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
WO2021098161A1 (zh) * 2019-11-20 2021-05-27 中铁四局集团第一工程有限公司 一种路面平整度检测方法及系统
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Method for Estimating Road Surface Conditions with a Smartphone;Tomohiro Nomura等;《International Journal of Informatics Society》;20151231;第7卷(第1期);第29-36页 *
Estimation of Soil Surface Roughness Using Stereo Vision Approach;Afshin Azizi等;《Sensors》;20210626;第1-14页 *
The flatness levels of flexible road based on roadroid software in Perintis Kemerdekaan Street Makassar;M Lukman等;《IOP Conference Series: Earth and Environment》;20201231;第419卷;第1-9页 *
基于无人机LiDAR数据的公路路面监测和平整度评价方法研究;高仁强等;《应用基础与工程科学学报》;20180815;第26卷(第04期);681-696 *

Also Published As

Publication number Publication date
CN113689565A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US12183022B2 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN112906449B (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
US10909395B2 (en) Object detection apparatus
CN115116049B (zh) 目标检测的方法、装置、电子设备及存储介质
CN107481315A (zh) 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN114509045A (zh) 车轮区域高程检测方法和系统
US12229979B2 (en) Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal
CN113689565B (zh) 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN116030202B (zh) 一种三维图像重建方法、装置、电子设备及存储介质
CN112465831B (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
CN113140002A (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN114049307A (zh) 基于双目立体视觉的路面高度检测方法、系统和智能终端
CN110197104B (zh) 基于车辆的测距方法及装置
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN115205809B (zh) 路面凹凸度检测方法和系统
CN117953483A (zh) 一种面向全向视觉的三维目标检测方法
CN114972470B (zh) 基于双目视觉的路面环境获取方法和系统
CN113706622B (zh) 基于双目立体视觉的路面拟合方法、系统和智能终端
CN117994777A (zh) 一种基于路侧相机的三维目标检测方法
CN111191538A (zh) 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN117437289A (zh) 一种基于多源传感器的空间计算方法及相关设备
CN114298965A (zh) 基于双目视觉系统的帧间匹配检测方法、系统和智能终端
CN115437206A (zh) 一种多目摄像头测试方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant