CN114972470B - 基于双目视觉的路面环境获取方法和系统 - Google Patents

基于双目视觉的路面环境获取方法和系统 Download PDF

Info

Publication number
CN114972470B
CN114972470B CN202210860336.XA CN202210860336A CN114972470B CN 114972470 B CN114972470 B CN 114972470B CN 202210860336 A CN202210860336 A CN 202210860336A CN 114972470 B CN114972470 B CN 114972470B
Authority
CN
China
Prior art keywords
information
point cloud
voxel
data
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210860336.XA
Other languages
English (en)
Other versions
CN114972470A (zh
Inventor
谢启伟
杨超
孙钊
肖志鹏
裴姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202210860336.XA priority Critical patent/CN114972470B/zh
Publication of CN114972470A publication Critical patent/CN114972470A/zh
Application granted granted Critical
Publication of CN114972470B publication Critical patent/CN114972470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉的路面环境获取方法和系统，方法包括：获取原始图像的点云数据；将原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到目标区域的边界关键点位置和目标区域内的地面类型信息；对点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于扩展点云数据，在当前帧原始图像中进行体素划分，计算体素匹配信息；根据体素匹配信息，建立连续帧的跟踪优化方程；基于跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将优化点云信息用于聚类操作，以得到路面环境信息结果。解决了现有技术中无法实现准确路面环境感知的技术问题。

Description

基于双目视觉的路面环境获取方法和系统
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于双目视觉的路面环境获取方法和系统。
背景技术
近年来，自动驾驶和辅助驾驶得到了广泛的使用，通过双目立体匹配获得视差图，从而获取物体的三维信息是自动驾驶领域的核心算法之一。如何准确获取路面环境，从而感知目标区域的道路上是否存在障碍物阻塞，并判断可通行性，进而为后续悬架结构的控制策略提供准确的数据支持，就称为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于双目视觉的路面环境获取方法和系统，以期至少部分解决现有技术中无法实现准确路面环境感知的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目视觉的路面环境获取方法，所述方法包括：
获取目标区域的原始图像，并计算所述原始图像的视差图；
对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；
将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；
基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；
基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；
根据所述体素匹配信息，建立连续帧的跟踪优化方程；
基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；
将所述优化点云信息用于聚类操作，以得到路面环境信息结果。
进一步地，所述原始图像的点云数据的数据结构为
Figure 640032DEST_PATH_IMAGE001
；
其中，（x,y,z）是基于视差图生成的空间点云坐标；
（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度。
进一步地，所述扩展点云数据的数据结构为
Figure 795813DEST_PATH_IMAGE002
；
其中，（x,y,z）是基于视差图生成的空间点云坐标；
（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；
c是语义类别。
进一步地，基于所述扩展点云数据，在当前帧原始图像中进行体素划分，具体包括：
基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素，全部体素的几何组成体素空间
Figure 260293DEST_PATH_IMAGE003
；
如果体素空间
Figure 194750DEST_PATH_IMAGE003
内存在预设数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空；
当体素中的点云数量大于预设阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息；
选取当前体素的几何中心作为体素空间信息，并构成体素信息结构体V={Xv,Yv,Zv,Gv,Uv,Vv,Cv}；
其中，（Xv,Yv,Zv）是体素的空间信息，（Gv,Uv,Vv）是体素的图像信息，Cv是体素的语义信息。
进一步地，连续帧原始图像作为一组标记体素信息，并计算体素匹配信息，具体包括：
设体素信息标记为
Figure 188114DEST_PATH_IMAGE004
，表示在第N帧数据中，位于（x,y,z）位置的体素信息；
当N=3时，则存在三帧数据V1，V2，V3，在V1和V2之间构建匹配关系：
Figure 208023DEST_PATH_IMAGE005
其中，|·|L2表示二范数，在本实施例中定义为如下形式：
Figure 351559DEST_PATH_IMAGE006
其中，0<ω<1是权重调节参数。
进一步地，根据所述体素匹配信息，建立连续帧的跟踪优化方程，具体包括：
利用以下公式，分别计算出第1帧和第2帧数据之间的转换映射关系：
Figure 874945DEST_PATH_IMAGE007
其中，
Figure 304789DEST_PATH_IMAGE008
是
Figure 811994DEST_PATH_IMAGE009
的齐次坐标的列向量表示，R和T分别是由
Figure 352696DEST_PATH_IMAGE010
向
Figure 996167DEST_PATH_IMAGE009
转换的映射参数；
建立第1帧和第2帧数据之间的转换映射优化方程：
Figure 596913DEST_PATH_IMAGE011
建立第2帧和第3帧数据之间的转换映射优化方程
Figure 450468DEST_PATH_IMAGE012
：
Figure 60441DEST_PATH_IMAGE013
建立第1帧和第3帧数据之间的转换映射优化方程
Figure 292839DEST_PATH_IMAGE014
：
Figure 330066DEST_PATH_IMAGE015
基于
Figure 546283DEST_PATH_IMAGE016
和
Figure 428789DEST_PATH_IMAGE014
建立跟踪优化方程：
Figure 922218DEST_PATH_IMAGE017
。
本发明还提供一种基于双目视觉的路面环境获取系统，所述系统包括：
图像获取单元，用于获取目标区域的原始图像，并计算所述原始图像的视差图；
数据处理单元，用于对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；
类型输出单元，用于将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；
语义拓展单元，用于基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；
体素匹配单元，用于基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；
跟踪优化单元，用于根据所述体素匹配信息，建立连续帧的跟踪优化方程；
位姿匹配单元，用于基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；
结果输出单元，用于将所述优化点云信息用于聚类操作，以得到路面环境信息结果。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本发明所提供的基于双目视觉的路面环境获取方法，通过获取目标区域的原始图像，并计算所述原始图像的视差图；对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；根据所述体素匹配信息，建立连续帧的跟踪优化方程；基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将所述优化点云信息用于聚类操作，以得到路面环境信息结果。从而获得准确的路面环境信息，对道路上无障碍物阻塞的、可通行的地面，进行可通行性检测。该方案提供对地面环境的实时感知结果，可以得到行驶车辆前方一定范围内的路面环境信息，为利用该信息指导底盘悬架的控制策略提供了准确的数据支持，对即将驶入的路况进行自适应调节，从而提升驾驶舒适性和安全性。解决了现有技术中无法实现准确路面环境感知的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目视觉的路面环境获取方法一种具体实施方式的流程图；
图2为本发明所提供的方法中特征点检测模型的模型结构图；
图3为本发明所提供的方法中深度学习分割模型的模型结构图；
图4为本发明所提供的基于双目视觉的路面环境获取系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于双目视觉的路面环境获取方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明提供一种基于双目视觉的路面环境获取方法，如图1所示，所述方法包括以下步骤：
S101：获取目标区域的原始图像，并计算所述原始图像的视差图，原始图像为双目相机采集的彩色图像，其所包含的图像信息为RGB、YUV或其他类型的光波强度成像数据格式都可用，该实施例中，仅以YUV数据为例进行说明。
S102：对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；其中，所述原始图像的点云数据的数据结构为
Figure 130345DEST_PATH_IMAGE018
，其中，（x,y,z）是基于视差图生成的空间点云坐标，（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度。
在具体使用场景中，利用双目相机获取原始图像的图像信息和视差图中的视差信息后，对图像信息和视差信息进行预处理，生成基于图像的点云数据。图像信息为RGB、YUV或其他类型的光波强度成像数据格式都可用，在该实施例中，仅以YUV数据为例进行说明。例如，基于图像的点云信息包含以下数据结构
Figure 568280DEST_PATH_IMAGE019
。其中，（x,y,z）指的是基于视差信息生成的空间点云坐标，该坐标系与双目相机坐标系重合；（g,u,v）指的是对应像素点的灰阶强度、色调、饱和度。
其中，根据视差信息获取空间点云坐标的公式如下：
Figure 520056DEST_PATH_IMAGE020
其中，（X,Y,Z）是相机坐标系下的空间点云坐标，b是双目相机基线长度，f是相机的焦距，
Figure 992625DEST_PATH_IMAGE021
是图像的主点像素坐标，（u,v）是像素坐标，disp是（u,v）像素对应的视差值。
S103：将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息。
在对特征点检测模型进行训练时，是基于图像信息训练特征点检测模型。具体地，该特征点检测模型关注于地面可行驶区域边界的关键点位置，特征点检测模型在图像的每一列输出一个关键点坐标；该坐标表征当前列中图像内路面与非路面的区分点。该特征点检测模型的输入是图像信息，RGB或YUV或其他类型的光波强度成像数据格式都可以用于该特征点检测模型，要求是训练数据格式与实际使用中的数据格式一致即可，在该实施例中，仅以YUV数据为例进行说明。构建训练样本图集和测试样本图集，要求两份图集的数量比率约为A:1，A大于1且两份图集中的数据不能重复。该实施例以训练某特征点检测深度学习模型为例进行设计说明。特征点检测模型基于SSD架构进行设计，采用逐次下采样的方案，在每次下采样之前的特征图中都输出一组监督量，共同组成最终的loss函数。在该实施例中，以3次下采样为例对模型架构设计进行说明，特征点检测模型的模型结构如图2所示。
在对特征点检测模型进行训练时，是基于图像信息训练深度学习分割模型。该分割模型关注于地面目标的语义分割，主要包含的语义类别包括但不限于：地面标识、车道线、减速带、井盖、桥梁接缝、铁轨、路面裂痕、路面破损、路面积水、路面遗撒物等信息。该分割模型的输入是图像信息，RGB或YUV或其他类型的光波强度成像数据格式都可以用于该模型，要求是训练数据格式与实际使用中的数据格式一致即可，在该实施例中，仅以YUV数据为例进行说明。构建训练样本图集和测试样本图集，要求两份图集的数量比率约为A:1；A大于1且两份图集中的数据不能重复。该实施例中以训练某地面目标语义分割深度学习模型为例进行设计说明。分割模型基于SSD架构进行设计，采用逐次下采样的方案，在每次下采样之前的特征图中都输出一组监督量，共同组成最终的loss函数。在该实施例中，以3次下采样为例对模型架构设计进行说明，的深度学习分割模型结构如图3所示。
S104：基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据。所述扩展点云数据的数据结构为
Figure 106075DEST_PATH_IMAGE022
；其中，（x,y,z）是基于视差图生成的空间点云坐标；（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；c是语义类别。
也就是说，基于特征点检测模型，对上述pts0 数据结构进行筛选并添加语义信息。该筛选只保留可行使区域内像素对应的点云数据，并根据分割模型对保留点云进一步添加语义信息，构造数据结
Figure 922983DEST_PATH_IMAGE023
。其中
Figure 147291DEST_PATH_IMAGE024
与pts0的意义一致，c表示语义类别。
S105：基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息。
其中，基于所述扩展点云数据，在当前帧原始图像中进行体素划分，具体包括：
基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素，全部体素的几何组成体素空间
Figure 739947DEST_PATH_IMAGE025
；
如果体素空间
Figure 24297DEST_PATH_IMAGE025
内存在预设数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空；
当体素中的点云数量大于预设阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息；
选取当前体素的几何中心作为体素空间信息，并构成体素信息结构体
Figure 436824DEST_PATH_IMAGE026
；
其中，
Figure 730402DEST_PATH_IMAGE027
是体素的空间信息，
Figure 52930DEST_PATH_IMAGE028
是体素的图像信息，
Figure 508182DEST_PATH_IMAGE029
是体素的语义信息。
其中，连续帧原始图像作为一组标记体素信息，并计算体素匹配信息，具体包括：
设体素信息标记为
Figure 408005DEST_PATH_IMAGE030
，表示在第N帧数据中，位于（x,y,z）位置的体素信息；
当N=3时，则存在三帧数据
Figure 239695DEST_PATH_IMAGE031
，在
Figure 806943DEST_PATH_IMAGE032
和
Figure 433096DEST_PATH_IMAGE033
之间构建匹配关系：
Figure 944849DEST_PATH_IMAGE034
其中，|·|L2表示二范数，在本实施例中定义为如下形式：
Figure 580230DEST_PATH_IMAGE035
其中，0<ω<1是权重调节参数。
也就是说，基于pts1的数据结构，在当前帧图像中进行体素划分。基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素,全部体素的几何组成体素空间
Figure 736404DEST_PATH_IMAGE036
。如果体素内存在一定数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空。点云信息抽象是指的将体素内的点云信息各分量进行归类，作为体素信息的一种表征形式。本实施例中以直方图分布的归类方法为例进行说明。当体素中的点云数量大于某一阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息。同时，选取当前体素的几何中心作为体素空间信息。由此构成体素信息结构体
Figure 799038DEST_PATH_IMAGE037
。其中，
Figure 407874DEST_PATH_IMAGE038
是体素的空间信息，
Figure 581367DEST_PATH_IMAGE039
是体素的图像信息，
Figure 732993DEST_PATH_IMAGE040
是体素的语义信息。
而后，以连续N帧数据为一组标记体素信息，并计算体素匹配信息。设体素信息标记为
Figure 700949DEST_PATH_IMAGE041
，表示在第N帧数据中，位于（x,y,z）位置的体素信息。在本例中以N=3为例进行说明。则存在三帧数据
Figure 62661DEST_PATH_IMAGE031
。在
Figure 39844DEST_PATH_IMAGE032
和
Figure 905032DEST_PATH_IMAGE033
之间构建匹配关系：
Figure 309468DEST_PATH_IMAGE034
（2）
其中，|·|L2表示二范数，在本实施例中定义为如下形式：
Figure 805082DEST_PATH_IMAGE042
公式中0<ω<1是权重调节参数，取值定义为：当
Figure 320377DEST_PATH_IMAGE043
时，ω取较小的数值；当
Figure 571230DEST_PATH_IMAGE044
时，ω取较大的数值。
根据公式（2），可以在第1帧和第2帧数据之间，得到令E取得最小值的匹配点对儿
Figure DEST_PATH_IMAGE045
, 同理可以在第2帧和第3帧数据之间、第1帧和第3帧数据之间也得到类似的匹配点对儿：
Figure 146567DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE047
。
S106：根据所述体素匹配信息，建立连续帧的跟踪优化方程；
具体地：
利用以下公式，分别计算出第1帧和第2帧数据之间的转换映射关系：
Figure 358237DEST_PATH_IMAGE048
（4）
其中，
Figure DEST_PATH_IMAGE049
是
Figure 942802DEST_PATH_IMAGE050
的齐次坐标的列向量表示，R和T分别是由
Figure DEST_PATH_IMAGE051
向
Figure 48161DEST_PATH_IMAGE050
转换的映射参数；
建立第1帧和第2帧数据之间的转换映射优化方程：
Figure 919034DEST_PATH_IMAGE011
（5）
建立第2帧和第3帧数据之间的转换映射优化方程
Figure 477055DEST_PATH_IMAGE052
：
Figure 334152DEST_PATH_IMAGE013
（6）
建立第1帧和第3帧数据之间的转换映射优化方程
Figure DEST_PATH_IMAGE053
：
Figure 294018DEST_PATH_IMAGE015
（7）
基于
Figure 476738DEST_PATH_IMAGE054
和
Figure 397420DEST_PATH_IMAGE053
建立跟踪优化方程：
Figure DEST_PATH_IMAGE055
（8）。
S107：基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；
基于公式（8），可以得到优化后的相邻转换的映射关系R和T。则可以将前一帧相机坐标系下的全部点云信息，通过映射关系全部转移到当前帧相机坐标系下，转换方法如公式（5）-（7）所示。则在当前帧相机坐标系下，存在两组点云信息：当前帧点云信息pts_c和由前一帧转换而来的点云信息pts_p。基于当前帧点云信息pts_c，构建点云相似度计算公式如下：
Figure 58209DEST_PATH_IMAGE056
（9）
选取令全部的
Figure DEST_PATH_IMAGE057
之和最小的匹配关系集合，作为连续帧点云信息的匹配关系，并进行点云信息融合，融合方式定义如下：
Figure 138160DEST_PATH_IMAGE058
。其中
Figure DEST_PATH_IMAGE059
是调和权重，他的取值与点云之间的空间信息、点云图像信息、点云语义信息的综合差异有关，是依据实际使用环境进行设定的；但需要遵守以下三个主旨：（1）空间信息差异越大，
Figure 226202DEST_PATH_IMAGE059
越大；（2）图像信息差异越大，
Figure 384913DEST_PATH_IMAGE059
越大；（3）语义信息差异越大，
Figure 849392DEST_PATH_IMAGE059
越大。
S108：将所述优化点云信息用于聚类操作，以得到路面环境信息结果。
在具体使用场景中，将更新后的空间点云信息pts_c_new用于聚类操作，设置关注目标的选取阈值。本实施例中以高度为例进行说明，选取高度>Bcm的路面目标为感兴趣目标，则针对点云聚类数据中的y分量进行筛选，选取出全部的感兴趣目标。对感兴趣目标内的点云信息构建最小三维包络立方体，统计立方体内的全部点云信息，得到感兴趣目标的（1）尺寸信息：长、宽、高；（2）距离相机的位置信息：纵深距离、左右偏向位置；（3）语音信息：类别。
在上述具体实施方式中，本发明所提供的基于双目视觉的路面环境获取方法，通过获取目标区域的原始图像，并计算所述原始图像的视差图；对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；根据所述体素匹配信息，建立连续帧的跟踪优化方程；基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将所述优化点云信息用于聚类操作，以得到路面环境信息结果。从而获得准确的路面环境信息，对道路上无障碍物阻塞的、可通行的地面，进行可通行性检测。该方案提供对地面环境的实时感知结果，可以得到行驶车辆前方一定范围内的路面环境信息，为利用该信息指导底盘悬架的控制策略提供了准确的数据支持，对即将驶入的路况进行自适应调节，从而提升驾驶舒适性和安全性。解决了现有技术中无法实现准确路面环境感知的技术问题。
除了上述方法，本发明还提供一种基于双目视觉的路面环境获取系统，如图4所示，所述系统包括：
图像获取单元100，用于获取目标区域的原始图像，并计算所述原始图像的视差图；
数据处理单元200，用于对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；
类型输出单元300，用于将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；
语义拓展单元400，用于基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；
体素匹配单元500，用于基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；
跟踪优化单元600，用于根据所述体素匹配信息，建立连续帧的跟踪优化方程；
位姿匹配单元700，用于基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；
结果输出单元800，用于将所述优化点云信息用于聚类操作，以得到路面环境信息结果。
在上述具体实施方式中，本发明所提供的基于双目视觉的路面环境获取系统，通过获取目标区域的原始图像，并计算所述原始图像的视差图；对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；根据所述体素匹配信息，建立连续帧的跟踪优化方程；基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；将所述优化点云信息用于聚类操作，以得到路面环境信息结果。从而获得准确的路面环境信息，对道路上无障碍物阻塞的、可通行的地面，进行可通行性检测。该方案提供对地面环境的实时感知结果，可以得到行驶车辆前方一定范围内的路面环境信息，为利用该信息指导底盘悬架的控制策略提供了准确的数据支持，对即将驶入的路况进行自适应调节，从而提升驾驶舒适性和安全性。解决了现有技术中无法实现准确路面环境感知的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (4)

1.一种基于双目视觉的路面环境获取方法，其特征在于，所述方法包括：
获取目标区域的原始图像，并计算所述原始图像的视差图；
对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；
将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；
基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；
基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；
根据所述体素匹配信息，建立连续帧的跟踪优化方程；
基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；
将所述优化点云信息用于聚类操作，以得到路面环境信息结果；
所述原始图像的点云数据的数据结构为
Figure 347763DEST_PATH_IMAGE001
；
其中，（x,y,z）是基于视差图生成的空间点云坐标；
（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；
所述扩展点云数据的数据结构为
Figure 725262DEST_PATH_IMAGE002
；
其中，（x,y,z）是基于视差图生成的空间点云坐标；
（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；
c是语义类别；
基于所述扩展点云数据，在当前帧原始图像中进行体素划分，具体包括：
基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素，全部体素的几何组成体素空间
Figure 993432DEST_PATH_IMAGE003
；
如果体素空间
Figure 782396DEST_PATH_IMAGE003
内存在预设数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空；
当体素中的点云数量大于预设阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息；
选取当前体素的几何中心作为体素空间信息，并构成体素信息结构体V={Xv,Yv,Zv,Gv,Uv,Vv,Cv}；
其中，（Xv,Yv,Zv）是体素的空间信息，（Gv,Uv,Vv）是体素的图像信息，Cv是体素的语义信息；
连续帧原始图像作为一组标记体素信息，并计算体素匹配信息，具体包括：
设体素信息标记为
Figure 212241DEST_PATH_IMAGE004
，表示在第N帧数据中，位于（x,y,z）位置的体素信息；
当N=3时，则存在三帧数据V1，V2，V3，在V1和V2之间构建匹配关系：
Figure 594811DEST_PATH_IMAGE005
其中，|·|L2表示二范数，定义为如下形式：
Figure 401093DEST_PATH_IMAGE006
（3）
其中，0<ω<1是权重调节参数；
根据所述体素匹配信息，建立连续帧的跟踪优化方程，具体包括：
利用以下公式，分别计算出第1帧和第2帧数据之间的转换映射关系：
Figure 44564DEST_PATH_IMAGE007
（4）
其中，
Figure 910889DEST_PATH_IMAGE008
是
Figure 764445DEST_PATH_IMAGE009
的齐次坐标的列向量表示，R和T分别是由
Figure 374418DEST_PATH_IMAGE010
向
Figure 137974DEST_PATH_IMAGE009
转换的映射参数；
建立第1帧和第2帧数据之间的转换映射优化方程：
Figure 644042DEST_PATH_IMAGE011
（5）
建立第2帧和第3帧数据之间的转换映射优化方程
Figure 266784DEST_PATH_IMAGE012
：
Figure 414869DEST_PATH_IMAGE013
（6）
建立第1帧和第3帧数据之间的转换映射优化方程
Figure 190189DEST_PATH_IMAGE014
：
Figure 132737DEST_PATH_IMAGE015
（7）
基于
Figure 836251DEST_PATH_IMAGE016
和
Figure 788027DEST_PATH_IMAGE014
建立跟踪优化方程：
Figure 135962DEST_PATH_IMAGE017
（8）；
基于公式（8），得到优化后的相邻转换的映射关系R和T，则将前一帧相机坐标系下的全部点云信息，通过映射关系全部转移到当前帧相机坐标系下，转换方法如公式（5）-（7）所示，则在当前帧相机坐标系下，存在两组点云信息：当前帧点云信息
Figure 514991DEST_PATH_IMAGE018
和由前一帧转换而来的点云信息
Figure 705801DEST_PATH_IMAGE019
，基于当前帧点云信息
Figure 195688DEST_PATH_IMAGE018
，构建点云相似度计算公式如下：
Figure 912977DEST_PATH_IMAGE020
（9）
选取令全部的
Figure 462907DEST_PATH_IMAGE021
之和最小的匹配关系集合，作为连续帧点云信息的匹配关系，并进行点云信息融合，融合方式定义如下：
Figure 875434DEST_PATH_IMAGE022
；其中
Figure 169012DEST_PATH_IMAGE023
是调和权重，他的取值与点云之间的空间信息、点云图像信息、点云语义信息的综合差异有关，是依据实际使用环境进行设定的；但需要遵守以下三个主旨：（1）空间信息差异越大，
Figure 491540DEST_PATH_IMAGE023
越大；（2）图像信息差异越大，
Figure 212372DEST_PATH_IMAGE023
越大；（3）语义信息差异越大，
Figure 643353DEST_PATH_IMAGE023
越大。
2.一种基于双目视觉的路面环境获取系统，其特征在于，所述系统包括：
图像获取单元，用于获取目标区域的原始图像，并计算所述原始图像的视差图；
数据处理单元，用于对所述原始图像和所述视差图进行预处理，以得到基于所述原始图像的点云数据；
类型输出单元，用于将所述原始图像的点云数据输入预先训练的特征点检测模型和深度学习分割模型，以得到所述目标区域的边界关键点位置和所述目标区域内的地面类型信息；
语义拓展单元，用于基于所述特征点检测模型，对所述点云数据进行筛选并添加语义信息，以得到扩展点云数据；
体素匹配单元，用于基于所述扩展点云数据，在当前帧原始图像中进行体素划分，以连续帧原始图像作为一组标记体素信息，并计算体素匹配信息；
跟踪优化单元，用于根据所述体素匹配信息，建立连续帧的跟踪优化方程；
位姿匹配单元，用于基于所述跟踪优化方程中连续帧的体素跟踪关系，优化点云位姿匹配关系，以得到优化点云信息；
结果输出单元，用于将所述优化点云信息用于聚类操作，以得到路面环境信息结果；
所述原始图像的点云数据的数据结构为
Figure 98212DEST_PATH_IMAGE024
；
其中，（x,y,z）是基于视差图生成的空间点云坐标；
（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；
所述扩展点云数据的数据结构为
Figure 399880DEST_PATH_IMAGE025
；
其中，（x,y,z）是基于视差图生成的空间点云坐标；
（g,u,v）是目标点云对应像素点的灰阶强度、色调和饱和度；
c是语义类别；
基于所述扩展点云数据，在当前帧原始图像中进行体素划分，具体包括：
基于相机坐标系，将连续空间划分为尺寸为L*W*H（长*宽*高）的小立方体，每一个小立方体定义为一个体素，全部体素的几何组成体素空间
Figure 291613DEST_PATH_IMAGE026
；
如果体素空间
Figure 678732DEST_PATH_IMAGE026
内存在预设数量的点云，对点云信息进行抽象提取并赋予体素信息；否则体素信息置为空；
当体素中的点云数量大于预设阈值时，对这个体素中所有点云信息中的（g,u,v,c）元素，分别进行直方图统计，选取数量占比最多的一个赋值给当前体素语义信息；
选取当前体素的几何中心作为体素空间信息，并构成体素信息结构体V={Xv,Yv,Zv,Gv,Uv,Vv,Cv}；
其中，（Xv,Yv,Zv）是体素的空间信息，（Gv,Uv,Vv）是体素的图像信息，Cv是体素的语义信息；
连续帧原始图像作为一组标记体素信息，并计算体素匹配信息，具体包括：
设体素信息标记为
Figure 189479DEST_PATH_IMAGE027
，表示在第N帧数据中，位于（x,y,z）位置的体素信息；
当N=3时，则存在三帧数据V1，V2，V3，在V1和V2之间构建匹配关系：
Figure 611233DEST_PATH_IMAGE005
其中，|·|L2表示二范数，定义为如下形式：
Figure 673867DEST_PATH_IMAGE028
（3）
其中，0<ω<1是权重调节参数；
根据所述体素匹配信息，建立连续帧的跟踪优化方程，具体包括：
利用以下公式，分别计算出第1帧和第2帧数据之间的转换映射关系：
Figure 548282DEST_PATH_IMAGE029
（4）
其中，
Figure 846408DEST_PATH_IMAGE030
是
Figure 122668DEST_PATH_IMAGE031
的齐次坐标的列向量表示，R和T分别是由
Figure 356204DEST_PATH_IMAGE032
向
Figure 717915DEST_PATH_IMAGE031
转换的映射参数；
建立第1帧和第2帧数据之间的转换映射优化方程：
Figure 570464DEST_PATH_IMAGE033
（5）
建立第2帧和第3帧数据之间的转换映射优化方程
Figure 966811DEST_PATH_IMAGE034
：
Figure 371247DEST_PATH_IMAGE035
（6）
建立第1帧和第3帧数据之间的转换映射优化方程
Figure 846353DEST_PATH_IMAGE036
：
Figure 299331DEST_PATH_IMAGE037
（7）
基于
Figure 815763DEST_PATH_IMAGE038
和
Figure 391101DEST_PATH_IMAGE036
建立跟踪优化方程：
Figure 586459DEST_PATH_IMAGE039
（8）；
基于公式（8），得到优化后的相邻转换的映射关系R和T，则将前一帧相机坐标系下的全部点云信息，通过映射关系全部转移到当前帧相机坐标系下，转换方法如公式（5）-（7）所示，则在当前帧相机坐标系下，存在两组点云信息：当前帧点云信息
Figure 905445DEST_PATH_IMAGE040
和由前一帧转换而来的点云信息
Figure 10804DEST_PATH_IMAGE041
，基于当前帧点云信息
Figure 757043DEST_PATH_IMAGE040
，构建点云相似度计算公式如下：
Figure 456009DEST_PATH_IMAGE042
（9）
选取令全部的
Figure 313107DEST_PATH_IMAGE043
之和最小的匹配关系集合，作为连续帧点云信息的匹配关系，并进行点云信息融合，融合方式定义如下：
Figure 804131DEST_PATH_IMAGE044
；其中
Figure 367878DEST_PATH_IMAGE045
是调和权重，他的取值与点云之间的空间信息、点云图像信息、点云语义信息的综合差异有关，是依据实际使用环境进行设定的；但需要遵守以下三个主旨：（1）空间信息差异越大，
Figure 413194DEST_PATH_IMAGE045
越大；（2）图像信息差异越大，
Figure 73982DEST_PATH_IMAGE045
越大；（3）语义信息差异越大，
Figure 153934DEST_PATH_IMAGE045
越大。
3.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1所述的方法。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1所述的方法。
CN202210860336.XA 2022-07-22 2022-07-22 基于双目视觉的路面环境获取方法和系统 Active CN114972470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210860336.XA CN114972470B (zh) 2022-07-22 2022-07-22 基于双目视觉的路面环境获取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210860336.XA CN114972470B (zh) 2022-07-22 2022-07-22 基于双目视觉的路面环境获取方法和系统

Publications (2)

Publication Number Publication Date
CN114972470A CN114972470A (zh) 2022-08-30
CN114972470B true CN114972470B (zh) 2022-11-18

Family

ID=82968741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210860336.XA Active CN114972470B (zh) 2022-07-22 2022-07-22 基于双目视觉的路面环境获取方法和系统

Country Status (1)

Country Link
CN (1) CN114972470B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205809B (zh) * 2022-09-15 2023-03-24 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112067006A (zh) * 2020-09-14 2020-12-11 上海汽车集团股份有限公司 一种基于语义的视觉定位方法及装置
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN108470174B (zh) * 2017-02-23 2021-12-24 百度在线网络技术（北京）有限公司 障碍物分割方法及装置、计算机设备及可读介质
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
CN109117718B (zh) * 2018-07-02 2021-11-26 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN111462135B (zh) * 2020-03-31 2023-04-21 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
US11657572B2 (en) * 2020-10-21 2023-05-23 Argo AI, LLC Systems and methods for map generation based on ray-casting and semantic class images
CN114549542A (zh) * 2021-12-24 2022-05-27 阿里巴巴达摩院(杭州)科技有限公司 视觉语义分割方法、装置及设备
CN114638794A (zh) * 2022-03-04 2022-06-17 南京理工大学 基于深度学习和slam技术的裂缝检测与三维定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112067006A (zh) * 2020-09-14 2020-12-11 上海汽车集团股份有限公司 一种基于语义的视觉定位方法及装置
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN114972470A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Song et al. Lane detection and classification for forward collision warning system based on stereo vision
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
Gu et al. 3-d lidar+ monocular camera: An inverse-depth-induced fusion framework for urban road detection
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN115082924B (zh) 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
CN113128347B (zh) 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
CN111178150B (zh) 车道线检测方法、系统及存储介质
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN113935428A (zh) 基于图像识别的三维点云聚类识别方法及系统
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN114972470B (zh) 基于双目视觉的路面环境获取方法和系统
CN111539907A (zh) 用于目标检测的图像处理方法及装置
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN115327524A (zh) 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置
CN109115232B (zh) 导航的方法和装置
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113792583A (zh) 基于可行驶区域的障碍物检测方法、系统和智能终端
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant