CN115164919B - 基于双目相机的空间可行驶区域地图构建方法及装置 - Google Patents

基于双目相机的空间可行驶区域地图构建方法及装置 Download PDF

Info

Publication number
CN115164919B
CN115164919B CN202211089578.XA CN202211089578A CN115164919B CN 115164919 B CN115164919 B CN 115164919B CN 202211089578 A CN202211089578 A CN 202211089578A CN 115164919 B CN115164919 B CN 115164919B
Authority
CN
China
Prior art keywords
dimensional space
point cloud
data
data structure
space voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211089578.XA
Other languages
English (en)
Other versions
CN115164919A (zh
Inventor
谢启伟
孙钊
杨超
肖志鹏
裴姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202211089578.XA priority Critical patent/CN115164919B/zh
Publication of CN115164919A publication Critical patent/CN115164919A/zh
Application granted granted Critical
Publication of CN115164919B publication Critical patent/CN115164919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于双目相机的空间可行驶区域地图构建方法及装置，所述方法包括：通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D‑BEV数据结构；基于所述3D‑BEV数据结构，构建可行驶区域动态栅格地图。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。

Description

基于双目相机的空间可行驶区域地图构建方法及装置
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种基于双目相机的空间可行驶区域地图构建方法及装置。
背景技术
在智能车辆领域中，智能系统通过感知并分析周围的环境信息从而估计自己的运动，以实现在未知环境下的精准定位。作为智能汽车的基础，同时也是自动驾驶技术的四大核心技术之一（环境感知、精确定位、路径规划和线控执行），环境感知技术利用传感器获取道路、车辆位置和障碍物的信息，并将这些信息传递给车载控制中心，为智能汽车提供做决策的依据，在自动驾驶系统中充当“眼睛”的角色，也是实现自动驾驶最关键的环节。
在对拍摄到的原始图像进行处理时，常会用到鸟瞰图，鸟瞰图（BEV，bird’s eyeview）是自动驾驶、控制导航等领域较为常见的应用，其原理上是将三维世界(x，y，z)投影在一个二维平面(x，y)上，投影方向一般为垂直地面指向下方。在传统BEV中，可以获取BEV平面上障碍物信息，包括位置坐标、x方向上的长度、y方向的长度等信息。但是，由于投影原理，BEV数据中丢失了高度方向的信息，因此，在传统BEV的应用中，都会隐含“障碍物必须含有接地点”的假设，会导致高度方向上的信息数据丢失。
发明内容
本发明提供一种基于双目相机的空间可行驶区域地图构建方法及装置，以至少解决现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
第一方面，本发明提供一种基于双目相机的空间可行驶区域地图构建方法，所述方法包括：
通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；
基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；
基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；
基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。
进一步地，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括：
将所述三维空间体素数据结构划分为多个三维空间体素单元；
基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
进一步地，基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息，具体包括：
在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；
当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；
对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
进一步地，基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构，具体包括：
记录有效三维空间体素单元的数量；
记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；
将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3D-BEV数据结构。
进一步地，基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图，具体包括：
判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
进一步地，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
第二方面，本发明还提供一种基于双目相机的空间可行驶区域地图构建装置，所述装置包括：
点云生成单元，用于通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；
三维空间体素构建单元，用于基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；
数据结构构建单元，用于基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；
地图生成单元，用于基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
本发明提供的基于双目相机的空间可行驶区域地图构建方法，通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。
本发明所提供的方法中构造的三维鸟瞰图(3D-BEV)，不仅继承了传统BEV数据量小、结构信息保存完整的特点，而且创造性的补充了高度信息，并在维持较少数据量表征的基础上，进一步完善了空间结构信息。3D-BEV进一步丰富了传统BEV的数据内容，扩充了传统BEV的适用场景，克服了由于投影原理导致的信息数据丢失等问题。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的空间可行驶区域地图构建方法一种具体实施方式的流程图之一；
图2为视差数据生成视差点云数据结构的示意图；
图3为将视差点云数据在三维空间体素数据结构中映射统计的示意图；
图4为基于三维空间体素数据结构构造3D-BEV的示意图；
图5为地面障碍物在3D-BEV数据结构下的动态栅格示意图；
图6为限高障碍物在3D-BEV数据结构下的动态栅格示意图；
图7为本发明所提供的空间可行驶区域地图构建方法一种具体实施方式的流程图之二；
图8为本发明所提供的空间可行驶区域地图构建装置一种具体实施方式的结构框图；
图9为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，本发明提供了一种空间可行驶区域地图构建方法，以便在鸟瞰图中融合进高度参数，避免数据丢失，提高了空间可行驶区域地图构建的准确性。
请参考图1，图1为本发明所提供的空间可行驶区域地图构建方法一种具体实施方式的流程图之一。
在一种具体实施方式中，本发明提供的基于双目相机的空间可行驶区域地图构建方法包括以下步骤：
S101：通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据。
也就是说，首先利用双目相机的视差数据，生成视差点云数据结构，由视差数据生成三维点云数据的过程是本领域内的基本操作，这里不再赘述，以下对视差点云数据结构进行定义与说明。如图2所示，双目相机输出的视差数据D是与图像分辨率
Figure 572277DEST_PATH_IMAGE001
一致的二维数组，其内存储的数据即为双目视差。基于双目视差数据，可以计算得到该像素位置
Figure 489418DEST_PATH_IMAGE002
在视差值为d时，对应的三维空间点云的坐标
Figure 737996DEST_PATH_IMAGE003
。构建尺寸为
Figure 133206DEST_PATH_IMAGE004
的三维数组，r×c的维度上分别对应像素位置
Figure 947578DEST_PATH_IMAGE002
，三通道分别赋值为x/y/z坐标。
S102：基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系。三维空间体素数据结构的坐标轴如图3所示，x轴与双目相机基线（baseline）平行，y轴与相机光轴平行，z轴竖直向上，即满足笛卡尔坐标系。
S103：基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；在鸟瞰图视角下构建栅格地图，该栅格地图的尺度应与三维空间体素的尺度保持一致，或者是三维空间体素的整数倍，该实施例中以x方向w、y方向d为例进行说明。
具体地，步骤S103具体包括以下步骤：
记录有效三维空间体素单元的数量；
记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；
将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3D-BEV数据结构。
也就是说，在鸟瞰图中，对栅格位置对应的全部三维空间体素进行映射统计，映射统计的方法如下。第一步，记录有效三维空间体素的数量；第二步，并记录连续三维空间体素的起止位置，沿z轴正方向，第一个有效三维空间体素为起点，连续的最后一个有效三维空间体素为终点。第三步，将起止位置的三维空间体素数据结构同步到鸟瞰图的栅格数据结构。
如图4所示，在鸟瞰图的每一个二维栅格中记录数组（start，end，num），其中start是连续三维体素的起始点，end是连续三维体素的终止点，num是连续三维体素的数量。
S104：基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。具体地，判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
其中，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
当3D-BEV用于三维可行驶区域路径规划的时候，通畅需要提前获取以下信息：车身宽度
Figure 504461DEST_PATH_IMAGE005
、车身长度
Figure 771494DEST_PATH_IMAGE006
、车身高度
Figure 439236DEST_PATH_IMAGE007
，底盘最大可通行高度
Figure 108115DEST_PATH_IMAGE008
。基于这三个信息，一般对三维空间体素进行划分时，令x方向尺度
Figure 101479DEST_PATH_IMAGE009
，y方向尺度
Figure 527912DEST_PATH_IMAGE010
，z方向尺度
Figure 264924DEST_PATH_IMAGE011
，其中
Figure 519800DEST_PATH_IMAGE012
是一个较小的安全阈值；这样做的目的是，使得每一个空间三维体素都等于车辆本身的最小外接立体矩形的
Figure 949644DEST_PATH_IMAGE013
。
同理，则在3D-BEV的数据结构中，x方向尺度w和y方向尺度d也保证与三维空间体素的尺度相等，或是其整倍数。将3D-BEV划分为三种状态：（1）无障碍物；（2）有地面障碍物；（3）有限高障碍物。依据这三种状态可以构建可通行区域动态栅格地图。
这三种状态的划分规则如下：
（1）无障碍物。3D-BEV数据中num≤1，start=end=0；表示当前3D-BEV对应的三维空间中，有且仅有地面区域，则当前3D-BEV是可通行状态。
（2）有地面障碍物。3D-BEV数据中num≥1，start=0，end>start；表示当前3D-BEV对应的三维空间中，存在地面上的障碍物，障碍物的高度
Figure 191270DEST_PATH_IMAGE014
轴尺度。若地面障碍物高度<底盘最大可通行高度
Figure 935235DEST_PATH_IMAGE015
，则当前3D-BEV的是可以通行的，否则为不可通行状态。如图5所示，当地面障碍物可通过时，根据3D-BEV数据判定对应的动态栅格为有地面障碍物，但可通行状态，标签为2，浅色背景；当地面障碍物不可通过时，根据3D-BEV数据判定对应的动态栅格为有地面障碍物，不可通行状态，标签为2，深色背景；其他动态栅格表示为无障碍物可通行状态。
（3）有限高障碍物。3D-BEV数据中num≥1，start＞0，end≥start；表示当前3D-BEV对应的三维空间中，存在空间障碍物，障碍物的高度
Figure 578706DEST_PATH_IMAGE016
轴尺度，障碍物距离地面的高度
Figure 913872DEST_PATH_IMAGE017
轴尺度。若空间障碍物到地面的高度>车身高度
Figure 314898DEST_PATH_IMAGE018
，则当前3D-BEV是可以通行的，否则为不可通行状态。如图6所示，当限高障碍物可通过时，根据3D-BEV数据判定对应的动态栅格为有限高障碍物，但可通行状态，标签为3，浅色背景，；当限高障碍物不可通过时，根据3D-BEV数据判定对应的动态栅格为有限高障碍物，不可通行状态，标签为3，深色背景；其他动态栅格表示为无障碍物可通行状态。
在一些实施例中，为了降低点云数据中的噪声数据的比例，从而进一步提高数据处理的准确性，如图7所示，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括以下步骤：
S701：将所述三维空间体素数据结构划分为多个三维空间体素单元；
S702：基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
具体地，在上述步骤S702中，进一步包括以下步骤：
在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；
当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；
对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
具体地，在构建点云数据与图像信息的三维空间分布，并建立三维空间体素数据结构时，构建三维空间体素数据结构（体素单元的尺度可以根据实际问题进行设置，为方便下文论述，此处认为x轴方向尺度为w，y轴方向尺度为d，z轴方向尺度为h），划分三维空间体素单元。
基于前述三维点云数据，对三维空间体素进行映射统计，映射统计的方法如下。第一步，根据三维点云的坐标，判断该点云属于哪一个三维空间体素，将该点云信息归置为所属空间体素。第二步，当全部的空间点云都归属完毕后，对三维空间体素中点云数量进行数据统计，并计算三维空间体素中全部点云坐标的平均值。第三步，对三维空间体素进行基于点云密度的滤波，滤除点云数量少于一定阈值的三维空间体素内的数据信息，这样做的目的是，进一步降低噪声数据的比例。
在上述具体实施方式中，本发明提供的基于双目相机的空间可行驶区域地图构建方法，通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。
本发明所提供的方法中构造的三维鸟瞰图(3D-BEV)，不仅继承了传统BEV数据量小、结构信息保存完整的特点，而且创造性的补充了高度信息，并在维持较少数据量表征的基础上，进一步完善了空间结构信息。3D-BEV进一步丰富了传统BEV的数据内容，扩充了传统BEV的适用场景，克服了由于投影原理导致的信息数据丢失等问题。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
除了上述方法，本发明还提供一种基于双目相机的空间可行驶区域地图构建装置，如图8所示，所述装置包括：
点云生成单元801，用于通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；
三维空间体素构建单元802，用于基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；
数据结构构建单元803，用于基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；
地图生成单元804，用于基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。
进一步地，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括：
将所述三维空间体素数据结构划分为多个三维空间体素单元；
基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
进一步地，基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息，具体包括：
在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；
当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；
对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
进一步地，基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构，具体包括：
记录有效三维空间体素单元的数量；
记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；
将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3D-BEV数据结构。
进一步地，基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图，具体包括：
判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
进一步地，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
在上述具体实施方式中，本发明提供的基于双目相机的空间可行驶区域地图构建装置，通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图。
本发明所提供的装置中构造的三维鸟瞰图(3D-BEV)，不仅继承了传统BEV数据量小、结构信息保存完整的特点，而且创造性的补充了高度信息，并在维持较少数据量表征的基础上，进一步完善了空间结构信息。3D-BEV进一步丰富了传统BEV的数据内容，扩充了传统BEV的适用场景，克服了由于投影原理导致的信息数据丢失等问题。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器（processor）910、通信接口（communicationsInterface）920、存储器（memory）930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行上述方法。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于双目相机的空间可行驶区域地图构建方法，其特征在于，所述方法包括：
通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；
基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；
基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；
基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图；
基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括：
将所述三维空间体素数据结构划分为多个三维空间体素单元；
基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息；
基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息，具体包括：
在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；
当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；
对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
2.根据权利要求1所述的空间可行驶区域地图构建方法，其特征在于，基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构，具体包括：
记录有效三维空间体素单元的数量；
记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；
将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3D-BEV数据结构。
3.根据权利要求1所述的空间可行驶区域地图构建方法，其特征在于，基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图，具体包括：
判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
4.根据权利要求3所述的空间可行驶区域地图构建方法，其特征在于，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
5.一种基于双目相机的空间可行驶区域地图构建装置，其特征在于，所述装置包括：
点云生成单元，用于通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；
三维空间体素构建单元，用于基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；
数据结构构建单元，用于基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3D-BEV数据结构；
地图生成单元，用于基于所述3D-BEV数据结构，构建可行驶区域动态栅格地图；
其中，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括：
将所述三维空间体素数据结构划分为多个三维空间体素单元；
基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息；
基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息，具体包括：
在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；
当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；
对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN202211089578.XA 2022-09-07 2022-09-07 基于双目相机的空间可行驶区域地图构建方法及装置 Active CN115164919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211089578.XA CN115164919B (zh) 2022-09-07 2022-09-07 基于双目相机的空间可行驶区域地图构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211089578.XA CN115164919B (zh) 2022-09-07 2022-09-07 基于双目相机的空间可行驶区域地图构建方法及装置

Publications (2)

Publication Number Publication Date
CN115164919A CN115164919A (zh) 2022-10-11
CN115164919B true CN115164919B (zh) 2022-12-13

Family

ID=83480620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211089578.XA Active CN115164919B (zh) 2022-09-07 2022-09-07 基于双目相机的空间可行驶区域地图构建方法及装置

Country Status (1)

Country Link
CN (1) CN115164919B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115790571A (zh) * 2022-11-25 2023-03-14 中国科学院深圳先进技术研究院 基于异构无人系统相互观测的同时定位与地图构建方法
CN115877405A (zh) * 2023-01-31 2023-03-31 小米汽车科技有限公司 可行驶区域的检测方法、装置及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514354A (zh) * 2012-06-28 2014-01-15 黑龙江科技学院 一种三维点法向量的计算方法
CN103955215A (zh) * 2014-04-15 2014-07-30 桂林电子科技大学 基于手势识别的自动避障小车及其控制装置和控制方法
CN111429528A (zh) * 2020-04-07 2020-07-17 高深智图(广州)科技有限公司 大型分布式高精地图数据处理系统
CN112581612A (zh) * 2020-11-17 2021-03-30 上汽大众汽车有限公司 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11543531B2 (en) * 2018-12-19 2023-01-03 Fca Us Llc Semi-automatic LIDAR annotation system for autonomous driving
CA3126236A1 (en) * 2020-07-29 2022-01-29 Uatc, Llc Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms
CN112927363B (zh) * 2021-04-07 2024-06-18 Oppo广东移动通信有限公司 体素地图构建方法及装置、计算机可读介质和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514354A (zh) * 2012-06-28 2014-01-15 黑龙江科技学院 一种三维点法向量的计算方法
CN103955215A (zh) * 2014-04-15 2014-07-30 桂林电子科技大学 基于手势识别的自动避障小车及其控制装置和控制方法
CN111429528A (zh) * 2020-04-07 2020-07-17 高深智图(广州)科技有限公司 大型分布式高精地图数据处理系统
CN112581612A (zh) * 2020-11-17 2021-03-30 上汽大众汽车有限公司 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向城市道路场景的视觉语义同时定位与建图算法研究;赵海龙;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20220315;第C035-601页 *

Also Published As

Publication number Publication date
CN115164919A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN115164919B (zh) 基于双目相机的空间可行驶区域地图构建方法及装置
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN112419494A (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN111699410B (zh) 点云的处理方法、设备和计算机可读存储介质
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN111627001B (zh) 图像检测方法及装置
CN111880191B (zh) 基于多智能体激光雷达和视觉信息融合的地图生成方法
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
CN112446227A (zh) 物体检测方法、装置及设备
CN113859228B (zh) 一种车辆控制方法、装置、电子设备及存储介质
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN115406457A (zh) 一种可行驶区域检测方法、系统、设备及存储介质
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115375836A (zh) 基于多元置信度滤波的点云融合三维重建方法和系统
CN113763504B (zh) 地图更新方法、系统、车载终端、服务器及存储介质
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN116468870B (zh) 一种城市道路三维可视化建模方法及系统
CN112639822B (zh) 一种数据处理方法及装置
CN117197339A (zh) 一种基于dem的模型展示方法、装置、设备及存储介质
CN114743001B (zh) 语义分割方法、装置、电子设备及存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
Xiong et al. A 3d estimation of structural road surface based on lane-line information
CN114549764A (zh) 基于无人车的障碍物识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant