CN116895014A - 语义地图构建方法及装置、电子设备、存储介质 - Google Patents

语义地图构建方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN116895014A
CN116895014A CN202310678227.0A CN202310678227A CN116895014A CN 116895014 A CN116895014 A CN 116895014A CN 202310678227 A CN202310678227 A CN 202310678227A CN 116895014 A CN116895014 A CN 116895014A
Authority
CN
China
Prior art keywords
semantic
image
processed
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310678227.0A
Other languages
English (en)
Inventor
吴若溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202310678227.0A priority Critical patent/CN116895014A/zh
Publication of CN116895014A publication Critical patent/CN116895014A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例是关于一种语义地图构建方法及装置、电子设备、存储介质，涉及视觉定位技术领域，该语义地图构建方法包括：获取待处理图像，并对待处理图像进行特征提取和位姿估计，得到待处理图像的点云数据；对待处理图像进行实例分割操作，得到待处理图像的语义信息；将点云数据和语义信息进行融合，得到语义点云数据；基于语义点云数据构建待处理图像的语义地图。本公开实施例中的技术方案，能够提升语义地图构建的简便性和灵活性。

Description

语义地图构建方法及装置、电子设备、存储介质
技术领域
本公开涉及视觉定位技术领域，具体而言，涉及一种语义地图构建方法及装置、电子设备以及计算机可读存储介质。
背景技术
语义地图是指在智能手机、机器人、自动驾驶等智能系统中，通过对环境中对象的识别、分类和定位，以及各对象之间关系的推理和建模，构建出一个图形化的语义信息表示，以实现人机交互、自主导航等功能。
相关技术中，通常基于深度相机和激光雷达来实现语义地图的构建，设备成本较高，难以在工业上广泛使用，且图像的采集工具往往局限于机器人、自动驾驶车辆等智能设备，具有一定的局限性，得到的语义地图的准确性较低。
发明内容
本公开的目的在于提供一种语义地图构建方法及装置、电子设备以及计算机可读存储介质，进而至少在一定程度上提升语义地图构建的简便性和灵活性。
根据本公开的第一方面，提供一种语义地图构建方法，包括：获取待处理图像，并对待处理图像进行特征提取和位姿估计，得到待处理图像的点云数据；对待处理图像进行实例分割操作，得到待处理图像的语义信息；将点云数据和语义信息进行融合，得到语义点云数据；基于语义点云数据构建待处理图像的语义地图。
根据本公开的第二方面，提供一种语义地图构建装置，包括：点云数据获取模块，用于获取待处理图像，并对待处理图像进行特征提取和位姿估计，得到待处理图像的点云数据；语义信息获取模块，用于对待处理图像进行实例分割操作，得到待处理图像的语义信息；信息融合模块，用于将点云数据和语义信息进行融合，得到语义点云数据；地图构建模块，用于基于语义点云数据构建待处理图像的语义地图。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述第一方面的语义地图构建方法及其可能的实现方式。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面的语义地图构建方法及其可能的实现方式。
本公开实施例中提供的技术方案中，一方面，语义地图构建时的待处理图像可以无需利用深度相机和激光雷达来获取，而是可以通过单目相机来获取，成本较低，能够在大范围内应用，从而提高了语义地图构建的简便性，增加了应用范围和通用性；另一方面，由于待处理图像可以为彩色图像，因此待处理图像可以通过智能手机、便携式计算机和平板电脑等任何带有彩色相机的设备来获取，从而避免了相关技术中使用深度相机以及其他智能设备的局限性，提高了语义地图构建的灵活性；再一方面，通过对待处理图像进行特征提取、位姿估计以及实例分割操作，进而得到语义点云数据，并基于具有语义信息的语义点云数据构建语义地图，使得地图中包含了语义信息，从而提高了语义地图构建的准确性和可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的语义地图构建方法的应用场景的示意图。
图2示意性示出本公开实施例一种语义地图构建方法的流程示意图。
图3示意性示出本公开实施例中得到待处理图像的点云数据的流程示意图。
图4示意性示出本公开实施例中通过惯性测量数据获取点云数据的过程示意图。
图5示意性示出本公开实施例的掩膜区域卷积神经网络的框架示意图。
图6示意性示出本公开实施例的子网格的像素值求取的可视化图示意图。
图7示意性示出本公开实施例的利用惯性测量数据进行语义地图构建的效果示意图。
图8示意性示出本公开实施例一种语义地图构建方法的整体流程示意图。
图9示意性示出本公开实施例中一种语义地图构建装置的框图。
图10示意性示出本公开实施例中电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其他的方法、组元、装置、步骤等。在其他情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在本公开的一些实施例中，在进行语义地图构建时主要分为基于视觉的语义地图构建方法和基于激光的语义地图构建方法。其中，基于视觉的语义地图构建方法通常采用深度相机来实现，且大多是在基于单目、双目或深度相机的同时定位与地图构建(ORB-SLAM2)框架上进行的改进，例如：Dynamic Scene Structured Light SLAM(DS-SLAM)方法是基于深度相机添加了语义分割和稠密地图模块；Oriented FAST and Rotated BRIEF-Single Shot MultiBox Detector(ORB-SSD)方法是基于深度相机添加关键帧的目标检测等。而基于激光的语义地图大多是采用激光雷达实现的，其通过深度学习网络和激光雷达获取的点云来完成语义地图的构建，基于投影或基于点的方法来实现点云的语义分割，例如：压缩卷积神经网络(SqueezeNet)、基于激光雷达的点云实时分割和目标检测神经网络(RangeNet++)等是基于投影实现的，点云网络(PointNet)等是基于点实现的。
但是，基于视觉的语义地图构建方法和基于激光的语义地图构建方法中，通常使用深度相机和激光雷达来实现，成本较高，难以在工业上大范围使用，简便性较差；且采集工具往往局限于机器人、自动驾驶等复杂度较高的智能设备，灵活性较差。
为了解决上述技术问题，本公开实施例中提供了一种语义地图构建方法，可以应用于通过待处理图像，对应用场景进行简便和灵活的语义地图构建。应用场景可以为室内场景或者是其它类型的场景等等，此处以室内场景为例进行说明。
图1示出了可以应用本公开实施例的语义地图构建方法及装置的系统架构的示意图。
如图1所示，系统构架100可以包括具有图像采集功能的终端101、网络及服务器102等。其中，网络可以用于在终端和服务器之间提供通信链路的传输介质，主要用于将待处理图像传输至服务器。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端101可以是各种装配有单目彩色摄像机的终端设备等，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端101、服务器102的数目仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备及服务器。比如服务器可以是多个服务器组成的服务器集群等。
举例而言，本公开实施例中，终端101可以获取待处理图像，并将待处理图像通过网络发送至服务器102。服务器102在接收到待处理图像后，先对待处理图像进行特征提取和位姿估计，得到待处理图像的点云数据，然后对待处理图像进行实例分割操作，得到待处理图像的语义信息，接着将点云数据和语义信息进行融合，得到语义点云数据，从而基于语义点云数据构建待处理图像的语义地图，最后将语义地图通过网络发送至终端101并进行展示，以基于语义地图进行后续处理。后续处理可以为导航、避障识别等等。
除此之外，也可以是终端获取待处理图像，无需将其发送至服务器，在终端上对待处理图像进行特征提取、位姿估计以及实例分割操作，得到待处理图像的点云数据和语义信息，进而将点云数据和语义信息进行融合，得到语义点云数据，最后基于语义点云数据构建待处理图像的语义地图，并进行显示。此处对执行主体不作限定。
但本领域技术人员容易理解的是，上述应用场景仅是用于举例，本示例性实施例中并不以此为限。基于此，本公开实施例中，提供了一种语义地图构建方法。参考图2中所示，对本公开实施例中的语义地图构建方法的各个步骤进行详细说明。
在步骤S210中，获取待处理图像，并对待处理图像进行特征提取和位姿估计，得到待处理图像的点云数据。
本公开实施例中，待处理图像可以是彩色图像(RGB图像)，还可以是灰度图像等等，具体类型可根据实际需求进行确定，本公开实施例中以待处理图像为彩色图像为例进行说明。
具体地，待处理图像可以通过常用的单目相机来获取，例如鱼眼相机、针孔相机、智能手机设备上的单目彩色相机等，此处不作具体限定。相较于深度相机和激光雷达，单目相机的成本较低且易于部署，且单目相机的搭载设备较多，例如便携式计算机、智能手机和平板电脑等等，都可以用于待处理图像的获取，而深度相机和激光雷达往往搭载于机器人、自动驾驶车辆等不易便携的智能设备上，因此，本公开中通过单目相机来获取待处理图像，可以提高语义建图的简便性和灵活性。
本公开实施例中，位姿估计(Pose Estimation)可以表示根据图像数据传感器获得的数据，估计物体、相机或其他可感知实体在三维空间中的位置和朝向。点云数据可以表示用于描述物体位置的三维点组成的数据集合。
图3中示意性示出了得到待处理图像的点云数据的流程图，参考图3中所示，主要包括以下步骤：
在步骤S310中，对待处理图像进行特征提取，得到待处理图像中的多个二维特征点。
本公开实施例中，对待处理图像进行特征提取，可以采用尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)特征点检测的方法。具体地，利用鱼眼相机模型或针孔相机模型等相机传感器模型，基于彩色图片数据，使用SIFT算法对待处理图像进行特征点检测，确定特征点和尺度空间信息。对于每个特征点，通过局部梯度的方向确定其主方向，以提高特征点的旋转不变性。然后对于每个特征点，以主方向为中心，在周围区域内抽取样本点，并计算样本点与主方向的相对位置和差异等信息，生成包含128维的描述子。此外，由于光照变化可能会影响描述子的匹配，因此需要对生成的描述子进行归一化处理，最终得到待处理图像中的多个二维特征点。通过进行归一化，可消除光照的影响。在一些实施例中，还可以通过加速鲁棒特征(Speeded Up Robust Features，SURF)及方向性的速度优化特征和旋转不变特征(Oriented FAST and rotated BRIEF，ORB)等算法来获取待处理图像中的二维特征点，此处不做具体限定。
在步骤S320中，对待处理图像中不同帧图像的多个二维特征点进行匹配，得到特征点匹配对。
本公开实施例中，在得到多个二维特征点之后，可以基于二维特征点的距离来得到特征点匹配对。示例性地，可以通过两个相邻帧图像中的二维特征点的距离来得到特征点匹配对。在一些实施例中，对待处理图像中不同帧图像的多个二维特征点进行匹配，得到特征点匹配对，主要包括以下步骤：确定待处理图像中不同帧图像的特征点之间的距离；基于距离确定特征点匹配对。
具体地，可以采用暴力匹配，计算两个不同图像中的二维特征点的欧式距离，计算公式如公式(1)所示：
其中，x，y分别表示不同图像中的二维特征点。
在得到不同帧图像的特征点的距离之后，可以通过K最近邻匹配算法(K-NearestNeighbors matching algorithm，KNN)来对两个不同图像中的二维特征点进行匹配，得到多个特征点匹配对。
在步骤S330中，基于特征点匹配对和惯性测量数据确定相机位姿信息。
本公开实施例中，惯性测量数据可以表示通过惯性测量单元(InertialMeasurement Unit,IMU)测量得到的物体在空间中的运动状态数据，可以包含物体的线性加速度、角速度和方向等运动参数。
在一些实施例中，基于特征点匹配对和惯性测量数据确定相机位姿信息，主要包括以下步骤：结合特征点匹配对和惯性测量数据确定方位信息，以得到旋转矩阵；利用位移模型和卡尔曼滤波对惯性测量数据进行处理，确定位置信息，以得到平移矩阵；根据旋转矩阵和平移矩阵确定相机位姿信息。
其中，结合惯性测量数据可以得到带有尺度信息的图像的旋转矩阵和平移矩阵，以得到真实世界中的相机位姿。基于惯性测量数据，可以先进行方位估计，即通过降噪模型完成旋转矩阵的求取；然后通过位移模型和卡尔曼滤波估计位置信息，以得到平移矩阵，最终获得相机在世界坐标系中的位姿。具体地，旋转矩阵和平移矩阵可以通过传感器降噪模型和位移估计模型获取。其中，传感器降噪模型以积分得到的旋转与真值的差作为误差函数；位移估计模型以输出的平移与对应的真值的差值作为误差函数，通过卡尔曼滤波估计位置。其中，传感器降噪模型以及位移估计模型的模型训练过程中需要的真值数据，可通过人工的微调和修正获取。即，真值可以对根据特征点匹配对计算得到的旋转矩阵和平移矩阵进行人工微调和修正得到。
在步骤S340中，结合相机位姿信息对二维特征点进行三角化，得到点云数据。
本公开实施例中，三角化可以用于利用相机位姿信息，将二维的特征点转换为三维的点云数据。具体地，可以基于步骤S330中得到的旋转矩阵和平移矩阵，通过直接线性变换法(Direct Linear Transformation，DLT)对二维特征点进行三角化，得到三维的点云数据。利用DLT进行三角化的公式如公式(2)所示：
其中，x表示二维的特征点，R表示旋转矩阵，t表示平移矩阵，X表示需要求取的三维的点云数据。
图4示意性示出了通过惯性测量数据获取点云数据的具体过程。具体地，利用惯性测量单元获取惯性测量数据，惯性测量单元可以包括：陀螺仪、加速度计以及磁力计，其中，陀螺仪可以用于获取旋转角度和角速度信息，加速度计可以用于获取加速度和倾斜角度信息，磁力计可以用于获取方向和位置信息。利用相机传感器获取彩色图像。然后，将惯性测量单元数据作为和彩色图像作为模型输入，对彩色图像进行特征提取和特征匹配，得到多个二维特征点；利用惯性测量数据进行方向估计(orientation estimation)、位置估计(translation estimation)和六自由度姿态(6DOF POSE)获取，得到相机位姿信息。最后，结合相机位姿信息对二维特征点进行三角化处理，得到三维的点云数据。
继续参考图2中所示，在步骤S220中，对待处理图像进行实例分割操作，得到待处理图像的语义信息。
本公开实施例中，实例分割可以表示将图像中的实例进行识别并将其像素级别地分割出来。通过实例分割，可以在同一类别中区分不同物体之间的边界，即将同类别的物体从像素级别分割出来，并分配唯一的标识，从而实现对图像中物体的精确识别。语义信息可以表示图像中物体的详细信息，例如类别、形状、颜色等等。
在一些实施例中，对待处理图像进行实例分割操作，得到待处理图像的语义信息，主要包括以下步骤：对待处理图像进行扫描操作，得到待处理图像对应的特征图，并确定特征图中每个像素点的候选感兴趣区域；基于双线性插值将每个像素点的候选感兴趣区域进行对齐，得到对齐后的候选感兴趣区域；对对齐后的候选感兴趣区域进行分类、边框回归以及分割操作，得到语义信息。
本公开实施例中，可以利用掩膜区域卷积神经网络(Mask Region-basedConvolutional Neural Network，Mask-RCNN)对待处理图像进行实例分割，获取待处理图像的语义信息，其中，Mask-RCNN是在快速区域卷积神经网络(Faster Region-basedConvolutional Neural Network，Faster-RCNN)的框架基础上进行的改造，通过添加全卷积神经网络(FCN)完成了分类、回归和分割任务。
图5示意性示出了掩膜区域卷积神经网络的具体框架。具体地，将待处理的彩色图像作为模型的输入，并进行尺寸、归一化等预处理，将处理好的彩色图像输入预训练的神经网络中，对图像进行扫描，得到待处理图像对应的特征图；然后利用区域兴趣对齐(RolAlign)算法，确定特征图中的每个像素点的候选感兴趣区域，并基于双线性差值将每个像素点的候选感兴趣区域进行对齐，得到对齐后的候选感兴趣区域，其中，为了获得更多的候选感兴趣区域，可以对特征图中的每个点都预设候选感兴趣区域(Region ofinterest，ROI)数量，并将所有候选感兴趣区域都送入到区域提议网络(Region PropasalNetwork，RPN)中，并按照候选感兴趣区域的覆盖率即在检测边框中的面积占比，过滤掉覆盖率低于覆盖率阈值候选的ROI；最后利用卷积神经网络对对齐后的候选感兴趣区域进行分类、边框回归以及分割操作，得到待处理图像的语义信息。本公开实施例中，语义信息可以包括待处理图像中包含的物体的类别信息、检测框以及轮廓信息。
在一些实施例中，基于双线性插值将每个像素点的候选感兴趣区域进行对齐，得到对齐后的候选感兴趣区域，主要包括以下步骤：对特征图进行缩放，得到缩放后的特征图；将缩放后的特征图中，每个像素点的候选感兴趣区域对应的网格进行划分得到多个子网格；通过双线性插值得到每个子网格的像素值，并根据每个子网格的像素值确定候选感兴趣区域对应的网格的像素值，以得到对齐后的候选感兴趣区域。
具体地，可以将特征图进行缩放，缩小为原来的7倍或者其他倍数；然后将缩放后的特征图中，每个像素点的候选感兴趣区域对应的网格进行划分以得到多个子网格。示例性地，可以将每个网格平均划分为4个部分，得到多个子网格。接着通过双线性插值得到每个子网格的像素值。参考图6中所示的子网格的像素值求取的可视化图，其中，P点为插值像素点，P点的像素值即该网格的像素值，Q11点、Q12点、Q21点和Q22点分别表示子网格四个角的特征点，则P点的像素值f(x，y)可通过公式(3)得到：
其中，(x，y)表示P点的坐标，(x1，y1)表示Q11点的坐标，(x1，y2)表示Q12点的坐标，(x2，y1)表示Q21点的坐标，(x2，y2)表示Q22点的坐标，f表示每个点处的像素值。
在得到每个子网格的像素值之后，可将子网格中的最大像素值作为该网格的像素值。示例性地，若网格被划分为4个子网格，则将这4个子网格中最大的像素值作为该网格的像素值，从而得到对齐后的候选感兴趣区域。通过对候选感兴趣区域进行对齐，可减少量化误差，提高准确性。
在一些实施例中，基于对齐后的候选感兴趣区域进行分类、边框回归以及分割操作，得到语义信息，主要包括以下步骤：对对齐后的候选感兴趣区域进行分类，得到候选感兴趣区域的类别信息；对对齐后的候选感兴趣区域进行边框回归，得到候选感兴趣区域包含的检测框；对候选感兴趣区域的检测框内的图像进行分割操作，得到轮廓信息；基于类别信息、检测框以及轮廓信息，确定语义信息。
具体地，将对齐后的候选感兴趣区域进行分类和边框(bounding box)回归，从而得到候选感兴趣区域的类别信息和检测框，检测到物体在图像中的位置及大小。同时利用一个全卷积神经网络(Fully Convolutional Networks，FCN)，对图像进行卷积和池化，使特征图的尺寸逐渐减小，然后对特征图进行转置卷积和插值，并不断增大特征图的尺寸。接着，对候选感兴趣区域内的图像进行分割操作，得到图像中包含的物体的轮廓信息。最后，将候选感兴趣区域的类别信息、检测框及物体的轮廓信息作为待处理图像的语义信息。
继续参考图2中所示，在步骤S230中，将点云数据和语义信息进行融合，得到语义点云数据。
本公开实施例中，语义点云数据可以表示包含待处理图像的语义信息的点云数据。
在一些实施例中，将点云数据和语义信息进行融合，得到语义点云数据，具体包括以下步骤：遍历点云数据中的三维特征点，并确定与三维特征点对应的二维特征点；按照二维特征点的语义信息以及检测框，对三维特征点以及语义信息进行融合，得到语义点云数据。
具体地，基于上述步骤S210，可以得到世界坐标系下的三维点云数据，基于上述步骤S220，可以得到每张待处理图像所对应的语义信息，包含类别信息、检测框及轮廓信息。将点云数据、类别信息、检测框及轮廓信息以TXT的形式进行存储，然后将点云数据和语义信息进行数据关联：首先遍历所有的点云数据的相关三维数据，包括点云数据对应的旋转矩阵和平移矩阵、点云数据和二维特征点之间的对应关系以及和待处理图像的对应关系；提取出每个点云数据对应的二维特征点信息，包含二维特征点的像素坐标和对应的点云数据的索引；最后，按照二维特征点的语义信息以及检测框，对三维特征点以及语义信息进行融合，得到语义点云数据。
在一些实施例中，确定与三维特征点对应的二维特征点，具体包括以下步骤：从三维特征点对应的多个图像的所有二维特征点中，将检测框覆盖的三维特征点的数量最大的图像中的二维特征点，作为三维特征点对应的二维特征点。
具体地，每个三维特征点可以对应多张图像中的二维特征点，为了提高准确性，可以选择一张图像来确定每个三维特征点对应的二维特征点。示例性地，可根据三维特征点的覆盖率来选择与每个三维特征点对应的二维特征点。具体地，确定每张图像中该二维特征点所对应的检测框内所覆盖的三维特征点的数量，采用投票和取最大值的方式进行选取，将数量最大的检测框对应的二维特征点和三维特征点相关联，提取每个三维特征点对应的二维特征点的信息，具体可以包括二维特征点的像素坐标以及对应三维特征点的索引等等。
在一些实施例中，按照二维特征点的语义信息以及检测框，对三维特征点以及语义信息进行融合，得到语义点云数据，具体包括以下步骤：响应于二维特征点在检测框内，提取二维特征点的语义信息；将二维特征点对应的三维特征点，与二维特征点的语义信息进行融合，得到语义点云数据。
其中，若三维特征点对应的二维特征点位于检测框内，表示该三维特征点和二维特征点可以相互关联，由于二维特征点具有语义信息，因此可以基于三维特征点与二维特征点之间的对应关系，将该二维特征点所对应的语义信息，包括类别信息、检测框以及轮廓信息和三维特征点进行融合，最终得到具有语义信息的点云数据，即语义点云数据。
继续参考图2中所示，在步骤S240中，基于语义点云数据构建待处理图像的语义地图。
其中，语义地图可以表示用于描述场景语义信息的高级数据结构，其通过把环境分解为几何和语义信息层次来表示环境信息。因为语义点云数据包含语义信息，所以基于三维的语义点云数据构建的语义地图也就包含了待处理图像中的语义信息。
在一些实施例中，基于语义点云数据构建待处理图像的语义地图，具体包括以下步骤：通过主成分分析得到语义点云数据对应的法向量；通过法向量以及语义点云数据进行泊松重建，将语义点云数据转化为等值面，得到重构表面；将重构表面进行渲染，得到语义地图。
具体地，将包含语义信息的语义点云数据进行格式转换，使其轻量化。对语义点云数据进行去噪处理，以过滤噪点，减少对后续步骤的影响；然后，通过主成分分析(Principal Component Analysis，PCA)计算语义点云数据对应的法向量，求取质心，为地图构建提供正确的约束和方向；接着，利用法向量和语义点云数据进行泊松重建，将语义点云数据转化为等值面，得到重构表面，其中，泊松重建是一种基于下采样和统计方法的重建算法，其主要思想是通过求解泊松方程来构造点云的稠密网格表面；最后，可以基于mesh地图对重构表面进行渲染，其中，基于mesh地图的存储方式，可以大大降低点云的数量，实现低功耗建图。
在一些实施例中，对本公开的语义地图构建方法进行测试，参考图7中所示的利用惯性测量数据进行语义地图构建的效果。其中，测试地点位于某个实验室，利用智能手机进行图像采集，包括采集惯性测量(IMU)数据和RGB图像。从图7中可以看出，如果不引入智能手机的IMU数据，则得到的相机的轨迹是断裂的，而加入了IMU数据后，相机的轨迹是丝滑的。因此，基于惯性测量数据来估计相机位姿，能够得到更加准确的相机轨迹。
图8示意性示出了一种语义地图构建的流程图，具体包括以下步骤：首先，获取彩色图像，然后对彩色图像进行视觉建图，得到彩色图像对应的点云数据，此部分可以基于旋转不变特征(Oriented FAST and rotated BRIEF，ORB)、视觉-惯性里程计(Visual-Inertial Odometry、VIO)等算法来完成。对彩色图像进行实例分割，得到彩色图像对应的语义信息，此部分可以利用Mask-RCNN框架来完成。接着，将点云数据和语义信息进行融合，得到语义点云数据。最后基于语义点云数据完成mesh语义地图的构建。
本公开实施例所提供的语义地图构建方法，可以应用于智能手机或机器人的家庭室内定位等场景中，用户可以通过智能手机或机器人简便且灵活地完成语义地图的构建，智能设备基于语义地图可以更好地理解环境信息，获得人机或物机交互等业务逻辑的高层次语义信息，从而可以使智能手机在VR或AR导航上提供更好的用户视觉体验，也可以使机器人在智能避障、识别、交互等方面更高效和准确。
示例性的，在某一室内场景中，智能手机或机器人获得RGB图像数据后，进行特征提取和特征匹配，得到二维特征点，通过IMU对齐视觉运动恢复结构(Structure fromMotion，SFM)，获得尺度信息，基于尺度信息对二维特征点进行三角化处理，得到点云数据，并基于点云数据完成视觉建图；同时并行对RGB图像进行实例分割，获得语义信息，与视觉地图进行松耦合，获得语义地图；最后以mesh轻量级地图的格式对该语义地图进行表示。在室内无GPS的情况下，也能实现语义建图，可以基于该语义地图完成机器人的自主导航等功能。
本公开实施例中提供的技术方案中，一方面，语义地图构建时的待处理图像可以无需利用深度相机和激光雷达来获取，而是可以通过单目相机来获取，成本较低，能够在大范围内应用，从而提高了语义地图构建的简便性，增加了应用范围和通用性；另一方面，由于待处理图像可以为彩色图像，因此待处理图像可以通过智能手机、便携式计算机和平板电脑等任何带有彩色相机的设备来获取，从而避免了相关技术中使用深度相机以及其他智能设备的局限性，提高了语义地图构建的灵活性；再一方面，通过对待处理图像进行特征提取、位姿估计以及实例分割操作，进而得到语义点云数据，并基于具有语义信息的语义点云数据构建语义地图，使得地图中包含了语义信息，从而提高了语义地图构建的准确性和可靠性；再一方面，基于mesh的语义地图构建，可以大大降低点云的数量，减少语义地图构建的功耗，实现了室内家庭场景的低成本低功耗语义建图。
本公开实施例中提供了一种语义地图构建装置，参考图9中所示，该语义地图构建装置900可以包括：点云数据获取模块901、语义信息获取模块902、信息融合模块903以及地图构建模块904，其中：
点云数据获取模块901可以用于获取待处理图像，并对待处理图像进行特征提取和位姿估计，得到待处理图像的点云数据；
语义信息获取模块902可以用于对待处理图像进行实例分割操作，得到待处理图像的语义信息；
信息融合模块903可以用于将点云数据和语义信息进行融合，得到语义点云数据；
地图构建模块904可以用于基于语义点云数据构建待处理图像的语义地图。
在本公开的一种示例性实施例中，点云数据获取模块包括：二维特征点模块，用于对待处理图像进行特征提取，得到待处理图像中的多个二维特征点；特征点匹配对模块，用于对待处理图像中不同帧图像的多个二维特征点进行匹配，得到特征点匹配对；位姿信息获取模块，用于基于特征点匹配对和惯性测量数据确定相机位姿信息；三角化模块，用于结合相机位姿信息对二维特征点进行三角化，得到点云数据。
在本公开的一种示例性实施例中，特征点匹配对模块被配置为：确定待处理图像中不同帧图像的特征点之间的距离；基于距离确定特征点匹配对。
在本公开的一种示例性实施例中，位姿信息获取模块被配置为：结合特征点匹配对和惯性测量数据确定方位信息，以得到旋转矩阵；利用位移模型和卡尔曼滤波对惯性测量数据进行处理，确定位置信息，以得到平移矩阵；根据旋转矩阵和平移矩阵确定相机位姿信息。
在本公开的一种示例性实施例中，语义信息获取模块包括：候选感兴趣区域模块，用于对待处理图像进行扫描操作，得到待处理图像对应的特征图，并确定特征图中每个像素点的候选感兴趣区域；区域对齐模块，用于基于双线性插值将每个像素点的候选感兴趣区域进行对齐，得到对齐后的候选感兴趣区域；分类及分割模块，用于对对齐后的候选感兴趣区域进行分类、边框回归以及分割操作，得到语义信息。
在本公开的一种示例性实施例中，候选感兴趣区域模块被配置为：对特征图进行缩放，得到缩放后的特征图；将缩放后的特征图中，每个像素点的候选感兴趣区域对应的网格进行划分得到多个子网格；通过双线性插值得到每个子网格的像素值，并根据每个子网格的像素值确定候选感兴趣区域对应的网格的像素值，以得到对齐后的候选感兴趣区域。
在本公开的一种示例性实施例中，分类及分割模块被配置为：对对齐后的候选感兴趣区域进行分类，得到候选感兴趣区域的类别信息；对对齐后的候选感兴趣区域进行边框回归，得到候选感兴趣区域包含的检测框；对候选感兴趣区域的检测框内的图像进行分割操作，得到轮廓信息；基于类别信息、检测框以及轮廓信息，确定语义信息。
在本公开的一种示例性实施例中，信息融合模块包括：特征点对应模块，用于遍历点云数据中的三维特征点，并确定与三维特征点对应的二维特征点；语义点云数据模块包括，用于按照二维特征点的语义信息以及检测框，对三维特征点以及语义信息进行融合，得到语义点云数据。
在本公开的一种示例性实施例中，特征点对应模块被配置为：从三维特征点对应的多个图像的所有二维特征点中，将检测框覆盖的三维特征点的数量最大的图像中的二维特征点，作为三维特征点对应的二维特征点。
在本公开的一种示例性实施例中，语义点云数据被配置为：响应于二维特征点在检测框内，提取二维特征点的语义信息；将二维特征点对应的三维特征点，与二维特征点的语义信息进行融合，得到语义点云数据。
在本公开的一种示例性实施例中，地图构建模块被配置为：通过主成分分析得到语义点云数据对应的法向量；通过法向量以及语义点云数据进行泊松重建，将语义点云数据转化为等值面，得到重构表面；将重构表面进行渲染，得到语义地图。
需要说明的是，上述语义地图构建装置中各部分的具体细节在对应方法的部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供一种电子设备。该电子设备可以是移动终端设备。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述语义地图构建方法。
下面以图10中的移动终端1000为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图10中的构造也能够应用于固定类型的设备。
如图10所示，移动终端1000具体可以包括：处理器1001、存储器1002、总线1003、移动通信模块1004、天线1、无线通信模块1005、天线2、显示屏1006、摄像模块1007、音频模块1008、电源模块1009与传感器模块1010。
处理器1001可以包括一个或多个处理单元，例如：处理器1001可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的语义地图构建方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行，例如NPU可以加载神经网络参数并执行神经网络相关的算法指令。
编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1000可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
处理器1001可以通过总线1003与存储器1002或其他部件形成连接。
存储器1002可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1001通过运行存储在存储器1002的指令，执行移动终端1000的各种功能应用以及数据处理。存储器1002还可以存储应用数据，例如存储图像，视频等文件。
移动终端1000的通信功能可以通过移动通信模块1004、天线1、无线通信模块1005、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1004可以提供应用在移动终端1000上3G、4G、5G等移动通信解决方案。无线通信模块1005可以提供应用在移动终端1000上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏1006用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1007用于实现拍摄功能，如拍摄图像、视频等，且摄像模块中可以包含色温传感器阵列。音频模块1008用于实现音频功能，如播放音频，采集语音等。电源模块1009用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1010可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块1010可以包括惯性传感器，其用于检测移动终端1000的运动位姿，输出惯性传感数据。
需要说明的是，本公开实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (14)

1.一种语义地图构建方法，其特征在于，包括：
获取待处理图像，并对所述待处理图像进行特征提取和位姿估计，得到所述待处理图像的点云数据；
对所述待处理图像进行实例分割操作，得到所述待处理图像的语义信息；
将所述点云数据和所述语义信息进行融合，得到语义点云数据；
基于所述语义点云数据构建所述待处理图像的语义地图。
2.根据权利要求1所述的语义地图构建方法，其特征在于，所述对所述待处理图像进行特征提取和位姿估计，得到所述待处理图像的点云数据，包括：
对所述待处理图像进行特征提取，得到所述待处理图像中的多个二维特征点；
对所述待处理图像中不同帧图像的所述多个二维特征点进行匹配，得到特征点匹配对；
基于所述特征点匹配对和惯性测量数据确定相机位姿信息；
结合所述相机位姿信息对所述二维特征点进行三角化，得到所述点云数据。
3.根据权利要求2所述的语义地图构建方法，其特征在于，所述对所述待处理图像中不同帧图像的多个特征点进行匹配，得到特征点匹配对，包括：
确定所述待处理图像中不同帧图像的特征点之间的距离；
基于所述距离确定所述特征点匹配对。
4.根据权利要求2所述的语义地图构建方法，其特征在于，所述基于所述特征点匹配对和惯性测量数据确定相机位姿信息，包括：
结合所述特征点匹配对和所述惯性测量数据确定方位信息，以得到旋转矩阵；
利用位移模型和卡尔曼滤波对所述惯性测量数据进行处理，确定位置信息，以得到平移矩阵；
根据所述旋转矩阵和所述平移矩阵确定所述相机位姿信息。
5.根据权利要求1所述的语义地图构建方法，其特征在于，所述对所述待处理图像进行实例分割操作，得到所述待处理图像的语义信息，包括：
对所述待处理图像进行扫描操作，得到所述待处理图像对应的特征图，并确定所述特征图中每个像素点的候选感兴趣区域；
基于双线性插值将所述每个像素点的候选感兴趣区域进行对齐，得到对齐后的候选感兴趣区域；
对所述对齐后的候选感兴趣区域进行分类、边框回归以及分割操作，得到所述语义信息。
6.根据权利要求5所述的语义地图构建方法，其特征在于，所述基于双线性插值将每个像素点的候选感兴趣区域进行对齐，得到对齐后的候选感兴趣区域，包括：
对所述特征图进行缩放，得到缩放后的特征图；
将所述缩放后的特征图中，每个像素点的所述候选感兴趣区域对应的网格进行划分得到多个子网格；
通过双线性插值得到每个所述子网格的像素值，并根据每个所述子网格的像素值确定所述候选感兴趣区域对应的网格的像素值，以得到对齐后的候选感兴趣区域。
7.根据权利要求5所述的语义地图构建方法，其特征在于，所述对所述对齐后的候选感兴趣区域进行分类、边框回归以及分割操作，得到所述语义信息，包括：
对所述对齐后的候选感兴趣区域进行分类，得到所述候选感兴趣区域的类别信息；
对所述对齐后的所述候选感兴趣区域进行边框回归，得到所述候选感兴趣区域包含的检测框；
对所述候选感兴趣区域的所述检测框内的图像进行分割操作，得到轮廓信息；
基于所述类别信息、所述检测框以及所述轮廓信息，确定所述语义信息。
8.根据权利要求2所述的语义地图构建方法，其特征在于，所述将所述点云数据和所述语义信息进行融合，得到语义点云数据，包括：
遍历所述点云数据中的三维特征点，并确定与所述三维特征点对应的所述二维特征点；
按照所述二维特征点的语义信息以及检测框，对所述三维特征点以及所述语义信息进行融合，得到语义点云数据。
9.根据权利要求8所述的语义地图构建方法，其特征在于，所述确定与所述三维特征点对应的所述二维特征点，包括：
从所述三维特征点对应的多个图像的所有所述二维特征点中，将所述检测框覆盖的所述三维特征点的数量最大的图像中的所述二维特征点，作为所述三维特征点对应的二维特征点。
10.根据权利要求8所述的语义地图构建方法，其特征在于，所述按照所述二维特征点的语义信息以及检测框，对所述三维特征点以及所述语义信息进行融合，得到语义点云数据，包括：
响应于所述二维特征点在所述检测框内，提取所述二维特征点的语义信息；
将所述二维特征点对应的所述三维特征点，与所述二维特征点的语义信息进行融合，得到语义点云数据。
11.根据权利要求1所述的语义地图构建方法，其特征在于，所述基于所述语义点云数据构建所述待处理图像的语义地图，包括：
通过主成分分析得到所述语义点云数据对应的法向量；
通过所述法向量以及所述语义点云数据进行泊松重建，将所述语义点云数据转化为等值面，得到重构表面；
将所述重构表面进行渲染，得到所述语义地图。
12.一种语义地图构建装置，其特征在于，包括：
点云数据获取模块，用于获取待处理图像，并对所述待处理图像进行特征提取和位姿估计，得到所述待处理图像的点云数据；
语义信息获取模块，用于对所述待处理图像进行实例分割操作，得到所述待处理图像的语义信息；
信息融合模块，用于将所述点云数据和所述语义信息进行融合，得到语义点云数据；
地图构建模块，用于基于所述语义点云数据构建所述待处理图像的语义地图。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任意一项所述的语义地图构建方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任意一项所述的语义地图构建方法。
CN202310678227.0A 2023-06-08 2023-06-08 语义地图构建方法及装置、电子设备、存储介质 Pending CN116895014A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310678227.0A CN116895014A (zh) 2023-06-08 2023-06-08 语义地图构建方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310678227.0A CN116895014A (zh) 2023-06-08 2023-06-08 语义地图构建方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN116895014A true CN116895014A (zh) 2023-10-17

Family

ID=88312770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310678227.0A Pending CN116895014A (zh) 2023-06-08 2023-06-08 语义地图构建方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN116895014A (zh)

Similar Documents

Publication Publication Date Title
US10915114B2 (en) Method and apparatus for combining data to construct a floor plan
CN108027877B (zh) 用于非障碍区检测的系统和方法
CN113096185B (zh) 视觉定位方法、视觉定位装置、存储介质与电子设备
CN112258565B (zh) 图像处理方法以及装置
CN112269851A (zh) 地图数据更新方法、装置、存储介质与电子设备
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
CN115880555B (zh) 目标检测方法、模型训练方法、装置、设备及介质
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN115421158B (zh) 自监督学习的固态激光雷达三维语义建图方法与装置
Ruf et al. Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision
CN113140036A (zh) 一种三维建模方法、装置、设备及存储介质
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN116222577A (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN113628334A (zh) 视觉slam方法、装置、终端设备及存储介质
CN117423065A (zh) 受限空间下目标识别与区域分割的多模态耦合感知方法
CN116883961A (zh) 一种目标感知方法以及装置
US11417063B2 (en) Determining a three-dimensional representation of a scene
CN113916223B (zh) 定位方法及装置、设备、存储介质
CN116895014A (zh) 语义地图构建方法及装置、电子设备、存储介质
CN114943785A (zh) 地图构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination