CN114754779A - 一种定位与建图方法、装置及电子设备 - Google Patents

一种定位与建图方法、装置及电子设备 Download PDF

Info

Publication number
CN114754779A
CN114754779A CN202210462677.1A CN202210462677A CN114754779A CN 114754779 A CN114754779 A CN 114754779A CN 202210462677 A CN202210462677 A CN 202210462677A CN 114754779 A CN114754779 A CN 114754779A
Authority
CN
China
Prior art keywords
data
coordinate system
pixel
vehicle
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210462677.1A
Other languages
English (en)
Other versions
CN114754779B (zh
Inventor
刘震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mgjia Beijing Technology Co ltd
Original Assignee
Mgjia Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mgjia Beijing Technology Co ltd filed Critical Mgjia Beijing Technology Co ltd
Priority to CN202210462677.1A priority Critical patent/CN114754779B/zh
Publication of CN114754779A publication Critical patent/CN114754779A/zh
Application granted granted Critical
Publication of CN114754779B publication Critical patent/CN114754779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

本发明公开了一种定位与建图方法、装置及电子设备，包括：获取拼接得到的车辆周围环境图像；对车辆周围环境图像进行语义分割并将车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定车辆周围环境图像中每一个像素在俯视视角的相机坐标系的点云数据；获取惯性传感器数据；根据惯性传感器数据和每一个像素在俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；根据语义分割结果将相机坐标系下的点云数据和世界坐标系下的点云数据进行分块匹配得到多组匹配数据；确定多组匹配数据的形变；将形变大于预设形变阈值的匹配数据进行非刚性匹配。

Description

一种定位与建图方法、装置及电子设备
技术领域
本发明涉及大数据分析技术领域，具体涉及一种定位与建图方法、装置及电子设备。
背景技术
360环视系统已日渐成为汽车上的标配，配置在车身周围的多个鱼眼摄像头经过拼接后形成一张反应车身周围环境的大图，对该图进行语义分割(在像素级别分割出车道线，路障，停车位线等)，结合IMU等传感器的数据信息，可对停车场环境进行建图并实时获取车辆位置。但由于量产车对鱼眼摄像头标定不准确，摄像头位置发生松动等问题，导致拼接的俯视图像会发生错位、形变，无法真实的反应环境中的信息。
360环视中的拼接错位和变形是不可避免的，这一方面是由安装组配时带来的误差，一方面受限于图像畸变矫正和透视变换带来的变形误差。如果直接将这些错位变形的语义信息融入到地图中，会降低地图的精度和质量，在大场景和长时间运行中会造成无法挽回的错误。
发明内容
因此，本发明要解决的技术问题在于克服现有360环视中拼接错位和变形的缺陷，从而提供一种定位与建图方法、装置及电子设备。
根据第一方面，本发明实施例公开了一种定位与建图方法，包括：获取拼接得到的车辆周围环境图像；对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；获取惯性传感器数据；根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据，所述世界坐标系由所述惯性传感器的位置确定；根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；确定所述多组匹配数据的形变；将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。
可选地，所述车辆上配置有多个用于采集车辆周围环境的摄像头；获取拼接得到的车辆周围环境图像，包括：获取多个目标摄像头数据；对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。
可选地，所述对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据，包括：确定所述车辆周围环境图像的每一个像素的位置信息；根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。
可选地，所述根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据，包括：根据惯性传感器数据获取所述多个目标摄像头数据相邻帧之间的位姿变化数据；获取所述相机坐标系对应的摄像机模型与所述惯性传感器的位置关系数据；根据所述每一个像素的位置信息、所述多个目标摄像头数据相邻帧之间的位姿变化数据和所述摄像机模型与所述惯性传感器的位置关系数据得到车辆周围环境图像中每一个像素在所述世界坐标系下的点云数据。
可选地，将形变大于预设形变阈值的所述匹配数据进行非刚性匹配，包括通过下式进行非刚性匹配：
Figure BDA0003619157430000021
其中，E表示能量函数，Ω表示点的集合，u表示像素点在所述车辆周围环境图像上的光流水平方向上的速度分量，v表示像素点在所述车辆周围环境图像上的光流方向上的速度分量，Ix表示光流在x方向上的梯度，Iy表示光流在y方向上的梯度，It分别表示光流在t方向上的梯度，
Figure BDA0003619157430000031
为空间梯度算子且
Figure BDA0003619157430000032
α为权重系数。
根据第二方面，本发明实施例还公开了一种定位与建图装置，包括：第一获取模块，用于获取拼接得到的车辆周围环境图像；第一确定模块，用于对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；第二获取模块，用于获取惯性传感器数据；第二确定模块，用于根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；第一匹配模块，用于根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；第三确定模块，用于确定所述多组匹配数据的形变；第二匹配模块，用于将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。
可选地，所述第一获取模块，包括：第三获取子模块，用于获取多个目标摄像头数据；拼接子模块，用于对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。
可选地，所述第一确定模块，包括：第四确定子模块，确定所述车辆周围环境图像的每一个像素的位置信息；第四确定子模块，用于根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。
根据第三方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的定位与建图方法的步骤。
根据第四方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的定位与建图方法的步骤。
本发明技术方案，具有如下优点：
本发明提供的定位与建图方法/装置，包括：获取拼接得到的车辆周围环境图像；对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；获取惯性传感器数据；根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；确定所述多组匹配数据的形变；将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。本发明的方法，通过将车辆周围环境图像上的点云数据和世界坐标系下的点云数据进行匹配，然后利用匹配结果筛选出变形较大的匹配，再分别对形变较大的匹配数据进行非刚性匹配，可以减少拼接误差，获得更好的地图拼接效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中定位与建图方法的一个具体示例的流程图；
图2为本发明实施例中定位与建图方法的一个具体示例示意图；
图3为本发明实施例中定位与建图方法的一个具体示例示意图；
图4为本发明实施例中定位与建图装置的一个具体示例的原理框图；
图5为本发明实施例中电子设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种定位与建图方法，如图1所示，该方法包括如下步骤：
步骤101，获取拼接得到的车辆周围环境图像。示例性地，车辆周围环境图像是可以反映车辆周围环境的图像数据。该车辆周围环境图像可以通过安装在车辆上的摄像头进行车辆周围环境采集后，与车辆的俯视图像进行拼接后，得到包含车辆俯视图像以及车辆周围环境的鸟瞰图，将该鸟瞰图作为车辆周围环境图像。具体地，鸟瞰图可以如图2所示，图中“A”表示的圆圈部分的图像为拼接错位和变形的图像部分。
步骤102，对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据。
示例性地，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，本具体实施例中，通过对车辆周围环境进行语义分割，在像素级别分割出车道线，路障，停车位线等，车辆周围环境图像可以看作是一个悬挂于车顶上方的相机拍摄得到的图像，将车辆周围环境图像投射到该相机坐标系下，得到每一个像素在该相机坐标系下的点云数据。
步骤103，获取惯性传感器数据。示例性地，惯性传感器数据是由车辆上配置的惯性传感器采集到的传感器数据，惯性传感器数据可以包括但不限于车辆运动的方向和加速度。
步骤104，根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据。
示例性地，根据惯性传感器数据可以确定惯性测量单元(IMU)的坐标系，IMU坐标系的原点在世界坐标系的位置已知，根据惯性传感器数据和相机坐标系下的点云数据可以得到车辆周围环境图像中每一个像素在世界坐标系下的点云数据。
步骤105，根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据。
示例性地，将相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配，分块的依据是每一类语义相同的点云算作一块。具体地，假设该图像上有n个点云块，采用ICP(IterativeClosestPoint，迭代最近点)算法对n组匹配数据进行匹配，那么可以获得n组匹配数据{Ri，ti}，i＝1，...，n，其中Ri，ti分别表示第i组数据经过ICP匹配后的旋转和平移矩阵，ICP算法是一种点集对点集配准方法。
步骤106，确定所述多组匹配数据的形变。示例性地，本具体实施例中，对多组匹配数据进行加权平均，计算每一组匹配数据的方差，根据每一组匹配数据的方差大小确定多组匹配数据的形变大小。
步骤107，将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。
示例性地，预设形变阈值可根据是需求进行设置，本申请实施例对预设形变阈值的大小不做限定。具体地，非刚性匹配可以是非刚性ICP配准方法。具体的，本发明的具体实施过程如图3所示。
本发明提供的定位与建图方法，包括：获取拼接得到的车辆周围环境图像；对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；获取惯性传感器数据；根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；确定所述多组匹配数据的形变；将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。本发明的方法，通过将车辆周围环境图像上的点云数据和世界坐标系下的点云数据进行匹配，然后利用匹配结果筛选出变形较大的匹配，再分别对形变较大的匹配数据进行非刚性匹配，可以减少拼接误差，获得更好的地图拼接效果。
作为本发明一个可选实施方式，所述车辆上配置有多个用于采集车辆周围环境的摄像头；获取拼接得到的车辆周围环境图像，包括：获取多个目标摄像头数据；对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。
示例性地，多个目标摄像头数据可以是由配置在车辆上的多个摄像头采集到的摄像头数据。具体地，获取配置在配车上的多个鱼眼摄像头采集到的摄像头数据，对多个鱼眼摄像头采集到的摄像头数据进行拼接得到可以反应车辆周围环境的图像。
作为本发明一个可选实施方式，对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据，包括：确定所述车辆周围环境图像的每一个像素的位置信息；根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。
示例性地，确定车辆周围环境图像中每一个像素的位置信息并根据每一个像素的位置信息确定相机坐标系下每一个像素的点云数据。具体地，假设车辆周围环境图像中的某个像素点的坐标为Pc(u，v)，那么点Pc在相机坐标系下的空间点对应的三维坐标为(X，Y，Z)和像素点坐标有如下关系，其中，fx，fy，cx，cy为相机内参，Z为尺度比例系数：
Figure BDA0003619157430000081
作为本发明一个可选实施方式，所述根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据，包括：根据惯性传感器数据获取所述多个目标摄像头数据相邻帧之间的位姿变化数据；获取所述相机坐标系对应的摄像机模型与所述惯性传感器的位置关系数据；根据所述每一个像素的位置信息、所述多个目标摄像头数据相邻帧之间的位姿变化数据和所述摄像机模型与所述惯性传感器的位置关系数据得到车辆周围环境图像中每一个像素在所述世界坐标系下的点云数据。
具体地，通过惯性传感器数据可以获得目标摄像头数据相邻帧之间的位姿变化数据，相机坐标系对应的摄像机模型与所述惯性传感器的位置关系可以由前期标定得到，前期标定一般指的是车辆出厂前对车辆装配的传感器位姿——即位置(传感器的空间坐标x，y，z)和姿态(传感器的朝向，如用俯仰角，偏航角以及翻滚角的组合表示)进行计算，统一到某一个坐标系下。假设以车辆后轴中心为坐标原点，从原点出发指向车头方向并垂直于后轴为y轴，从原点出发指向右侧车轮并与后轴重合的轴为x轴，从原点出发垂直于地面指向天空为z轴。前期标定所要做的事情就是在这个坐标系下将各个传感器，如环视摄像头和IMU(惯性传感器)等的位姿计算出来。标定的方法根据传感器的不同而有所区别，如环视摄像头会利用额外标记等辅助手段来进行计算，而IMU会通过安装位置来确定大致位姿，再利用车辆运动来对位置进行细调。设相邻帧之间的位姿变化为Tb，相机坐标系对应的摄像机模型与所述惯性传感器的位置关系为Tbc，则车辆周围环境图像中某个像素点Pc在世界坐标系下的位置Pw的计算过程如下式所示：
Pw＝Tb*Tbc*Pc
作为本发明一个可选实施方式，将形变大于预设形变阈值的所述匹配数据进行非刚性匹配，包括通过下式进行非刚性匹配：
Figure BDA0003619157430000091
其中，E表示能量函数，Ω表示点的集合，u表示像素点在所述车辆周围环境图像上的光流水平方向上的速度分量，v表示像素点在所述车辆周围环境图像上的光流方向上的速度分量，Ix表示光流在x方向上的梯度，Iy表示光流在y方向上的梯度，It分别表示光流在t方向上的梯度，
Figure BDA0003619157430000092
为空间梯度算子且
Figure BDA0003619157430000093
α为权重系数。
具体地，非刚性匹配可以是非刚性ICP(IterativeClosestPoint，迭代最近点)匹配，现实问题中，有很多物体并非具有刚性性质，如心脏等人体器官、球类等。非刚性ICP则是在ICP匹配的基础上认为两个点云不是刚体，可以发生一定的形变。基于光流场模型的方法是实现非刚性ICP配准的一种常用方法，基于灰度不变的假设，将速度场和光度结合起来，约束匹配过程，从而获得更优的匹配效果。Horn-Schunck(H-S)光流场模型的能量函数定义如下式所示：
Figure BDA0003619157430000094
具体的，本申请实施例中定位与建图方法的具体实施过程可以如图3所示。
本发明实施例还公开了一种定位与建图装置，如图4所示，该装置包括：第一获取模块201，用于获取拼接得到的车辆周围环境图像；第一确定模块201，用于对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；第二获取模块203，用于获取惯性传感器数据；第二确定模块204，用于根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；第一匹配模块205，用于根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；第三确定模块206，用于确定所述多组匹配数据的形变；第二匹配模块207，用于将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。
本发明提供的定位与建图装置，包括：第一获取模块，用于获取拼接得到的车辆周围环境图像；第一确定模块，用于对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；第二获取模块，用于获取惯性传感器数据；第二确定模块，用于根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；第一匹配模块，用于根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；第三确定模块，用于确定所述多组匹配数据的形变；第二匹配模块，用于将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。本发明的装置，通过将车辆周围环境图像上的点云数据和世界坐标系下的点云数据进行匹配，然后利用匹配结果筛选出变形较大的匹配，再分别对形变较大的匹配数据进行非刚性匹配，可以减少拼接误差，获得更好的地图拼接效果。
作为本发明一个可选实施方式，所述车辆上配置有多个用于采集车辆周围环境的摄像头；所述第一获取模块，包括：第三获取子模块，用于获取多个目标摄像头数据；拼接子模块，用于对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。
作为本发明一个可选实施方式，所述第一确定模块，包括：第四确定子模块，确定所述车辆周围环境图像的每一个像素的位置信息；第五确定子模块，用于根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。
作为本发明一个可选实施方式，所述第二确定模块，包括：第四获取子模块，用于根据惯性传感器数据获取所述多个目标摄像头数据相邻帧之间的位姿变化数据；第五获取子模块，用于获取所述相机坐标系对应的摄像机模型与所述惯性传感器的位置关系数据；第六确定子模块，用于根据所述每一个像素的位置信息、所述多个目标摄像头数据相邻帧之间的位姿变化数据和所述摄像机模型与所述惯性传感器的位置关系数据得到车辆周围环境图像中每一个像素在所述世界坐标系下的点云数据。
作为本发明一个可选实施方式，所述第二匹配模块，包括：第二匹配子模块，用于通过下式进行非刚性匹配：
Figure BDA0003619157430000111
其中，E表示能量函数，Ω表示点的集合，u表示像素点在所述车辆周围环境图像上的光流水平方向上的速度分量，v表示像素点在所述车辆周围环境图像上的光流垂直方向上的速度分量，Ix表示光流在x方向上的梯度，Iy表示光流在y方向上的梯度，It分别表示光流在t方向上的梯度，
Figure BDA0003619157430000112
为空间梯度算子且
Figure BDA0003619157430000113
α为权重系数。
本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器401和存储器402，其中处理器401和存储器402可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器401可以为中央处理器(Central Processing Unit，CPU)。处理器401还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器402作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的定位与建图方法对应的程序指令/模块。处理器401通过运行存储在存储器402中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的定位与建图方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器401所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至处理器401。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器402中，当被所述处理器401执行时，执行如图1所示实施例中的定位与建图方法。
上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种定位与建图方法，其特征在于，包括：
获取拼接得到的车辆周围环境图像；
对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；
获取惯性传感器数据；
根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；
根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；
确定所述多组匹配数据的形变；
将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。
2.根据权利要求1所述的方法，其特征在于，所述车辆上配置有多个用于采集车辆周围环境的摄像头；获取拼接得到的车辆周围环境图像，包括：
获取多个目标摄像头数据；
对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据，包括：
确定所述车辆周围环境图像的每一个像素的位置信息；
根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据，包括：
根据惯性传感器数据获取所述多个目标摄像头数据相邻帧之间的位姿变化数据；
获取所述相机坐标系对应的摄像机模型与所述惯性传感器的位置关系数据；
根据所述每一个像素的位置信息、所述多个目标摄像头数据相邻帧之间的位姿变化数据和所述摄像机模型与所述惯性传感器的位置关系数据得到车辆周围环境图像中每一个像素在所述世界坐标系下的点云数据。
5.根据权利要求1所述的方法，其特征在于，将形变大于预设形变阈值的所述匹配数据进行非刚性匹配，包括通过下式进行非刚性匹配：
Figure FDA0003619157420000021
其中，E表示能量函数，Ω表示点的集合，u表示像素点在所述车辆周围环境图像上的光流水平方向上的速度分量，v表示像素点在所述车辆周围环境图像上的光流垂直方向上的速度分量，Ix表示光流在x方向上的梯度，Iy表示光流在y方向上的梯度，It分别表示光流在t方向上的梯度，
Figure FDA0003619157420000022
为空间梯度算子且
Figure FDA0003619157420000023
α为权重系数。
6.一种定位与建图装置，其特征在于，包括：
第一获取模块，用于获取拼接得到的车辆周围环境图像；
第一确定模块，用于对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；
第二获取模块，用于获取惯性传感器数据；
第二确定模块，用于根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；
第一匹配模块，用于根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；
第三确定模块，用于确定所述多组匹配数据的形变；
第二匹配模块，用于将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。
7.根据权利要求6所述的装置，其特征在于，所述车辆上配置有多个用于采集车辆周围环境的摄像头；所述第一获取模块，包括：
第三获取子模块，用于获取多个目标摄像头数据；
拼接子模块，用于对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。
8.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：
第四确定子模块，确定所述车辆周围环境图像的每一个像素的位置信息；
第五确定子模块，用于根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5任一所述的定位与建图方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的定位与建图方法的步骤。
CN202210462677.1A 2022-04-27 2022-04-27 一种定位与建图方法、装置及电子设备 Active CN114754779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210462677.1A CN114754779B (zh) 2022-04-27 2022-04-27 一种定位与建图方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210462677.1A CN114754779B (zh) 2022-04-27 2022-04-27 一种定位与建图方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114754779A true CN114754779A (zh) 2022-07-15
CN114754779B CN114754779B (zh) 2023-02-14

Family

ID=82333516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210462677.1A Active CN114754779B (zh) 2022-04-27 2022-04-27 一种定位与建图方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114754779B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965682A (zh) * 2022-12-16 2023-04-14 镁佳(北京)科技有限公司 一种车辆可通行区域确定方法、装置及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112365404A (zh) * 2020-11-23 2021-02-12 成都唐源电气股份有限公司 一种基于多相机的接触网全景图像拼接方法、系统及设备
CN113223091A (zh) * 2021-04-29 2021-08-06 达闼机器人有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN114067068A (zh) * 2021-11-11 2022-02-18 武汉理工大学重庆研究院 一种环境建图方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN112365404A (zh) * 2020-11-23 2021-02-12 成都唐源电气股份有限公司 一种基于多相机的接触网全景图像拼接方法、系统及设备
CN113223091A (zh) * 2021-04-29 2021-08-06 达闼机器人有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN114067068A (zh) * 2021-11-11 2022-02-18 武汉理工大学重庆研究院 一种环境建图方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965682A (zh) * 2022-12-16 2023-04-14 镁佳(北京)科技有限公司 一种车辆可通行区域确定方法、装置及计算机设备
CN115965682B (zh) * 2022-12-16 2023-09-01 镁佳(北京)科技有限公司 一种车辆可通行区域确定方法、装置及计算机设备

Also Published As

Publication number Publication date
CN114754779B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN110148185B (zh) 确定成像设备坐标系转换参数的方法、装置和电子设备
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
US10594941B2 (en) Method and device of image processing and camera
CN111223038B (zh) 一种车载环视图像的自动拼接方法及显示装置
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
CN112348921B (zh) 一种基于视觉语义点云的建图方法及系统
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN111800589B (zh) 图像处理方法、装置和系统，以及机器人
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN111489288B (zh) 一种图像的拼接方法和装置
CN113029128A (zh) 视觉导航方法及相关装置、移动终端、存储介质
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN114754779B (zh) 一种定位与建图方法、装置及电子设备
CN110751693A (zh) 用于相机标定的方法、装置、设备和存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN113658262B (zh) 相机外参标定方法、装置、系统及存储介质
CN116681776B (zh) 一种双目相机的外参标定方法和系统
CN111563936A (zh) 一种相机外部参数自动标定方法及行车记录仪
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN111243021A (zh) 基于多组合相机的车载视觉定位方法、系统及存储介质
CN113763481B (zh) 一种移动场景中多相机视觉三维地图构建与自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant