CN115239899A - 位姿图生成方法、高精地图生成方法和装置 - Google Patents
位姿图生成方法、高精地图生成方法和装置 Download PDFInfo
- Publication number
- CN115239899A CN115239899A CN202210785131.XA CN202210785131A CN115239899A CN 115239899 A CN115239899 A CN 115239899A CN 202210785131 A CN202210785131 A CN 202210785131A CN 115239899 A CN115239899 A CN 115239899A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- projection
- ground points
- view
- target point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000010586 diagram Methods 0.000 claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 description 21
- 239000013598 vector Substances 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009616 inductively coupled plasma Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种位姿图生成方法，涉及计算机技术领域，尤其涉及自动驾驶和智能交通技术领域。具体实现方案为：生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图；生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图；根据第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定源点云和目标点云的相对位姿；以及根据相对位姿，生成位姿图。本公开还提供了一种地图生成方法、装置、电子设备和存储介质。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及自动驾驶和智能交通技术。更具体地，本公开提供了一种位姿图生成方法、地图生成方法、装置、电子设备和存储介质。
背景技术
在自动驾驶领域，用于自动驾驶车辆的专用地图可以称为高精地图，也可以称为高精度地图，可以利用车辆上的点云采集设备在不同时刻采集到的点云数据来生成高精地图。高精地图，拥有精确的车辆位置信息和丰富的道路元素数据信息，可以帮助汽车预知路面复杂信息，如坡度、曲率、航向等，更好地规避潜在的风险。
发明内容
本公开提供了一种位姿图生成方法、地图生成方法、装置、设备以及存储介质。
根据第一方面，提供了一种位姿图生成方法，该方法包括：生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图；生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图；根据第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定源点云和目标点云的相对位姿；以及根据相对位姿，生成位姿图。
根据第二方面，提供了一种地图生成方法，该方法包括：获取位姿图；以及根据位姿图生成地图；位姿图是根据上述位姿图生成方法生成的。
根据第三方面，提供了一种位姿图生成装置，该装置包括：第一生成模块，用于生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图；第二生成模块，用于生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图；确定模块，用于根据第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定源点云和目标点云的相对位姿；以及生成模块，用于根据相对位姿，生成位姿图。
根据第四方面，提供了一种地图生成装置，该装置包括：获取模块，用于获取位姿图；以及第四生成模块，用于根据位姿图生成地图；位姿图是根据上述位姿图生成装置生成的。
根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用位姿图生成方法和地图生成方法的场景图；
图2是根据本公开的一个实施例的位姿图生成方法的流程图；
图3是根据本公开的一个实施例的点云分割的示意图；
图4是根据本公开的一个实施例的确定源点云和目标点云的相对位姿的方法的流程图；
图5是根据本公开的一个实施例的计算反射值梯度的方法的示意图；
图6是根据本公开的一个实施例的地图生成方法的示意图；
图7是根据本公开的一个实施例的子图生成方法的示意图；
图8是根据本公开的一个实施例的地图生成方法的流程图；
图9是根据本公开的一个实施例的位姿图生成装置的框图；
图10是根据本公开的一个实施例的地图生成装置的框图；
图11是根据本公开的一个实施例的地图生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
图1是根据本公开一个实施例的可以应用地图生成方法和装置的示例性场景示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，实施例100可以包括道路、行驶在道路中的自动驾驶车辆110、道路中的箭头路标120、以及位于自动驾驶车辆110上的点云采集设备111。点云采集设备111可以包括LiDAR(Light Detection and Ranging，激光探测和测距)传感器，LIDAR传感器可以在自动驾驶车辆110行驶过程中不断发射激光传感束，来扫描得到周围环境的点云数据。点云是以点的形式进行记录的数据，每个点可以包含有三维坐标、颜色、反射值等信息。点云的三维坐标所在坐标系可以称为点云采集设备111的坐标系。
由于自动驾驶车辆110在运动，点云采集设备111也在运动，使得点云采集设备111的坐标系在变化，由此点云采集设备111在不同时刻采集到的点云所在的坐标系也在变化。不同时刻采集到的点云的坐标系的相对位姿可以称为上述不同时刻的点云的相对位姿。利用不同时刻采集到的点云的相对位姿可以构建位姿图，利用位姿图可以进行高精地图的局部或全局的制图。
例如，可以将不同时刻的点云投影到球面或柱面的二维的视图上，得到二维投影图，根据不同时刻的点云的二维投影图进行点云匹配，得到不同时刻的点云的相对位姿，进而根据相对位姿构建位姿图，根据位姿图进行高精地图的局部或全局的制图。
点云采集设备111采集到的点云数据可以包含地面点和非地面点，在进行不同时刻的点云匹配时，可能会将不同时刻的地面点和非地面点匹配在一起，导致拼接精度差，影响地图精度。
因此，本公开实施例提供一种位姿图生成方法以及地图生成方法，通过将地面点和非地面点分离以分别独立进行不同平面的投影，能够提高点云匹配的精度，进而提高位姿图精度以及地图精度。
图2是根据本公开的一个实施例的位姿图生成方法的流程图。
如图2所示，该位姿图生成方法200可以包括操作S210～操作S240。
在操作S210，生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图。
例如，需要进行拼接的两个点云可以称为源点云和目标点云。针对源点云，利用点云分割技术，可以将该源点云的地面点和非地面点分割开来。根据地面点和非地面点在空间中的分布特征不同，可以针对源点云的地面点和非地面点分别采用不同的二维投影方式。
例如，针对源点云的地面点，可以采用俯视投影方式，得到第一俯视投影图。针对源点云的非地面点，可以采用球面投影方式，得到第一球面投影图。
可以理解，点云分割是指：利用空间分布、几何和纹理等特征，对点云进行划分，使得属于同一划分内的点云具有相似特征。
在操作S220，生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图。
类似地，将目标点云的地面点和非地面点分割开来。针对目标点云的地面点，可以采用俯视投影方式，得到第二俯视投影图。针对目标点云的非地面点，可以采用球面投影方式，得到第二球面投影图。
在操作S230，根据第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定源点云和目标点云的相对位姿。
例如，针对第一球面投影图和第二球面投影图，可以通过对两个球面投影图上对应位置的点进行匹配，并根据匹配结果计算第一匹配残差。针对第一俯视投影图和第二俯视投影图，可以通过对两个俯视投影图上对应位置的点进行匹配，并根据匹配结果计算第二匹配残差。可以将第一匹配残差和第二匹配残差之和作为整体残差，以整体残差最小为目标构建目标函数。利用迭代方法(例如高斯牛顿迭代法)对目标函数进行求解，得到源点云和目标点云之间的最优匹配关系，作为源点云和目标点云之间的相对位姿。
可以理解，上述对目标函数进行求解的过程，可以称为相对位姿优化过程。上述通过进行点云匹配来得到相对位姿的过程可以称为点云拼接过程。
在操作S240，根据相对位姿生成位姿图。
例如，利用相对位姿可以构建位姿图(pose graph)，位姿图包括多个节点和连接上述多个节点的边。针对相连接的两个节点，该两个节点中的其中之一表示源点云中的点(可以称为源点)，另一个表示目标点云中的点(可以称为目标点)。连接该两个节点之间的边表示源点和目标点之间的相对位姿，且该边是从源点的节点指向目标点的节点的。
例如，点云采集设备在车辆行驶过程中不断采集点云数据，不同时刻采集到的点云数据之间的相对位姿体现了自动驾驶车辆的运动变化。因此，利用位姿图可以对自动驾驶车辆进行运动恢复以及生成针对自动驾驶车辆的地图。
可以理解，在得到第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图之后，可以将第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图拷贝到GPU(Graphics processing unit，图形处理器)的显存中，利用GPU计算各个投影图中点的匹配残差以及相对位姿的优化。例如，CADU(Compute Unified DeviceArchitecture，统一计算设备架构)是一种通用并行计算架构，它包含GPU内部的并行计算引擎，利用CADU可以使得GPU计算性能更高。
本公开实施例利用CADU进行上述匹配残差的计算以及相对位姿的优化，可以实现源点云和目标点云的快速拼接。
本公开实施例针对源点云和目标点云，将地面点和非地面点分割开并分别进行不同平面的投影，能够提高点云匹配的精度，进而提高源点云和目标点云的拼接精度以及位姿图生成精度。
图3是根据本公开的一个实施例的点云分割的示意图。
如图3所示，点云310可以是自动驾驶车辆在预设采集周期(例如10s)内采集到的点云数据。点云310包括地面点和非地面点，利用地面点和非地面点在空间中的分布不同，可以将点云310的地面点和非地面点分割开来，得到的针对非地面点的点云320(图3中未示出分割出来的针对地面点的点云)。将针对非地面点的点云320进行球面投影，可以得到针对非地面点的球面投影图331，将针对地面点的点云进行俯视投影，可以得到针对地面点的俯视投影图332。
例如，可以根据如下公式(一)对非地面点进行球面投影。
其中，u、v表示点在球面投影图上的坐标，x、y、z表示点在传感器坐标系中的坐标，width和height分别表示球面投影图的像素宽度和高度，fovup、fovdown表示垂直方向的视角范围。
例如，可以根据如下公式(二)对地面点的俯视投影。
其中，u、v表示点在俯视投影图上的坐标，x、y、z表示点在传感器坐标系中的坐标，width和height分别表示俯视投影图的像素宽度和高度，range表示投影范围的有效距离。
本公开实施例通过将点云的地面点和非地面点分割开，能够提高地面点和非地面点各自的匹配精度。
图4是根据本公开的一个实施例的确定源点云和目标点云的相对位姿的方法的流程图。
如图4所示，该方法可以包括操作S431～操作S433。
在操作S431，根据第一球面投影图和第二球面投影图，计算源点云和目标点云之间的第一匹配残差。
例如，针对第一球面投影图上的第i个点ui，根据源点云与目标点云之间的初始相对位姿(预设的初始化相对位姿，例如平移距离为1米，旋转角度为5度)，计算出在第二球面投影图中与ui匹配的点，记为
针对点ui和
根据该两点的几何特征(例如位置坐标)之间的差异，可以计算该两点的匹配残差(可以称为第一几何残差)。每对匹配点的第一几何残差之和，可以作为第一球面投影图和第二球面投影图之间的第一匹配残差。
在操作S432，根据第一俯视投影图和第二俯视投影图，计算源点云和目标点云之间的第二匹配残差。
类似地，可以针对第一俯视投影图上和第二俯视投影图中的每对匹配点，计算匹配残差。例如，根据几何特征计算每对匹配点的几何残差(可以称为第二几何残差)。根据该两点的颜色特征(例如表征色彩反射能力的反射值)之间的差异，也可以计算该两点的匹配残差(可以称为反射值残差)。针对第一俯视投影图和第二俯视图上的每对匹配点，均可以按照上述计算方式计算出第二几何残差和反射值残差，可以将每对匹配点的第二几何残差和反射值残差之和作为第一俯视投影图和第二俯视投影图之间的第二匹配残差。
可以理解，第一俯视图和第二俯视图中的点对应点云中的地面点，地面点相对稀疏，因此在进行地面点匹配时，往往缺乏地面点的几何特征，造成匹配精度差。然而，地面(例如自动驾驶形式道路)上普遍存在箭头、标线等纹理信息，这些纹理信息的反射值特征比较明显。因此，本公开实施例利用地面点的反射值计算匹配残差，根据基于反射值的匹配残差来优化相对位姿，能够提高匹配精度。
可以理解，由于非地面点相对稠密，几何特征较为丰富，且存在运动物体的干扰，物体反射值不显著，因此可以无需针对第一球面投影图和第二球面投影图的每对匹配点计算反射值残差。本实施例的实施方式仅为示例，本公开不对此进行限制，例如也可以根据实际应用场景选择针对第一球面投影图和第二球面投影图的每对匹配点，计算反射值残差。
在操作S433，根据第一匹配残差和第二匹配残差，确定源点云和目标点云之间的相对位姿。
例如，可以将第一匹配残差和第二匹配残差之和作为待优化的目标函数，以残差之和最小为目标，利用高斯牛顿迭代法对目标函数进行求解，得到源点云和目标点云之间的最优匹配关系，即源点云和目标点云之间的相对位姿。
可以理解，上述对目标函数进行求解的过程，可以称为相对位姿优化过程。上述通过进行点云匹配来得到相对位姿的过程可以称为点云拼接过程。因此，图4也可以作为本公开一个实施例的点云拼接方法的流程图。
根据本公开的实施例，上述源点云可以是单帧点云或者子图，上述目标点云也可以是单帧点云或者子图，子图例如可以是由多帧点云进行拼接得到的点云集合(可以记为model或者submap)。因此，点云拼接可以包括两个单帧点云进行拼接、单帧点云与子图进行拼接或者两个子图进行拼接中的任一种情况。
其中，针对两个单帧点云进行拼接的情况，可以根据两个单帧点云各自的投影图(针对地面点的俯视投影图和针对非地面点的球状投影图)进行该两个点云之间的拼接。针对单帧点云与子图之间进行拼接的情况，可以根据单帧点云额两个投影图和子图的两个投影图，进行单帧点云与子图之间进行拼接。针对子图与子图之间进行拼接的情况，可以根据两个子图各自的投影图，进行子图与子图之间进行拼接。
下面以单帧点云与子图进行拼接为例，对本公开实施例进行详细说明。
例如，源点云为单帧点云S＝{Ssphere，Sbev}，其中，Ssphere表示单帧点云S的球面投影图，Ssphere可以包括点的三维坐标和法向量(norm)。Sbev表示单帧点云S的俯视投影图，Sbev可以包括点的三维坐标、法向量、反射值(color)以及反射值在该投影图上的梯度(反射值梯度)。
目标点云为子图model M＝{Msphere，Mbev}，其中，Msphere表示子图M的球面投影图，Msphere可以包括点的三维坐标和法向量。Mbev表示子图M的俯视投影图，Mbev可以包括点的三维坐标、法向量、反射值(color)以及反射值梯度。
以单帧点云S与子图M进行拼接为例，如图4所示的点云拼接方法可以利用ICP(Iterative Closest Point，迭代最近点)算法实现，ICP算法可以根据如下伪代码进行实现。
下面对上述伪代码进行解释。
步骤S1.1初始化相对位姿，初始相对位姿T0例如是平移距离为1米，旋转角度为5度，可以将T0赋值给T。
步骤S1.2，初始化迭代次数，例如将迭代次数iteration_time初始化为0。
在算法没有收敛或者迭代次数没有达到上限的情况下，执行设置阈值的步骤S2.1～S2.2、计算Ssphere与Msphere之间第一匹配残差的步骤S3.1～S3.4、计算Sbev与Mbev之间第二匹配残差的步骤S4.1～S4.5以及位姿优化的步骤S5.1～S5.3。
步骤S2.1，设置用于判断是否为内点的角度阈值angle_thresh。
步骤S2.2，设置用于判断是否为内点的距离阈值dis_thresh。
例如，匹配误差较大或者没有相匹配点的点可以称为外点，例如动态物体上的点。如果两个点的法向量角度不大于角度阈值angle_thresh，且两个点之间的距离不大于距离阈值dis_thresh，该两个点为匹配正确的点(可以称为内点)，根据迭代次数设置阈值理解为根据迭代次数依次由大到小设置阈值，使得排除外点的粒度由粗到细，逐步确定最佳匹配关系。
步骤S3.1，针对Ssphere中点ui，根据相对位姿，计算ui在Msphere上的投影位置，并查找到匹配点
步骤S3.2，判断ui与
之间的距离是否小于dis_thresh，并且ui与
之间的角度小于angle_thresh，在判断结果为是的情况下执行步骤S3.3，否则执行步骤S3.4。
步骤S3.3，计算ui与
之间的第一几何残差以及该残差针对优化变量的雅克比矩阵。
例如，可以根据如下公式(三)计算第一几何残差，根据如下公式(四)计算第一几何残差针对优化变量的雅克比矩阵(可以称为第一雅克比矩阵)。
其中，
表示第一几何残差，wg2表示第一几何残差的权重，
表示第一雅克比矩阵。
表示ui与
之间的位置差异，具体是将ui的坐标与相对位姿T相乘再减去
的坐标得到的，
表示
的法向量。
由公式三和公式四，可以得到第一雅克比矩阵的矩阵形式为
其中，
表示
的法向量。
步骤S3.4，将第一几何残差、第一几何残差的权重、针对俯视投影的反射值残差以及反射值残差的权重置0。
需要说明的是，针对Ssphere与Msphere，在不需要计算反射值残差的情况下，可以将针对俯视投影的反射值残差以及反射值残差的权重始终置为0。
步骤S4.1，针对Sbev中点ui，根据相对位姿，计算ui在Mbev上的投影位置，并查找到匹配点
步骤S4.2，判断ui与
之间的距离是否小于dis_thresh，并且ui与
之间的角度小于angle_thresh，在判断结果为是的情况下执行步骤S4.3～S4.4，否则执行步骤S4.5。
步骤S4.3，计算ui与
之间的第二几何残差、第二几何残差针对优化变量的雅克比矩阵。
例如，可以根据如下公式(五)计算第二几何残差，根据如下公式(六)计算第二几何残差针对优化变量的雅克比矩阵(可以称为第二雅克比矩阵)。
其中，
表示第二几何残差，wg2表示第二几何残差的权重，
表示第二雅克比矩阵。
表示ui与
之间的位置差异，具体是将ui的坐标与相对位姿T相乘再减去
的坐标得到的，
表示
的法向量。
由公式五和公式六，可以得到第二雅克比矩阵的矩阵形式为
其中，
表示
的法向量。
步骤S4.4，计算ui与
之间的反射值残差以及反射值残差针对优化变量的雅克比矩阵。
例如，可以根据如下公式(七)计算反射值残差，根据如下公式(八)计算反射值残差针对优化变量的雅克比矩阵(可以称为第三雅克比矩阵)。
其中，
表示反射值残差，wc表示反射值残差的权重，
表示第三雅克比矩阵，(Mbev[T·ui].color()-Sbev[ui].color())表示ui与
之间的反射值差异。
上述公式七可以转化为如下公式(九)。
其中，Cs为源点云S的俯视投影图Sbev中的点的反射值数据，Ct为目标点云子图M的俯视投影图Mbev中的点的反射值数据。
根据公式八和公式九，可以得到第三雅克比矩阵的矩阵形式为
其中，
gt为目标点云子图M的俯视投影图Mbev中的点的反射值梯度。
步骤S4.5，将第二几何残差、第二几何残差的权重、反射值残差以及反射值残差的权重置0。
步骤S5.1，在GPU上对所有残差项执行并归求和。
例如，基于高斯牛顿迭代法，可以根据如下公式(十)进行所有雅克比矩阵项的求和。
其中，
表示针对第一雅克比矩阵项的求和，
表示针对第二雅克比矩阵项的求和，
表示针对第三雅克比矩阵项的求和。
根据如下公式(十一)进行所有残差项的求和。
其中，
表示针对第一几何残差的求和，
表示针对第二几何残差的求和，
表示针对反射值残差的求和。
步骤S5.2，根据残差项之和，更新相对位姿。
例如根据如下公式(十二)更新相对位姿。
其中，ΔT表示残差步长，残差步长可以根据如下公式(十三)得到。
ΔT＝H-1g (十三)
步骤S5.3，更新迭代次数，例如迭代次数加1。返回步骤S2.1。
例如，算法是循环执行的，在残差步长ΔT足够小(例如小于0.1)时，算法收敛，算法可以结束循环，或者算法无法收敛的情况，可以在迭代次数达到上限(例如3000次)时，退出循环。
以上为单帧点云与子图之间利用ICP算法进行点云拼接的示例实施方式。类似地，单帧点云与单帧点云之间的拼接、子图与子图之间的拼接均可以利用上述ICP算法来实现。其中，针对单帧点云与单帧点云之间的拼接，在点云俯视图稀疏的情况下，难以计算反射值梯度，因此可以根据实际情况(例如单帧点云的俯视投影图的稀疏程度)选择是否计算反射值残差。
上述步骤S4.4计算反射值残差利用了反射值梯度，下面对反射值梯度的计算进行详细说明。
图5是根据本公开的一个实施例的计算反射值梯度的方法的示意图。
例如，道路地面上普遍存在箭头、标线等纹理信息，箭头、标线的反射值特征比较显著，因此可以针对地面点数据计算反射值梯度，利用反射值梯度计算反射值残差。
如图5所示，针对地面上的箭头501，采集到箭头501上的点p0，p0在俯视投影图上的坐标可以是p0＝[u0，v0]，在p0附近范围所构成的patch 502内存在多个点，在patch 502中的任一点pi＝[ui，vi]，由于pi与p0相距很近，因此，pi点的反射值应约等于p0，pi的反射值可以根据如下公式(十四)计算。
Ci≈C0+g0(pi-p0) (十四)
其中，C0表示p0点的反射值，Ci表示pi点的反射值，g0表示p0点的反射值梯度。
例如，可以根据如下公式(十五)利用线性最小二乘法求解反射值梯度g0。
g0＝arg ming∑i[g(pi-p0)+C0-Ci]2 (十五)
本公开实施例利用反射值梯度计算反射值残差，利用反射值残差优化相对位姿，能够提高匹配精度。
图6是根据本公开的一个实施例的地图生成方法的示意图。
如图6所示，单帧点云601例如是源点云，子图602例如是目标点云。子图602可以是由多个单帧点云进行拼接得到的，例如用于拼接子图602的单帧点云可以是进行过地面点分割的单帧点云，因此本实施例中子图602可以无需再进行地面点分割。
例如，单帧点云601可以是进行过运动补偿的点云，其中，运动补偿指的是根据单帧点云的采集时刻将该时刻点云采集设备的运动量补偿给该单帧点云。
例如，针对单帧点云601执行操作S610，进行地面点和非地面点的分割。针对地面点执行操作S620，将地面点进行俯视投影，得到俯视投影图，俯视投影图数据可以包括点的坐标、法向量和反射值梯度。针对非地面点执行操作S630，将非地面点进行球面投影，得到球面投影图，球面投影图数据可以包括点的坐标和法向量。针对子图602可以获得俯视投影图数据(例如包括点的坐标、法向量和反射值梯度)和球面投影图数据(例如包括点的坐标和法向量)。
根据单帧点云601的俯视投影图数据和球面投影图数据以及子图602的俯视投影图数据和球面投影图数据执行操作S640，利用ICP算法进行点云匹配，得到相对位姿T，根据相对位姿T，可以将单帧点云601和子图602拼接在一起。
在将单帧点云601和子图602进行点云拼接之后，还可以进行点云融合，例如执行操作S650，针对地面点进行点云融合。例如可以将单帧点云601的地面点合入到子图602中，并重新根据各点的坐标计算各自的法向量，并重新计算各自的颜色信息等。将单帧点云601的地面点合入到子图602，能够增加地面点云的密度，保证地面上的纹理信息更为清晰可见。
例如，可以执行操作S660，针对非地面点进行点云融合，例如可以将单帧点云601的非地面点合入到子图602中，需要说明的是，由于非地面点存在动态物体，会干扰点云融合效果，因此操作S660可以根据实际需要选择执行。
根据本公开的实施例，子图是由多帧点云进行拼接得到的，因此，本公开还提供了一种子图生成方法。
图7是根据本公开的一个实施例的子图生成方法的示意图。
如图7所示，本实施例包括多个单帧点云701，子图710和子图720，其中，子图710可以是成熟子图，子图720可以是活跃子图。单帧点云701可以与活跃子图720进行拼接，拼接完成之后，单帧点云701的地面点和非地面点数据可以融合到活跃子图720中，直至活跃子图720附近的单帧点云701(例如与活跃子图720的位姿差异不超过20米，或者旋转不超过50度)均完成拼接并融合到该活跃子图720中，该活跃子图720成为成熟子图。
成为成熟子图后的子图720可以与其最近的成熟子图(例如子图710)进行拼接。
单帧点云701还可以与成熟子图(例如子图710)进行拼接，并计算相对位姿，可以保留相对位姿以便进行运动恢复和生成地图，由于成熟子图的点云数据已经比较丰富，所以可以无需将单帧点云701的数据合入到成熟子图(例如子图710)中。
以上为生成子图以及子图拼接的一种示例实现方式，还可以采用其他方式，本公开不对此做限定，例如两个活跃子图可以各自与其附近的单帧点云进行拼接，各自成为成熟子图之后，两个成熟子图再进行拼接。
图8是根据本公开的一个实施例的地图生成方法的流程图。
如图8所示，地图生成方法800包括操作S810～操作S820。
在操作S810，获取位姿图。
在操作S820，根据位姿图生成地图。
其中，上述位姿图可以是根据上述位姿图生成方法生成的。
例如，源点云和目标点云是自动驾驶车辆在不同时刻采集到的针对周围物体的数据，包含了周围物体的颜色信息、位置信息(例如坐标以及与周围物体之间的距离)。因此，将源点云和目标点云进行拼接便得到了自动驾驶车辆的真实场景。
可以基于深度学习模型从点云数据中进行元素识别或分类。例如识别或分类出信号灯、指示牌等。从点云中识别出各种元素，进而构建地图。构建地图过程中还可以进行人工或是自动标注进行数据修正，以便提高地图准确率。
在将源点云和目标点云进行拼接之后，产生位姿图，该位姿图反映了自动驾驶车辆的运动轨迹。因此，根据识别出的元素以及生成的位姿图可以生成用于自动驾驶车辆的高精地图。
图9是根据本公开的一个实施例的地图生成装置的框图。
如图9所示，该地图生成装置900包括第一生成模块901、第二生成模块902、确定模块903和第三生成模块904。
第一生成模块901用于生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图。
第二生成模块902用于生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图。
确定模块903用于根据第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定源点云和目标点云的相对位姿。
第三生成模块904用于根据相对位姿，生成地图。
根据本公开的实施例，确定模块903包括第一计算单元、第二计算单元和确定单元。
第一计算单元用于根据第一球面投影图和第二球面投影图，计算源点云和目标点云之间的第一匹配残差。
第二计算单元用于根据第一俯视投影图和第二俯视投影图，计算源点云和目标点云之间的第二匹配残差。
确定单元用于根据第一匹配残差和第二匹配残差，确定源点云和目标点云之间的相对位姿。
第一计算单元具体用于根据第一球面投影图和第二球面投影图，计算源点云和目标点云之间的第一几何残差。
第二计算单元具体用于根据第一俯视投影图和第二俯视投影图，计算源点云和目标点云之间的第二几何残差和反射值残差。
确定单元具体用于根据第一几何残差、第二几何残差和反射值残差，确定源点云和目标点云之间的相对位姿。
根据本公开的实施例，第一生成模块包括第一分割单元、第一投影单元和第二投影单元。
第一分割单元用于对源点云进行地面点和非地面点的分割。
第一投影单元用于对源点云的地面点进行俯视投影，生成第一俯视投影图。
第二投影单元用于对源点云的非地面点进行球面投影，生成第一球面投影图。
根据本公开的实施例，第二生成模块包括第二分割单元、第三投影单元和第四投影单元。
第二分割单元用于对目标点云进行地面点和非地面点的分割。
第三投影单元用于对目标点云的地面点进行俯视投影，生成第二俯视投影图。
第四投影单元用于对目标点云的非地面点进行球面投影，生成第二球面投影图。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10是根据本公开的一个实施例的地图生成装置的框图。
如图10所示，该地图生成装置1000包括获取模块1001和第四生成模块1002。
获取模块1001用于获取位姿图。
第四生成模块1002用于根据位姿图生成地图。
其中，位姿图是根据上述位姿图生成装置生成的局部位姿图、完整位姿图以及优化后的完整位姿图中的之一。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如位姿图生成方法和/或地图生成方法。例如，在一些实施例中，位姿图生成方法和/或地图生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的位姿图生成方法和/或地图生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行位姿图生成方法和/或地图生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (17)
1.一种位姿图生成方法，包括：
生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图；
生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图；
根据所述第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定所述源点云和目标点云的相对位姿；以及
根据所述相对位姿，生成位姿图。
2.根据权利要求1所述的方法，其中，所述根据所述第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定所述源点云和目标点云的相对位姿包括：
根据所述第一球面投影图和所述第二球面投影图，计算所述源点云和所述目标点云之间的第一匹配残差；
根据所述第一俯视投影图和所述第二俯视投影图，计算所述源点云和所述目标点云之间的第二匹配残差；以及
根据所述第一匹配残差和所述第二匹配残差，确定所述源点云和目标点云之间的相对位姿。
3.根据权利要求2所述的方法，其中，
所述根据所述第一球面投影图和所述第二球面投影图，计算所述源点云和所述目标点云之间的第一匹配残差包括：
根据所述第一球面投影图和所述第二球面投影图，计算所述源点云和所述目标点云之间的第一几何残差；
所述根据所述第一俯视投影图和所述第二俯视投影图，计算所述源点云和所述目标点云之间的第二匹配残差包括：
根据所述第一俯视投影图和所述第二俯视投影图，计算所述源点云和所述目标点云之间的第二几何残差和反射值残差；
所述根据所述第一匹配残差和所述第二匹配残差，确定所述源点云和目标点云之间的相对位姿包括：
根据所述第一几何残差、所述第二几何残差和所述反射值残差，确定所述源点云和目标点云之间的相对位姿。
4.根据权利要求1所述的方法，其中，所述生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图包括：
对所述源点云进行地面点和非地面点的分割；
对所述源点云的地面点进行俯视投影，生成所述第一俯视投影图；以及
对所述源点云的非地面点进行球面投影，生成所述第一球面投影图。
5.根据权利要求1所述的方法，其中，所述生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图包括：
对所述目标点云进行地面点和非地面点的分割；
对所述目标点云的地面点进行俯视投影，生成所述第二俯视投影图；以及
对所述目标点云的非地面点进行球面投影，生成所述第二球面投影图。
6.根据权利要求1至5中任一项所述的方法，其中，所述源点云包括单帧点云或者子图，所述目标点云包括单帧点云或者子图，其中，所述子图是由多帧点云进行拼接得到的。
7.一种地图生成方法，包括：
获取位姿图；以及
根据所述位姿图生成地图；
其中，所述位姿图是根据权利要求1至6中任一项所述的方法生成的。
8.一种位姿图生成装置，包括：
第一生成模块，用于生成针对源点云的地面点的第一俯视投影图和针对源点云的非地面点的第一球面投影图；
第二生成模块，用于生成针对目标点云的地面点的第二俯视投影图和针对目标点云的非地面点的第二球面投影图；
确定模块，用于根据所述第一俯视投影图、第一球面投影图、第二俯视投影图和第二球面投影图，确定所述源点云和目标点云的相对位姿；以及
第三生成模块，用于根据所述相对位姿，生成位姿图。
9.根据权利要求8所述的装置，其中，所述确定模块包括：
第一计算单元，用于根据所述第一球面投影图和所述第二球面投影图，计算所述源点云和所述目标点云之间的第一匹配残差；
第二计算单元，用于根据所述第一俯视投影图和所述第二俯视投影图，计算所述源点云和所述目标点云之间的第二匹配残差；以及
确定单元，用于根据所述第一匹配残差和所述第二匹配残差，确定所述源点云和目标点云之间的相对位姿。
10.根据权利要求9所述的装置，其中，
所述第一计算单元，用于根据所述第一球面投影图和所述第二球面投影图，计算所述源点云和所述目标点云之间的第一几何残差；
所述第二计算单元，用于根据所述第一俯视投影图和所述第二俯视投影图，计算所述源点云和所述目标点云之间的第二几何残差和反射值残差；
所述确定单元，用于根据所述第一几何残差、所述第二几何残差和所述反射值残差，确定所述源点云和目标点云之间的相对位姿。
11.根据权利要求8所述的装置，其中，所述第一生成模块包括：
第一分割单元，用于对所述源点云进行地面点和非地面点的分割；
第一投影单元，用于对所述源点云的地面点进行俯视投影，生成所述第一俯视投影图；以及
第二投影单元，用于对所述源点云的非地面点进行球面投影，生成所述第一球面投影图。
12.根据权利要求8所述的装置，其中，所述第二生成模块包括：
第二分割单元，用于对所述目标点云进行地面点和非地面点的分割；
第三投影单元，用于对所述目标点云的地面点进行俯视投影，生成所述第二俯视投影图；以及
第四投影单元，用于对所述目标点云的非地面点进行球面投影，生成所述第二球面投影图。
13.根据权利要求8至12任一项所述的装置，其中，所述源点云包括单帧点云或者子图，所述目标点云包括单帧点云或者子图，其中，所述子图是由多帧点云进行拼接得到的。
14.一种地图生成装置，包括：
获取模块，用于获取位姿图；以及
第三生成模块，用于根据所述位姿图生成地图；
其中，所述位姿图是根据权利要求8至13中任一项所述的装置生成的。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210785131.XA CN115239899B (zh) | 2022-06-29 | 2022-06-29 | 位姿图生成方法、高精地图生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210785131.XA CN115239899B (zh) | 2022-06-29 | 2022-06-29 | 位姿图生成方法、高精地图生成方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115239899A true CN115239899A (zh) | 2022-10-25 |
| CN115239899B CN115239899B (zh) | 2023-09-05 |
Family
ID=83670835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210785131.XA Active CN115239899B (zh) | 2022-06-29 | 2022-06-29 | 位姿图生成方法、高精地图生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239899B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690382A (zh) * | 2022-12-27 | 2023-02-03 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、生成全景图的方法和装置 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009199572A (ja) * | 2008-01-25 | 2009-09-03 | Kazuo Iwane | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
| US20170193312A1 (en) * | 2014-03-27 | 2017-07-06 | Georgia Tech Research Corporation | Systems and Methods for Identifying Traffic Control Devices and Testing the Retroreflectivity of the Same |
| CN108921947A (zh) * | 2018-07-23 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 生成电子地图的方法、装置、设备、存储介质以及采集实体 |
| CN109064506A (zh) * | 2018-07-04 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 高精度地图生成方法、装置及存储介质 |
| CN109545072A (zh) * | 2018-11-14 | 2019-03-29 | 广州广电研究院有限公司 | 地图构建的位姿计算方法、装置、存储介质和系统 |
| WO2021114884A1 (zh) * | 2019-12-11 | 2021-06-17 | 杭州海康威视数字技术股份有限公司 | 点云标注方法、装置、系统、设备及存储介质 |
| US20210270612A1 (en) * | 2020-03-02 | 2021-09-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, computing device and computer-readable storage medium for positioning |
| US20210320960A1 (en) * | 2020-04-14 | 2021-10-14 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| CN113607185A (zh) * | 2021-10-08 | 2021-11-05 | 禾多科技（北京）有限公司 | 车道线信息显示方法、装置、电子设备和计算机可读介质 |
| CN113870343A (zh) * | 2020-06-30 | 2021-12-31 | 长沙智能驾驶研究院有限公司 | 相对位姿标定方法、装置、计算机设备和存储介质 |
| CN113920174A (zh) * | 2021-10-15 | 2022-01-11 | 阿波罗智能技术(北京)有限公司 | 点云配准方法、装置、设备、介质和自动驾驶车辆 |
| CN114119886A (zh) * | 2021-10-27 | 2022-03-01 | 北京百度网讯科技有限公司 | 高精地图点云重建方法、装置、车辆、设备和存储介质 |
| CN114140592A (zh) * | 2021-12-01 | 2022-03-04 | 北京百度网讯科技有限公司 | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 |
| CN114170300A (zh) * | 2021-12-10 | 2022-03-11 | 阿波罗智能技术(北京)有限公司 | 高精地图点云位姿优化方法、装置、设备及介质 |
| US20220163346A1 (en) * | 2020-11-23 | 2022-05-26 | Electronics And Telecommunications Research Institute | Method and apparatus for generating a map for autonomous driving and recognizing location |
| CN114578375A (zh) * | 2022-03-01 | 2022-06-03 | 高德软件有限公司 | 栅格图生成方法、装置、电子设备及计算机存储介质 |
-
2022
- 2022-06-29 CN CN202210785131.XA patent/CN115239899B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009199572A (ja) * | 2008-01-25 | 2009-09-03 | Kazuo Iwane | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 |
| US20170193312A1 (en) * | 2014-03-27 | 2017-07-06 | Georgia Tech Research Corporation | Systems and Methods for Identifying Traffic Control Devices and Testing the Retroreflectivity of the Same |
| CN109064506A (zh) * | 2018-07-04 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 高精度地图生成方法、装置及存储介质 |
| CN108921947A (zh) * | 2018-07-23 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 生成电子地图的方法、装置、设备、存储介质以及采集实体 |
| CN109545072A (zh) * | 2018-11-14 | 2019-03-29 | 广州广电研究院有限公司 | 地图构建的位姿计算方法、装置、存储介质和系统 |
| WO2021114884A1 (zh) * | 2019-12-11 | 2021-06-17 | 杭州海康威视数字技术股份有限公司 | 点云标注方法、装置、系统、设备及存储介质 |
| US20210270612A1 (en) * | 2020-03-02 | 2021-09-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, computing device and computer-readable storage medium for positioning |
| US20210320960A1 (en) * | 2020-04-14 | 2021-10-14 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| CN113870343A (zh) * | 2020-06-30 | 2021-12-31 | 长沙智能驾驶研究院有限公司 | 相对位姿标定方法、装置、计算机设备和存储介质 |
| US20220163346A1 (en) * | 2020-11-23 | 2022-05-26 | Electronics And Telecommunications Research Institute | Method and apparatus for generating a map for autonomous driving and recognizing location |
| CN113607185A (zh) * | 2021-10-08 | 2021-11-05 | 禾多科技（北京）有限公司 | 车道线信息显示方法、装置、电子设备和计算机可读介质 |
| CN113920174A (zh) * | 2021-10-15 | 2022-01-11 | 阿波罗智能技术(北京)有限公司 | 点云配准方法、装置、设备、介质和自动驾驶车辆 |
| CN114119886A (zh) * | 2021-10-27 | 2022-03-01 | 北京百度网讯科技有限公司 | 高精地图点云重建方法、装置、车辆、设备和存储介质 |
| CN114140592A (zh) * | 2021-12-01 | 2022-03-04 | 北京百度网讯科技有限公司 | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 |
| CN114170300A (zh) * | 2021-12-10 | 2022-03-11 | 阿波罗智能技术(北京)有限公司 | 高精地图点云位姿优化方法、装置、设备及介质 |
| CN114578375A (zh) * | 2022-03-01 | 2022-06-03 | 高德软件有限公司 | 栅格图生成方法、装置、电子设备及计算机存储介质 |
Non-Patent Citations (8)
| Title |
|---|
| HANZHANG XUE等: "Real-time 3D Grid Map Building for Autonomous Driving in Dynamic Environment", 《2019 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS (ICUS)》 * |
| XIN ZHENG等: "面向自动驾驶车辆的高效激光里程计", 《HTTPS://MP.WEIXIN.QQ.COM/S/0C4RDXYTKPGOST0BBCZJBW》, pages 1 * |
| XIN ZHENG等: "面向自动驾驶车辆的高效激光里程计", pages 1 - 3 * |
| 何培培等: "基于线特征的城区激光点云与影像自动配准", 《光学学报》, no. 05 * |
| 张易等: "基于3维点云鸟瞰图的高精度实时目标检测", 《机器人》, no. 02 * |
| 李帅鑫 等: "面向点云退化的隧道环境的无人车激光SLAM方法", 《测绘学报》 * |
| 薛培林等: "基于信息融合的城市自主车辆实时目标识别", 《机械工程学报》, no. 12 * |
| 邹瑜;梁斌;王学谦;张涛;宋靖雁;: "基于旋转投影二进制描述符的空间目标位姿估计", 光学精密工程, no. 11, pages 185 - 194 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690382A (zh) * | 2022-12-27 | 2023-02-03 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、生成全景图的方法和装置 |
| CN115690382B (zh) * | 2022-12-27 | 2023-03-31 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、生成全景图的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115239899B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380002B2 (en) | Map element extraction method and apparatus, and server | |
| EP3506212B1 (en) | Method and apparatus for generating raster map | |
| US8406509B2 (en) | Three-dimensional surface generation method | |
| Zhou et al. | T-loam: truncated least squares lidar-only odometry and mapping in real time | |
| CN111968229A (zh) | 高精度地图制图方法及装置 | |
| US20110274343A1 (en) | System and method for extraction of features from a 3-d point cloud | |
| CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| Tao et al. | Stereo priori RCNN based car detection on point level for autonomous driving | |
| EP4116935B1 (en) | High-definition map creation method and device, and electronic device | |
| CN113689535B (zh) | 基于无人机影像的建筑物模型的生成方法和装置 | |
| Jonnavithula et al. | Lidar odometry methodologies for autonomous driving: A survey | |
| Luo et al. | Fast terrain mapping from low altitude digital imagery | |
| CN113920217A (zh) | 用于生成高精地图车道线的方法、装置、设备和产品 | |
| CN112184765A (zh) | 一种基于视觉的水下航行器自主跟踪方法 | |
| CN113822996B (zh) | 机器人的位姿估计方法及装置、电子设备、存储介质 | |
| CN114066773B (zh) | 一种基于点云特征与蒙特卡洛扩展法的动态物体去除 | |
| CN115239899B (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| Li et al. | A novel edge-enabled SLAM solution using projected depth image information | |
| CN111598941A (zh) | 一种杆塔倾斜度测量方法、装置、设备及存储介质 | |
| JP6761388B2 (ja) | 推定装置及びプログラム | |
| Li et al. | An efficient dense stereo matching method for planetary rover | |
| Singh et al. | Multi-sensor data fusion for accurate surface modeling | |
| CN115147561A (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| WO2021243281A1 (en) | System and method for visual odometry from log-logistic dense optical flow residuals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |