CN111784834A - 一种点云地图生成方法、装置以及电子设备 - Google Patents
一种点云地图生成方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN111784834A CN111784834A CN202010590358.XA CN202010590358A CN111784834A CN 111784834 A CN111784834 A CN 111784834A CN 202010590358 A CN202010590358 A CN 202010590358A CN 111784834 A CN111784834 A CN 111784834A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- pixel
- pose
- point
- colored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 230000002596 correlated effect Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004040 coloring Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种点云地图生成方法、装置以及电子设备，涉及自动驾驶技术领域。具体实现方案为：获取激光雷达采集的点云数据以及相机采集的图像；基于点云数据投影在像素坐标系下的第一像素点，确定点云数据中的待着色点云，待着色点云投影在像素坐标系下的第一像素点落在图像内，点云数据投影在像素坐标系下的第一像素点依据点云数据与图像的初始相对位姿确定；基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，将图像中的第二像素点的颜色信息与待着色点云关联，并基于关联颜色信息后的点云生成点云地图。可提高点云地图的颜色对比。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种点云地图生成方法、装置以及电子设备。
背景技术
随着高精地图的应用范围越来越来广，为用户生活和工作带来了极大的便利。例如，高精地图是自动驾驶应用中必不可少的一部分。在构建高精地图过程中，首先构建点云地图，然后基于点云地图使用人工标注或自动识别标注的方式产生高精地图。
然而，目前在生成点云地图过程中，采用激光雷达采集的点云数据的位置以及激光反射强度构建点云地图，如此，容易导致得到的点云地图中各部分之间对比不明显。
发明内容
本申请提供一种点云地图生成方法、装置和电子设备，以解决现有生成的点云地图中各部分之间对比不明显的问题。
第一方面，本申请一个实施例提供一种点云地图生成方法，包括：
获取激光雷达采集的点云数据以及相机采集的图像；
基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云，其中，所述待着色点云投影在所述像素坐标系下的第一像素点落在所述图像内，所述点云数据投影在所述像素坐标系下的第一像素点依据所述点云数据与所述图像的初始相对位姿确定；
基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点，其中，所述第一相对位姿为所述待着色点云的第一初始位姿与所述相机的第一位姿的相对位姿，所述初始相对位姿为所述点云数据的第一初始位姿与所述相机的第二初始位姿的相对位姿，所述点云数据的第一初始位姿为基于所述点云数据的时间戳确定的位姿，所述第二初始位姿为基于所述图像的时间戳确定的位姿，所述第一位姿为基于所述图像中的所述待着色点云的第一像素点的第一时间戳确定的位姿；
将所述图像中的所述第二像素点的颜色信息与所述待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
在本申请实施例的点云地图生成过程中，首先可基于所述点云数据投影在像素坐标系下的第一像素点，确定待着色点云，点云数据投影在像素坐标系下的第一像素点依据点云数据与图像的初始相对位姿确定，然后基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，且第一位姿为基于图像中的待着色点云的第一像素点的第一时间戳确定的位姿。可利用相机采集的图像中第二像素点的颜色信息，对点云数据中能够投影在相机采集的图像内的待着色点云进行着色，并利用着色后的点云生成点云地图，生成的点云地图具有点云的颜色信息。点云地图是基于关联有投影在像素坐标系下的第二像素点的颜色信息的待着色点云生成，在点云地图中基于不同颜色信息的点云生成的部分具有不同的颜色，可使点云地图中不同颜色信息的点云生成的部分之间的颜色对比更明显，即提高点云地图的颜色对比。
第二方面，本申请一个实施例提供一种点云地图生成装置，所述装置包括：
第一获取模块，用于获取激光雷达采集的点云数据以及相机采集的图像；
点云确定模块，用于基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云，其中，所述待着色点云投影在所述像素坐标系下的第一像素点落在所述图像内，所述点云数据投影在所述像素坐标系下的第一像素点依据所述点云数据与所述图像的初始相对位姿确定；
第一像素确定模块，用于基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点，其中，所述第一相对位姿为所述待着色点云的第一初始位姿与所述相机的第一位姿的相对位姿，所述初始相对位姿为所述点云数据的第一初始位姿与所述相机的第二初始位姿的相对位姿，所述点云数据的第一初始位姿为基于所述点云数据的时间戳确定的位姿，所述第二初始位姿为基于所述图像的时间戳确定的位姿，所述第一位姿为基于所述图像中的所述待着色点云的第一像素点的第一时间戳确定的位姿；
生成模块，用于将所述图像中的所述第二像素点的颜色信息与所述待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
在本申请实施例的点云地图生成装置进行点云图像生成过程中，首先可基于所述点云数据投影在像素坐标系下的第一像素点，确定待着色点云，点云数据投影在像素坐标系下的第一像素点依据点云数据与图像的初始相对位姿确定，然后基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，且第一位姿为基于图像中的待着色点云的第一像素点的第一时间戳确定的位姿。可利用相机采集的图像中第二像素点的颜色信息，对点云数据中能够投影在相机采集的图像内的待着色点云进行着色，并利用着色后的点云生成点云地图，生成的点云地图具有点云的颜色信息。点云地图是基于关联有投影在像素坐标系下的第二像素点的颜色信息的待着色点云生成，在点云地图中基于不同颜色信息的点云生成的部分具有不同的颜色，可使点云地图中不同颜色信息的点云生成的部分之间的颜色对比更明显，即提高点云地图的颜色对比。
第三方面，本申请一个实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请各实施例提供的方法。
第四方面，本申请一个实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请各实施例提供的方法。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请提供的一个实施例的点云地图生成方法的流程示意图之一；
图2是本申请提供的一个实施例的点云地图生成方法的流程示意图之二；
图3是本申请提供的一个实施例的点云地图生成方法的流程示意图之三；
图4是本申请提供的一个实施例的点云地图生成装置的结构图之一；
图5是本申请提供的一个实施例的点云地图生成装置的结构图之二；
图6是用来实现本申请实施例的点云地图生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，根据本申请的实施例，本申请提供一种点云地图生成方法，包括：
步骤S101：获取激光雷达采集的点云数据以及相机采集的图像。
点云地图生成方法可应用于电子设备，电子设备可安装在移动设备中，例如，可安装在车辆中。上述激光雷达和相机安装在同一移动设备上，例如，安装在同一车辆上。激光雷达采集的点云数据为激光雷达与相机朝向匹配(例如，相同)的情况下采集的点云数据，可以理解，用于对激光雷达采集的点云进行着色的图像，是相机在拍摄范围与激光雷达的探测范围匹配的情况下采集的图像，如此，可确保后续对点云着色的准确性。
其中，点云数据中包括多个点云，每个点云关联有激光反射强度和坐标，该坐标可以理解为在世界坐标系下的坐标。
步骤S102：基于点云数据投影在像素坐标系下的第一像素点，确定点云数据中的待着色点云。
其中，待着色点云投影在像素坐标系下的第一像素点落在图像内，点云数据投影在像素坐标系下的第一像素点依据点云数据与图像的初始相对位姿确定，即点云数据投影在像素坐标系下的第一像素点为依据点云数据与图像的初始相对位姿确定的像素点，初始相对位姿为点云数据的第一初始位姿与相机的第二初始位姿的相对位姿，第一初始位姿为基于点云数据的时间戳确定的位姿，第二初始位姿为基于图像的时间戳确定的位姿，点云数据的第一初始位姿包括待着色点云的第一初始位姿。
在获得点云数据后，需从中确定待着色点云，待着色点云可以有多个。在本实施例中，可根据点云数据投影在像素坐标系下的第一像素点确定待着色点云，点云数据投影在像素坐标系下的第一像素点为依据点云数据与图像的初始相对位姿确定的像素点，待着色点云为点云数据中的点云，其中，待着色点云为点云数据中投影在像素坐标系下的第一像素点落在图像内的点云，即能够投影在图像内的点云，后续对待着色点云着色即可。需要说明的是，点云数据中每个点云有对应的第一像素点，待着色点云属于点云数据，有对应的第一像素点，待着色点云对应的第一像素点落在图像内。
另外，获取的激光采集的点云数据以及相机采集的图像分别有对应的时间戳，用于确定第一像素点的初始相对位姿可以为依据图像的时间戳和待着色点云的时间戳确定的待着色点云与图像的相对位姿，即初始相对位姿为点云数据的第一初始位姿与相机的第二初始位姿的相对位姿，第一初始位姿为基于点云数据的时间戳确定的位姿，第二初始位姿为基于图像的时间戳确定的位姿。
需要说明的是，像素坐标系以图像的顶点(例如，左上角顶点)为原点，包括相互垂直的两个轴，例如，U轴和V轴，U轴平行于图像坐标系的X轴，V轴和平行于图像坐标系的Y轴，图像坐标系以图像的中心为原点，X轴和Y轴分别平行于图像的两条垂直边。图像中的像素点即为在像素坐标系下的坐标点，像素点对应的值即为图像在该像素点的像素值。另外，点云数据与图像的初始相对位姿为点云数据在世界坐标系下的位姿与图像在世界坐标系下的位姿之间的相对位姿，也可以理解为点云数据在相机坐标系下的位姿。相机坐标系以相机的光心为原点，包括相互垂直的Xc轴和Yc轴，Xc轴平行于图像坐标系的X轴，Yc轴和平行于图像坐标系的Y轴。世界坐标系也称为测量坐标系，为一种三维直角坐标系，可用于描述对象(例如，相机等)的空间位置。
步骤S103：基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点。
其中，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，点云数据的第一初始位姿为基于点云数据的时间戳确定的位姿，点云数据包括待着色点云，从而，点云数据的第一初始位姿包括待着色点云的第一初始位姿，第一位姿为基于图像中的待着色点云的第一像素点的第一时间戳确定的位姿。确定待着色点云后，可先获取待着色点云与图像的第一相对位姿，然后依据待着色点云与图像的第一相对位姿重新获取待着色点云投影在像素坐标系下的像素点即第二像素点。
步骤S104：将图像中的第二像素点的颜色信息与待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
得到待着色点云投影在像素坐标系下的第二像素点后，即完成待着色点云在像素坐标系下的投影，然后将相机采集的图像在第二像素点的颜色信息与待着色点云关联，可以理解，将图像在第二像素点的颜色信息赋给待着色点云，实现对待着色点云的着色，关联颜色信息后的点云即为着色后的点云，为彩色点云，利用关联颜色信息后的点云生成点云地图，即生成彩色点云地图。关联颜色信息后的点云不但关联激光反射强度和坐标，而且还关联有颜色信息，利用关联颜色信息后的点云生成点云地图，可以理解为基于关联颜色信息后的点云的光反射强度、坐标以及颜色信息生成点云地图。在本实施例中，对待着色点云进行着色，过滤了点云数据中投影在像素坐标系下的第一像素点未落在图像内的点云，如此，不但可减少着色量，提高着色效率，而且利用图像的颜色信息对待着色点云进行着色的准确性。
在本申请实施例的点云地图生成过程中，首先可基于所述点云数据投影在像素坐标系下的第一像素点，确定待着色点云，点云数据投影在像素坐标系下的第一像素点依据点云数据与图像的初始相对位姿确定，然后基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，且第一位姿为基于图像中的待着色点云的第一像素点的第一时间戳确定的位姿。可利用相机采集的图像中第二像素点的颜色信息，对点云数据中能够投影在相机采集的图像内的待着色点云进行着色，并利用着色后的点云生成点云地图，生成的点云地图具有点云的颜色信息。点云地图是基于关联有投影在像素坐标系下的第二像素点的颜色信息的待着色点云生成，在点云地图中基于不同颜色信息的点云生成的部分具有不同的颜色，可使点云地图中不同颜色信息的点云生成的部分之间的颜色对比更明显，即提高点云地图的颜色对比。
与此同时，过滤了点云数据中在投影在像素坐标系下的第一像素点未落在图像内的点云，不但可减少着色量，提高着色效率，而且可提高利用图像的颜色信息对待着色点云进行着色的准确性，以使生成的点云地图中不同区域之间的颜色对比更明显。作为一个示例，生成点云地图后，可对点云地图进行标注得到高精地图，由于点云地图基于着色后的点云生成，具有颜色信息，不同颜色区域时间的对比更明显，后续进行标注时，可减少对点云地图的标注难度，提高标注效率，从而提高得到高精地图的效率，而且可提高对点云地图标注的精度。
在一个实施例中，基于点云数据投影在像素坐标系下的第一像素点，确定点云数据中的待着色点云，包括：
基于点云数据的时间戳，获取点云数据的第一初始位姿，以及基于图像的时间戳，获取相机的第二初始位姿；计算第一初始位姿与第二初始位姿的初始相对位姿；根据初始相对位姿以及点云数据在世界坐标系下的坐标，确定点云数据投影在像素坐标系下的第一像素点；获取点云数据中第一像素点落在图像内的待着色点云。即在本实施例中，提供一个实施例的点云地图生成方法，如图2所示，该方法包括：
步骤S201：获取激光雷达采集的点云数据以及相机采集的图像。
步骤S201与上述步骤S101对应，在此不再赘述。
步骤S202：基于点云数据的时间戳，获取点云数据的第一初始位姿，以及基于图像的时间戳，获取相机的第二初始位姿。
点云数据有对应的时间戳，图像有对应的时间戳，图像的时间戳与相机的时间戳对应的，可根据图像的时间戳，获取相机的第二初始位姿，可以理解为图像在世界坐标系下的第二初始位姿。还可根据点云数据的时间戳，获取点云数据的一初始位姿，可以理解为点云数据在世界坐标系下的第一初始位姿。
需要说明的是，基于图像的时间戳，获取相机的第二初始位姿的方式有多种，以及基于点云数据的时间戳，获取点云数据的第一初始位姿的方式有多种，在此不作限定，例如，可分别利用移动设备的运动轨迹，通过插值方式获得相机的第二初始位姿以及点云数据的第一初始位姿等。
步骤S203：计算第一初始位姿与第二初始位姿的初始相对位姿。
得到第一初始位姿与第二初始位姿后，即可计算第一初始位姿与第二初始位姿的初始相对位姿，第一初始位姿相对第二初始位姿的相对位姿，也可以理解为点云数据在相机坐标系下的位姿。
步骤S204：根据初始相对位姿以及点云数据在世界坐标系下的坐标，确定点云数据投影在像素坐标系下的第一像素点。
点云数据在世界坐标系下的坐标即点云数据关联的坐标，通过激光雷达即可采集得到点云数据，即可得到点云数据关联的信息，例如，坐标和激光反射强度等。利用初始相对位姿以及点云数据在世界坐标系下的坐标，确定点云数据投影在像素坐标系下的第一像素点，投影可以理解为坐标转换，投影在像素坐标系下的第一像素点，可以理解为进行坐标转换到像素坐标系下的第一像素点。
作为一个示例，利用初始相对位姿，对点云数据在世界坐标系下的坐标进行转换，得到点云数据在相机坐标系下的坐标；基于点云数据在相机坐标系下的坐标，确定点云数据投影在像素坐标系下的第一像素点。即是将点云数据在相机坐标系下的坐标进行坐标转换到像素坐标系下的第一像素点，实现点云投影。
步骤S205：获取点云数据中第一像素点落在图像内的待着色点云。
为了使通过图像的颜色信息对点云着色的准确性，需要滤除点云数据中第一像素点未落在图像内的点云，获取点云数据中第一像素点落在图像内的待着色点云，对待着色点云进行着色即可。
步骤S206：基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点。
其中，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，初始相对位姿为点云数据的第一初始位姿与相机的第二初始位姿的相对位姿，点云数据的第一初始位姿为基于点云数据的时间戳确定的位姿，第二初始位姿为基于图像的时间戳确定的位姿，第一位姿为基于图像中的待着色点云的第一像素点的第一时间戳确定的位姿，点云数据的第一初始位姿包括待着色点云的第一初始位姿。
步骤S207：将图像中的第二像素点的颜色信息与待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
步骤S206-S207与上述步骤S103-S104一一对应，在此不再赘述。
在本实施例中，通过初始相对位姿以及点云数据在世界坐标系下的坐标，确定点云数据投影在像素坐标系下的第一像素点，利用点云数据投影在像素坐标系下的第一像素点确定点云数据中第一像素点落在图像内的待着色点云，后续再利用将图像中的第二像素点的颜色信息对待着色点云即可，如此，可提高着色准确性。
在一个实施例中，通过以下方式确定第一相对位姿：根据图像中待着色点云的第一像素点的第一时间戳，确定相机的第一位姿；获取点云数据的第一初始位姿，其中，第一初始位姿基于点云数据的时间戳确定；计算待着色点云的第一初始位姿与相机的第一位姿的第一相对位姿。
在实际应用中，对于基于CMOS感光元件的数字相机来说，根据曝光的方式不同，可分为卷帘快门(rolling shutter)和全局快门(global shutter)，目前无人车上使用的相机一般为卷帘快门。卷帘快门相机触发曝光图像每一行的时间会有着细微的间隔，一般来说，图像上每一行开始曝光时间相比上一行会慢几十微秒，这个时间差是固定的，由硬件决定。因此实际使用中需要根据相机开始触发曝光第一行的时间戳，去线性推算相机每一行曝光的时间戳。在点云着色时，确定点云投影到像素坐标系下的第一像素点上后，需要查询第一像素点所在图像中的行的时间戳，进而重新计算对应时间戳的相机的第一位姿，然后再次进行投影。
即在确定待着色点云投影在像素坐标系下的第二像素点之前，需先确定第一相对位姿，在确定第一相对位姿的过程中，首先，根据图像中的待着色点云的第一像素点的第一时间戳，确定相机的第一位姿，可以理解为相机在世界坐标系下的第一位姿。图像中每一行像素点的时间戳由于每一行开始曝光时间的差异而不同，从而，在确定第一相对位姿过程中，可获取待着色点云的第一像素点在图像中的第一时间戳，利用待着色点云的第一像素点在图像中的第一时间戳，重新确定图像在世界坐标系下的位姿，即第一位姿。由于待着色点云为点云数据中的点云，获取点云数据的第一初始位姿，即可获得待着色点云的第一初始位姿。后续可利用待着色点云的第一初始位姿与相机的第一位姿，重新获得待着色点云与图像之间的相对位姿，即第一相对位姿。
在本实施例中，由于利用了待着色点云的第一像素点的第一时间戳，进行图像位姿的确定，可提高第一位姿的准确性，如此，通过待着色点云的第一初始位姿与相机的第一位姿的第一相对位姿确定待着色点云投影在像素坐标系下的第二像素点，提高第二像素点的准确性，进而可提高颜色信息的准确性，以提高对待着色点云着色的准确性。
需要说明的是，根据图像中待着色点云的第一像素点的第一时间戳，确定相机的第一位姿的方式有多种，在此不作限定，例如，可利用相机运动轨迹，通过插值方式获得相机的第一位姿等。
举例说明，有一个相机运动轨迹，若需要求解在某个时间戳t下的相机的第一位姿。首先从相机运动轨迹中找出最相近的两个时间戳t0和t1，并满足t0<t<t1。已知相机在时间戳t0时刻对应位姿为(q0,μ0)，位姿包括位置和姿态，相对位姿包括相对位置和相对姿态，相机在时间戳t1时刻对应位姿为(q1,μ1)，相机的第一位姿为(q,μ)，其中q是一个四元数，表示朝向,可理解为旋转部分，即对应第一位姿中的姿态，μ是一个三维向量，表示平移，可以理解为平移部分，即对应第一位姿中的位置。q0为相机在时间戳t0时刻对应位姿中表示朝向的四元数，即相机在时间戳t0时刻对应位姿中的姿态，μ0为相机在时间戳t0时刻对应位姿中表示平移的三维向量，即相机在时间戳t0时刻对应位姿中的位置，q1为相机在时间戳t1时刻对应位姿中表示朝向的四元数，即相机在时间戳t1时刻对应位姿中的姿态，μ1为相机在时间戳t1时刻对应位姿中表示平移的三维向量，即相机在时间戳t1时刻对应位姿中的位置。对于一个时间戳t，可以通过以下插值方式获得在时间戳t，相机的第一位姿：平移部分：μ＝λ(μ1-μ0)+μ0，旋转部分：q＝(q1q0 -1)λq0，其中，
获取第一时间戳下的相机的第一位姿，只需将时间戳t赋值为第一时间戳代入公式即可。上述确定在图像的时间戳下的相机的第一初始位姿的过程与确定第一时间戳下的相机的第一位姿的过程类似，不同点在于时间戳不同以及运动轨迹不同。
在一个实施例中，基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点，包括：利用第一相对位姿，对待着色点云在世界坐标系下的坐标进行转换，得到待着色点云在相机坐标系下的第一坐标；基于第一坐标，确定待着色点云投影在像素坐标系下的第二像素点。
由于在激光雷达采集点云数据时，得到的待着色点云的坐标为在世界坐标系下的坐标，在得到第一相对位姿后，可对待着色点云的坐标为在世界坐标系下的坐标进行坐标转换，可得到待着色点云在相机坐标系下的第一坐标，将待着色点云在相机坐标系下的第一坐标投影到像素坐标系，以得到待着色点云的第二像素点。
在本实施例中，利用第一相对位姿，对待着色点云在世界坐标系下的坐标进行转换，将转换后得到的待着色点云在相机坐标系下的第一坐标投影到像素坐标系，得到待着色点云在像素坐标系下的第二像素点，可提高第二像素点的准确性。
在一个实施例中，第二像素点中的第一像素分量与第一转换倍率、第一参考坐标分量以及第一预设坐标分量正相关，第二像素点中的第二像素分量与第二转换倍率、第二参考坐标分量以及第二预设坐标分量正相关。
其中，第一转换倍率为相机坐标系转换到像素坐标系时的第一坐标分量的倍率，第二转换倍率为相机坐标系转换到像素坐标系时的第二坐标分量的倍率，第一预设坐标分量和第二预设坐标分量为相机的主点在像素坐标下的坐标中的分量，第一参考坐标分量与第一坐标中的第一分量、第一坐标中的第二分量以及预设相机畸变校正参数正相关，与第一坐标中的第三分量反相关，第二参考坐标分量与第一坐标中的第一分量、第一坐标中的第二分量以及预设相机畸变校正参数正相关，与第一坐标中的第三分量反相关。
相机的主点为相机的主视线与透视面的交点。作为一个示例，第一转换倍率和第二转换倍率为常数。预设相机畸变校正参数可包括第一相机畸变校正参数、第二相机畸变校正参数、第三相机畸变校正参数、第四相机畸变校正参数和第五相机畸变校正参数，预设相机畸变校正参数为常数。
在实施例中，基于第一坐标，确定待着色点云投影在像素坐标系下的第二像素点的过程中，利用了第一转换倍率、第一参考坐标分量、第一预设坐标分量、第二转换倍率、第二参考坐标分量以及第二预设坐标分量，且得到的第二像素点中的第一像素分量与第一转换倍率、第一参考坐标分量以及第一预设坐标分量正相关，第二像素点中的第二像素分量与第二转换倍率、第二参考坐标分量以及第二预设坐标分量正相关，如此，可提高第二像素点的准确性。
作为一个示例，通过以下公式确定待着色点云投影在像素坐标系下的第二像素点：
u＝fxx”+cx；
v＝fyy”+cy；
其中，x”＝x'(1+k1r2+k2r4+k3r6)+(2p1x'y'+p2(r2+2x'2)+2x'y')，
r2＝x'2+y'2，y”＝y'(1+k1r2+k2r4+k3r6)+(p1(r2+2y'2)+2p2x'y')，u为第二像素点中的第一像素分量，v为第二像素点中的第二像素分量，fx为第一转换倍率，cx为第一预设坐标分量，fy为第二转换倍率，cy为第二预设坐标分量，x”为第一参考坐标分量，y”为第二参考坐标分量，x为第一坐标中的第一分量，y为第一坐标中的第二分量，z为第一坐标中的第三分量，k1为第一相机畸变校正参数，k2为第二相机畸变校正参数，k3为第三相机畸变校正参数，p1为第四相机畸变校正参数，p2为第五相机畸变校正参数。
在一个实施例中，确定点云数据中的待着色点云之后，基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点之前，还包括：
检测迭代次数是否达到预设次数；
在迭代次数未达到预设次数的情况下，执行基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点的步骤，并将迭代次数加一，以及将待着色点云的第一像素点更新为待着色点云投影在像素坐标系下的第二像素点，且返回检测迭代次数是否达到预设次数的步骤，直到迭代次数达到预设次数，得到待着色点云投影在像素坐标系下的第二像素点。
迭代次数的初始值为零，在确定待着色点云过程中，利用了待着色点云的第一像素点，确定待着色点云之后，第一次确定第一相对位姿时，需要利用待着色点云的第一像素点，若得到待着色点云的第二像素点后，未达到迭代次数，需要重新确定第一相对位姿，此时，实际利用的是最新获得的待着色点云的第二像素点，重新确定第一相对位姿，从而每迭代一次后(即每确定一次待着色点云投影在像素坐标系下的第二像素点后)，将迭代次数加一，还需将待着色点云的第一像素点更新为待着色点云投影在像素坐标系下的第二像素点，后续即便需要利用更新后的待着色点云的第一像素点确定第一相对位姿，实际利用的是最新获得的待着色点云的第二像素点，重新确定待着色点云的第二像素点利用的第一相对位姿为利用更新后的待着色点云的第一像素点确定的第一相对位姿。
在本实施例中，可进行预设次数的待着色点云投影在像素坐标系下的第二像素点的确定，直到迭代次数是否达到预设次数，得到的待着色点云投影在像素坐标系下的第二像素点为最新确定的待着色点云投影在像素坐标系下的第二像素点，可提高第二像素点的准确性，依此对待着色点云进行着色，提高着色准确性。
下面以一个具体实施例对上述点云地图生成方法的过程加以具体说明。以方法应用于车辆中为例进行说明。
如图3所示，首先进行初始化，基于点云数据自带的时间戳以及采集的图像自带的时间戳，分别基于车辆运动轨迹，通过插值方式确定相机在世界坐标系下的第二初始位姿以及确定点云数据在世界坐标系下的第一初始位姿，然后根据第一初始位姿和第二初始位姿，计算点云数据在相机坐标系下的位姿，即初始相对位姿。利用初始相对位姿对点云数据的坐标进行坐标转换，得到点云数据在相机坐标系下的坐标，然后将点云数据在相机坐标系下的坐标投影到像素坐标系下，得到点云数据投影到像素坐标系下的第一像素点。利用点云数据投影到像素坐标系下的第一像素点，从点云数据中确定第一像素点落入采集的图像内的待着色点云，即滤除点云数据中确定第一像素点在图像外的点云。
然后为了去除rolling shutter效应，可进行多次迭代投影。迭代次数初始为零，预设次数预先设定，为大于1的整数。检测迭代次数是否达到预设次数，迭代次数未达到预设次数时，对于待着色点云中的每个点云，根据点云投影到像素坐标系下的第一像素点，更新相机的时间戳，即获取在图像中第一像素点第一时间戳，作为相机更新后的时间戳，根据第一时间戳，确定相机的第一位姿。然后根据相机的第一位姿和点云的第一初始位姿，计算得到第一相对位姿，即重新计算点云在相机坐标系下的位姿。再利用第一相对位姿对点云的坐标进行坐标转换，得到点云在相机坐标系下的第一坐标，然后将点云在相机坐标系下的第一坐标投影到像素坐标系下，得到点云投影到像素坐标系下的第二像素点，将待着色点云中的每个点云按照上述过程得到待着色点云中的每个点云投影到像素坐标系下的第二像素点，即待着色点云中每个点云处理完毕，完成一次迭代。将迭代次数加一，并将本次迭代过程中得到的点云投影到像素坐标系下的第二像素点更新至待着色点云投影到像素坐标系下的第一像素点，然后返回检测迭代次数是否达到预设次数的步骤，重复上述过程，每次迭代过程中，利用的是最近的前一次得到的最新的待着色点云投影到像素坐标系下的第一像素点。直到迭代次数达到预设次数，得到的待着色点云投影到像素坐标系下的第二像素点是最新的。后续利用其对应的颜色信息对点云进行着色，完成点云着色，即点云最终关联的颜色信息为最新的得到的待着色点云投影到像素坐标系下的第二像素点对应的颜色信息。
另外，需要说明的是，若图像还对应有语义信息，不但可将图像中的第二像素点的颜色信息与待着色点云关联，还可将图像中第二像素点的语义信息与待着色点云关联，基于关联颜色信息和语义信息后的点云生成点云地图，该点云地图为语义地图，即制作出语义地图，可实现对点云地图的自动化标注。
通过建立图像像素点和点云中坐标的对应关系，可以将图像纹理信息例如图像颜色赋给点云，从而生成彩色点云。基于彩色点云可以制作出彩色点云地图，提高点云地图的颜色对比，从而可提高后续标注效率。另一方面，也可以将基于图像的语义信息赋给点云，从而制作出语义地图，实现自动化标注。
请参考图4，本申请提供一种实施例的点云地图生成装置400，装置包括：
第一获取模块401，用于获取激光雷达采集的点云数据以及相机采集的图像；
点云确定模块402，用于基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云，其中，所述待着色点云投影在所述像素坐标系下的第一像素点落在所述图像内，所述点云数据投影在所述像素坐标系下的第一像素点依据所述点云数据与所述图像的初始相对位姿确定；
第一像素确定模块403，用于基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点，其中，第一相对位姿为待着色点云的第一初始位姿与相机的第一位姿的相对位姿，初始相对位姿为点云数据的第一初始位姿与相机的第二初始位姿的相对位姿，点云数据的第一初始位姿为基于点云数据的时间戳确定的位姿，第二初始位姿为基于图像的时间戳确定的位姿，第一位姿为基于图像中的待着色点云的第一像素点的第一时间戳确定的位姿；
生成模块404，用于将图像中的第二像素点的颜色信息与待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
请参考图5，在一个实施例中，点云确定模块402，包括：
第二获取模块4021，用于基于点云数据的时间戳，获取点云数据的第一初始位姿，以及基于图像的时间戳，获取相机的第二初始位姿；
第一计算模块4022，用于计算第一初始位姿与第二初始位姿的初始相对位姿；
第二像素确定模块4023，用于根据初始相对位姿以及点云数据在世界坐标系下的坐标，确定点云数据投影在像素坐标系下的第一像素点；
点云获取模块4024，用于获取点云数据中第一像素点落在图像内的待着色点云。
在一个实施例中，上述点云地图生成装置400，还包括：
位姿确定模块，用于根据图像中的待着色点云的第一像素点的第一时间戳，确定相机的第一位姿；
位姿获取模块，用于获取点云数据的第一初始位姿，其中，第一初始位姿基于点云数据的时间戳确定；
第二计算模块，用于计算待着色点云的第一初始位姿与相机的第一位姿的第一相对位姿。
在一个实施例中，第一像素确定模块403，包括：
转换模块，用于利用第一相对位姿，对待着色点云在世界坐标系下的坐标进行转换，得到待着色点云在相机坐标系下的第一坐标；
像素确定子模块，用于基于第一坐标，确定待着色点云投影在像素坐标系下的第二像素点。
在一个实施例中，第二像素点中的第一像素分量与第一转换倍率、第一参考坐标分量以及第一预设坐标分量正相关，第二像素点中的第二像素分量与第二转换倍率、第二参考坐标分量以及第二预设坐标分量正相关；
其中，第一转换倍率为相机坐标系转换到像素坐标系时的第一坐标分量的倍率，第二转换倍率为相机坐标系转换到像素坐标系时的第二坐标分量的倍率，第一预设坐标分量和第二预设坐标分量为相机的主点在像素坐标下的坐标中的分量，第一参考坐标分量与第一坐标中的第一分量、第一坐标中的第二分量以及预设相机畸变校正参数正相关，与第一坐标中的第三分量反相关，第二参考坐标分量与第一坐标中的第一分量、第一坐标中的第二分量以及预设相机畸变校正参数正相关，与第一坐标中的第三分量反相关。
在一个实施例中，上述点云地图生成装置400，还包括：
检测模块，用于检测迭代次数是否达到预设次数；
第一像素确定模块，用于在迭代次数未达到预设次数的情况下，执行基于待着色点云与图像的第一相对位姿，确定待着色点云投影在像素坐标系下的第二像素点的步骤，并将迭代次数加一，且返回检测模块执行检测迭代次数是否达到预设次数的步骤，直到迭代次数达到预设次数，得到待着色点云投影在像素坐标系下的第二像素点。
上述各实施例的点云地图生成装置为实现上述各实施例的点云地图生成方法的装置，技术特征对应，技术效果对应，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的点云地图生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUM的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的点云地图生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的点云地图生成方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的点云地图生成方法对应的程序指令/模块(例如，附图4所示的第一获取模块401、点云确定模块402、第一像素确定模块403、生成模块404)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的点云地图生成方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据键盘显示的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至键盘显示的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
点云地图生成方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与键盘显示的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASMC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者第二可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，可利用相机采集的图像的颜色信息，对点云数据中能够投影在相机采集的图像内的待着色点云进行着色，并利用着色后的点云生成点云地图，生成的点云地图具有点云的颜色信息，如此，可提高点云地图的颜色对比。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种点云地图生成方法，其特征在于，所述方法包括：
获取激光雷达采集的点云数据以及相机采集的图像；
基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云，其中，所述待着色点云投影在所述像素坐标系下的第一像素点落在所述图像内，所述点云数据投影在所述像素坐标系下的第一像素点依据所述点云数据与所述图像的初始相对位姿确定；
基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点，其中，所述第一相对位姿为所述待着色点云的第一初始位姿与所述相机的第一位姿的相对位姿，所述初始相对位姿为所述点云数据的第一初始位姿与所述相机的第二初始位姿的相对位姿，所述点云数据的第一初始位姿为基于所述点云数据的时间戳确定的位姿，所述第二初始位姿为基于所述图像的时间戳确定的位姿，所述第一位姿为基于所述图像中的所述待着色点云的第一像素点的第一时间戳确定的位姿；
将所述图像中的所述第二像素点的颜色信息与所述待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
2.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云，包括：
基于所述点云数据的时间戳，获取所述点云数据的第一初始位姿，以及基于所述图像的时间戳，获取所述相机的第二初始位姿；
计算所述第一初始位姿与所述第二初始位姿的所述初始相对位姿；
根据所述初始相对位姿以及所述点云数据在世界坐标系下的坐标，确定所述点云数据投影在所述像素坐标系下的第一像素点；
获取所述点云数据中第一像素点落在所述图像内的所述待着色点云。
3.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述第一相对位姿：
根据所述图像中的所述待着色点云的第一像素点的第一时间戳，确定所述相机的第一位姿；
获取所述点云数据的第一初始位姿，其中，所述第一初始位姿基于所述点云数据的时间戳确定；
计算所述待着色点云的第一初始位姿与所述相机的第一位姿的所述第一相对位姿。
4.根据权利要求1所述的方法，其特征在于，所述基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点，包括：
利用所述第一相对位姿，对所述待着色点云在世界坐标系下的坐标进行转换，得到所述待着色点云在相机坐标系下的第一坐标；
基于所述第一坐标，确定所述待着色点云投影在所述像素坐标系下的所述第二像素点。
5.根据权利要求4所述的方法，其特征在于，所述第二像素点中的第一像素分量与第一转换倍率、第一参考坐标分量以及第一预设坐标分量正相关，所述第二像素点中的第二像素分量与第二转换倍率、第二参考坐标分量以及第二预设坐标分量正相关；
其中，所述第一转换倍率为相机坐标系转换到所述像素坐标系时的第一坐标分量的倍率，所述第二转换倍率为相机坐标系转换到所述像素坐标系时的第二坐标分量的倍率，所述第一预设坐标分量和所述第二预设坐标分量为所述相机的主点在所述像素坐标下的坐标中的分量，所述第一参考坐标分量与所述第一坐标中的第一分量、所述第一坐标中的第二分量以及预设相机畸变校正参数正相关，与所述第一坐标中的第三分量反相关，所述第二参考坐标分量与所述第一坐标中的第一分量、所述第一坐标中的第二分量以及所述预设相机畸变校正参数正相关，与所述第一坐标中的第三分量反相关。
6.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云之后，所述基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点之前，还包括：
检测迭代次数是否达到预设次数；
在所述迭代次数未达到预设次数的情况下，执行所述基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点的步骤，并将所述迭代次数加一，且返回所述检测迭代次数是否达到预设次数的步骤，直到所述迭代次数达到所述预设次数，得到所述待着色点云投影在所述像素坐标系下的第二像素点。
7.一种点云地图生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取激光雷达采集的点云数据以及相机采集的图像；
点云确定模块，用于基于所述点云数据投影在像素坐标系下的第一像素点，确定所述点云数据中的待着色点云，其中，所述待着色点云投影在所述像素坐标系下的第一像素点落在所述图像内，所述点云数据投影在所述像素坐标系下的第一像素点依据所述点云数据与所述图像的初始相对位姿确定；
第一像素确定模块，用于基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点，其中，所述第一相对位姿为所述待着色点云的第一初始位姿与所述相机的第一位姿的相对位姿，所述初始相对位姿为所述点云数据的第一初始位姿与所述相机的第二初始位姿的相对位姿，所述点云数据的第一初始位姿为基于所述点云数据的时间戳确定的位姿，所述第二初始位姿为基于所述图像的时间戳确定的位姿，所述第一位姿为基于所述图像中的所述待着色点云的第一像素点的第一时间戳确定的位姿；
生成模块，用于将所述图像中的所述第二像素点的颜色信息与所述待着色点云关联，并基于关联颜色信息后的点云生成点云地图。
8.根据权利要求7所述的装置，其特征在于，所述点云确定模块，包括：
第二获取模块，用于基于所述点云数据的时间戳，获取所述点云数据的第一初始位姿，以及基于所述图像的时间戳，获取所述相机的第二初始位姿；
第一计算模块，用于计算所述第一初始位姿与所述第二初始位姿的所述初始相对位姿；
第二像素确定模块，用于根据所述初始相对位姿以及所述点云数据在世界坐标系下的坐标，确定所述点云数据投影在所述像素坐标系下的第一像素点；
点云获取模块，用于获取所述点云数据中第一像素点落在所述图像内的所述待着色点云。
9.根据权利要求7所述的装置，其特征在于，还包括：
位姿确定模块，用于根据所述图像中的所述待着色点云的第一像素点的第一时间戳，确定所述相机的第一位姿；
位姿获取模块，用于获取所述点云数据的第一初始位姿，其中，所述第一初始位姿基于所述点云数据的时间戳确定；
第二计算模块，用于计算所述待着色点云的第一初始位姿与所述相机的第一位姿的所述第一相对位姿。
10.根据权利要求7所述的装置，其特征在于，所述第一像素确定模块，包括：
转换模块，用于利用所述第一相对位姿，对所述待着色点云在世界坐标系下的坐标进行转换，得到所述待着色点云在相机坐标系下的第一坐标；
像素确定子模块，用于基于所述第一坐标，确定所述待着色点云投影在所述像素坐标系下的所述第二像素点。
11.根据权利要求10所述的装置，其特征在于，所述第二像素点中的第一像素分量与第一转换倍率、第一参考坐标分量以及第一预设坐标分量正相关，所述第二像素点中的第二像素分量与第二转换倍率、第二参考坐标分量以及第二预设坐标分量正相关；
其中，所述第一转换倍率为相机坐标系转换到所述像素坐标系时的第一坐标分量的倍率，所述第二转换倍率为相机坐标系转换到所述像素坐标系时的第二坐标分量的倍率，所述第一预设坐标分量和所述第二预设坐标分量为所述相机的主点在所述像素坐标下的坐标中的分量，所述第一参考坐标分量与所述第一坐标中的第一分量、所述第一坐标中的第二分量以及预设相机畸变校正参数正相关，与所述第一坐标中的第三分量反相关，所述第二参考坐标分量与所述第一坐标中的第一分量、所述第一坐标中的第二分量以及所述预设相机畸变校正参数正相关，与所述第一坐标中的第三分量反相关。
12.根据权利要求7所述的装置，其特征在于，还包括：
检测模块，用于检测迭代次数是否达到预设次数；
所述第一像素确定模块，用于在所述迭代次数未达到预设次数的情况下，执行所述基于所述待着色点云与所述图像的第一相对位姿，确定所述待着色点云投影在所述像素坐标系下的第二像素点的步骤，并将所述迭代次数加一，且返回所述检测模块执行检测迭代次数是否达到预设次数的步骤，直到所述迭代次数达到所述预设次数，得到所述待着色点云投影在所述像素坐标系下的第二像素点。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010590358.XA CN111784834B (zh) | 2020-06-24 | 2020-06-24 | 一种点云地图生成方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010590358.XA CN111784834B (zh) | 2020-06-24 | 2020-06-24 | 一种点云地图生成方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784834A true CN111784834A (zh) | 2020-10-16 |
| CN111784834B CN111784834B (zh) | 2024-06-18 |
Family
ID=72760332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010590358.XA Active CN111784834B (zh) | 2020-06-24 | 2020-06-24 | 一种点云地图生成方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784834B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112735253A (zh) * | 2020-10-22 | 2021-04-30 | 深圳裹动智驾科技有限公司 | 红绿灯自动标注方法及计算机设备 |
| CN113240813A (zh) * | 2021-05-12 | 2021-08-10 | 北京三快在线科技有限公司 | 三维点云信息确定方法及装置 |
| CN113724303A (zh) * | 2021-09-07 | 2021-11-30 | 广州文远知行科技有限公司 | 点云与图像匹配方法、装置、电子设备和存储介质 |
| CN113834479A (zh) * | 2021-09-03 | 2021-12-24 | Oppo广东移动通信有限公司 | 地图生成方法、装置、系统、存储介质及电子设备 |
| CN114049355A (zh) * | 2022-01-14 | 2022-02-15 | 杭州灵西机器人智能科技有限公司 | 一种散乱工件的识别标注方法、系统和装置 |
| CN115308716A (zh) * | 2022-10-12 | 2022-11-08 | 深圳市其域创新科技有限公司 | 扫描设备及扫描设备的控制方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110164037A1 (en) * | 2008-08-29 | 2011-07-07 | Mitsubishi Electric Corporaiton | Aerial image generating apparatus, aerial image generating method, and storage medium havng aerial image generating program stored therein |
| CN104794743A (zh) * | 2015-04-27 | 2015-07-22 | 武汉海达数云技术有限公司 | 一种车载激光移动测量系统彩色点云生产方法 |
| CN106780576A (zh) * | 2016-11-23 | 2017-05-31 | 北京航空航天大学 | 一种面向rgbd数据流的相机位姿估计方法 |
| CN107194983A (zh) * | 2017-05-16 | 2017-09-22 | 华中科技大学 | 一种基于点云与影像数据的三维可视化方法和系统 |
| CN108346134A (zh) * | 2017-01-24 | 2018-07-31 | 莱卡地球系统公开股份有限公司 | 对着色的三维点云进行图像修复的方法和装置 |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
| CN110264563A (zh) * | 2019-05-23 | 2019-09-20 | 武汉科技大学 | 一种基于orbslam2的八叉树建图方法 |
| CN110929669A (zh) * | 2019-11-29 | 2020-03-27 | 北京百度网讯科技有限公司 | 数据标注方法及装置 |
| KR20200071565A (ko) * | 2018-12-11 | 2020-06-19 | 삼성전자주식회사 | 포인트 클라우드를 생성하는 방법 및 장치 |
| CN111436216A (zh) * | 2018-11-13 | 2020-07-21 | 北京嘀嘀无限科技发展有限公司 | 用于彩色点云生成的方法和系统 |
-
2020
- 2020-06-24 CN CN202010590358.XA patent/CN111784834B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110164037A1 (en) * | 2008-08-29 | 2011-07-07 | Mitsubishi Electric Corporaiton | Aerial image generating apparatus, aerial image generating method, and storage medium havng aerial image generating program stored therein |
| CN104794743A (zh) * | 2015-04-27 | 2015-07-22 | 武汉海达数云技术有限公司 | 一种车载激光移动测量系统彩色点云生产方法 |
| CN106780576A (zh) * | 2016-11-23 | 2017-05-31 | 北京航空航天大学 | 一种面向rgbd数据流的相机位姿估计方法 |
| CN108346134A (zh) * | 2017-01-24 | 2018-07-31 | 莱卡地球系统公开股份有限公司 | 对着色的三维点云进行图像修复的方法和装置 |
| CN107194983A (zh) * | 2017-05-16 | 2017-09-22 | 华中科技大学 | 一种基于点云与影像数据的三维可视化方法和系统 |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
| CN111436216A (zh) * | 2018-11-13 | 2020-07-21 | 北京嘀嘀无限科技发展有限公司 | 用于彩色点云生成的方法和系统 |
| KR20200071565A (ko) * | 2018-12-11 | 2020-06-19 | 삼성전자주식회사 | 포인트 클라우드를 생성하는 방법 및 장치 |
| CN110264563A (zh) * | 2019-05-23 | 2019-09-20 | 武汉科技大学 | 一种基于orbslam2的八叉树建图方法 |
| CN110929669A (zh) * | 2019-11-29 | 2020-03-27 | 北京百度网讯科技有限公司 | 数据标注方法及装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112735253A (zh) * | 2020-10-22 | 2021-04-30 | 深圳裹动智驾科技有限公司 | 红绿灯自动标注方法及计算机设备 |
| CN112735253B (zh) * | 2020-10-22 | 2023-03-10 | 深圳安途智行科技有限公司 | 红绿灯自动标注方法及计算机设备 |
| CN113240813A (zh) * | 2021-05-12 | 2021-08-10 | 北京三快在线科技有限公司 | 三维点云信息确定方法及装置 |
| CN113834479A (zh) * | 2021-09-03 | 2021-12-24 | Oppo广东移动通信有限公司 | 地图生成方法、装置、系统、存储介质及电子设备 |
| CN113724303A (zh) * | 2021-09-07 | 2021-11-30 | 广州文远知行科技有限公司 | 点云与图像匹配方法、装置、电子设备和存储介质 |
| CN113724303B (zh) * | 2021-09-07 | 2024-05-10 | 广州文远知行科技有限公司 | 点云与图像匹配方法、装置、电子设备和存储介质 |
| CN114049355A (zh) * | 2022-01-14 | 2022-02-15 | 杭州灵西机器人智能科技有限公司 | 一种散乱工件的识别标注方法、系统和装置 |
| CN115308716A (zh) * | 2022-10-12 | 2022-11-08 | 深圳市其域创新科技有限公司 | 扫描设备及扫描设备的控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784834B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784834B (zh) | 一种点云地图生成方法、装置以及电子设备 | |
| CN111753961B (zh) | 模型训练方法和装置、预测方法和装置 | |
| CN112132829A (zh) | 车辆信息的检测方法、装置、电子设备和存储介质 | |
| CN111220154A (zh) | 车辆定位方法、装置、设备和介质 | |
| US11713970B2 (en) | Positioning method, electronic device and computer readable storage medium | |
| CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
| CN111612753B (zh) | 三维物体检测方法、装置、电子设备和可读存储介质 | |
| CN112241718B (zh) | 车辆信息的检测方法、检测模型的训练方法和装置 | |
| CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN111401251B (zh) | 车道线提取方法、装置、电子设备及计算机可读存储介质 | |
| CN111721281B (zh) | 位置识别方法、装置和电子设备 | |
| CN111612852A (zh) | 用于验证相机参数的方法和装置 | |
| CN111524192A (zh) | 车载相机外参的标定方法、装置、系统及存储介质 | |
| CN110675635B (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
| CN112101209A (zh) | 用于路侧计算设备的确定世界坐标点云的方法和装置 | |
| CN111767853A (zh) | 车道线检测方法和装置 | |
| CN112487979A (zh) | 目标检测方法和模型训练方法、装置、电子设备和介质 | |
| CN111275827A (zh) | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 | |
| CN111462179B (zh) | 三维物体跟踪方法、装置及电子设备 | |
| CN110717474A (zh) | 目标关联计算方法、装置、设备和介质 | |
| CN111311743B (zh) | 三维重建精度测试方法、测试装置和电子设备 | |
| CN111949816A (zh) | 定位处理方法、装置、电子设备和存储介质 | |
| CN112102417A (zh) | 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法 | |
| CN111783611B (zh) | 无人车的定位方法、装置、无人车及存储介质 | |
| CN111915642A (zh) | 图像样本的生成方法、装置、设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211018 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |