CN112291024B - 信息同步方法、信息同步装置及电子设备 - Google Patents
信息同步方法、信息同步装置及电子设备 Download PDFInfo
- Publication number
- CN112291024B CN112291024B CN201910677031.3A CN201910677031A CN112291024B CN 112291024 B CN112291024 B CN 112291024B CN 201910677031 A CN201910677031 A CN 201910677031A CN 112291024 B CN112291024 B CN 112291024B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- information
- determining
- scanning
- timestamp information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000001360 synchronised effect Effects 0.000 claims abstract description 19
- 238000013519 translation Methods 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
公开了一种信息同步方法、信息同步装置及电子设备。该信息同步方法包括：获取第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合；获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，其中，第一空间范围与第二空间范围具有重叠的区域；基于第一时间戳信息集合和第二时间戳信息集合，同步点云数据和至少一帧图像帧。与现有信息同步方法相比，本公开能够有效提高信息的同步精准度，降低同步误差，进而为后续的信息融合等操作提供更具细粒度的同步信息。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种信息同步方法、信息同步装置及电子设备。
背景技术
随着传感技术的迅速发展，能够获取不同类型信息的多传感技术日益受到广泛关注。然而，由于传感器参数或者信息类型的限制，基于多传感技术获取的不同类型的信息之间很难实现真正的时间同步。尤其是在自动驾驶领域，基于激光雷达采集的点云数据与基于相机采集的图像数据很难实现时间同步，不同步的信息对后续的数据采集、数据标注以及多传感器之间的信息融合造成了不良影响。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种信息同步方法、信息同步装置及电子设备。
在一方面，本公开实施例提供了一种信息同步方法，该信息同步方法包括：获取第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合；获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，其中，第一空间范围与第二空间范围具有重叠的区域；基于第一时间戳信息集合和第二时间戳信息集合，同步点云数据和至少一帧图像帧。
在另一方面，本公开实施例提供了一种信息同步装置，该信息同步装置包括：第一时间戳信息集合确定模块，用于获取第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合；第二时间戳信息集合确定模块，用于获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，其中，第一空间范围与第二空间范围具有重叠的区域；同步模块，用于基于第一时间戳信息集合和第二时间戳信息集合，同步点云数据和至少一帧图像帧。
在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的信息同步方法。
在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的信息同步方法。
本公开实施例提供的信息同步方法，通过确定第一空间范围内的至少一帧图像帧对应的第一时间戳信息集合，并确定第二空间范围内的点云数据中的多个点云单元对应的第二时间戳信息集合，然后基于第一时间戳信息集合和第二时间戳信息集合同步至少一帧图像帧和多个点云单元的方式，实现了同步至少一帧图像帧和点云数据的目的。由于本公开实施例提供的信息同步方法能够基于图像帧对应的第一时间戳信息集合和点云数据对应的第二时间戳信息集合进行图像帧与点云数据的同步操作，因此，与现有信息同步方法相比，本公开实施例能够有效提高信息的同步精准度，降低同步误差，进而为后续的信息融合等操作提供更具细粒度的同步信息。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本公开所适用的场景图。
图2所示为本公开一示例性实施例提供的信息同步方法的流程示意图。
图3a所示为本公开一示例性实施例提供的基于扫描信息将点云数据确定为多个点云单元的流程示意图。
图3b所示为本公开一示例性实施例提供的划分点云数据以生成多个第一点云单元的划分示意图。
图4所示为本公开一示例性实施例提供的确定多个点云单元对应的第二时间戳信息集合的流程示意图。
图5所示为本公开一示例性实施例提供的计算多个第一点云单元中的每个第一点云单元对应的点云时间戳信息的流程示意图。
图6a所示为本公开另一示例性实施例提供的基于扫描信息将点云数据确定为多个点云单元的流程示意图。
图6b所示为本公开另一示例性实施例提供的划分点云数据以生成多个第二点云单元的划分示意图。
图7所示为本公开另一示例性实施例提供的确定多个点云单元对应的第二时间戳信息集合的流程示意图。
图8所示为本公开一示例性实施例提供的计算多个第二点云单元中的每个第二点云单元对应的点云时间戳信息的流程示意图。
图9所示为本公开一示例性实施例提供的基于第一时间戳信息集合和第二时间戳信息集合，同步点云数据和至少一帧图像帧的流程示意图。
图10所示为本公开一示例性实施例提供的确定点云时间戳信息对应的图像时间戳信息，并基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧的流程示意图。
图11所示为本公开一示例性实施例提供的信息同步装置的结构示意图。
图12所示为本公开一示例性实施例提供的信息同步装置的第二时间戳信息集合确定模块的结构示意图。
图13所示为本公开一示例性实施例提供的信息同步装置的第一点云时间戳信息计算单元的结构示意图。
图14所示为本公开另一示例性实施例提供的信息同步装置的第二时间戳信息集合确定模块的结构示意图。
图15所示为本公开一示例性实施例提供的信息同步装置的第二点云时间戳信息计算单元的结构示意图。
图16所示为本公开一示例性实施例提供的信息同步装置的同步模块的结构示意图。
图17所示为本公开一示例性实施例提供的信息同步装置的图像帧确定单元的结构示意图。
图18所示为本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
传感技术作为信息技术的支柱技术之一，其重要性不言而喻。随着传感技术的迅速发展，多传感器之间的信息同步与信息融合成为技术难点。尤其在自动驾驶领域，不同类型信息的同步程度以及融合程度会影响可移动设备的自动驾驶精准度，进而影响用户的生命安全。
在现有技术中，通常结合激光雷达和视觉相机确定与场景相关的信息。然而，由于激光雷达采用扫描方式采集点云数据，视觉相机采用曝光方式采集图像，因此，激光雷达和视觉相机很难真正实现时间维度的信息同步。
针对上述技术问题，本公开的基本构思是提出一种信息同步方法、信息同步装置及电子设备。该信息同步方法通过获取第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，其中，第一空间范围与第二空间范围具有重叠的区域，继而基于第一时间戳信息集合和第二时间戳信息集合同步至少一帧图像帧和点云数据的方式，实现了基于第一时间戳信息集合和第二时间戳信息集合同步图像帧和点云数据的目的。由于本公开提供的信息同步方法能够基于至少一帧图像帧对应的第一时间戳信息集合和多个点云单元对应的第二时间戳信息集合进行图像帧与点云数据的同步操作，因此，与现有信息同步方法相比，本公开实施例能够有效提高信息的同步精准度，降低同步误差，进而为后续的信息融合等操作提供更具细粒度的同步信息。
在介绍了本公开的基本原理之后，下面将参考附图来具体介绍本公开的各种非限制性实施例。
示例性系统
图1所示为本公开所适用的场景图。如图1所示，本公开所适用的场景为可移动设备的信息同步场景，其中，该信息同步场景中包括服务器1和可移动设备2，服务器1用于获取可移动设备2所处地理位置的预设范围的图像帧和点云数据，以及图像帧对应的第一时间戳信息集合和点云数据对应的第二时间戳信息集合，然后基于第一时间戳信息集合和第二时间戳信息集合同步图像帧和点云数据。
具体而言，服务器1用于获取可移动设备2所处地理位置的第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取可移动设备2所处地理位置的第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，继而基于第一时间戳信息集合和第二时间戳信息集合同步至少一帧图像帧和点云数据。其中，第一空间范围与第二空间范围具有重叠的区域。通过该场景，能够有效降低可移动设备2的计算量。
需要说明的是，本公开还适用于另一场景。具体地，该可移动设备的信息同步场景中包括可移动设备2。具体而言，可移动设备2用于获取所处地理位置的第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合，然后获取所处地理位置的第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，继而基于第一时间戳信息集合和第二时间戳信息集合同步至少一帧图像帧和点云数据。其中，第一空间范围与第二空间范围具有重叠的区域。通过该场景，能够保证可移动设备2的信息同步的实时性。
应当理解，本公开实施例提供的信息同步方法，不局限于上述提及的可移动设备的应用场景，只要涉及到图像帧与点云数据的同步场景，均属于本公开实施例的适用范围。
示例性方法
图2所示为本公开一示例性实施例提供的信息同步方法的流程示意图。如图2所示，本公开实施例提供的信息同步方法包括如下步骤。
步骤10，获取第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合。
第一空间范围指的是与相机的拍摄视野对应的预设空间范围。其中，相机用于采集图像帧。
第一时间戳信息集合包括至少一个第一时间戳信息，第一时间戳信息与图像帧存在对应关系。具体而言，第一时间戳信息包括对应的图像帧的拍摄时间信息。
步骤20，获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，其中，第一空间范围与第二空间范围具有重叠的区域。
第二空间范围指的是与激光雷达的扫描范围对应的预设空间范围。其中，激光雷达用于采集点云数据。
第一空间范围和第二空间范围的重叠区域，指的是相机的拍摄视野和激光雷达的扫描范围的重叠区域，即，相机拍摄的图像帧与激光雷达扫描的点云数据具有空间范围层面的重叠区域。
在步骤20中，扫描信息包括但不限于扫描方式信息、扫描速度信息和扫描时间信息等。可选地，可基于扫描方式信息和扫描速度信息等扫描信息确定点云数据对应的多个点云单元。比如，当基于扫描方式信息确定扫描方式为旋转扫描方式时，可以沿旋转扫描方式对应的旋转扫描方向划分点云数据，以形成多个点云单元。
第二时间戳信息集合包括多个第二时间戳信息，第二时间戳信息与点云单元存在对应关系。具体而言，第二时间戳信息包括对应的点云单元的扫描时间信息。
步骤30，基于第一时间戳信息集合和第二时间戳信息集合，同步至少一帧图像帧和点云数据。
在步骤30中，可以基于第一时间戳信息集合中的第一时间戳信息与第二时间戳信息集合中的第二时间戳信息之间的对应关系，确定图像帧和点云单元之间的对应关系，从而基于图像帧和点云单元之间的对应关系同步图像帧和点云数据。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过确定第一空间范围内的至少一帧图像帧对应的第一时间戳信息集合，并确定第二空间范围内的点云数据中的多个点云单元对应的第二时间戳信息集合，然后基于第一时间戳信息集合和第二时间戳信息集合同步至少一帧图像帧和多个点云单元的方式，实现了同步至少一帧图像帧和点云数据的目的。由于本公开实施例提供的信息同步方法能够基于图像帧对应的第一时间戳信息集合和点云数据对应的第二时间戳信息集合进行图像帧与点云数据的同步操作，因此，与现有信息同步方法相比，本公开实施例能够有效提高信息的同步精准度，降低同步误差，进而为后续的信息融合等操作提供更具细粒度的同步信息。
在本公开一实施例中，在上述实施例提及的步骤10之前，还包括调整相机和激光雷达的标定参数，并同步授时相机和激光雷达。其中，标定参数包括激光雷达的内参、激光雷达的外参、相机的内参以及相机的外参等参数。激光雷达的内参指的是反射比、光束发散度等参数，激光雷达的外参指的是旋转矩阵、平移向量等参数，相机的内参指的是内参矩阵等参数，相机的外参指的是旋转矩阵、平移向量等参数。同步授时指的是使相机和激光雷达采集的数据在能够在时间维度对齐。
那么，在实际应用过程中，本公开实施例通过调整相机和激光雷达的标定参数的方式，使相机能够拍摄第一空间范围内的至少一帧图像帧，使激光雷达能够拍摄第二空间范围内的点云数据，且保证第一空间范围和第二空间范围具有重叠的区域。此外，在实际应用过程中，本公开实施例通过同步授时相机和激光雷达的方式，实现了使相机和激光雷达采集的数据在能够在时间维度对齐，进而为后续图像帧和点云数据的高精度时间同步提供了前提条件。
可选地，在本公开另一实施例中，上述实施例提及的同步点云数据和至少一帧图像帧步骤，包括：基于相机和激光雷达的标定参数，将点云数据中的点云单元映射到对应的图像帧，以得到点云数据和图像帧的同步信息。
图3a所示为本公开一示例性实施例提供的基于扫描信息将点云数据确定为多个点云单元的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图3a所示实施例，下面着重叙述图3a所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图3a所示，在本公开实施例提供的信息同步方法中，基于扫描信息将点云数据确定为多个点云单元步骤，包括如下步骤。
步骤21，基于扫描方式信息确定点云数据对应的扫描方式。
点云数据对应的扫描方式包括但不限于为旋转扫描方式和平移扫描方式等。
步骤22，当扫描方式为旋转扫描方式时，基于旋转扫描方向将点云数据划分为多个第一点云单元。
可选地，旋转扫描方式指的是以旋转点为圆心，以旋转轴为半径的旋转扫描方式。其中，多个激光束设置到旋转轴。在实际扫描过程中，设置到旋转轴的多个激光束沿旋转扫描方向旋转，以旋转采集点云数据。
可选地，步骤22中提及的基于旋转扫描方向将点云数据划分为多个第一点云单元可以为，基于旋转点，沿多个垂直于旋转扫描方向的平面划分点云数据，以生成多个第一点云单元。举例说明，图3b所示为本公开一示例性实施例提供的划分点云数据以生成多个第一点云单元的划分示意图。如图3b所示，在本公开实施例中，点云数据的扫描方式为旋转扫描方式。那么，在实际划分过程中，沿旋转扫描方向将点云数据划分为多个类扇形的第一点云单元S1至S12，且每一第一点云单元的夹角均为30°。需要说明的是，第一点云单元的划分尺寸可根据实际情况自行设定，且多个第一点云单元的划分尺寸亦可以不完全相同。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息中包括的扫描方式信息确定点云数据对应的扫描方式，当确定扫描方式为旋转扫描方式时，基于旋转扫描方向将点云数据划分为多个第一点云单元，并确定多个第一点云单元对应的第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步图像帧和第一点云单元，进而同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过基于扫描方式信息确定点云数据的扫描方式，当确定扫描方式为旋转扫描方式时，基于旋转扫描方向将点云数据划分为多个第一点云单元的方式，实现了旋转扫描情境下的点云数据的划分。由于基于旋转扫描方向确定的第一点云单元能够更好地匹配旋转扫描的激光雷达的时间信息，因此，本公开实施例能够确定与点云数据匹配度更高的第二时间戳信息，进而为最终实现图像帧和点云数据之间的高精准度时间同步提供了前提。
图4所示为本公开一示例性实施例提供的确定多个点云单元对应的第二时间戳信息集合的流程示意图。在本公开图3a所示实施例的基础上延伸出本公开图4所示实施例，下面着重叙述图4所示实施例与图3a所示实施例的不同之处，相同之处不再赘述。
如图4所示，在本公开实施例提供的信息同步方法中，确定多个点云单元对应的第二时间戳信息集合步骤，包括如下步骤。
步骤23，基于旋转扫描角速度信息和扫描启动时间信息，计算多个第一点云单元中的每个第一点云单元对应的点云时间戳信息。
由于激光雷达的扫描方式为旋转扫描方式，并且第一点云单元是基于旋转扫描方向划分的，因此，基于扫描启动时间信息以及旋转扫描角速度信息能够确定每一第一点云单元对应的点云时间戳信息。
举例说明，如果基于扫描启动时间信息确定扫描启动时间为t0，基于旋转扫描角速度信息确定旋转扫描角速度包括恒定角速度w，且所有第一点云单元的夹角均为30°，沿旋转扫描方向，第n个第一点云单元对应的起始扫描时间为tn1,第n个第一点云单元对应的结束扫描时间为tn2。其中，tn1的计算方式如下述记载的公式(1)所示，tn2的计算方式如下述记载的公式(2)所示。
可选地，既可以以每一第一点云单元的起始扫描时间作为该第一点云单元对应的点云时间戳信息，又可以以每一第一点云单元的结束扫描时间作为该第一点云单元对应的点云时间戳信息。
步骤24，将多个第一点云单元对应的点云时间戳信息组合在一起，形成第二时间戳信息集合。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息中包括的扫描方式信息确定点云数据对应的扫描方式，当确定扫描方式为旋转扫描方式时，基于旋转扫描方向将点云数据划分为多个第一点云单元，并基于旋转扫描角速度信息和扫描启动时间信息，计算每个第一点云单元对应的点云时间戳信息，继而将多个第一点云单元对应的多个点云时间戳信息组合在一起以形成第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步图像帧和第一点云单元，进而同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过基于旋转扫描角速度信息和扫描启动时间信息计算每个第一点云单元对应的点云时间戳信息，并将多个第一点云单元对应的多个点云时间戳信息组合在一起以形成第二时间戳信息集合的方式，实现了确定多个第一点云单元对应的第二时间戳信息集合的目的。由于本公开实施例充分利用了旋转扫描方式的旋转信息计算第一点云单元对应的点云时间戳信息，因此，能够使获取的点云时间戳信息的精准度更高。
需要说明的是，当激光雷达的扫描方式为旋转扫描方式，且旋转扫描角速度为恒定角加速度α时，亦可基于相关加速度公式计算第一点云单元对应的点云时间戳信息，具体计算方式本公开实施例不再赘述。
图5所示为本公开一示例性实施例提供的计算多个第一点云单元中的每个第一点云单元对应的点云时间戳信息的流程示意图。在本公开图4所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本公开实施例提供的信息同步方法中，基于旋转扫描角速度信息和扫描启动时间信息，计算多个第一点云单元中的每个第一点云单元对应的点云时间戳信息步骤，包括如下步骤。
步骤231，基于扫描启动时间信息确定扫描起始角度。
步骤232，针对每个第一点云单元，沿旋转扫描方向确定扫描起始角度与当前第一点云单元的中轴角度的夹角差值，其中，中轴角度为沿旋转扫描方向将当前第一点云单元划分为夹角相等的两个点云区域的角度。
步骤233，基于夹角差值与旋转扫描角速度信息确定旋转时间信息。
步骤234，基于扫描启动时间信息和旋转时间信息，确定当前第一点云单元的点云时间戳信息。
可选地，当前第一点云单元的点云时间戳信息等于扫描启动时间信息和旋转时间信息的和，其中，旋转时间信息等于夹角差值除以旋转扫描角速度的商。
在实际应用过程中，当确定扫描方式为旋转扫描方式时，基于旋转扫描方向将点云数据划分为多个第一点云单元，然后基于扫描启动时间信息确定扫描起始角度，针对每个第一点云单元，沿旋转扫描方向确定扫描起始角度与当前第一点云单元的中轴角度的夹角差值，并基于夹角差值与旋转扫描角速度信息确定旋转时间信息，以及基于扫描启动时间信息和旋转时间信息确定当前第一点云单元的点云时间戳信息，继而将多个第一点云单元对应的多个点云时间戳信息组合在一起以形成第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步图像帧和第一点云单元，进而同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过确定当前第一点云单元的中轴角度，并计算扫描起始角度与当前第一点云单元的中轴角度的夹角差值，继而基于夹角差值确定旋转时间信息，并基于扫描启动时间信息和旋转时间信息确定当前第一点云单元的点云时间戳信息的方式，实现了基于旋转扫描角速度信息和扫描启动时间信息计算第一点云单元对应的点云时间戳信息的目的。由于本公开实施例中的激光雷达的旋转扫描角速度为恒定角速度，而中轴角度为沿旋转扫描方向将当前第一点云单元划分为夹角相等的两个点云区域的角度，因此，通过计算能够确定激光雷达扫描到该中轴角度时的时间戳信息。又由于中轴角度对应的时间戳信息对应为沿旋转扫描方向将当前第一点云单元划分为夹角相等的两个点云区域的扫描时间，因此，将中轴角度对应的时间戳信息确定为当前第一点云单元的点云时间戳信息能够进一步提高点云时间戳信息的精准度。
图6a所示为本公开另一示例性实施例提供的基于扫描信息将点云数据确定为多个点云单元的流程示意图。在本公开图3a所示实施例的基础上延伸出本公开图6a所示实施例，下面着重叙述图6a所示实施例与图3a所示实施例的不同之处，相同之处不再赘述。
如图6a所示，在本公开实施例提供的信息同步方法中，在基于扫描方式信息确定点云数据对应的扫描方式步骤之后，还包括如下步骤。
步骤25，当扫描方式为平移扫描方式时，基于平移扫描方向将点云数据划分为多个第二点云单元。
可选地，平移扫描方式指的是多个激光束设置到平移起始线，在实际扫描过程中，设置到平移起始线的多个激光束沿平移扫描方向移动以采集点云数据。
那么，步骤25中提及的基于平移扫描方向将点云数据划分为多个第二点云单元可以为，基于平移起始线，沿多个垂直于平移扫描方向的平面划分点云数据，以生成多个第二点云单元。举例说明，图6b所示为本公开另一示例性实施例提供的划分点云数据以生成多个第二点云单元的划分示意图。如图6b所示，在本公开实施例中，点云数据的扫描方式为平移扫描方式。那么，在实际划分过程中，沿平移扫描方向将点云数据划分为多个类矩形的第二点云单元M1至M5，且所有第二点云单元的平移距离均相等。需要说明的是，第二点云单元的划分尺寸可根据实际情况自行设定，且多个第二点云单元的划分尺寸亦可以不完全相同。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息中包括的扫描方式信息确定点云数据对应的扫描方式，当确定扫描方式为平移扫描方式时，基于平移扫描方向将点云数据划分为多个第二点云单元，并确定多个第二点云单元对应的第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步图像帧和第二点云单元，进而同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过基于扫描方式信息确定点云数据的扫描方式，当确定扫描方式为平移扫描方式时，基于平移扫描方向将点云数据划分为多个第二点云单元的方式，实现了平移扫描情境下的点云数据的划分。由于基于平移扫描方向确定的第二点云单元能够更好地匹配平移扫描的激光雷达的时间信息，因此，本公开实施例能够确定与点云数据匹配度更高的第二时间戳信息，进而为最终实现图像帧和点云数据之间的高精准度同步提供了前提。
图7所示为本公开另一示例性实施例提供的确定多个点云单元对应的第二时间戳信息集合的流程示意图。在本公开图6a所示实施例的基础上延伸出本公开图7所示实施例，下面着重叙述图7所示实施例与图6a所示实施例的不同之处，相同之处不再赘述。
如图7所示，在本公开实施例提供的信息同步方法中，确定多个点云单元对应的第二时间戳信息集合步骤，包括如下步骤。
步骤26，基于平移扫描速度信息和扫描启动时间信息，计算多个第二点云单元中的每个第二点云单元对应的点云时间戳信息。
由于激光雷达的扫描方式为平移扫描方式，并且第二点云单元是基于平移扫描方向划分的，因此，基于平移扫描速度信息和扫描启动时间信息能够确定每一第二点云单元对应的点云时间戳信息。
举例说明，如果基于扫描启动时间信息确定扫描启动时间为t0，基于平移扫描速度信息确定平移扫描速度为恒定速度v，且所有第二点云单元的平移距离均为20cm，沿平移扫描方向，第m个第二点云单元对应的起始扫描时间为tm1,第m个第二点云单元对应的结束扫描时间为tm2。其中，tm1的计算方式如下述记载的公式(3)所示，tm2的计算方式如下述记载的公式(4)所示。
可选地，既可以以每一第二点云单元的起始扫描时间作为该第二点云单元对应的点云时间戳信息，又可以以每一第二点云单元的结束扫描时间作为该第二点云单元对应的点云时间戳信息。
步骤27，将多个第二点云单元对应的点云时间戳信息组合在一起，形成第二时间戳信息集合。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息中包括的扫描方式信息确定点云数据对应的扫描方式，当确定扫描方式为平移扫描方式时，基于平移扫描方向将点云数据划分为多个第二点云单元，然后基于平移扫描速度信息和扫描启动时间信息，计算多个第二点云单元中的每个第二点云单元对应的点云时间戳信息，并将多个第二点云单元对应的多个点云时间戳信息组合在一起以形成第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步图像帧和第二点云单元，进而同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过基于平移扫描速度信息和扫描启动时间信息计算每个第二点云单元对应的点云时间戳信息，并将多个第二点云单元对应的多个点云时间戳信息组合在一起以形成第二时间戳信息集合的方式，实现了确定多个第二点云单元对应的第二时间戳信息集合的目的。由于本公开实施例充分利用了平移扫描方式的平移信息计算第二点云单元对应的点云时间戳信息，因此，本公开实施例能够使获取的点云时间戳信息的精准度更高。
同样地，当激光雷达的扫描方式为平移扫描方式，且平移扫描速度包括恒定加速度a时，亦可基于相关加速度公式计算第二点云单元对应的点云时间戳信息，具体计算方式本公开实施例不再赘述。
图8所示为本公开一示例性实施例提供的计算多个第二点云单元中的每个第二点云单元对应的点云时间戳信息的流程示意图。在本公开图7所示实施例的基础上延伸出本公开图8所示实施例，下面着重叙述图8所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
如图8所示，在本公开实施例提供的信息同步方法中，基于平移扫描速度信息和扫描启动时间信息，计算多个第二点云单元中的每个第二点云单元对应的点云时间戳信息步骤，包括如下步骤。
步骤261，基于扫描启动时间信息确定扫描起始位置。
步骤262，针对每个第二点云单元，沿平移扫描方向确定扫描起始位置与当前第二点云单元的中轴位置的距离差值，其中，中轴位置为沿平移方向将当前第二点云单元划分为平移距离相等的两个点云区域的位置。
步骤263，基于距离差值与平移扫描速度信息确定平移时间信息。
步骤264，基于扫描启动时间信息和平移时间信息，确定当前第二点云单元的点云时间戳信息。
可选地，当前第二点云单元的点云时间戳信息等于扫描启动时间信息和平移时间信息的和，其中，平移时间信息等于距离差值除以平移扫描速度的商。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息中包括的扫描方式信息确定点云数据对应的扫描方式，当确定扫描方式为平移扫描方式时，基于平移扫描方向将点云数据划分为多个第二点云单元，然后基于扫描启动时间信息确定扫描起始位置，针对每个第二点云单元，沿平移扫描方向确定扫描起始位置与当前第二点云单元的中轴位置的距离差值，并基于距离差值与平移扫描速度信息确定平移时间信息，以及基于扫描启动时间信息和平移时间信息，确定当前第二点云单元的点云时间戳信息，并将多个第二点云单元对应的多个点云时间戳信息组合在一起以形成第二时间戳信息集合，最后基于第一时间戳信息集合和第二时间戳信息集合，同步图像帧和第二点云单元，进而同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过确定当前第二点云单元的中轴位置，并计算扫描起始位置与当前第二点云单元的中轴位置的距离差值，继而基于距离差值确定平移时间信息，并基于扫描启动时间信息和平移时间信息确定当前第二点云单元的点云时间戳信息的方式，实现了基于平移扫描速度信息和扫描启动时间信息计算第二点云单元对应的点云时间戳信息的目的。由于激光雷达的平移扫描速度为恒定速度，而中轴位置为沿平移扫描方向将当前第二点云单元划分为平移距离相等的两个点云区域的位置，因此，通过计算能够确定激光雷达扫描到该中轴位置时的时间戳信息。又由于中轴位置对应的时间戳信息对应为沿平移扫描方向将当前第二点云单元划分为平移距离相等的两个点云区域的扫描时间，因此，将中轴位置对应的时间戳信息确定为当前第二点云单元的点云时间戳信息能够进一步提高点云时间戳信息的精准度。
图9所示为本公开一示例性实施例提供的基于第一时间戳信息集合和第二时间戳信息集合，同步至少一帧图像帧和点云数据的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图9所示实施例，下面着重叙述图9所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图9所示，在本公开实施例提供的信息同步方法中，基于第一时间戳信息集合和第二时间戳信息集合，同步至少一帧图像帧和点云数据步骤，包括如下步骤。
步骤31，基于第一时间戳信息集合，确定至少一帧图像帧中的每个图像帧对应的图像时间戳信息。
步骤32，基于第二时间戳信息集合，确定多个点云单元中的每个点云单元对应的点云时间戳信息。
步骤33，针对点云单元，确定点云时间戳信息对应的图像时间戳信息，并基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧。
可选地，第一时间戳信息和第二时间戳信息之间的对应关系的建立条件，可根据实际情况进行设定。比如，建立条件为第一时间戳信息和第二时间戳信息的时间差小于或等于预设时间差阈值，那么，在实际应用过程中，可针对该第一时间戳信息，分别判断该第一时间戳信息与第二时间戳信息集合中的多个第二时间戳信息之间的时间差，当时间差小于或等于预设时间差阈值时，该时间差对应的第一时间戳信息和第二时间戳信息之间存在对应关系。其中，预设时间差阈值包括但不限于为0.5秒、1秒等数值。
步骤34，基于多个点云单元和多个点云单元对应的多个图像帧，同步至少一帧图像帧和点云数据。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，然后基于第一时间戳信息集合确定至少一帧图像帧中的每个图像帧对应的图像时间戳信息，基于第二时间戳信息集合确定多个点云单元中的每个点云单元对应的点云时间戳信息，最后针对点云单元确定点云时间戳信息对应的图像时间戳信息，基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧，并基于多个点云单元和多个点云单元对应的多个图像帧，同步至少一帧图像帧和点云数据。
本公开实施例提供的信息同步方法，通过基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧，并基于点云单元和图像帧之间的对应关系同步点云数据和图像帧的方式，实现了基于点云时间戳信息和图像时间戳信息之间的对应关系同步点云数据和图像帧的目的。由于点云时间戳信息能够精准表示点云单元的时间信息，图像时间戳信息能够精准表示图像帧的时间信息，因此，本公开实施例能够更精准地同步点云数据和图像帧，降低同步误差。
图10所示为本公开一示例性实施例提供的确定点云时间戳信息对应的图像时间戳信息，并基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧的流程示意图。在本公开图9所示实施例的基础上延伸出本公开图10所示实施例，下面着重叙述图10所示实施例与图9所示实施例的不同之处，相同之处不再赘述。
如图10所示，在本公开实施例提供的信息同步方法中，针对点云单元，确定点云时间戳信息对应的图像时间戳信息，并基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧步骤，包括如下步骤。
步骤331，针对点云单元，分别确定点云单元对应的点云时间戳信息与第一时间戳信息集合中的图像时间戳信息之间的差值数据。
步骤332，基于差值数据确定点云单元对应的图像帧。
可选地，步骤332包括如下步骤。
步骤3321，判断符合预设条件的差值数据的数量。
在步骤3321中，当符合预设条件的差值数据的数量为一个时，则执行步骤3322，当符合预设条件的差值数据的数量为多个时，则执行步骤3323。
可选地，预设条件为预设同步阈值范围，当差值数据落入同步阈值范围时，即表示该差值数据符合预设条件，当差值数据未落入同步阈值范围时，即表示该差值数据不符合预设条件。比如，同步阈值范围可以为0秒至0.8秒的阈值范围。
步骤3322，差值数据对应的图像帧为点云单元对应的图像帧。
步骤3323，绝对值最小的差值数据对应的图像帧为点云单元对应的图像帧。
步骤332的实际执行过程为：判断符合预设条件的差值数据的数量，当符合预设条件的差值数据的数量为一个时，该差值数据对应的图像帧被确定为点云单元对应的图像帧，当符合预设条件的差值数据的数量为多个时，绝对值最小的差值数据对应的图像帧被确定为点云单元对应的图像帧，最后基于多个点云单元和多个点云单元对应的多个图像帧，同步点云数据和至少一帧图像帧。
举例说明，在本公开一实施例中，预设条件为0秒至0.8秒的同步阈值范围，针对某一点云单元，符合预设条件的差值数据的数量为三个，该三个差值数据分别对应第一图像帧、第二图像帧和第三图像帧。具体而言，第一图像帧对应的差值数据为-0.2秒，即，差值数据的绝对值为0.2；第二图像帧对应的差值数据为0.5秒，即，差值数据的绝对值为0.5；第三图像帧对应的差值数据为0.7秒，即，差值数据的绝对值为0.7，由此可知，第一图像帧对应的差值数据的绝对值最小，即第一图像帧为该点云单元对应的图像帧。
在实际应用过程中，首先获取第一空间范围内的至少一帧图像帧，并确定至少一帧图像帧对应的第一时间戳信息集合，然后获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，然后基于第一时间戳信息集合确定至少一帧图像帧中的每个图像帧对应的图像时间戳信息，基于第二时间戳信息集合确定多个点云单元中的每个点云单元对应的点云时间戳信息，然后针对点云单元，分别确定点云单元对应的点云时间戳信息与第一时间戳信息集合中的图像时间戳信息之间的差值数据，并基于差值数据确定点云单元对应的图像帧。
本公开实施例提供的信息同步方法，通过确定点云时间戳信息和图像时间戳信息之间的差值数据，并基于符合预设条件的差值数据的数量对应执行不同的图像帧确定步骤的方式，实现了根据差值数据的实际情况确定与点云单元对应的图像帧的目的。与现有信息同步方法相比，本公开实施例能够进一步提高信息同步的精准度，降低同步误差。
示例性装置
图11所示为本公开一示例性实施例提供的信息同步装置的结构示意图。如图11所示，本公开实施例提供的信息同步装置包括：
第一时间戳信息集合确定模块100，用于获取第一空间范围内的至少一帧图像帧，确定至少一帧图像帧对应的第一时间戳信息集合；
第二时间戳信息集合确定模块200，用于获取第二空间范围内的点云数据和与点云数据对应的扫描信息，基于扫描信息将点云数据确定为多个点云单元，并确定多个点云单元对应的第二时间戳信息集合，其中，第一空间范围与第二空间范围具有重叠的区域；
同步模块300，用于基于第一时间戳信息集合和第二时间戳信息集合，同步至少一帧图像帧和点云数据。
图12所示为本公开一示例性实施例提供的信息同步装置的第二时间戳信息集合确定模块的结构示意图。在本公开图11所示实施例的基础上延伸出本公开图12所示实施例，下面着重叙述图12所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图12所示，在本公开实施例提供的信息同步装置中，第二时间戳信息集合确定模块200包括：
扫描方式确定单元210，用于获取第二空间范围内的点云数据和与所述点云数据对应的扫描信息，基于扫描方式信息确定点云数据对应的扫描方式；
第一点云单元确定单元220，用于当扫描方式为旋转扫描方式时，基于旋转扫描方向将点云数据划分为多个第一点云单元；
第一点云时间戳信息计算单元230，用于基于旋转扫描角速度信息和扫描启动时间信息，计算多个第一点云单元中的每个第一点云单元对应的点云时间戳信息；
第二时间戳信息生成单元240，用于将多个第一点云单元对应的点云时间戳信息组合在一起，形成第二时间戳信息集合。
图13所示为本公开一示例性实施例提供的信息同步装置的第一点云时间戳信息计算单元的结构示意图。在本公开图12所示实施例的基础上延伸出本公开图13所示实施例，下面着重叙述图13所示实施例与图12所示实施例的不同之处，相同之处不再赘述。
如图13所示，在本公开实施例提供的信息同步装置中，第一点云时间戳信息计算单元230包括：
扫描起始角度确定子单元2310，用于基于扫描启动时间信息确定扫描起始角度；
夹角差值确定子单元2320，用于针对每个第一点云单元，沿旋转扫描方向确定扫描起始角度与当前第一点云单元的中轴角度的夹角差值，其中，中轴角度为沿旋转扫描方向将当前第一点云单元划分为夹角相等的两个点云区域的角度；
旋转时间信息确定子单元2330，用于基于夹角差值与旋转扫描角速度信息确定旋转时间信息；
点云时间戳信息确定子单元2340，用于基于扫描启动时间信息和旋转时间信息，确定当前第一点云单元的点云时间戳信息。
图14所示为本公开另一示例性实施例提供的信息同步装置的第二时间戳信息集合确定模块的结构示意图。在本公开图11所示实施例的基础上延伸出本公开图14所示实施例，下面着重叙述图14所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图14所示，在本公开实施例提供的信息同步装置中，第二时间戳信息集合确定模块200包括：
扫描方式确定单元210，用于获取第二空间范围内的点云数据和与所述点云数据对应的扫描信息，基于扫描方式信息确定点云数据对应的扫描方式；
第二点云单元确定单元250，用于当扫描方式为平移扫描方式时，基于平移扫描方向将点云数据划分为多个第二点云单元；
第二点云时间戳信息计算单元260，用于基于平移扫描速度信息和扫描启动时间信息，计算多个第二点云单元中的每个第二点云单元对应的点云时间戳信息；
生成单元270，用于将多个第二点云单元对应的点云时间戳信息组合在一起，形成第二时间戳信息集合。
图15所示为本公开一示例性实施例提供的信息同步装置的第二点云时间戳信息计算单元的结构示意图。在本公开图14所示实施例的基础上延伸出本公开图15所示实施例，下面着重叙述图15所示实施例与图14所示实施例的不同之处，相同之处不再赘述。
如图15所示，在本公开实施例提供的信息同步装置中，第二点云时间戳信息计算单元260包括：
扫描起始位置确定子单元2610，用于基于扫描启动时间信息确定扫描起始位置；
距离差值确定子单元2620，用于针对每个第二点云单元，沿平移扫描方向确定扫描起始位置与当前第二点云单元的中轴位置的距离差值，其中，中轴位置为沿平移方向将当前第二点云单元划分为平移距离相等的两个点云区域的位置；
平移时间信息确定子单元2630，用于基于距离差值与平移扫描速度信息确定平移时间信息；
确定子单元2640，用于基于扫描启动时间信息和平移时间信息，确定当前第二点云单元的点云时间戳信息。
图16所示为本公开一示例性实施例提供的信息同步装置的同步模块的结构示意图。在本公开图11所示实施例的基础上延伸出本公开图16所示实施例，下面着重叙述图16所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图16所示，在本公开实施例提供的信息同步装置中，同步模块300包括：
图像信息戳信息确定单元310，用于基于第一时间戳信息集合，确定至少一帧图像帧中的每个图像帧对应的图像时间戳信息；
点云时间戳信息确定单元320，用于基于第二时间戳信息集合，确定多个点云单元中的每个点云单元对应的点云时间戳信息；
图像帧确定单元330，用于针对点云单元，确定点云时间戳信息对应的图像时间戳信息，并基于点云时间戳信息和图像时间戳信息之间的对应关系确定与点云单元对应的图像帧；
同步单元340，用于基于多个点云单元和多个点云单元对应的多个图像帧，同步至少一帧图像帧和点云数据。
图17所示为本公开一示例性实施例提供的信息同步装置的图像帧确定单元的结构示意图。在本公开图16所示实施例的基础上延伸出本公开图17所示实施例，下面着重叙述图17所示实施例与图16所示实施例的不同之处，相同之处不再赘述。
如图17所示，在本公开实施例提供的信息同步装置中，图像帧确定单元330包括：
差值数据确定子单元3310，用于针对点云单元，分别确定点云单元对应的点云时间戳信息与第一时间戳信息集合中的图像时间戳信息之间的差值数据；
图像帧确定子单元3320，基于差值数据确定点云单元对应的图像帧。
可选地，图像帧确定子单元3320包括：
判断子单元33210，用于判断符合预设条件的差值数据的数量；
第一确定子单元33220，用于差值数据对应的图像帧为点云单元对应的图像帧；
第二确定子单元33230，用于绝对值最小的差值数据对应的图像帧为点云单元对应的图像帧。
应当理解，图11至图17提供的信息同步装置中的第一时间戳信息集合确定模块100、第二时间戳信息集合确定模块200和同步模块300，及第二时间戳信息集合确定模块200中包括的扫描方式确定单元210、第一点云单元确定单元220、第一点云时间戳信息计算单元230、第二时间戳信息生成单元240、第二点云单元确定单元250、第二点云时间戳信息计算单元260和生成单元270，以及第一点云时间戳信息计算单元230中包括的扫描起始角度确定子单元2310、夹角差值确定子单元2320、旋转时间信息确定子单元2330和点云时间戳信息确定子单元2340，以及第二点云时间戳信息计算单元260中包括的扫描起始位置确定子单元2610、距离差值确定子单元2620、平移时间信息确定子单元2630和确定子单元2640，以及同步模块300中包括的图像信息戳信息确定单元310、点云时间戳信息确定单元320、图像帧确定单元330和同步单元340，以及图像帧确定单元330中包括的差值数据确定子单元3310和图像帧确定子单元3320，以及图像帧确定子单元3320中包括的判断子单元33210、第一确定子单元33220和第二确定子单元33230的操作和功能可以参考上述图2至图10提供的信息同步方法，为了避免重复，在此不再赘述。
示例性电子设备
下面，参考图18来描述根据本公开实施例的电子设备。图18所示为本公开一示例性实施例提供的电子设备的结构示意图。
如图18所示，电子设备40包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备40中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的各个实施例的信息同步方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如点云数据等各种内容。
在一个示例中，电子设备40还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置403可以包括例如键盘、鼠标等等。
该输出装置404可以向外部输出各种信息，包括确定出的同步信息等。该输出装置404可以包括例如显示器、通信网络及其所连接的远程输出设备等等。
当然，为了简化，图18中仅示出了该电子设备40中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备40还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信息同步方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信息同步方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (12)
1.一种信息同步方法，包括：
获取第一空间范围内的至少一帧图像帧，确定所述至少一帧图像帧对应的第一时间戳信息集合；
获取第二空间范围内的点云数据和与所述点云数据对应的扫描信息，基于所述扫描信息将所述点云数据确定为多个点云单元，并确定所述多个点云单元对应的第二时间戳信息集合，其中，所述第一空间范围与所述第二空间范围具有空间范围层面的重叠的区域，所述第二时间戳信息集合包括多个第二时间戳信息，所述第二时间戳信息与所述点云单元存在对应关系；
基于所述第一时间戳信息集合和所述第二时间戳信息集合，同步所述至少一帧图像帧和所述点云数据。
2.根据权利要求1所述的方法，其中，所述扫描信息包括扫描方式信息、扫描速度信息和扫描时间信息，所述基于所述扫描信息将所述点云数据确定为多个点云单元，包括：
基于所述扫描方式信息确定所述点云数据对应的扫描方式；
当所述扫描方式为旋转扫描方式时，基于旋转扫描方向将所述点云数据划分为多个第一点云单元。
3.根据权利要求2所述的方法，其中，所述扫描速度信息包括旋转扫描角速度信息，所述扫描时间信息包括扫描启动时间信息，所述确定所述多个点云单元对应的第二时间戳信息集合，包括：
基于所述旋转扫描角速度信息和所述扫描启动时间信息，计算所述多个第一点云单元中的每个第一点云单元对应的点云时间戳信息；
将所述多个第一点云单元对应的点云时间戳信息组合在一起，形成所述第二时间戳信息集合。
4.根据权利要求3所述的方法，其中，所述旋转扫描方式为匀速旋转扫描方式，所述基于所述旋转扫描角速度信息和所述扫描启动时间信息，计算所述多个第一点云单元中的每个第一点云单元对应的点云时间戳信息，包括：
基于所述扫描启动时间信息确定扫描起始角度；
针对所述每个第一点云单元，沿旋转扫描方向确定所述扫描起始角度与当前第一点云单元的中轴角度的夹角差值，其中，所述中轴角度为沿所述旋转扫描方向将所述当前第一点云单元划分为夹角相等的两个点云区域的角度；
基于所述夹角差值与所述旋转扫描角速度信息确定旋转时间信息；
基于所述扫描启动时间信息和旋转时间信息，确定所述当前第一点云单元的点云时间戳信息。
5.根据权利要求1所述的方法，其中，所述扫描信息包括扫描方式信息、扫描速度信息和扫描时间信息，所述基于所述扫描信息将所述点云数据确定为多个点云单元，包括：
基于所述扫描方式信息确定所述点云数据对应的扫描方式；
当所述扫描方式为平移扫描方式时，基于平移扫描方向将所述点云数据划分为多个第二点云单元。
6.根据权利要求5所述的方法，其中，所述扫描速度信息包括平移扫描速度信息，所述扫描时间信息包括扫描启动时间信息，所述确定所述多个点云单元对应的第二时间戳信息集合，包括：
基于所述平移扫描速度信息和所述扫描启动时间信息，计算所述多个第二点云单元中的每个第二点云单元对应的点云时间戳信息；
将所述多个第二点云单元对应的点云时间戳信息组合在一起，形成所述第二时间戳信息集合。
7.根据权利要求6所述的方法，其中，所述平移扫描方式为匀速平移扫描方式，所述基于所述平移扫描速度信息和所述扫描启动时间信息，计算所述多个第二点云单元中的每个第二点云单元对应的点云时间戳信息，包括：
基于所述扫描启动时间信息确定扫描起始位置；
针对所述每个第二点云单元，沿所述平移扫描方向确定所述扫描起始位置与当前第二点云单元的中轴位置的距离差值，其中，所述中轴位置为沿所述平移扫描方向将所述当前第二点云单元划分为平移距离相等的两个点云区域的位置；
基于所述距离差值与所述平移扫描速度信息确定平移时间信息；
基于所述扫描启动时间信息和所述平移时间信息，确定所述当前第二点云单元的点云时间戳信息。
8.根据权利要求1至7中的任一项所述的方法，其中，所述基于所述第一时间戳信息集合和所述第二时间戳信息集合，同步所述至少一帧图像帧和所述点云数据，包括：
基于所述第一时间戳信息集合，确定所述至少一帧图像帧中的每个图像帧对应的图像时间戳信息；
基于所述第二时间戳信息集合，确定所述多个点云单元中的每个点云单元对应的点云时间戳信息；
针对所述点云单元，确定所述点云时间戳信息对应的所述图像时间戳信息，并基于所述点云时间戳信息和所述图像时间戳信息之间的对应关系确定与所述点云单元对应的所述图像帧；
基于所述多个点云单元和所述多个点云单元对应的所述多个图像帧，同步所述至少一帧图像帧和所述点云数据。
9.根据权利要求8所述的方法，其中，所述针对所述点云单元，确定所述点云时间戳信息对应的所述图像时间戳信息，并基于所述点云时间戳信息和所述图像时间戳信息之间的对应关系确定与所述点云单元对应的所述图像帧，包括：
针对所述点云单元，分别确定所述点云单元对应的所述点云时间戳信息与所述第一时间戳信息集合中的所述图像时间戳信息之间的差值数据；
基于所述差值数据确定所述点云单元对应的所述图像帧。
10.一种信息同步装置，包括：
第一时间戳信息集合确定模块，用于获取第一空间范围内的至少一帧图像帧，确定所述至少一帧图像帧对应的第一时间戳信息集合；
第二时间戳信息集合确定模块，用于获取第二空间范围内的点云数据和与所述点云数据对应的扫描信息，基于所述扫描信息将所述点云数据确定为多个点云单元，并确定所述多个点云单元对应的第二时间戳信息集合，其中，所述第一空间范围与所述第二空间范围具有空间范围层面的重叠的区域，所述第二时间戳信息集合包括多个第二时间戳信息，所述第二时间戳信息与所述点云单元存在对应关系；
同步模块，用于基于所述第一时间戳信息集合和所述第二时间戳信息集合，同步所述至少一帧图像帧和所述点云数据。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的信息同步方法。
12.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-9任一所述的信息同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910677031.3A CN112291024B (zh) | 2019-07-25 | 2019-07-25 | 信息同步方法、信息同步装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910677031.3A CN112291024B (zh) | 2019-07-25 | 2019-07-25 | 信息同步方法、信息同步装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112291024A CN112291024A (zh) | 2021-01-29 |
| CN112291024B true CN112291024B (zh) | 2023-11-03 |
Family
ID=74419011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910677031.3A Active CN112291024B (zh) | 2019-07-25 | 2019-07-25 | 信息同步方法、信息同步装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112291024B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11624831B2 (en) | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
| CN114387577A (zh) * | 2021-06-09 | 2022-04-22 | 深圳市速腾聚创科技有限公司 | 数据处理方法、装置及存储介质 |
| CN113505174A (zh) * | 2021-07-08 | 2021-10-15 | 深圳东辉盛扬科技有限公司 | 一种多终端数据同步方法及装置 |
| CN114152937B (zh) * | 2022-02-09 | 2022-05-17 | 西南科技大学 | 一种旋转激光雷达的外参标定方法 |
| WO2024055252A1 (zh) * | 2022-09-15 | 2024-03-21 | 华为技术有限公司 | 一种数据融合方法、装置及智能驾驶设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628301A (zh) * | 2017-03-20 | 2018-10-09 | 通用汽车环球科技运作有限责任公司 | 用于操作自动驾驶车辆的时间数据关联 |
| CN109587405A (zh) * | 2018-10-24 | 2019-04-05 | 科大讯飞股份有限公司 | 时间同步方法和装置 |
| CN109670411A (zh) * | 2018-11-30 | 2019-04-23 | 武汉理工大学 | 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统 |
| CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
-
2019
- 2019-07-25 CN CN201910677031.3A patent/CN112291024B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628301A (zh) * | 2017-03-20 | 2018-10-09 | 通用汽车环球科技运作有限责任公司 | 用于操作自动驾驶车辆的时间数据关联 |
| CN109587405A (zh) * | 2018-10-24 | 2019-04-05 | 科大讯飞股份有限公司 | 时间同步方法和装置 |
| CN109670411A (zh) * | 2018-11-30 | 2019-04-23 | 武汉理工大学 | 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统 |
| CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112291024A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112291024B (zh) | 信息同步方法、信息同步装置及电子设备 | |
| US20210233275A1 (en) | Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| CN111457886B (zh) | 距离确定方法、装置及系统 | |
| US10698308B2 (en) | Ranging method, automatic focusing method and device | |
| US20200264011A1 (en) | Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle | |
| US10545215B2 (en) | 4D camera tracking and optical stabilization | |
| KR101252680B1 (ko) | 디지털 항공이미지를 이용한 영상도화시스템 | |
| CN112816949B (zh) | 传感器的标定方法及装置、存储介质、标定系统 | |
| CN106570907B (zh) | 一种相机标定方法及装置 | |
| US10565803B2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN112241978A (zh) | 一种数据处理的方法和装置 | |
| KR20200005119A (ko) | 단일 장착면의 장착 오차를 산출하여 보정하는 장치 및 그 방법 | |
| CN113436267B (zh) | 视觉惯导标定方法、装置、计算机设备和存储介质 | |
| JP2010176325A (ja) | 任意視点画像生成装置及び任意視点画像生成方法 | |
| US20190230340A1 (en) | Three-dimensional image capturing device and method | |
| US8179431B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| JP7206855B2 (ja) | 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法 | |
| CN112652018B (zh) | 外参确定方法、外参确定装置及电子设备 | |
| CN113790711B (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
| KR102273577B1 (ko) | 다시점 촬영 가이딩 장치 및 방법 | |
| CN115471678A (zh) | 点云数据和图像的对齐方法、装置、设备、介质和车辆 | |
| WO2018100230A1 (en) | Method and apparatuses for determining positions of multi-directional image capture apparatuses | |
| US20210099649A1 (en) | Method for optimizing privacy mask of camera with panning and tilting control and imaging device with privacy mask optimization applied | |
| JP6602089B2 (ja) | 画像処理装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |