CN115825980A - 雷达设备的点云数据融合方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种雷达设备的点云数据融合方法、装置、设备及存储介质。该方法包括：获取至少一个雷达数据包；其中，所述雷达数据包由至少一个雷达设备发送；根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足组帧条件；将满足所述组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；将相同雷达设备的扫描点云数据进行时间对齐，以及将各所述雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。本发明实施例实现了对雷达设备的点云数据的数据拼接或融合。

Description

雷达设备的点云数据融合方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种雷达设备的点云数据融合方法、装置、设备及存储介质。

背景技术

在自动驾驶技术领域中，车载激光雷达正从机械旋转式向固态激光雷达过渡，由于固态激光雷达的光学结构特性，其视场无法达到360全范围覆盖，必须将多台固态激光雷达的雷达数据进行拼接或融合才能达到感知要求。因此，如何在能够克服各激光雷达设备自身扫描周期时间不统一等问题的情况下，高效且准确的对各激光雷达设备的雷达数据进行拼接或融合，成为亟待解决的问题。

发明内容

本发明提供了一种雷达设备的点云数据融合方法、装置、设备及存储介质，以实现对雷达设备的点云数据的数据拼接或融合。

根据本发明的一方面，提供了一种雷达设备的点云数据融合方法，所述方法包括：

获取至少一个雷达数据包；其中，所述雷达数据包由至少一个雷达设备发送；

根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足组帧条件；

将满足所述组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；

将相同雷达设备的扫描点云数据进行时间对齐，以及将各所述雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

根据本发明的另一方面，提供了一种雷达设备的点云数据融合装置，所述装置包括：

雷达数据包获取模块，用于获取至少一个雷达数据包；其中，所述雷达数据包由至少一个雷达设备发送；

组帧条件判断模块，用于根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足组帧条件；

点云数据确定模块，用于将满足所述组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；

点云数据融合模块，用于将相同雷达设备的扫描点云数据进行时间对齐，以及将各所述雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的雷达设备的点云数据融合方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的雷达设备的点云数据融合方法。

本发明实施例方案通过将满足组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；将相同雷达设备的扫描点云数据进行时间对齐，以及将各雷达设备的扫描点云数据进行空间对齐，实现了对雷达设备的点云数据的数据拼接或融合，解决了雷达设备在点云传输过程中数据传输和实时处理时效性的问题，使得各雷达设备的扫描周期的起始点和终止点能够在时间和空间上两两对齐，从而提高了点云数据的融合准确度，便于后续对融合后的点云数据的规范化处理。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是根据本发明实施例一提供的一种雷达设备的点云数据融合方法的流程图；

图1B是根据本发明实施例一提供的一种雷达设备扫描时序图；

图1C是根据本发明实施例一提供的一种雷达设备扫描时序图；

图1D是根据本发明实施例一提供的一种雷达设备的点云数据的存储空间排布示意图；

图2是根据本发明实施例二提供的一种雷达设备的点云数据融合方法的流程图；

图3是根据本发明实施例三提供的一种雷达设备的点云数据融合装置的结构示意图；

图4是实现本发明实施例的雷达设备的点云数据融合方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1A为本发明实施例一提供的一种雷达设备的点云数据融合方法的流程图，本实施例可适用于对雷达设备的点云数据进行融合的情况，该方法可以由雷达设备的点云数据融合装置来执行，该雷达设备的点云数据融合装置可以采用硬件和/或软件的形式实现，该雷达设备的点云数据融合装置可配置于电子设备中。如图1A所示，该方法包括：

S110、获取至少一个雷达数据包；其中，雷达数据包由至少一个雷达设备发送。

其中，雷达数据包可以是由部署在自动驾驶车辆上的至少一个雷达设备发送。例如，雷达设备可以是固态激光雷达。雷达数据包可以是存储有雷达设备扫描得到的点云数据的数据包。需要说明的是，在一个完整的扫描周期中，雷达设备并非通过一个较大的数据包发送整个扫描周期扫描得到的全部点云数据，而通常是拆分成若干个较小的数据包进行发送。

需要说明的是，自动驾驶车辆上的至少一个雷达设备，可以部署在通过精准外部时钟源和支持DSN(Distributed Service Network，分布式业务网络)协议的交换机所组成的局域组网中。

示例性的，在主控制器获取至少一个雷达数据包的过程中，主控制器分别与至少一个雷达设备建立以太网连接，并从以太网接口中依次接收以太网数据报文，从而从以太网数据报文的包头中解析获取雷达数据包。其中，一个以太网数据报文对应一个雷达数据包。

S120、根据各雷达数据包对应的时间戳信息，确定各雷达数据包是否满足组帧条件。

在雷达设备的扫描过程中，每台雷达设备在每个扫描周期下的扫描结束点和下一个扫描周期的扫描起始点所对应的点云在空间关系上可能不是相邻的，不利于后续对点云数据的处理过程。当各雷达设备对应的点云在空间关系上不相邻时，则不满足雷达设备的空间同步。

需要说明的是，对于单台雷达设备而言，扫描周期的起始点取决于上电时刻、雷达设备内部时钟频率以及雷达设备的数据处理延时。若上电时间为t0，第一个扫描周期开始时刻为t1，第一个扫描周期结束时刻为t2，对应第k台雷达设备，以上三个时间分别为t0k，t1k和t2k。在不具备时间同步的状态下，雷达设备扫描时序存在偏差，不具备同步一致性，如图1B所示的雷达设备扫描时序图。当具备时间同步的状态下，雷达设备扫描时序不存在偏差，具备同步一致性，如图1C所示的雷达设备扫描时序图。

相应的，当单台雷达设备不具备时间同步，以及多台雷达设备之间不具备空间同步时，则不满足组帧条件。当单台雷达设备具备时间同步，以及多台雷达设备之间具备空间同步时，则满足组帧条件。

示例性的，针对单台雷达设备，可以根据单台雷达设备所发送的雷达数据包所对应的时间戳信息，确定该雷达设备是否在时间上同步。针对多台雷达设备，可以根据多台雷达设备所发送的数据包所对应的时间戳信息，确定多台雷达设备是否在空间上同步。具体可以是根据时间戳信息，判断雷达设备是否存在延迟，并根据延迟判断结果，确定是否满足时间同步条件或空间同步条件，也即是否满足组帧条件。

S130、将满足组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据。

可以理解的是，主控制器在获取一个扫描周期下的雷达数据包的过程中，接收到的各雷达设备对应的雷达数据包的顺序不具有规律性。也即，接收到的各雷达设备的雷达数据包是交错式接收的。

示例性的，可以将获取到的一个扫描周期下的全部雷达数据包进行重组，具体可以是将相同雷达设备对应的雷达数据包进行组合，得到至少一个雷达设备对应的扫描点云数据。其中，扫描点云数据可以由雷达设备对应的各雷达数据包内的点云数据，按照扫描顺序进行组合后得到。

在一个可选实施例中，将满足组帧条件的各雷达数据包进行组合，得到相同雷达设备的扫描点云数据，包括：确定发送各雷达数据包的雷达设备的设备序号，以及确定各雷达数据包的包序号；根据设备序号，将满足组帧条件下的各雷达数据包进行组合，得到相同雷达设备下的至少一个雷达数据包；根据相同雷达设备下的各雷达数据包的包序号，对各雷达数据包进行排序；根据排序后的各雷达数据包中的点云数据，确定相同雷达设备的扫描点云数据。

其中，雷达设备的设备序号和雷达数据包的包序号可以通过对以太网数据报文的包头进行解析得到。

示例性的，若单台雷达设备在每个扫描周期下拆分成n个雷达数据包发送，则为每个雷达数据包设立包序号k，1<＝k<＝n。若总共有M台雷达设备，雷达设备L的设备序号满足1<＝L<＝M。

根据各雷达数据包对应的设备序号，将满足组帧条件下的具有相同设备序号的雷达数据包进行组合，得到相同雷达设备下的至少一个雷达数据包。根据相同雷达设备下的各雷达数据包的包序号，能够确定各雷达数据包的接收顺序，从而对相同雷达设备下的各雷达数据包进行依次排序，得到相同雷达设备在一个扫描周期内的扫描点云数据。其中，扫描点云数据可以是将按照包序号顺序排序的雷达数据包内的点云数据进行组合得到。

在一个具体实施例中，若存在4个雷达设备，在一个扫描周期下依次接收到的雷达数据包分别为P11，P21，P41，P31，P12，P42，P32，P22。其中，第一个下标为雷达设备的设备序号，第二个下标为数据包序号。则确定属于设备序号为1的雷达设备的雷达数据包为P11、P12；属于设备序号为2的雷达设备的雷达数据包为P21、P22；属于设备序号为3的雷达设备的雷达数据包为P31、P32；属于设备序号为4的雷达设备的雷达数据包为P41、P42。将设备序号为1的雷达设备的雷达数据包P11和P12分别对应的点云数据，按照包序号由低至高的顺序依次进行组合，得到设备序号为1的雷达设备的扫描点云数据；将设备序号为2的雷达设备的雷达数据包P21和P22分别对应的点云数据，按照包序号由低至高的顺序依次进行组合，得到设备序号为2的雷达设备的扫描点云数据；将设备序号为3的雷达设备的雷达数据包P31和P32分别对应的点云数据，按照包序号由低至高的顺序依次进行组合，得到设备序号为3的雷达设备的扫描点云数据；将设备序号为4的雷达设备的雷达数据包P41和P42分别对应的点云数据，按照包序号由低至高的顺序依次进行组合，得到设备序号为4的雷达设备的扫描点云数据。

S140、将相同雷达设备的扫描点云数据进行时间对齐，以及将各雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

需要说明的是，当接收完成所有雷达设备的全部雷达数据包后，当每个雷达数据包的包序号均为n时，可以认为这一个扫描周期内的点云数据接收完成，可以对多雷达数据包的点云数据进行解析融合。

可选的，由于多雷达数据包的解析融合需要消耗一定的时间，为了不影响持续接收以太网报文数据，从而提取以太网报文数据中的雷达数据包，我们需要并行的执行雷达数据包接收程序和多雷达数据包解析融合程序、因此，当一个扫描周期内的雷达数据包接收完成后，发送一个系统信号，触发执行雷达数据包接收程序，然后立刻返回继续执行雷达数据包接收程序。

需要说明的是，点云数据在雷达数据包中的存储结构包括扫描行、扫描块和扫描帧。其中，扫描行是雷达设备在扫描周期下的基本扫描单位，即每次生成扫描点的最小扫描线。每个扫描行存储在二维数组的第一个维度。多个扫描行构成一个扫描块，一个完整的扫描周期存储由特定数量的扫描行组成。由于每个扫描行中，生成的扫描点的数量是固定不变的，每个扫描周期中的扫描点理论上也是固定不变的。如图1D所示的一种雷达设备的点云数据的存储空间排布示意图。

需要说明的是，点云数据的存储结构存在以下特点：

1)、每一个扫描行中的所有点云数据，按照雷达设备扫描线上的顺序排列，在空间上是相邻的。

2)、每一个扫描块代表同一个雷达的所有点。

3)、同一行中的所有扫描行，在时间戳上完全对齐，即属于同一个扫描周期。

4)、在一个扫描帧中，所有雷达设备对应的扫描行的数量理论上相同；但是在控制器端，可能存在由于处理能力不足存在的数据包丢包现象。因此，实际上可能存在有的雷达设备存在空白扫描行。在这种情况下，应当在存储结构中留空位，而不能数据错位填充。

5)、扫描帧的每个点都保存了其点云数据的原始坐标，即每个扫描行的点在其所在的雷达坐标系原点下表示的坐标。

示例性的，针对相同雷达设备，其扫描点云数据需要进行时间对齐。而对于多台雷达设备之间，其对应的扫描点云数据需要进行空间对齐，从而实现雷达设备的点云数据的数据融合。

在一个可选实施例中，将相同雷达设备的扫描点云数据进行时间对齐，包括：将相同雷达设备所对应的至少一个雷达数据包中，包序号最大的雷达数据包作为目标雷达数据包，将除目标雷达数据包之外的其他数据包作为待比较雷达数据包；确定预设参考点在目标雷达数据包的接收时间戳下的第一基准点位置；以及确定预设参考点在各待比较雷达数据包的接收时间戳下的第二基准点位置；根据第一基准点位置和各第二基准点位置，将相同雷达设备的扫描点云数据进行时间对齐。

其中，包序号最大的雷达数据包可以是在相同雷达设备下，所接收到的最后一个雷达数据包。

将包序号最大的雷达数据包作为目标雷达数据包，将相同雷大设备对应的雷达数据包中，除目标雷达数据包之外的其他雷达数据包，作为待比较雷达数据包。将各待比较雷达数据包的点云数据分别与目标雷达数据包的点云数据进行对齐，即可实现相同雷达设备的扫描点云数据在时间上的对齐。

其中，预设参考点可以是在雷达设备所属自动驾驶车辆上选取的基准坐标点。具有可以由相关技术人员根据实际需求进行预先选取。接收时间戳可以是接收相应雷达数据包的时间戳。

示例性的，可以确定预设参考点在目标雷达数据包的接收时间戳下所对应的第一基准点位置。其中，第一基准点位置可以是预设参考点在该接收时间戳下的位置坐标。确定预设参考点在各待比较雷达数据包的接收时间戳下所对应的第二基准点位置。其中，第二基准点位置可以是预设参考点在各待比较雷达设备的接收时间戳下的各位置坐标。

根据第一基准点位置和各第二基准点位置，将相同雷达设备的扫描点云数据进行时间对齐。示例性的，可以根据第一基准点位置和第二基准点位置确定转换矩阵；根据目标雷达数据包的点云数据和相应待比较雷达数据包的点云数据，基于转换矩阵，将相应待比较雷达数据包与目标雷达数据包进行时间对齐。同理，将全部待比较雷达数据包均与目标雷达数据包进行对齐后，则完成相同雷达设备的扫描点云数据的时间对齐。

在一个可选实施例中，将各雷达设备的扫描点云数据进行空间对齐，包括：获取各雷达设备分别对应的扫描点云数据；确定基准坐标系和转换矩阵；根据各扫描点云数据，基于基准坐标系和转换矩阵，将各雷达设备的扫描点云数据进行空间对齐。

其中，基准坐标系和转换矩阵可以预先确定并存储在相应的存储数据库中，在进行点云融合的过程中直接由主控制器获取得到。

示例性的，在进行各雷达设备的扫描点云数据的空间对齐时，需要将各雷达设备对应的扫描点云数据的原始坐标转换到同一基准坐标下。若基准坐标系为B，现假设一个扫描周期内的各雷达设备对应的扫描点云数据共有N个点，记每个点为P_i(0<＝i<＝N)。P_i所在雷达设备的设备序号为L_i。P_i的原始坐标到基准坐标系B下的变换矩阵T等价于L_i到基准坐标系的转换矩阵T_L，相应的，融合后的P_i在基准坐标系B下的坐标为：

其中，

是融合后P_i在基准坐标系B下的坐标，P_i是点云数据的原始坐标；

是P_i所在的雷达设备L到基准坐标系B的变换矩阵，

可选的，在点云融合计算时，可以利用多处理器并行的特性，将每个点云数据的原始坐标P_i和对应的

均送入并行处理器中，对点云融合进行并行计算，该方式的耗时比串行计算更节省时间，效率更高。

基于上述点云融合方式，可以将各雷达设备的扫描点云数据进行空间对齐，以实现各雷达设备的扫描点云数据在时间和空间上的对齐，从而完成扫描点云数据的融合过程。

本发明实施例方案通过将满足组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；将相同雷达设备的扫描点云数据进行时间对齐，以及将各雷达设备的扫描点云数据进行空间对齐，实现了对雷达设备的点云数据的数据拼接或融合，解决了雷达设备在点云传输过程中数据传输和实时处理时效性的问题，使得各雷达设备的扫描周期的起始点和终止点能够在时间和空间上两两对齐，从而提高了点云数据的融合准确度，便于后续对融合后的点云数据的规范化处理。

实施例二

图2为本发明实施例二提供的一种雷达设备的点云数据融合方法的流程图，本实施例在上述各技术方案的基础上，进行了优化改进。

进一步的，时间戳信息包括发送时间戳和接收时间戳；组帧条件包括时间同步条件；将步骤“根据各雷达数据包对应的时间戳信息，确定各雷达数据包是否满足所述组帧条件”细化为“从各雷达数据包中提取发送相应雷达数据包的发送时间戳，以及确定接收相应雷达数据包的接收时间戳；确定相应雷达数据包的发送时间戳和接收时间戳之间的第一时间差值；若第一时间差值不大于预设的第一时间阈值，则确定相应雷达数据包满足时间同步条件。”以完善对组帧条件的判断过程。

如图2所示，该方法包括以下具体步骤：

S210、获取至少一个雷达数据包；其中，雷达数据包由至少一个雷达设备发送。

可以理解的是，组帧条件可以包括时间同步条件和空间同步条件。其中，时间同步可以是针对任一雷达数据包，其需要在时间上进行同步。空间同步可以是各雷达数据包之间，需要在空间上进行同步。

S220、从各雷达数据包中提取发送相应雷达数据包的发送时间戳，以及确定接收相应雷达数据包的接收时间戳。

其中，发送时间戳可以是雷达设备实际发送相应雷达数据包的时间，具体可以通过从雷达数据包中进行解析得到。接收时间戳可以是主控制器实际接收相应雷达数据包的时间，具体可以是在主控制器实际获取到相应雷达数据包时记录得到。

示例性的，主控制器可以对获取的各雷达数据包进行解析，从而提取得到雷达设备发送相应雷达数据包的发送时间戳；以及，确定实际接收到响应雷达数据包的接收时间戳。

S230、确定相应雷达数据包的发送时间戳和接收时间戳之间的第一时间差值。

示例性的，可以将相应雷达数据包的发送时间戳和接收时间戳之间的时间差值，作为第一时间差值。

S240、若第一时间差值不大于预设的第一时间阈值，则确定相应雷达数据包满足时间同步条件。

示例性的，若第一时间差值不大于预设的第一时间阈值，则确定相应雷达数据包满足时间同步条件，表示该雷达设备的时间同步过程已完成；若第一时间差值大于预设的第一时间阈值，则确定相应雷达数据包不满足时间同步条件，表示该雷达设备的时间同步过程未完成。其中，第一时间差值可以由相关技术人员预先设定，例如，第一时间差值可以是20微秒。

需要说明的是，由于每台雷达设备的同步建立过程的耗时略有差异，大约从1毫秒到几百毫秒不等。因此，需要一个同步判别过程。同步判别过程是对每台雷达设备的同步建立过程进行确认，直到所有的雷达均完成同步，即完成每台雷达设备在空间上的同步过程。

在一个可选实施例中，组帧条件还包括空间同步条件；相应的，根据各雷达数据包对应的时间戳信息，确定各雷达数据包是否满足所述组帧条件，包括：确定各雷达数据包的包序号；将包序号相同的各雷达数据包，划分至相同的参考数据包组，得到至少一个参考数据包组；根据相应参考数据包组中的各雷达数据包的时间戳信息，确定相应参考数据包组中各雷达数据包之间是否满足空间同步条件。

示例性的，主控制器根据获取的各雷达数据包的包序号，将包序号相同的各雷达数据包，划分至相同的参考数据包组。相当于从各雷达设备对应的各雷达数据包中，选取包序号相同的雷达数据包，也即将属于同一时间维度的各雷达数据包，划分至相同的参考数据包组，从而得到至少一个参考数据包组。若存在4个雷达设备，每个雷达设备均对应5个雷达数据包，则可以得到5个参考数据包组。根据相应参考数据包中的各雷达数据包的时间戳信息，例如可以包括接收时间戳和发送时间戳，确定相应参考数据包组中的各雷达数据包之间是否满足空间同步条件。

在一个可选实施例中，根据相应参考数据包组中的各雷达数据包的时间戳信息，确定相应参考数据包组中各雷达数据包之间是否满足空间同步条件，包括：确定相应参考数据包组对应的第一雷达数据包和第二雷达数据包；其中，第一雷达数据包为参考数据包组中接收时间戳最大的雷达数据包；第二雷达数据包为参考数据包组中接收时间戳最小的雷达数据包；确定第一雷达数据包和第二雷达数据包之间的第二时间差值；若第二时间差值不大于预设的第二时间阈值，则确定相应参考数据包组内的雷达数据包之间满足空间同步条件。

示例性的，针对任一参考数据包组，从该参考数据包组中选取第一雷达数据包和第二雷达数据包。其中，第一雷达数据包为参考数据包组中接收时间戳最大的雷达数据包；第二雷达数据包为参考数据包组中接收时间戳最小的雷达数据包。将第一雷达数据包对应的接收时间戳，与第二雷达数据包对应的接收时间戳之间的时间差值，确定为第二时间差值。若第二时间差值不大于预设的第二时间阈值，则确定相应参考数据包组内的雷达数据包之间满足空间同步条件；若第二时间差值大于预设的第二时间阈值，则确定相应参考数据包组内的雷达数据包之间不满足空间同步条件。其中，第二时间阈值可以由相关技术人员进行预先设定，例如，第二时间阈值可以是20微秒。

S250、将满足组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据。

S260、将相同雷达设备的扫描点云数据进行时间对齐，以及将各雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

本实施例方案通过从各雷达数据包中提取发送相应雷达数据包的发送时间戳，以及确定接收相应雷达数据包的接收时间戳；确定相应雷达数据包满足时间同步条件，以及相应雷达设备的雷达数据包之间是否满足空间同步条件，实现了对满足组帧条件的进一步判断，提高了对组帧条件判别准确度，从而提高了后续点云数据融合过程的准确度。

实施例三

图3为本发明实施例三提供的一种雷达设备的点云数据融合装置的结构示意图。本发明实施例所提供的一种雷达设备的点云数据融合装置，该装置可适用于对雷达设备的点云数据进行融合的情况，该雷达设备的点云数据融合装置可以采用硬件和/或软件的形式实现，如图3所示，该装置具体包括：雷达数据包获取模块301、组帧条件判断模块302、点云数据确定模块303和点云数据融合模块304。其中，

雷达数据包获取模块301，用于获取至少一个雷达数据包；其中，所述雷达数据包由至少一个雷达设备发送；

组帧条件判断模块302，用于根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足组帧条件；

点云数据确定模块303，用于将满足所述组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；

点云数据融合模块304，用于将相同雷达设备的扫描点云数据进行时间对齐，以及将各所述雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

本发明实施例方案通过将满足组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；将相同雷达设备的扫描点云数据进行时间对齐，以及将各雷达设备的扫描点云数据进行空间对齐，实现了对雷达设备的点云数据的数据拼接或融合，解决了雷达设备在点云传输过程中数据传输和实时处理时效性的问题，使得各雷达设备的扫描周期的起始点和终止点能够在时间和空间上两两对齐，从而提高了点云数据的融合准确度，便于后续对融合后的点云数据的规范化处理。

可选的，所述时间戳信息包括发送时间戳和接收时间戳；所述组帧条件包括时间同步条件；

相应的，所述组帧条件判断模块302，包括：

时间戳获取单元，用于从各所述雷达数据包中提取发送相应雷达数据包的发送时间戳，以及确定接收相应雷达数据包的接收时间戳；

第一时间差值确定单元，用于确定相应雷达数据包的发送时间戳和接收时间戳之间的第一时间差值；

时间同步条件判断单元，用于若所述第一时间差值不大于预设的第一时间阈值，则确定相应雷达数据包满足所述时间同步条件。

可选的，所述组帧条件还包括空间同步条件；

相应的，所述组帧条件判断模块302，包括：

包序号确定单元，用于确定各所述雷达数据包的包序号；

参考数据包组确定单元，用于将所述包序号相同的各雷达数据包，划分至相同的参考数据包组，得到至少一个参考数据包组；

空间同步条件判断单元，用于根据相应参考数据包组中的各雷达数据包的时间戳信息，确定相应参考数据包组中各所述雷达数据包之间是否满足所述空间同步条件。

可选的，所述空间同步条件判断单元，包括：

雷达数据包确定子单元，用于确定相应参考数据包组对应的第一雷达数据包和第二雷达数据包；其中，所述第一雷达数据包为参考数据包组中接收时间戳最大的雷达数据包；所述第二雷达数据包为参考数据包组中接收时间戳最小的雷达数据包；

第二时间差值确定子单元，用于确定所述第一雷达数据包和所述第二雷达数据包之间的第二时间差值；

空间同步条件判断子单元，用于若所述第二时间差值不大于预设的第二时间阈值，则确定相应参考数据包组内的雷达数据包之间满足所述空间同步条件。

可选的，所述点云数据确定模块303，包括：

序号确定单元，用于确定发送各所述雷达数据包的雷达设备的设备序号，以及确定各所述雷达数据包的包序号；

相同数据包确定单元，用于根据所述设备序号，将满足所述组帧条件下的各雷达数据包进行组合，得到相同雷达设备下的至少一个雷达数据包；

数据包排序单元，用于根据相同雷达设备下的各雷达数据包的包序号，对各雷达数据包进行排序；

点云数据确定单元，用于根据排序后的各雷达数据包中的点云数据，确定相同雷达设备的扫描点云数据。

可选的，所述点云数据融合模块304，包括：

目标雷达数据包确定单元，用于将相同雷达设备所对应的至少一个雷达数据包中，包序号最大的雷达数据包作为目标雷达数据包，将除所述目标雷达数据包之外的其他数据包作为待比较雷达数据包；

基准位置确定单元，用于确定预设参考点在所述目标雷达数据包的接收时间戳下的第一基准点位置；以及确定所述预设参考点在各所述待比较雷达数据包的接收时间戳下的第二基准点位置；

时间对齐单元，用于根据所述第一基准点位置和各所述第二基准点位置，将相同雷达设备的扫描点云数据进行时间对齐。

可选的，所述点云数据融合模块304，包括：

点云数据获取单元，用于获取各所述雷达设备分别对应的扫描点云数据；

转换矩阵确定单元，用于确定基准坐标系和转换矩阵；

空间对齐单元，用于根据各所述扫描点云数据，基于所述基准坐标系和所述转换矩阵，将各所述雷达设备的扫描点云数据进行空间对齐。

本发明实施例所提供的雷达设备的点云数据融合装置可执行本发明任意实施例所提供的雷达设备的点云数据融合方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如雷达设备的点云数据融合方法。

在一些实施例中，雷达设备的点云数据融合方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的雷达设备的点云数据融合方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行雷达设备的点云数据融合方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种雷达设备的点云数据融合方法，其特征在于，包括：

获取至少一个雷达数据包；其中，所述雷达数据包由至少一个雷达设备发送；

根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足组帧条件；

将满足所述组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；

将相同雷达设备的扫描点云数据进行时间对齐，以及将各所述雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

2.根据权利要求1所述的方法，其特征在于，所述时间戳信息包括发送时间戳和接收时间戳；所述组帧条件包括时间同步条件；

相应的，所述根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足所述组帧条件，包括：

从各所述雷达数据包中提取发送相应雷达数据包的发送时间戳，以及确定接收相应雷达数据包的接收时间戳；

确定相应雷达数据包的发送时间戳和接收时间戳之间的第一时间差值；

若所述第一时间差值不大于预设的第一时间阈值，则确定相应雷达数据包满足所述时间同步条件。

3.根据权利要求2所述的方法，其特征在于，所述组帧条件还包括空间同步条件；

相应的，所述根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足所述组帧条件，包括：

确定各所述雷达数据包的包序号；

将所述包序号相同的各雷达数据包，划分至相同的参考数据包组，得到至少一个参考数据包组；

根据相应参考数据包组中的各雷达数据包的时间戳信息，确定相应参考数据包组中各所述雷达数据包之间是否满足所述空间同步条件。

4.根据权利要求3所述的方法，其特征在于，所述根据相应参考数据包组中的各雷达数据包的时间戳信息，确定相应参考数据包组中各所述雷达数据包之间是否满足所述空间同步条件，包括：

确定相应参考数据包组对应的第一雷达数据包和第二雷达数据包；其中，所述第一雷达数据包为参考数据包组中接收时间戳最大的雷达数据包；所述第二雷达数据包为参考数据包组中接收时间戳最小的雷达数据包；

确定所述第一雷达数据包和所述第二雷达数据包之间的第二时间差值；

若所述第二时间差值不大于预设的第二时间阈值，则确定相应参考数据包组内的雷达数据包之间满足所述空间同步条件。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将满足所述组帧条件的各雷达数据包进行组合，得到相同雷达设备的扫描点云数据，包括：

确定发送各所述雷达数据包的雷达设备的设备序号，以及确定各所述雷达数据包的包序号；

根据所述设备序号，将满足所述组帧条件下的各雷达数据包进行组合，得到相同雷达设备下的至少一个雷达数据包；

根据相同雷达设备下的各雷达数据包的包序号，对各雷达数据包进行排序；

根据排序后的各雷达数据包中的点云数据，确定相同雷达设备的扫描点云数据。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述将相同雷达设备的扫描点云数据进行时间对齐，包括：

将相同雷达设备所对应的至少一个雷达数据包中，包序号最大的雷达数据包作为目标雷达数据包，将除所述目标雷达数据包之外的其他数据包作为待比较雷达数据包；

确定预设参考点在所述目标雷达数据包的接收时间戳下的第一基准点位置；以及确定所述预设参考点在各所述待比较雷达数据包的接收时间戳下的第二基准点位置；

根据所述第一基准点位置和各所述第二基准点位置，将相同雷达设备的扫描点云数据进行时间对齐。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述将各所述雷达设备的扫描点云数据进行空间对齐，包括：

获取各所述雷达设备分别对应的扫描点云数据；

确定基准坐标系和转换矩阵；

根据各所述扫描点云数据，基于所述基准坐标系和所述转换矩阵，将各所述雷达设备的扫描点云数据进行空间对齐。

8.一种雷达设备的点云数据融合装置，其特征在于，包括：

雷达数据包获取模块，用于获取至少一个雷达数据包；其中，所述雷达数据包由至少一个雷达设备发送；

组帧条件判断模块，用于根据各所述雷达数据包对应的时间戳信息，确定各所述雷达数据包是否满足组帧条件；

点云数据确定模块，用于将满足所述组帧条件的相同雷达设备的雷达数据包进行组合，得到相应雷达设备的扫描点云数据；

点云数据融合模块，用于将相同雷达设备的扫描点云数据进行时间对齐，以及将各所述雷达设备的扫描点云数据进行空间对齐，以实现雷达设备的点云数据融合。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的雷达设备的点云数据融合方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的雷达设备的点云数据融合方法。

Images