CN115049750A - 基于八叉树的体素地图生成方法、装置、存储介质及设备 - Google Patents
基于八叉树的体素地图生成方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN115049750A CN115049750A CN202210611347.4A CN202210611347A CN115049750A CN 115049750 A CN115049750 A CN 115049750A CN 202210611347 A CN202210611347 A CN 202210611347A CN 115049750 A CN115049750 A CN 115049750A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- voxel
- ith
- coding
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开了一种基于八叉树的体素地图生成方法、装置、存储介质及设备，属于无人驾驶技术领域。所述方法用于无人驾驶车辆中的GPU中，包括：在第i个处理周期内，接收CPU发送的第i个点云片段，第i个点云片段是CPU对传感器发送的点云数据进行第i次划分后得到的；在第i个处理周期内，利用八叉树编码方式对第i‑1个点云片段进行编码，得到第i‑1个编码信息；在第i个处理周期内，获取在第i‑1处理周期内对第i‑2个点云片段进行编码后得到的第i‑2个编码信息，将第i‑2个编码信息作为第i个处理周期的体素地图发送给CPU。本申请中，GPU采用流水线方式对所有点云数据进行并行编码，减少了耗时，提升了编码效率。
Description
技术领域
本申请涉及无人驾驶技术领域，特别涉及一种基于八叉树的体素地图生成方法、装置、存储介质及设备。
背景技术
在无人驾驶的场景中，车辆需要具备对现有的环境状态的先验知识，并基于先验知识对现有的环境状态做出合理预测。以先验知识为点云地图为例，先验知识可以分为两部分，一部分为离线的点云地图，通常由高精地图提供；另一部分为在线的点云，通常由车辆的传感器实时获取得到。由于离线的点云地图的实时性较低，所以，通常需要对在线的点云进行八叉树编码，利用编码后得到的体素地图对离线的点云地图进行校准，从而提高点云地图的实时性。
八叉树是一种用于描述三维空间的树状数据结构，八叉树的每个节点表示一个正方体的体素，每个节点有八个子节点，将八个子节点所表示的体素加在一起就等于父节点的体素。利用八叉树编码方式可以将点云数据投影到各个体素内，体素的参数包括颗粒度信息、坐标信息和属性信息，颗粒度信息表示体素的边长，坐标信息表示体素的中心点，属性信息表示体素中是否投影有点云数据，比如，属性信息为0时表示体素内不存在投影的点云数据，属性信息为1时表示体素内存在投影的点云数据。
相关技术中由CPU(Central Processing Unit，中央处理器)来生成体素地图。具体的，CPU在接收到传感器发送的点云数据后，利用八叉树编码方式串行对接收到的点云数据进行编码，得到体素地图。由于CPU的性能有限，对大量的点云数据进行编码时的耗时较长，从而导致编码效率较低。
发明内容
本申请提供了一种基于八叉树的体素地图生成方法、装置、存储介质及设备，用于解决利用CPU对点云数据进行八叉树编码时，耗时较长，编码效率较低的问题。所述技术方案如下：
一方面，提供了一种基于八叉树的体素地图生成方法，用于无人驾驶车辆中的图形处理器GPU中，所述方法包括：
在第i个处理周期内，接收所述无人驾驶车辆中的中央处理器CPU发送的第i个点云片段，所述第i个点云片段是所述CPU对所述无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，所述点云数据是所述传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数；
在所述第i个处理周期内，利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；
在所述第i个处理周期内，获取在所述第i-1处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将所述第i-2个编码信息作为所述第i个处理周期的体素地图发送给所述CPU。
在一种可能的实现方式中，所述利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息，包括：
在所述第i个处理周期之前生成的历史编码信息中，筛选出按照时间顺序排列的最后n个历史编码信息，n为正整数；
在利用八叉树编码方式进行编码时，基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；
对所述待编码体素进行编码，得到第i-1个编码信息。
在一种可能的实现方式中，所述基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素，包括：
对于所述第i-1个点云片段所投影的每个体素，若根据所述n个历史编码信息中的属性信息确定所述体素在历史时刻不存在投影的点云数据，或者，若根据所述n个历史编码信息确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化，则将所述体素确定为待编码体素。
在一种可能的实现方式中，所述方法还包括：
获取所述体素在所述n个历史编码信息中的属性信息的数值；
若所述属性信息的数值为第一数值，则确定所述体素在历史时刻不存在投影的点云数据；
若所述属性信息的数值为第二数值，则确定所述体素在历史时刻存在投影的点云数据。
在一种可能的实现方式中，所述方法还包括：
获取所述体素在当前时刻与所述无人驾驶车辆之间的第一距离，以及在前一时刻与所述无人驾驶车辆之间的第二距离；
若所述第一距离和所述第二距离所对应的颗粒度不同，则确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化；
若所述第一距离和所述第二距离所对应的颗粒度相同，则确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度未发生变化；
其中，每种颗粒度对应于一个距离范围。
一方面，提供了一种基于八叉树的体素地图生成装置，用于无人驾驶车辆中的图形处理器GPU中，所述装置包括：
接收模块，用于在第i个处理周期内，接收所述无人驾驶车辆中的中央处理器CPU发送的第i个点云片段，所述第i个点云片段是所述CPU对所述无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，所述点云数据是所述传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数；
编码模块，用于在所述第i个处理周期内，利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；
发送模块，用于在所述第i个处理周期内，获取在所述第i-1处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将所述第i-2个编码信息作为所述第i个处理周期的体素地图发送给所述CPU。
在一种可能的实现方式中，所述编码模块，还用于：
在所述第i个处理周期之前生成的历史编码信息中，筛选出按照时间顺序排列的最后n个历史编码信息，n为正整数；
在利用八叉树编码方式进行编码时，基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；
对所述待编码体素进行编码，得到第i-1个编码信息。
在一种可能的实现方式中，所述编码模块，还用于：
对于所述第i-1个点云片段所投影的每个体素，若根据所述n个历史编码信息中的属性信息确定所述体素在历史时刻不存在投影的点云数据，或者，若根据所述n个历史编码信息确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化，则将所述体素确定为待编码体素。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于八叉树的体素地图生成方法。
一方面，提供了一种计算机设备，所述计算机设备包括中央处理器CPU、图形处理器GPU和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于八叉树的体素地图生成方法。
本申请提供的技术方案的有益效果至少包括：
在第i个处理周期内，既可以接收无人驾驶车辆中的CPU发送的第i个点云片段，也可以利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；还可以对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU，这样，GPU可以采用流水线的方式对观测到的所有点云数据进行并行编码，相比于CPU采用串行方式对点云数据进行编码来说，可以减少编码时的耗时，大幅提升编码效率。
在利用八叉树编码方式进行编码时，先基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；再对所述待编码体素进行编码，得到第i-1个编码信息，这样，GPU可以只对未编码的体素或颗粒度发生变化的体素进行编码，避免对已编码的体素进行编码，从而利用点云数据的稀疏特性，使用八叉树编码去除重复和相似的点云数据，将数据量控制在GPU可接受的算力范围内，从而以较低算力和耗时成本，在线建立高实时性的点云地图供无人驾驶车辆使用。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于八叉树的体素地图生成方法的方法流程图；
图2是本申请另一实施例提供的基于八叉树的体素地图生成方法的方法流程图；
图3是本申请再一实施例提供的基于八叉树的体素地图生成装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的基于八叉树的体素地图生成方法的方法流程图，该基于八叉树的体素地图生成方法可以应用于计算机设备中的GPU(Graphics Processing Unit，图形处理器)中。该基于八叉树的体素地图生成方法，可以包括：
步骤101，在第i个处理周期内，接收无人驾驶车辆中的CPU发送的第i个点云片段，第i个点云片段是CPU对无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，点云数据是传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数。
无人驾驶车辆中安装有CPU、GPU和多个传感器，这些传感器负责对车辆周围的环境状态进行采样得到点云数据，并将点云数据发送给CPU，CPU将点云数据发送给GPU，GPU对点云数据进行编码，并将得到的编码信息作为体素地图发送给CPU，CPU可以直接使用体素地图规划无人驾驶车辆的行驶路径，或者，CPU可以将体素地图与离线的点云地图进行融合，并根据得到的融合地图规划无人驾驶车辆的行驶路径，本实施例中不限制体素地图的使用方式。
本实施例中，GPU可以将点云数据的处理流程拆分成接收、编码和反馈这三个操作，并采用流水线的方式并行执行这三个操作。简单来说，若以处理周期来划分，则在第i个处理周期内，GPU需要同时执行步骤101-103。
由于点云数据是实时采样得到的数据流，所以，CPU可以先将点云数据划分成点云片段，再将点云片段发送给GPU，本实施例中将在第i个处理周期内传输的点云片段称为第i个点云片段。
步骤102，在第i个处理周期内，利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息。
在接收第i个点云片段的同时，GPU还需要对第i-1个点云片段进行编码，第i-1个点云片段是在第i-1个处理周期内接收到的点云片段。
步骤103，在第i个处理周期内，获取在第i-1处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU。
在接收第i个点云片段，编码第i-1个点云片段的同时，GPU还需要将第i-2个编码信息作为当前的体素地图发送给CPU，第i-2个编码信息是对第i-2个点云片段进行编码得到的，第i-2个点云片段是在第i-2个处理周期内接收到的点云片段。
需要补充说明的是，GPU还需要对第i-2个编码信息进行存储，以便在后续的处理周期中，将第i-2个编码信息作为历史编码信息进行使用。
本实施例中，当i＝1时，GPU只接收CPU发送的第1个点云片段；当i＝2时，GPU接收CPU发送的第2个点云片段，同时对第1个点云片段进行编码；当i≥3时，GPU执行步骤101-103。
综上所述，本申请实施例提供的基于八叉树的体素地图生成方法，在第i个处理周期内，既可以接收无人驾驶车辆中的CPU发送的第i个点云片段，也可以利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；还可以对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU，这样，GPU可以采用流水线的方式对观测到的所有点云数据进行并行编码，相比于CPU采用串行方式对点云数据进行编码来说，可以减少编码时的耗时，大幅提升编码效率。
请参考图2，其示出了本申请一个实施例提供的基于八叉树的体素地图生成方法的方法流程图，该基于八叉树的体素地图生成方法可以应用于计算机设备中的GPU中。该基于八叉树的体素地图生成方法，可以包括：
步骤201，在第i个处理周期内，接收无人驾驶车辆中的CPU发送的第i个点云片段，第i个点云片段是CPU对无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，点云数据是传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数。
无人驾驶车辆中安装有CPU、GPU和多个传感器，这些传感器负责对车辆周围的环境状态进行采样得到点云数据，并将点云数据发送给CPU，CPU将点云数据发送给GPU，GPU对点云数据进行编码，并将得到的编码信息作为体素地图发送给CPU，CPU可以直接使用体素地图规划无人驾驶车辆的行驶路径，或者，CPU可以将体素地图与离线的点云地图进行融合，并根据得到的融合地图规划无人驾驶车辆的行驶路径，本实施例中不限制体素地图的使用方式。
本实施例中，GPU可以将点云数据的处理流程拆分成接收、编码和反馈这三个操作，并采用流水线的方式并行执行这三个操作。简单来说，若以处理周期来划分，则在第i个处理周期内，GPU需要同时执行步骤101-103。
由于点云数据是实时采样得到的数据流，所以，CPU可以先将点云数据划分成点云片段，再将点云片段发送给GPU，本实施例中将在第i个处理周期内传输的点云片段称为第i个点云片段。
步骤202，在第i个处理周期内，在第i个处理周期之前生成的历史编码信息中，筛选出按照时间顺序排列的最后n个历史编码信息，n为正整数。
在接收第i个点云片段的同时，GPU还需要对第i-1个点云片段进行编码，即执行步骤202-204，第i-1个点云片段是在第i-1个处理周期内接收到的点云片段。
GPU可以对所有的点云数据进行编码，然而，部分点云数据已在之前的处理周期中编码过，所以，基于点云数据的稀疏特性，GPU可以只对未编码的体素或颗粒度发生变化的体素进行编码，避免对已编码的体素进行编码，从而利用点云数据的稀疏特性，使用八叉树编码去除重复和相似的点云数据，将数据量控制在GPU可接受的算力范围内，从而以较低算力和耗时成本，在线建立高实时性的点云地图供无人驾驶车辆使用。
GPU可以筛选出与第i个点云片段相关联的历史编码信息，并基于历史编码信息来筛选待编码的体素，历史编码信息是在第i个处理周期之前生成的编码信息，且历史编码信息可以按照生成顺序进行排序。
具体的，GPU可以根据预设的经验值n，从历史编码信息中筛选出按照时间顺序排列的最后n个历史编码信息。
步骤203，在利用八叉树编码方式进行编码时，基于n个历史编码信息确定第i-1个点云片段所投影的多个体素中的待编码体素。
GPU可以先将第i个点云片段中的点云数据映射到对应的体素中，再判断该体素是否是待编码体素。其中，待编码体素包括两种，第一种是在第i个处理周期之前未编码过的体素，第二种是在第i个处理周期时的颗粒度发生变化的体素。
对于第一种体素，由于未编码过的体素中不存在投影的点云数据，且体素中是否存在投影的点云数据可以根据属性信息的数值来判断，所以，GPU可以获取体素在n个历史编码信息中的属性信息的数值；若属性信息的数值为第一数值，则确定该体素在历史时刻不存在投影的点云数据；若属性信息的数值为第二数值，则确定该体素在历史时刻存在投影的点云数据。对应的，对于第i-1个点云片段所投影的每个体素，若根据n个历史编码信息中的属性信息确定该体素在历史时刻不存在投影的点云数据，则将该体素确定为待编码体素。
本实施例中，每种颗粒度对应于一个距离范围。通常来说，距离范围越小，即点云数据距离无人驾驶车辆越近，则其所投影的体素的颗粒度越小，以便更好地描述障碍物的细节；距离范围越大，即点云数据距离无人驾驶车辆越远，则其所投影的体素的颗粒度越大，所以，当点云数据投影的体素的颗粒度发生变化时，需要进行重新编码。
假设距离范围为50米，且在50米内的颗粒度为0.5米，在50米外的颗粒度为1米，若在第i-1个处理周期时点云数据与无人驾驶车辆之间的距离为100米，则其所投影的体素的颗粒度为1米；若在第i个处理周期时该点云数据与无人驾驶车辆之间的距离为40米，则其所投影的体素的颗粒度为0.5米，此时需要对该点云数据所投影的体素进行编码。
基于上述规则，对于第二种体素，GPU可以获取体素在当前时刻与无人驾驶车辆之间的第一距离，以及在前一时刻与无人驾驶车辆之间的第二距离；若第一距离和第二距离所对应的颗粒度不同，则确定体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化；若第一距离和第二距离所对应的颗粒度相同，则确定体素在当前时刻的颗粒度相对于前一时刻的颗粒度未发生变化。对应的，对于第i-1个点云片段所投影的每个体素，若根据n个历史编码信息确定体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化，则将体素确定为待编码体素。
步骤204，对待编码体素进行编码，得到第i-1个编码信息。
对于需要编码的每个体素，GPU可以根据其中投影的点云数据与无人驾驶车辆之间的距离确定其对应的颗粒度信息、生成该体素的坐标信息、生成内容为第二数值的属性信息，即可得到第i-1个编码信息。
步骤205，在第i个处理周期内，获取在第i-1处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU。
在接收第i个点云片段，编码第i-1个点云片段的同时，GPU还需要将第i-2个编码信息作为当前的体素地图发送给CPU，第i-2个编码信息是对第i-2个点云片段进行编码得到的，第i-2个点云片段是在第i-2个处理周期内接收到的点云片段。
需要补充说明的是，GPU还需要对第i-2个编码信息进行存储，以便在后续的处理周期中，将第i-2个编码信息作为历史编码信息进行使用。
本实施例中，当i＝1时，GPU只接收CPU发送的第1个点云片段；当i＝2时，GPU接收CPU发送的第2个点云片段，同时对第1个点云片段进行编码；当i≥3时，GPU执行步骤201-205。
综上所述，本申请实施例提供的基于八叉树的体素地图生成方法，在第i个处理周期内，既可以接收无人驾驶车辆中的CPU发送的第i个点云片段，也可以利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；还可以对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU，这样，GPU可以采用流水线的方式对观测到的所有点云数据进行并行编码，相比于CPU采用串行方式对点云数据进行编码来说，可以减少编码时的耗时，大幅提升编码效率。
在利用八叉树编码方式进行编码时，先基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；再对所述待编码体素进行编码，得到第i-1个编码信息，这样，GPU可以只对未编码的体素或颗粒度发生变化的体素进行编码，避免对已编码的体素进行编码，从而利用点云数据的稀疏特性，使用八叉树编码去除重复和相似的点云数据，将数据量控制在GPU可接受的算力范围内，从而以较低算力和耗时成本，在线建立高实时性的点云地图供无人驾驶车辆使用。
请参考图3，其示出了本申请一个实施例提供的基于八叉树的体素地图生成装置的结构框图，该基于八叉树的体素地图生成装置可以应用于计算机设备中的GPU中。该基于八叉树的体素地图生成装置，可以包括：
接收模块310，用于在第i个处理周期内，接收无人驾驶车辆中的中央处理器CPU发送的第i个点云片段，第i个点云片段是CPU对无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，点云数据是传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数；
编码模块320，用于在第i个处理周期内，利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；
发送模块330，用于在第i个处理周期内，获取在第i-1处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU。
在一个可选的实施例中，编码模块320，还用于：
在第i个处理周期之前生成的历史编码信息中，筛选出按照时间顺序排列的最后n个历史编码信息，n为正整数；
在利用八叉树编码方式进行编码时，基于n个历史编码信息确定第i-1个点云片段所投影的多个体素中的待编码体素；
对待编码体素进行编码，得到第i-1个编码信息。
在一个可选的实施例中，编码模块320，还用于：
对于第i-1个点云片段所投影的每个体素，若根据n个历史编码信息中的属性信息确定体素在历史时刻不存在投影的点云数据，或者，若根据n个历史编码信息确定体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化，则将体素确定为待编码体素。
在一个可选的实施例中，该装置还包括：
第一获取模块，用于获取体素在n个历史编码信息中的属性信息的数值；
第一确定模块，用于若属性信息的数值为第一数值，则确定体素在历史时刻不存在投影的点云数据；若属性信息的数值为第二数值，则确定体素在历史时刻存在投影的点云数据。
在一个可选的实施例中，该装置还包括：
第二获取模块，用于获取体素在当前时刻与无人驾驶车辆之间的第一距离，以及在前一时刻与无人驾驶车辆之间的第二距离；
第二确定模块，用于若第一距离和第二距离所对应的颗粒度不同，则确定体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化；若第一距离和第二距离所对应的颗粒度相同，则确定体素在当前时刻的颗粒度相对于前一时刻的颗粒度未发生变化；其中，每种颗粒度对应于一个距离范围。
综上所述，本申请实施例提供的基于八叉树的体素地图生成装置，在第i个处理周期内，既可以接收无人驾驶车辆中的CPU发送的第i个点云片段，也可以利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；还可以对第i-2个点云片段进行编码后得到的第i-2个编码信息，将第i-2个编码信息作为第i个处理周期的体素地图发送给CPU，这样，GPU可以采用流水线的方式对观测到的所有点云数据进行并行编码，相比于CPU采用串行方式对点云数据进行编码来说，可以减少编码时的耗时，大幅提升编码效率。
在利用八叉树编码方式进行编码时，先基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；再对所述待编码体素进行编码，得到第i-1个编码信息，这样，GPU可以只对未编码的体素或颗粒度发生变化的体素进行编码，避免对已编码的体素进行编码，从而利用点云数据的稀疏特性，使用八叉树编码去除重复和相似的点云数据，将数据量控制在GPU可接受的算力范围内，从而以较低算力和耗时成本，在线建立高实时性的点云地图供无人驾驶车辆使用。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于八叉树的体素地图生成方法。
本申请一个实施例提供了一种计算机设备，所述计算机设备包括CPU、GPU和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于八叉树的体素地图生成方法。
需要说明的是：上述实施例提供的基于八叉树的体素地图生成装置在进行基于八叉树的体素地图生成时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于八叉树的体素地图生成装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于八叉树的体素地图生成装置与基于八叉树的体素地图生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
1.一种基于八叉树的体素地图生成方法，其特征在于，用于无人驾驶车辆中的图形处理器GPU中，所述方法包括：
在第i个处理周期内，接收所述无人驾驶车辆中的中央处理器CPU发送的第i个点云片段，所述第i个点云片段是所述CPU对所述无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，所述点云数据是所述传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数；
在所述第i个处理周期内，利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；
在所述第i个处理周期内，获取在所述第i-1 处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将所述第i-2个编码信息作为所述第i个处理周期的体素地图发送给所述CPU。
2.根据权利要求1所述的方法，其特征在于，所述利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息，包括：
在所述第i个处理周期之前生成的历史编码信息中，筛选出按照时间顺序排列的最后n个历史编码信息，n为正整数；
在利用八叉树编码方式进行编码时，基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；
对所述待编码体素进行编码，得到第i-1个编码信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素，包括：
对于所述第i-1个点云片段所投影的每个体素，若根据所述n个历史编码信息中的属性信息确定所述体素在历史时刻不存在投影的点云数据，或者，若根据所述n个历史编码信息确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化，则将所述体素确定为待编码体素。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述体素在所述n个历史编码信息中的属性信息的数值；
若所述属性信息的数值为第一数值，则确定所述体素在历史时刻不存在投影的点云数据；
若所述属性信息的数值为第二数值，则确定所述体素在历史时刻存在投影的点云数据。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述体素在当前时刻与所述无人驾驶车辆之间的第一距离，以及在前一时刻与所述无人驾驶车辆之间的第二距离；
若所述第一距离和所述第二距离所对应的颗粒度不同，则确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化；
若所述第一距离和所述第二距离所对应的颗粒度相同，则确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度未发生变化；
其中，每种颗粒度对应于一个距离范围。
6.一种基于八叉树的体素地图生成装置，其特征在于，用于无人驾驶车辆中的图形处理器GPU中，所述装置包括：
接收模块，用于在第i个处理周期内，接收所述无人驾驶车辆中的中央处理器CPU发送的第i个点云片段，所述第i个点云片段是所述CPU对所述无人驾驶车辆中的各个传感器发送的点云数据进行第i次划分后得到的，所述点云数据是所述传感器对周围的环境状态进行采样得到的，i为大于或等于3的正整数；
编码模块，用于在所述第i个处理周期内，利用八叉树编码方式对在第i-1个处理周期内接收到的第i-1个点云片段进行编码，得到第i-1个编码信息；
发送模块，用于在所述第i个处理周期内，获取在所述第i-1 处理周期内对第i-2个点云片段进行编码后得到的第i-2个编码信息，将所述第i-2个编码信息作为所述第i个处理周期的体素地图发送给所述CPU。
7.根据权利要求6所述的装置，其特征在于，所述编码模块，还用于：
在所述第i个处理周期之前生成的历史编码信息中，筛选出按照时间顺序排列的最后n个历史编码信息，n为正整数；
在利用八叉树编码方式进行编码时，基于所述n个历史编码信息确定所述第i-1个点云片段所投影的多个体素中的待编码体素；
对所述待编码体素进行编码，得到第i-1个编码信息。
8.根据权利要求7所述的装置，其特征在于，所述编码模块，还用于：
对于所述第i-1个点云片段所投影的每个体素，若根据所述n个历史编码信息中的属性信息确定所述体素在历史时刻不存在投影的点云数据，或者，若根据所述n个历史编码信息确定所述体素在当前时刻的颗粒度相对于前一时刻的颗粒度发生了变化，则将所述体素确定为待编码体素。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至5任一所述的基于八叉树的体素地图生成方法。
10.一种计算机设备，其特征在于，所述计算机设备包括中央处理器CPU、图形处理器GPU和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至5任一所述的基于八叉树的体素地图生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210611347.4A CN115049750B (zh) | 2022-05-31 | 2022-05-31 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
| PCT/CN2023/084682 WO2023231541A1 (zh) | 2022-05-31 | 2023-03-29 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210611347.4A CN115049750B (zh) | 2022-05-31 | 2022-05-31 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049750A true CN115049750A (zh) | 2022-09-13 |
| CN115049750B CN115049750B (zh) | 2023-06-16 |
Family
ID=83159927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210611347.4A Active CN115049750B (zh) | 2022-05-31 | 2022-05-31 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115049750B (zh) |
| WO (1) | WO2023231541A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023231541A1 (zh) * | 2022-05-31 | 2023-12-07 | 九识(苏州)智能科技有限公司 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060098876A1 (en) * | 2002-03-11 | 2006-05-11 | Buscema Paolo M | Method for encoding image pixels a method for processing images and a method for processing images aimed at qualitative recognition of the object reproduced by one or more image pixels |
| US20150213572A1 (en) * | 2014-01-24 | 2015-07-30 | Here Global B.V. | Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes |
| CN108645353A (zh) * | 2018-05-14 | 2018-10-12 | 四川川大智胜软件股份有限公司 | 基于多帧随机二元编码光场的三维数据采集系统及方法 |
| JP2019165280A (ja) * | 2018-03-19 | 2019-09-26 | 富士ゼロックス株式会社 | 符号化装置、復号装置及びプログラム |
| CN110443810A (zh) * | 2019-07-17 | 2019-11-12 | 北京建筑大学 | 基于快速邻接体素查询的点云平面分割方法 |
| CN110785791A (zh) * | 2017-06-22 | 2020-02-11 | 交互数字Vc控股公司 | 编码和重建点云的方法和设备 |
| CN111338804A (zh) * | 2020-05-19 | 2020-06-26 | 北京数字绿土科技有限公司 | 激光雷达点云数据的解算方法、装置及多线程处理系统 |
| CN112184840A (zh) * | 2020-09-22 | 2021-01-05 | 上海交通大学 | 基于多尺度结构化字典学习的3d点云压缩系统 |
| CN112470480A (zh) * | 2018-07-11 | 2021-03-09 | 索尼公司 | 图像处理装置和方法 |
| CN113557552A (zh) * | 2019-03-19 | 2021-10-26 | 索尼集团公司 | 信息处理装置和方法 |
| CN113615204A (zh) * | 2019-03-20 | 2021-11-05 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| CN113766228A (zh) * | 2020-06-05 | 2021-12-07 | Oppo广东移动通信有限公司 | 点云压缩方法、编码器、解码器及存储介质 |
| CN113994383A (zh) * | 2019-12-02 | 2022-01-28 | 腾讯美国有限责任公司 | 点云编解码方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11741637B2 (en) * | 2020-02-10 | 2023-08-29 | Tencent America LLC | Node-based geometry and attribute coding for a point cloud |
| CN115049750B (zh) * | 2022-05-31 | 2023-06-16 | 九识智行(北京)科技有限公司 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
-
2022
- 2022-05-31 CN CN202210611347.4A patent/CN115049750B/zh active Active
-
2023
- 2023-03-29 WO PCT/CN2023/084682 patent/WO2023231541A1/zh unknown
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060098876A1 (en) * | 2002-03-11 | 2006-05-11 | Buscema Paolo M | Method for encoding image pixels a method for processing images and a method for processing images aimed at qualitative recognition of the object reproduced by one or more image pixels |
| US20150213572A1 (en) * | 2014-01-24 | 2015-07-30 | Here Global B.V. | Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes |
| CN110785791A (zh) * | 2017-06-22 | 2020-02-11 | 交互数字Vc控股公司 | 编码和重建点云的方法和设备 |
| JP2019165280A (ja) * | 2018-03-19 | 2019-09-26 | 富士ゼロックス株式会社 | 符号化装置、復号装置及びプログラム |
| CN108645353A (zh) * | 2018-05-14 | 2018-10-12 | 四川川大智胜软件股份有限公司 | 基于多帧随机二元编码光场的三维数据采集系统及方法 |
| CN112470480A (zh) * | 2018-07-11 | 2021-03-09 | 索尼公司 | 图像处理装置和方法 |
| CN113557552A (zh) * | 2019-03-19 | 2021-10-26 | 索尼集团公司 | 信息处理装置和方法 |
| CN113615204A (zh) * | 2019-03-20 | 2021-11-05 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| CN110443810A (zh) * | 2019-07-17 | 2019-11-12 | 北京建筑大学 | 基于快速邻接体素查询的点云平面分割方法 |
| CN113994383A (zh) * | 2019-12-02 | 2022-01-28 | 腾讯美国有限责任公司 | 点云编解码方法和装置 |
| CN111338804A (zh) * | 2020-05-19 | 2020-06-26 | 北京数字绿土科技有限公司 | 激光雷达点云数据的解算方法、装置及多线程处理系统 |
| CN113766228A (zh) * | 2020-06-05 | 2021-12-07 | Oppo广东移动通信有限公司 | 点云压缩方法、编码器、解码器及存储介质 |
| CN112184840A (zh) * | 2020-09-22 | 2021-01-05 | 上海交通大学 | 基于多尺度结构化字典学习的3d点云压缩系统 |
Non-Patent Citations (2)
| Title |
|---|
| SHANWEI SONG: "Data Reduction for Point Cloud Using Octree Coding", JOURNAL OF ENGINEERING GRAPHICS, vol. 31, no. 04, pages 73 - 76 * |
| 李厚强等: "点云编码综述", 中兴通讯技术, vol. 27, no. 01, pages 5 - 9 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023231541A1 (zh) * | 2022-05-31 | 2023-12-07 | 九识(苏州)智能科技有限公司 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023231541A1 (zh) | 2023-12-07 |
| CN115049750B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7485482B2 (ja) | コンピュータビジョンシステム | |
| US11037361B2 (en) | Path planning using sparse volumetric data | |
| US11532117B2 (en) | Density coordinate hashing for volumetric data | |
| Nguyen et al. | Multiscale deep context modeling for lossless point cloud geometry compression | |
| US20200219275A1 (en) | Methods and devices for encoding and reconstructing a point cloud | |
| CN114997337B (zh) | 信息融合、数据通信方法、装置及电子设备和存储介质 | |
| CN111192364A (zh) | 一种低成本移动多机器人视觉同时定位和地图创建方法 | |
| CN111582105A (zh) | 基于局部全局双向推理的无监督点云特征学习方法及装置 | |
| CN111090712A (zh) | 一种数据处理方法、装置、设备及计算机存储介质 | |
| CN115049750B (zh) | 基于八叉树的体素地图生成方法、装置、存储介质及设备 | |
| CN111738435B (zh) | 一种基于移动设备的在线稀疏训练方法及系统 | |
| CN111796917A (zh) | 算子运算调度方法和装置 | |
| Yu et al. | Rate-distortion optimized geometry compression for spinning LiDAR point cloud | |
| CN116612223A (zh) | 数字孪生模拟空间的生成方法、装置、计算机设备和介质 | |
| KR20210061119A (ko) | 큰 규모 분산 행렬 곱 처리 방법 및 그 장치 | |
| CN115002196B (zh) | 一种数据处理方法、装置、车端采集设备 | |
| Byrne et al. | VOLA: A Compact Volumetric Format for 3D Mapping and Embedded Systems. | |
| CN113034663A (zh) | Gim模型轻量化处理方法和装置、设备及存储介质 | |
| CN115292044A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111061824B (zh) | 基于改进四叉树的范围判断方法、装置、设备 | |
| EP4107862A1 (en) | Methods and devices for multi-point direct coding in point cloud compression | |
| Nee et al. | Task distribution of object detection algorithms in fog-computing framework | |
| Gao et al. | Compact StereoNet: stereo disparity estimation via knowledge distillation and compact feature extractor | |
| Sharif et al. | High Performance Computing for Autonomous Planetary Exploration | |
| Lin et al. | SLGC: a fast point-in-area algorithm based on scan-line algorithm and grid compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 100 meters west of Changhou Road, Changxingzhuang Village, Xiaotangshan Town, Changping District, Beijing 102211, 2nd Floor, Silk Road Style (Beijing) Hotel Management Service Co., Ltd. 821645 Patentee after: Beijing Feichi Era Technology Co.,Ltd. Country or region after: China Patentee after: Jiuzhi (Suzhou) Intelligent Technology Co.,Ltd. Address before: 100 meters west of Changhou Road, Changxingzhuang Village, Xiaotangshan Town, Changping District, Beijing 102211, 2nd Floor, Silk Road Style (Beijing) Hotel Management Service Co., Ltd. 821645 Patentee before: Jiuzhizhixing (Beijing) Technology Co.,Ltd. Country or region before: China Patentee before: Jiuzhi (Suzhou) Intelligent Technology Co.,Ltd. |