CN114897838A - 点云数据的增强方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种点云数据的增强方法、装置、存储介质及电子设备。该方法包括：获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元；从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云；对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度；从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度；依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云。通过本申请，改善了相关技术中新增障碍物点云的位置不准确，导致应用增强后的点云数据训练的检测模型对障碍物检测时误检率增加的问题。

Description

点云数据的增强方法、装置、存储介质及电子设备

技术领域

本申请涉及三维视觉领域，具体而言，涉及一种点云数据的增强方法、装置、存储介质及电子设备。

背景技术

在三维视觉领域，点云数据的增强对目标检测有着重要作用，如障碍物检测。

相关技术中通过点云数据增强来检测障碍物的方法包括：首先对原始点云数据中的所有障碍物点云及其GT框(Ground Truth，真实框，一种标注数据)进行范围过滤、数据清洗等操作；然后按照障碍物类别对所有点云文件的GT框进行分类，并提取点云文件中的障碍物点云及其对应的GT框，生成数据库。在对数据库中的单片点云进行平移、翻转、旋转等操作进行数据增强，再根据该片点云的整体点云统计信息确定需要从外部引入的各类障碍物点云数量及其对应的GT框数量；数量确认完毕后依次按照障碍物类别在数据库中筛选障碍物点云及其对应GT框，过滤掉和原始点云中的障碍物点云GT框发生碰撞的外部点云，并区确定外部点云放置位置。

然而，相关技术中的方法，在外部点云与本帧点云中的障碍物、环境点云出现干涉的情况下，虽然过滤掉了干涉部分的原始点云，但是外部障碍物点云在该放置位置并不能体现障碍物的真实情况，外部障碍物点云边界与环境点云接触不自然，导致对应干涉的位置容易出现误检。外部点云及其对应的GT框很难放置到距离地面比较自然的位置上，即便考虑到地面方程，由于地面起伏等因素也很难在远处根据地面方程将外部点云框放置到合理位置，影响检测效果。

针对相关技术中新增障碍物点云的位置不准确，导致应用增强后的点云数据训练的检测模型对障碍物检测时误检率增加的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种点云数据的增强方法、装置、存储介质及电子设备，以解决相关技术中新增障碍物点云的位置不准确，导致应用增强后的点云数据训练的检测模型对障碍物检测时误检率增加的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种点云数据的增强方法。该方法包括：获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据；从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元；对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度；从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度；依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云。

可选地，依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云包括：确定目标障碍物点云在第一历史点云帧中的放置区域，得到历史放置区域，并根据历史放置区域确定目标障碍物点云在栅格区域上的初始放置区域，其中，第一历史点云帧为多个历史点云帧中的点云帧；依据目标障碍物点云的形态特征对初始放置区域进行调整，得到调整后的放置区域；将目标障碍物点云放置在调整后的放置区域，并获取目标障碍物点云的地面投影；根据目标障碍物点云的地面投影调整目标障碍物点云的角度，并将调整角度后的目标障碍物点云添加至原始点云。

可选地，根据目标障碍物点云的地面投影调整目标障碍物点云的角度，并将调整角度后的目标障碍物点云添加至原始点云包括：判断目标障碍物点云的地面投影是否全部落在目标栅格区域中，其中，目标栅格区域为调整后的放置区域对应的栅格区域；在目标障碍物点云的地面投影全部落在目标栅格区域中的情况下，将目标障碍物点云添加至原始点云；在目标障碍物点云的地面投影未全部落在目标栅格区域中的情况下，轮询第二历史点云帧中的目标障碍物点云，直至第二历史点云帧中的目标障碍物点云放置到调整后的放置区域后，目标障碍物点云的地面投影全部落在目标栅格区域中，将第二历史点云帧中的目标障碍物点添加至原始点云，或者，直至遍历完毕所有第二历史点云帧中的目标障碍物点云，其中，第二历史点云帧与第一历史点云帧中目标障碍物点云的放置位置不同。

可选地，将原始点云进行分割，得到多个原始点云单元包括：将原始点云在目标平面上按照预设角度划分，得到多个扇形区域，其中，目标平面为三维空间中的横轴和纵轴构成的平面；将各个扇形区域沿周向进行分割，得到多个原始点云单元。

可选地，从多个原始点云单元中确定多个地面点云单元包括：确定原始点云单元中各个点在三维空间中的竖轴上的高度，得到多个点的高度；计算多个点的高度的平均值，得到第一平均高度；获取原始点云单元中高度小于第一平均高度的点，得到地面点；将地面点组合为地面点云。

可选地，对地面点云进行划分，得到多个栅格区域包括：确定包含地面点云的最小矩形区域；按照预设尺寸的网格划分最小矩形区域对应的点云，得到多个栅格区域。

可选地，确定各个栅格区域的地面高度包括：确定每个栅格区域中的各个点在三维空间中的竖轴上的高度，得到多个点的高度；计算多个点的高度的平均值，得到第二平均高度；将第二平均高度确定为栅格区域的地面高度。

可选地，原始点云中包含多个类别的障碍物点云，从历史点云帧中获取目标障碍物点云包括：从数据库中获取原始点云中未包含的类别的障碍物点云，得到第一障碍物点云，其中，数据库中存储有多个历史点云帧对应的障碍物点云；确定原始点云中数量低于预设数量的类别的障碍物点云，得到目标类别的障碍物点云，并从数据库中获取目标类别的障碍物点云，得到第二障碍物点云；将第一障碍物点云和第二障碍物点云确定为目标障碍物点云。

可选地，原始点云中的各个障碍物点云和目标障碍物点云均关联有标签，其中，标签用于表征障碍物的类别和形态特征，形态特征至少包括障碍物的长度、宽度和高度。

为了实现上述目的，根据本申请的另一方面，提供了一种点云数据的增强装置。该装置包括：分割单元，用于获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据；确定单元，用于从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元；划分单元，用于对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度；获取单元，用于从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度；添加单元，用于依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云。

通过本申请，采用以下步骤：获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据；从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元；对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度；从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度；依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云，改善了相关技术中新增障碍物点云的位置不准确，导致应用增强后的点云数据训练的检测模型对障碍物检测时误检率增加的问题。通过获取地面点云信息，将新增点云放置到对应区域的地面上，避免新增障碍物点云与本帧点云的实体部分出现干涉，进而达到了提高应用点云数据对障碍物进行检测的准确度的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的点云数据的增强方法的流程图；

图2是根据本申请实施例提供的点云数据的增强装置的示意图；

图3是根据本申请实施例提供的一种电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

点云：采用激光雷达等传感器设备得到的物体外观表面的点数据集合称之为点云；

GT框：(Ground Truth)，真实框，一种标注数据。

下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的点云数据的增强方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据。

具体地，目标点云帧可以为在3D感知模型训练中处理的一帧点云数据，原始点云可以为从目标点云帧中直接提取的点云，原始点云中包括多种类型的障碍物点云，在对原始点云进行处理时需要将原始点云分割为多个原始点云单元，目标场景可以为A城市中X街道的场景。

步骤S104，从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元。

具体地，原始点云中除了包括多种类型的障碍物点云外，还包括目标场景中的地形的点云，为了区分原始点云中的障碍物点云和地形点云，首先从多个原始点云单元中确定多个地面点云单元，这些地面点云单元组合在一起构成原始点云中的地面点云。

步骤S106，对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度。

具体地，确定地面点云后还需要确认原始点云中各处地形的高度，由于目标场景中不同地形高度不一样，因此对地面点云进行划分，得到多个栅格区域，每个栅格区域可以囊括一种地形，例如M栅格区域只包括街道区域的点云，N栅格区域只包括围墙区域的点云，然后确定每个栅格区域的地面高度。

步骤S108，从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度。

具体地，历史点云帧可以为目标场景在不同时间被获取到的点云帧，因为同一场景中在不同时间场景内的障碍物是变化的，所以在模型训练时会获取目标场景对应不同时间的多个点云帧，目标障碍物点云可以为目标点云帧中未包含种类的障碍物点云，或者目标点云帧中B种障碍物数量较少的障碍物点云。为了将障碍物点云摆放到原始点云中更符合实际，还需要确认目标障碍物的高度。

例如，目标点云帧采集的目标场景为A城市中的X街道，目标点云帧采集的时刻，X街道上存在的出租车较少，并且X街道上没有摆放锥桶，历史点云帧中X街道上存在的出租车比较多，且摆放有锥桶，对目标点云帧进行处理时，为了增强模型精度，在历史点云帧中获取出租车的点云及其GT框，以及锥桶的点云及其GT框。

步骤S110，依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云。

具体地，目标障碍物点云需要放到原始点云中合适的位置，例如出租车对应点云需要摆放在原始点云中街道对应的点云上，而不能摆放到围墙对应的点云上或者斜坡对应的点云上。

本申请实施例提供的点云数据的增强方法，通过获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据；从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元；对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度；从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度；依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云，改善了相关技术中新增障碍物点云的位置不准确，导致应用增强后的点云数据训练的检测模型对障碍物检测时误检率增加的问题。通过获取地面点云信息，将新增点云放置到对应区域的地面上，避免新增障碍物点云与本帧点云的实体部分出现干涉，进而达到了提高应用点云数据对障碍物进行检测的准确度的效果。

目标障碍物点云的摆放需要遵循物理实际，可选地，在本申请实施例提供的点云数据的增强方法中，依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云包括：确定目标障碍物点云在第一历史点云帧中的放置区域，得到历史放置区域，并根据历史放置区域确定目标障碍物点云在栅格区域上的初始放置区域，其中，第一历史点云帧为多个历史点云帧中的点云帧；依据目标障碍物点云的形态特征对初始放置区域进行调整，得到调整后的放置区域；将目标障碍物点云放置在调整后的放置区域，并获取目标障碍物点云的地面投影；根据目标障碍物点云的地面投影调整目标障碍物点云的角度，并将调整角度后的目标障碍物点云添加至原始点云。

具体地，第一历史点云帧可以为被提取目标障碍物点云对应的点云帧，历史放置区域可以为目标障碍物点云在第一历史点云帧中对应的点云位置，由于目标障碍物点云在历史点云帧中有对应的摆放角度，而在目标点云帧中新增该目标障碍物点云时摆放的角度可能不符合物理实际，因次需要对初始放置区域进行调整，目标障碍物点云的地面投影可以为该目标障碍物在原始点云对应的地面点云上的投影，根据同类别无遮挡的障碍物所反射点云数量随着距离变化的关系确认该障碍物点云放置区间，同时根据障碍物点云形态对障碍物做朝向方面微调，保证点云放置尽量符合物理实际。通过调整障碍物点云的摆放区域使目标障碍物点云更符合实际，从而避免目标障碍物点云添加到原始点云时引起的点云干涉，目标障碍物点云悬空和嵌入地面等问题。

例如，出租车对应的点云在第一历史点云帧中摆放在单向道路上，将出租车对应的点云摆放在原始点云中对应的初始放置区域时，存在出租车的方向放反的情况，这时就需要调整出租车对应点云的摆放角度。

调整完角度后需要确认是否添加目标障碍物点云，可选地，在本申请实施例提供的点云数据的增强方法中，根据目标障碍物点云的地面投影调整目标障碍物点云的角度，并将调整角度后的目标障碍物点云添加至原始点云包括：判断目标障碍物点云的地面投影是否全部落在目标栅格区域中，其中，目标栅格区域为调整后的放置区域对应的栅格区域；在目标障碍物点云的地面投影全部落在目标栅格区域中的情况下，将目标障碍物点云添加至原始点云；在目标障碍物点云的地面投影未全部落在目标栅格区域中的情况下，轮询第二历史点云帧中的目标障碍物点云，直至第二历史点云帧中的目标障碍物点云放置到调整后的放置区域后，目标障碍物点云的地面投影全部落在目标栅格区域中，将第二历史点云帧中的目标障碍物点添加至原始点云，或者，直至遍历完毕所有第二历史点云帧中的目标障碍物点云，其中，第二历史点云帧与第一历史点云帧中目标障碍物点云的放置位置不同。

具体地，第二历史点云帧可以为包含目标障碍物点云但目标障碍物点云摆放角度不同的点云帧，将目标障碍物点云投影到目标点云帧点云所对应的地面点云上，判断所有目标障碍物点云是否全部落入到地面点云上，在目标障碍物点云未全部落入到地面点云的情况下，说明该目标障碍物点云所在位置存在目标点云帧点云的障碍物或者非地面区域(建筑物、墙体、草丛等)，此时过滤该障碍物点云并从数据库重新抽取同种类的目标障碍物点云重新放置。在目标障碍物点云全部落入到地面点云的情况下，按照目标障碍物点云的几何中心所对应的地面栅格，确定该目标障碍物点云所在位置的地面高度，并根据该地面高度整体调整目标障碍物点云及其对应的GT框，使得目标障碍物点云及其GT框的底面尽量与该栅格区域地面重合。通过判断目标障碍物点云是否全部落入地面点云，从而挑选合适的目标障碍物点云添加至原始点云，从而提高模型训练精度。

为了区分地面点云和障碍物点云，可选地，在本申请实施例提供的点云数据的增强方法中，将原始点云进行分割，得到多个原始点云单元包括：将原始点云在目标平面上按照预设角度划分，得到多个扇形区域，其中，目标平面为三维空间中的横轴和纵轴构成的平面；将各个扇形区域沿周向进行分割，得到多个原始点云单元。

具体地，预设角度可以为1度，从而将原始点云划分成360份扇形区域，将原始点云在XY平面按照1弧度分辨率划分为360份扇形区域(ray)，每一个扇形区域按照一定长度划分为若干扇环形单元(cell)，也即原始点云单元，通过统计每个cell中点云Z轴高度计算该区域内点云平面高度信息，通过各cell地面信息过滤区域内点云最终形成分割后的地面点云，达到点云地面分割目的。通过分割原始点云获取原始点云单元，可以更方便寻找地面点云。

得到原始点云单元后可以确定地面点云，可选地，在本申请实施例提供的点云数据的增强方法中，从多个原始点云单元中确定多个地面点云单元包括：确定原始点云单元中各个点在三维空间中的竖轴上的高度，得到多个点的高度；计算多个点的高度的平均值，得到第一平均高度；获取原始点云单元中高度小于第一平均高度的点，得到地面点；将地面点组合为地面点云。

具体地，竖轴可以为Z轴，确定原始点云单元中所有点在Z轴上的高度值，计算所有点的高度平均值，也即第一平均高度，将第一平均高度作为区分线，原始点云单元中的点的高度高于第一平均高度的确定为障碍物点，原始点云单元中的点的高度低于第一平均高度的确定为地面点，将所有原始点云单元中的地面点组合在一起构成地面点云。通过确定地面点云可以使目标障碍物点云放置到原始点云上时有标准的参照位置，从而提高模型训练精度。

确定地面点云后，需要对地面点云划分区域，可选地，在本申请实施例提供的点云数据的增强方法中，对地面点云进行划分，得到多个栅格区域包括：确定包含地面点云的最小矩形区域；按照预设尺寸的网格划分最小矩形区域对应的点云，得到多个栅格区域。

具体地，最小矩形区域可以为包含地面点云的最小矩形范围，按照预设的尺度分辨率对整片地面点云进行划分，例如，点云检测范围为X轴[a,b]，Y轴[-c,d]，网格分辨率设置为β，那么地面点云在X-Y平面将被划分为[(b-a)/β,(d-c)/β](注意选定的分辨率要能够被整除以方便计算)的栅格区域。通过划分栅格区域可以更具体的确定不同地形的地面点云高度，从而让目标障碍物点云的放置位置更精确。

划分为栅格区域后需要确定每个栅格区域的地面高度，可选地，在本申请实施例提供的点云数据的增强方法中，确定各个栅格区域的地面高度包括：确定每个栅格区域中的各个点在三维空间中的竖轴上的高度，得到多个点的高度；计算多个点的高度的平均值，得到第二平均高度；将第二平均高度确定为栅格区域的地面高度。

具体地，栅格划分完成后，计算每个栅格区域的地面点云平均高度值。统计每一个栅格区域内的地面点云信息，根据每个栅格区域内的所有点云的Z轴高度均值作为该栅格区域地面高度值。通过确定每个栅格区域的地面高度，可以判断目标障碍物点云在原始点云中的合适放置位置。

为了增强点云数据，需要在原始点云中添加目标障碍物点云，可选地，在本申请实施例提供的点云数据的增强方法中，原始点云中包含多个类别的障碍物点云，从历史点云帧中获取目标障碍物点云包括：从数据库中获取原始点云中未包含的类别的障碍物点云，得到第一障碍物点云，其中，数据库中存储有多个历史点云帧对应的障碍物点云；确定原始点云中数量低于预设数量的类别的障碍物点云，得到目标类别的障碍物点云，并从数据库中获取目标类别的障碍物点云，得到第二障碍物点云；将第一障碍物点云和第二障碍物点云确定为目标障碍物点云。

具体地，第一障碍物点云可以为目标点云帧中未包含种类的障碍物点云，例如，目标点云帧中没有锥桶这个类型的障碍物，可以从历史点云帧中提取锥桶的点云作为第一障碍物点云，第二障碍物点云可以为目标点云帧中包含种类的障碍物点云但数量较少的障碍物点云，例如目标点云帧中包含的出租车类障碍物点云只有两个，正常情况下目标点云帧采取的目标场景中至少包含5辆出租车，这时需要从历史点云帧中提取3个出租车类障碍物点云作为第二障碍物点云，首先数据库中的障碍物点云根据不同类别进行分组。并根据目标点云帧对于不同类别障碍物点云数量需求完成特定数量的吗目标障碍物点云随机抽取。对于抽取到的点云进行过滤，过滤规则包括：点云总数量、点云位置。对于不满足点云数量及位置要求的障碍物点云进行过滤并重新按类别抽取。通过筛选合适的目标障碍物点云添加至原始点云可以增强目标点云帧的点云数据。

可选地，在本申请实施例提供的点云数据的增强方法中，原始点云中的各个障碍物点云和目标障碍物点云均关联有标签，其中，标签用于表征障碍物的类别和形态特征，形态特征至少包括障碍物的长度、宽度和高度。

具体地，标签可以为GT框，GT框用于标注障碍物点云的类别，长度、宽度、高度以及外部框架。通过对点云添加GT框可以使点云数据更加完善。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种点云数据的增强装置，需要说明的是，本申请实施例的点云数据的增强装置可以用于执行本申请实施例所提供的用于点云数据的增强方法。以下对本申请实施例提供的点云数据的增强装置进行介绍。

图2是根据本申请实施例提供的点云数据的增强装置的示意图。如图2所示，该装置包括：

分割单元10，用于获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据。

确定单元20，用于从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元。

划分单元30，用于对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度。

获取单元40，用于从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度。

添加单元50，用于依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云。

本申请实施例提供的点云数据的增强装置，通过分割单元10，获取目标点云帧中的点云，得到原始点云，并将原始点云进行分割，得到多个原始点云单元，其中，目标点云帧是对目标场景进行扫描得到的一帧点云数据；确定单元20，从多个原始点云单元中确定多个地面点云单元，并由多个地面点云单元组合为地面点云，其中，地面点云单元为表征地面信息的点云单元；划分单元30，对地面点云进行划分，得到多个栅格区域，并确定各个栅格区域的地面高度；获取单元40，从历史点云帧中获取目标障碍物点云，并确定目标障碍物点云对应的障碍物高度；添加单元50，依据障碍物高度和各个栅格区域的地面高度，将目标障碍物点云添加至原始点云，得到增强后的点云，改善了相关技术中新增障碍物点云的位置不准确，导致应用增强后的点云数据训练的检测模型对障碍物检测时误检率增加的问题。通过获取地面点云信息，将新增点云放置到对应区域的地面上，避免新增障碍物点云与本帧点云的实体部分出现干涉，进而达到了提高应用点云数据对障碍物进行检测的准确度的效果。

可选地，在本申请实施例提供的装置中，添加单元50包括：第一确定模块，用于确定目标障碍物点云在第一历史点云帧中的放置区域，得到历史放置区域，并根据历史放置区域确定目标障碍物点云在栅格区域上的初始放置区域，其中，第一历史点云帧为多个历史点云帧中的点云帧；调整模块，用于依据目标障碍物点云的形态特征对初始放置区域进行调整，得到调整后的放置区域；放置模块，用于将目标障碍物点云放置在调整后的放置区域，并获取目标障碍物点云的地面投影；添加模块，用于根据目标障碍物点云的地面投影调整目标障碍物点云的角度，并将调整角度后的目标障碍物点云添加至原始点云。

可选地，在本申请实施例提供的点云数据的增强装置中，添加模块包括：判断子模块，用于判断目标障碍物点云的地面投影是否全部落在目标栅格区域中，其中，目标栅格区域为调整后的放置区域对应的栅格区域；添加子模块，用于在目标障碍物点云的地面投影全部落在目标栅格区域中的情况下，将目标障碍物点云添加至原始点云；轮询子模块，用于在目标障碍物点云的地面投影未全部落在目标栅格区域中的情况下，轮询第二历史点云帧中的目标障碍物点云，直至第二历史点云帧中的目标障碍物点云放置到调整后的放置区域后，目标障碍物点云的地面投影全部落在目标栅格区域中，将第二历史点云帧中的目标障碍物点添加至原始点云，或者，直至遍历完毕所有第二历史点云帧中的目标障碍物点云，其中，第二历史点云帧与第一历史点云帧中目标障碍物点云的放置位置不同。

可选地，在本申请实施例提供的点云数据的增强装置中，分割单元10包括：第一划分模块，用于将原始点云在目标平面上按照预设角度划分，得到多个扇形区域，其中，目标平面为三维空间中的横轴和纵轴构成的平面；分割模块，用于将各个扇形区域沿周向进行分割，得到多个原始点云单元。

可选地，在本申请实施例提供的点云数据的增强装置中，确定单元20包括：第二确定模块，用于确定原始点云单元中各个点在三维空间中的竖轴上的高度，得到多个点的高度；第一计算模块，用于计算多个点的高度的平均值，得到第一平均高度；第一获取模块，用于获取原始点云单元中高度小于第一平均高度的点，得到地面点；组合模块，用于将地面点组合为地面点云。

可选地，在本申请实施例提供的点云数据的增强装置中，划分单元30包括：第三确定模块，用于确定包含地面点云的最小矩形区域；第二划分模块，用于按照预设尺寸的网格划分最小矩形区域对应的点云，得到多个栅格区域。

可选地，在本申请实施例提供的点云数据的增强装置中，划分单元30还包括：第四确定模块，用于确定每个栅格区域中的各个点在三维空间中的竖轴上的高度，得到多个点的高度；第二计算模块，用于计算多个点的高度的平均值，得到第二平均高度；第五确定模块，用于将第二平均高度确定为栅格区域的地面高度。

可选地，在本申请实施例提供的点云数据的增强装置中，获取单元40包括：第二获取模块，用于从数据库中获取原始点云中未包含的类别的障碍物点云，得到第一障碍物点云，其中，数据库中存储有多个历史点云帧对应的障碍物点云；第六确定模块，用于确定原始点云中数量低于预设数量的类别的障碍物点云，得到目标类别的障碍物点云，并从数据库中获取目标类别的障碍物点云，得到第二障碍物点云；第七确定模块，用于将第一障碍物点云和第二障碍物点云确定为目标障碍物点云。

可选地，在本申请实施例提供的点云数据的增强装置中，原始点云中的各个障碍物点云和目标障碍物点云均关联有标签，其中，标签用于表征障碍物的类别和形态特征，形态特征至少包括障碍物的长度、宽度和高度。

上述点云数据的增强装置包括处理器和存储器，上述分割单元10、确定单元20、划分单元30、获取单元40和添加单元50等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提升模型检测精度，降低误检。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述点云数据的增强方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述点云数据的增强方法。

如图3所示，本申请实施例还提供了一种电子设备，电子设备301包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：基于区块链的状态数据的处理。本文中的设备可以是服务器、PC、PAD、手机等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种点云数据的增强方法，其特征在于，包括：

获取目标点云帧中的点云，得到原始点云，并将所述原始点云进行分割，得到多个原始点云单元，其中，所述目标点云帧是对目标场景进行扫描得到的一帧点云数据；

从多个所述原始点云单元中确定多个地面点云单元，并由所述多个地面点云单元组合为地面点云，其中，所述地面点云单元为表征地面信息的点云单元；

对所述地面点云进行划分，得到多个栅格区域，并确定各个所述栅格区域的地面高度；

从历史点云帧中获取目标障碍物点云，并确定所述目标障碍物点云对应的障碍物高度；

依据所述障碍物高度和各个所述栅格区域的地面高度，将所述目标障碍物点云添加至所述原始点云，得到增强后的点云。

2.根据权利要求1所述的方法，其特征在于，依据所述障碍物高度和各个所述栅格区域的地面高度，将所述目标障碍物点云添加至所述原始点云包括：

确定所述目标障碍物点云在第一历史点云帧中的放置区域，得到历史放置区域，并根据所述历史放置区域确定所述目标障碍物点云在所述栅格区域上的初始放置区域，其中，所述第一历史点云帧为多个历史点云帧中的点云帧；

依据所述目标障碍物点云的形态特征对所述初始放置区域进行调整，得到调整后的放置区域；

将所述目标障碍物点云放置在所述调整后的放置区域，并获取所述目标障碍物点云的地面投影；

根据所述目标障碍物点云的地面投影调整所述目标障碍物点云的角度，并将调整角度后的所述目标障碍物点云添加至所述原始点云。

3.根据权利要求2所述的方法，其特征在于，根据所述目标障碍物点云的地面投影调整所述目标障碍物点云的角度，并将调整角度后的所述目标障碍物点云添加至所述原始点云包括：

判断所述目标障碍物点云的地面投影是否全部落在目标栅格区域中，其中，所述目标栅格区域为所述调整后的放置区域对应的栅格区域；

在所述目标障碍物点云的地面投影全部落在所述目标栅格区域中的情况下，将所述目标障碍物点云添加至所述原始点云；

在所述目标障碍物点云的地面投影未全部落在所述目标栅格区域中的情况下，轮询第二历史点云帧中的所述目标障碍物点云，直至所述第二历史点云帧中的所述目标障碍物点云放置到所述调整后的放置区域后，所述目标障碍物点云的地面投影全部落在所述目标栅格区域中，将所述第二历史点云帧中的所述目标障碍物点添加至所述原始点云，或者，直至遍历完毕所有所述第二历史点云帧中的所述目标障碍物点云，其中，所述第二历史点云帧与所述第一历史点云帧中所述目标障碍物点云的放置位置不同。

4.根据权利要求1所述的方法，其特征在于，将所述原始点云进行分割，得到多个原始点云单元包括：

将所述原始点云在目标平面上按照预设角度划分，得到多个扇形区域，其中，所述目标平面为三维空间中的横轴和纵轴构成的平面；

将各个所述扇形区域沿周向进行分割，得到多个所述原始点云单元。

5.根据权利要求1所述的方法，其特征在于，从多个所述原始点云单元中确定多个地面点云单元包括：

确定所述原始点云单元中各个点在三维空间中的竖轴上的高度，得到多个点的高度；

计算所述多个点的高度的平均值，得到第一平均高度；

获取所述原始点云单元中高度小于所述第一平均高度的点，得到地面点；

将所述地面点组合为所述地面点云。

6.根据权利要求1所述的方法，其特征在于，对所述地面点云进行划分，得到多个栅格区域包括：

确定包含所述地面点云的最小矩形区域；

按照预设尺寸的网格划分所述最小矩形区域对应的点云，得到多个所述栅格区域。

7.根据权利要求1所述的方法，其特征在于，确定各个所述栅格区域的地面高度包括：

确定每个所述栅格区域中的各个点在三维空间中的竖轴上的高度，得到多个点的高度；

计算所述多个点的高度的平均值，得到第二平均高度；

将所述第二平均高度确定为所述栅格区域的地面高度。

8.根据权利要求1所述的方法，其特征在于，所述原始点云中包含多个类别的障碍物点云，从历史点云帧中获取目标障碍物点云包括：

从数据库中获取所述原始点云中未包含的类别的障碍物点云，得到第一障碍物点云，其中，所述数据库中存储有多个历史点云帧对应的障碍物点云；

确定所述原始点云中数量低于预设数量的类别的障碍物点云，得到目标类别的障碍物点云，并从所述数据库中获取所述目标类别的障碍物点云，得到第二障碍物点云；

将所述第一障碍物点云和所述第二障碍物点云确定为所述目标障碍物点云。

9.根据权利要求1所述的方法，其特征在于，所述原始点云中的各个障碍物点云和所述目标障碍物点云均关联有标签，其中，所述标签用于表征障碍物的类别和形态特征，所述形态特征至少包括障碍物的长度、宽度和高度。

10.一种点云数据的增强装置，其特征在于，包括：

分割单元，用于获取目标点云帧中的点云，得到原始点云，并将所述原始点云进行分割，得到多个原始点云单元，其中，所述目标点云帧是对目标场景进行扫描得到的一帧点云数据；

确定单元，用于从多个所述原始点云单元中确定多个地面点云单元，并由所述多个地面点云单元组合为地面点云，其中，所述地面点云单元为表征地面信息的点云单元；

划分单元，用于对所述地面点云进行划分，得到多个栅格区域，并确定各个所述栅格区域的地面高度；

获取单元，用于从历史点云帧中获取目标障碍物点云，并确定所述目标障碍物点云对应的障碍物高度；

添加单元，用于依据所述障碍物高度和各个所述栅格区域的地面高度，将所述目标障碍物点云添加至所述原始点云，得到增强后的点云。

11.一种非易失性存储介质，其特征在于，所非易失性存储介质包括存储的程序，其中，所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求1至9中任意一项所述的点云数据的增强方法。

12.一种电子装置，其特征在于，包含处理器和存储器，所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至9中任意一项所述的点云数据的增强方法。

Images