CN114299243A

CN114299243A - 基于多尺度融合的点云特征增强方法和装置

Info

Publication number: CN114299243A
Application number: CN202111531882.0A
Authority: CN
Inventors: 王金桥; 赵朝阳; 陶满礼
Original assignee: Objecteye Beijing Technology Co Ltd
Current assignee: Objecteye Beijing Technology Co Ltd
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2022-04-08

Abstract

本发明提供一种基于多尺度融合的点云特征增强方法和装置。其中方法包括：基于目标对象的原始点云构建目标对象的至少一个不同尺度规模的子点云；其中不同尺度规模的子点云中点的数量小于原始点云中点的数量；基于预先设定的邻域点的数量分别确定至少一个不同尺度规模的子点云中每个点的邻域点；基于所确定的邻域点分别确定至少一个不同尺度规模的子点云中每个点的局部特征；基于至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个子点云的全局特征，基于所确定的至少一个不同尺度规模的子点云中每个子点云的全局特征，对原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云。本发明可以增强点云的特征描述能力。

Description

基于多尺度融合的点云特征增强方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多尺度融合的点云特征增强方法和装置。

背景技术

随着扫描技术的进步，点云数据(Point Cloud)已日益成为自动驾驶领域以及无人机遥感测绘领域主要的数据形式。与传统的二维图像数据不同，点云数据是同一空间参考系下表达目标对象表面特征和xyz三个维度位置坐标空间分布的点的集合。由于可以提供精准的空间位置坐标信息，点云数据也被广泛应用于电力、建筑、工业、汽车、游戏、刑侦等诸多领域，具有重要的使用价值和研究意义。

然而，由于点云数据相对于二维图像数据，具有点的数目稀疏，存储格式无序性的问题，使得点云数据在使用过程中会出现特征描述能力不足，进而不利于应用于三维目标识别以及场景分割等方面。因此，针对点云特征描述增强的研究已经成为亟待解决的问题。

现有技术针对点云特征增强的处理方法主要包括：1.对点云数据进行旋转变换(主要是对点云中每个点的坐标进行旋转和平移操作)；2.对点云数据进行随机噪声扰动(主要是对点云中每个点的坐标在xyz三个维度上增加微小的高斯噪声增量)。但是，现有的对点云特征增强的处理方法，由于数据增强方式较为单一，仅对坐标进行简单的变换处理，并且只保留了增强处理后的数据，本质上并未扩增数据规模，因而对点云多样性表达的提升不足，无法描述不同点密度下的点云特征。

发明内容

本发明提供一种基于多尺度融合的点云特征增强方法和装置，用以解决现有技术点云数据增强方式单一，对点云多样性表达的提升不足，无法描述不同点密度下的点云特征的缺陷，可以通过将点云在不同尺度规模下多维度的全局特征与点云的原始特征进行融合，增强点云的特征描述能力。

第一方面，本发明提供一种基于多尺度融合的点云特征增强方法，包括：

基于目标对象的原始点云，构建所述目标对象的至少一个不同尺度规模的子点云；其中，所述不同尺度规模的子点云中点的数量小于所述原始点云中点的数量；

基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云中每个点的邻域点；

基于所确定的邻域点，分别确定所述至少一个不同尺度规模的子点云中每个点的局部特征；

基于所述至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个子点云的全局特征，对所述原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云。

根据本发明提供的基于多尺度融合的点云特征增强方法，所述基于目标对象的原始点云，构建所述目标对象的至少一个不同尺度规模的子点云，包括：

基于最远点采样，从所述原始点云中确定采样点构建采样点集合；

确定所述采样点集合中采样点的数量达到预先设定的子点云中点的数量，基于所述采样点集合构建所述子点云。

根据本发明提供的基于多尺度融合的点云特征增强方法，所述基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云中每个点的邻域点，针对所述至少一个不同尺度规模的子点云中的每个点，包括：

分别确定其与所在的子点云中其他点之间的距离；

按照距离由小到大的顺序，对所确定的其与所在的子点云中其他点之间距离进行排序；

基于所述距离的排序，选取与其距离最近的符合邻域点的数量的点，作为邻域点。

根据本发明提供的基于多尺度融合的点云特征增强方法，所述基于所确定的邻域点，分别确定所述至少一个不同尺度规模的子点云中每个点的局部特征，包括：

通过图卷积网络，分别对所述至少一个不同尺度规模的子点云中每个点的所述邻域点进行处理，得到每个点的第一特征；

通过最大池化层，分别对所述至少一个不同尺度规模的子点云中每个点的所述第一特征进行处理，得到每个点的所述局部特征。

根据本发明提供的基于多尺度融合的点云特征增强方法，所述基于所述至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个点的局部特征，对所述原始点云中每个点的原始特征进行融合，得到更具表现力的目标点云，包括

针对所述至少一个不同尺度规模的子点云中的每个子点云，通过最大池化层对所有点的所述局部特征进行处理，得到所述子点云的全局特征；

将所得到的所述至少一个不同尺度规模的子点云中每个子点云的全局特征，与所述原始点云中每个点的原始特征分别进行融合，得到所述更具表现力的目标点云。

根据本发明提供的基于多尺度融合的点云特征增强方法，所述基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云中每个点的邻域点，包括：

基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云和所述原始点云中每个点的邻域点；

所述基于所确定的邻域点，分别确定所述至少一个不同尺度规模的子点云每个点的局部特征，包括：

基于所确定的邻域点，分别确定所述至少一个不同尺度规模的子点云和所述原始点云中每个点的局部特征；

所述基于所述至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个子点云的全局特征，对所述原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云，包括：

基于所述至少一个不同尺度规模的子点云中每个子点云所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个子点云的全局特征，对所述原始点云中每个点的局部特征进行融合，得到所述更具有表现力的目标点云。

第二方面，本发明还提供一种基于多尺度融合的点云特征增强装置，包括：

点云构建模块，用于基于目标对象的原始点云，构建所述目标对象的至少一个不同尺度规模的子点云；其中，所述不同尺度规模的子点云中点的数量小于所述原始点云中点的数量；

邻域点确定模块，用于基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云中每个点的邻域点；

特征提取模块，用于基于所确定的邻域点，分别确定所述至少一个不同尺度规模的子点云中每个点的局部特征；

特征融合模块，用于基于所述至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个子点云的全局特征，对所述原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多尺度融合的点云特征增强方法的步骤。

第四方面，发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多尺度融合的点云特征增强方法的步骤。

第五方面，发明还提供一种计算机程序产品，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多尺度融合的点云特征增强方法的步骤。

本发明提供的基于多尺度融合的点云特征增强方法和装置，通过根据目标对象的原始点云，构建目标对象的至少一个不同尺度规模的子点云，可以获得目标对象在不同尺度规模下的点云，增强点云在不同密度水平下的多样性；通过确定至少一个不同尺度规模的子点云中每个点的邻域点，根据邻域点确定至少一个不同尺度规模的子点云中每个点的局部特征，以及根据至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定至少一个不同尺度规模的子点云中每个子点云的全局特征，可以获得点云在不同尺度规模下多维度的全局特征；通过根据邻域点确定的至少一个不同尺度规模的子点云中每个子点云的全局特征对原始点云中每个点的原始特征进行融合，可以实现不同尺度规模下点云特征的信息互补，增强点云的特征描述能力，提高利用点云进行识别的精度和鲁棒性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于多尺度融合的点云特征增强方法的流程示意图；

图2是本发明提供的构建子点云的流程示意图；

图3是本发明提供的确定每个点的邻域点的流程示意图；

图4是本发明提供的基于邻域点确定每个点的局部特征的流程示意图；

图5是本发明提供的对点云进行特征融合的流程示意图；

图6是本发明提供的另一基于多尺度融合的点云特征增强方法的流程示意图；

图7是本发明提供的原始点云与不同尺度规模的子点云的示意图；

图8是本发明提供的基于多尺度融合的点云特征增强方法的一应用场景的示意图；

图9是本发明提供的基于多尺度融合的点云特征增强装置的组成结构示意图；

图10是本发明提供的电子设备的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图8描述本发明的基于多尺度融合的点云特征增强方法。

请参阅图1，图1是本发明提供的基于多尺度融合的点云特征增强方法的流程示意图，图1所示的基于多尺度融合的点云特征增强方法可以由基于多尺度融合的点云特征增强装置执行，基于多尺度融合的点云特征增强装置可以设置于客户端或者服务器，例如，客户端可以为智能手机、笔记型计算机、车载计算机、机器人、可穿戴设备等，服务器可以为包含独立主机的物理服务器、主机集群承载的虚拟服务器、云服务器等，本发明实施例对此不作限定。如图1所示，该基于多尺度融合的点云特征增强方法至少包括：

101，基于目标对象的原始点云，构建目标对象的至少一个不同尺度规模的子点云；其中，不同尺度规模的子点云中点的数量小于原始点云中点的数量。

在本发明实施例中，目标对象可以为获取点云的对象，目标对象的类型可以根据点云应用的技术领域确定，例如，在自动驾驶领域中目标对象可以为车辆、行人等，在无人机遥感测绘领域中目标对象可以为城市建筑、农田等，本发明实施例对目标对象的类型不作限定。可以通过三维激光扫描仪或者照相式扫描仪对目标对象进行扫描，获取目标对象的原始点云，或者也可以从数据库获取目标对象的原始点云，本发明实施例对获取目标对象的原始点云的实现方式不作限定。可选地，在获取目标对象的原始点云之后，还可以对目标对象的原始点云进行预处理，去除原始点云中的离群点、噪声点等，本发明实施例对原始点云进行预处理的类型和实现方式不作限定。

在本发明实施例中，在获得目标对象的原始点云之后，可以根据目标对象的原始点云和预先设定的用于描述目标对象的子点云的尺度规模，构建目标对象在预先设定的尺度规模下的子点云。当预先设定的用于描述目标对象的子点云的尺度规模为多个尺度规模时，可以构建目标对象多个尺度规模的子点云。其中，尺度规模用于表征点云中点的数量，不同尺度规模用于表征子点云相对于原始点云具有与原始点云不同的点数或点密度。用于描述目标对象的子点云的尺度规模的数量，可以根据点云的应用场景预先设定。例如，目标对象的原始点云的尺度规模为2000个点，预先设定的子点云的尺度规模为1500个点、1000个点和800个点，所构建的目标对象的三个子点云的尺度规模分别为1500个点、1000个点和800个点。根据原始点云构建子点云的方法，可以采用现有的点云采样方法，例如，均匀采样，几何采样，随机采样，格点采样等，或者也可以采用根据需求设计的点云采样方法，本发明实施例对此不作限定。

102，基于预先设定的邻域点的数量，分别确至少一个不同尺度规模的子点云中每个点的邻域点。

在本发明实施例中，在构建目标对象的子点云之后，可以根据预先设定的邻域点的数量，分别确定每个所构建的子点云中每个点的邻域点。其中，邻域点的数量可以根据点云的密度、精度等因素预先设定，例如，邻域点的数量可以为20个点，或者也可以为40个点，又或者还可以为60个点，本发明实施例对预先设定的邻域点的数量不作限定。根据预先设定的邻域点的数量确定子点云中每个点的邻域点的方法，可以采用现有的确定点云的邻域点的方法，例如，K最邻近查询方法(K-Neares tNeighbor，简称KNN)等，或者也可以采用根据需求设计的确定点云的邻域点的方法，本发明实施例对根据预先设定的邻域点的数量确定子点云中每个点的邻域点的实现方法不作限定。

103，基于所确定的邻域点，分别确定至少一个不同尺度规模的子点云中每个点的局部特征。

在本发明实施例中，在确定子点云中每个点的邻域点之后，可以根据所确定的每个子点云中每个点的邻域点，分别确定每个子点云中每个点的局部特征。其中，根据子点云中每个点的邻域点确定子点云中每个点的局部特征的方法，可以采用现有的根据邻域点确定局部特征的方法，或者也可以采用根据需求设计的根据邻域点确定局部特征的方法，本发明实施例对根据子点云中每个点的邻域点确定子点云中每个点的局部特征的实现方法不作限定。

104，基于至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个子点云的全局特征，基于所确定的至少一个不同尺度规模的子点云中每个子点云的全局特征，对原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云。

在本发明实施例中，在确定子点云中每个点的局部特征之后，可以根据所确定的每个子点云中所有点的局部特征，确定每个子点云的全局特征，通过所确定的每个子点云的全局特征对原始点云中每个点的原始特征进行融合，得到目标对象的目标点云。其中，根据每个子点云中所有点的局部特征确定每个子点云的全局特征的方法可以采用现有的全局特征确定方法，或者也可以采用根据需求设计的全局特征确定方法，本发明实施例对根据每个子点云中所有点的局部特征确定每个子点云的全局特征的实现方法不作限定。根据每个子点云的全局特征对原始点云中每个点的原始特征进行融合的方法可以采用现有的特征融合方法，例如，多层感知机(Multilayer Perceptron，简称MLP)等，或者也可以采用根据需求设计的特征融合方法，本发明实施例对根据每个子点云的全局特征对原始点云中每个点的原始特征进行融合的实现方法不作限定。

本发明实施例提供的基于多尺度融合的点云特征增强方法，通过根据目标对象的原始点云，构建目标对象的至少一个不同尺度规模的子点云，可以获得目标对象在不同尺度规模下的点云，增强点云在不同密度水平下的多样性；通过确定至少一个不同尺度规模的子点云中每个点的邻域点，根据邻域点确定至少一个不同尺度规模的子点云中每个点的局部特征，以及根据至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定至少一个不同尺度规模的子点云中每个子点云的全局特征，可以获得点云在不同尺度规模下多维度的全局特征；通过根据邻域点确定的至少一个不同尺度规模的子点云中每个子点云的全局特征对原始点云中每个点的原始特征进行融合，可以实现不同尺度规模下点云特征的信息互补，增强点云的特征描述能力，提高利用点云进行识别的精度和鲁棒性。

请参阅图2，图2是本发明提供的构建子点云的流程示意图，如图2所示，基于目标对象的原始点云，构建目标对象的至少一个不同尺度规模的子点云，至少包括：

201，基于最远点采样，从原始点云中确定采样点构建采样点集合。

202，确定采样点集合中采样点的数量达到预先设定的子点云中点的数量，基于采样点集合构建第一子点云。

在本发明实施例中，在根据目标对象的原始点云构建目标对象的子点云时，可以根据最远点采样的方法，通过确定采样点获取原始点云的采样点集合，在采样点集合中采样点的数量达到预先设定的子点云中点的数量时，可以根据采样点集合构建子点云。其中，通过预先设定多个子点云中点的数量，可以得到多个采样点数量不同的采样点集合，从而可以获得多个不同尺度规模的子点云。

例如，对于尺度规模为l的子点云，可以从原始点云P＝{x₁，x₂，…，x_n}中随机抽取一个采样点x_i，放入采样点集合S_l＝{x_i}，其中，x_i为点云P中第i个点的三维坐标，然后计算原始点云中去除采样点x_i后的剩余点与加入到采样点集合中的采样点x_i之间的距离构成点对距离集合。选择点对距离集合中距离最大的点x_i1作为采样点，加入采样点集合S_l＝{x_i，x_i1}，删除点对距离集合中采样点x_i1的距离，然后计算原始点云中去除采样点x_i和x_i1后的剩余点与加入到采样点集合中的采样点x_i1之间的距离，并根据最小取值原则更新点对距离集合，即在更新后的点对距离集合中只保留每一个剩余点与采样点x_i之间的距离以及该剩余点与采样点x_i1之间的距离的最小值。选择更新后的点对距离集合中距离最大的点x_i2作为采样点，加入采样点集合S_l＝{x_i，x_i1，x_i2}，删除更新后的点对距离集合中采样点x_i2的距离，然后重复计算距离，更新点对距离集合的过程，直至采样点集合S_l中点的数量满足尺度规模l的要求S_l＝{x_i，x_i1，…，x_nl}。

请参阅图3，图3是本发明提供的确定每个点的邻域点的流程示意图，如图3所示，基于预先设定的邻域点的数量，分别确定至少一个不同尺度规模的子点云中每个点的邻域点，至少包括：

301，针对至少一个不同尺度规模的子点云中的每个点，分别确定其与所在的子点云中其他点之间的距离。

302，针对至少一个不同尺度规模的子点云中的每个点，按照距离由小到大的顺序，对所确定的其与所在的子点云中其他点之间的距离进行排序。

303，针对至少一个不同尺度规模的子点云中的每个点，基于距离的排序，选取与其距离最近的符合邻域点的数量的点，作为邻域点。

在本发明实施例中，在根据预先设定邻域点的数量确定子点云中每个点的邻域点时，可以根据K最邻近查询的方法，通过确定子点云中每个点与所在的子点云中其他点之间的距离，并针对每个点按照距离由小到大的顺序所确定的该点与所在的子点云中其他点之间的距离进行排序，根据距离的排序，选取与每个点距离最近的符合预先设定的领域点的数量的点，作为每个点的邻域点。

例如，对于子点云中任意一个点x_i，可以计算点x_i与其所在的子点云中其他所有点之间的距离，并按照升序对计算得到的点x_i与其他点之间的距离进行排序，根据距离的排序选择与点x_i距离最近的K个点，作为点x_i的领域点，构建点x_i的局部邻域R(x_i)，以该局部邻域作为下一步确定局部特征的基础。

请参阅图4，图4是本发明提供的基于邻域点确定每个点的局部特征的流程示意图，如图4所示，基于所确定的邻域点，分别确定至少一个不同尺度规模的子点云中每个点的局部特征，至少包括：

401，通过图卷积网络，分别对至少一个不同尺度规模的子点云中每个点的邻域点进行处理，得到每个点的第一特征。

402，通过最大池化层，分别对至少一个不同尺度规模的子点云中每个点的第一特征进行处理，得到每个点的局部特征。

在本发明实施例中，在根据子点云中每个点的邻域点确定子点云中每个点的局部特征时，可以通过图卷积网络(Graph Convolutional Network，简称GCN)对子点云中每个点的邻域点进行处理，然后通过最大池化层(max pooling)对图卷积网络处理得到的特征进行处理，得到子点云中每个点的局部特征。

例如，对于完成局部邻域构建的子点云，可以通过图卷积网络与最大值池化层相结合，确定子点云中每个点多维度的局部特征，所确定的每个点多维度的局部特征可以表示为x_i′，可以通过公式1计算x_i′，公式1可以表示为如下形式：

x_i′＝max_pooling{GCN{R(x_i)} (公式1)

请参阅图5，图5是本发明提供的对点云进行特征融合的流程示意图，如图5所示，基于至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个子点云的全局特征，基于所确定的至少一个不同尺度规模的子点云中每个子点云的全局特征，对原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云，至少包括：

501，针对至少一个不同尺度规模的子点云中的每个子点云，通过最大池化层对所有点的局部特征进行处理，得到该子点云的全局特征。

502，将所得到的至少一个不同尺度规模的子点云中每个子点云的全局特征，与原始点云中每个点的原始特征分别进行融合，得到更具表现力的目标点云。

在本发明实施例中，在根据所确定的子点云中每个点的局部特征对原始点云中每个点的原始特征进行融合时，可以首先针对每个子点云通过最大池化层对该子点云中所有点的局部特征进行处理，得到该子点云的全局特征，将所有子点云的全局特征与原始点云中每个点的原始特征进行合并，然后通过多层感知机对合并后的特征中的局部特征和原始特征进行融合，将融合后的特征作为原始点云中每个点增强后的特征，得到特征增强的目标点云。其中，对于多个尺度规模的子点云，通过最大池化层可以获得多个尺度的全局特征，将多个尺度的全局特征与原始点云中每个点的原始特征进行合并，可以增强点云对多尺度特征的表达能力，通过多层感知机对合并后的特征中多个尺度的全局特征和原始特征进行融合，可以使融合后的特征包含点云对多尺度的刻画，具有更强的特征表达力。

例如，对于确定局部特征的后的尺度规模为i的子点云S_i，可以通过最大池化层确定该尺度的全局特征f_i，并将f_i与原始点云中每个点的原始特征进行合并，合并原始特征和多个尺度的全局特征后的点云特征可以表示为x_ie，可以通过公式2和公式3计算x_ie，公式2和公式3可以表示为如下形式：

f_i＝max_pooling{S_i′} (公式2)

x_ie＝concate(x_i，f₁，f₂，…，f_l) (公式3)

可以进一步通过多层感知机对合并后的特征x_ie中的原始特征x_i和多个尺度的全局特征f₁，f₂，…，f_l进行融合，以得到更好的特征表达，融合后的点云特征可以表示为x_ie′，可以通过公式4计算x_ie′，公式4可以表示为如下形式：

x_ie′＝MLP(x_ie) (公式4)

在本发明的另一些实施例中，进行领域点确定，根据领域点确定局部特征，以及与点云的原始特征进行融合的点云不仅包括根据目标对象的原始点云构建的子点云，还包括原始点云，此时的基于多尺度融合的点云特征增强方法如图6所示，该基于多尺度融合的点云特征增强方法，至少包括：

601，基于目标对象的原始点云，构建目标对象的至少一个不同尺度规模的子点云；其中，不同尺度规模的子点云中点的数量小于原始点云中点的数量。

602，基于预先设定的邻域点的数量，分别确定至少一个不同尺度规模的子点云和原始点云中每个点的邻域点。

603，基于所确定的邻域点，分别确定至少一个不同尺度规模的子点云和原始点云中每个点的局部特征。

604，基于至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个子点云的全局特征，基于所确定的至少一个不同尺度规模的子点云中每个子点云的全局特征，对原始点云中每个点的局部特征进行融合，得到更具有表现力的目标点云。

在本发明实施例中，在602、603和604中对原始点云进行的操作与对子点云进行的操作相同，在602、603和604中对子点云进行的操作可以参见图1中关于102、103和104的说明，故此处不再复述。

请参阅图7和图8所示，图7是本发明提供的原始点云与不同尺度规模的子点云的示意图，图8是本发明提供的基于多尺度融合的点云特征增强方法的一应用场景的示意图。如图7所述，原始点云的尺度规模可以为1024个点，通过最远点采样获得2个尺度规模分别为512个点和256个点的子点云。如图8所示，输入目标对象的完整点云数据，即原始点云，经过尺度等级规模库构建、不同尺度规模特征提取和特征融合后，输出特征增强后的点云，即目标点云。其中，尺度等级规模库构建是对输入的一个完整点云数据，通过最远点采样获得多个尺度规模对应的点云数据，即子点云，并以此构建多尺度规模的点云集。多尺度规模特征提取是对于每个尺度规模的点云数据，通过Knn构建局部邻域，然后通过图卷积神经网络和邻域点通道上最大值池化获取每个点的局部特征，最后通过所有点通道上最大值池化提取多个尺度规模的全局特征。特征融合是通过将多个尺度规模对应的全局特征与点的原始特征合并，然后通过多层感知机对合并后的特征进行融合。

下面对本发明提供的基于多尺度融合的点云特征增强装置进行描述，下文描述的基于多尺度融合的点云特征增强装置与上文描述的基于多尺度融合的点云特征增强方法可相互对应参照。

请参阅图9，图9是本发明提供的基于多尺度融合的点云特征增强装置的组成结构示意图，图9所示的基于多尺度融合的点云特征增强装置可用来执行图1的基于多尺度融合的点云特征增强方法，如图9所示，该基于多尺度融合的点云特征增强装置至少包括：

点云构建模块910，用于基于目标对象的原始点云，构建目标对象的至少一个不同尺度规模的子点云；其中，不同尺度规模的子点云中点的数量小于原始点云中点的数量。

邻域点确定模块920，用于基于预先设定的邻域点的数量，分别确定至少一个不同尺度规模的子点云中每个点的邻域点。

特征提取模块930，用于基于所确定的邻域点，分别确定至少一个不同尺度规模的子点云中每个点的局部特征。

特征融合模块940，用于基于至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个子点云的全局特征，基于所确定的至少一个不同尺度规模的子点云中每个子点云的全局特征，对原始点云中每个点的原始特征进行融合，得到更具有表现力的目标点云。

可选地，点云构建模块910，包括：

采样单元，用于基于最远点采样，从原始点云中确定采样点构建采样点集合。

点云构建单元，用于确定采样点集合中采样点的数量达到预先设定的子点云中点的数量，基于采样点集合构建子点云。

可选地，邻域点确定模块920，包括：

距离计算单元，用于针对至少一个不同尺度规模的子点云中的每个点，分别确定其与所在的子点云中其他点之间的距离。

排序单元，用于针对至少一个不同尺度规模的子点云中的每个点，对所确定的其与所在的子点云中其他点之间的距离进行排序。

邻域点选取单元，用于针对至少一个不同尺度规模的子点云中的每个点，选取与其距离最近的符合所述邻域点的数量的点，作为邻域点。

可选地，特征提取模块930，包括：

图卷积网络，用于通过图卷积网络，分别对至少一个不同尺度规模的子点云中每个点的邻域点进行处理，得到每个点的第一特征。

最大池化层，用于分别对至少一个不同尺度规模的子点云中每个点的第一特征进行处理，得到每个点的局部特征。

可选地，特征融合模块940，包括

最大池化层，用于针对至少一个不同尺度规模的子点云中的每个子点云，通过最大池化层对所有点的局部特征进行处理，得到子点云的全局特征。

特征融合单元，用于将所得到的至少一个不同尺度规模的子点云中每个子点云的全局特征，与原始点云中每个点的原始特征分别进行融合，得到更具表现力的目标点云。

可选地，邻域点确定模块920，用于基于预先设定的邻域点的数量，分别确定至少一个不同尺度规模的子点云和原始点云中每个点的邻域点。

特征提取模块930，用于分别确定至少一个不同尺度规模的子点云和原始点云中每个点的局部特征。

特征融合模块940，用于基于至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个子点云的全局特征，基于所确定的至少一个不同尺度规模的子点云中每个子点云的全局特征，对原始点云中每个点的局部特征进行融合，得到更具有表现力的目标点云。

图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(CommunicationsInterface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行基于多尺度融合的点云特征增强方法，该方法包括：

此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例提供的基于多尺度融合的点云特征增强方法，该方法包括：

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例提供的基于多尺度融合的点云特征增强方法，该方法包括：

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于多尺度融合的点云特征增强方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度融合的点云特征增强方法，其特征在于，所述基于目标对象的原始点云，构建所述目标对象的至少一个不同尺度规模的子点云，包括：

3.根据权利要求1所述的基于多尺度融合的点云特征增强方法，其特征在于，所述基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云中每个点的邻域点，针对所述至少一个不同尺度规模的子点云中的每个点，包括：

分别确定其与所在的子点云中其他点之间的距离；

按照距离由小到大的顺序，对所确定的其与所在的子点云中其他点之间的距离进行排序；

基于所述距离的排序，选取与其距离最近的符合所述邻域点的数量的点，作为邻域点。

4.根据权利要求1所述的基于多尺度融合的点云特征增强方法，其特征在于，所述基于所确定的邻域点，分别确定所述至少一个不同尺度规模的子点云中每个点的局部特征，包括：

5.根据权利要求1所述的基于多尺度融合的点云特征增强方法，其特征在于，所述基于所述至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个点的局部特征，对所述原始点云中每个点的原始特征进行融合，得到更具表现力的目标点云，包括

6.根据权利要求1至5任一项所述的基于多尺度融合的点云特征增强方法，其特征在于，所述基于预先设定的邻域点的数量，分别确定所述至少一个不同尺度规模的子点云中每个点的邻域点，包括：

基于所述至少一个不同尺度规模的子点云中每个子点云的所有点的局部特征，确定每个所述子点云的全局特征，基于所确定的所述至少一个不同尺度规模的子点云中每个子点云的全局特征，对所述原始点云中每个点的局部特征进行融合，得到所述更具有表现力的目标点云。

7.一种基于多尺度融合的点云特征增强装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于多尺度融合的点云特征增强方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多尺度融合的点云特征增强方法的步骤。

10.一种计算机程序产品，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多尺度融合的点云特征增强方法的步骤。