CN113420846A - 点云分割方法、装置及终端设备 - Google Patents

Abstract

本发明提供了一种点云分割方法、装置及终端设备，包括：如果接收到点云分割请求，调用预设接口读取待分割点云数据；基于待分割点云数据的点数量，判断待分割点云数据是否满足第一预设条件；如果否，对待分割点云数据进行切块处理得到多个点云数据块，直至每个点云数据块均满足第一预设条件；对每个点云数据块分别进行降采样处理得到目标点云数据；将目标点云数据发送至服务器，以使服务器利用点云分割网络对目标点云数据进行分割处理得到分割结果；接收服务器反馈的分割结果。本发明可以有效减少点云分割任务对使用人员经验的依赖，还可以显著提高点云分割的准确性。

Description

点云分割方法、装置及终端设备

技术领域

本发明涉及点云分割技术领域，尤其是涉及一种点云分割方法、装置及终端设备。

背景技术

点云分割技术广泛应用于测绘、自动驾驶、农业、设计规划等技术领域。目前，用于点云分割的应用软件对使用人员要求较高，对于较为复杂的场景进行点云分割时，需要使用人员具备较高的经验，而且对于人力成本要求也很高，即便这些应用软件中使用了很多规则方法用于实现自动分割点云，但是后期仍然需要使用人员进行更细微的手动分割。相关技术提供的点云分割软件对使用人员的经验依赖较高，且存在点云分割准确性较低的问题。

发明内容

有鉴于此，本发明的目的在于提供一种点云分割方法、装置及终端设备，可以有效减少点云分割任务对使用人员经验的依赖，还可以显著提高点云分割的准确性。

第一方面，本发明实施例提供了一种点云分割方法，所述方法应用于客户端，所述客户端与服务器通信连接，所述服务器配置有点云分割网络，所述方法包括：如果接收到点云分割请求，调用预设接口读取待分割点云数据；基于所述待分割点云数据的点数量，判断所述待分割点云数据是否满足第一预设条件；如果否，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；对每个所述点云数据块分别进行降采样处理得到目标点云数据；将所述目标点云数据发送至所述服务器，以使所述服务器利用所述点云分割网络对所述目标点云数据进行分割处理得到分割结果；接收所述服务器反馈的所述分割结果。

在一种实施方式中，所述对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件的步骤，包括：获取预先设置的切块参数，并基于所述切块参数对所述待分割点云数据进行切块处理，得到多个点云数据块；判断每个所述点云数据块是否满足所述第一预设条件；如果所述点云数据块不满足所述第一预设条件，基于所述切块参数对所述点云数据块进行切块处理，直至每个所述点云数据块均满足所述第一预设条件。

在一种实施方式中，所述对每个所述点云数据块分别进行降采样处理得到目标点云数据的步骤，包括：获取预先设置的降采样参数；其中，所述降采样参数包括降采样半径；对于每个所述点云数据块，基于该点云数据块的点密度，判断该点云数据块是否满足第二预设条件；如果否，对该点云数据块进行至少一次降采样处理，直至该点云数据块满足所述第二预设条件；将每个满足所述第二预设条件的点云数据块均确定为目标点云数据。

在一种实施方式中，所述对该点云数据块进行至少一次降采样处理的步骤，包括：对于一次降采样处理，从该点云数据块中随机确定目标点，以所述目标点为圆心、以所述降采样半径为圆半径确定搜索区域，在所述搜索区域所包含的数据点中随机确定指定数量的数据点。

第二方面，本发明实施例还提供一种点云分割方法，所述方法应用于服务器，所述服务器与客户端通信连接，所述服务器配置有点云分割网络，所述方法包括：接收所述客户端发送的目标点云数据；其中，所述目标点云数据是所述客户端基于待分割点云数据得到，所述客户端用于在接收到点云分割请求时调用预设接口读取待分割点云数据；基于所述待分割点云数据的点数量判断所述待分割点云数据是否满足第一预设条件；如果否，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；对每个所述点云数据块分别进行降采样处理得到目标点云数据；通过所述点云分割网络对所述目标点云数据进行分割处理，得到所述目标点云数据对应的分割结果；其中，所述点云分割网络包括特征聚合子网络和特征提取子网络，所述特征聚合子网络用于提取所述目标点云数据的结构特征，所述特征提取子网络用于提取所述目标点云数据的细节特征；将所述分割结果发送至所述客户端。

在一种实施方式中，所述通过所述点云分割网络对所述目标点云数据进行分割处理，得到所述目标点云数据对应的分割结果的步骤，包括：通过所述特征聚合子网络将所述目标点云数据转换为体素数据，并对所述体素数据进行特征聚合处理，得到所述目标点云数据的结构特征；通过所述特征提取子网络对所述目标点云数据中的每个点进行特征提取处理，得到所述目标点云数据的细节特征；将所述结构特征和所述细节特征进行特征融合处理，得到所述目标点云数据对应的分割结果。

在一种实施方式中，将所述目标点云数据转换为体素数据，并对所述体素数据进行特征聚合处理，得到所述目标点云数据的结构特征的步骤，包括：对所述目标点云数据进行归一化处理，得到归一化数据；按照预设转换公式将所述归一化数据转换为体素数据；对所述体素数据进行特征聚合处理，得到所述体素数据对应的体素特征；对所述体素特征进行反体素处理，得到所述目标点云数据的结构特征。

在一种实施方式中，所述特征提取子网络包括多层感知器；所述通过所述特征提取子网络对所述目标点云数据中的每个点进行特征提取处理，得到所述目标点云数据的细节特征的步骤，包括：通过所述多层感知器对所述目标点云数据中的每个点进行特征提取处理，得到所述目标点云数据的细节特征。

第三方面，本发明实施例还提供一种点云分割装置，所述装置应用于客户端，所述客户端与服务器通信连接，所述服务器配置有点云分割网络，所述装置包括：数据读取模块，用于如果接收到点云分割请求，调用预设接口读取待分割点云数据；判断模块，用于基于所述待分割点云数据的点数量，判断所述待分割点云数据是否满足第一预设条件；切块模块，用于在所述判断模块的判断结果为是时，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；降采样模块，用于对每个所述点云数据块分别进行降采样处理得到目标点云数据；数据发送模块，用于将所述目标点云数据发送至所述服务器，以使所述服务器利用所述点云分割网络对所述目标点云数据进行分割处理得到分割结果；结果接收模块，用于接收所述服务器反馈的所述分割结果。

第四方面，本发明实施例还提供一种点云分割装置，所述装置应用于服务器，所述服务器与客户端通信连接，所述服务器配置有点云分割网络，所述装置包括：数据接收模块，用于接收所述客户端发送的目标点云数据；其中，所述目标点云数据是所述客户端基于待分割点云数据得到，所述客户端用于在接收到点云分割请求时调用预设接口读取待分割点云数据；基于所述待分割点云数据的点数量判断所述待分割点云数据是否满足第一预设条件；如果否，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；对每个所述点云数据块分别进行降采样处理得到目标点云数据；分割模块，用于通过所述点云分割网络对所述目标点云数据进行分割处理，得到所述目标点云数据对应的分割结果；其中，所述点云分割网络包括特征聚合子网络和特征提取子网络，所述特征聚合子网络用于提取所述目标点云数据的结构特征，所述特征提取子网络用于提取所述目标点云数据的细节特征；结果发送模块，用于将所述分割结果发送至所述客户端。

第五方面，本发明实施例还提供一种终端设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法，或执行所述计算机可执行指令以实现第二方面提供的任一项所述的方法。

第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法，或促使处理器实现第二方面提供的任一项所述的方法。

本发明实施例提供的一种点云分割方法、装置及终端设备，应用于客户端，客户端与服务器通信连接，服务器配置有点云分割网络，在接收到点云分割请求时调用预设接口读取待分割点云数据，基于待分割点云数据的点数量判断待分割点云数据是否满足第一预设条件，若待分割点云数据不满足第一预设条件，则对待分割点云数据进行切块处理得到多个点云数据块，直至每个点云数据块均满足第一预设条件，然后对每个点云数据块分别进行降采样处理得到目标点云数据，再将目标点云数据发送至服务器，以使服务器利用点云分割网络对目标点云数据进行分割处理得到分割结果，接收服务器反馈的分割结果。上述方法可以在接收到点云分割请求后，可以自动执行待分割点云数据的读取、分块处理、降采样处理、数据发送、结果接收等操作，显著提高分割点云数据的自动化水平，而且利用服务器中配置的点云分割网络对目标点云数据进行分割处理，基于结构特征和细节特征得到最终的分割结果，可以显著提高点云分割的准确性，从而无需使用人员再次对分割结果进行调整，进而可以有效减少点云分割任务对使用人员经验的依赖。

本发明实施例提供的一种点云分割方法、装置及终端设备，应用于服务器，服务器与客户端通信连接，服务器配置有点云分割网络，首先接收客户端发送的目标点云数据，然后通过点云分割网络对目标点云数据进行分割处理，得到目标点云数据对应的分割结果，最终将分割结果发送至客户端。上述点云分割网络包括特征聚合子网络和特征提取子网络，特征聚合子网络用于提取目标点云数据的结构特征，特征提取子网络用于提取目标点云数据的细节特征。上述方法对客户端基于待分割点云数据得到的目标点云数据进行分割处理，可以显著提高分割点云数据的自动化水平，另外利用包含有特征聚合子网络和特征提取子网络的点云分割网络，分别提取目标点云数据的结构特征和细节特征，从而在结构特征和细节特征的基础上得到分割结果，可以显著提高点云分割的准确性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种点云分割方法的流程示意图；

图2为本发明实施例提供的另一种点云分割方法的流程示意图；

图3为本发明实施例提供的一种点云分割网络的结构示意图；

图4为本发明实施例提供的另一种点云分割方法的流程示意图；

图5为本发明实施例提供的一种点云分割装置的结构示意图；

图6为本发明实施例提供的另一种点云分割装置的结构示意图；

图7为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，传统点云分割软件依赖使用人员的经验，通过在软件中设置特殊点，再进行距离、角度等分类点云，这种方法对精细点云进行分割的效果较差，且分割之后还需要专业标注人员的调整，基于此，本发明实施提供了一种点云分割方法、装置及终端设备，可以有效减少点云分割任务对使用人员经验的依赖，还可以显著提高点云分割的准确性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种点云分割方法进行详细介绍，该方法应用于客户端，客户端与服务器通信连接，服务器配置有点云分割网络，参见图1所示的一种点云分割方法的流程示意图，该方法主要包括以下步骤S102至步骤S112：

步骤S102，如果接收到点云分割请求，调用预设接口读取待分割点云数据。在一种实施方式中，客户端可以提供图形用户界面，图形用户界面显示有“点云分割”控件，当用户点击该“点云分割”控件时，即可生成点云分割请求，另外，客户端配置有存储区域，预设接口配置有网址（socket）和该存储区域的读取路径，用户只需将待分割点云存储至该存储区域，当客户端接收到用户发送的点云分割请求后，即可调用预设接口按照读取路径自动从该存储区域内读取待分割点云数据。

步骤S104，基于待分割点云数据的点数量，判断待分割点云数据是否满足第一预设条件。其中，第一预设条件可以理解为数量条件，通过对待分割点云数量所包含的点数量进行限定，可以降低服务器在进行后续处理的运行负担。在一种实施方式中，可以预先设置数量阈值，并判断待分割点云数据的点数量是否小于数量阈值，如果是，则可以确定待分割点云数据满足第一预设条件，并直接跳转至降采样步骤，如果否，则需要对待分割点云数据进行切块处理，以使切块处理得到的每个点云数据块均满足该第一预设条件。

步骤S106，如果否，对待分割点云数据进行切块处理得到多个点云数据块，直至每个点云数据块均满足第一预设条件。在一种实施方式中，可以预先配置切块参数，切块参数可以包括切块数量，例如切块数量为8，则将待分割点云数据切割为8个点云数据块，此时可进一步判断每个点云数据块是否均满足上述第一预设条件，对于不满足上述第一预设条件的点云数据块继续进行切块处理，直至每个点云数据块均满足第一预设条件。

步骤S108，对每个点云数据块分别进行降采样处理得到目标点云数据。当每个点云数据块均满足上述第一预设条件后，即可跳转至降采样处理流程，分别对每个点云数据块进行降采样处理，以降低每个点云数据块的点密度，从而进一步降低服务器在进行后续处理的运行负担。在一种实施方式中，可以预先配置降采样参数，从而基于该降采样参数对每个点云数据块分别进行降采样处理，以使降采样处理后的点云数据块满足第二预设条件，其中，第二预设条件可以理解为密度条件。当每个点云数据块均满足第二预设条件时，即可跳转至数据发送流程，将每个点云数据块均作为目标点云数据发送至服务器，以使服务器利用点云分割网络对目标点云数据进行分割处理。本发明实施例可以自动读取待分割点云数据，并自动对不满足第一预设条件的待分割点云数据进行切块处理，当切块处理得到的点云数据块满足第一预设条件时可自动跳转至降采样处理，当将采样处理得到的目标点云数据满足第二预设条件时可自动跳转至数据发送处理，通过自动对待分割点云数据进行数据读取、数据分块、数据降采样、数据发送等操作，无需用户手动操作，从而减少用户的工作量。

步骤S110，将目标点云数据发送至服务器，以使服务器利用点云分割网络对目标点云数据进行分割处理，得到目标点云数据对应的分割结果。其中，点云分割网络包括特征聚合子网络和特征提取子网络，特征聚合子网络用于提取目标点云数据的结构特征，特征提取子网络用于提取目标点云数据的细节特征，结构特征用于描述目标点云数据的整体结构，细节特征用于描述目标点云数据中每个点的特征。在一种实施方式中，客户端可以向服务器发送点云分割请求，该点云分割请求可以采用HTTP（Hypertext Transfer Protocol，超文本传输协议）请求，点云分割请求携带有上述目标点云数据，服务器接收到点云分割请求后，便将目标点云数据输入至点云分割网络，由特征聚合子网络提取结构特征，以及由特征提取子网络提取细节特征，将结构特征与细节特征进行特征融合处理即可得到分割结果，此时服务器将该分割结果反馈至客户端。

步骤S112，接收服务器反馈的分割结果。在实际应用中，客户端可以接受服务器反馈的分割结果，进一步的，客户端还可以通过结果展示界面将分割结果展示给用户。

本发明实施例提供的上述点云分割方法，可以在接收到点云分割请求后，可以自动执行待分割点云数据的读取、分块处理、降采样处理、数据发送、结果接收等操作，显著提高分割点云数据的自动化水平，而且利用服务器中配置的点云分割网络对目标点云数据进行分割处理，基于结构特征和细节特征得到最终的分割结果，可以显著提高点云分割的准确性，从而无需使用人员再次对分割结果进行调整，进而可以有效减少点云分割任务对使用人员经验的依赖。

对于前述步骤S104，本发明实施例提供了一种判断待分割点云数据是否满足第一预设条件的实施方式：可以预先配置数量阈值，如果待分割点云数据的点数量小于该数量阈值，即可认为待分割点云数据满足第一预设条件，此时可直接对待分割点云数据进行降采样处理；如果待分割点云数据的点数量大于或等于该数量阈值，即可认为待分割点云数据不满足第一预设条件，此时需要对待分割点云数据进行切块处理，直至切块得到的点云数据块满足第一预设条件。

对于前述步骤S106，本发明实施例提供了一种对待分割点云数据进行切块处理得到多个点云数据块的实施方式，参见如下步骤1至步骤3：

步骤1，获取预先设置的切块参数，并基于切块参数对待分割点云数据进行切块处理，得到多个点云数据块。其中，切块参数可以包括切块数量，还可以包括切块步长。在一种实施方式中，假设切块数量为8，切块步长为100，则将按照该切块参数对待分割点云数据进行切块，并得到8个点云数据块。

步骤2，判断每个点云数据块是否满足第一预设条件。如果是，执行步骤S108；如果否，执行步骤3。假设得到的点云数据块包括数据块1至数据块8，需要判断每个点云数据块的点数量是否小于数量阈值，对于点数量小于数量阈值的点云数据块，确定该点云数据块满足第一预设条件，例如，数据块1至数据块4不满足第一预设条件，数据块5至数据块8满足第一预设条件。在一种可选的实施方式中，可以按照点云数据块的名称顺序依次对点云数据块是否满足第一预设条件进行判断，也可以采用并行处理的方式同时对每个点云数据块是否满足第一预设条件进行判断。

步骤3，如果点云数据块不满足第一预设条件，基于切块参数对点云数据块进行切块处理，直至每个点云数据块均满足第一预设条件。请继续参照上述示例，假设数据块1至数据块4不满足第一预设条件，则需要对数据块1至数据块4再次进行切块处理，以数据块1为例，基于上述设置的切块参数对数据块1进行切块处理，将得到数据块1对应的8个点云数据块，再对此次切块处理得到的8个点云数据块重复上述操作，直至得到的每个点云数据块的点数量均小于数量阈值。

当每个点云数据块均满足第一预设条件时，即可跳转至降采样处理步骤，本发明实施例提供了一种对每个点云数据块分别进行降采样处理得到目标点云数据的实施方式，参见如下步骤a至步骤d：

步骤a，获取预先设置的降采样参数。其中，降采样参数包括降采样半径。

步骤b，对于每个点云数据块，基于该点云数据块的点密度，判断该点云数据块是否满足第二预设条件；如果是，执行步骤S110；如果否，执行步骤c。其中，第二预设条件可以为密度条件。在一种实施方式中，可以预先设置密度阈值，如果该点云数据块的点密度小于密度阈值，则确定该点云数据块满足第二预设条件，并直接跳转至数据发送处理流程，如果该点云数据块的点密度大于或等于密度阈值，则需要对该点云数据块进行降采样处理，以达到降低该点云数据块的点密度的目的，以使该点云数据块满足第二预设条件。

步骤c，对该点云数据块进行至少一次降采样处理，直至该点云数据块满足第二预设条件。在实际应用中，每对该点云数据块进行一次降采样处理，均可以降低该点云数据块的点密度，通过对该点云数据块进行至少一次降采样处理，即可使该点云数据块达到第二预设条件。

在一种实施方式中，对于一次降采样处理，从该点云数据块中随机确定目标点，以目标点为圆心、以降采样半径为圆半径确定搜索区域，在搜索区域所包含的数据点中随机确定指定数量的数据点。假设降采样半径为5，指定数量为1，则在一次降采样处理过程中，从该点云数据块所包含的数据点中随机确定一个或多个目标点，对于每个目标点，将以该目标点为圆心、5为半径的圆形区域确定为搜索区域，假设该搜索区域内包括n个数据点，则可以随机从中选择1个数据点，从而达到降低该点云数据块的点密度的目的。可选的，可以对进行一次降采样处理后的点云数据块再次进行判断，如果此时的点云数据块仍然不满足第二预设条件，则可以再次进行降采样处理，直至点云数据块的点密度小于密度阈值。

步骤d，将每个满足第二预设条件的点云数据块均确定为目标点云数据。在实际应用中，可以依次对每个点云数据块分别进行降采样处理，也可以采用并行处理方式同时对每个点云数据块进行降采样处理，从而提高点云分割的效率。

本发明实施例还提供了另一种点云分割方法，该方法应用于服务器，服务器与客户端通信连接，服务器配置有点云分割网络，参见图2所示的另一种点云分割方法的流程示意图，该方法主要包括以下步骤S202至步骤S206：

步骤S202，接收客户端发送的目标点云数据。在一种实施方式中，可以接受客户端发送的点云分割请求，该点云分割请求携带有目标点云数据，其中，点云分割请求采用HTTP请求。

步骤S204，通过点云分割网络对目标点云数据进行分割处理，得到目标点云数据对应的分割结果。其中，点云分割网络包括特征聚合子网络和特征提取子网络，特征聚合子网络用于提取目标点云数据的结构特征，特征提取子网络用于提取目标点云数据的细节特征。

步骤S206，将分割结果发送至客户端。

本发明实施例提供的上述点云分割装置，对客户端基于待分割点云数据得到的目标点云数据进行分割处理，可以显著提高分割点云数据的自动化水平，另外利用包含有特征聚合子网络和特征提取子网络的点云分割网络，分别提取目标点云数据的结构特征和细节特征，从而在结构特征和细节特征的基础上得到分割结果，可以显著提高点云分割的准确性。

考虑到相关技术提供的点云分割方法中，基于体素的分割模型存在如下缺点：成本和内存占用量随输入分辨率的增加而呈立方增长，从而使其无法扩展分辨率。对于基于点的分割模型存在如下缺点：最多有80％的时间被浪费在构造内存局部性很差的稀疏数据，而不是实际的特征提取上。基于此，本发明实施例提供了一种通过点云分割网络对目标点云数据进行分割处理，得到目标点云数据对应的分割结果的实施方式，上述点云分割网络可以采用PVCNN（Point-Voxel CNN）框架，从而使点云分割网络可进行高效、快速的3D（3-dimension，三维）深度学习。点云分割网络具有两个分支，其一是特征聚合子网络，用于进行基于体素的特征聚合，用来进行粗粒度的邻域特征提取，用于提取整体结构（也即，结构特征）；其一是特征提取子网络，利用MLP（多层感知器）对目标点云数据直接进行特征转换，是一种细粒度的逐点特征提取，用于获取细节；最后将结构特征和细节特征进行融合得到分割结果。具体可参见如下步骤1至步骤3：

步骤1，通过特征聚合子网络将目标点云数据转换为体素数据，并对体素数据进行特征聚合处理，得到目标点云数据的结构特征。在实际应用中，卷积的核心是聚集邻近信息以提取局部特征，在此基础上，基于体素的规则性，本发明实施例选择在体素中执行特征聚合，参见图3所示的一种点云分割网络的结构示意图。在图3的基础上，可以参照如下步骤1.1至步骤1.4执行上述步骤1：

步骤1.1，对目标点云数据进行归一化处理，得到归一化数据。考虑到不同点云的尺度可能大不相同，因此，在将目标点云数据转换为体素数据之前，需要对坐标{pk}进行归一化处理。在一种可选的实施方式中，（1）配置以点中心为原点的局部坐标系，基于该局部坐标系对目标点云数据中的所有点进行转换，得到转换后坐标。（2）通过将所有转换后坐标除以max||pk||2，从而将目标点云数据中的所有点均归一化为单位球体。（3）缩放并将点转换为[0,1]。应当注意的是，点特征{fk}在规范化过程中保持不变，归一化数据表示为{ˆpk}。

步骤1.2，按照预设转换公式将归一化数据转换为体素数据。在一种实施方式中，可以按照如下公式将归一化数据转换为体素数据：

其中，r代表体素分辨率，II[.]是坐标

是否属于体素网格（u,v, w）的二进制指示符，

表示与坐标{ˆpk}对应的第c个通道特征，

是归一化因子（即落 在那个体素网格上的点数），

、

、

表示等号成立时

属于体素网格（u,v,w）。

步骤1.3，对体素数据进行特征聚合处理，得到体素数据对应的体素特征。在实际应用中，将点转换为体素网格（也即，上述体素数据）后，将应用3D体素卷积来聚合特征。此外，在利用3D体素卷积对体素数据进行处理后，还需要在3D体素卷积后加上批归一化层和非线性激活函数层，非线性激活函数层将输出体素数据对应的体素特征。

步骤1.4，对体素特征进行反体素处理，得到目标点云数据的结构特征。由于本发明实施例需要将结构特征与细节特征进行特征融合，因此需要将体素特征转换回点云域。体素到点映射的直接实现是最近邻插值，即将体素特征分配给所有在体素内的点。但是由于该种方式将使相同体素网格中的点始终共享相同的特征，因此本发明实施例该用三次线性插值的方法对体素特征进行反体素处理，以确保映射到每个点的特征是不同的。由于本发明实施例涉及的体素化和去体素化过程都是可导的，因此可以用端到端的方式优化整个基于体素的特征聚合子网络。

步骤2，通过特征提取子网络对目标点云数据中的每个点进行特征提取处理，得到目标点云数据的细节特征。在一种实施方式中，请继续参见图3，图3还示意出特征提取子网络包括多层感知器。基于图3所示的特征提取子网络，本发明实施例在提取目标点云数据的细节特征时，可以通过多层感知器对目标点云数据中的每个点进行特征提取处理，得到目标点云数据的细节特征。在实际应用中，基于体素的特征聚合子网络以粗粒度融合邻域信息，但是为了建模细粒度的单个点特征，仅基于低分辨率体素确定最终的分割结果，可能致使分割结果精度较低。为此，本发明实施例直接在每个点上进行操作，用MLP提取单个点的特征，MLP输出的每个点都有明显的区别性特征，从而利用这种高分辨率的单点信息补充基于粗体素的信息。

步骤3，将结构特征和细节特征进行特征融合处理，得到目标点云数据对应的分割结果。在一种实施方式中，可以利用按位相加的方法将结构特征和细节特征进行特征融合处理，得到目标点云数据对应的分割结果。

本发明实施例提供过的上述点云分割方法，基于PVCNN框架的点云分割网络对目标点云数据进行分割处理。其中，点云分割网络以点表示作为3D输入数据，以减少内存消耗，同时在体素中进行卷积以减少不规则，稀疏数据访问并提高局部性。本发明实施例提供的点云分割方法在内存消耗及计算速度方面都是高效的。本发明实施例在对语义分割和部件分割数据集上对PVCNN进行了评估，PVCNN性能比基于体素的基准高，且GPU（graphicsprocessing unit，图形处理器）内存减少到10%；另外，相比于基于点的方法，PVCNN实现了平均7倍的运算加速。

为便于对前述实施例提供的点云分割方法进行理解，本发明实施例提供了一种点云分割方法的应用示例，参见图4所示的另一种点云分割方法的流程示意图，该方法主要包括以下步骤S402至步骤S424：

步骤S402，客户端读取待分割点云数据。例如，利用“read_file()”指令从指定存储路径中读取待分割点云数据。

步骤S404，客户端识别待分割点云数据的文件后缀。如果文件后缀为txt后缀，执行步骤S406；如果文件后缀为laspy后缀，执行步骤S408。

步骤S406，客户端读取txt格式的待分割点云数据。

步骤S408，客户端读取laspy格式的待分割点云数据。

步骤S410，客户端对待分割点云数据进行切块。例如，利用“crop_and_save()”指令对待分割点云数据进行切块，其中，默认步长（也即，上述预设步长）为100。

步骤S412，客户端对待分割点云数据进行降采样处理得到目标点云数据。例如，利用“downsampling()”指令对待分割点云数据进行降采样处理，其中，降采样处理的参数voxel_size为0.2。

步骤S414，客户端使用http请求发送到服务器。其中，http请求携带有目标点云数据。

步骤S416，服务器接收回http请求。

步骤S418，服务器解析得到目标点云数据。

步骤S420，服务器将目标点云数据输入到点云分割网络得到分割结果。其中，点云分割网络采用PVCNN框架。

步骤S422，服务器将分割结果反馈至客户端。

步骤S424，客户端保存分割结果。例如，利用“save_data-fun()”指令保存分割结果。

综上，本发明实施例提供的上述点云分割方法至少具备以下特点：

（1）容易使用，对专业人员要求更低：使用时只需要指定存储路径，客户端便会自动对点云数据进行分割处理。

（2）分割准确率高：传统方法如果做到精细划分对专业人员的经验，需要耗费较高的时间成本，而本发明实施例提供的点云分割程序iou（Intersection over Union）可以达到93%，极大的减少专业人员的工作量。

（3）软件迭代更新更容易：点云分割程序使用前后端分类的设计，点云分割网络配置在服务器端，在后续增加定制化功能时避免对点云分割网络进行更改，而点云分割网络进行更新提高准确率时也不会影响客户端的使用。

对于前述实施例提供的点云分割方法，本发明实施例提供了一种点云分割装置，该装置应用于客户端，客户端与服务器通信连接，服务器配置有点云分割网络，参见图5所示的一种点云分割装置的结构示意图，该装置主要包括以下部分：

数据读取模块502，用于如果接收到点云分割请求，调用预设接口读取待分割点云数据；

判断模块504，用于基于待分割点云数据的点数量，判断待分割点云数据是否满足第一预设条件；

切块模块506，用于在判断模块的判断结果为是时，对待分割点云数据进行切块处理得到多个点云数据块，直至每个点云数据块均满足第一预设条件；

降采样模块508，用于对每个点云数据块分别进行降采样处理得到目标点云数据；

数据发送模块510，用于将目标点云数据发送至服务器，以使服务器利用点云分割网络对目标点云数据进行分割处理得到分割结果；

结果接收模块512，用于接收服务器反馈的分割结果。

本发明实施例提供的上述点云分割装置，可以在接收到点云分割请求后，可以自动执行待分割点云数据的读取、分块处理、降采样处理、数据发送、结果接收等操作，显著提高分割点云数据的自动化水平，而且利用服务器中配置的点云分割网络对目标点云数据进行分割处理，基于结构特征和细节特征得到最终的分割结果，可以显著提高点云分割的准确性，从而无需使用人员再次对分割结果进行调整，进而可以有效减少点云分割任务对使用人员经验的依赖。

在一种实施方式中，降采样模块508还用于：获取预先设置的切块参数，并基于切块参数对待分割点云数据进行切块处理，得到多个点云数据块；判断每个点云数据块是否满足第一预设条件；如果点云数据块不满足第一预设条件，基于切块参数对点云数据块进行切块处理，直至每个点云数据块均满足第一预设条件。

在一种实施方式中，切块模块506还用于：获取预先设置的降采样参数；其中，降采样参数包括降采样半径；对于每个点云数据块，基于该点云数据块的点密度，判断该点云数据块是否满足第二预设条件；如果否，对该点云数据块进行至少一次降采样处理，直至该点云数据块满足第二预设条件；将每个满足第二预设条件的点云数据块均确定为目标点云数据。

在一种实施方式中，切块模块506还用于：对于一次降采样处理，从该点云数据块中随机确定目标点，以目标点为圆心、以降采样半径为圆半径确定搜索区域，在搜索区域所包含的数据点中随机确定指定数量的数据点。

对于前述实施例提供的点云分割方法，本发明实施例提供了另一种点云分割装置，该装置应用于服务器，服务器与客户端通信连接，服务器配置有点云分割网络，参见图6所示的另一种点云分割装置的结构示意图，该装置主要包括以下部分：

数据接收模块602，用于接收客户端发送的目标点云数据；其中，目标点云数据是客户端基于待分割点云数据得到，客户端用于在接收到点云分割请求时调用预设接口读取待分割点云数据；基于待分割点云数据的点数量判断待分割点云数据是否满足第一预设条件；如果否，对待分割点云数据进行切块处理得到多个点云数据块，直至每个点云数据块均满足第一预设条件；对每个点云数据块分别进行降采样处理得到目标点云数据；

分割模块604，用于通过点云分割网络对目标点云数据进行分割处理，得到目标点云数据对应的分割结果；其中，点云分割网络包括特征聚合子网络和特征提取子网络，特征聚合子网络用于提取目标点云数据的结构特征，特征提取子网络用于提取目标点云数据的细节特征；

结果发送模块606，用于将分割结果发送至客户端。

本发明实施例提供的上述点云分割装置，对客户端基于待分割点云数据得到的目标点云数据进行分割处理，可以显著提高分割点云数据的自动化水平，另外利用包含有特征聚合子网络和特征提取子网络的点云分割网络，分别提取目标点云数据的结构特征和细节特征，从而在结构特征和细节特征的基础上得到分割结果，可以显著提高点云分割的准确性。

在一种实施方式中，分割模块604还用于：通过特征聚合子网络将目标点云数据转换为体素数据，并对体素数据进行特征聚合处理，得到目标点云数据的结构特征；通过特征提取子网络对目标点云数据中的每个点进行特征提取处理，得到目标点云数据的细节特征；将结构特征和细节特征进行特征融合处理，得到目标点云数据对应的分割结果。

在一种实施方式中，分割模块604还用于：对目标点云数据进行归一化处理，得到归一化数据；按照预设转换公式将归一化数据转换为体素数据；对体素数据进行特征聚合处理，得到体素数据对应的体素特征；对体素特征进行反体素处理，得到目标点云数据的结构特征。

在一种实施方式中，特征提取子网络包括多层感知器；分割模块604还用于：通过多层感知器对目标点云数据中的每个点进行特征提取处理，得到目标点云数据的细节特征。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种终端设备，具体的，该终端设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项的方法 。

图7为本发明实施例提供的一种终端设备的结构示意图，该终端设备100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。

其中，存储器71可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口73（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。

处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种点云分割方法，其特征在于，所述方法应用于客户端，所述客户端与服务器通信连接，所述服务器配置有点云分割网络，所述方法包括：

如果接收到点云分割请求，调用预设接口读取待分割点云数据；

基于所述待分割点云数据的点数量，判断所述待分割点云数据是否满足第一预设条件；

如果否，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；

对每个所述点云数据块分别进行降采样处理得到目标点云数据；

将所述目标点云数据发送至所述服务器，以使所述服务器利用所述点云分割网络对所述目标点云数据进行分割处理得到分割结果；

接收所述服务器反馈的所述分割结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件的步骤，包括：

获取预先设置的切块参数，并基于所述切块参数对所述待分割点云数据进行切块处理，得到多个点云数据块；

判断每个所述点云数据块是否满足所述第一预设条件；

如果所述点云数据块不满足所述第一预设条件，基于所述切块参数对所述点云数据块进行切块处理，直至每个所述点云数据块均满足所述第一预设条件。

3.根据权利要求1所述的方法，其特征在于，所述对每个所述点云数据块分别进行降采样处理得到目标点云数据的步骤，包括：

获取预先设置的降采样参数；其中，所述降采样参数包括降采样半径；

对于每个所述点云数据块，基于该点云数据块的点密度，判断该点云数据块是否满足第二预设条件；

如果否，对该点云数据块进行至少一次降采样处理，直至该点云数据块满足所述第二预设条件；

将每个满足所述第二预设条件的点云数据块均确定为目标点云数据。

4.根据权利要求3所述的方法，其特征在于，所述对该点云数据块进行至少一次降采样处理的步骤，包括：

对于一次降采样处理，从该点云数据块中随机确定目标点，以所述目标点为圆心、以所述降采样半径为圆半径确定搜索区域，在所述搜索区域所包含的数据点中随机确定指定数量的数据点。

5.一种点云分割方法，其特征在于，所述方法应用于服务器，所述服务器与客户端通信连接，所述服务器配置有点云分割网络，所述方法包括：

接收所述客户端发送的目标点云数据；其中，所述目标点云数据是所述客户端基于待分割点云数据得到，所述客户端用于在接收到点云分割请求时调用预设接口读取待分割点云数据；基于所述待分割点云数据的点数量判断所述待分割点云数据是否满足第一预设条件；如果否，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；对每个所述点云数据块分别进行降采样处理得到目标点云数据；

通过所述点云分割网络对所述目标点云数据进行分割处理，得到所述目标点云数据对应的分割结果；其中，所述点云分割网络包括特征聚合子网络和特征提取子网络，所述特征聚合子网络用于提取所述目标点云数据的结构特征，所述特征提取子网络用于提取所述目标点云数据的细节特征；

将所述分割结果发送至所述客户端。

6.根据权利要求5所述的方法，其特征在于，所述通过所述点云分割网络对所述目标点云数据进行分割处理，得到所述目标点云数据对应的分割结果的步骤，包括：

通过所述特征聚合子网络将所述目标点云数据转换为体素数据，并对所述体素数据进行特征聚合处理，得到所述目标点云数据的结构特征；

通过所述特征提取子网络对所述目标点云数据中的每个点进行特征提取处理，得到所述目标点云数据的细节特征；

将所述结构特征和所述细节特征进行特征融合处理，得到所述目标点云数据对应的分割结果。

7.一种点云分割装置，其特征在于，所述装置应用于客户端，所述客户端与服务器通信连接，所述服务器配置有点云分割网络，所述装置包括：

数据读取模块，用于如果接收到点云分割请求，调用预设接口读取待分割点云数据；

判断模块，用于基于所述待分割点云数据的点数量，判断所述待分割点云数据是否满足第一预设条件；

切块模块，用于在所述判断模块的判断结果为是时，对所述待分割云点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；

降采样模块，用于对每个所述点云数据块分别进行降采样处理得到目标点云数据；

数据发送模块，用于将所述目标点云数据发送至所述服务器，以使所述服务器利用所述点云分割网络对所述目标点云数据进行分割处理得到分割结果；

结果接收模块，用于接收所述服务器反馈的所述分割结果。

8.一种点云分割装置，其特征在于，所述装置应用于服务器，所述服务器与客户端通信连接，所述服务器配置有点云分割网络，所述装置包括：

数据接收模块，用于接收所述客户端发送的目标点云数据；其中，所述目标点云数据是所述客户端基于待分割点云数据得到，所述客户端用于在接收到点云分割请求时调用预设接口读取待分割点云数据；基于所述待分割点云数据的点数量判断所述待分割点云数据是否满足第一预设条件；如果否，对所述待分割点云数据进行切块处理得到多个点云数据块，直至每个所述点云数据块均满足所述第一预设条件；对每个所述点云数据块分别进行降采样处理得到目标点云数据；

分割模块，用于通过所述点云分割网络对所述目标点云数据进行分割处理，得到所述目标点云数据对应的分割结果；其中，所述点云分割网络包括特征聚合子网络和特征提取子网络，所述特征聚合子网络用于提取所述目标点云数据的结构特征，所述特征提取子网络用于提取所述目标点云数据的细节特征；

结果发送模块，用于将所述分割结果发送至所述客户端。

9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至4任一项所述的方法，或执行所述计算机可执行指令以实现权利要求5至6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至4任一项所述的方法，或促使处理器实现权利要求5至6任一项所述的方法。

Images