CN117455936B - 点云数据处理方法、装置及电子设备 - Google Patents

Abstract

本申请的实施例提供了一种点云数据处理方法、装置及电子设备，涉及计算机技术领域。该方法包括：获得目标场景对应的多个分割点云，分割点云中包括各点对应的类别；将各分割点云作为待处理点云；按照各待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的待处理点云划分为点云对；针对各点云对，进行合并处理，得到点云对所对应的1个合并结果，类别对应的区域重叠情况确定对应点是否合并；在获得的合并结果为多个时，将获得的多个合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个。如此，最终获得的分割结果能提供连续的信息，并且合并速度快、质量佳。

Description

点云数据处理方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种点云数据处理方法、装置及电子设备。

背景技术

点云分割是根据空间、几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征。目前一般是对一帧点云进行分割后，直接显示该帧点云的分割结果。然而，一般一帧点云仅对应1个较小的区域，导致显示的分割结果只能提供较小的区域的信息。

发明内容

本申请实施例提供了一种点云数据处理方法、装置、电子设备及可读存储介质，其能够对分割点云进行合并，使得最终获得的分割结果能提供连续的信息，并且合并速度快、质量佳。

本申请的实施例可以这样实现：

第一方面，本申请实施例提供一种点云数据处理方法，所述方法包括：

获得目标场景对应的多个分割点云，其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别；

将各所述分割点云作为待处理点云；

按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对，其中，一个所述待处理点云仅位于一个所述点云对中；

针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并；

在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个。

第二方面，本申请实施例提供一种点云数据处理装置，所述装置包括：

点云获得模块，用于获得目标场景对应的多个分割点云，其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别；

处理模块，用于将各所述分割点云作为待处理点云；

所述处理模块，还用于按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对，其中，一个所述待处理点云仅位于一个所述点云对中；

所述处理模块，还用于针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并；

所述处理模块，还用于在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个。

第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的点云数据处理方法。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的点云数据处理方法。

本申请实施例提供的点云数据处理方法、装置、电子设备及可读存储介质，在获得目标场景对应的多个分割点云的情况下，将该多个分割点云作为待处理点云，其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别；之后，按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对，其中，一个所述待处理点云仅位于一个所述点云对中；接着，针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并；然后，在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个。如此，对分割点云进行合并，使得最终获得的分割结果能提供连续的信息，并且合并速度快、质量佳。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的方框示意图；

图2为本申请实施例提供的点云数据处理方法的流程示意图；

图3为本申请实施例提供的点云数据处理过程示意图；

图4为图2中步骤S110包括的子步骤的流程示意图；

图5为图2中步骤S140包括的子步骤的流程示意图；

图6为图5中子步骤S141包括的子步骤的流程示意图；

图7为在一次合并中判断是否存在可合并的类别的流程示意图；

图8为本申请实施例提供的两个分割点云的合并过程示意图；

图9为本申请实施例提供的点云数据处理装置的方框示意图。

图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-点云数据处理装置；210-点云获得模块；220-处理模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，电脑、服务器等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（ErasableProgrammable Read-Only Memory，EPROM），电可擦除只读存储器（Electric ErasableProgrammable Read-Only Memory，EEPROM）等。

处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有点云数据处理装置200，所述点云数据处理装置200包括至少一个可以软件或固件（firmware）的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的点云数据处理装置200，从而执行各种功能应用以及数据处理，即实现本申请实施例中的点云数据处理方法。

通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2为本申请实施例提供的点云数据处理方法的流程示意图。所述方法可应用于上述电子设备100。下面对点云数据处理方法的具体流程进行详细阐述。在本实施例中，该方法可以包括步骤S110~S170。

步骤S110，获得目标场景对应的多个分割点云。

在本实施例中，所述目标场景为进行多个原始点云采集的场景，也即，在所述目标场景中采集到多个不同的原始点云。所述目标场景具体由实际需求确定。多个原始点云可以通过一个设备或多个设备采集得到，具体可以结合实际需求确定。多个原始点云具有一定的采集顺序，该采集顺序使得多个原始点云之间具有连续性，比如，第一帧原始点云中出现了物体A的a、b部分，第二帧原始点云中出现了物体A的b、c部分。

比如，在通过一个设备采集多个原始点云时，可先利用该设备采集一个原始点云，然后朝某方向旋转一定角度再次采集一个原始点云，之后沿所述某方向继续旋转一定角度并再次采集原始点云……直到确定采集完成，比如，当旋转至原位姿时则可以确定采集完成。再比如，在通过多个设备获得多个原始点云时，可依次通过一个设备获得一个原始点云，从而得到多个原始点云；其中，多个设备各自的采集位姿不同、采集时刻不同，使得多个原始点云之间具有连续性，并且便于基于采集时刻确定采集的先后顺序。例如，在时刻1，设备1在位姿1下采集到第一帧原始点云；在时刻2，设备在位姿2下采集到第二帧原始点云；时刻2在时刻1之后，第一帧原始点云中出现了物体A的a、b部分，第二帧原始点云中出现了物体A的b、c部分。

其中，用于采集原始点云的设备可以是结构光相机，或者是雷达等，具体可以结合实际需求确定。

所述电子设备可获得各原始点云对应的分割点云。可选地，所述电子设备可以获得原始点云，然后对原始点云进行分割以得到分割点云。或者，其他设备可对原始点云进行分割，并将通过分割得到的分割点云发送给所述电子设备。分割点云的获得方式具体可以结合实际需求确定，在此不进行具体限定。其中，可以理解的是，分割点云对应的采集顺序，即为该分割点云对应的原始点云所对应的采集顺序。点云分割，可以理解为感兴趣区域提取，在分割之后得到的分割点云中可以不包括不感兴趣区域的信息。

在本实施例中，所述分割点云中可以包括点的位置信息及各位置信息对应的类别，类别可用于标识点云中的不同物体或部分等。为了便于后续进行合并，多个分割点云可以位于相同的目标坐标系下，比如，位于第一帧原始点云所使用的坐标系下，或者位于机器人的基坐标系下等。

步骤S120，将各所述分割点云作为待处理点云。

在本实施例中，在获得所述多个分割点云之后，将所述多个分割点云作为当前要处理的对象，即作为待处理点云。

步骤S130，按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对。

在确定出待处理点云之后，可根据确定出的待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的待处理点云两两分组，得到点云对。其中，在待处理点云为步骤S110获得的多个分割点云时，待处理点云对应的采集顺序，为分割点云对应的采集顺序，即为该分割点云对应的原始点云所对应的采集顺序。并且，一个所述待处理点云仅位于一个所述点云对中。

在分组过程中，若分组最后仅剩下一个待处理点云，则可以使得最后一个分组中仅包括一个待处理点云。也即，一般一个点云对中包括相邻的两个待处理点云，但可能会存在一个点云对中仅包括一个待处理点云。

步骤S140，针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果。

在本实施例中，可针对每个点云对，进行相同的合并处理，以得到每个点云对所对应的合并结果。其中，1个点云对，对应1个合并结果。在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并。如此，便于快速实现两个点云的合并。

步骤S150，判断获得到的合并结果是否为1个。

在获得的合并结果为多个时，执行步骤S160：将获得的多个所述合并结果作为待处理点云，然后跳转至步骤S130。在获得的合并结果为1个时，执行步骤S170：将当前获得的合并结果作为目标处理结果。

在本实施例中，在将多个分割点云作为待处理点云，并经过步骤S140的处理之后，判断得到的合并结果的数量是为1个还是多个。若获得的合并结果不为1个而是多个，则表示仍需继续处理，可将当前得到的多个合并结果作为新的待处理点云，然后跳转至步骤S130，以再次进行对待处理点云的分组及合并处理，直到获得的合并结果数量为1个。若经过步骤S140获得的合并结果数量仅为1个，则可以确定处理结果，可将此时获得的这1个合并结果作为目标处理结果。该目标处理结果即为步骤S110中获得的多个分割点云的合并结果，该目标处理结果可以呈现连续的感兴趣区域信息。

如图3所示，依次采集到了原始点云1-4，原始点云1对应分割点云Restruction1（即分割点云1），原始点云2对应分割点云Restruction2（即分割点云2），原始点云对应分割点云Restruction3（即分割点云3），原始点云4对应分割点云Restruction4（即分割点云4）。此时，分割点云1-4为待处理点云。可根据采集顺序及两两分组的方式，可将分割点云1、分割点云2划分为一组，得到点云对a；以及，将分割点云3、分割点云4划分为一组，得到点云对b。

若还采集到了原始点云5，则原始点云5对应的分割点云Restruction5单独作为一个点云对，得到一个点云对c。

在通过分组仅获得点云对a及点云对b的情况下，可针对点云对a，根据点云对a的两个点云中的点的类别情况对点云对a的两个点云进行合并处理，得到点云对a对应的合并结果；同理，针对点云对b，根据点云对b的两个点云中的点的类别情况对点云对b的两个点云进行合并处理，得到点云对b对应的合并结果/>。由于此时获得了两个合并结果，因此则将上述两个合并结果/>、/>再次进行相同的合并处理，得到新的合并结果/>。由于新的合并结果仅有/>，即新的合并结果仅为1个，因此可确定处理结束，可将该新的合并结果/>作为目标处理结果。

在通过分组获得点云对a、b、c的情况下，可通过合并处理得到点云对a对应的合并结果、点云对b对应的合并结果/>、点云对c对应的合并结果/>。然后，将合并结果/>、、/>作为待处理点云，将合并结果/>、/>下划分至1个点云对，并得到合并结果/>、/>的合并结果/>；以及将合并结果/>作为1个点云对，并得到合并结果/>。接着，将合并结果/>、/>进行合并处理，得到合并结果/>，由此本轮获得的合并结果仅为1个，因此可确定处理结束，可将本轮得到的合并结果/>作为目标处理结果。

如此，可对分割点云进行合并，使得最终获得的分割结果能提供连续的信息，并且合并速度快、质量佳。

作为一种可能的实现方式，所述电子设备通过对原始点云进行分割处理得到分割点云。

目前一种点云分割方式为直接基于三维点云标签进行的实例分割。在该方式中，先采集到点云及对应的标签，然后通过深度学习得到分割模型，之后利用分割模型对待处理点云进行分割。

上述方式需要花费大量的时间去标定数据，会增加额外的人力资源和时间，导致成本上升。直接标注三维点云数据涉及主观判断，不同标注者之间可能存在不一致性，导致标签有不确定性，这会影响模型训练的准确性。并且，在某些情况下，点云数据可能比较难以获取，比如，受到采集设备的限制导致难以获取点云数据，限制例如有：室外环境、遮挡、不同传感器的不一致性等。

具体而言，使用三维卷积进行点云分割的缺点主要体现在以下几个方面。1.计算和内存成本高昂：三维卷积需要处理点云数据的立体结构，因此需要更多的计算资源和内存。点云通常比图像数据稀疏且占用更多内存，这可能导致计算成本高和内存不足的问题。2.数据不均匀性：点云数据通常以不均匀的方式分布，不同区域的点密度可能相差很大。这使得卷积操作在不同区域的效果不一致，可能需要额外的处理来解决这一问题。3.过拟合风险：由于点云数据的有限性，模型容易在训练过程中过度拟合，特别是在参数较多的情况下。需要采取适当的正则化和数据增强来减小过拟合的风险。4.不适用于所有点云结构：一些点云结构可能不适合直接应用三维卷积操作，特别是在非均匀或不规则的点云分布情况下。这可能需要额外的数据处理或特殊的卷积策略。

为解决上述问题，在本实施例中，通过图4所示方式对原始点云进行处理以得到分割点云。请参照图4，图4为图2中步骤S110包括的子步骤的流程示意图。在本实施例中，步骤S110可以包括子步骤S111~子步骤S113。

子步骤S111，获得所述目标场景对应的多个原始点云及各原始点云对应的二维图像。

在本实施例中，在所述目标场景中采集原始点云时，可同时采集二维图像。该二维图像可以为RGB图像。可选地，在通过一个设备采集原始点云、通过另一个设备采集二维图像的情况下，两个设备的采集位姿可近似，以便后续可利用二维图像对相应的原始点云进行分割。还可以通过结构光相机同时获得原始点云及二维图像，即通过结构光相机获得RGB-D数据。

子步骤S112，针对各所述二维图像，对所述二维图像进行类别识别，获得第一分割掩膜。

子步骤S113，针对各所述二维图像，将所述二维图像对应的第一分割掩膜及原始点云转换到所述目标坐标系下，以得到所述分割点云。

如图3所示，可针对每个二维图像，对该二维图像进行类别识别、分割，以得到所有的感兴趣区域，即得到第一分割掩膜。该第一分割掩膜为二维图像的像素级mask。其中，1个感兴趣区域对应一个类别。其中，可利用任意方式实现对二维图像的分割处理。比如，可以采用大规模预训练模型Segment-anything对所述二维图像进行类别识别及分割，得到第一分割掩膜output。

在获得第一分割掩膜之后，可将各二维图像对应的第一分割掩膜output及原始点云转换到所述目标坐标系下，如此可基于位于所述目标坐标系下的第二分割掩膜，对坐标系转换之后的原始点云进行分割，得到分割点云。分割点云中包括感兴趣的点及该点所属类别。

其中，作为一种可能的实现方式，所述原始点云及二维图像通过结构光相机得到，所述结构光相机安装在机器人末端，所述目标坐标系为机器人基坐标系。并且，预先获得了机器人的手眼标定结果，可通过手眼标定结果完成将第一分割掩膜转换到目标坐标下，其转换过程可大致如以下公式所示：

其中，为二维齐次坐标，/>为投影后的三维齐次坐标。M表示的是相机的内参矩阵，R和T分别是通过手眼标定获得的外部参数矩阵，s是二维图像和真实点云图像的缩放比例因子。

其中，在手眼标定结果中包括初始位姿下的结构光相机的相机坐标系与机器人基坐标系之间的转换关系的情况下，可根据初始位姿、结构光相机获得原始点云及二维图像时的位姿、手眼标定结果，将通过结构光相机得到的第一分割掩膜及原始点云均转换到机器人基坐标系下，以便后续合并。

可选地，在根据第二分割掩膜对原始点云进行分割之前，可以对各原始点云进行滤波处理，以除掉一些孤立点、杂点、漂浮在点云上的点，从而减小点云数据中存在的噪声点。

在获得多个分割点云后，可对该多个分割点云不断执行相邻帧点云合并的过程。设置多个分割点云为：，K表示目标场景的分割点云的总数量。首先合并相邻两帧分割点云/>和/>得到新的点云/>，合并后的点云为/>，重复该过程/>直到所有的点云帧都被合并，具体的公式如下：/>，其中，和/>表示在第t轮合并中将两帧点云合并成一个新的结果t+1。n表示点云的数量，即点云图像的数量。例如，n=6，则需要重复3轮才能依次合并完所有点云图像。

下面对点云的合并过程进行具体说明。

可首先将多个分割点云均作为待处理点云，然后按照采集顺序、以相邻帧在同一组的分组方式，将多个待处理点云划分为点云对。针对每一个点云对，进行合并处理，以得到每一个点云对的合并结果。其中，所述合并处理中可以包括第一次合并，所述点云对中包括第一点云及第二点云。可通过图5所示方式获得一个点云对所对应的合并结果。请参照图5，图5为图2中步骤S140包括的子步骤的流程示意图。在本实施例中，步骤S140可以包括子步骤S141~子步骤S144。

子步骤S141，根据所述点云对中各点的位置信息及对应的类别，计算得到各所述类别对应的匹配比例。

在本实施例中，可针对每一个类别，根据该类别在点云对中的第一点云及第二点云中的分布情况，计算得到用于描述该类别对应的区域重叠情况的匹配比例，具体计算方式可以结合实际需求确定。

作为一种可能的实现方式，可通过图6所示方式快速得到每个类别对应的匹配比例。请参照图6，图6为图5中子步骤S141包括的子步骤的流程示意图。在本实施例中，子步骤S141可以包括子步骤S1411~子步骤S1412。

子步骤S1411，根据所述点云对中各点的位置信息及对应的类别，统计得到每个所述类别对应的匹配点对数量及对应的点的总数量。

子步骤S1412，针对每个所述类别，根据所述类别对应的所述匹配点对数量及总数量，计算得到匹配比例。

在本实施例中，可首先将一个点云对中的第一点云及第二点云所拥有的类别进行汇总，得到类别汇总结果，该类别汇总结果表示该点云对所对应的类别有哪些。然后，依次针对类别汇总结果中的每一个类别，判断所述第一点云及第二点云是否均具有属于该类别的点，若否，可直接确定该类别对应的匹配比例为0。若否，即所述第一点云及第二点云均具有属于该类别的点，则根据第一点云及第二点云中属于该类别的点的位置信息，得到该类别对应的匹配点对数量以及对应的点的总数量。

其中，一个所述类别对应的匹配点对中包括所述第一点云中的1个点及所述第二点云中的1个点，所述匹配点对中的两个点的位置差值小于预设位置差值且对应的类别相同。其中，两个点的位置差值基于两个点的位置信息计算得到，所述预设位置差值可以结合实际需求预先设置。1个类别对应的点的总数量，表示在将1个匹配点对视为1个点的情况下，第一点云及第二点云中属于该类别的点的总数量。比如，某类别在第一点云中对应的点有5个点：m1-m5，在第二点云中对应的点有6个点：n1-n6，其中，m1与n1的位置差值小于所述预设位置差值，m2与n2的位置差值小于所述预设位置差值，m3与n3的位置差值小于所述预设位置差值，则可以确定该类别对应的匹配点对数量为3，该类别对应的点的总数量为8。

在获得一个类别对应的所述匹配点对数量及总数量之后，可计算该类别对应的匹配点对数量与该类别对应的总数量的商值，并将商值作为该类别对应的匹配比例。

子步骤S142，根据各所述类别对应的匹配比例，判断是否存在第一目标类别。

在获得各类别对应的匹配比例之后，可根据由实际需求确定的判断策略确定是否存在第一目标类别。其中，所述第一目标类别为可合并的类别。比如，将各类别的匹配比例与一阈值进行比较，若大于，则将该类别作为第一次合并中可合并的类别，即作为第一目标类别；若均小于，则确定不存在第一目标类别。

作为一种可能的实现方式，可通过图7所示的子步骤S1421~子步骤S1424判断是否存在可合并的类别，从而保证合并之后的数据的连续性。

子步骤S1421，将本次合并中计算出的各所述类别对应的匹配比例进行比较，确定出最大匹配比例。

子步骤S1422，判断所述最大匹配比例是否小于预设匹配比例。

若所述最大匹配比例小于预设匹配比例，则执行子步骤S1423：确定不存在可合并的类别。

若所述最大匹配比例大于等于所述预设匹配比例，则执行子步骤S1424：确定存在可合并的类别，并将所述最大匹配比例对应的类别确定为可合并的类别。

在针对1个点云对的第一次合并中，可将第一次合并中计算出的各类别对应的匹配比例进行比较，确定出最大匹配比例。然后，将该最大匹配比例与预设匹配比例进行比较。若该最大匹配比例大于等于所述预设匹配比例，则表示所述第一点云及第二点云在该最大匹配比例对应的类别上的重叠内容比较多、连续性佳，在此情况下，可确定第一次合并中存在第一目标类别，并且第一目标类别为所述最大匹配比例对应的类别。反之，若该最大匹配比例小于所述预设匹配比例，则表示所述第一点云及第二点云在该最大匹配比例对应的类别上的重叠内容比较少、连续性差，在此情况下，可确定第一次合并中不存在第一目标类别。

在根据所述第一点云及第二点云计算出的匹配比例确定不存在所述第一目标类别的情况下，可将所述第一点云或第二点云作为所述点云对所对应的合并结果。其中，可选地，可以将点云对中靠前的一帧作为所述点云对所对应的合并结果，也可以将点云对中靠后的一帧作为所述点云对所对应的合并结果。可选地，还可以在均不存在第一目标类别的情况下，将1个点云对中靠后的一帧作为该点云对所对应的合并结果，将另1个点云对中靠前的一帧作为该点云对所对应的合并结果；或者，均将靠前或靠后的一帧作为点云对所对应的合并结果。

子步骤S143，在确定存在时，将所述第一目标类别在所述第一点云及第二点云中的点进行合并，得到所述第一次合并对应的第一合并结果。

在确定存在所述第一目标类别的情况下，可将所述第一目标类别在第一点云及第二点云中的点合并在一起，并将合并结果作为该点云对第一次合并得到的第一合并结果。也即，所述第一合并结果中仅包括第一目标类别的点，不包括其他类别的点。

可选地，作为一种可能的实现方式，可以直接将所述第一目标类别在第一点云及第二点云中的点汇总在一起，并将汇总得到的点作为所述第一合并结果所包括的点。如此，可快速得到所述第一合并结果。

比如，第一点云中包括类别A、B、C，第二点云中包括类别B、C、D，其中，B被确定为第一目标类别，则第一合并结果中仅包括第一点云中对应类别B的点及第二点云中对应类别B的点。也即，将第一点云中对应类别B的点及第二点云中对应类别B的点汇总在一起，作为第一合并结果。

本申请发明人经研究发现，在通过坐标系转换（比如，基于手眼标定结果进行）及分割的方式中，使用的转换关系（比如，手眼标定结果）可能存在偏差，导致两个转换后的点云中的某类别的点直接汇总合并可能出现很多重影。为避免上述重影情况，作为另一种可能的实现方式，可以将所述第一目标类别所对应的各匹配点对处理为1个点，然后将各匹配点对所对应的1个点、所述第一点云及第二点云中属于该第一目标类别但不属于匹配点对中的点汇总在一起，作为所述第一合并结果中所包括的点。该方式具有以下特点。更好的对齐：通过迭代的方式，每次都通过匹配过程来优化点云的对齐关系，使得合并后的点云更好地保持几何一致性；避免堆叠：简单的相加可能导致点云的堆叠，而通过匹配和融合的方式，可以避免这种堆叠，确保合并后的点云是一个更完整、无冗余的表示。

可选地，在合并时，可以先将所述第一目标类别在所述第一点云及第二点云中的点进行汇总，得到汇总结果。然后，将所述汇总结果中匹配点对中属于所述第二点云的点删除，得到所述第一合并结果。其中，所述第二点云可以为所述点云对中靠前的一帧、也可以是靠后的一帧，即在删除点时可以是删除汇总结果中的匹配点对中属于靠前的一帧的点、也可以是删除汇总结果中的匹配点对中属于靠后的一帧的点，具体可以结合实际需求设置。比如，一个匹配点对中包括点1及点2，点1属于点云对中靠前的一帧点云，点2属于点云对中靠后的一帧点云，可以删除点1或点2。可选地，可以保留靠前的一帧的点、删除靠后一帧的点，比如，在第一点云表示靠前的一帧、第二点云表示靠后的一帧的情况下，可以将汇总结果中匹配点对中属于所述第二点云的点删除。可以理解的是，上述先汇总后删除的顺序仅为举例说明，具体可以结合实际需求设置。

子步骤S144，根据所述第一合并结果，得到所述点云对所对应的合并结果。

在获得一个点云对的第一合并结果之后，可以直接将该第一合并结果作为该点云对的合并结果。也可以进一步进行其他处理，并将处理后的点云作为该点云对的合并结果。

可选地，可以对1个点云对的第一合并结果进行滤波，得到滤波结果，然后直接将该滤波结果作为该点云对所对应的合并结果。如此，可以将点云数据变的平滑，去除一些干扰。其中，可选地，滤波方式可以为体素滤波，这种方式使得边缘位置不会发生变换，但是内点的数据会有一些移动。

作为另一种可能的实现方式，如图8所示，所述合并处理不仅包括第一次合并，还包括第二次合并。可对所述第一合并结果进行滤波，得到滤波结果；然后，针对所述滤波结果与所述点云对中的第二点云，再次计算计算各所述类别对应的匹配比例，在根据再次计算出的匹配比例确定存在第二目标类别时，将所述第二目标类别在所述滤波结果中的点与所述第二点云中的点进行合并，得到所述第二次合并的第二合并结果。所述第二合并结果为所述点云对所对应的合并结果。其中，第二次合并中针对的第二点云，为在通过汇总得到第一合并结果时，匹配点对中被删除的点所属的点云。如此，可以通过第二次合并进一步地添加点的信息，即进行补全。

其中，所述第二次合并的处理过程与第一次合并的处理过程相同。可通过子步骤S1421~子步骤S1424，根据所述滤波结果与所述第二点云，判断是否存在可合并的类别，若存在，则将可合并的类别作为第二目标类别，即所述第二目标类别为第二次合并可合并的类别。在合并得到第二合并结果的过程中，可以将所述第二目标类别在所述滤波结果中的点与所述第二点云中的点进行汇总得到汇总结果，并将该汇总结果中的各匹配点对处理为一个点，比如，将汇总结果中的匹配点对中的其中一个点删除，可以删除匹配点对中属于滤波结果的点，也可以删除匹配点对中属于第二点云的点，具体可以结合实际需求确定。

在第二次合并中，若根据计算出的匹配比例确定不存在所述第二目标类别时，可将所述滤波结果作为所述点云对所对应的合并结果。

下面结合图8对如何获得一个点云对的合并结果进行举例说明。

点云对包括两个待处理点云：第一点云1、第二点云2。

根据第一点云1及第二点云2中各点的位置信息及类别，计算得到各类别对应的匹配比例。在根据匹配比例确定存在第一目标类别时，将第一点云1、第二点云2中的第一目标类别的点进行汇总得到汇总结果，然后将汇总结果中的匹配点对中属于第二点云2的点删除，得到第一合并结果。如此，完成对该点云对的第一次合并。

然后，针对第一合并结果进行滤波，得到滤波结果。根据滤波结果及第二点云2中各点的位置信息及类别，计算得到各类别对应的匹配比例。在根据匹配比例确定存在第二目标类别时，将滤波结果、第二点云2中的第二目标类别的点进行汇总得到汇总结果，并将该汇总结果中匹配点云对中的其中一个点删除，得到第二合并结果。如此，完成该点云对的第二次合并，得到该点云对的合并结果。

其中，在第一次合并中，若不存在第一目标类别，无需进行第二次合并，可直接将第一点云1或第二点云2作为该点云对的合并结果。在第二次合并中，若不存在第二目标类别，可直接将滤波结果作为该点云对的合并结果。

通过上述类似残差处理的方式，可使得合并结果具有以下特点。完整性和覆盖度：待处理的两个点云可能包含与特定目标或场景相关的信息；通过再次与1个待处理点云叠加，可以确保新得到的点云数据具有更全面的场景信息和更好的覆盖度。准确性提升：待处理点云中可能包含更多的细节和准确的点信息，通过将第一次合并后得到的点云的滤波结果与1个待处理点云再次叠加，可以提高整体点云数据的准确性。场景一致性：如果场景中的物体或结构发生变化，例如动态物体的移动，重新叠加可以确保点云在不同时间点或不同视点下的一致性。

若一个点云对中仅包括1个点云，则可以将该点云直接作为该点云对的合并结果。

通过上述方式对各点云对依次进行合并处理，获得各点云对所对应的合并结果，从而完成一轮合并处理。之后，则判断本轮合并处理得到的合并结果的数量，若为多个，则将本轮获得的多个合并结果作为待处理点云，并按照相同方式进行下一轮合并处理。若为1个，则确定处理结束，可将最后得到的合并结果作为目标处理结果，该目标处理结果可作为对多个原始点云完成3D点云分割后得到的连续数据信息。如此，可将不同的点云数据整合成一个连续的数据集，以便进行后续分析或可视化。

本申请实施例提供的上述方式可以实现复杂场景中的物体分割任务。在本实施例中，可首先环绕场景拍摄了一组RGB-D数据，为并进行滤波处理，以去除掉一些孤立点、杂点、漂浮在点云上的点。然后，基于Segment-anything的大模型获得对应的二维图像的mask掩码特征。通过较为精确的手眼标定方法可以有效的将2Dmask投影到3D点云数据中，这样可以避免使用直接使用三维卷积进行点云数据分割带来的弊端，同时降低了由于标注复杂点云数据带来的高人力成本。之后通过不断重复迭代合并的过程融合基于映射的3D mask确定的感兴趣点，最终获得有效的合并结果。

在本实施例中，使用的3D点云分割方式与现有的基于三维卷积的分割方式的最大不同就是通过二维映射的方式实现点云数据的分割，有效地降低了数据标注带来的人工成本。相对于二维分割的方式，该算法采用两次合并的政策，从而实现更好的场景理解，通过将2D图像中的语义分割信息投影到3D点云中，可以实现更高级别的语义分割。这对于在点云中对不同物体进行分类和分割非常有帮助，同时两次合并允许将2D图像的像素级别信息与3D点云中的点级别信息关联。这使得每个点都能够获得与其相关的语义和物体信息。

并且，通过前述的按照自上而下的顺序（即按照采集顺序）合并重叠度最高的点云，可保持点云数据合并的连续性。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种点云数据处理装置200的实现方式，可选地，该点云数据处理装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图9，图9为本申请实施例提供的点云数据处理装置200的方框示意图。需要说明的是，本实施例所提供的点云数据处理装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。在本实施例中，所述点云数据处理装置200可以包括：点云获得模块210及处理模块220。

所述点云获得模块210，用于获得目标场景对应的多个分割点云。其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别。

所述处理模块220，用于将各所述分割点云作为待处理点云。

所述处理模块220，还用于按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对。其中，一个所述待处理点云仅位于一个所述点云对中。

所述处理模块220，还用于针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果。其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并。

所述处理模块220，还用于在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个。

可选地，上述模块可以软件或固件（Firmware）的形式存储于图1所示的存储器110中或固化于电子设备100的操作系统（Operating System，OS）中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的点云数据处理方法。

综上所述，本申请实施例提供一种点云数据处理方法、装置、电子设备及可读存储介质，在获得目标场景对应的多个分割点云的情况下，将该多个分割点云作为待处理点云，其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别；之后，按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对，其中，一个所述待处理点云仅位于一个所述点云对中；接着，针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并；然后，在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个。如此，对分割点云进行合并，使得最终获得的分割结果能提供连续的信息，并且合并速度快、质量佳。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种点云数据处理方法，其特征在于，所述方法包括：

获得目标场景对应的多个分割点云，其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别；

将各所述分割点云作为待处理点云；

按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对，其中，一个所述待处理点云仅位于一个所述点云对中；

针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并；

在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个；

其中，所述合并处理中包括第一次合并及第二次合并，所述点云对中包括第一点云及第二点云，所述针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，包括：

根据所述点云对中各点的位置信息及对应的类别，计算得到各所述类别对应的匹配比例，其中，所述匹配比例用于描述所述类别对应的区域重叠情况；

根据各所述类别对应的匹配比例，判断是否存在第一目标类别，其中，所述第一目标类别为可合并的类别；

在确定存在时，将所述第一目标类别在所述第一点云及第二点云中的点进行合并，得到所述第一次合并对应的第一合并结果；

根据所述第一合并结果，得到所述点云对所对应的合并结果；

其中，所述根据所述第一合并结果，得到所述点云对所对应的合并结果，包括：

对所述第一合并结果进行滤波，得到滤波结果；

针对所述滤波结果与所述第二点云，再次计算各所述类别对应的匹配比例，在根据再次计算出的匹配比例确定存在第二目标类别时，将所述第二目标类别在所述滤波结果中的点与所述第二点云中的点进行合并，得到所述第二次合并的第二合并结果，其中，所述第二目标类别为可合并的类别，所述第二合并结果为所述点云对所对应的合并结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述点云对中各点的位置信息及对应的类别，计算得到各所述类别对应的匹配比例，包括：

根据所述点云对中各点的位置信息及对应的类别，统计得到每个所述类别对应的匹配点对数量及对应的点的总数量，其中，一个所述类别对应的匹配点对中包括所述第一点云中的1个点及所述第二点云中的1个点，所述匹配点对中的两个点的位置差值小于预设位置差值且对应的类别相同；

针对每个所述类别，根据所述类别对应的所述匹配点对数量及总数量，计算得到匹配比例。

3.根据权利要求1所述的方法，其特征在于，所述在确定存在时，将所述第一目标类别在所述第一点云及第二点云中的点进行合并，得到所述第一次合并对应的第一合并结果，包括：

将所述第一目标类别在所述第一点云及第二点云中的点进行汇总，得到汇总结果；

将所述汇总结果中匹配点对中属于所述第二点云的点删除，得到所述第一合并结果，其中，所述匹配点对中包括所述第一点云中的1个点及所述第二点云中的1个点，所述匹配点对中的两个点的位置差值小于预设位置差值且对应的类别相同。

4.根据权利要求3所述的方法，其特征在于，所述针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，还包括：

在根据所述第一点云及第二点云计算出的匹配比例确定不存在所述第一目标类别时，将所述第一点云或第二点云作为所述点云对所对应的合并结果；和/或，

所述根据所述第一合并结果，得到所述点云对所对应的合并结果，还包括：

在所述第二次合并中，在根据计算出的匹配比例确定不存在所述第二目标类别时，将所述滤波结果作为所述点云对所对应的合并结果。

5.根据权利要求2-4中任意一项所述的方法，其特征在于，在一次合并中，通过以下方式确定是否存在可合并的类别：

将本次合并中计算出的各所述类别对应的匹配比例进行比较，确定出最大匹配比例；

在所述最大匹配比例小于预设匹配比例时，确定不存在可合并的类别；

在所述最大匹配比例大于等于所述预设匹配比例时，确定存在可合并的类别，并将所述最大匹配比例对应的类别确定为可合并的类别。

6.根据权利要求1所述的方法，其特征在于，所述获得目标场景对应的多个分割点云，包括：

获得所述目标场景对应的多个原始点云及各原始点云对应的二维图像；

针对各所述二维图像，对所述二维图像进行类别识别，获得第一分割掩膜；

针对各所述二维图像，将所述二维图像对应的第一分割掩膜及原始点云转换到所述目标坐标系下，以得到所述分割点云。

7.一种点云数据处理装置，其特征在于，所述装置包括：

点云获得模块，用于获得目标场景对应的多个分割点云，其中，所述多个分割点云位于目标坐标系下，所述分割点云中包括点的位置信息及对应的类别；

处理模块，用于将各所述分割点云作为待处理点云；

所述处理模块，还用于按照各所述待处理点云对应的采集顺序，以相邻采集时刻所对应的待处理点云位于一组的方式，将确定出的所述待处理点云划分为点云对，其中，一个所述待处理点云仅位于一个所述点云对中；

所述处理模块，还用于针对各所述点云对，进行合并处理，得到所述点云对所对应的1个合并结果，其中，在所述合并处理中，针对各所述类别，根据所述类别对应的区域重叠情况确定两个点云中的对应所述类别的点是否合并；

所述处理模块，还用于在获得的所述合并结果为多个时，将获得的多个所述合并结果作为待处理点云，并再次进行划分及合并处理，直到获得的合并结果数量为1个；

其中，所述合并处理中包括第一次合并及第二次合并，所述点云对中包括第一点云及第二点云，所述处理模块，具体用于：

根据所述点云对中各点的位置信息及对应的类别，计算得到各所述类别对应的匹配比例，其中，所述匹配比例用于描述所述类别对应的区域重叠情况；

根据各所述类别对应的匹配比例，判断是否存在第一目标类别，其中，所述第一目标类别为可合并的类别；

在确定存在时，将所述第一目标类别在所述第一点云及第二点云中的点进行合并，得到所述第一次合并对应的第一合并结果；

根据所述第一合并结果，得到所述点云对所对应的合并结果；

其中，所述处理模块根据所述第一合并结果，得到所述点云对所对应的合并结果的方式，包括：

对所述第一合并结果进行滤波，得到滤波结果；

针对所述滤波结果与所述第二点云，再次计算各所述类别对应的匹配比例，在根据再次计算出的匹配比例确定存在第二目标类别时，将所述第二目标类别在所述滤波结果中的点与所述第二点云中的点进行合并，得到所述第二次合并的第二合并结果，其中，所述第二目标类别为可合并的类别，所述第二合并结果为所述点云对所对应的合并结果。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6中任意一项所述的点云数据处理方法。