CN111951197B - 一种基于结构光的点云分割方法 - Google Patents

Abstract

本发明提供了一种基于结构光的点云分割方法，属于点云分割技术领域。本发明利用由结构光相机生成的点云数据，具有像素与空间点云一一对应的特性，建立起物体的空间坐标与像素坐标之间的对应，将三维点云数据映射到二维图像上，从而快速获取空间无序点云间的拓扑关系，通过对像素坐标的处理，来实现对相应空间坐标的处理，再借助图像处理中的形态学技术，例如图像腐蚀和图像膨胀，将有小部分连接的物体与背景点云完全分割开来。本发明达到了完整分割目标物体与背景点云的目的。

Description

一种基于结构光的点云分割方法

技术领域

本发明涉及三维点云分割技术领域，尤其涉及一种基于结构光的点云分割方法。

背景技术

点云分割是点云处理中重要的一步，是点云处理的精髓，也是三维图像相对二维图像最大优势的体现。点云是某个坐标系下的点的数据集，而点则包含了丰富的信息，包括三维坐标、颜色、分类值、强度值和时间等。从某种意义上说，点云可以将现实世界原子化，通过高精度的点云数据可以还原现实世界。

点云主要通过三维激光扫描仪进行数据采集获取，还可以通过二维影像进行三维重建，在重建过程中获取点云数据。点云分割的目的是提取点云中的不同物体，进行分别处理。而在现实点云数据中，往往对场景中的物体的形状有一定先验知识。比如：桌面多半是大平面，桌上的罐子大多是圆柱体、而桌面上长方体的盒子可能是纸巾盒......对于复杂场景中的物体，其几何外形可以归结于简单的几何形状，而简单几何形状是可以用方程来描述的，方程则代表的物体的拓扑抽象。点云分割算法可以很好的将此类物体分割出来。

点云分割的传统方法包括基于边缘的分割、基于区域增长的分割和基于模型的分割等。这些方法都是先利用KdTree或OcTree建立起点云间的拓扑关系，并计算点云特征，然后再根据相应的特征区分准则进行分割。

边缘分割是根据点云法向量的剧烈变化来判断边缘，并作为分割的准则。基于区域增长的分割则是在点云中选出种子点，并在附近迭代搜索曲率变化较小的点组成点云。基于模型的分割则需要利用已知模型与场景点云进行匹配，将匹配后位于模型附近的点云最为输出结果。这些方法都是基于无序点云来建立点云间的拓扑关系，计算耗时大。

基于边缘的分割方法和基于区域增长的分割方法无法解决点云与背景有小块连接时的分割问题，也可能出现过度分割，将一个物体分成几块；而基于模型的分割方法则需要已知待分割物体的三维模型，应用场景受限。

在结构光相机的使用过程中，需要快速对点云与背景进行分割。传统方法建立点云拓扑关系的方式耗时较大，且由于点云噪声和物体外形等因素，计算出的边界既可能出现在物体内部，也可能出现在物体与背景之间，且边界并不完全连续。

在中国专利文献CN110969624A中，一种激光雷达三维点云分割方法，包括以下步骤：步骤1：获取激光雷达三维点云数据；步骤2：原始三维点云的预处理，具体包括：计算各点云到邻域内所有点云的平均距离，如果平均距离小于等于离群点判定边界半径，则保留被判定点；否则，被判定点为离群点，将其从原始点云数据集中删除；利用八叉树将点云划分为立方体素，计算立方体素中所有点的重心，利用重心点替代体素内所有点云，对原始三维点云下采样简化；将点云的三维矢量坐标转换为三维直角坐标，并得出二维数组坐标位置与该位置存储距离数据与对应的原始三维点云矢量坐标的关系；步骤3：基于变邻域分散搜寻策略的点云初步分割：将八邻域向外进一步扩展构成更大的邻域，将向外扩展的邻域圈数设置为动态的，对遍历范围进行精简，即在变邻域范围内，适当选定不搜索范围；当从选定种子的八邻域扩展后，确定变邻域后不搜索范围，按照所述变邻域分散搜寻策略，进行初步点云分割；步骤4：基于初步分割包络扩散策略进行点云再分割，按上述区域生长法得到点云集合，提取该集合的分割包络边界，并沿法线方向向外扩展，计算该集合的重心，任选该集合的一个边界点，计算两点的距离，并确定扩展范围，比较扩展后的范围与其他集合是否存在交集，如存在交集则表示两个集合可融合为一个集合，如无交集则将他们仍表示为两个不同的集合。该方法通过雷达扫描获取三维点云原始数据，将三维矢量坐标对应到三维直角坐标，再对应到二维坐标，基于变邻域分散搜寻及基于初步分割包络扩散方法分两步进行分割。但是该方法在步骤2中需要额外进行三维点云的最近邻域查找，对于点云数量较大时，耗时过长；在步骤3中，需要向点云的三维空间邻域进行搜索，搜索效率更低；步骤4中只通过点云包络的扩散而获得融合点云，而不对不合理的扩散部分进行删除，会使获得的结果点云偏大。

现有技术至少存在以下不足：

1.基于边缘的分割方法和基于区域增长的分割方法无法解决点云与背景有小块连接时的分割问题，也可能出现过度分割，将一个物体分成几块。

2.基于模型的分割方法则需要已知待分割物体的三维模型，应用场景受限。

3.基于无序点云来建立点云间的拓扑关系，计算耗时大。

发明内容

为解决现有技术中存在的技术问题，完整地分割物体与背景，本发明提供了一种基于结构光的点云分割方法。该方法利用由结构光相机生成的点云数据，具有像素与空间点云一一对应的特性，建立起物体的空间坐标与像素坐标之间的对应，将三维点云数据映射到二维图像上，从而快速获取空间无序点云间的拓扑关系，通过对像素坐标的处理，来实现对相应空间坐标的处理，再借助图像处理中的形态学技术，例如图像腐蚀和图像膨胀，将有小部分连接的物体与背景点云完全分割开来。本发明达到了完整分割目标物体与背景点云的目的。

本发明提供了一种基于结构光的点云分割方法，包括如下步骤：

投影步骤，投影仪投射结构光到目标物体表面上；

图像采集步骤，用相机拍摄目标物体表面生成图像数据，所述图像数据包括图像中每个像素点的二维坐标；

数据处理步骤，根据所述的图像数据，将图像数据处理为点云数据，所述点云数据包括点云中每个点的三维坐标，所述点云中每个点的三维坐标与其在图像数据中对应像素点的二维坐标一一对应；

邻域关系确定步骤，

根据图像数据中各像素点的二维坐标确定各像素点间的领域关系；

根据各像素点间的领域关系确定三维点云中各点之间的邻域关系；

第一边界确定步骤，

计算任一像素点A与其相邻像素点在点云数据中的三维点间距S1；

计算任一像素点A与其相邻像素点在图像数据中的二维点间距S2；

当S1/S2>S0时，

将点A确定为第一边界点，其中S0为预设变化率阈值。

优选地，在第一边界确定步骤之后，还包括第二边界确定步骤：

对第一边界确定步骤确定的物体边界像素进行图像膨胀，使间断的边缘像素连成一体，并第二次确定物体边界。

优选地，在第二边界确定步骤之后，还包括第三边界确定步骤：

以图像边框的图像像素作为种子点，向图像内部进行搜索，直到到达第二次确定的物体边界为止，确定背景像素和非背景像素；所述搜索过程中遍历到的所有像素确定为背景像素，未遍历到的像素确定为非背景像素；

以非背景像素作为种子点，进行图像膨胀和图像腐蚀，将有缝隙的物体像素区域连成一个整体，分割出目标物体点云。

优选地，第一次确定物体边界时，还根据法向量的变化确定物体边界，具体包括：

计算三维点云数据中各点及其邻域内各点的法向量和平均法向量；

如果各点的法向量和平均法向量的夹角超过夹角阈值，则将该点确定为目标物体的第一边界点。

优选地，所述平均法向量为三维点云中各点之间的邻域内所有点的法向量的平均值。

优选地，各点法向量的计算通过对各点邻域内的点进行最小二乘平面拟合，确定平面法向量，平面法向量即为各点法向量。

优选地，将根据法向量确定的物体边界与根据三维点间距与二维点间距变化率确定的物体边界进行合并，作为最终确定的第一物体边界。

优选地，对于非背景的图像像素处理过程包括：

对目标物体图像进行预设窗口尺寸的图像膨胀，填充物体内部缝隙，使断开的区域连成一个整体；

对目标物体图像进行所述预设窗口尺寸的图像腐蚀，将所述图像膨胀中新增的连接物体边界的非目标区域删除。

优选地，所述预设窗口尺寸为邻近像素的距离大小，根据拍摄物体的图像进行设置。

与现有技术相对比，本发明的有益效果如下：

1.本发明利用结构光相机生成的点云数据，具有像素与空间点云一一对应的特性，建立起物体的空间三维坐标与像素二维坐标之间的对应，将三维点云数据映射到二维图像上，从而快速获取空间无序点云间的拓扑关系，达到了通过对像素坐标的处理实现对相应空间坐标的处理的效果。

2.本发明通过借助图像处理中的形态学技术，例如图像腐蚀和图像膨胀，确定了已检测出像素不能被删除的原则，外侧有边界的区域，依据此原则，只会把新膨胀的像素删掉，从而实现了不会改变原始的外侧轮廓，将有小部分连接的物体与背景点云完全分割的效果。

3.本发明利用了3D结构光相机生成点云时，是根据每个像素来逐个计算的特点，记录下了空间点与图像点的对应关系，并依据邻近空间点必然是邻近像素点这一特性，由邻近像素快速检索出邻近空间点，省去了在无序点云中建立最近邻点关系的过程，提高了计算效率，实现了物体的快速分割。

4.本发明基于物体的连续性来与背景进行分割，即物体上的点云的点间距不会骤变，实现了在不知道物体的三维模型情况下，对物体实现完整分割的效果。

附图说明

图1是本发明的基于三维坐标相对图像像素变化率的点云分割方法流程图；

图2是本发明中待拍摄的场景图；

图3是本发明针对图2由结构光相机获得的场景点云；

图4是本发明利用场景点云与图像像素的对应关系，通过本发明的方法中图像的边框图像像素作为种子点搜索后获得的目标分割区域；

图5是本发明以非背景像素作为种子点，进行图像膨胀和图像腐蚀后获取的位于点云内部的裂缝。

图6是目标物体的完整区域，是图4与图5的合集；

图7是目标物体的完整区域对应的目标物体点云。

具体实施方式

下面结合附图1-7，对本发明的具体实施方式作详细的说明。

本发明提供了一种基于结构光的点云分割方法，包括如下步骤：

投影步骤，投影仪投射结构光到目标物体表面上；

图像采集步骤，用相机拍摄目标物体表面生成图像数据，所述图像数据包括图像中每个像素点的二维坐标；

此处结构光相机拍摄的目标物体的图像包括物体本身和背景两部分，本发明就是要将物体从背景中完整地分割出来。

数据处理步骤，根据所述的图像数据，将图像数据处理为点云数据，所述点云数据包括点云中每个点的三维坐标，所述点云中每个点的三维坐标与其在图像数据中对应像素点的二维坐标一一对应；

本发明中所提出的三维点云与图像像素间的对应关系，是基于3D结构光相机的点云生成方式而获取的。该相机会计算每个像素对应的空间点位置，每个像素不一定都能计算出空间点，但每个空间点必然是由一个像素计算而得。在相机计算过程中，通过记录就可获得点云中各点三维坐标与图像像素二维坐标间一一对应关系，因为物体是连续的整体，所以图像上相邻的点，空间位置也较近，空间点之间连接的关系也可以通过图像像素点之间的领域关系建立。

三维点云到图像的投影受观测点和相机畸变等因素影响，投影到平面上会出现多个点同在一个像素内，或原本连续的物体区域出现裂缝的情况。而本发明利用的是结构光相机拍摄的原始图像与点云的一一对应关系，原始图像不会出现上述现象。

由此，结构光相机拍摄的目标物体的图像生成三维场景点云原始数据，可以实现点云三维坐标与图像像素二维坐标一一对应。

邻域关系确定步骤，

根据图像数据中各像素点的二维坐标确定各像素点间的领域关系；

根据各像素点间的领域关系确定三维点云中各点之间的邻域关系；

根据结构光相机生成的三维点云的三维坐标与图像像素二维坐标一一对应的特性，可以根据像素间的邻域关系确定三维点云中各点之间的邻域关系，因为图像上相邻的点，空间位置也较近，因此可以通过图像像素点之间的领域关系建立空间点之间的邻域关系。

第一边界确定步骤，

计算任一像素点A与其相邻像素点在点云数据中的三维点间距S1；

计算任一像素点A与其相邻像素点在图像数据中的二维点间距S2；

当三维点间距与二维点间距的变化率S1/S2>S0时，

将点A确定为第一边界点，其中S0为预设变化率阈值。

作为优选实施方式，在第一边界确定步骤之后，还包括第二边界确定步骤：

对第一边界确定步骤确定的物体边界像素进行图像膨胀，使间断的边缘像素连成一体，并第二次确定物体边界。

图像膨胀，是数字图像处理中形态学处理的一种运算。数字图像处理中的形态学处理是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量，比如边界、骨架以及凸壳，还包括用于预处理或后处理的形态学过滤、细化和修剪等。

图像膨胀，简单说来就是用一个结构元素在图像上移动，只要结构元素中有一个点与图像中的点是重叠的就划入该区域内，膨胀的结果是结构元素中心点划过的区域为区域内部，所以图像的边缘就被扩大了。图像膨胀就是使用算法，将图像的边缘扩大些，作用就是将目标的边缘或者是内部的坑填掉。举例来说：定义一个结构元素X和图像A，用结构元素X，扫描图像A的每一个像素；用结构元素X与其覆盖的二值图像做“或”操作；如果有一个元素为0，结果图像的该像素为0，否则为255。

在这一步，经过图像膨胀，可以使间断的边缘像素连成一体。

作为优选实施方式，在第二边界确定步骤之后，还包括第三边界确定步骤：

以图像边框的图像像素作为种子点，向图像内部进行搜索，直到到达第二次确定的物体边界为止，确定背景像素和非背景像素；所述搜索过程中遍历到的所有像素确定为背景像素，未遍历到的像素确定为非背景像素；只要拍摄视野比物体大，就会存在背景点云，背景点云必定延伸到照片边界，因此以图像边框像素为种子点向内部搜索确定背景像素和非背景像素。

以非背景像素作为种子点，进行图像膨胀和图像腐蚀，将有缝隙的物体像素区域连成一个整体，分割出目标物体点云。

图像腐蚀，也是形态学的一种运算，简单说来，腐蚀就是使用算法，将图像的边缘腐蚀掉，作用就是将目标的边缘的“毛刺”踢除掉。举例来说：定义对Z中的集合A和B，B对A进行腐蚀的整个过程如下：用结构元素B扫描图像A的每一个像素；用结构元素B与其覆盖的二值图像做“与”操作；如果都为0，结果图像的该像素为0，否则为255。

在上面的图像膨胀与图像腐蚀中，需要遵循一个原则：已检测出的像素不能被删除，即先通过图像膨胀将检测区域连接起来，再进行相同尺寸窗口的图像腐蚀时，由于内部新填充的区域没有边界，所以不会被删除，而外侧有边界的区域，根据已检测出像素不能被删除的原则，只会把新膨胀的像素删掉，而不会改变原始的外侧轮廓。

图像膨胀与图像腐蚀在这一步使分割出来的较近区域连为一体，从而分割出目标物体点云。

作为优选实施方式，第一次确定物体边界时，还根据法向量的变化确定物体边界，具体包括：

计算三维点云数据中各点及其邻域内各点的法向量和平均法向量；

如果各点的法向量和平均法向量的夹角超过夹角阈值，则将该点确定为目标物体的第一边界点。

作为优选实施方式，所述平均法向量为三维点云中各点之间的邻域内所有点的法向量的平均值。

作为优选实施方式，各点法向量的计算通过对各点邻域内的点进行最小二乘平面拟合，确定平面法向量，平面法向量即为各点法向量。

可以根据上面建立的三维点云中各点之间的邻域关系，进行最小二乘平面拟合，拟合得到的平面的法向量即为要计算的各点法向量。

作为优选实施方式，将根据法向量确定的物体边界与根据三维点间距与二维点间距变化率确定的物体边界进行合并，作为最终确定的第一物体边界。

作为优选实施方式，对于非背景的图像像素处理过程包括：

对目标物体图像进行预设窗口尺寸的图像膨胀，填充物体内部缝隙，使断开的区域连成一个整体；

对目标物体图像进行所述预设窗口尺寸的图像腐蚀，将所述图像膨胀中新增的连接物体边界的非目标区域删除。

作为优选实施方式，所述预设窗口尺寸为邻近像素的距离大小，根据拍摄物体的图像进行设置。物体点云出现裂缝的原因主要是因为表面材质反光因素造成的噪声，对于相同拍摄环境下的同类被测物体，其裂缝度范对应的像素数量值可以通过实验获得，并将此数值作为窗口尺寸。

实施例1

根据本发明的一个具体实施方案，结合附图1-7，对本发明进行详细说明。本发明提供了一种基于结构光的点云分割方法，包括如下步骤：

投影步骤，投影仪投射结构光到目标物体表面上；

图像采集步骤，用相机拍摄目标物体表面生成图像数据，所述图像数据包括图像中每个像素点的二维坐标；附图2为待拍摄的场景图；

数据处理步骤，根据所述的图像数据，将图像数据处理为点云数据，所述点云数据包括点云中每个点的三维坐标，所述点云中每个点的三维坐标与其在图像数据中对应像素点的二维坐标一一对应；图3为结构光相机拍摄后获取的场景点云；

邻域关系确定步骤，

根据图像数据中各像素点的二维坐标确定各像素点间的领域关系；

根据各像素点间的领域关系确定三维点云中各点之间的邻域关系；

第一边界确定步骤，

计算任一像素点A与其相邻像素点在点云数据中的三维点间距S1；

计算任一像素点A与其相邻像素点在图像数据中的二维点间距S2；

当S1/S2>S0时，

将点A确定为第一边界点，其中S0为预设变化率阈值。

用三维坐标点间距与二维坐标点间距变化率作为判断物体边界的依据，是为了起到归一化的效果，这样如果点云是连续的，那么对1邻域(到目标点距离1个像素)、2邻域(到目标点距离2个像素)等的邻近点，这个变化率就是接近的，若点云突变，则这个变化率会有较大变化，从而方便用同一阈值筛选不同大小邻域上的变化率。

第一次确定物体边界时，还根据法向量的变化确定物体边界，具体包括：

计算三维点云数据中各点及其邻域内各点的法向量和平均法向量；

如果各点的法向量和平均法向量的夹角超过夹角阈值，则将该点确定为目标物体的第一边界点。

所述平均法向量为三维点云中各点之间的邻域内所有点的法向量的平均值。

各点法向量的计算通过对各点邻域内的点进行最小二乘平面拟合，确定平面法向量，平面法向量即为各点法向量。

将根据法向量确定的物体边界与根据三维点间距与二维点间距变化率确定的物体边界进行合并，作为最终确定的第一物体边界。

在第一边界确定步骤之后，还包括第二边界确定步骤：

对第一边界确定步骤确定的物体边界像素进行图像膨胀，使间断的边缘像素连成一体，并第二次确定物体边界。

在第二边界确定步骤之后，还包括第三边界确定步骤：

以图像边框的图像像素作为种子点，向图像内部进行搜索，直到到达第二次确定的物体边界为止，确定背景像素和非背景像素；所述搜索过程中遍历到的所有像素确定为背景像素，未遍历到的像素确定为非背景像素；

在进行图像膨胀和图像腐蚀中，需要遵循一个原则：已检测出的像素不能被删除，即先通过图像膨胀将检测区域连接起来，再进行相同尺寸窗口的图像腐蚀时，由于内部新填充的区域没有边界，所以不会被删除，而外侧有边界的区域，根据已检测出像素不能被删除的原则，只会把新膨胀的像素删掉，而不会改变原始的外侧轮廓。

以图像边框的图像像素作为种子点，向图像内部进行搜索，直到到达第二次确定的物体边界为止，确定背景像素和非背景像素；所述搜索过程中遍历到的所有像素确定为背景像素，未遍历到的像素确定为非背景像素；

经过上述处理，获取到附图4所示的目标分割区域，由于噪声，目标点云的内部裂缝也被当成了边界；

以非背景像素作为种子点，进行图像膨胀和图像腐蚀，将有缝隙的物体像素区域连成一个整体，分割出目标物体点云。

对于非背景的图像像素处理过程包括：

对目标物体图像进行预设窗口尺寸的图像膨胀，填充物体内部缝隙，使断开的区域连成一个整体；

对目标物体图像进行所述预设窗口尺寸的图像腐蚀，将所述图像膨胀中新增的连接物体边界的非目标区域删除。

所述预设窗口尺寸为邻近像素的距离大小，根据拍摄物体的图像进行设置。

以上在进行图像膨胀和图像腐蚀中，同样需要遵循一个原则：已检测出的像素不能被删除。经过图像膨胀和图像腐蚀，获取到如附图5所示的位于点云内部的裂缝。将上述步骤处理结果进行合并，得到如附图6所示的目标物体的完整区域，图7为该目标物体的完整区域所对应的点云。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (7)

1.一种基于结构光的点云分割方法，其特征在于，包括如下步骤：

投影步骤，投影仪投射结构光到目标物体表面上；

图像采集步骤，用相机拍摄目标物体表面生成图像数据，所述图像数据包括图像中每个像素点的二维坐标；

数据处理步骤，根据所述的图像数据，将图像数据处理为点云数据，所述点云数据包括点云中每个点的三维坐标，所述点云中每个点的三维坐标与其在图像数据中对应像素点的二维坐标一一对应；

邻域关系确定步骤，

根据图像数据中各像素点的二维坐标确定各像素点间的领域关系；

根据各像素点间的领域关系确定三维点云中各点之间的邻域关系；

第一边界确定步骤，

计算任一像素点A与其相邻像素点在点云数据中的三维点间距S1；

计算任一像素点A与其相邻像素点在图像数据中的二维点间距S2；

当三维点间距与二维点间距变化率S1/S2>S0时，

将点A确定为第一边界点，其中S0为预设变化率阈值；

还根据法向量的变化确定物体边界，具体包括：

计算三维点云数据中各点及其邻域内各点的法向量和平均法向量；

如果各点的法向量和平均法向量的夹角超过夹角阈值，则将该点确定为目标物体的第一边界点；

第二边界确定步骤：

对第一边界确定步骤确定的物体边界像素进行图像膨胀，使间断的边缘像素连成一体，并第二次确定物体边界。

2.根据权利要求1所述的基于结构光的点云分割方法，其特征在于，在第二边界确定步骤之后，还包括第三边界确定步骤：

以图像边框的图像像素作为种子点，向图像内部进行搜索，直到到达第二次确定的物体边界为止，确定背景像素和非背景像素；所述搜索过程中遍历到的所有像素确定为背景像素，未遍历到的像素确定为非背景像素；

以非背景像素作为种子点，进行图像膨胀和图像腐蚀，将有缝隙的物体像素区域连成一个整体，分割出目标物体点云。

3.根据权利要求1所述的基于结构光的点云分割方法，其特征在于，所述平均法向量为三维点云中各点之间的邻域内所有点的法向量的平均值。

4.根据权利要求1所述的基于结构光的点云分割方法，其特征在于，各点法向量的计算通过对各点邻域内的点进行最小二乘平面拟合，确定平面法向量，平面法向量即为各点法向量。

5.根据权利要求1所述的基于结构光的点云分割方法，其特征在于，将根据法向量确定的物体边界与根据三维点间距与二维点间距变化率确定的物体边界取并集，作为最终确定的第一物体边界。

6.根据权利要求1所述的基于结构光的点云分割方法，其特征在于，对于非背景的图像像素处理过程包括：

对目标物体图像进行预设窗口尺寸的图像膨胀，填充物体内部缝隙，使断开的区域连成一个整体；

对目标物体图像进行所述预设窗口尺寸的图像腐蚀，将所述图像膨胀中新增的连接物体边界的非目标区域删除。

7.根据权利要求6所述的基于结构光的点云分割方法，其特征在于，所述预设窗口尺寸为邻近像素的距离大小，根据拍摄物体的图像进行设置。