CN114049256A - 一种基于在线拼接点云的均匀降采样方法 - Google Patents

Abstract

本发明公开一种基于在线拼接点云的均匀降采样方法，涉及机器视觉领域，包括：利用相机对物体拍摄并选择包围盒区域，对包围盒区域进行栅格体素划分；将相机初始拍摄的点云设为初始点云，并设定均匀降采样后的各点间距为d；设拍摄前的为点云A，拍摄后的为点云B，将点云A和点云B进行拼接得到点云C，并计算点云C中各点的体素，对点云C进行降采样；若相机拍摄到待拼接的当前点云，将当前拍摄的新点云与前一次降采样后的点云C进行拼接，得到一点云，并计算重新获得的一点云中各点的体素，进而获得当前新拼接的一点云的均匀降采样，结束操作；本发明具有降采样点云分布均匀，降采样处理快速高效，节省存储空间等优点。

Description

一种基于在线拼接点云的均匀降采样方法

技术领域

本发明涉及机器视觉技术领域，尤其是涉及一种基于在线拼接点云的均匀降采样方法。

背景技术

为了获得完整的场景3D点云，往往需要对3D相机在不同视角和位置下拍摄的点云进行拼接。各个待拼接点云之间，除了有不想交的非公共区域外，一般还有大范围重叠的公共区域，这导致拼接后的点云所含点数非常大，给后续的点云计算处理带来不便。若要使拼接后的点云具有实用性，需要对拼接点云进行降采样。更进一步，为了使一些后续的点云处理达到更好的效果，例如将点云三角面片化得更加均匀，必须使降采样后点云的点间距大小尽量一致，即对拼接点云的降采样是均匀降采样。

通过实际使用PCL点云算法库，以及对均匀降采样的技术原理分析，可发现该技术并不能很好地实现降采样后点云的均匀分布，而是会出现某些区域稠密，某些区域稀疏的降采样结果。造成这种现象的原因，其实就是对场景点云进行栅格体素化时，无法保证每个体素中的场景点分布在体素的中心附近。如果某个体素内的场景点都分布在其右侧，而右边相邻体素内的场景点都分布在其左侧，于是从这两个体素内选取的两个代表点就会非常接近，反之就会间隔很远。这样必将导致最终的降采样点云均匀性不好。再者，如果将多次拍摄的原始点云都保存下来拼接成一个整体，那么这个拼接点云数据量将非常庞大，给存储带来巨大困难。且由于没有利用3D相机逐次拍摄待拼接点云的时间过程，来同步进行每步新拼接点云的降采样，也不利于拼接点云降采样计算效率的提高。

点云均匀降采样技术被广泛用于各种3D点云计算任务的预处理阶段。目前被广泛使用的点云均匀降采样技术，都是建立在将点云体素化后，从各体素内选择代表当前体素的一个3D点，来组成降采样后的点云这套流程上。其中，代表每个体素内的3D点选择，可以采用该体素栅格包含的全体场景点的均值，也可以采用距离该体素中心最近的场景点。这套技术方案实现的代表就是著名的PCL点云算法库。另外，目前的点云均匀降采样技术都是针对单个点云设计的，无法达成3D相机边拍摄点云，边拼接，边降采样的同步效果。因此，如何对不断新拼接的点云进行更均匀的降采样，是需要解决的问题。

中国专利CN113160287A公开了一种基于特征融合的复杂构件点云拼接方法及系统，属于计算机视觉领域，包括：采集构件各局部的三维点云并进行定位；相邻的局部三维点云之间存在部分重叠；根据定位结果将各局部三维点云转换到世界坐标系下并均匀降采样后提取关键点，得到对应的关键点云；将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，以计算相邻点云的匹配对应关系；利用相邻关键点云的匹配对应关系进行点云配准，基于点云配准结果将各关键点云拼接为整体三维点云模型。本发明能够提高复杂构件点云拼接的精度。但是本发明是将特征融合提取模块以及利用相邻关键点云的匹配对应关系进行点云配准等技术方案，最后实现基于点云配准结果将各关键点云拼接为所述构件的整体三维点云模型的技术效果，并不能实现3D相机边拍摄点云，边拼接，边降采样的同步效果。

中国专利CN110490798A公开了一种点云拼接方法及系统，点云拼接方法包括：获取拍摄设备拍摄的点位的点云数据，并按拍摄设备的拍摄顺序存储在先获取的至少一个点位的点云数据；以及对于当前获取的拍摄设备拍摄的当前点位的点云数据，执行以下方式以进行存储：判断已存储的点云数据中是否存在与当前点位的点云数据对应的拼接点云数据，其中拼接点云数据与当前点位的点云数据满足预设拼接条件；若存在，则对当前点位的点云数据与拼接点云数据进行拼接，基于拼接后的点云数据更新已存储的点云数据；若不存在，则将所述当前点位的点云数据存储至所述已存储的点云数据中。点云拼接方法及系统可以实现点云数据的高效拼接，并尽可能的减少占用的资源。但是本发明需要多个拍摄设备较为复杂，且不能实现3D相机边拍摄点云，边拼接，边降采样的同步效果。

发明内容

为了解决对不断新拼接的点云进行更均匀的降采样的问题，本发明提供了一种基于在线拼接点云的均匀降采样方法。

为了实现本发明的目的，本发明采用的具体技术方案如下：

一种基于在线拼接点云的均匀降采样方法，步骤包括：

步骤S1：利用相机对物体进行拍摄，选择拍摄场景空间的包围盒区域，对获取的整个点云场景空间的包围盒区域进行栅格体素划分；

步骤S2：将3D相机初始拍摄的点云设为初始点云，并设定均匀降采样后的各点间距为d，沿点云场景空间x，y，z三个方向上的体素划分数量依次记为num_x，num_y，num_z；

步骤S3：设拍摄前的点云为点云A，拍摄后的点云为点云B，将点云A和点云B进行拼接得到点云C，并计算点云C中各点的体素，对点云C进行降采样；

步骤S4：若3D相机拍摄到待拼接的当前点云，则跳转到步骤S3，将当前拍摄的新点云与前一次降采样后的点云C进行拼接，得到一点云，并计算重新获得的一点云中各点的体素，进而获得当前新拼接的一点云的均匀降采样，结束操作；

其中，点云C中各点的体素的计算步骤包括：

步骤1：设一体素在x，y，z三个坐标轴方向的序号分别为id_x，id_y，id_z，则该体素在全体体素中的序号为id＝id_x*num_y*num_z+id_y*num_z+id_z；将包含点云C的体素设为有效体素，将不包含点云C的体素设为无效体素，将全体有效体素按序号由小到大排序成有效体素序列；

步骤2：将有效体素序列中排在第一位的有效体素设为被考察体素，与被考察体素中心距离最短的3D点设为被考察点，将被考察点作为降采样点并进行记录；

步骤3：搜索被考察点邻近的5*5*5个体素中的有效体素，若5*5*5个体素领域内存在到被考察点距离小于d的3D点，则将距离被考察点小于d的3D点删除，并更新删除后的5*5*5个体素领域内各体素的有效性，继续对体素数组中，本轮中被考察体素之后的下一个有效体素，重复步骤1，对有效体素内剩余的3D点进行更新，并记录遍历过程中所有被删除的有效体素的信息。

进一步地，所述体素为立方体，每个立方体体素的边长为，且位于同一体素内的任意两点的距离不超过d。

进一步地，所述步骤S3中的点云A若在未拍摄的初始时刻，则点云A为空集。

进一步地，若所述有效体素内的全体点均被删除，则全体点被删除后的体素变为无效体素。

进一步地，所述步骤S4中拼接后的点云作为下一次拍摄的初始点云。

进一步地，所述步骤2中拼接后当前点云中的有效体素序列中排在第一位的体素重新设为被考察体素，被考察体素中与体素中心距离最短的3D点重新设为被考察点，将该重新设定的被考察点作为降采样点并进行记录，继续操作。

进一步地，所述步骤3中对有效体素内剩余的3D点进行更新时，将距离被考察体素中心最短的被考察点作为5*5*5个体素的球心，用半径为d的球形窗口对点云C进行不断切割，且每轮迭代从有效体素序列中至少删除一个当前的被考察体素。

进一步地，球形窗口是指球形邻域，即以被考察点为球心，半径为d的球形空间区域。

进一步地，步骤3中，若更新前的5*5*5个体素领域内的体素是有效的，而当前体素内不再包含任何与被考察点的距离小于d的3D点，则当前体素变为无效体素，若当前体素内仍包含与被考察点的距离小于d的3D点，则当前体素为有效体素；若更新前的体素为无效体素，则更新后的当前体素始终是无效体素。

与现有技术相比，本发明的有益效果具体体现在：

(1)本发明能在3D相机不断拍摄场景点云的同时，对不断生成的拼接点云进行同步均匀降采样，而不需要将每次拍摄的原始点云保存下来组成一个拼接点云；

(2)本发明具有降采样点云分布均匀，降采样处理快速高效，节省存储空间等优点；

(3)现有的拼接点云降采样的一大困难在于，如果将每次拍摄的原始点云保存下来进行拼接，随着拼接次数的增加，点云的总点数将变得非常巨大，给点云保存和计算带来极大困难。通过本发明使得每次保留下来的拼接点云，只包含之前降采样后的拼接点云和当前新拍摄的原始点云两部分，总点数少，便于数据计算与保存。

附图说明

图1为本发明的流程示意图；

图2为本发明点云C的体素的计算流程框图。

具体实施方式

为使本发明的目的和技术方案更加清楚，下面将结合实施例，对本发明的技术方案进行清楚、完整地描述。

实施例1

如图1所示的一种基于在线拼接点云的均匀降采样方法，具体步骤包括：

步骤S1：利用相机对物体进行拍摄，选择拍摄场景空间的包围盒区域，对获取的整个点云场景空间的包围盒区域进行栅格体素划分；具体的，所述体素为立方体，每个立方体体素的边长为，且位于同一体素内的任意两点的距离不超过d；包围盒区域可选择矩形包围盒区域，具体是指在点云中，分别获取各点坐标x、y、z三个分量中的最小者min_x、min_y、min_z与最大者max_x、max_y、max_z，这两个3D点就是矩形包围盒对角线的两个顶点，并唯一确定了包围盒的位置与大小；

步骤S2：将3D相机初始拍摄的点云设为初始点云，并设定均匀降采样后的各点间距为d，沿点云场景空间x，y，z三个方向上的体素划分数量依次记为num_x，num_y，num_z；

步骤S3：设拍摄前的点云为点云A，拍摄后的点云为点云B，将点云A和点云B进行拼接得到点云C，并计算点云C中各点的体素，对点云C进行降采样；若点云A在未拍摄的初始时刻，则点云A为空集；

步骤S4：若3D相机拍摄到待拼接的当前点云，则跳转到步骤S3，将当前拍摄的新点云与前一次降采样后的点云C进行拼接，得到一点云，并计算重新获得的一点云中各点的体素，进而获得当前新拼接的一点云的均匀降采样，结束操作；也即是，拼接后的点云作为下一次拍摄的初始点云。通过本步骤使得每次保留下来的拼接点云，只包含之前降采样后的拼接点云和当前新拍摄的原始点云两部分，总点数少，便于数据计算与保存。

如图2所示的点云C中各点的体素的计算步骤包括：

步骤1：设一体素在x，y，z三个坐标轴方向的序号分别为id_x，id_y，id_z，则该体素在全体体素中的序号为id＝id_x*num_y*num_z+id_y*num_z+id_z；将包含点云C的体素设为有效体素，将不包含点云C的体素设为无效体素，将全体有效体素按序号由小到大排序成有效体素序列；具体的，在无效体素和有效体素步骤操作中，将三维数组转换为一维数组，是为了编程实现中的代码书写规范等，但是在本技术方案的操作原理中并不是必须的，只有无效体素和有效体素的概念说明是必须的，其他可以删除。

步骤2：将有效体素序列中排在第一位的有效体素设为被考察体素，与被考察体素中心距离最短的3D点设为被考察点，将被考察点作为降采样点并进行记录；具体的，步骤2中拼接后当前点云中的有效体素序列中排在第一位的体素重新设为被考察体素，被考察体素中与体素中心距离最短的3D点重新设为被考察点，将该重新设定的被考察点作为降采样点并进行记录，继续操作；

步骤3：搜索被考察点邻近的5*5*5个体素中的有效体素，若5*5*5个体素领域内存在到被考察点距离小于d的3D点，则将距离被考察点小于d的3D点删除，并更新删除后的5*5*5个体素领域内各体素的有效性，继续对体素数组中，本轮中被考察体素之后的下一个有效体素，重复步骤1，对有效体素内剩余的3D点进行更新，并记录遍历过程中所有被删除的有效体素的信息。

其中，对有效体素内剩余的3D点进行更新时，按照序列号从小到大依次遍历有效体素序列中的剩余的有效体素，也可以按照序列号从大到小一次遍历或这其他遍历方式，直到整个有效体素序列被全部删除；因为切割球必定将本轮的这个被考察体素完全包含在内。所以本轮后，这个体素中的点云点都被删除，它也变成了无效体素。这样全体剩余的有效体素，一定是排列在本轮考察体素之后的。所以下一轮对体素数组的遍历，是以本轮被考察体素的下一位为起点的。

具体的，步骤3中对有效体素内剩余的3D点进行更新时，将距离被考察体素中心最短的被考察点作为5*5*5个体素的球心，用半径为d的球形窗口对点云C进行不断切割，若某个有效体素内的全体点都被删除，则此体素变成无效。由于当前被考察体素内任意两点距离都不超过d，所以每轮迭代都最少要从有效体素序列中删除掉当前的被考察体素，且每轮迭代从有效体素序列中至少删除一个当前的被考察体素。就这样依次遍历有效体素序列中的剩余的有效体素，直到整个有效体素序列被全部删除。这时被删除的有效体素信息就被记录下来，而被记录下来的全体降采样点，就是当前拼接点云C的均匀降采样。由于降采样是对拼接后的点云操作的，所以得到的就是拼接后的点云的降采样结果。其中球形窗口是指球形邻域，即以被考察点为球心，半径为d的球形空间区域。

具体的，以被考察体素为中心，向前后、左右、上下各搜索2个体素长度，就构成一个5*5*5个体素的邻域。由于期望将球心位于被考察点，其中被考察点位于被在考察体素内，半径为d的球体内的点云上的全体点都找出并删除，而每个体素的边长是

所以向周围延伸2个体素长度，必定将球体包围在内，即球体中要包含的点必定全在5*5*5个体素的邻域内。而如果选择比5*5*5小的范围，例如以被考察体素为中心的3*3*3体素邻域，由于一个体素立方体的边长为，那么当考察点非常接近考察体素立方体的左侧表面时，其半径为d的切割球将超出3*3*3邻域范围。也就是说，可能有位于3*3*3邻域之外的点云点也在切割球之内，但我们只在3*3*3邻域内搜索却无法找到这些点。这样就不能保证切割球每次都能将位于球体内的点云点全部删除。且如果是向周围延伸1个体素长度形成的3*3*3体素邻域，则不能保证在此邻域内找到全体切割求内的点。而若选择比5*5*5大的范围，例如7*7*7或者更大的邻域，虽然能保证在邻域内找出全体位于切割球内的点，但搜索范围变大，增大了计算量。因此选择以考察体素为中心的5*5*5个体素的邻域，来判断哪些点云中的点要被切割球删除，具有既可靠，又计算量小的优势。

且由于每轮拼接后待降采样的点云，就是上轮已降采样完的点云加上本轮新增的原始点云，故每轮处理的点云与本轮拍摄的原始点云数据量差异不大。又因为能充分利用每轮3D相机进行点云拍摄的时间，做到边拍摄，边拼接降采样，使整个获取拼接点云降采样的工作更加高效。

以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (8)

1.一种基于在线拼接点云的均匀降采样方法，其特征在于，步骤包括：

步骤S1：利用相机对物体进行拍摄，选择拍摄场景空间的包围盒区域，对获取的整个点云场景空间的包围盒区域进行栅格体素划分；

步骤S2：将3D相机初始拍摄的点云设为初始点云，并设定均匀降采样后的各点间距为d，沿点云场景空间x，y，z三个方向上的体素划分数量依次记为num_x，num_y，num_z；

步骤S3：设拍摄前的点云为点云A，拍摄后的点云为点云B，将点云A和点云B进行拼接得到点云C，并计算点云C中各点的体素，对点云C进行降采样；

步骤S4：若3D相机拍摄到待拼接的当前点云，则跳转到步骤S3，将当前拍摄的新点云与前一次降采样后的点云C进行拼接，得到一点云，并计算重新获得的一点云中各点的体素，进而获得当前新拼接的一点云的均匀降采样，结束操作；

点云C中各点的体素的计算步骤包括：

步骤1：设一体素在x，y，z三个坐标轴方向的序号分别为id_x，id_y，id_z，则一体素在全体体素中的序号为id＝id_x*num_y*num_z+id_y*num_z+id_z；将包含点云C的体素设为有效体素，将不包含点云C的体素设为无效体素，将全体有效体素按序号由小到大排序成有效体素序列；

步骤2：将有效体素序列中排在第一位的有效体素设为被考察体素，与被考察体素中心距离最短的3D点设为被考察点，将被考察点作为降采样点并进行记录；

步骤3：搜索被考察点邻近的5*5*5个体素中的有效体素，若5*5*5个体素领域内存在到被考察点距离小于d的3D点，则将距离被考察点小于d的3D点删除，并更新删除后的5*5*5个体素领域内各体素的有效性，继续对体素数组中，本轮中被考察体素之后的下一个有效体素，重复步骤1，对有效体素内剩余的3D点进行更新，并记录遍历过程中所有被删除的有效体素的信息。

2.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，所述体素为立方体，每个立方体体素的边长为

且位于同一体素内的任意两点的距离不超过d。

3.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，所述步骤S3中的点云A若在未拍摄的初始时刻，则点云A为空集。

4.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，若所述有效体素内的全体3D点均被删除，则全体3D点被删除后的体素变为无效体素。

5.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，所述步骤S4中拼接后的点云作为下一次拍摄的初始点云。

6.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，步骤2中，拼接后当前点云中的有效体素序列中排在第一位的体素重新设为被考察体素，被考察体素中与体素中心距离最短的3D点重新设为被考察点，将重新设定的被考察点作为降采样点并进行记录，继续操作。

7.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，步骤3中，对有效体素内剩余的3D点进行更新时，将距离被考察体素中心最短的被考察点作为5*5*5个体素的球心，用半径为d的球形窗口对点云C进行不断切割，且每轮迭代从有效体素序列中至少删除一个当前的被考察体素。

8.根据权利要求1所述的一种基于在线拼接点云的均匀降采样方法，其特征在于，步骤3中，若更新前的5*5*5个体素领域内的体素是有效的，而当前体素内不再包含任何与被考察点的距离小于d的3D点，则当前体素变为无效体素，若当前体素内仍包含与被考察点的距离小于d的3D点，则当前体素为有效体素。

Images