CN116363371B - 一种基于帧间相似性的点云分割方法 - Google Patents

一种基于帧间相似性的点云分割方法 Download PDF

Info

Publication number
CN116363371B
CN116363371B CN202310601396.4A CN202310601396A CN116363371B CN 116363371 B CN116363371 B CN 116363371B CN 202310601396 A CN202310601396 A CN 202310601396A CN 116363371 B CN116363371 B CN 116363371B
Authority
CN
China
Prior art keywords
point cloud
point
frame
points
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310601396.4A
Other languages
English (en)
Other versions
CN116363371A (zh
Inventor
肖梦白
潘子睿
于东晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310601396.4A priority Critical patent/CN116363371B/zh
Publication of CN116363371A publication Critical patent/CN116363371A/zh
Application granted granted Critical
Publication of CN116363371B publication Critical patent/CN116363371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，公开了一种基于帧间相似性的点云分割方法，包括如下步骤：将给定的点云视频分成多个固定长度的视频帧组，每个视频帧组中包含一个参考帧和多个预测帧；对参考帧进行聚类分割，生成多个固定大小且互不相交的点云片；对参考帧点云片运用迭代最近点算法做点云配准，生成转换后的参考帧点云片，然后关联预测帧与转换后的参考帧点云，生成初始预测帧点云片；对生成的初始预测帧点云片，调整点云片内的点，使预测帧点云片与参考帧点云片点数一致，位置对应。本发明所公开的方法利用点云视频帧之间的相似性，分割出固定点数且保留帧间对应关系的点云片；解决了点云存储、传输以及处理过程中需要消耗大量内存和带宽的问题。

Description

一种基于帧间相似性的点云分割方法
技术领域
本发明属于计算机视觉领域，特别涉及一种基于帧间相似性的点云分割方法。
背景技术
点云是一组三维坐标点，表示一个视觉对象或场景的坐标，在虚拟现实和增强现实等沉浸式交互应用领域，点云也得到了充分的应用。但是现实点云表示往往需要大量的点，为存储和传输带来很大的挑战，在对点云进行编码或其他处理任务时，因为点云太大很难一次性处理，所以通常需要将完整的点云分割成更小的部分进行操作。
然而，现有的点云分割方法往往都只是基于形状的相似性，并且点数也不固定，但是接受固定大小的输入是许多处理方法的共同需求，尤其是对于神经网络的处理，许多神经网络的方法只能接受固定维度参数的输入，因此分割出固定点数的点云片是非常有必要的。而且对于点云视频，编码以及其他操作往往要利用视频帧点云之间的关系，单独对每个点云单独分片就会让点云片间失去相邻帧点云间的对应关系，为了维持点云视频内在的联系，就需要找到一种既能保证点云片点数一致又能保存帧间关系的点云分割方法。
发明内容
为解决上述技术问题，本发明提供了一种基于帧间相似性的点云分割方法，以达到分割的点云片既包含相同数量的点，并且具有帧间对应关系的目的。
为达到上述目的，本发明的技术方案如下：
一种基于帧间相似性的点云分割方法，包括如下步骤：
S1、点云视频分组阶段：将给定的点云视频分成多个固定长度的视频帧组，每个视频帧组中包含一个参考帧和多个预测帧；
S2、参考帧点云片生成阶段：对参考帧进行聚类分割，生成多个固定大小且互不相交的点云片；
S3、预测帧点云片生成阶段：对上一阶段生成的参考帧点云片运用迭代最近点算法做点云配准，生成转换后的参考帧点云片，然后关联预测帧与转换后的参考帧点云，生成初始预测帧点云片；
S4、预测帧点云片调整阶段：对上一阶段生成的初始预测帧点云片，调整点云片内的点，使预测帧点云片与参考帧点云片点数一致，位置对应。
上述方案中，S1中，视频帧组中的第一帧为参考帧，剩余帧都是预测帧。
上述方案中，S1中，一个参考帧中共有个点，每个点云片中预计包含/>个点，为得到多个完整的点云片，需要从参考帧点云中随机删除XmodN个点，mod表示取余数。
上述方案中，S2的具体过程如下：
S21、首先对参考帧点云依据点云三维坐标均匀分割成多个点云块，对于点数多于的点云块对半分割，直至所有点云块中的点数均小于等于/>；
S22、对点数最多的个点云块，计算点云块内所有点坐标的均值作为参考帧的初始聚类中心，依据点到各个聚类中心的距离，选取距离最近的聚类中心作为该点所属的聚类中心，最终将参考帧点云聚类分成/>个初始点云片，/>表示取整数；
S23、迭代地在相邻点云片间移动点，直至所有点云片中点的数量均为预计点云片大小，使点云片大小一致；
S24、检查相邻点云片中点到聚类中心的距离，如果存在点距离相邻点云片聚类中心更近的情况，就进行相邻点云片间的点交换，避免相邻点云片的重叠，保证点云片中点更加紧凑。
上述方案中，S3的具体过程如下：
S31、对参考帧的每个点云片与预测帧之间，运用迭代最近点算法做点云配准，得到一个最佳变换矩阵；
S32、对预测帧中的每个点，将其与经过变换后的参考帧点云片相关联，获取每个点的最近邻点云片：
；
；
式中，是指参考帧共分成/>个点云片，/>是参考帧的第/>个点云片，/>是预测帧中的一个点，P是参考帧，/>是参考帧中的一个点，/>是指计算两个点间的距离，/>是指计算一个点到一个点云中所有点的最短距离，/>是指取到最小距离时j的值；
通过以上方式完成预测帧点云聚类分割；
S33、根据上一步骤算出的最近邻点云片进行聚类，将预测帧分成个点云片，每个点云片都与一个经过变换后的参考帧点云片配对，形成一个点云片对。
上述方案中，S4的具体过程如下：
S41、对上一阶段生成的每个点云片对，构建一个分辨率为r的八叉树，共有m个节点，每个节点都是一个点集：
；
其中，是指八叉树m个节点中的第i个节点，/>和/>分别是变换后的参考帧和预测帧的点集，每个节点都由来自经过变换的参考帧点和预测帧点组成；
S42、对于点数少于的预测帧点云片，从经过变换的参考帧点云片中选取点复制到预测点云片中；
如果同时包含来自经过变换的参考帧点和预测帧点的节点中有足够的来自经过变换的参考帧点用来复制，优先选择具有最多来自经过变换的参考帧点和任意预测帧点的节点，候选点是具有最近预测帧邻居的节点；只要点被复制，近期就不会在该节点及在其2r范围内的相邻节点中进行选点，反复选择点和复制点，直到该点云片有个点；
如果同时包含来自经过变换的参考帧点和预测帧点的节点中没有足够的来自经过变换的参考帧点用来复制，首先直接复制这些节点中的所有经过变换的参考帧点，然后从只有经过变换的参考帧点的节点中选择仍然缺失的点，检查这些节点中的点，复制具有最近预测帧邻居的点，直到预测帧点云片具有个点；
对于点数多于的预测帧点云片，优先选择具有最多预测帧点的节点，从中随机删除一个预测帧点，并且近期不会从该节点及在其2r范围内的相邻节点中删除点，迭代删除预测帧点，直到预测帧点云片具有精确的/>个点。
进一步的技术方案中，所述近期是指在迭代选择点的一轮操作过程中，仍然存在没有被选择过的以及不与被选择过的节点相邻的节点的期间。
通过上述技术方案，本发明提供的一种基于帧间相似性的点云分割方法具有如下有益效果：
（1）本发明设计了一种点云分割方法，将点云分割为独立的部分，解决了点云存储、传输以及处理过程中需要消耗大量内存和带宽的问题。
（2）本发明通过利用点云配准方法，充分获取点云帧间的对应关系，进而实现对不同点云视频帧分割出相同对象的点云片。
（3）本发明充分利用点云视频帧之间的相似性这一特性，使用八叉树节点中点对应的方法，分割出固定点数且保留帧间对应关系的点云片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种基于帧间相似性的点云分割方法流程图。
图2为本发明参考帧点云片生成阶段流程图。
图3为本发明预测帧点云片调整阶段流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于帧间相似性的点云分割方法，如图1所示，包括如下步骤：
S1、点云视频分组阶段：将给定的点云视频分成多个固定长度的视频帧组，每个视频帧组中包含一个参考帧和多个预测帧。
视频帧组中的第一帧为参考帧，剩余帧都是预测帧。一个参考帧中共有个点，每个点云片中预计包含/>个点，为得到多个完整的点云片，需要从参考帧点云中随机删除XmodN个点，mod表示取余数。
S2、参考帧点云片生成阶段：对参考帧进行聚类分割，生成多个固定大小且互不相交的点云片。
如图2所示，具体过程如下：
S21、首先对参考帧点云依据点云三维坐标均匀分割成多个点云块，对于点数多于的点云块对半分割，直至所有点云块中的点数均小于等于/>；
S22、对点数最多的个点云块，计算点云块内所有点坐标的均值作为参考帧的初始聚类中心，依据点到各个聚类中心的距离，选取距离最近的聚类中心作为该点所属的聚类中心，最终将参考帧点云聚类分成/>个初始点云片，/>表示取整数；
S23、迭代地在相邻点云片间移动点，直至所有点云片中点的数量均为预计点云片大小，使点云片大小一致；
S24、检查相邻点云片中点到聚类中心的距离，如果存在点距离相邻点云片聚类中心更近的情况，就进行相邻点云片间的点交换，避免相邻点云片的重叠，保证点云片中点更加紧凑。
S3、预测帧点云片生成阶段：对上一阶段生成的参考帧点云片运用迭代最近点算法做点云配准，生成转换后的参考帧点云片，然后关联预测帧与转换后的参考帧点云，生成初始预测帧点云片。
具体过程如下：
S31、对参考帧的每个点云片与预测帧之间，运用迭代最近点算法做点云配准，得到一个最佳变换矩阵；
S32、对预测帧中的每个点，将其与经过变换后的参考帧点云片相关联，获取每个点的最近邻点云片：
；
；
式中，是指参考帧共分成/>个点云片，/>是参考帧的第/>个点云片，/>是预测帧中的一个点，P是参考帧，/>是参考帧中的一个点，/>是指计算两个点间的距离，/>是指计算一个点到一个点云中所有点的最短距离，/>是指取到最小距离时j的值；
通过以上方式完成预测帧点云聚类分割；
S33、根据上一步骤算出的最近邻点云片进行聚类，将预测帧分成个点云片，每个点云片都与一个经过变换后的参考帧点云片配对，形成一个点云片对。
S4、预测帧点云片调整阶段：对上一阶段生成的初始预测帧点云片，调整点云片内的点，使预测帧点云片与参考帧点云片点数一致，位置对应。
如图3所示，具体过程如下：
S41、对上一阶段生成的每个点云片对，构建一个分辨率为r的八叉树，共有m个节点，每个节点都是一个点集：
；
其中，是指八叉树m个节点中的第i个节点，/>和/>分别是变换后的参考帧和预测帧的点集，每个节点都由来自经过变换的参考帧点和预测帧点组成；
S42、对于点数少于的预测帧点云片，从经过变换的参考帧点云片中选取点复制到预测点云片中；
如果同时包含来自经过变换的参考帧点和预测帧点的节点中有足够的来自经过变换的参考帧点用来复制，优先选择具有最多来自经过变换的参考帧点和任意预测帧点的节点，候选点是具有最近预测帧邻居的节点；只要点被复制，近期就不会在该节点及在其2r范围内的相邻节点中进行选点，反复选择点和复制点，直到该点云片有个点；
如果同时包含来自经过变换的参考帧点和预测帧点的节点中没有足够的来自经过变换的参考帧点用来复制，首先直接复制这些节点中的所有经过变换的参考帧点，然后从只有经过变换的参考帧点的节点中选择仍然缺失的点，检查这些节点中的点，复制具有最近预测帧邻居的点，直到预测帧点云片具有个点；
对于点数多于的预测帧点云片，优先选择具有最多预测帧点的节点，从中随机删除一个预测帧点，并且近期不会从该节点及在其2r范围内的相邻节点中删除点，迭代删除预测帧点，直到预测帧点云片具有精确的/>个点。
由于当前预测帧点云片点数少于，假设当前预测帧点云片的点数为C，此时还需 要个点，足够的意思是指同时包含来自经过变换的参考帧点和预测帧点的节点中有 大于等于个点来自经过变换的参考帧。
其中，近期是指在迭代选择点的一轮操作过程中，仍然存在没有被选择过的以及不与被选择过的节点相邻的节点的期间，在全部节点都被选择过或者与被选择过的节点相邻时，就进入到下一轮重新开始。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于帧间相似性的点云分割方法，其特征在于，包括如下步骤：
S1、点云视频分组阶段：将给定的点云视频分成多个固定长度的视频帧组，每个视频帧组中包含一个参考帧和多个预测帧；
S2、参考帧点云片生成阶段：对参考帧进行聚类分割，生成多个固定大小且互不相交的点云片；
S3、预测帧点云片生成阶段：对上一阶段生成的参考帧点云片运用迭代最近点算法做点云配准，生成转换后的参考帧点云片，然后关联预测帧与转换后的参考帧点云，生成初始预测帧点云片；
S4、预测帧点云片调整阶段：对上一阶段生成的初始预测帧点云片，调整点云片内的点，使预测帧点云片与参考帧点云片点数一致，位置对应；
S4的具体过程如下：
S41、对上一阶段生成的每个点云片对，构建一个分辨率为r的八叉树，共有m个节点，每个节点都是一个点集：
；
其中，是指八叉树m个节点中的第i个节点，/>和/>分别是变换后的参考帧和预测帧的点集，每个节点都由来自经过变换的参考帧点和预测帧点组成；
S42、对于点数少于的预测帧点云片，从经过变换的参考帧点云片中选取点复制到预测点云片中；
如果同时包含来自经过变换的参考帧点和预测帧点的节点中有足够的来自经过变换的参考帧点用来复制，优先选择具有最多来自经过变换的参考帧点和任意预测帧点的节点，候选点是具有最近预测帧邻居的节点；只要点被复制，近期就不会在该节点及在其2r范围内的相邻节点中进行选点，反复选择点和复制点，直到该点云片有个点；
如果同时包含来自经过变换的参考帧点和预测帧点的节点中没有足够的来自经过变换的参考帧点用来复制，首先直接复制这些节点中的所有经过变换的参考帧点，然后从只有经过变换的参考帧点的节点中选择仍然缺失的点，检查这些节点中的点，复制具有最近预测帧邻居的点，直到预测帧点云片具有个点；
对于点数多于的预测帧点云片，优先选择具有最多预测帧点的节点，从中随机删除一个预测帧点，并且近期不会从该节点及在其2r范围内的相邻节点中删除点，迭代删除预测帧点，直到预测帧点云片具有精确的/>个点。
2.根据权利要求1所述的一种基于帧间相似性的点云分割方法，其特征在于，S1中，视频帧组中的第一帧为参考帧，剩余帧都是预测帧。
3.根据权利要求1所述的一种基于帧间相似性的点云分割方法，其特征在于，S1中，一个参考帧中共有个点，每个点云片中预计包含/>个点，为得到多个完整的点云片，需要从参考帧点云中随机删除XmodN个点，mod表示取余数。
4.根据权利要求1所述的一种基于帧间相似性的点云分割方法，其特征在于，S2的具体过程如下：
S21、首先对参考帧点云依据点云三维坐标均匀分割成多个点云块，对于点数多于的点云块对半分割，直至所有点云块中的点数均小于等于/>；
S22、对点数最多的个点云块，计算点云块内所有点坐标的均值作为参考帧的初始聚类中心，依据点到各个聚类中心的距离，选取距离最近的聚类中心作为该点所属的聚类中心，最终将参考帧点云聚类分成/>个初始点云片，/>表示取整数；
S23、迭代地在相邻点云片间移动点，直至所有点云片中点的数量均为预计点云片大小，使点云片大小一致；
S24、检查相邻点云片中点到聚类中心的距离，如果存在点距离相邻点云片聚类中心更近的情况，就进行相邻点云片间的点交换，避免相邻点云片的重叠，保证点云片中点更加紧凑。
5.根据权利要求1所述的一种基于帧间相似性的点云分割方法，其特征在于，S3的具体过程如下：
S31、对参考帧的每个点云片与预测帧之间，运用迭代最近点算法做点云配准，得到一个最佳变换矩阵；
S32、对预测帧中的每个点，将其与经过变换后的参考帧点云片相关联，获取每个点的最近邻点云片：
；
；
式中，是指参考帧共分成/>个点云片，/>是参考帧的第/>个点云片，/>是预测帧中的一个点，P是参考帧，/>是参考帧中的一个点，/>是指计算两个点间的距离，/>是指计算一个点到一个点云中所有点的最短距离，/>是指取到最小距离时j的值；
通过以上方式完成预测帧点云聚类分割；
S33、根据上一步骤算出的最近邻点云片进行聚类，将预测帧分成个点云片，每个点云片都与一个经过变换后的参考帧点云片配对，形成一个点云片对。
6.根据权利要求1所述的一种基于帧间相似性的点云分割方法，其特征在于，所述近期是指在迭代选择点的一轮操作过程中，仍然存在没有被选择过的以及不与被选择过的节点相邻的节点的期间。
CN202310601396.4A 2023-05-26 2023-05-26 一种基于帧间相似性的点云分割方法 Active CN116363371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310601396.4A CN116363371B (zh) 2023-05-26 2023-05-26 一种基于帧间相似性的点云分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310601396.4A CN116363371B (zh) 2023-05-26 2023-05-26 一种基于帧间相似性的点云分割方法

Publications (2)

Publication Number Publication Date
CN116363371A CN116363371A (zh) 2023-06-30
CN116363371B true CN116363371B (zh) 2023-08-01

Family

ID=86910025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310601396.4A Active CN116363371B (zh) 2023-05-26 2023-05-26 一种基于帧间相似性的点云分割方法

Country Status (1)

Country Link
CN (1) CN116363371B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381861A (zh) * 2020-09-18 2021-02-19 南京航空航天大学 一种基于地基激光雷达的林地点云数据配准和分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537814B (zh) * 2018-03-14 2019-09-03 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
CN113516682B (zh) * 2021-07-08 2023-08-11 福州大学 一种激光slam的回环检测方法
CN115861957B (zh) * 2023-01-19 2023-06-16 中国科学技术大学 一种基于传感器融合的新型动态物体分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381861A (zh) * 2020-09-18 2021-02-19 南京航空航天大学 一种基于地基激光雷达的林地点云数据配准和分割方法

Also Published As

Publication number Publication date
CN116363371A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN112181971A (zh) 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质
CN107209853B (zh) 定位和地图构建方法
Huang et al. AITransfer: Progressive AI-powered transmission for real-time point cloud video streaming
CN110930309A (zh) 基于多视图纹理学习的人脸超分辨率方法及装置
WO2020143513A1 (zh) 一种超分辨率图像的重构方法、装置及设备
CN103345508A (zh) 一种适用于社会网络图的数据存储方法及系统
CN109829066B (zh) 基于分层结构的局部敏感哈希图像索引方法
CN111738276A (zh) 基于多核卷积神经网络的图像处理方法、装置及设备
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及系统
JP2918513B2 (ja) 不規則メッシュを用いた対象物指向画像表現方法及びその装置
CN105828081A (zh) 编码方法及编码装置
CN111627119A (zh) 纹理贴图方法及装置、设备、存储介质
CN111617480A (zh) 一种点云渲染方法及装置
CN116363371B (zh) 一种基于帧间相似性的点云分割方法
KR20210061119A (ko) 큰 규모 분산 행렬 곱 처리 방법 및 그 장치
Khan et al. Ntire 2022 challenge on efficient super-resolution: Methods and results
Tohidi et al. Dynamic point cloud compression with cross-sectional approach
CN110751684B (zh) 基于深度摄像模组的物体三维重建方法
WO2021027745A1 (zh) 一种图重构方法及装置
CN111695689A (zh) 一种自然语言处理方法、装置、设备及可读存储介质
CN116228986A (zh) 一种基于局部到全局补全策略的室内场景光照估计方法
US12094084B2 (en) Multi-channel feature map fusion
Li et al. MVStylizer: An efficient edge-assisted video photorealistic style transfer system for mobile phones
CN114611667A (zh) 一种基于小规模参数矩阵计算特征图边界的重构方法
CN117034367B (zh) 一种电子印章密钥管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant