CN116363371A - 一种基于帧间相似性的点云分割方法 - Google Patents
一种基于帧间相似性的点云分割方法 Download PDFInfo
- Publication number
- CN116363371A CN116363371A CN202310601396.4A CN202310601396A CN116363371A CN 116363371 A CN116363371 A CN 116363371A CN 202310601396 A CN202310601396 A CN 202310601396A CN 116363371 A CN116363371 A CN 116363371A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- frame
- points
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000011218 segmentation Effects 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域,公开了一种基于帧间相似性的点云分割方法,包括如下步骤:将给定的点云视频分成多个固定长度的视频帧组,每个视频帧组中包含一个参考帧和多个预测帧;对参考帧进行聚类分割,生成多个固定大小且互不相交的点云片;对参考帧点云片运用迭代最近点算法做点云配准,生成转换后的参考帧点云片,然后关联预测帧与转换后的参考帧点云,生成初始预测帧点云片;对生成的初始预测帧点云片,调整点云片内的点,使预测帧点云片与参考帧点云片点数一致,位置对应。本发明所公开的方法利用点云视频帧之间的相似性,分割出固定点数且保留帧间对应关系的点云片;解决了点云存储、传输以及处理过程中需要消耗大量内存和带宽的问题。
Description
技术领域
本发明属于计算机视觉领域,特别涉及一种基于帧间相似性的点云分割方法。
背景技术
点云是一组三维坐标点,表示一个视觉对象或场景的坐标,在虚拟现实和增强现实等沉浸式交互应用领域,点云也得到了充分的应用。但是现实点云表示往往需要大量的点,为存储和传输带来很大的挑战,在对点云进行编码或其他处理任务时,因为点云太大很难一次性处理,所以通常需要将完整的点云分割成更小的部分进行操作。
然而,现有的点云分割方法往往都只是基于形状的相似性,并且点数也不固定,但是接受固定大小的输入是许多处理方法的共同需求,尤其是对于神经网络的处理,许多神经网络的方法只能接受固定维度参数的输入,因此分割出固定点数的点云片是非常有必要的。而且对于点云视频,编码以及其他操作往往要利用视频帧点云之间的关系,单独对每个点云单独分片就会让点云片间失去相邻帧点云间的对应关系,为了维持点云视频内在的联系,就需要找到一种既能保证点云片点数一致又能保存帧间关系的点云分割方法。
发明内容
为解决上述技术问题,本发明提供了一种基于帧间相似性的点云分割方法,以达到分割的点云片既包含相同数量的点,并且具有帧间对应关系的目的。
为达到上述目的,本发明的技术方案如下:
一种基于帧间相似性的点云分割方法,包括如下步骤:
S1、点云视频分组阶段:将给定的点云视频分成多个固定长度的视频帧组,每个视频帧组中包含一个参考帧和多个预测帧;
S2、参考帧点云片生成阶段:对参考帧进行聚类分割,生成多个固定大小且互不相交的点云片;
S3、预测帧点云片生成阶段:对上一阶段生成的参考帧点云片运用迭代最近点算法做点云配准,生成转换后的参考帧点云片,然后关联预测帧与转换后的参考帧点云,生成初始预测帧点云片;
S4、预测帧点云片调整阶段:对上一阶段生成的初始预测帧点云片,调整点云片内的点,使预测帧点云片与参考帧点云片点数一致,位置对应。
上述方案中,S1中,视频帧组中的第一帧为参考帧,剩余帧都是预测帧。
上述方案中,S2的具体过程如下:
S22、对点数最多的个点云块,计算点云块内所有点坐标的均值作为参考帧的初始聚类中心,依据点到各个聚类中心的距离,选取距离最近的聚类中心作为该点所属的聚类中心,最终将参考帧点云聚类分成/>个初始点云片,/>表示取整数;
S24、检查相邻点云片中点到聚类中心的距离,如果存在点距离相邻点云片聚类中心更近的情况,就进行相邻点云片间的点交换,避免相邻点云片的重叠,保证点云片中点更加紧凑。
上述方案中,S3的具体过程如下:
式中,是指参考帧共分成/>个点云片,/>是参考帧的第/>个点云片,/>是预测帧中的一个点,P是参考帧,/>是参考帧中的一个点,/>是指计算两个点间的距离,/>是指计算一个点到一个点云中所有点的最短距离,/>是指取到最小距离时j的值;
通过以上方式完成预测帧点云聚类分割;
上述方案中,S4的具体过程如下:
S41、对上一阶段生成的每个点云片对,构建一个分辨率为r的八叉树,共有m个节点,每个节点都是一个点集:
如果同时包含来自经过变换的参考帧点和预测帧点的节点中有足够的来自经过变换的参考帧点用来复制,优先选择具有最多来自经过变换的参考帧点和任意预测帧点的节点,候选点是具有最近预测帧邻居的节点;只要点被复制,近期就不会在该节点及在其2r范围内的相邻节点中进行选点,反复选择点和复制点,直到该点云片有个点;
如果同时包含来自经过变换的参考帧点和预测帧点的节点中没有足够的来自经过变换的参考帧点用来复制,首先直接复制这些节点中的所有经过变换的参考帧点,然后从只有经过变换的参考帧点的节点中选择仍然缺失的点,检查这些节点中的点,复制具有最近预测帧邻居的点,直到预测帧点云片具有个点;
进一步的技术方案中,所述近期是指在迭代选择点的一轮操作过程中,仍然存在没有被选择过的以及不与被选择过的节点相邻的节点的期间。
通过上述技术方案,本发明提供的一种基于帧间相似性的点云分割方法具有如下有益效果:
(1)本发明设计了一种点云分割方法,将点云分割为独立的部分,解决了点云存储、传输以及处理过程中需要消耗大量内存和带宽的问题。
(2)本发明通过利用点云配准方法,充分获取点云帧间的对应关系,进而实现对不同点云视频帧分割出相同对象的点云片。
(3)本发明充分利用点云视频帧之间的相似性这一特性,使用八叉树节点中点对应的方法,分割出固定点数且保留帧间对应关系的点云片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种基于帧间相似性的点云分割方法流程图。
图2为本发明参考帧点云片生成阶段流程图。
图3为本发明预测帧点云片调整阶段流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于帧间相似性的点云分割方法,如图1所示,包括如下步骤:
S1、点云视频分组阶段:将给定的点云视频分成多个固定长度的视频帧组,每个视频帧组中包含一个参考帧和多个预测帧。
S2、参考帧点云片生成阶段:对参考帧进行聚类分割,生成多个固定大小且互不相交的点云片。
如图2所示,具体过程如下:
S22、对点数最多的个点云块,计算点云块内所有点坐标的均值作为参考帧的初始聚类中心,依据点到各个聚类中心的距离,选取距离最近的聚类中心作为该点所属的聚类中心,最终将参考帧点云聚类分成/>个初始点云片,/>表示取整数;
S24、检查相邻点云片中点到聚类中心的距离,如果存在点距离相邻点云片聚类中心更近的情况,就进行相邻点云片间的点交换,避免相邻点云片的重叠,保证点云片中点更加紧凑。
S3、预测帧点云片生成阶段:对上一阶段生成的参考帧点云片运用迭代最近点算法做点云配准,生成转换后的参考帧点云片,然后关联预测帧与转换后的参考帧点云,生成初始预测帧点云片。
具体过程如下:
式中,是指参考帧共分成/>个点云片,/>是参考帧的第/>个点云片,/>是预测帧中的一个点,P是参考帧,/>是参考帧中的一个点,/>是指计算两个点间的距离,/>是指计算一个点到一个点云中所有点的最短距离,/>是指取到最小距离时j的值;
通过以上方式完成预测帧点云聚类分割;
S4、预测帧点云片调整阶段:对上一阶段生成的初始预测帧点云片,调整点云片内的点,使预测帧点云片与参考帧点云片点数一致,位置对应。
如图3所示,具体过程如下:
S41、对上一阶段生成的每个点云片对,构建一个分辨率为r的八叉树,共有m个节点,每个节点都是一个点集:
如果同时包含来自经过变换的参考帧点和预测帧点的节点中有足够的来自经过变换的参考帧点用来复制,优先选择具有最多来自经过变换的参考帧点和任意预测帧点的节点,候选点是具有最近预测帧邻居的节点;只要点被复制,近期就不会在该节点及在其2r范围内的相邻节点中进行选点,反复选择点和复制点,直到该点云片有个点;
如果同时包含来自经过变换的参考帧点和预测帧点的节点中没有足够的来自经过变换的参考帧点用来复制,首先直接复制这些节点中的所有经过变换的参考帧点,然后从只有经过变换的参考帧点的节点中选择仍然缺失的点,检查这些节点中的点,复制具有最近预测帧邻居的点,直到预测帧点云片具有个点;
其中,近期是指在迭代选择点的一轮操作过程中,仍然存在没有被选择过的以及不与被选择过的节点相邻的节点的期间,在全部节点都被选择过或者与被选择过的节点相邻时,就进入到下一轮重新开始。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于帧间相似性的点云分割方法,其特征在于,包括如下步骤:
S1、点云视频分组阶段:将给定的点云视频分成多个固定长度的视频帧组,每个视频帧组中包含一个参考帧和多个预测帧;
S2、参考帧点云片生成阶段:对参考帧进行聚类分割,生成多个固定大小且互不相交的点云片;
S3、预测帧点云片生成阶段:对上一阶段生成的参考帧点云片运用迭代最近点算法做点云配准,生成转换后的参考帧点云片,然后关联预测帧与转换后的参考帧点云,生成初始预测帧点云片;
S4、预测帧点云片调整阶段:对上一阶段生成的初始预测帧点云片,调整点云片内的点,使预测帧点云片与参考帧点云片点数一致,位置对应。
2.根据权利要求1所述的一种基于帧间相似性的点云分割方法,其特征在于,S1中,视频帧组中的第一帧为参考帧,剩余帧都是预测帧。
4.根据权利要求1所述的一种基于帧间相似性的点云分割方法,其特征在于,S2的具体过程如下:
S22、对点数最多的个点云块,计算点云块内所有点坐标的均值作为参考帧的初始聚类中心,依据点到各个聚类中心的距离,选取距离最近的聚类中心作为该点所属的聚类中心,最终将参考帧点云聚类分成/>个初始点云片,/>表示取整数;
S24、检查相邻点云片中点到聚类中心的距离,如果存在点距离相邻点云片聚类中心更近的情况,就进行相邻点云片间的点交换,避免相邻点云片的重叠,保证点云片中点更加紧凑。
5.根据权利要求1所述的一种基于帧间相似性的点云分割方法,其特征在于,S3的具体过程如下:
式中,是指参考帧共分成/>个点云片,/>是参考帧的第/>个点云片,/>是预测帧中的一个点,P是参考帧,/>是参考帧中的一个点,/>是指计算两个点间的距离,/>是指计算一个点到一个点云中所有点的最短距离,/>是指取到最小距离时j的值;
通过以上方式完成预测帧点云聚类分割;
6.根据权利要求1所述的一种基于帧间相似性的点云分割方法,其特征在于,S4的具体过程如下:
S41、对上一阶段生成的每个点云片对,构建一个分辨率为r的八叉树,共有m个节点,每个节点都是一个点集:
如果同时包含来自经过变换的参考帧点和预测帧点的节点中有足够的来自经过变换的参考帧点用来复制,优先选择具有最多来自经过变换的参考帧点和任意预测帧点的节点,候选点是具有最近预测帧邻居的节点;只要点被复制,近期就不会在该节点及在其2r范围内的相邻节点中进行选点,反复选择点和复制点,直到该点云片有个点;
如果同时包含来自经过变换的参考帧点和预测帧点的节点中没有足够的来自经过变换的参考帧点用来复制,首先直接复制这些节点中的所有经过变换的参考帧点,然后从只有经过变换的参考帧点的节点中选择仍然缺失的点,检查这些节点中的点,复制具有最近预测帧邻居的点,直到预测帧点云片具有个点;
7.根据权利要求6所述的一种基于帧间相似性的点云分割方法,其特征在于,所述近期是指在迭代选择点的一轮操作过程中,仍然存在没有被选择过的以及不与被选择过的节点相邻的节点的期间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310601396.4A CN116363371B (zh) | 2023-05-26 | 2023-05-26 | 一种基于帧间相似性的点云分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310601396.4A CN116363371B (zh) | 2023-05-26 | 2023-05-26 | 一种基于帧间相似性的点云分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116363371A true CN116363371A (zh) | 2023-06-30 |
CN116363371B CN116363371B (zh) | 2023-08-01 |
Family
ID=86910025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310601396.4A Active CN116363371B (zh) | 2023-05-26 | 2023-05-26 | 一种基于帧间相似性的点云分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363371B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210049769A1 (en) * | 2018-03-14 | 2021-02-18 | Zhejiang University | Vibe-based three-dimensional sonar point cloud image segmentation method |
CN112381861A (zh) * | 2020-09-18 | 2021-02-19 | 南京航空航天大学 | 一种基于地基激光雷达的林地点云数据配准和分割方法 |
CN113516682A (zh) * | 2021-07-08 | 2021-10-19 | 福州大学 | 一种激光slam的回环检测方法 |
CN115861957A (zh) * | 2023-01-19 | 2023-03-28 | 中国科学技术大学 | 一种基于传感器融合的新型动态物体分割方法 |
-
2023
- 2023-05-26 CN CN202310601396.4A patent/CN116363371B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210049769A1 (en) * | 2018-03-14 | 2021-02-18 | Zhejiang University | Vibe-based three-dimensional sonar point cloud image segmentation method |
CN112381861A (zh) * | 2020-09-18 | 2021-02-19 | 南京航空航天大学 | 一种基于地基激光雷达的林地点云数据配准和分割方法 |
CN113516682A (zh) * | 2021-07-08 | 2021-10-19 | 福州大学 | 一种激光slam的回环检测方法 |
CN115861957A (zh) * | 2023-01-19 | 2023-03-28 | 中国科学技术大学 | 一种基于传感器融合的新型动态物体分割方法 |
Non-Patent Citations (2)
Title |
---|
YANG WEIJUN ET AL.: "Airborne LiDAR and Photogrammetric Point Cloud Fusion for Extraction of Urban Tree Metrics According to Street Network Segmentation", 《IEEE ACCESS》 * |
刘娜: "三维羊体点云数据配准与分割算法的研究", 《知网》 * |
Also Published As
Publication number | Publication date |
---|---|
CN116363371B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112181971A (zh) | 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质 | |
CN111368662A (zh) | 一种人脸图像属性编辑方法、装置、存储介质及设备 | |
Huang et al. | AITransfer: Progressive AI-powered transmission for real-time point cloud video streaming | |
WO2020143513A1 (zh) | 一种超分辨率图像的重构方法、装置及设备 | |
CN111627119B (zh) | 纹理贴图方法及装置、设备、存储介质 | |
CN112270332A (zh) | 一种基于子流稀疏卷积的三维目标检测方法及系统 | |
CN105828081A (zh) | 编码方法及编码装置 | |
CN111617480A (zh) | 一种点云渲染方法及装置 | |
CN111951368A (zh) | 一种点云、体素和多视图融合的深度学习方法 | |
JPH1097644A (ja) | 不規則メッシュを用いた対象物指向画像表現方法及びその装置 | |
JP2024511018A (ja) | 空間関係の決定方法、装置、コンピュータ装置及び記憶媒体 | |
CN107533760B (zh) | 一种图像分割方法和装置 | |
CN111553296A (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
CN104732579A (zh) | 基于光分片的多光源场景渲染方法 | |
CN114694081A (zh) | 一种基于多元属性合成的视频样本生成方法 | |
CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
CN116363371B (zh) | 一种基于帧间相似性的点云分割方法 | |
Tohidi et al. | Dynamic point cloud compression with cross-sectional approach | |
CN110751684B (zh) | 基于深度摄像模组的物体三维重建方法 | |
CN111402422B (zh) | 三维表面重建方法、装置和电子设备 | |
CN116228986A (zh) | 一种基于局部到全局补全策略的室内场景光照估计方法 | |
CN111695689A (zh) | 一种自然语言处理方法、装置、设备及可读存储介质 | |
US20220044370A1 (en) | Image processing methods | |
CN108197613B (zh) | 一种基于深度卷积级联网络的人脸检测优化方法 | |
CN114565511B (zh) | 基于全局单应性估计的轻量级图像配准方法、系统及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |