CN117115263A - 一种基于点云数据处理的语义动态建模方法 - Google Patents
一种基于点云数据处理的语义动态建模方法 Download PDFInfo
- Publication number
- CN117115263A CN117115263A CN202311037885.8A CN202311037885A CN117115263A CN 117115263 A CN117115263 A CN 117115263A CN 202311037885 A CN202311037885 A CN 202311037885A CN 117115263 A CN117115263 A CN 117115263A
- Authority
- CN
- China
- Prior art keywords
- depth
- data point
- current frame
- depth image
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 title claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 62
- 238000009826 distribution Methods 0.000 claims abstract description 21
- 238000003860 storage Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉技术领域，具体涉及一种基于点云数据处理的语义动态建模方法，包括：摄制点云；构建三维点云分布图；计算当前帧中每个数据点的深度变化差分，表征空间上该数据点的相对运动状态；根据当前帧中各点差分数据，对分布图中的点云划分若干聚类；计算每个聚类中各点差分数据的高斯平均，表征该聚类相对运动状态；将聚类中差分与对应高斯平均值之差大于阈值的点删除；计算该聚类中剩余各点差分的高斯平均，重新表征该聚类相对运动状态；将占有最大面积的聚类作为背景，对各聚类三维显示并标记对应的运动状态，完成当前帧建模。本发明能够以低时间复杂度的方式准确判断点云的运动状态和位置关系。
Description
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于点云数据处理的语义动态建模方法。
背景技术
动态建模可以高效解决大数据运用领域中动态图像处理的相关领域，如高精度制造中的产品流式检查，恶劣环境下的环境探测、无人物资运输和定点投递问题，在物流转运、紧急救援、智能制造方面皆有重要应用。近年来，动态建模技术得到充分的发展，建模系统鲁棒性、运行速度进一步增强，精度明显提高。但是，主流的动态建模算法多是基于图像中的边缘或角点这些比较显著的数据点，或称“特征点”，来判断物体的空间位置，再根据帧与帧之间的连续性，判别物体的运动状态。
而基于语义的动态建模旨在对分辨相似物体的整体结构，为点集或图像设置标签，识别和跟踪运动状态的目标物体，以应对复杂场景。例如：1、专利号为CN110533716A，名称为一种基于3D约束的语义SLAM系统及方法的发明专利中，提供了一种深度稳定性检测方法，提高了复杂应用场景下相机位姿估计的准确性；2、公开专利号为CN109544632A的发明专利中，提出了一种根据视角重叠采样，判断潜在关联的真实环境对象集合的解决方案。基于语义的动态建模法为复杂场景下的目标物识别提供了一种更优的解决方案，使得复杂环境下的动态建模精度提高，应用前景更为广阔。
但是，目前语义动态建模尚存在以下技术难点：1、难以以低时间复杂度的方式识别各物体之间是否存在内在连续性，传统方法在判断物体间可能存在的连接关系时，仅通过单纯地将机器学习添加在传统动态建模方式上来提高模型的精确度，而忽略了因此带来的时间复杂度较高的问题，使得系统运行的延迟增加，鲁棒性较低；2、当存在多个相互阻挡的物体时，难以将其准确分割开，影响了建模真实性。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种语义动态建模方法，其目的在于以低时间复杂度的方式准确判断物体的运动状态和位置关系。
为实现上述目的，按照本发明的一个方面，提供了一种语义动态建模方法，包括：
S1、采用深度相机拍摄原始场景，得到多帧深度图像，每帧深度图像包括各个数据点的深度数据和三维坐标数据；
S2、基于当前帧深度图像中各数据点的三维坐标数据，构建当前帧深度图像对应的三维点云分布图；并计算当前帧深度图像中每个数据点的深度变化差分，用以表征空间上该数据点相对深度相机的运动状态；
S3、根据当前帧深度图像中各数据点的深度变化差分，对所述三维点云分布图中的点云划分为若干独立聚类；并计算每个聚类中各数据点的深度变化差分的高斯平均，用以表征该聚类相对深度相机的运动状态；
S4、将占有最大面积的聚类作为背景，对各聚类进行三维显示并标记对应的运动状态，完成当前帧的建模，重复上述S2，完成动态建模。
进一步，在步骤S4之前，方法还包括：
从每个聚类中将深度变化差分与该聚类对应的所述高斯平均值的差距大于阈值的数据点删除，计算该聚类中剩下各数据点的深度变化差分的高斯平均，用以重新表征该聚类相对深度相机的运动状态。
进一步，所述阈值为点云精度量级的1/4。
进一步，所述S2中，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
通过模糊搜索，确定当前帧深度图像中每个数据点在相邻帧深度图像中的位置，以计算该数据点在当前帧深度图像中与其相邻帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分。
进一步，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
通过模糊搜索，确定当前帧深度图像中每个数据点在其相邻前第一帧、相邻前第二帧、相邻后第一帧、相邻后第二帧深度图像中的位置，以计算该数据点在当前帧深度图像分别与其相邻前第一帧、相邻前第二帧、相邻后第一帧、相邻后第二帧的深度差与时间差的比值，并取四个比值的平均值，作为当前帧深度图像中该数据点的深度变化差分。
进一步，所述S2中，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
S21、基于上一帧深度图像中每个数据点的深度变化差分以及当前帧深度图像与上一帧深度图像的时间差，确定该数据点在当前帧深度图像中对应的似然位置，在以该似然位置为球心、以点云精度量级为直径的球形区域内寻找与球心最近的数据点，作为在当前帧深度图像中对应的数据点；根据该数据点在当前帧深度图像中的位置与在上一帧深度图像中的位置，计算该数据点在当前帧深度图像中与其在上一帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分；
S22、对于执行S21运算后当前帧深度图像中尚未确定深度变化差分的各数据点采用如下方式进行深度变化差分的计算：
通过基于三维坐标的模糊搜索，确定当前帧深度图像中每个数据点在相邻帧深度图像中的位置，以计算该数据点在当前帧深度图像中与其相邻帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分。
进一步，所述S3中，对所述三维点云分布图中的点云划分为若干独立聚类的实现方式为：
对于执行S21运算后当前帧深度图像中已确定深度变化差分的各数据点，将每个数据点纳入其在上一帧深度图像中对应的数据点的所属聚类；对于执行S21运算后当前帧深度图像中尚未确定深度变化差分的各数据点，在执行S22运算后，根据各数据点的深度变化差分执行聚类算法进行聚类，完成当前帧深度图像对应的所述三维点云分布图中点云的聚类。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种语义动态建模方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)为了解决语义动态建模技术无法以低时间复杂度方式识别连接物体的内在连续性、建模时难以将相互阻挡的移动物体分割开的问题，即现有方法不能基于趋势来确定点集属性，从而无法实现动态建模中点集运动状态与位置的精确划分，本发明采用一种基于点云深度数据，判断分时聚类间联系紧密度的语义动态建模方法，具体地，基于当前帧深度图像中各数据点的三维坐标数据，构建当前帧深度图像对应的三维点云分布图；并计算当前帧深度图像中每个数据点的深度变化差分，用以表征空间上该数据点相对深度相机的运动状态；根据当前帧深度图像中各数据点的深度变化差分，对三维点云分布图中的点云划分为若干独立聚类；并计算每个聚类中各数据点的深度变化差分的高斯平均，用以表征该聚类相对深度相机的运动状态，在确保时间复杂度较低的同时，能够较为准确地判断动态建模中点云的运动状态与位置关系。
(2)在计算当前帧深度图像中每个数据点的深度变化差分时，复用上一帧深度图像中的数据点的深度变化差分，极大减少计算量，增加运行速度，减少缓存，增强程序鲁棒性。
附图说明
图1为本发明实施例提供的一种语义动态建模方法流程框图；
图2为本发明实施例提供的采用本发明方法所得3D动态模型的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种语义动态建模方法，如图1所示，包括：
S1、采用深度相机拍摄原始场景，得到多帧深度图像，每帧深度图像包括各个数据点的深度数据和三维坐标数据；
数据采集工作主要使用深度相机对动态场景拍摄采集图像，经由稀疏点云取样提取出带深度数据的点云，将其转换为数字信号，由此可以为算法收集到点云及其深度数据。
S2、基于当前帧深度图像中各数据点的三维坐标数据，构建当前帧深度图像对应的三维点云分布图；并计算当前帧深度图像中每个数据点的深度变化差分，用以表征空间上该数据点相对深度相机的运动状态；
分割点云的坐标数据和深度数据，根据点云在空间中的位置刻画出各点的三维坐标，根据各点的相对位置关系描绘出点云的三维空间分布，生成三维点云分布图。根据深度变化的差分将点云划分为若干个独立点云聚类，并为所有点的三维坐标向量增加一个变量维度，以此来表示单个点的空间相对运动状态。其中，使用python的图像处理模块能够快速处理图像的点云，而时间复杂度较低的欧氏聚类则能够保证程序运行的低延迟性。
S3、根据当前帧深度图像中各数据点的深度变化差分，对所述三维点云分布图中的点云划分为若干独立聚类；并计算每个聚类中各数据点的深度变化差分的高斯平均，用以表征该聚类相对深度相机的运动状态；
S4、将占有最大面积的聚类作为背景，对各聚类进行三维显示并标记对应的运动状态，完成当前帧的建模，重复上述S2，完成动态建模。
可作为优选的实施方式，从每个聚类中将深度变化差分与该聚类对应的所述高斯平均值的差距大于阈值的数据点删除，计算该聚类中剩下各数据点的深度变化差分的高斯平均，用以重新表征该聚类相对深度相机的运动状态。其中，阈值可优选为点云精度量级的1/4，由实验确定。
可作为优选的实施方式，上述S2中，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
通过模糊搜索，确定当前帧深度图像中每个数据点在相邻帧深度图像中的位置，以计算该数据点在当前帧深度图像中与其相邻帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分。
作为优选的实施方式，上述S2中，计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
通过模糊搜索，确定当前帧深度图像中每个数据点在其相邻前第一帧、相邻前第二帧、相邻后第一帧、相邻后第二帧深度图像中的位置，以计算该数据点在当前帧深度图像分别与其相邻前第一帧、相邻前第二帧、相邻后第一帧、相邻后第二帧的深度差与时间差的比值，并取四个比值的平均值，作为当前帧深度图像中该数据点的深度变化差分。
也就是，首先计算选取该帧向前两帧和向后两帧计算，从向前两帧至向后两帧的深度数据各记为(-2)、(-1)、(0)、(1)和(2)，时间间隔记为t，根据计算公式[(0)-(-2)+(0)-(-1)+(2)-(0)+(1)-(0)]/6t，计算出每个点的深度变化差分分量。根据误差叠加原理，一般情况下根据0-1帧图像计算的速度比1-2帧误差小，所以在此公式中0-1帧所占权重是1-2帧的两倍。此公式中引入有关第二帧图像的计算，是为了减小旋度相关的系统误差，防止物体旋转或形变情况下误差过大。
根据深度变化差分的连续相似性对点云进行聚类，由于深度相机对物体取点只限于物体的表面，所以可以以线性判别分析算法为核心建模算法，构建基于二维表面点云的滤波器，能够同时满足系统对聚类任务和运行速度的要求。
具体地，为保证建模精确度，对构建好的聚类进行检验，设定深度阈值，根据深度阈值筛选聚类。若一个聚类中相似运动状态的点高于一定比例，则保留此聚类；否则，将该聚类中的点重新划分，得到新的聚类，再进行降维分析。直至使同一个聚类的点满足深度阈值，即处于相似运动状态。聚类完成后，对聚类中各点的深度差分取高斯平均，提取此值作为该聚类的速度标签，即为该聚类最可能的运动方向(即前文所述的相对深度相机的运动状态)。
进一步，如上述所述的方案，设定阈值，根据阈值检查聚类中的点，去除聚类中深度差分与速度标签之差的绝对值大于差分阈值的值，然后对聚类中其余点的深度差分再求高斯平均，以此更新该聚类的速度标签。
进一步，如上述所述的方案，以预设状态或占有最大面积的相对运动状态为背景运动状态，显示各聚类的空间位置以及速度标签。针对背景点云聚类构建时间复杂度较低的点云滤波模型，来对本系统进行辅助验证，进一步提升本系统的鲁棒性，从而构建出较为理想的三维动态模型。验证算法使用针对降维后点云的二维屏幕G-Mapping算法，对系统运行的速度影响较小。
可作为优选的实施方式，上述S2中，计算当前帧深度图像中每个数据点的深度变化差分的实现方式还可以为：
S21、复用上一帧深度图像中每个数据点的深度变化差分，即基于上一帧深度图像中每个数据点的深度变化差分以及当前帧深度图像与上一帧深度图像的时间差，确定该数据点在当前帧深度图像中的似然位置，在以该似然位置为球心、以点云精度量级为直径(用于保证每个数据点的搜索区域互不覆盖)的球形区域内寻找与球心最近的数据点，作为该数据点在当前帧深度图像中的实际位置；根据该数据点在当前帧深度图像中的实际位置与在上一帧深度图像中的位置，计算该数据点在当前帧深度图像中与其在上一帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分；其中，数据点的深度变化差分即表述点的速度数据，本步骤也就是，根据点云上每一个点的速度数据和两帧图像的时间差，进行精度量级近似于点云精度量级的模糊搜索。
S22、对于执行S21运算后当前帧深度图像中尚未确定深度变化差分的各数据点采用如下方式进行深度变化差分的计算：通过基于三维坐标的模糊搜索，确定当前帧深度图像中每个数据点在相邻帧深度图像中的位置，以计算该数据点在当前帧深度图像中与其相邻帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分。
在此基础上，对于上述S3中，对三维点云分布图中的点云划分为若干独立聚类的优选实现方式可为：
对于执行上述S21运算后当前帧深度图像中已确定深度变化差分的各数据点，将每个数据点纳入其在上一帧深度图像中对应的数据点的所属聚类；对于执行上述S21运算后当前帧深度图像中尚未确定深度变化差分的各数据点，在执行上述S22运算后，根据各数据点的深度变化差分执行聚类算法进行聚类，完成当前帧深度图像对应的所述三维点云分布图中点云的聚类。
需要说明的是，本方法可以实现对形变或非刚体变换物体内在连续性的识别。对形变或非刚体变换的物体表面取点，虽然点的运动状态不统一，但是相邻点的运动状态必定相似。本发明方法划分聚类的方法会将相邻且运动状态相似的点划分在同一个聚类中。此情况下，物体表面各点运动状态的平均值(差分平均的高斯平均)依然是物体的运动状态。所以，若物体在建模过程中发生形变或非刚体变换，不影响建模过程。
需要说明的是，本方法可以实现任意角度和遮挡情况下移动物体的识别。物体所成视角较小或相互遮挡情况下，二维动态建模会受到严重影响，但点云动态建模基本不会受到影响。本发明的数据处理基于三维点云而非基于二维像素，且将深度数据纳入分析范围，对物体的拍摄角度不影响其在建模中的空间位置。所以，若物体所成视角较小或相互遮挡，不影响建模过程。
为了实现上述方法，本发明给出具体示例：
采用Astra S型号的深度相机，以微软windows10操作系统的PDA为终端，以Pycharm和Visual Studio作为开发平台，利用python和C++语言编程，加载pcl、python-pcl及open3d点云处理库，以某市某公园的动态环境为训练集；通过C++程序抓取点云包并转换为.pcd点云文件，利用点云向量化分割点云的深度维度并将其三维坐标聚类化，以深度逆差分的平均值作为深度阈值处理点云聚类；利用Dirichlet分布，从点云的多项式共轭先验分布中取样生成点云运动状态的主题分布，再从二项式共轭先验分布中取样生成点云运动状态的主题，再取样最终生成点云的运动状态；根据面积参数，实时判断背景运动状态并设为静止，利用线性判别分析模型所得结果去除离群点；选定背景聚类点云的近中部分进行G-Mapping分析，作为辅助验证算法。经过以上步骤，成功在人群中持续定位并跟踪一移动对象，时长达8分钟。
如图2所示，本图采用向下倾斜45°的视角，每一个物体所在的点云聚类均用不同颜色标记，其中绿色框出的为目标人，图的左上角可见每一个物体的速度v、x轴速度vx，y轴速度vy，z轴速度vz(单位均为m/s)。由图可见，蓝色背景、红色物体、黄色物体互相遮挡，但建模仍准确，表明该发明已经解决了动态建模中物体遮挡的问题。
需要说明的是，以上设备并非适配本发明的最优型号，可与本发明配套的设备也并不限于上述型号。本发明可使用包括但不限于C++、Java、Python等计算机编程语言，可搭载于使用windows、Linux等系统的PDA、多功能平台、监控系统等主控系统上，可与各种深度相机及其相关处理系统配套。
本发明方法可以用于智能制造与自动化领域。动态建模可以解决高精度制造的产品质量检查、产品误差控制等问题。以动态建模为基础的流式检查装置可以在不影响生产效率的情况下对每一个产品进行检查，控制产品质量和误差等。若对整个生产线实时动态建模，可以监测设备机械运行状态，有利于及时发现机械故障，防止生产事故。目前商用动态建模软件时间复杂度较大，缓存较多，难以维持长时间运行，本发明提出的动态建模方法，可以解决该问题。
其中，基于本发明方法的设备监测与故障判断流程大体为：
(1)采用深度相机拍摄生产线上的待测设备，得到多帧深度图像，以执行本发明提出的动态建模方法，完成对多帧深度图像的动态建模；
(2)根据多帧深度图像的动态模型上的聚类信息，确定待测设备上各位置的完好性(即连续性)，根据多帧深度图像的动态模型上的各聚类的运行状态信息，确定设备的运动情况；
(3)比对待测设备上各位置的完好性信息和运行状态信息，判断设备是否存在故障。
该流程可持续进行，完成生产线上连续设备的监测和故障判断。
基于本发明方法的产品质量控制流程大体为：
(1)采用深度相机拍摄生产线上的产品，得到多帧深度图像，以执行本发明提出的动态建模方法，完成对多帧深度图像的动态建模；
(2)根据多帧深度图像的动态模型上的聚类信息，确定待测产品上各位置的完好性(即连续性)，根据多帧深度图像的动态模型上的各聚类的运行状态信息，确定产品在生产线上的运动情况；
(3)比对待测产品上各位置的完好性信息和运行状态信息，判断产品是否存在较大误差。
另外，本发明方法还可以用于物流转运场景。动态建模可以解决恶劣环境下的无人物资运输和定点投递问题。动态建模可用于定点投递中监测周围环境，比对寻找目标地点，在恶劣环境中完成无人物资运输。目前商用动态建模程序精度较低，难以保证正确率；鲁棒性不足，难以在恶劣环境中正常运行；且时间复杂度较大，缓存较多，难以维持长时间运行。本动态建模系统有望解决以上问题。
其中，基于本发明方法的无人物资运输与定点投递流程大体为：
(1)采用深度相机拍摄目标地点周围地区，得到多帧深度图像，以执行本发明提出的动态建模方法，完成对多帧深度图像的动态建模；
(2)根据多帧深度图像的动态模型上的聚类信息，确定目标地点周围地区的地标结构(即聚类连续性)，根据多帧深度图像的动态模型上的各聚类的运行状态信息，寻找环境中的危险因素和障碍物；
(3)定点投递装置利用运行状态信息绕过障碍物和危险地段，在地标结构与目标地点相同的地区投递物品，完成无人物资运输。
本发明方法还可以用于紧急救援场景。动态建模可以解决恶劣环境下的环境探测问题。救援人员可以根据探测器的动态建模测水下、废墟下、火灾区域等恶劣环境内的结构，从而快速搜救受伤人员。目前动态建模程序鲁棒性不足，建模结果容易被反射、强光、阴影、遮挡物体等影响，难以应对恶劣环境，本动态建模系统有望解决以上问题。
其中，基于本发明方法的紧急救援流程大体为：
(1)采用深度相机拍摄受灾位置，得到多帧深度图像，以执行本发明提出的动态建模方法，完成对多帧深度图像的动态建模；
(2)根据多帧深度图像的动态模型上的聚类信息，确定受灾位置的受灾情况及障碍结构(即连续性)，根据多帧深度图像的动态模型上的各聚类的运行状态信息，寻找环境中的危险因素和障碍物；
(3)救援人员利用障碍物信息绕过障碍物和危险地段，根据受灾情况制定救灾计划，保护人们的生命财产安全。
实施例二
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上实施例一所述的一种语义动态建模方法。
相关技术方案同实施例一，在此不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于点云数据处理的语义动态建模方法，其特征在于，包括：
S1、采用深度相机拍摄原始场景，得到多帧深度图像，每帧深度图像包括各个数据点的深度数据和三维坐标数据；
S2、基于当前帧深度图像中各数据点的三维坐标数据，构建当前帧深度图像对应的三维点云分布图；并计算当前帧深度图像中每个数据点的深度变化差分，用以表征空间上该数据点相对深度相机的运动状态；
S3、根据当前帧深度图像中各数据点的深度变化差分，对所述三维点云分布图中的点云划分为若干独立聚类；并计算每个聚类中各数据点的深度变化差分的高斯平均，用以表征该聚类相对深度相机的运动状态；
S4、将占有最大面积的聚类作为背景，对各聚类进行三维显示并标记对应的运动状态，完成当前帧的建模，重复上述S2，完成动态建模。
2.根据权利要求1所述的语义动态建模方法，其特征在于，在步骤S4之前，方法还包括：
从每个聚类中将深度变化差分与该聚类对应的所述高斯平均值的差距大于阈值的数据点删除，计算该聚类中剩下各数据点的深度变化差分的高斯平均，用以重新表征该聚类相对深度相机的运动状态。
3.根据权利要求2所述的语义动态建模方法，其特征在于，所述阈值为点云精度量级与相邻帧时间间隔的比值的1/4。
4.根据权利要求1所述的语义动态建模方法，其特征在于，所述S2中，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
通过模糊搜索，确定当前帧深度图像中每个数据点在相邻帧深度图像中的位置，以计算该数据点在当前帧深度图像中与其相邻帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分。
5.根据权利要求4所述的语义动态建模方法，其特征在于，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
通过模糊搜索，确定当前帧深度图像中每个数据点在其相邻前第一帧、相邻前第二帧、相邻后第一帧、相邻后第二帧深度图像中的位置，以计算该数据点在当前帧深度图像分别与其相邻前第一帧、相邻前第二帧、相邻后第一帧、相邻后第二帧的深度差与时间差的比值，并取四个比值的平均值，作为当前帧深度图像中该数据点的深度变化差分。
6.根据权利要求1所述的语义动态建模方法，其特征在于，所述S2中，所述计算当前帧深度图像中每个数据点的深度变化差分的实现方式为：
S21、基于上一帧深度图像中每个数据点的深度变化差分以及当前帧深度图像与上一帧深度图像的时间差，确定该数据点在当前帧深度图像中对应的似然位置，在以该似然位置为球心、以点云精度量级为直径的球形区域内寻找与球心最近的数据点，作为在当前帧深度图像中对应的数据点；根据该数据点在当前帧深度图像中的位置与在上一帧深度图像中的位置，计算该数据点在当前帧深度图像中与其在上一帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分；
S22、对于执行S21运算后当前帧深度图像中尚未确定深度变化差分的各数据点采用如下方式进行深度变化差分的计算：
通过基于三维坐标的模糊搜索，确定当前帧深度图像中每个数据点在相邻帧深度图像中的位置，以计算该数据点在当前帧深度图像中与其相邻帧中的深度差与时间差的比值，作为该数据点在当前帧深度图像的深度变化差分。
7.根据权利要求6所述的语义动态建模方法，其特征在于，所述S3中，对所述三维点云分布图中的点云划分为若干独立聚类的实现方式为：
对于执行S21运算后当前帧深度图像中已确定深度变化差分的各数据点，将每个数据点纳入其在上一帧深度图像中对应的数据点的所属聚类；对于执行S21运算后当前帧深度图像中尚未确定深度变化差分的各数据点，在执行S22运算后，根据各数据点的深度变化差分执行聚类算法进行聚类，完成当前帧深度图像对应的所述三维点云分布图中点云的聚类。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至7任一项所述的一种基于点云数据处理的语义动态建模方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311037885.8A CN117115263A (zh) | 2023-08-16 | 2023-08-16 | 一种基于点云数据处理的语义动态建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311037885.8A CN117115263A (zh) | 2023-08-16 | 2023-08-16 | 一种基于点云数据处理的语义动态建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115263A true CN117115263A (zh) | 2023-11-24 |
Family
ID=88812103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311037885.8A Pending CN117115263A (zh) | 2023-08-16 | 2023-08-16 | 一种基于点云数据处理的语义动态建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115263A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
-
2023
- 2023-08-16 CN CN202311037885.8A patent/CN117115263A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894015A (zh) * | 2024-03-15 | 2024-04-16 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
| CN117894015B (zh) * | 2024-03-15 | 2024-05-24 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chang et al. | Argoverse: 3d tracking and forecasting with rich maps | |
| Smith et al. | ASSET-2: Real-time motion segmentation and shape tracking | |
| Medioni et al. | Event detection and analysis from video streams | |
| Atev et al. | A vision-based approach to collision prediction at traffic intersections | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| Son et al. | Integrated worker detection and tracking for the safe operation of construction machinery | |
| CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN104007240B (zh) | 一种基于双目识别与电子鼻网络气体检测的融合定位技术 | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| CN112902953A (zh) | 一种基于slam技术的自主位姿测量方法 | |
| CN107944412A (zh) | 基于多层卷积神经网络的输电线路自动识别系统及方法 | |
| CN112883820B (zh) | 基于激光雷达点云的道路目标3d检测方法及系统 | |
| CN100565557C (zh) | 基于粒子动态采样模型的红外人体目标跟踪系统 | |
| Smith | ASSET-2: Real-time motion segmentation and object tracking | |
| CN117115263A (zh) | 一种基于点云数据处理的语义动态建模方法 | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及系统 | |
| CN110210428A (zh) | 一种基于mser的远距离复杂环境下的烟雾根节点检测方法 | |
| CN116310799A (zh) | 语义信息与几何约束相结合的动态特征点剔除方法 | |
| Yu et al. | Drso-slam: A dynamic rgb-d slam algorithm for indoor dynamic scenes | |
| CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
| CN112686190A (zh) | 一种基于自适应目标检测的森林火灾烟雾自动识别方法 | |
| CN117036404A (zh) | 一种单目热成像同时定位与建图方法和系统 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN115100249B (zh) | 一种基于目标跟踪算法的智慧工厂监控系统 | |
| CN116721410A (zh) | 一种航空发动机密集零部件三维实例分割方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |