CN120976552B - 油样采集机器人导航用的关键部位点云分割方法及系统 - Google Patents
油样采集机器人导航用的关键部位点云分割方法及系统Info
- Publication number
- CN120976552B CN120976552B CN202511500678.0A CN202511500678A CN120976552B CN 120976552 B CN120976552 B CN 120976552B CN 202511500678 A CN202511500678 A CN 202511500678A CN 120976552 B CN120976552 B CN 120976552B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- module
- enhanced
- matrix
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种油样采集机器人导航用的关键部位点云分割方法及系统,方法包括:通过自适应数据增强器对输入点云进行样本感知增强;利用编码器中的CB‑Transformer模块,通过双阶段注意力机制融合局部几何特征与全局上下文信息;采用C‑VLAD模块对多尺度特征进行带权残差聚类与跨层级联立,生成综合全局描述子;最后通过解码器恢复点云分辨率并输出分割结果。本发明有效解决了工业场景中点云标注数据稀疏、设备尺度差异大、几何结构复杂等难题,显著提升了阀门、法兰等关键部位的分割精度与鲁棒性,降低了数据标注成本,为油样采集机器人的精准导航与操作提供了可靠技术支撑。
Description
技术领域
本发明属于点云分割技术领域,尤其涉及一种油样采集机器人导航用的关键部位点云分割方法及系统。
背景技术
点云分割技术是机器视觉与机器人环境感知领域的核心环节,其目标是将三维点云数据划分为具有特定语义的组成部分。在工业自动化场景中,尤其是变电站设备巡检与油样采集机器人的自主导航中,该技术对于机器人精准识别操作目标(如阀门、法兰)、实现避障与路径规划至关重要。
目前,点云分割方法主要分为以下两类:
基于传统几何特征的方法:
此类方法依赖于人工设计的低层级几何特征(如法向量、曲率、密度)进行区域生长或聚类(例如DBSCAN算法)。虽然计算效率较高,但其性能严重依赖于特征设计的完备性。在变电站这类复杂工业环境中,设备密集、结构多样、且存在大量噪声与遮挡,传统方法难以稳健地提取具有判别性的特征,导致分割精度低、鲁棒性差,无法满足高精度导航与操作的需求。
基于深度学习的方法:
随着深度学习的发展,诸如PointNet、PointNet++等基于神经网络的点云处理方法已成为主流。这类方法通过层级式特征提取与非线性变换,能够自动学习更具鲁棒性的语义特征。然而,将其直接应用于油样采集机器人的导航场景时,仍面临诸多严峻挑战:
标注数据稀疏性问题:工业场景的点云数据需要专家进行精细标注,成本极高,导致可用于监督训练的标注数据非常稀缺。通用深度学习模型在稀疏标注条件下容易过拟合,性能显著退化。
多尺度结构挑战:变电站环境中同时存在大型设备(如变压器外壳)和微小关键部件(如阀门手轮、螺栓孔),尺度差异极大。现有模型(如RandLA-Net)的下采样策略极易丢失小尺度目标的细节信息,导致对其分割精度不足。
全局上下文建模不足: 现有方法多侧重于局部特征的提取,缺乏对场景整体布局与部件间空间关系(如管道与阀门的连接关系)的有效建模,这限制了模型对复杂工业环境的深层语义理解。
几何先验知识利用不足: 工业设备部件具有明显的几何先验(如管道呈圆柱形、法兰呈环形平面)。现有通用网络结构未能有效融入这些先验知识,以增强对特定结构的感知能力,导致分割边界模糊、部件误识别率高。
综上所述,现有点云分割技术或因模型简单而鲁棒性不足,或因未针对工业场景的特殊性进行优化,难以在标注稀疏、结构复杂、多尺度共存的变电站环境中实现高精度、高鲁棒的关键部位分割。这已成为制约油样采集机器人智能化水平提升的技术瓶颈。
发明内容
本发明提供一种油样采集机器人导航用的关键部位点云分割方法及系统,用于解决难以在标注稀疏、结构复杂、多尺度共存的变电站环境中实现高精度、高鲁棒的关键部位分割的技术问题。
第一方面,本发明提供一种油样采集机器人导航用的关键部位点云分割方法,包括:
获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块;
将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;
将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
第二方面,本发明提供一种油样采集机器人导航用的关键部位点云分割系统,包括:
增强模块,配置为获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块;
生成模块,配置为将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;
分割模块,配置为将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
第三方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例的油样采集机器人导航用的关键部位点云分割方法的步骤。
第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序指令被处理器执行时,使所述处理器执行本发明任一实施例的油样采集机器人导航用的关键部位点云分割方法的步骤。
本申请的油样采集机器人导航用的关键部位点云分割方法及系统,通过层级式下采样与特征增强模块提取多尺度语义信息,解码器则基于特征传播与跨层融合机制恢复空间细节,最终完成点云分割。相较于传统方法,通过自适应数据增强、中心注意力变换器与多尺度全局描述子的协同优化,显著提升了稀疏标注场景下的分割性能。在编码阶段,原始点云首先经多层感知机(MLP)进行特征维度提升,将三维坐标映射至高维特征空间以增强表征能力。随后通过级联的SetAbstraction 模块执行迭代式最远点采样(FPS)与K近邻分组(KNN),逐步降低点云密度并聚合局部几何特征。为克服有限标注导致的特征学习退化问题,本申请引入CB-Transformer 模块,该模块基于双阶段注意力机制,首先生成全局特征引导的邻域权重,再通过动态权重注入将中心语义反向传播至局部区域,从而在稀疏标注条件下建立鲁棒的局部-全局特征关联。进一步地,C-VLAD模块对编码器各层级输出 的多尺度特征进行带权残差聚类,通过跨分辨率特征融合生成综合全局描述子张量,有效解决传统单尺度聚合导致的细粒度信息丢失问题。解码器采用渐进式上采样策略恢复点云空间分辨率。具体而言,利用反距离加权插值算法对深层 抽象特征进行上采样,逐步恢复点云密度至原始基数。为增强特征传播过程中的语义一致性,设计跨层跳跃连接(SkipConnection)机制,将CB-Transformer模块输出的高维特征与解码器上采样 特征进行通道维度拼接,实现局部几何细节与全局语义上下文的深度融合,最后完成点云语义分割任务。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种油样采集机器人导航用的关键部位点云分割方法的流程图;
图2为本发明一实施例提供一个具体实施例的关键部位点云分割的流程框图;
图3为本发明一实施例提供一个具体实施例的双阶段注意力机制的架构图;
图4为本发明一实施例提供一个具体实施例的生成综合全局描述子的流程框图;
图5为本发明一实施例提供的一种油样采集机器人导航用的关键部位点云分割系统的结构框图;
图6是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本申请的一种油样采集机器人导航用的关键部位点云分割方法的流程图。
如图1所示,关键部位点云分割方法具体包括以下步骤:
步骤S101,获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块。
在本步骤中,提取所述原始点云的逐点特征和整体形状特征;
基于高斯分布生成噪声向量,并将所述噪声向量与所述整体形状特征拼接,并根据多层感知机层计算得到变换矩阵;
将整体形状特征的N个副本与逐点特征拼接,并引入高斯噪声矩阵采用多层感知机层计算得到位移矩阵;
根据所述位移矩阵和所述变换矩阵对所述原始点云进行增强处理,得到增强后的点云,并根据预设的增强损失函数对增强后的点云进行限制得到最终的增强点云,其中,计算增强后的点云的表达式为:
,
式中,为增强后的点云,为原始点云,为变换矩阵,为位移矩阵;
所述增强损失函数的表达式为:
,
,
,
,
,
式中,为增强损失函数,为增强后的点云的交叉熵损失,为自然指数函数,为点云P的交叉熵损失,为类别总数,为真实类别的标签,为点云P属于第c类的概率,为增强幅度,为增强上限,为计算过程中过渡变量。
在本实施例中,通过引入的增强器具备样本感知能力,能够根据每个输入样本生成特定的增强函数。为了简化表示,P表示输入增强器A的训练样本,用表示增强器生成的增强样本。首先通过一系列共享的多层感知机(MLP)提 取逐点特征 F,然后通过最大池化得到整体形状特征向量G。在此基础上,分别通过形状回归和逐点回归的方式回归与输入样本相关的增强函数。其中,通过形状回归可生成变换矩阵M,具体操作是基于高斯分布生成一个C-维噪声向量,并将其与G拼接,接着通过MLP计算得到M,该矩阵包含点云的旋转和缩放操作。其中噪声向量的引入为增强器提供了随机性,从而可以探索更多样化的变换矩阵。通过逐点回归可生成位移矩阵D,具体操作是将G的N个副本与F拼接,同时引入高斯噪声矩阵,最终通过MLP计算得到D,该矩阵包括逐点的平移与抖动。
需要说明的是,构建的基于中心注意力机制的变换器(Center-BridgedAttentionTransformer,CB Transformer)模块的具体结构如图2所示,在多层感知机(MLP)层之间嵌入基于中心的注意力机制(Central-basedAttention,CA),通过加入Dropout模块以抑制过拟合现象,并采用残差连接方式,从而实现特征流的高效传递。该基于中心点的注意力机制,借助双阶段嵌入策略,能够有效解决在稀疏标注条件下特征学习所面临的难题,显著提升模型在有限标注数据场景下的学习效能与泛化能力。
首先定义输入点集为及其对应特征集,其中为点云的特征向量,N为点云基数。针对每个查询点,通过其K个邻域点集及对应特征进行局部表征学习,此时被定义为邻域中心点,则作为其邻接点。具体而言,本方法首先从中心点特征中提取维度为N×C的初始表征,经线性变换降维后获得N×1维的中心权重系数。针对邻域点构建全局特征(记作),通过聚合各邻域内按空间序位排列的节点特征实现。如图3所示,查询点的权重系数经由一维线性层计算获得,同时采用k近邻算法获取K个邻近节点,其点集与特征集共同构成邻域表征空间。
在首次嵌入阶段,通过融合中心权重与邻域点特征构建全局特征,经softmax函数σ归一化后生成二次嵌入的邻域权重。值得注意的是,尽管有效提升了弱监督点云中未标注邻域点的表征能力,但其对独立邻域局部特征的捕捉效能及中心节点的引导作用仍显不足,导致在权重计算精度上较经典方法存在优化空间。为此,需要二次嵌入机制,将全局特征作为动态权重参数,通过矩阵运算实现中心节点特征向各邻域空间的定向传播。该过程生成的二次嵌入特征可确保中心节点信息在全局语义引导下精确注入对应邻域点。
为构建融合全局特征与中心权重的复合注意力机制,本研究创新性地整合空间编码技术实现几何特征增强。具体实施时,全局特征经线性层映射后,通过可学习参数α、β与进行特征融合。该策略在保持全局语义完整性的同时,显著强化了局部特征的表达能力。此外,通过引入位置编码建立空间几何关联,有效补充了基于位姿关系的拓扑特征。最终,经softmax归一化的增强型注意力权重与值特征图进行矩阵相乘,并采用加权求和策略消除点序敏感性,从而输出优化后的特征表征。
本申请采用多模态几何特征融合的位置编码机制,通过引入高度角、方位角及欧氏距离等多维几何描述子,经多层感知机MLP与可学习参数λ加权融合,构建增强型位置编码。
步骤S102,将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量。
在本步骤中,为将局部特征聚合为全局向量,本申请引入局部聚合描述子综合向量(Comprehensive Vector of Locally Aggregated Descriptors,C-VLAD)模块,通过多层级特征融合机制实现跨尺度、跨分辨率的全局上下文建模,如图4所示。该模块通过多分辨率特征联合建模策略,显著提升网络对变电站点云中多尺度异质结构的特征表征能力,尤其针对电力场景中典型的大尺度变压器与小尺度套管等结构并存的特征捕获难题,提供了有效的解决方案。
首先提取编码器各层级输出的多尺度局部特征集合,其中为第层编码层生成的维特征矩阵。C-VLAD模块可生成个层级聚类中心集。对于每个聚类中心,通过带权残差聚合计算其对应的特征描述子向量。
,
式中,为特征描述子向量,为自然指数函数,为第层生成的特征矩阵,为聚类中心,为偏置项,为权重向量;
各层级局部特征经编码后,其全局描述子向量可表示为。通过跨层级联立操作,将各层输出的全局描述子向量进行维度扩展与特征拼接,最终构建包含多尺度信息的综合全局描述子张量。式中,为综合全局描述子张量,为第个特征描述子向量,为向量拼接操作。
在本实施例中,C-VLAD模块可有效缓解传统方法因特征层级单一导致的细粒度信息丢失问题,为后续分割任务提供更具判别性的全局上下文先验。
步骤S103,将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
综上,本申请的方法,首先,通过引入自适应数据增强器,模型能够根据输入点云的样本特性(如密度、噪声水平、部件尺度)动态生成最优增强策略,极大地提升了模型在复杂多变工业环境下的鲁棒性和泛化能力,有效克服了传统固定增强策略或缺乏增强导致的过拟合和性能波动问题。其次,核心模块CB-Transformer通过其独特的双阶段注意力机制(局部几何感知+全局上下文聚合),显著增强了对设备部件几何结构(如圆柱面、平面)的感知能力,并建立了强大的全局上下文理解,使得模型能够精准识别关键部位(如阀门、法兰)并清晰界定其边界,即使在部分遮挡或噪声干扰下也能保持高精度分割。同时,创新的C-VLAD模块通过带权残差聚类和跨层级联立机制,高效融合了不同尺度的特征信息,有效解决了多尺度设备分割难题,确保大型设备主体和小型关键操作部位都能被准确分割。此外,整个方案设计注重效率,结合随机下采样和优化的特征提取流程,在保证高精度的同时实现了较快的处理速度,满足机器人实时导航的需求。最重要的是,本方法对标注数据的依赖性显著降低,在稀疏标注条件下仍能取得接近全标注水平的分割性能,大幅降低了工业应用的数据标注成本,加速了技术的落地应用。最终,这些效果共同作用,使得油样采集机器人能够更可靠、更精准地感知环境,识别操作目标,从而显著提升其自主导航、避障和油样采集作业的成功率与安全性。
在一个具体实施例中,本发明方法应用于某型号变电站油样采集机器人。该机器人搭载的激光雷达以0.3m分辨率采集变电站场景点云,目标是从中精准分割出用于导航和操作的关键部位:阀门、法兰、管道连接点。实施过程如下:首先,原始点云输入自适应数据增强器,该模块分析点云密度分布和噪声水平,识别出包含潜在阀门(小尺度、高曲率)和法兰(环形结构)的区域,并针对性地对这些区域应用更强的旋转、缩放和噪声注入增强,而对大型变压器外壳(大尺度、平面)区域则应用较弱的增强。增强后的点云进入编码器,采用层级下采样策略(如随机下采样),每层包含CB-Transformer模块。在CB-Transformer中,首先通过局部几何感知注意力计算点邻域内法向量、曲率等几何特征的相似性权重,突出平面、圆柱面等结构;随后,全局上下文聚合注意力利用位置编码(融合高度角、方位角和欧氏距离)计算所有点间的关联权重,捕捉设备间的空间布局关系(如管道连接到阀门)。编码器输出的多尺度特征图输入C-VLAD模块,该模块对每个尺度的特征进行带权残差聚类(聚类中心数量根据部件复杂度自适应设定),生成描述该尺度局部结构的描述子向量;然后将不同尺度的描述子向量跨层级联立,构建一个包含全局和局部信息的综合描述子张量。该张量与解码器中通过反距离插值得到的上采样特征进行跨层跳跃连接,融合细节信息。最终,解码器输出每个点的分类标签(背景、阀门、法兰、管道连接点)。
请参阅图5,其示出了本申请的一种油样采集机器人导航用的关键部位点云分割系统的结构框图。
如图5所示,关键部位点云分割系统200,包括增强模块210、生成模块220以及分割模块230。
其中,增强模块210,配置为获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块;生成模块220,配置为将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;分割模块230,配置为将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
应当理解,图5中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征以及相应的技术效果同样适用于图5中的诸模块,在此不再赘述。
在另一些实施例中,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序指令被处理器执行时,使所述处理器执行上述任意方法实施例中的油样采集机器人导航用的关键部位点云分割方法;
作为一种实施方式,本发明的计算机可读存储介质存储有计算机可执行指令,计算机可执行指令设置为:
获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块;
将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;
将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
计算机可读存储介质可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据油样采集机器人导航用的关键部位点云分割系统的使用所创建的数据等。此外,计算机可读存储介质可以包括高速随机存取存储器,还可以包括存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,计算机可读存储介质可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至油样采集机器人导航用的关键部位点云分割系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图6是本发明实施例提供的电子设备的结构示意图,如图6所示,该设备包括:一个处理器310以及存储器320。电子设备还可以包括:输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接,图6中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例油样采集机器人导航用的关键部位点云分割方法。输入装置330可接收输入的数字或字符信息,以及产生与油样采集机器人导航用的关键部位点云分割系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述电子设备可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
作为一种实施方式,上述电子设备应用于油样采集机器人导航用的关键部位点云分割系统中,用于客户端,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够:
获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块;
将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;
将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种油样采集机器人导航用的关键部位点云分割方法,其特征在于,包括:
获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块,所述根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云包括:
提取所述原始点云的逐点特征和整体形状特征;
基于高斯分布生成噪声向量,并将所述噪声向量与所述整体形状特征拼接,并根据多层感知机层计算得到变换矩阵;
将整体形状特征的N个副本与逐点特征拼接,并引入高斯噪声矩阵采用多层感知机层计算得到位移矩阵;
根据所述位移矩阵和所述变换矩阵对所述原始点云进行增强处理,得到增强后的点云,并根据预设的增强损失函数对增强后的点云进行限制得到最终的增强点云,其中,计算增强后的点云的表达式为:
,
式中,为增强后的点云,为原始点云,为变换矩阵,为位移矩阵;
所述增强损失函数的表达式为:
,
,
,
,
,
式中,为增强损失函数,为增强后的点云的交叉熵损失,为自然指数函数,为点云P的交叉熵损失,为类别总数,为真实类别的标签,为点云P属于第c类的概率,为增强幅度,为增强上限,为计算过程中过渡变量;
将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;
将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
2.根据权利要求1所述的一种油样采集机器人导航用的关键部位点云分割方法,其特征在于,所述CB-Transformer模块通过双阶段注意力机制对所述原始点云进行特征增强,其中,所述双阶段注意力机制包括第一阶段注意力机制以及第二阶段注意力机制;
所述第一阶段注意力机制具体包括:通过融合中心权重与邻域点特征构建全局特征,经softmax函数归一化后生成第二阶段注意力机制的邻域权重;
所述第二阶段注意力机制具体包括:将全局特征作为动态权重参数,通过矩阵运算将中心节点特征向各邻域空间的定向传播。
3.根据权利要求1所述的一种油样采集机器人导航用的关键部位点云分割方法,其特征在于,所述将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量包括:
对所述编码器各层级输出的多尺度局部特征进行带权残差聚类;
计算每个聚类中心的特征描述子向量,表达式为:
,
式中,为特征描述子向量,为自然指数函数,为第层生成的特征矩阵,为聚类中心,为偏置项,为权重向量;
将各层级的全局描述子向量进行维度扩展与特征拼接,构建综合全局描述子张量,表达式为:
,
式中,为综合全局描述子张量,为第个特征描述子向量,为向量拼接操作。
4.一种油样采集机器人导航用的关键部位点云分割系统,其特征在于,包括:
增强模块,配置为获取原始点云,根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云,并将所述增强点云输入至预设的编码器,所述编码器提取得到多尺度局部特征,其中,所述编码器包括多层SetAbstraction模块和CB-Transformer模块,所述根据预设的自适应数据增强器对所述原始点云进行样本感知增强,生成增强点云包括:
提取所述原始点云的逐点特征和整体形状特征;
基于高斯分布生成噪声向量,并将所述噪声向量与所述整体形状特征拼接,并根据多层感知机层计算得到变换矩阵;
将整体形状特征的N个副本与逐点特征拼接,并引入高斯噪声矩阵采用多层感知机层计算得到位移矩阵;
根据所述位移矩阵和所述变换矩阵对所述原始点云进行增强处理,得到增强后的点云,并根据预设的增强损失函数对增强后的点云进行限制得到最终的增强点云,其中,计算增强后的点云的表达式为:
,
式中,为增强后的点云,为原始点云,为变换矩阵,为位移矩阵;
所述增强损失函数的表达式为:
,
,
,
,
,
式中,为增强损失函数,为增强后的点云的交叉熵损失,为自然指数函数,为点云P的交叉熵损失,为类别总数,为真实类别的标签,为点云P属于第c类的概率,为增强幅度,为增强上限,为计算过程中过渡变量;
生成模块,配置为将所述多尺度局部特征输入至预设的C-VLAD模块,所述C-VLAD模块进行带权残差聚类和跨层级联立,生成综合全局描述子张量;
分割模块,配置为将所述综合全局描述子张量与解码器中的上采样特征进行跨层跳跃连接,通过反距离加权插值逐步恢复得到各个目标点云,并输出所述各个目标点云的语义标签,完成关键部位的分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202511500678.0A CN120976552B (zh) | 2025-10-21 | 2025-10-21 | 油样采集机器人导航用的关键部位点云分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202511500678.0A CN120976552B (zh) | 2025-10-21 | 2025-10-21 | 油样采集机器人导航用的关键部位点云分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN120976552A CN120976552A (zh) | 2025-11-18 |
| CN120976552B true CN120976552B (zh) | 2026-02-27 |
Family
ID=97646224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202511500678.0A Active CN120976552B (zh) | 2025-10-21 | 2025-10-21 | 油样采集机器人导航用的关键部位点云分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN120976552B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522882A (zh) * | 2023-11-17 | 2024-02-06 | 中国科学技术大学 | 一种基于几何特征聚合和自适应融合的点云分割方法 |
| CN119785032A (zh) * | 2024-12-31 | 2025-04-08 | 西北大学 | 一种基于局部邻域注意力的点云语义分割方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439694B (zh) * | 2022-09-19 | 2026-01-02 | 南京邮电大学 | 一种基于深度学习的高精度点云补全方法及装置 |
| WO2024081133A1 (en) * | 2022-10-13 | 2024-04-18 | Interdigital Vc Holdings, Inc. | Sparse tensor-based bitwise deep octree coding |
| CN120451544A (zh) * | 2025-04-27 | 2025-08-08 | 东南大学 | 基于多尺度注意力聚合的换电机器人目标点云分割方法 |
| CN120176714B (zh) * | 2025-05-20 | 2025-08-08 | 同济大学 | 一种基于扩散策略的移动机器人视觉语言导航方法 |
| CN120740564B (zh) * | 2025-06-20 | 2026-02-10 | 同济大学 | 一种移动施工机器人的室内位姿初始化方法、系统及终端 |
-
2025
- 2025-10-21 CN CN202511500678.0A patent/CN120976552B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522882A (zh) * | 2023-11-17 | 2024-02-06 | 中国科学技术大学 | 一种基于几何特征聚合和自适应融合的点云分割方法 |
| CN119785032A (zh) * | 2024-12-31 | 2025-04-08 | 西北大学 | 一种基于局部邻域注意力的点云语义分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN120976552A (zh) | 2025-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116152267B (zh) | 基于对比性语言图像预训练技术的点云实例分割方法 | |
| Chen et al. | HAPGN: Hierarchical attentive pooling graph network for point cloud segmentation | |
| Cheng et al. | TransRVNet: LiDAR semantic segmentation with transformer | |
| CN118966161B (zh) | 一种通用人工时空智能大模型的构建方法 | |
| CN112819080B (zh) | 一种高精度通用的三维点云识别方法 | |
| CN116152611B (zh) | 一种多级多尺度点云补全方法、系统、设备及存储介质 | |
| Huang et al. | Improved small-object detection using YOLOv8: A comparative study | |
| Wang et al. | Pst-net: Point cloud sampling via point-based transformer | |
| Chen et al. | A review of rigid point cloud registration based on deep learning | |
| An et al. | PointTr: Low-overlap point cloud registration with transformer | |
| CN121661547B (zh) | 一种融合dsm侧边适配器的低空遥感地物要素提取方法 | |
| Hou et al. | Advances in 3d pre-training and downstream tasks: a survey | |
| Shang et al. | Bridging text and vision: a multi-view text-vision registration approach for cross-modal place recognition | |
| Yang et al. | Bag of shape descriptor using unsupervised deep learning for non-rigid shape recognition | |
| CN116486030A (zh) | 基于地表图像的三维地质体模型的建模方法和相关装置 | |
| CN120976552B (zh) | 油样采集机器人导航用的关键部位点云分割方法及系统 | |
| Li et al. | LR‐RoadNet: A long‐range context‐aware neural network for road extraction via high‐resolution remote sensing images | |
| CN119762584A (zh) | 一种邻域感知信息引导的目标6d姿态估计方法 | |
| Ansari et al. | Angle-based feature learning in GNN for 3D object detection using point cloud | |
| CN119445517A (zh) | 一种车道检测方法、装置、设备及存储介质 | |
| Teng et al. | Deep Learning for 3D Lane Detection in Autonomous Driving: A Survey | |
| Ma et al. | MosViT: towards vision transformers for moving object segmentation based on Lidar point cloud | |
| Vaidya et al. | Detecting buildings from remote sensing imagery: Unleashing the power of YOLOv5 and YOLOv8 | |
| Huang et al. | GraNet: Global relation-aware attentional network for ALS point cloud classification | |
| CN118470679B (zh) | 一种基于轻量级车道线分割识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |