CN113516663B - 点云语义分割方法及装置、电子设备及存储介质 - Google Patents

点云语义分割方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113516663B
CN113516663B CN202110736141.XA CN202110736141A CN113516663B CN 113516663 B CN113516663 B CN 113516663B CN 202110736141 A CN202110736141 A CN 202110736141A CN 113516663 B CN113516663 B CN 113516663B
Authority
CN
China
Prior art keywords
point cloud
semantic segmentation
features
local
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110736141.XA
Other languages
English (en)
Other versions
CN113516663A (zh
Inventor
刘春�
曾豆豆
吴杭彬
贾守军
艾克然木·艾克拜尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110736141.XA priority Critical patent/CN113516663B/zh
Publication of CN113516663A publication Critical patent/CN113516663A/zh
Application granted granted Critical
Publication of CN113516663B publication Critical patent/CN113516663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种点云语义分割方法及装置、电子设备及存储介质。点云语义分割方法包括:提取待处理点云的局部几何特征,将局部几何特征输入训练好的语义分割模型,以及输出所述待处理点云的语义分割结果。所述语义分割模型包括下采样层和上采样层,下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征;上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理。本发明实施例提供的点云语义分割方法能够减小在特征提取阶段造成的损失,增强网络特征表示,减小噪音和遮挡对语义分割的影响,从而提高语义分割的效率和精度。

Description

点云语义分割方法及装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域,特别涉及一种点云语义分割方法及装置、电子设备及存储介质。
背景技术
语义分割作为点云智能处理的和分析的基础,在城市土地覆盖分析、三维城市模型、无人驾驶、道路重建、城市规划等领域有着广泛的应用。随着传感器集成技术的不断升级,点云采集方式和平台呈现多样化发展,城市点云的数据规模更加大,场景更加复杂。基于经典机器学习语义分割方法需要人为设计特征进行语义分割,其处理复杂、动态的城市场景点云泛化能力弱,处理效率也较低,无法满足各种实际应用的需求。
基于深度学习的方法凭借其良好的特征表示能力成为目前进行点云分割的研究热点。目前,基于深度学习的方法一般将点云转为多视图、体素等规则结构,然后再将其输入到神经网络中进行处理以实现语义分割。但是无论体素化或多视图均会造成点云信息损失,也无法处理大规模点云数据。因此,直接处理原始点云数据是当前处理点云的研究趋势。但是目前直接处理原始点云的方法大多需要对点云进行分块处理,分块破坏了点云的几何结构,导致语义分割精度低。同时,分块也降低了处理大规模点云的效率。
发明内容
本发明要解决的技术问题是为了克服现有技术中对原始点云数据进行体素化等预处理造成点云信息损失,以及对原始点云数据进行分块处理导致语义分割精度低的缺陷,提供一种无需对点云进行分块、体素化等预处理,可以直接处理原始点云数据的点云语义分割方法及装置、电子设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明的第一方面提供一种点云语义分割方法,包括以下步骤:
提取待处理点云的局部几何特征;其中,所述局部几何特征包括所述待处理点云中每个点的三维坐标;
将所述待处理点云的局部几何特征输入训练好的语义分割模型,其中,所述语义分割模型包括下采样层和上采样层,所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征,并对所述局部聚合特征和所述全局上下文特征进行叠加;所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理;所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标;
输出所述待处理点云的语义分割结果。
可选地,所述提取待处理点云的局部几何特征的步骤具体包括:
利用三维坐标点邻域的结构张量获取待处理点云中每个点的结构张量;
对所述结构张量进行奇异值分解;
根据分解得到的特征值提取每个点的局部几何特征。
可选地,所述下采样层具体用于利用以下公式计算局部聚合特征
Figure BDA0003141663960000021
Figure BDA0003141663960000022
Figure BDA0003141663960000023
f″short=MaxPool(MLP[fc,rc])
其中,MLP(.)表示多层感知机,MaxPool(.)表示最大池化操作,g(·)表示权值在所有点之间共享的多层感知机,
Figure BDA0003141663960000024
表示所述待处理点云中中心点的邻域坐标,fc表示与所述中心点的局部几何特征对应的局部邻域特征,f′c=MLP(fc),rc表示所述待处理点云的三维坐标特征,r′c=MLP(rc)。
可选地,所述下采样层具体用于:
利用所述局部几何特征计算全局上下文权重系数;
将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征;
对所述第一特征进行线性变化和激活运算,得到第二特征;
以及将所述第二特征与所述局部几何特征进行叠加,得到全局上下文特征。
可选地,所述语义分割模型至少两个下采样层,所述至少两个下采样层与所述上采样层依次连接,所述上采样层具体用于:
将与所述上采样层连接的下采样层输出的特征进行插值,得到插值后的特征;
将另一个下采样层输出的特征与所述插值后的特征进行叠加;
基于注意力机制对叠加后的特征中具有相似语义信息的通道进行特征加权。
可选地,通过以下步骤训练所述语义分割模型:
将训练数据输入构建的语义分割模型;所述训练数据包括若干点云样本的局部几何特征以及对应的语义标签;
根据所述语义分割模型输出的语义分割结果以及语义标签计算损失值;
根据所述损失值调整所述语义分割模型的参数,直至模型收敛。
可选地,所述局部几何特征还包括以下中的至少一种:法向量变化特征、直线性特征、平面性特征、散乱性特征、变化性特征、向异性特征、信息熵特征、局部点云密度特征、归一化特征值的和、色彩信息、强度信息。
本发明的第二方面提供一种点云语义分割装置,包括:
提取模块,用于提取待处理点云的局部几何特征;其中,所述局部几何特征包括所述待处理点云中每个点的三维坐标;
输入模块,用于将所述待处理点云的局部几何特征输入训练好的语义分割模型,其中,所述语义分割模型包括下采样层和上采样层,所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征,并对所述局部聚合特征和所述全局上下文特征进行叠加;所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理;所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标;
输出模块,用于输出所述待处理点云的语义分割结果。
本发明的第三方面提供一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的点云语义分割方法。
本发明的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的点云语义分割方法。
本发明的积极进步效果在于:通过语义分割模型中的下采样层聚合待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,能够减小在特征提取阶段造成的损失;以及根据所述局部几何特征确定全局上下文特征,能够增强网络特征表示,减小噪音和遮挡对语义分割的影响,实现对噪声的鲁棒;通过语义分割模型中的上采样层对下采样层输出的特征中具有相似语义信息的通道进行增强处理,能够进一步弥补采样过程中损失的信息,同时还能提高语义分割的效率和精度。
附图说明
图1为本发明实施例1提供的一种点云语义分割方法的流程图。
图2为本发明实施例1提供的一种局部特征聚合模块的结构示意图。
图3为本发明实施例1提供的一种全局上下文聚合模块的结构示意图。
图4为本发明实施例1提供的一种下采样层的结构示意图。
图5为本发明实施例1提供的一种上采样层的结构示意图。
图6为本发明实施例1提供的一种点云语义分割装置的结构框图
图7为本发明实施例2提供的一种电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
图1为本实施例提供的一种点云语义分割方法的流程示意图。该点云语义分割方法可以由点云语义分割装置执行,该点云语义分割装置可以通过软件和/或硬件的方式实现,该点云语义分割装置可以为电子设备的部分或全部。
下面以电子设备为执行主体介绍本实施例提供的点云语义分割方法。如图1所示,本实施例提供的点云语义分割方法可以包括以下步骤S101~S105:
步骤S101、提取待处理点云的局部几何特征。其中,所述局部几何特征包括所述待处理点云中每个点的三维坐标。
在可选的一种实施方式中,步骤S101具体包括以下步骤S101a~S101c:
步骤S101a、利用三维坐标点邻域的结构张量获取待处理点云中每个点的结构张量。
步骤S101b、对所述结构张量进行奇异值分解。
步骤S101c、根据分解得到的特征值提取每个点的局部几何特征。
在具体实施中,对步骤S101b分解得到的特征值进行归一化,得到e1,e2,e3
在具体实施中,上述局部几何特征除了每个点的三维坐标之外Pi,还可以包括以下中的至少一种:法向量变化特征Cm、直线性特征,Lm、平面性特征Pm、散乱性特征Sam、变化性特征Om、向异性特征Am、信息熵特征Em、局部点云密度特征Dm、归一化特征值的和∑m、色彩信息RGB、强度信息。
其中,利用如下公式计算上述局部几何特征:
Figure BDA0003141663960000051
Figure BDA0003141663960000052
Figure BDA0003141663960000053
其中,k为邻域。
步骤S102、将所述待处理点云的局部几何特征输入训练好的语义分割模型。其中,所述语义分割模型包括下采样层和上采样层。
在一个具体的例子中,将待处理点云的局部几何特征finput输入语义分割模型,其中,finput=[Pi,RGB,Cm,Lm,Pm,Sam,Om,Am,Em,Dm,∑m]。本例子中,将更多的局部几何特征输入语义分割模型中,辅助语义分割模型进行分类,能够提高待处理点云的语义分割精度。
所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征,并对所述局部聚合特征和所述全局上下文特征进行叠加。
其中,所述三维坐标特征rc包括邻域与中心点的距离
Figure BDA0003141663960000061
邻域与中心点的坐标之差
Figure BDA0003141663960000062
中心点的坐标pc以及邻域的坐标
Figure BDA0003141663960000063
Figure BDA0003141663960000064
Figure BDA0003141663960000065
在具体实施中,下采样层包括局部特征聚合模块(Local Feature AggregationModule,LFAM)和全局上下文聚合模块(Global Context Aggregation Modul,GCAM)。其中,局部特征聚合模块用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征。全局上下文聚合模块用于根据所述局部几何特征确定全局上下文特征。
参照图2所示的局部特征聚合模块,利用K近邻方法对点云的三维特征坐标和局部特征进行聚合,然后用多层感知机(Multi-Layer Perception,MLP)进行学习得到rc 。对每个中心点pc的局部特征进行K近邻方法后对应的局部邻域特征可表示为
Figure BDA0003141663960000066
为了增强局部特征表示,利用多层感知机MLP进行学习得到fc 。进一步采用邻域内坐标作为多层感知机MLP的输入获取权值函数,对局部特征和局部三维坐标特征加权,增强特征对局部邻域的描述能力,最后利用最大池化得到最终的局部特征fc″:
Figure BDA0003141663960000067
其中,MaxPool(.)表示最大池化操作,g(·)表示权值在所有点之间共享的多层感知机,
Figure BDA0003141663960000068
表示所述待处理点云中中心点的邻域坐标,fc表示与所述中心点的局部几何特征对应的局部邻域特征,f′c=MLP(fc),rc表示所述待处理点云的三维坐标特征,r′c=MLP(rc)。
同时,为了进一步增大网络感受野,局部特征聚合模块还包括跳跃连接,能够加强信息的流通、减少局部信息损失,跳跃连接中的特征f″short主要是经过最近邻聚集的局部邻域特征fc以及局部邻域内的三维坐标特征rc
f″short=MaxPool(MLP[fc,rc])
其中,MLP(.)表示多层感知机。最后,将聚合局部上下文信息的特征fc″和跳跃连接的特征f″short进行叠加,得到最终的局部聚合特征
Figure BDA0003141663960000071
Figure BDA0003141663960000072
参照图3所示的全局上下文聚合模块,具体用于利用所述局部几何特征计算全局上下文权重系数;将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征F11;对第一特征F11进行线性变化和激活运算,得到第二特征F22;以及将第二特征F22与所述局部几何特征进行叠加,得到全局上下文特征。
参照图4所示的下采样层,对局部特征聚合模块LFAM输出的局部聚合特征和全局上下文聚合模块GCAM输出的全局上下文特征进行叠加,并将叠加后的特征输入共享多层感知机。
所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理。
在可选的一种实施方式中,上述语义分割模型至少两个下采样层,所述至少两个下采样层与所述上采样层依次连接。所述上采样层具体用于将与所述上采样层连接的下采样层输出的特征F进行插值,得到插值后的特征F1;将另一个下采样层输出的特征F2与所述插值后的特征F1进行叠加,得到组合特征F3=[f1,f2,f3,…,fC];基于注意力机制对组合特征F3中具有相似语义信息的通道进行特征加权,从而得到通道关系增强的特征。
本实施方式中,通过注意力机制实现低分辨率特征F和高分辨率特征F2的融合,能够进一步弥补采样过程中损失的信息,同时也进一步提高了语义分割模型的处理效率。
在具体实施中,参照图5,可以使用全局平均池化从组合特征F3中的每个通道生成全局上下文信息,得到压缩的特征。再对压缩的特征使用类似Sigmoid的门控机制来突出具有相似语义信息的通道。同时,为了进一步减少计算量和整个模型的参数,在使用激活函数ReLU之前添加线性变换得到权重系数,将权重系数与组合特征F3相乘并加上组合特征F3,经过两层共享MLP,最终得到通道关系增强的特征
Figure BDA0003141663960000081
需要说明的是,下采样层和上采样层的数量可以根据实际情况进行设置。
步骤S103、输出所述待处理点云的语义分割结果。
本实施例提供的点云语义分割方法可以应用于无人驾驶、测绘、城市土地覆盖分析、道路重建、城市规划、三维城市模型等领域。在将上述点云语义分割方法应用于三维城市模型的一个例子中,语义分割结果包括以下8种:1)人造地形:主要是路面;2)自然地形:以草地为主;3)高植被:树木和大灌木丛;4)低植被:小于2米的花或小灌木;5)建筑物:教堂、市政厅、车站、公寓等;6)剩余景观:一个杂乱的类,例如加登墙、喷泉、银行等;7)扫描伪影:静态扫描记录过程中动态移动的物体引起的伪影;8)小汽车和卡车。
在一个具体的例子中,语义分割模型包括五个下采样层和五个上采样层,其中,五个下采样层输出的特征维度分别为64、128、256、512、1024;五个上采样层输出的特征维度分别为768、512、256、256、128。针对Semantic3D(户外场景点云数据库)的semantic-8点云数据,将提取的局部几何特征finput=[Pi,RGB,Cm,Lm,Pm,Sam,Om,Am,Em,Dm,∑m]输入上述语义分割模型进行语义分割,能够达到74.70%的平均交并比以及95.00%的总体分类精度。
在可选的一种实施方式中,通过以下步骤S201~S203训练上述语义分割模型:
步骤S201、将训练数据输入构建的语义分割模型。所述训练数据包括若干点云样本的局部几何特征以及对应的语义标签。在具体实施中,可以基于神经网络构建语义分割模型。
步骤S202、根据所述语义分割模型输出的语义分割结果以及语义标签计算损失值;
步骤S203、根据所述损失值调整所述语义分割模型的参数,直至模型收敛。
如图6所示,本实施例还提供一种点云语义分割装置60,包括提取模块61、输入模块62以及输出模块63。
提取模块61用于提取待处理点云的局部几何特征。其中,所述局部几何特征包括所述待处理点云中每个点的三维坐标;
输入模块62用于将所述待处理点云的局部几何特征输入训练好的语义分割模型。其中,所述语义分割模型包括下采样层和上采样层。
所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征,并对所述局部聚合特征和所述全局上下文特征进行叠加。
所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理。
所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标。
输出模块63用于输出所述待处理点云的语义分割结果。
需要说明的是,本实施例中的点云语义分割装置具体可以是单独的芯片、芯片模组或电子设备,也可以是集成于电子设备内的芯片或者芯片模组。
本实施例中,通过语义分割模型中的下采样层聚合待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,能够减小在特征提取阶段造成的损失;以及根据所述局部几何特征确定全局上下文特征,能够增强网络特征表示,减小噪音和遮挡对语义分割的影响,实现对噪声的鲁棒;通过语义分割模型中的上采样层对下采样层输出的特征中具有相似语义信息的通道进行增强处理,能够进一步弥补采样过程中损失的信息,同时还能提高语义分割的效率和精度。
实施例2
图7为本实施例提供的一种电子设备的结构示意图。所述电子设备包括至少一个处理器以及与所述至少一个处理器通信连接的存储器。其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行实施例1的点云语义分割方法。
电子设备3的组件可以包括但不限于:上述至少一个处理器4、上述至少一个存储器5、连接不同系统组件(包括存储器5和处理器4)的总线6。
总线6包括数据总线、地址总线和控制总线。
存储器5可以包括易失性存储器,例如随机存取存储器(RAM)51和/或高速缓存存储器52,还可以进一步包括只读存储器(ROM)53。
存储器5还可以包括具有一组(至少一个)程序模块54的程序/实用工具55,这样的程序模块54包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器4通过运行存储在存储器5中的计算机程序,从而执行各种功能应用以及数据处理,例如上述点云语义分割方法。
电子设备3也可以与一个或多个外部设备11(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口9进行。并且,电子设备3还可以通过网络适配器10与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图7所示,网络适配器10通过总线6与电子设备3的其它模块通信。应当明白,尽管图7中未示出,可以结合电子设备3使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例3
本实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行实施例1中的点云语义分割方法。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使所述电子设备执行实现实施例1中的点云语义分割方法。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在电子设备上执行、部分地在电子设备上执行、作为一个独立的软件包执行、部分在电子设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (9)

1.一种点云语义分割方法,其特征在于,包括以下步骤:
提取待处理点云的局部几何特征;其中,所述局部几何特征包括所述待处理点云中每个点的三维坐标;
将所述待处理点云的局部几何特征输入训练好的语义分割模型,其中,所述语义分割模型包括下采样层和上采样层,所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征,并对所述局部聚合特征和所述全局上下文特征进行叠加;所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理;所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标;
输出所述待处理点云的语义分割结果;
所述下采样层具体用于:
利用所述局部几何特征计算全局上下文权重系数;
将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征;
对所述第一特征进行线性变化和激活运算,得到第二特征;
以及将所述第二特征与所述局部几何特征进行叠加,得到全局上下文特征。
2.如权利要求1所述的点云语义分割方法,其特征在于,所述下采样层具体用于利用以下公式计算局部聚合特征
Figure FDA0003795287230000011
Figure FDA0003795287230000012
Figure FDA0003795287230000013
f″short=MaxPool(MLP[fc,rc])
其中,MLP(.)表示多层感知机,MaxPool(.)表示最大池化操作,g(·)表示权值在所有点之间共享的多层感知机,
Figure FDA0003795287230000014
表示所述待处理点云中中心点的邻域坐标,fc表示与所述中心点的局部几何特征对应的局部邻域特征,fc′=MLP(fc),rc表示所述待处理点云的三维坐标特征,rc′=MLP(rc)。
3.如权利要求1所述的点云语义分割方法,其特征在于,所述语义分割模型包括 至少两个下采样层,所述至少两个下采样层与所述上采样层依次连接,所述上采样层具体用于:
将与所述上采样层连接的下采样层输出的特征进行插值,得到插值后的特征;
将另一个下采样层输出的特征与所述插值后的特征进行叠加;
基于注意力机制对叠加后的特征中具有相似语义信息的通道进行特征加权。
4.如权利要求1所述的点云语义分割方法,其特征在于,通过以下步骤训练所述语义分割模型:
将训练数据输入构建的语义分割模型;所述训练数据包括若干点云样本的局部几何特征以及对应的语义标签;
根据所述语义分割模型输出的语义分割结果以及语义标签计算损失值;
根据所述损失值调整所述语义分割模型的参数,直至模型收敛。
5.如权利要求1-4中任一项所述的点云语义分割方法,其特征在于,所述局部几何特征还包括以下中的至少一种:法向量变化特征、直线性特征、平面性特征、散乱性特征、变化性特征、向异性特征、信息熵特征、局部点云密度特征、归一化特征值的和、色彩信息、强度信息。
6.如权利要求5所述的点云语义分割方法,其特征在于,提取待处理点云除每个点的三维坐标之外的局部几何特征的步骤具体包括:
利用三维坐标点邻域的结构张量获取待处理点云中每个点的结构张量;
对所述结构张量进行奇异值分解;
根据分解得到的特征值提取每个点的局部几何特征。
7.一种点云语义分割装置,其特征在于,包括:
提取模块,用于提取待处理点云的局部几何特征;其中,所述局部几何特征包括所述待处理点云中每个点的三维坐标;
输入模块,用于将所述待处理点云的局部几何特征输入训练好的语义分割模型,其中,所述语义分割模型包括下采样层和上采样层,所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征,得到局部聚合特征,以及根据所述局部几何特征确定全局上下文特征,并对所述局部聚合特征和所述全局上下文特征进行叠加;所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理;所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标;
输出模块,用于输出所述待处理点云的语义分割结果;
所述下采样层具体用于利用所述局部几何特征计算全局上下文权重系数;将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征;对所述第一特征进行线性变化和激活运算,得到第二特征;以及将所述第二特征与所述局部几何特征进行叠加,得到全局上下文特征。
8.一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的点云语义分割方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的点云语义分割方法。
CN202110736141.XA 2021-06-30 2021-06-30 点云语义分割方法及装置、电子设备及存储介质 Active CN113516663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110736141.XA CN113516663B (zh) 2021-06-30 2021-06-30 点云语义分割方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110736141.XA CN113516663B (zh) 2021-06-30 2021-06-30 点云语义分割方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113516663A CN113516663A (zh) 2021-10-19
CN113516663B true CN113516663B (zh) 2022-09-27

Family

ID=78066784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110736141.XA Active CN113516663B (zh) 2021-06-30 2021-06-30 点云语义分割方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113516663B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249349B (zh) * 2021-11-18 2023-06-27 上海仙途智能科技有限公司 一种点云去噪方法、电子设备及存储介质
CN114782684B (zh) * 2022-03-08 2023-04-07 中国科学院半导体研究所 点云语义分割方法、装置、电子设备与存储介质
CN115937644B (zh) * 2022-12-15 2024-01-02 清华大学 一种基于全局及局部融合的点云特征提取方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN112101278A (zh) * 2020-09-25 2020-12-18 湖南盛鼎科技发展有限责任公司 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN112819833A (zh) * 2021-02-05 2021-05-18 四川大学 一种大场景点云语义分割方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222742B (zh) * 2019-05-23 2022-12-02 星际空间(天津)科技发展有限公司 基于分层多回波的点云分割方法、装置、存储介质及设备
CN110223298A (zh) * 2019-05-27 2019-09-10 东南大学 基于点云局部结构的语义分割改进算法
CN110781920B (zh) * 2019-09-24 2022-09-16 同济大学 一种室内场景点云部件语义信息的识别方法
CN111222395B (zh) * 2019-10-21 2023-05-23 杭州飞步科技有限公司 目标检测方法、装置与电子设备
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
CN111028327B (zh) * 2019-12-10 2023-05-02 深圳先进技术研究院 一种三维点云的处理方法、装置及设备
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法
CN111242208B (zh) * 2020-01-08 2023-05-02 深圳大学 一种点云分类方法、分割方法及相关设备
CN111275052A (zh) * 2020-01-13 2020-06-12 南京林业大学 基于多层次聚合特征提取与融合的点云分类方法
CN111489358B (zh) * 2020-03-18 2022-06-14 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN111968121B (zh) * 2020-08-03 2021-12-03 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN112257597B (zh) * 2020-10-22 2024-03-15 中国人民解放军战略支援部队信息工程大学 一种点云数据的语义分割方法
CN112037228A (zh) * 2020-11-05 2020-12-04 中南大学 一种基于双倍注意力的激光雷达点云目标分割方法
CN112396137B (zh) * 2020-12-14 2023-12-15 南京信息工程大学 一种融合上下文语义的点云语义分割方法
CN112630766B (zh) * 2020-12-18 2022-04-19 海南大学 基于张量高阶奇异值分解的雷达角度和距离估计方法
CN112560865B (zh) * 2020-12-23 2022-08-12 清华大学 一种室外大场景下点云的语义分割方法
CN112949640A (zh) * 2021-01-29 2021-06-11 罗普特科技集团股份有限公司 点云语义分割方法、装置、计算设备及存储介质
CN112818999B (zh) * 2021-02-10 2022-10-28 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN112967296B (zh) * 2021-03-10 2022-11-15 重庆理工大学 一种点云动态区域图卷积方法、分类方法及分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN112101278A (zh) * 2020-09-25 2020-12-18 湖南盛鼎科技发展有限责任公司 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN112819833A (zh) * 2021-02-05 2021-05-18 四川大学 一种大场景点云语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Local and global encoder network for semantic segmentation of Airborne laser scanning point clouds;Yaping Lin 等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20210430;第151-160页 *
多特征融合与残差优化的点云语义分割方法;杜静 等;《中国图象图形学报》;20210516;第26卷(第5期);第1105-1116页 *

Also Published As

Publication number Publication date
CN113516663A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113516663B (zh) 点云语义分割方法及装置、电子设备及存储介质
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
Arshad et al. Dprnet: Deep 3d point based residual network for semantic segmentation and classification of 3d point clouds
Li et al. A robot vision navigation method using deep learning in edge computing environment
CN113449736B (zh) 一种基于深度学习的摄影测量点云语义分割方法
CN112785611B (zh) 一种3d点云弱监督语义分割方法及系统
CN113177555A (zh) 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
Liu et al. A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
Wang et al. Superpixel segmentation with squeeze-and-excitation networks
Chen et al. Point-attention Net: a graph attention convolution network for point cloudsegmentation
CN117078956A (zh) 一种基于点云多尺度并行特征提取和注意力机制的点云分类分割网络
CN117237660A (zh) 一种基于深度学习特征聚合的点云数据处理和分割方法
CN115082778B (zh) 一种基于多分支学习的宅基地识别方法及系统
CN115965788A (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
Hou et al. Application of YOLO V2 in construction vehicle detection
Ansari et al. Angle-based feature learning in GNN for 3D object detection using point cloud
Li et al. A structural-constraint 3D point clouds segmentation adversarial method
CN114821033A (zh) 一种基于激光点云的三维信息增强的检测识别方法及装置
Lguensat et al. Convolutional neural networks for the segmentation of oceanic eddies from altimetric maps
Wang et al. Quantitative Evaluation of Plant and Modern Urban Landscape Spatial Scale Based on Multiscale Convolutional Neural Network
CN116977820B (zh) 一种基于自注意力的轻量化三维目标实时检测方法及装置
Wang et al. Image Semantic Segmentation Algorithm Based on Self-learning Super-Pixel Feature Extraction
Chen et al. PointAF: A Novel Semantic Segmentation Network for Point Cloud
Liu et al. ESA-SSD: single-stage object detection network using deep hierarchical feature learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant