CN116311218A - 基于自注意力特征融合的带噪植株点云语义分割方法及系统 - Google Patents

基于自注意力特征融合的带噪植株点云语义分割方法及系统 Download PDF

Info

Publication number
CN116311218A
CN116311218A CN202310002282.8A CN202310002282A CN116311218A CN 116311218 A CN116311218 A CN 116311218A CN 202310002282 A CN202310002282 A CN 202310002282A CN 116311218 A CN116311218 A CN 116311218A
Authority
CN
China
Prior art keywords
point cloud
plant
point
dimensional
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310002282.8A
Other languages
English (en)
Inventor
曾安
陈扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310002282.8A priority Critical patent/CN116311218A/zh
Publication of CN116311218A publication Critical patent/CN116311218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及技术领域，公开了基于自注意力特征融合的带噪植株点云语义分割方法及系统；包括以下步骤：S1：获取二维序列图像；S2：根据二维序列图像进行三维重建，获取植株三维点云；S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。本发明解决；额现有技术无法分割带有噪声点的植株场景的问题，且具有抗噪声、高通量、高精度的特点。

Description

基于自注意力特征融合的带噪植株点云语义分割方法及系统
技术领域
本发明涉及植株三维点云分割技术领域，更具体的，涉及基于自注意力特征融合的带噪植株点云语义分割方法及系统。
背景技术
近年来，植株表型参数的自动化测量和监测技术被广泛应用于现代农业。植株点云语义分割是植株表型数据测量的关键技术。通过分割出叶片、茎干及其它点云语义标签，可为后续获取植株各项参数、监测植株的生长状况及后续培育方案的调整等提供数据支撑。但是，由于环境光线影响和摄像头视野的限制，通过三维重建得到的植株点云茎干和叶片之间存在很多的噪声点，彼此连续分布在一起，使得传统的茎叶分割方法行不通。目前植株的三维点云器官分割的传统方法有基于区域增长和欧氏距离聚类的分割方法，基于区域增长的分割方法使用邻域信息来将具有相似属性的附近点归类，以获得分割区域，并区分出不同区域之间的差异性，但是该方法在如何准确确定区域边界方面存在问题，对于噪声点非常敏感。基于欧氏距离聚类通常需要认为的设置分割阈值，分割阈值的精确与否对分割结果的影响很大，该方法同样对噪声点非常敏感。
深度学习技术凭借出色的数据表征学习能力和强大的通用性，在农业领域也有着广泛的应用。根据处理方法的不同，基于深度学习的3D点云语义分割方法可以分为基于投影的、基于离散化的和直接基于点的方法。基于投影的方法将3D点云投影到多个2D视角，利用先进的图像分割算法分割后融合不同视角的分数得出结论。但该方法对视角选择和遮挡很敏感，投影步骤容易导致信息损失。基于离散化的方法将无序的点云转换为规范化的离散表示，利用3D卷积进行体素分割，该方法很保留了3D点云的邻域结构，但其复杂的数据结构导致内存的计算成本很大。而直接基于点云的方法将原始点云数据作为输入，充分保留点云的空间位置和多维特征信息，虽然基于点的深度学习发展迅速，如PointNet、PointNet++、DGCNN、PointWeb等，但在植物分割方面的研究缺寥寥无几。
现有一种植物三维点云分割方法及系统，使用的点云是不带噪声点的干净点云，尽管可实现植物植株中茎秆、叶片、雄穗和雌穗器官的三维点云分割，器官距离非常近乃至挨在一起的情况下，也能进行高精度的分割。
然而现有技术存在无法分割带有噪声点的植株场景的问题，因此，如何提供一种可以分割带有噪声点的植株场景的植株点云分割方法成为本领域技术人员急需解决的问题。
发明内容
本发明为了解决现有技术无法分割带有噪声点的植株场景的问题，提供了基于自注意力特征融合的带噪植株点云语义分割方法及系统，其具有抗噪声、高通量、高精度的特点。
为实现上述本发明目的，采用的技术方案如下：
基于自注意力特征融合的带噪植株点云语义分割方法，包括以下步骤：
S1：获取二维序列图像；
S2：根据二维序列图像进行三维重建，获取植株三维点云；
S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；
S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；
S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
优选的，所述的步骤S2中，根据二维序列图像进行三维重建，获取植株三维点云，具体步骤为：
S201.利用尺度不变特征变换算法在二维序列图像的图像尺度空间中寻找极值点，检测潜在的特征点，并选择最稳健的点作为最终特征点；
S202.引入K维空间二叉树kd-tree模型，通过kd-tree模型计算二维序列图像的任意两张图像组成的图像对的最终特征点之间的欧氏距离得到其匹配度，通过匹配度的高低决定匹配点，并计算图像对的最终特征点点间对应关系和相机在三维空间中的相机姿态；
S203.通过三角测量原理将图像对的相机姿态与其最终特征点对求解得到三维坐标，从而生成三维稀疏点云；
S204.利用多视角立体集群算法对二维序列图像聚簇，然后用多视角拼接算法扩充稀疏点云得到稠密点云作为最终的植株三维点云。
进一步的，所述的步骤S3中，对植株三维点云进行预处理，具体为：对植株三维点云依次进行点云下采样、颜色阈值分割和噪声点去除：
对植株三维点云进行点云下采样时，采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格；在三维体素栅格的每个体素内，用体素中所有点的重心来近似显示体素中其他点，将该体素内所有点用一个重心点表示，对所有体素块处理后得到过滤后的点云，完成下采样；
对完成点云下采样的植株三维点云，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留植株三维点云中的植株，过滤植株三维点云中的背景和泥土；
对完成颜色阈值分割的植株三维点云，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，得到完成预处理的植株三维点云。
更进一步的，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，具体为：
遍历植株三维点云中所有点，计算每个点与最近K个邻居的平均距离dij；
计算出所有这些点距离的均值μ与标准差σ，来确定距离阈值；
手动设置邻居点数，指定在计算给定点的平均距离时要考虑的相邻要素数；手动设置标准差，指定点云中平均距离的标准偏差设置阈值水平；
定义两点间的距离超过阈值的为噪声点，并通过噪声点的移除公式移除噪声点：
Figure BDA0004035597450000031
Figure BDA0004035597450000032
更进一步的，所述的步骤S3中，人工标注，具体为：
对于完成预处理的植株三维点云中存在的和叶片、茎干连续分布在一起的噪声点，通过cloudcompare软件人工分割出不同的语义分割标签类别，并为每个点打上标签，获得植株点云数据集。
更进一步的，所述的带噪植株点云语义分割网络采用编码器解码器结构，包括4个自注意力特征融合模块、2个共享的完全连接层、3个上采样层；
带噪植株点云语义分割网络通过4个自注意力特征融合模块得到多层次的编码特征；将得到的特征通过3个上采样层进行逐层解码，没上采样层通过最近邻插值算法对输入的点云数据集点中的特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接；2个共享的完全连接层分别为dropout层和Log-SoftMax层；拼接后的点云依次通过dropout层和Log-SoftMax层，获得点云数据集中所有点的预测语义。
更进一步的，自注意力特征融合模块包括下采样模块、局部特征融合模块、双分支注意力池化模块；下采样模块、局部特征融合模块、双分支注意力池化模块依次相连；
下采样模块对输入的点云数据集点中的点云进行下采样，减少点云的个数的同时对每个点的特征进行升维，具体为：使用最远点采样，不断迭代地选择距离已有采样点集合的最远点得到采样后的点云；对其中的每个点使用KNN算法，找到距离中心点最近的K个点，生成一个局部邻域，每个局部邻域都经过一个多层感知机，最后进行最大池化，得到下采样的输出；
局部特征融合模块根据下采样的输出中包括邻域内所有点对之间的相关性，聚合点的位置、距离信息在内的浅层特征和包括形状、语义信息的高层特征获取局部上下文特征；
双分支注意力池化模块的第一个分支采用通道注意力机制自适应过滤局部上下文特征的局部低关联度特征，用于在提取植株点云的语义分割特征时，引导网络关注植株的形状结构信息；第二个分支通过对局部上下文特征的最高层特征图进行最大池化得到全局上下文特征；最终融合局部和全局上下文特征，得到多层次的编码特征。
更进一步的，局部特征融合模块输入的规模是N×(3+d)，其中，N代表点的个数，3代表三维空间的位置坐标，d代表特征属性；对每个点使用一次KNN算法，得到欧式距离最近的K个点；对于输入中的第i个点，假设其坐标为pi，K个邻居坐标分别为
Figure BDA0004035597450000041
将pi及其邻居点的坐标信息通过局部空间编码把其中心点坐标，邻居点坐标，坐标差，中心点与邻居点的距离拼接起来；通过一个共享感知机调整得到一个聚合欧氏距离空间信息的新特征
Figure BDA0004035597450000042
Figure BDA0004035597450000043
式中⊕表示拼接操作，‖·‖计算中心点到所有邻居点的距离。
更进一步的，双分支注意力池化模块包括有4个输入，分别是几何距离、邻近点特征、坐标差和局部聚合特征，其中，坐标差是中心点坐标减去邻近点坐标的向量，局部聚合特征是局部特征融合模块的输出；假设g(i)和g(k)是该模块的两个输入特征向量，g(i)和g(k)之间的特征距离
Figure BDA0004035597450000051
被定义为：
Figure BDA0004035597450000052
式中，|·|是求绝对值，mean是平均值函数；使用参数λ来控制特征距离的权重，λ设为0.1；
Figure BDA0004035597450000053
式中，
Figure BDA0004035597450000054
表示几何距离，
Figure BDA0004035597450000055
表示中心点与邻居点的坐标差；对于双分支注意力池化模块的第一个分支，通过拼接将特征影响因子
Figure BDA0004035597450000056
和局部聚合特征
Figure BDA0004035597450000057
合并：
Figure BDA0004035597450000058
fi k+通过一个线性层和Softmax函数计算得到注意力权重
Figure BDA0004035597450000059
Figure BDA00040355974500000510
利用学习到的注意力权重来加权求和局部聚合特征可得出局部上下文特征：
Figure BDA00040355974500000511
对于第二个分支，全局上下文特征的公式为：
Figure BDA00040355974500000512
基于自注意力特征融合的带噪植株点云语义分割系统，包括图像采集模块、三维重建模块、预处理模块、语义分割网络模块、语义分割模块：
所述的图像采集模块用于获取二维序列图像；
所述的三维重建模块用于根据二维序列图像进行三维重建，获取植株三维点云；
所述的预处理模块用于对植株三维点云进行预处理和人工标注，获得植株点云数据集；
所述的语义分割网络模块用于构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；
所述的语义分割模块用于通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
本发明的有益效果如下：
本发明公开了基于自注意力特征融合的带噪植株点云语义分割方法，其中，公开了根据二维序列图像进行三维重建，获取植株三维点云；对植株三维点云进行预处理和人工标注，获得植株点云数据集；通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签，由此本发明解决了现有技术无法分割带有噪声点的植株场景的问题，具有抗噪声、高通量、高精度的特点。
附图说明
图1是本发明基于自注意力特征融合的带噪植株点云语义分割方法的流程示意图。
图2是本发明基于自注意力特征融合的带噪植株点云语义分割方法中步骤S2的具体流程示意图。
图3是本发明基于自注意力特征融合的带噪植株点云语义分割方法中所述步骤S1搭建的图像采集平台图。
图4是本发明基于自注意力特征融合的带噪植株点云语义分割方法中所述步骤S3人工标注的示意图。
图5是本发明基于自注意力特征融合的带噪植株点云语义分割方法中所述带噪植株点云语义分割网络的结构示意图。
图6是本发明基于自注意力特征融合的带噪植株点云语义分割方法中所述带噪植株点云语义分割网络的局部特征聚合模块图。
图7是本发明基于自注意力特征融合的带噪植株点云语义分割方法中所述带噪植株点云语义分割网络的双分支注意力池化模块图。
图8是本发明基于自注意力特征融合的带噪植株点云语义分割方法的所述植株三维点云分割结果可视化图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，基于自注意力特征融合的带噪植株点云语义分割方法，包括以下步骤：
S1：获取二维序列图像；
S2：根据二维序列图像进行三维重建，获取植株三维点云；
S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；
S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；
S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
本实施例中，如图3所示，搭建植株多角度图像采集平台，通过高清摄像头获取高精度的二维序列图像；通过植株图像采集平台获取二维序列图像植株图像；采集平台由摄像头、支架及圆形转盘组成，支架的作用是固定摄像头，圆形转盘通过旋转使得固定的摄像头能够拍摄到植株的不同角度照片。采集平台工作时，将试验植株放置在白色转盘中心，让植株随着转盘一起旋转。选用三个相同的摄像头都对准转盘上的植株并处在不同的高度。其中一个拍摄植株的俯视图照片，另外两个拍摄45°俯视图和侧视图照片。支架放置在距离白色圆形转盘0.5m以内的位置。整个拍摄过程中都设置相机为自动对焦模式，同时保证相机各参数保持不变。以植株为中心，每旋转10-20度拍摄一张二维图像，3个摄像头分别从不同视角各获取60张图像，每个植物样本总共采集180张图片。本方案搭建出一套用于自动采集植株二维序列图像的平台，用多角度序列图像进行三维重建，受环境约束较小并且具备自校正，对相机的要求较低，与Kinect这种3D摄像头不同，只需要普通的RGB摄像头即可，鲁棒性较强。
本实施例中，本发明通过构建语义分割网络，从而在农业领域提出了一种基于数据驱动的端到端，直接处理带有大量噪声的3D点云深度学习模型，能自动高效地对植物三维点云进行器官级分割。
实施例2
更具体的，如图2所示，在一个具体实施例中，所述的步骤S2中，根据二维序列图像进行三维重建，获取植株三维点云，具体步骤为：
S201.利用尺度不变特征变换算法在二维序列图像的图像尺度空间中寻找极值点，检测潜在的特征点，并选择最稳健的点作为最终特征点；
S202.引入K维空间二叉树kd-tree模型，通过kd-tree模型计算二维序列图像的任意两张图像组成的图像对的最终特征点之间的欧氏距离得到其匹配度，通过匹配度的高低决定匹配点，并计算图像对的最终特征点点间对应关系和相机在三维空间中的相机姿态；
S203.通过三角测量原理将图像对的相机姿态与其最终特征点对求解得到三维坐标，从而生成三维稀疏点云；
S204.利用多视角立体集群算法对二维序列图像聚簇，然后用多视角拼接算法扩充稀疏点云得到稠密点云作为最终的植株三维点云。
本实施例中，对植株点云进行三维重建时，由于环境光线影响和摄像头视野限制导致植株点云的背景、叶片和茎干之间存在很多噪声点，特别是作为视野盲区的叶片下方，存在大量噪声点和叶片及茎干连续分布在一起，对植株的后续分割造成较大影响。因此需要对原始点云进行预处理，提高点云分割的准确率。
在一个具体实施例中，所述的步骤S3中，对植株三维点云进行预处理，具体为：对植株三维点云依次进行点云下采样、颜色阈值分割和噪声点去除：
对植株三维点云进行点云下采样时，采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格；在三维体素栅格的每个体素内，用体素中所有点的重心来近似显示体素中其他点，将该体素内所有点用一个重心点表示，对所有体素块处理后得到过滤后的点云，完成下采样；
对完成点云下采样的植株三维点云，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留植株三维点云中的植株，过滤植株三维点云中的背景和泥土；
本实施例中，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留绿色的植株，过滤掉白色的背景和黑色的泥土。颜色阈值具体设置为：G-B≥45and G-R≥45。颜色阈值分割可以去除大量的背景点云，但还是有很多噪声点与植株颜色相近，而且还有很多离群的噪声点蔟随机分布，所以需要进行离群点移除。
对完成颜色阈值分割的植株三维点云，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，得到完成预处理的植株三维点云。
在一个具体实施例中，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，具体为：
遍历植株三维点云中所有点，计算每个点与最近K个邻居的平均距离dij；
计算出所有这些点距离的均值μ与标准差σ，来确定距离阈值；
手动设置邻居点数，指定在计算给定点的平均距离时要考虑的相邻要素数；手动设置标准差，指定点云中平均距离的标准偏差设置阈值水平；
定义两点间的距离超过阈值的为噪声点，并通过噪声点的移除公式移除噪声点：
Figure BDA0004035597450000091
Figure BDA0004035597450000092
在一个具体实施例中，所述的步骤S3中，人工标注，具体为：
对于完成预处理的植株三维点云中存在的和叶片、茎干连续分布在一起的噪声点，通过cloudcompare软件人工分割出不同的语义分割标签类别，并为每个点打上标签，获得植株点云数据集。
本实施例中，如图4所示，整个点云可以分为叶子(leaf)类、茎干(stem)类、红色纸片(red)类和杂点(cluster)类。
本实施例中，由于后续构建的语义分割网络需要先进行训练才能进行使用，因此，在实际分割之前通过预处理和人工标注，可以得到用于训练基于自注意力特征融合的带噪植株点云语义分割网络的数据集，按照5:1的比例将数据集分为训练集和测试集，用训练集对语义分割网络进行迭代训练，由测试集进行准确度测试，验证语义分割网络对于带有噪声的点云语义分割效果。
在一个具体实施例中，所述的带噪植株点云语义分割网络采用编码器解码器结构，包括4个自注意力特征融合模块、2个共享的完全连接层、3个上采样层；
带噪植株点云语义分割网络通过4个自注意力特征融合模块得到多层次的编码特征；将得到的特征通过3个上采样层进行逐层解码，没上采样层通过最近邻插值算法对输入的点云数据集点中的特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接；2个共享的完全连接层分别为dropout层和Log-SoftMax层；拼接后的点云依次通过dropout层和Log-SoftMax层，获得点云数据集中所有点的预测语义。
本实施例中，带噪植株点云语义分割网络的输入是一个规模为N×d的点云，其中，N表示点的个数，d表示输入点的特征维度。点数从N逐渐减少到N/256，点云点数的变化过程为N→N/4→N/8→N/64→N/256，特征维度从d增加到512，点云特征维度的变化过程为d→64→128→256→512。
本实施例中，进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接时，点云的点数逐步恢复到N。
本实施例中，通过2个共享的完全连接层时，维度变化为(N,128)→(N,32)→(N,C)，dropout层的随机丢失率设为0.5，Log-SoftMax层获得的所有点的预测语义大小为N×C，其中C是语义标签类的个数。
在一个具体实施例中，自注意力特征融合模块包括下采样模块、局部特征融合模块、双分支注意力池化模块；下采样模块、局部特征融合模块、双分支注意力池化模块依次相连；
下采样模块对输入的点云数据集点中的点云进行下采样，减少点云的个数的同时对每个点的特征进行升维，具体为：使用最远点采样，不断迭代地选择距离已有采样点集合的最远点得到采样后的点云；对其中的每个点使用KNN算法，找到距离中心点最近的K个点，生成一个局部邻域，每个局部邻域都经过一个多层感知机，最后进行最大池化，得到下采样的输出；
本实施例中，如图6所示，为了提取点云的局部细粒度特征，设计了一个将三维坐标和点特征分别处理的局部特征融合模块，局部特征融合模块根据下采样的输出中包括邻域内所有点对之间的相关性，聚合点的位置、距离信息在内的浅层特征和包括形状、语义信息的高层特征获取局部上下文特征；
双分支注意力池化模块的第一个分支采用通道注意力机制自适应过滤局部上下文特征的局部低关联度特征，用于在提取植株点云的语义分割特征时，引导网络关注植株的形状结构信息；第二个分支通过对局部上下文特征的最高层特征图进行最大池化得到全局上下文特征；最终融合局部和全局上下文特征，得到多层次的编码特征。
在一个具体实施例中，由图6可知，局部特征融合模块输入的规模是N×(3+d)，其中，N代表点的个数，3代表三维空间的位置坐标，d代表特征属性；对每个点使用一次KNN算法，得到欧式距离最近的K个点；对于输入中的第i个点，假设其坐标为pi，K个邻居坐标分别为
Figure BDA0004035597450000101
将pi及其邻居点的坐标信息通过局部空间编码把其中心点坐标，邻居点坐标，坐标差，中心点与邻居点的距离拼接起来；通过一个共享感知机调整得到一个聚合欧氏距离空间信息的新特征
Figure BDA0004035597450000102
Figure BDA0004035597450000103
式中⊕表示拼接操作，‖·‖计算中心点到所有邻居点的距离。
本实施例中，这种局部空间编码单元显式嵌入所有邻居点的坐标，使得相对应的点特征感知到它们之间的相对空间位置，这让该编码单元可以学习到中心点与邻居点的空间位置和距离等浅层特征。使中心点特征具有了代表周围空间的潜力，从而导致整个网络有效地学习复杂的局部结构。
本实施例中，对于点特征的处理，本发明对于邻域内的每一个点，计算其他所有点对该点的影响分数，最后根据分数调整每个点的特征。该组件的输入是一个大小为d×K的特征向量，先将d×K维的特征重复扩充到d×K×K维。对于每一个中心点所确定的邻域R及其特征集F＝{F1,F2,…,Fm}，根据以下求出特征差异图：
Figure BDA0004035597450000111
特征差异图包含所有点对之间的信息关联，使用自注意力机制让其通过一个多层感知机MLP和一个Softmax函数得到邻域内每个点和其它点的注意力分数。将注意力分数与特征差异图相乘，得到经过自适应调整的注意力特征。然后，通过残差连接和加权求和，得到包含形状和语义等信息的增强特征Fi k。最后将
Figure BDA0004035597450000112
和Fi k拼接起来，得到一个融合了浅层空间特征和高层语义特征的局部聚合特征，这使得每个点特征具有了代表周围空间的潜力，从而导致整个网络有效地学习复杂的局部结构。
在一个具体实施例中，如图7所示，双分支注意力池化模块包括有4个输入，分别是几何距离、邻近点特征、坐标差和局部聚合特征，其中，坐标差是中心点坐标减去邻近点坐标的向量，局部聚合特征是局部特征融合模块的输出；假设g(i)和g(k)是该模块的两个输入特征向量，g(i)和g(k)之间的特征距离
Figure BDA0004035597450000113
被定义为：
Figure BDA0004035597450000114
式中，|·|是求绝对值，mean是平均值函数；使用参数λ来控制特征距离的权重，λ设为0.1；
Figure BDA0004035597450000115
式中，
Figure BDA0004035597450000116
表示几何距离，
Figure BDA0004035597450000117
表示中心点与邻居点的坐标差；对于双分支注意力池化模块的第一个分支，通过拼接将特征影响因子
Figure BDA0004035597450000118
和局部聚合特征fi k合并：
Figure BDA0004035597450000119
fi k+通过一个线性层和Softmax函数计算得到注意力权重
Figure BDA0004035597450000121
Figure BDA0004035597450000122
利用学习到的注意力权重来加权求和局部聚合特征可得出局部上下文特征：
Figure BDA0004035597450000123
对于第二个分支，全局上下文特征的公式为：
fiG＝Max(MLP(fi k))。
本实施例中，最终将两部分特征相加得到判别特征，该特征有效地融合了局部上下文特征和全局上下文特征，提升了特征表征能力。
本实施例中，对于语义分割等针对点云中的每个点进行分类的稠密任务，需要把点集进行上采样，恢复到原来的点数。利用上采样模块对点云进行上采样，将特征从形状级别过渡到点级别。使用KNN算法为每个p点找到其K个近邻点，在三维空间中基于点与其K近邻点的欧氏距离进行插值。
Figure BDA0004035597450000124
Figure BDA0004035597450000125
其中，pi是p的近邻点，wi(p)代表跟点p和pi之间的距离成反比的权重，因此，pi离p距离越远，权重越小；dist(p,pi)代表点p与pi之间的距离函数，本实施例中采用欧式距离。
实施例3
更具体的，如图2所示，在一个具体实施例中，所述的步骤S2中，根据二维序列图像进行三维重建，获取植株三维点云，具体步骤为：
S201.利用尺度不变特征变换算法在二维序列图像的图像尺度空间中寻找极值点，检测潜在的特征点，并选择最稳健的点作为最终特征点；
S202.引入K维空间二叉树kd-tree模型，通过kd-tree模型计算二维序列图像的任意两张图像组成的图像对的最终特征点之间的欧氏距离得到其匹配度，通过匹配度的高低决定匹配点，并计算图像对的最终特征点点间对应关系和相机在三维空间中的相机姿态；
S203.通过三角测量原理将图像对的相机姿态与其最终特征点对求解得到三维坐标，从而生成三维稀疏点云；
S204.利用多视角立体集群算法对二维序列图像聚簇，然后用多视角拼接算法扩充稀疏点云得到稠密点云作为最终的植株三维点云。
在一个具体实施例中，所述的步骤S3中，对植株三维点云进行预处理，具体为：对植株三维点云依次进行点云下采样、颜色阈值分割和噪声点去除：
对植株三维点云进行点云下采样时，采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格；在三维体素栅格的每个体素内，用体素中所有点的重心来近似显示体素中其他点，将该体素内所有点用一个重心点表示，对所有体素块处理后得到过滤后的点云，完成下采样；
对完成点云下采样的植株三维点云，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留植株三维点云中的植株，过滤植株三维点云中的背景和泥土；
对完成颜色阈值分割的植株三维点云，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，得到完成预处理的植株三维点云。
在一个具体实施例中，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，具体为：
遍历植株三维点云中所有点，计算每个点与最近K个邻居的平均距离dij；
计算出所有这些点距离的均值μ与标准差σ，来确定距离阈值；
手动设置邻居点数，指定在计算给定点的平均距离时要考虑的相邻要素数；手动设置标准差，指定点云中平均距离的标准偏差设置阈值水平；
定义两点间的距离超过阈值的为噪声点，并通过噪声点的移除公式移除噪声点：
Figure BDA0004035597450000131
Figure BDA0004035597450000132
在一个具体实施例中，所述的步骤S3中，人工标注，具体为：
对于完成预处理的植株三维点云中存在的和叶片、茎干连续分布在一起的噪声点，通过cloudcompare软件人工分割出不同的语义分割标签类别，并为每个点打上标签，获得植株点云数据集。
在一个具体实施例中，如图5所示，所述的带噪植株点云语义分割网络采用编码器解码器结构，包括4个自注意力特征融合模块、2个共享的完全连接层、3个上采样层；
带噪植株点云语义分割网络通过4个自注意力特征融合模块得到多层次的编码特征；将得到的特征通过3个上采样层进行逐层解码，没上采样层通过最近邻插值算法对输入的点云数据集点中的特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接；2个共享的完全连接层分别为dropout层和Log-SoftMax层；拼接后的点云依次通过dropout层和Log-SoftMax层，获得点云数据集中所有点的预测语义。
在一个具体实施例中，自注意力特征融合模块包括下采样模块、局部特征融合模块、双分支注意力池化模块；下采样模块、局部特征融合模块、双分支注意力池化模块依次相连；
下采样模块对输入的点云数据集点中的点云进行下采样，减少点云的个数的同时对每个点的特征进行升维，具体为：使用最远点采样，不断迭代地选择距离已有采样点集合的最远点得到采样后的点云；对其中的每个点使用KNN算法，找到距离中心点最近的K个点，生成一个局部邻域，每个局部邻域都经过一个多层感知机，最后进行最大池化，得到下采样的输出；
双分支注意力池化模块的第一个分支采用通道注意力机制自适应过滤局部上下文特征的局部低关联度特征，用于在提取植株点云的语义分割特征时，引导网络关注植株的形状结构信息；第二个分支通过对局部上下文特征的最高层特征图进行最大池化得到全局上下文特征；最终融合局部和全局上下文特征，得到多层次的编码特征。
在一个具体实施例中，由图6可知，局部特征融合模块输入的规模是N×(3+d)，其中，N代表点的个数，3代表三维空间的位置坐标，d代表特征属性；对每个点使用一次KNN算法，得到欧式距离最近的K个点；对于输入中的第i个点，假设其坐标为pi，K个邻居坐标分别为
Figure BDA0004035597450000141
将pi及其邻居点的坐标信息通过局部空间编码把其中心点坐标，邻居点坐标，坐标差，中心点与邻居点的距离拼接起来；通过一个共享感知机调整得到一个聚合欧氏距离空间信息的新特征ri k：
Figure BDA0004035597450000142
式中⊕表示拼接操作，‖·‖计算中心点到所有邻居点的距离。
本实施例中，这种局部空间编码单元显式嵌入所有邻居点的坐标，使得相对应的点特征感知到它们之间的相对空间位置，这让该编码单元可以学习到中心点与邻居点的空间位置和距离等浅层特征。使中心点特征具有了代表周围空间的潜力，从而导致整个网络有效地学习复杂的局部结构。
本实施例中，对于点特征的处理，本发明对于邻域内的每一个点，计算其他所有点对该点的影响分数，最后根据分数调整每个点的特征。该组件的输入是一个大小为d×K的特征向量，先将d×K维的特征重复扩充到d×K×K维。对于每一个中心点所确定的邻域R及其特征集F＝{F1,F2,…,Fm}，根据以下求出特征差异图：
Figure BDA0004035597450000151
特征差异图包含所有点对之间的信息关联，使用自注意力机制让其通过一个多层感知机MLP和一个Softmax函数得到邻域内每个点和其它点的注意力分数。将注意力分数与特征差异图相乘，得到经过自适应调整的注意力特征。然后，通过残差连接和加权求和，得到包含形状和语义等信息的增强特征
Figure BDA0004035597450000152
最后将ri k和
Figure BDA0004035597450000153
拼接起来，得到一个融合了浅层空间特征和高层语义特征的局部聚合特征，这使得每个点特征具有了代表周围空间的潜力，从而导致整个网络有效地学习复杂的局部结构。
在一个具体实施例中，如图7所示，双分支注意力池化模块包括有4个输入，分别是几何距离、邻近点特征、坐标差和局部聚合特征，其中，坐标差是中心点坐标减去邻近点坐标的向量，局部聚合特征是局部特征融合模块的输出；假设g(i)和g(k)是该模块的两个输入特征向量，g(i)和g(k)之间的特征距离
Figure BDA0004035597450000154
被定义为：
Figure BDA0004035597450000155
式中，|·|是求绝对值，mean是平均值函数；使用参数λ来控制特征距离的权重，λ设为0.1；
Figure BDA0004035597450000156
式中，
Figure BDA0004035597450000157
表示几何距离，
Figure BDA0004035597450000158
表示中心点与邻居点的坐标差；对于双分支注意力池化模块的第一个分支，通过拼接将特征影响因子
Figure BDA0004035597450000159
和局部聚合特征fi k合并：
Figure BDA0004035597450000161
fi k+通过一个线性层和Softmax函数计算得到注意力权重
Figure BDA0004035597450000162
Figure BDA0004035597450000163
利用学习到的注意力权重来加权求和局部聚合特征可得出局部上下文特征：
Figure BDA0004035597450000164
对于第二个分支，全局上下文特征的公式为：
fiG＝Max(MLP(fi k))。
更具体的，为了进一步说明本方案的技术效果，本实施对方案进行更为细致的说明。
本实施例在本方法所采集和重建的植株点云数据集上，和经典的语义分割网络进行对比实验以检验本方法的性能。
语义分割网络性能的衡量采用的总体准确率公式为：
Figure BDA0004035597450000165
语义分割网络性能的衡量采用的平均交并比公式为：
Figure BDA0004035597450000166
其中c代表语义标签类的个数。此外，还利用精确率和召回率对语义分割结果的结果进行评估，公式分别为：
Figure BDA0004035597450000167
Figure BDA0004035597450000168
3D植株点云的语义分割目标是将点分割成leaf，stem，red和cluster四类。语义分割结果如表1所示，分割结果的可视化如图8所示：
Figure BDA0004035597450000169
Figure BDA0004035597450000171
表1
由表1可知，本发明提出的带噪植株点云语义分割网络，即SAFF-Net网络的OA、mIoU分别为93.7％、83.4％，该模型在总体准确率上比PointNet高出2.1％，比PointNet++高出2.2％，比DGCNN高出1.5％，比PointWeb高出3.5％。在平均交并比方面，比PointNet高出2.9％，比PointNet++高出4.0％，比DGCNN高出3.0％，比PointWeb高出6.5％。本发明模型在杂点类、叶片和茎干这三个语义标签上都取得了最高的IoU精度。SAFF-Net网络在所有语义类都取得了良好的精确率和召回率。特别是在茎干类上，其精确率比PointNet高38％，比PointNet++高出4.1％，比DGCNN高出15.3％，比PointWeb高出12.3％。由于网络在杂点类和叶片类都有着较高的精确率和召回率，说明模型对于紧密相连的杂点和叶片有较好的分割能力。通过以上分析可以看出空间注意力的引入和局部特征融合可以有效学习上下文特征，同时还学习了点云的形状结构信息，从而提高分割精度。
实施例4
基于自注意力特征融合的带噪植株点云语义分割系统，包括图像采集模块、三维重建模块、预处理模块、语义分割网络模块、语义分割模块：
所述的图像采集模块用于获取二维序列图像；
所述的三维重建模块用于根据二维序列图像进行三维重建，获取植株三维点云；
所述的预处理模块用于对植株三维点云进行预处理和人工标注，获得植株点云数据集；
所述的语义分割网络模块用于构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；所述的语义分割模块用于通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
本实施例中，所述的图像采集模块通过相机获取高精度和多角度的植株2D序列图像；
本实施例中，所述三维重建模块包括特征点获取单元、特征点匹配单元、稀疏点云生成单元和稠密点云生成单元；其中：
特征点获取单元采用尺度不变局部特征变换(SIFT)算子从植株2D序列图像上检测潜在的特征点，并选择最稳健的点作为最终特征点。
特征点匹配单元用K维空间二叉树kd-tree模型去计算两张图像特征点之间的欧氏距离来决定匹配度，由匹配度的高低决定匹配点，并计算特征点间对应关系和相机在三维空间中的相机姿态。
稀疏点云生成单元利用三角测量原理将该图像对的相机姿态与其特征点对求解得到三维坐标,从而生成三维稀疏点云。
稠密点云生成单元元采用CMVS和PMVS算法对稀疏点云的特征点周围像素进行扩展，形成稠密点云，即获得植株的3D点云。
本实施例中，所述预处理模块包括点云下采样单元、颜色阈值分割单元和噪声点去除单元；其中：
点云下采样单元采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格，然后用每个体素内的重心来近似显示体素中其他点，从而达到降采样的目的。
颜色阈值分割单元根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留绿色的植株，过滤掉白色的背景和黑色的泥土。
噪声点去除单元采用统计离群点移除(Statistical outlier removal)算法删除与其相邻点距离过大的点。使用open3D中的Statistical outlier removal删除与平均值相比,与其相邻点距离过大的点。它需要两个输入参数：
nb_neighbors，它指定在计算给定点的平均距离时要考虑的相邻要素数。
std_ratio，允许根据点云中平均距离的标准偏差设置阈值水平。此数字越低，过滤器的激进程度就越高,删除的越多。
更具体的，人工标注采用cloudcompare软件实现，具体为：
将需要进行人工标注的点云输入cloudcompare软件中，通过分割工具人工分割出不同的语义分割标签类别，并为每个点打上标签。整个点云可以分为叶子类、茎干类、红色纸片类和杂点类。
更具体的，所述语义分割网络模块构建的语义分割网络具体执行以下操作：预测输入点云中所有点的类别标签，完成语义标签预测，其中：
三维点云语义分割网络采用编码器解码器结构，其具体执行以下步骤：
利用四个编码器通过自注意力特征融合模块多层次编码特征，逐步减少点云的个数并增加每个点云的维度；每个自注意力特征融合模块包括下采样、局部特征融合模块和双分支注意力池化模块，点数从N逐渐减少到N/256，点云点数的变化过程为N→N/4→N/8→N/64→N/256，特征维度从d增加到512，点云特征维度的变化过程为d→64→128→256→512；
使用四个解码器对特征逐层解码。每个解码器通过最近邻插值算法对点特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接，使点云的点数逐步恢复到N；
通过两个共享的完全连接层，即维度变化为(N,128)→(N,32)→(N,C)，第一个完全连接层之后应用了一个随机丢失率设为0.5的dropout层。第一个完全连接层之后应用了一个Log-SoftMax层获得所有点的预测语义，大小为N×C，其中C是语义标签类的个数。
在具体实施过程中，本系统用于实现带有噪声的点云分割方法，其实现简单，操作便捷，易于现实中的应用推广。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：包括以下步骤：
S1：获取二维序列图像；
S2：根据二维序列图像进行三维重建，获取植株三维点云；
S3：对植株三维点云进行预处理和人工标注，获得植株点云数据集；
S4：构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；
S5.通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
2.根据权利要求1所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的步骤S2中，根据二维序列图像进行三维重建，获取植株三维点云，具体步骤为：
S201.利用尺度不变特征变换算法在二维序列图像的图像尺度空间中寻找极值点，检测潜在的特征点，并选择最稳健的点作为最终特征点；
S202.引入K维空间二叉树kd-tree模型，通过kd-tree模型计算二维序列图像的任意两张图像组成的图像对的最终特征点之间的欧氏距离得到其匹配度，通过匹配度的高低决定匹配点，并计算图像对的最终特征点点间对应关系和相机在三维空间中的相机姿态；
S203.通过三角测量原理将图像对的相机姿态与其最终特征点对求解得到三维坐标，从而生成三维稀疏点云；
S204.利用多视角立体集群算法对二维序列图像聚簇，然后用多视角拼接算法扩充稀疏点云得到稠密点云作为最终的植株三维点云。
3.根据权利要求1所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的步骤S3中，对植株三维点云进行预处理，具体为：对植株三维点云依次进行点云下采样、颜色阈值分割和噪声点去除：
对植株三维点云进行点云下采样时，采用三维体素栅格法，通过输入的点云数据创建一个三维体素栅格；在三维体素栅格的每个体素内，用体素中所有点的重心来近似显示体素中其他点，将该体素内所有点用一个重心点表示，对所有体素块处理后得到过滤后的点云，完成下采样；
对完成点云下采样的植株三维点云，根据不同点云颜色RGB值的不同，手动调整出适合的参数阈值，保留植株三维点云中的植株，过滤植株三维点云中的背景和泥土；
对完成颜色阈值分割的植株三维点云，采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，得到完成预处理的植株三维点云。
4.根据权利要求3所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：采用统计离群点移除算法删除与植株三维点云中相邻点距离过大的点，具体为：
遍历植株三维点云中所有点，计算每个点与最近K个邻居的平均距离dij；
计算出所有这些点距离的均值μ与标准差σ，来确定距离阈值；
手动设置邻居点数，指定在计算给定点的平均距离时要考虑的相邻要素数；
手动设置标准差，指定点云中平均距离的标准偏差设置阈值水平；
定义两点间的距离超过阈值的为噪声点，并通过噪声点的移除公式移除噪声点：
Figure FDA0004035597440000021
Figure FDA0004035597440000022
5.根据权利要求3所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的步骤S3中，人工标注，具体为：
对于完成预处理的植株三维点云中存在的和叶片、茎干连续分布在一起的噪声点，通过cloudcompare软件人工分割出不同的语义分割标签类别，并为每个点打上标签，获得植株点云数据集。
6.根据权利要求1所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：所述的带噪植株点云语义分割网络采用编码器解码器结构，包括4个自注意力特征融合模块、2个共享的完全连接层、3个上采样层；
带噪植株点云语义分割网络通过4个自注意力特征融合模块得到多层次的编码特征；将得到的特征通过3个上采样层进行逐层解码，没上采样层通过最近邻插值算法对输入的点云数据集点中的特征进行上采样，并利用跳跃连接与对应维度的编码层中间特征进行拼接；2个共享的完全连接层分别为dropout层和Log-SoftMax层；拼接后的点云依次通过dropout层和Log-SoftMax层，获得点云数据集中所有点的预测语义。
7.根据权利要求6所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：自注意力特征融合模块包括下采样模块、局部特征融合模块、双分支注意力池化模块；下采样模块、局部特征融合模块、双分支注意力池化模块依次相连；
下采样模块对输入的点云数据集点中的点云进行下采样，减少点云的个数的同时对每个点的特征进行升维，具体为：使用最远点采样，不断迭代地选择距离已有采样点集合的最远点得到采样后的点云；对其中的每个点使用KNN算法，找到距离中心点最近的K个点，生成一个局部邻域，每个局部邻域都经过一个多层感知机，最后进行最大池化，得到下采样的输出；
局部特征融合模块根据下采样的输出中包括邻域内所有点对之间的相关性，聚合点的位置、距离信息在内的浅层特征和包括形状、语义信息的高层特征获取局部上下文特征；
双分支注意力池化模块的第一个分支采用通道注意力机制自适应过滤局部上下文特征的局部低关联度特征，用于在提取植株点云的语义分割特征时，引导网络关注植株的形状结构信息；第二个分支通过对局部上下文特征的最高层特征图进行最大池化得到全局上下文特征；最终融合局部和全局上下文特征，得到多层次的编码特征。
8.根据权利要求7所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：
局部特征融合模块输入的规模是N×(3+d)，其中，N代表点的个数，3代表三维空间的位置坐标，d代表特征属性；对每个点使用一次KNN算法，得到欧式距离最近的K个点；对于输入中的第i个点，假设其坐标为pi，K个邻居坐标分别为
Figure FDA0004035597440000031
将pi及其邻居点的坐标信息通过局部空间编码把其中心点坐标，邻居点坐标，坐标差，中心点与邻居点的距离拼接起来；通过一个共享感知机调整得到一个聚合欧氏距离空间信息的新特征ri k：
Figure FDA0004035597440000032
式中⊕表示拼接操作，‖·‖计算中心点到所有邻居点的距离。
9.根据权利要求5所述的基于自注意力特征融合的带噪植株点云语义分割方法，其特征在于：
双分支注意力池化模块包括有4个输入，分别是几何距离、邻近点特征、坐标差和局部聚合特征，其中，坐标差是中心点坐标减去邻近点坐标的向量，局部聚合特征是局部特征融合模块的输出；假设g(i)和g(k)是该模块的两个输入特征向量，g(i)和g(k)之间的特征距离
Figure FDA0004035597440000041
被定义为：
Figure FDA0004035597440000042
式中，|·|是求绝对值，mean是平均值函数；使用参数λ来控制特征距离的权重，λ设为0.1；
Figure FDA0004035597440000043
式中，
Figure FDA0004035597440000044
表示几何距离，
Figure FDA0004035597440000045
表示中心点与邻居点的坐标差；对于双分支注意力池化模块的第一个分支，通过拼接将特征影响因子
Figure FDA0004035597440000046
和局部聚合特征fi k合并：
Figure FDA0004035597440000047
fi k+通过一个线性层和Softmax函数计算得到注意力权重
Figure FDA0004035597440000048
Figure FDA0004035597440000049
利用学习到的注意力权重来加权求和局部聚合特征可得出局部上下文特征：
Figure FDA00040355974400000410
对于第二个分支，全局上下文特征的公式为：
Figure FDA00040355974400000411
10.基于自注意力特征融合的带噪植株点云语义分割系统，其特征在于：包括图像采集模块、三维重建模块、预处理模块、语义分割网络模块、语义分割模块：所述的图像采集模块用于获取二维序列图像；
所述的三维重建模块用于根据二维序列图像进行三维重建，获取植株三维点云；
所述的预处理模块用于对植株三维点云进行预处理和人工标注，获得植株点云数据集；
所述的语义分割网络模块用于构建基于自注意力特征融合的带噪植株点云语义分割网络，通过植株点云数据集训练所述的带噪植株点云语义分割网络；
所述的语义分割模块用于通过训练好的带噪植株点云语义分割网络对植株点云进行语义分割，得到每个点的预测语义标签。
CN202310002282.8A 2023-01-03 2023-01-03 基于自注意力特征融合的带噪植株点云语义分割方法及系统 Pending CN116311218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310002282.8A CN116311218A (zh) 2023-01-03 2023-01-03 基于自注意力特征融合的带噪植株点云语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310002282.8A CN116311218A (zh) 2023-01-03 2023-01-03 基于自注意力特征融合的带噪植株点云语义分割方法及系统

Publications (1)

Publication Number Publication Date
CN116311218A true CN116311218A (zh) 2023-06-23

Family

ID=86789544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310002282.8A Pending CN116311218A (zh) 2023-01-03 2023-01-03 基于自注意力特征融合的带噪植株点云语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN116311218A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116817754A (zh) * 2023-08-28 2023-09-29 之江实验室 一种基于稀疏重建的大豆植株表型提取方法及系统
CN118644784A (zh) * 2024-08-15 2024-09-13 西南交通大学 一种融合注意力机制的多尺度特征聚合点云建筑物提取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116817754A (zh) * 2023-08-28 2023-09-29 之江实验室 一种基于稀疏重建的大豆植株表型提取方法及系统
CN116817754B (zh) * 2023-08-28 2024-01-02 之江实验室 一种基于稀疏重建的大豆植株表型提取方法及系统
CN118644784A (zh) * 2024-08-15 2024-09-13 西南交通大学 一种融合注意力机制的多尺度特征聚合点云建筑物提取方法
CN118644784B (zh) * 2024-08-15 2024-10-18 西南交通大学 一种融合注意力机制的多尺度特征聚合点云建筑物提取方法

Similar Documents

Publication Publication Date Title
CN113128405B (zh) 一种结合语义分割与点云处理的植物识别与模型构建方法
CN111768432B (zh) 基于孪生深度神经网络的动目标分割方法及系统
CN113269237B (zh) 基于注意力机制的装配体变化检测方法、设备和介质
Li et al. An overlapping-free leaf segmentation method for plant point clouds
Komorowski et al. Minkloc++: lidar and monocular image fusion for place recognition
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN113112504A (zh) 一种植物点云数据分割方法及系统
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN114792372B (zh) 一种基于多头两级注意力的三维点云语义分割方法及系统
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN112434586A (zh) 一种基于域自适应学习的多复杂场景目标检测方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN118410724B (zh) 一种输电线路异物识别方法、系统、计算机设备及介质
CN111340124A (zh) 图像中实体类别的识别方法和装置
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN114494586A (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法
Srivastava et al. Drought stress classification using 3D plant models
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN117173631A (zh) 一种生物多样性的监控方法和系统
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN116682057A (zh) 一种基于窗口自注意力机制的变电站安全隐患检测方法
CN114429524B (zh) 单目视觉下的三维目标检测模型的构建方法及检测方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination