CN116740077A - 一种基于三维点云的植物叶片分割方法 - Google Patents
一种基于三维点云的植物叶片分割方法 Download PDFInfo
- Publication number
- CN116740077A CN116740077A CN202310642442.5A CN202310642442A CN116740077A CN 116740077 A CN116740077 A CN 116740077A CN 202310642442 A CN202310642442 A CN 202310642442A CN 116740077 A CN116740077 A CN 116740077A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- plant
- model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 230000002776 aggregation Effects 0.000 claims abstract description 18
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 241000197727 Euscorpius alpha Species 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 41
- 230000012010 growth Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 241000219194 Arabidopsis Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于农业信息技术领域，特别涉及一种基于三维点云的植物叶片分割方法，具体包括步骤1：数据集建立与优化；步骤2：植物叶片分割算法的设计与优化；步骤3：模型训练测试与对比。本发明构建了带标注的三维合成点云数据集，解决目前三维点云研究中缺乏足够的带有标注的植物数据集用以训练模型的问题；设计了一个局部聚合算子，可以明确地编码形状信息，并从低层次的位置关系和高层次的特征关联中捕捉不同的局部几何结构。本发明在植物叶片分割和常见场景下的物体部件分割都能起到很好的效果，实用性强。
Description
技术领域
本发明属于农业信息技术领域，特别涉及一种基于三维点云的植物叶片分割方法。
背景技术
在人类认知和理解世界的过程中，通过把复杂场景里的各种物体及其内在关联解析、分离出来，并进行交互的能力非常重要。实际上，人类日常很多行为都是基于对物体不同的部件进行分割，然后对其功能加以应用。引导机器学会在真实场景中通过计算机视觉对物体的不同部件进行分割是很有意义的，有助于智能机器人、计算机视觉和图形学领域里物体功能预测、仿真的应用。
基于多视图的部件分割方法
基于多视图的方法首先将三维点云投射到多个不同角度的二维视图中，然后利用传统的卷积神经网络(CNN)进行视图特征学习。然而，这些方法严重依赖切线估计，会不可避免地造成三维几何信息的损失。基于体素的方法通常将三维点云映射成一个规则的三维网格，可以应用标准的三维CNN，但其局限在较大的计算和内存成本，特别是在处理密集的三维数据时。近来，像K-d树或八叉树这样的分层和紧凑结构已经被引入，以缓解一些分辨率问题，但这些方法仍然依赖于边界体积的细分，而不是局部几何形状。
基于点云的部件分割方法
全局聚合方法。最近的工作重点是直接处理非结构化和不规则的点云。PointNet是一项开创性的工作，它通过共享的多层感知机(MLP)独立学习点状特征，并通过最大池化来聚合全局信息。DeepSets实现了包络不变性，并为PointNet中的每个点单独提取了特征。尽管这些方法在一些点云分析任务上取得了令人印象深刻的性能，但它们不能对点之间的局部环境进行编码，限制了语义理解能力。
局部聚合方法。为了克服上述缺点，一些后续工作采用了局部聚合算子来捕捉邻近点的精细几何结构。具体来说，这类方法首先将相邻点的特征及其相对坐标转化为新的特征，然后用还原函数将所有转化后的相邻特征累积起来。基于点的MLP方法在串联相对位置和点特征后，应用几个点式转换层，将相邻特征纳入其中。基于自适应特征的方法一般在一组规则的网格上生成伪特征后进行常规处理，其中KPConv方法在一个一致的球面域上选择网格点并同时计算相应的伪特征。基于自适应权重的方法直接学习基于相对位置的卷积滤波器，并获得局部子集中各点之间的聚合权重。为了简化局部聚集算子，PosPool方法通过元素相乘的方式将点的特征和相对位置结合起来，它没有可学习的权重，但与现有的复杂算子表现类似。此外，其他方法从每个点的邻居构建一个图，并利用典型的基于图的网络来学习局部特征。
基于点云的部件分割方法主要存在以下问题：
1、传统分割方法问题。
传统的基于数学的点云模型分割方法包括曲面生长法、边缘检测法、扫描线算法、基于图的分割方法、聚类方法等。通常采用的典型监督学习算法包括支持向量机、随机森林和朴素贝叶斯，但该类方法对局部点云之间的关联考虑不充分，导致结果容易受到噪声的影响。采用多视图方法，将三维空间投影为二维，虽然能充分利用目前已较完善的二维算法模型，但不可避免地会丢失三维几何细节信息。虽然体素模型可以将三维点云映射到三维空间网络中，但计算和内存成本开销大，而且依赖于边界体素的细分，而不是几何信息。在基于点云的方法中，只对全局进行聚合难以捕捉物体细节，而这对于部件分割任务非常重要。
2、点云部件分割的植物数据集问题。
在植物模型分割和分类任务中，需要大量的带有标注的点云数据来进行深度学习模型训练和定量分析。但目前只能在特定文献中找到小规模数据集——ROSE-X数据集包含11个通过X射线层析成像方法获得的真实玫瑰丛植物3D模型，其点云按不同器官标注。Pheno4D数据集包含49个带标记的玉米点云和77个带标记番茄点云。因此，提出新的适用于植物表型参数测量的基准数据集，有利于高质量深度学习模型的构建，进而促进高效的植物性状、生长动态和特性指标的自动化监测，助力农业现代化发展。
3、点云信息融合问题
上下文信息对于提取全局潜在表征和识别隐含的形状模式至关重要。先前的研究有应用多尺度分组策略来获取和组合同一层的上下文；使用点积自注意来动态地学习注意权重和转换后的表示。这些方法中，特征是通过串联前面所有层的输出来计算的，以利用密集的上下文信息。然而，这些方法要么缺乏从局部到整体的语义学习，要么结构上较为复杂，难以结合局部结构和全局背景以实现准确的识别。
发明内容
本发明针对目前植物三维点云数据集少的问题，构建了一个三维合成植物模型的点云数据集；同时提出一种基于三维点云的部件分割方法，可用于植物叶片分割和常见物体的部件分割，有效提高分割的精度和时效性。
一种基于三维点云的植物叶片分割方法，包括以下步骤：
步骤1：数据集建立与优化；
步骤2：植物叶片分割算法的设计与优化；
步骤3：模型训练测试与对比。
优选地，所述步骤1的数据集建立与优化，具体包括：
步骤1.1：虚拟植物模型建立；基于L-systems规则生成三维合成植物模型，然后通过原语在虚拟植物模型表面镶嵌三角形，得到三角形网格植物模型；
步骤1.2：随机点采样；基于重心坐标系，通过随机采样方法在三角形网络植物模型表面构建出均匀分布的点云，进而通过滤波的方式去除几何基元内部的点，得到最终的植物表面的点云模型。
优选地，步骤1.1所述的三维合成植物模型的生成过程中，采用圆柱和球体作为几何基元，生成三维合成植物模型。
优选地，步骤1.2的过程具体为：
步骤1.2.1：构建重心坐标系，对于一个仿射空间，将其中的顶点表示为(v1,v2,…,vn)，如果对于该空间中的点P
那么系数集合(α1,…,αn)就是P对于(v1,v2,…,vn)的重心坐标；
步骤1.2.2：构建点云，对于一个顶点标注为(v1,v2,v3)的三角形，定义三角形内部随机点m为
上式中有及/>成立；α3可以通过随机生成的α1,α2进行计算，即α3＝1-(α1+α2)；
步骤1.2.3：滤波去除几何基元内部点。
由于上述过程产生的点可能位于圆柱、球体等基元的内部，存在植物模型中部件结构由多个基元表示的问题，这会导致基元间存在空间的交集。在这种情况下，就需要去除基元内部的点。可以按如下方法对每个点的几何位置进行检测：
对于圆柱体基元，设圆柱体本身的半径为r，中心轴的两个端点分别为给定随机点/>为确定该点是否在圆柱体内部，可以进行如下判断：
首先判断是否位于圆柱两个上下底面之间，可以通过下面两个条件决定
如果上述条件为真，下一步是计算点到中心轴的垂直距离。此时如果距离小于圆柱体本身的半径r，那么该点就是内部点，公式表达如式3-4：
对于球体基元，相比于圆柱体基元，球体基元进行内部性检测要更为简单：给定球体中心点坐标球体半径r，对于待测点/>只需进行如下判断：
如果式3-5为真，则即在基元内部。
优选地，所述一种基于三维点云的植物叶片分割方法，所述步骤2的植物叶片分割算法的设计与优化，具体包括：
步骤2.1：引入随机噪声，在训练集中随机提取部分样本数据，再随机生成一部分噪点数据，样本数据和噪点数据的数量比为9:1；
步骤2.2：设计局部算子，设计局部聚合算子PFConv，对于给定输入点云P＝{pi|i＝1,2,…,N}∈RN×3中的N个点，而P中每个点所对应的特征可以表示为：F＝{fi|i＝1,2,…,N}∈RN×D，那么PFConv可表示为：
其中，N(pi)是给定中心点pi邻域内包含的点集；pij指邻域点集内的每个点，fij指特征向量；通过函数Low()计算中心点pi与其邻域内每个点pij的低级位置关系lij，通过函数High()计算特征fi与fij的高级特征关联hij，将这两个结果逐元素或者逐组地计算Hadamard积进行融合，然后经过约减函数，降低维数规模，得到中心点的输出特征gi；
步骤2.3：构建神经网络模型AFNet，AFNet的结构为一个五层多分辨率的编码器，每个关系驱动型内容融合模块，即RCF模块，都由基于局部聚合算子PFConv的三种位置引导型模块构成，每种模块运用不同的编码函数，一次连接策略被应用到这些模块中；对于网络后端，通过利用一个解码器，进行具体的语义分割；
步骤2.4：优化神经网络模型，通过设置通道宽度d和瓶颈率w，调整模型的复杂度，进而对AFNet的性能进行调优。
优选地，一种基于三维点云的植物叶片分割方法，所述步骤3的模型训练测试与对比，具体包括：在三个包含不同场景的部件分割基准上评价测试了提出的AFNet，包含公开数据集PartNet、ShapeNetPart和本发明所提出的数据集PlantSeg3D，使用平均类间交并比mcIoU和平均交并比mIoU评估每种方法的有效性。
本发明的优点在于：
1、构建了带标注的三维合成点云数据集，解决目前三维点云研究中缺乏足够的带有标注的植物数据集用以训练模型的问题。
2、设计了一个局部聚合算子，可以明确地编码形状信息，并从低层次的位置关系和高层次的特征关联中捕捉不同的局部几何结构。该算子可以作为核心单元整合到深度层次结构中，用以解决复杂形状学习困难的问题。
本发明应用范围广泛，在植物叶片分割和常见场景下的物体部件分割都能起到很好的效果，实用性强。
附图说明
图1是种基于三维点云的植物叶片分割方法的流程图；
图2是拟南芥三维点云模型；
图3是局部聚合算子架构图；
图4是AFNet模型架构图；
图5是不同方法进行植物分割的样例展示图。
具体实施方式
本发明提出了一项基于点云的部件分割模型：AFNet。通过局部聚合和内容融合的网络，可以对点的空间关系和内容语义进行全面的获取和理解。模型通过局部聚合算子，能够获取低级位置关系和高级特征关联。通过构建起深度网络架构，将各中间层的特征一次性汇总于特征输出层，能对复杂形状进行较好地分割。
整体流程如图1所示，下面结合附图对流程进行详细说明。
步骤1：数据集建立与优化
1)虚拟植物建模
在L-sytem规则里，一株植物可以通过被称为L-string的符号串进行定义，每个符号代表植物的不同器官——比如A代表植物尖端/顶点(Apex)，I代表植物茎间/节间部件(Internode)，L代表植物叶片(Leaf)。每个符号附有一个参数的集合用于描述对应植物器官的状态。某个节间I可以被建模为包含高度h和半径r两个参数的圆柱体，一个叶片L可以用s边的多边形来表示，一个顶端A可以包含年龄参数t。方括号[]用于区分一个L-string的不同分支部件。
初始状态的L-string称为原语，它定义了某个植株生长开始前的初始状态。比如，原语最初可能只由一个顶端A(t)组成，可以被表示为：
Axiom:A(0)#代表植物在时刻0，只包含一个顶端A
而后，在L-system规则下，会有一系列的规则让初始的L-string不断生长演化。比如：
A(t)-->I(r,h,2)[+(a)[L(s,1,n)]A(t+dt)]A(t+dt)
该规则表示每经过时间段dt，初始顶端A会生成一个节间I、一个侧芽A和一片叶子L，同时原先的顶端A距离地面高度增加h。该规则中a代表角度，可以根据植物生长时间t进行调整。
生成过程中，本发明将节间统一标注为“1”号标签；而对于每片叶子，有其特有的标签(2，n)，其中n代表植物目前总共存在的叶子数量。由此可见，每片叶子在生成时便具有唯一的标签，便于实验过程中进行观察。
对于上式中的叶子和节间，其后续生长过程可分别用以下规则表述：
I(r,h,1)-->I(r+a*dt,r+(a+b)*dt,1)#描绘节间的生长
L(s)-->L(s’)#with s’＝s+c*dt#描绘叶片的生长
建立完上述生成规则后，还需要将先前L-string所表示的符号翻译成几何模型，这里就用到了“解释规则”，示例如下：
A(t)-->Sphere(radius(t))
I(r,h,1)-->Cylinder(r,h,1)#r代表半径，h代表高度，1是节间的标签L(size,2,n)-->Polygon(size,2,n)#size为多边形边数，(2，n)为叶子的标签
目前，已有的模型是用不同大小三角形表示的网格模型，需要对三角形表面进行随机采样。随机采样方法是在每次迭代过程中随机选择三角形，而后在三角形内部的随机位置生成一个点。也就是说，如果想要生成规模为n的一个点云模型，需要循环随机三角形选择过程n次，最终的得到n个点。但是，由于三角形本身大小存在差异，导致选择过程中局部包含三角形数量更丰富的部件会在采样结果中包含数量较多的点。为此，可以通过采样时计算三角形面积，作为选择概率，最终产生密度相对均匀的点云模型。
2)随机点采样
为了进行点采集，首先引入重心坐标系。重力坐标系在计算机图形学中的光线追踪领域被广泛运用。借助重心坐标系，可以表示三角形中任意点的位置。对于一个仿射空间，将其中的顶点表示为(v1,v2,…,vn)，如果对于该空间中部件点P，有下式成立：
那么，系数集合(α1,…,αn)就是P对于(v1,v2,…,vn)的重心坐标。
具体而言，对于一个顶点标注为(v1,v2,v3)的镶嵌三角形，可以定义三角形内部随机点m为：
式3-2中有及/>成立。
此时，α3可以通过随机生成的α1和α2进行计算：α3＝1-(α1+α2)。最终可以得到均匀分布的、包含特定点数量的植物点云模型。构建的拟南芥三维点云模型如图2所示。图3统计了在第5-40天中植物叶片量的数据。PlantSeg3D可以应用于诸多任务，为点云分割、植物形状分析、表型参数计算等领域提供了基础数据参考，有利于计算机视觉和生物学、农学领域的交叉学科发展。
步骤2：模型创建及优化
本发明提出了一种基于计算机视觉与深度学习技术的植物叶片分割方法，设计了一种基于局部聚合和内容融合的点云分割网络。网络的设计与实现流程如下：
1)利用上述生成的PlantSeg3D数据集作为模型的训练集，实验时从每个拟南芥仿真模型中提取9,000个点，再随机生成1,000个噪声点加入到模型中。通过随机噪声的引入，模拟真实传感器采集时的效果，输入到目标网络中进行模型训练。
2)基于上述数据集，设计局部聚合算子PFConv，如图4所示，对于给定输入点云P＝{pi|i＝1,2,…,N}∈RN×3中的N个点，而P中每个点所对应的特征可以这样表示：F＝{fi|i＝1,2,…,N}∈RN×D。基于此，对每个点而言，计算高级特征关系和低级位置关系的局部聚合算子PFConv表示为：
其中，N(pi)给定中心点pi，其邻域内包含的点集；pij指邻域点集内的每个点，fij指特征向量。也就是说，通过函数Low()计算中心点pi与其邻域内每个点pij的低级位置关系lij，以及函数High()计算特征fi与fij的高级特征关联hij，将这两个结果逐元素或者逐组地计算Hadamard积(即两个矩阵对应元素分别相乘得到结果)进行融合。最后，经过约减函数，降低维数规模，得到中心点的输出特征gi。
对于pi的每个邻居点pij，指定映射函数来建立该邻居点和中心点pi的几何位置关联。通过不同的编码函数，可以建立起pi和pij间的三种几何先验：
a.位置嵌入：通过正余弦函数，可以将不同的三维XYZ的点坐标转化嵌入到向量中，由此可以在同一个维度下表示点的特征。第k个位置嵌入可以通过下式进行计算：
上式中， 为指示函数，也就是将原函数计算结构投影到0或1上；Δ表示的是相对距离；/> d为通道数；
b.坐标和距离：这里有关坐标和距离，没有仅仅计算三维相对距离Δpij，而是充分考虑两点间距离并把它加入计算：
c.角度和距离：在这个变量中，通过综合运用角度和距离，可以构造如下的编码函数：
3)基于上述局部聚合算子，构建网络。如图5所示，构建的AFNet网络的骨架部分由一个五层多分辨率的编码器构成。每个关系驱动型内容融合模块(RCF模块)都由基于局部聚合算子PFConv的三种位置引导型模块构成，每种模块运用不同的编码函数，一次连接策略被应用到这些模块中。对于网络后端，通过利用一个解码器，进行具体的语义分割。
4)经过实验验证，通过设置通道宽度d和瓶颈率w，可以调整模型的复杂度，当采用d＝48、ω＝2的精简配置时，该网络在效率上比标准的AFNet提升约10倍，这充分体现了本发明提出的PFConv局部聚合算子和RCF块的稳定性和自适应性。
步骤3：模型训练测试与对比
本发明在三个包含不同场景的部件分割基准上评价测试了提出的AFNet，包含公开数据集PartNet、ShapeNetPart和本发明所提出的数据集PlantSeg3D。对于ShapeNetPart数据集，本发明使用平均类间交并比mcIoU和平均交并比mIoU评估每种方法的有效性。可以看出，本发明提出的AFNet模型mcIoU为85.6％，mIoU为86.8％，均为目前的最高值。目前模型在不同类型物体上进行点云分割取得的mIoU还有较大差异。尽管目前PAConv已经在mcIoU和mIoU上取得了较好结果，AFNet在mIoU和mcIoU上分别超过它了1.0％和0.7％。由于AFNet能够从低级位置关系和高级特征关联出发，学习到点云中复杂的结构，它在具有挑战性的PlantSeg3D和PartNet上分别取得了56.1％和52.8％的好成绩，相较之前方法分别提高了4.1％的mIoU和6.4％的mIoU。通过上述对比试验可知，本发明进一步提高了通用场景下物体的部件分割任务的准确性。
Claims (6)
1.一种基于三维点云的植物叶片分割方法，其特征在于，包括以下步骤：
步骤1：数据集建立与优化；
步骤2：植物叶片分割算法的设计与优化；
步骤3：模型训练测试与对比。
2.根据权利要求1所述的一种基于三维点云的植物叶片分割方法，其特征在于，所述步骤1数据集建立与优化，具体包括：
步骤1.1：虚拟植物模型建立；基于L-systems规则生成三维合成植物模型，然后通过原语在虚拟植物模型表面镶嵌三角形，得到三角形网格植物模型；
步骤1.2：随机点采样；基于重心坐标系，通过随机采样方法在三角形网络植物模型表面构建出均匀分布的点云，进而通过滤波的方式去除几何基元内部的点，得到最终的植物表面的点云模型。
3.根据权利要求2所述的一种基于三维点云的植物叶片分割方法，其特征在于，步骤1.1所述的三维合成植物模型的生成过程中，采用圆柱和球体作为几何基元，生成三维合成植物模型。
4.根据权利要求2所述的一种基于三维点云的植物叶片分割方法，其特征在于，步骤1.2的过程具体为：
步骤1.2.1：构建重心坐标系，对于一个仿射空间，将其中的顶点表示为(v1，v2，...，vn)，如果对于该空间中的点P
s.t.(α1，...，αn)P＝α1v1+…+αnvn.
那么，系数集合(α1，...，αn)就是P对于(v1，v2，...，vn)的重心坐标；
步骤1.2.2：构建点云，对于一个顶点标注为(v1，v2，v3)的三角形，定义三角形内部随机点m为
上式中有及/>成立；α3可以通过随机生成的α1，α2进行计算，即α3＝1-(α1+α2)；
步骤1.2.3：滤波去除几何基元内部点：
对于圆柱体基元，进行如下判断：
上式中，r为圆柱体地面半径，分别为中心轴的两个端点，/>为随机点，若上述3式均为真，则/>在圆柱体基元内部；
对于球体基元，进行如下判断：
上式中，球体中心点坐标球体半径为r，任意点/>如上式为真，则/>在球体基元内部。
5.根据权利要求1所述的一种基于三维点云的植物叶片分割方法，其特征在于，所述步骤2的植物叶片分割算法的设计与优化，具体包括：
步骤2.1：引入随机噪声，在训练集中随机提取部分样本数据，再随机生成一部分噪点数据，样本数据和噪点数据的数量比为9：1；
步骤2.2：设计局部算子，设计局部聚合算子PFConv，对于给定输入点云P＝{pi|i＝1，2，...，N}∈RN×3中的N个点，而P中每个点所对应的特征可以表示为：F＝{fi|i＝1，2，...，N}∈RN×D，那么PFConv可表示为：
其中，N(pi)是给定中心点pi邻域内包含的点集；pij指邻域点集内的每个点，fij指特征向量；通过函数Low()计算中心点pi与其邻域内每个点pij的低级位置关系lij，通过函数High()计算特征fi与fij的高级特征关联hij，将这两个结果逐元素或者逐组地计算Hadamard积进行融合，然后经过约减函数，降低维数规模，得到中心点的输出特征gi；
步骤2.3：构建神经网络模型AFNet，AFNet的结构为一个五层多分辨率的编码器，每个关系驱动型内容融合模块，即RCF模块，都由基于局部聚合算子PFConv的三种位置引导型模块构成，每种模块运用不同的编码函数，一次连接策略被应用到这些模块中；对于网络后端，通过利用一个解码器，进行具体的语义分割；
步骤2.4：优化神经网络模型，通过设置通道宽度d和瓶颈率w，调整模型的复杂度，进而对AFNet的性能进行调优。
6.根据权利要求1所述的一种基于三维点云的植物叶片分割方法，其特征在于，所述步骤3的模型训练测试与对比，具体包括：在三个包含不同场景的部件分割基准上评价测试了提出的AFNet，包含公开数据集PartNet、ShapeNetPart和本发明所提出的数据集PlantSeg3D，使用平均类间交并比mcIoU和平均交并比mIoU评估每种方法的有效性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310642442.5A CN116740077A (zh) | 2023-06-01 | 2023-06-01 | 一种基于三维点云的植物叶片分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310642442.5A CN116740077A (zh) | 2023-06-01 | 2023-06-01 | 一种基于三维点云的植物叶片分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740077A true CN116740077A (zh) | 2023-09-12 |
Family
ID=87903716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310642442.5A Pending CN116740077A (zh) | 2023-06-01 | 2023-06-01 | 一种基于三维点云的植物叶片分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740077A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117853666A (zh) * | 2024-03-07 | 2024-04-09 | 法奥意威(苏州)机器人系统有限公司 | 基于细分八叉树的点云圆柱体检测方法和装置 |
-
2023
- 2023-06-01 CN CN202310642442.5A patent/CN116740077A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117853666A (zh) * | 2024-03-07 | 2024-04-09 | 法奥意威(苏州)机器人系统有限公司 | 基于细分八叉树的点云圆柱体检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | PlantNet: A dual-function point cloud segmentation network for multiple plant species | |
| Li et al. | A geometry-attentional network for ALS point cloud classification | |
| CN109711410A (zh) | 一种三维物体快速分割和识别方法、装置及系统 | |
| Jin et al. | A point-based fully convolutional neural network for airborne LiDAR ground point filtering in forested environments | |
| CN112819830A (zh) | 基于深度学习与机载激光点云的单株树冠分割方法 | |
| Mao et al. | Beyond single receptive field: A receptive field fusion-and-stratification network for airborne laser scanning point cloud classification | |
| CN113569979B (zh) | 一种基于注意力机制的三维物体点云分类方法 | |
| CN110852182A (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN113159232A (zh) | 一种三维目标分类、分割方法 | |
| CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| Araujo et al. | Self-organizing maps with a time-varying structure | |
| CN112949647A (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN113345106A (zh) | 一种基于多尺度多层级转换器的三维点云分析方法及系统 | |
| Li et al. | A comparison of deep learning methods for airborne lidar point clouds classification | |
| Arshad et al. | A progressive conditional generative adversarial network for generating dense and colored 3D point clouds | |
| CN114187310A (zh) | 基于八叉树和PointNet++网络的大规模点云分割方法 | |
| CN110334656A (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 | |
| Chen et al. | Urban vegetation segmentation using terrestrial LiDAR point clouds based on point non-local means network | |
| CN116740077A (zh) | 一种基于三维点云的植物叶片分割方法 | |
| Luo et al. | Supervoxel-based region growing segmentation for point cloud data | |
| CN114299339A (zh) | 一种基于区域相关性建模的三维点云模型分类方法及系统 | |
| Guo et al. | MCTNet: Multiscale cross-attention based transformer network for semantic segmentation of large-scale point cloud | |
| CN116704497B (zh) | 一种基于三维点云的油菜表型参数提取方法及系统 | |
| Srivastava et al. | Drought stress classification using 3D plant models | |
| Cárdenas-Donoso et al. | Modeling of the 3d tree skeleton using real-world data: a survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |