CN111666946A - 基于点云过分割与面片生长的植株点云单叶片分割方法 - Google Patents
基于点云过分割与面片生长的植株点云单叶片分割方法 Download PDFInfo
- Publication number
- CN111666946A CN111666946A CN202010452581.8A CN202010452581A CN111666946A CN 111666946 A CN111666946 A CN 111666946A CN 202010452581 A CN202010452581 A CN 202010452581A CN 111666946 A CN111666946 A CN 111666946A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- seed
- patch
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000011218 segmentation Effects 0.000 title claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 241000196324 Embryophyta Species 0.000 claims description 55
- 238000001914 filtration Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 14
- 238000003064 k means clustering Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 241001632422 Radiola linoides Species 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 239000002689 soil Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 3
- 240000000987 Monstera deliciosa Species 0.000 description 9
- 235000002790 Monstera deliciosa Nutrition 0.000 description 9
- 241000692870 Inachis io Species 0.000 description 8
- 244000151018 Maranta arundinacea Species 0.000 description 8
- 235000010804 Maranta arundinacea Nutrition 0.000 description 8
- 235000012419 Thalia geniculata Nutrition 0.000 description 8
- 244000252337 Epipremnum pinnatum Species 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000009395 breeding Methods 0.000 description 4
- 230000001488 breeding effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 235000019580 granularity Nutrition 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000036579 abiotic stress Effects 0.000 description 2
- 230000004790 biotic stress Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009418 agronomic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000019587 texture Nutrition 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于点云过分割与面片生长的植株点云单叶片分割方法，包括：对植物点云数据进行预处理。根据点云中每个点的空间特征对滤波后的植物点云数据进行基于3D面片的过分割。基于面片的区域生长，根据面片的邻接关系和面片之间的共面特性进行区域生长，生长后的多个面片将拼接为一个大的空间结构，如果其覆盖的点数超过一定数量则被认为是一个分割出的单片叶片。与现有技术相比，本发明可以有效地对多种稠密的三维植物点云进行单个叶片分割，适用于双目立体视觉成像系统以及Kinect v2变结构光传感器获取的三维植物点云，具有适普性高、分割精准度高等优点。
Description
技术领域
本发明涉及三维植物点云单个叶片分割领域，尤其是涉及一种基于点云过分割与面片生长的植株点云单叶片分割方法。
背景技术
温室栽培作为一种高度集成的设施农业，在提高农业生产效率和解决世界粮食短缺问题上正变得越来越重要。尽管意义重大，但现代温室栽培仍面临高投入、需要频繁投入专业人力、高能耗等挑战。为此，急需经济、高效、智能的温室环境控制方法，以保证每个植物在整个生长期内享有温和的生长环境，最终实现高产量和高经济效益。环境控制算法的实施需要将作物的长势情况作为控制依据，目前业界绝大部分解决方案都依赖于温室内外的温湿度、光照等环境测量数据作为反馈以控制遮阳网、通风和灌溉。然而，这些都是间接控制方式，对作物的真实长势(比如空间株型、叶片形态、色彩等表型特征)这些直观的控制依据都缺乏自动的观测和分析。
同时，在农业工程领域另一项富有前景的技术也迈入了瓶颈期，它就是杂交及基因育种技术。虽然对提高产量已经做出了重大贡献，但先进的育种技术目前依然需要专业农学研究者对比分析不同试验区块中作物表现型的区别，即不同基因型下的表型特征。该过程不仅费时费力，还需要专业知识的指导。随着植物功能基因组学和作物分子育种研究的深入,传统的表型观测已经成为制约其发展的主要瓶颈,而高通量的植物表型采集和分析研究是解决这一困境的有效途径。
所以，为了实现真正的智能设施农业，减少育种环节中繁琐的人工劳动，基于计算机图像图形技术的作物自动表型分析算法的研究显得尤为重要。植物表型是受基因和环境因素共同决定或影响的,反映植物结构及组成、植物生长发育过程及结果的全部物理、生理、生化特征和性状。植物表型研究是对植物复杂性状(植物的生长、发育、耐受、抗性、结构、生理、生态、产量等)的综合评价，是对构成复杂性状的基本参数(根系形态、生物量、叶片特性、果实特性、产量相关性状、光合效率、生物和非生物胁迫响应等)的直接测量。对绝大多数植物而言，叶片构成了植物主要的表面形态和结构，能直接反映植物的生长状态。叶片同时也是占表面积最大的一类植物器官，是植物进行光合作用和呼吸作用的主要部分。叶片特性(形态、纹理、颜色等)通常蕴含着影响生长的生物压力因素(植物疾病和害虫)或者非生物压力因素(干旱)。因此，针对叶片的表型分析方法历来是植物高通量表型领域的研究重点。自动叶片分割，以及在其基础上的识别、叶片表型特征提取方法能够及时反馈作物生长状态以保障作物产量，具有重要的实际意义。
发明内容
本发明的目的是：为智能设施农业提供及时直接的生长状态监控、发布预警信息和保障植物产量提供一种在图像图形数据上对作物叶片进行全自动分割、分析的算法。
为了达到上述目的，本发明的技术方案是提供了一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，包括以下步骤：
步骤S1：对原始三维植物点云数据进行预处理，包括以下步骤：
步骤S1-1：对原始三维植物点云数据进行滤波处理得到只包含冠层叶片的点云χ；
步骤S1-2：对滤波后的点云数据采用迭代PCA来估计点云χ中每个点的空间特征；
步骤S2：根据点云χ中每个点的空间特征对经过步骤S1预处理后的植物点云数据进行基于3D面片的过分割，包括以下步骤：
步骤S2-1：将点云χ中空间特征较为相似的点进行初步聚类，形成三维空间上过分割的小面片簇；
步骤S2-2：为让过分割的小面片边界线更为合理有序，在初步聚类后采用局部K均值聚类改进相邻小面片间的边缘；
步骤S3：基于面片的区域生长，根据步骤S2中面片的邻接关系和面片之间的共面特性进行区域生长，生长后的多个面片拼接为一个大的空间结构，如果该空间结构覆盖的点数超过一定数量则被认为是一个分割出的单片叶片。
优选地，步骤S1-1中，进行滤波处理时所采用的滤波器包括以下3种：
滤波器1：滤除空间Z轴方向泥土信息所在段；
滤波器2：计算植物点云中每个点周围半径r内的点数，若低于阈值n1，则认为是噪点并舍弃，以解决上下叶片点云间的拟合越界的问题；
滤波器3：计算植物点云中每个点k个近邻域点间的平均间距，将距离该点超出平均间距n2倍标准差以上的点滤除，解决前两步所遗留的噪点。
优选地，假设点云χ中的每个点xi的空间特征包含两部分，即点xi所在邻域拟合的平面法向量ni和空间平滑度si，则步骤S1-2中，采用迭代PCA来估计点云χ中每个点的空间特征包括以下步骤：
步骤S1-2-1：xi的拟合平面fi＝(XK×3,xi,ni)是一个三元组结构体，xi的K近邻域点集XK×3通过迭代PCA计算所得，XK×3包含xi本身，每次迭代PCA计算出一个经过点xi法向量为ni的平面；
步骤S1-2-2：定义xi的K近邻域点集XK×3中的点xj到xi的欧氏距离为dij，σ1为阈值，若dij＞σ1，则将xj从XK×3中剔除，其中，欧氏距离为dij根据下式(1)计算得到：
步骤S1-2-3：重复步骤S1-2-1和步骤S1-2-2，当XK×3内点数稳定不变时，迭代停止，此时通过PCA估计的拟合平面fi'＝(XK'×3,xi,ni')将无限接近于xi的实际通过平面，切平面在更新时，需要计算XK×3的协方差矩阵Ci 3×3，协方差矩阵Ci 3×3根据下式(2)计算：
式(2)中，XK×3已经过去中心化处理；
步骤S1-2-4：λ1、λ2、λ3是对Ci 3×3作特征值分解得到的特征值，λ1＞λ2＞λ3，从而xi所在切平面的法向量ni为λ3对应的单位特征向量；平滑度si则为λ2与λ3的比值，比值越大，则点xi附近越平坦。
优选地，所述步骤S2-1中将点云中相似点进行初步聚类包括以下步骤：
步骤S2-1-1：从点云χ中提取出一个点xi，将xi的K近邻域集XK×3中平滑度最高的点xj定义为种子点；
步骤S2-1-2：以xj区域生长建立一块有相同特征的小面片区域，区域生长的特征要求满足如下条件：
条件1：近邻点xk与种子点xj所在拟合平面的法向量ni、nj间的夹角小于θ；
条件2：点xk到点xj所在拟合平面fj的距离小于σ1；
条件3：点xk与点xj间的欧氏距离小于设定阈值r1；
步骤S2-1-3：点xk被归类到一个小面片后，将从点云χ中取出，不再作为种子点的“候选人”，也不再参与其他种子点的区域生长，所有种子点组成种子点集合χseed。
优选地，步骤S2-2中，采用局部K均值聚类改进相邻小面片间的边缘包括以下步骤：
步骤S2-2-1：从种子点集合χseed中挑选任意一个种子点xseed，并将聚类搜索的区域设定在以xseed为中心半径为r2的局部球体内，在该球体范围内，计算球内的每个点xi到球内所有种子点的欧氏距离di，球内所有种子点包括xseed；
步骤S2-2-2：当种子点集合χseed中所有种子点都进行以上计算后，将每个点归类给欧式距离最小的种子点；
步骤S2-2-3：每经过一轮归类，将更新种子点集合χseed，新的种子点通过计算重新聚类后的小面片的中心而得，一部分点未被归类到任何种子，则将其分配给距离最近的那个种子点；
步骤S2-2-4：重复步骤S2-2-1、步骤S2-2-2和步骤S2-2-3，当所有面片的中心点坐标不再改变时，局部K-means聚类的迭代停止。
优选地，所述步骤S3中单个叶片分割的主旨是以步骤S2中得到了边界清晰的小面片集F中的每个小面片fi为单位，该小面片fi为种子面片，根据面片的邻接关系和面片之间的共面特性进行区域生长，生长后的多个面片将拼接为一个大的空间结构，如果其覆盖的点数超过一定数量则被认为是一个分割出的单片叶片，面片生长条件如下：
条件1：面片fj为种子面片fi的邻接面；
条件2：面片fj的中心到种子面片fi的距离d(fi,fj)小于设定阈值σ2，其中，距离d(fi,fj)根据下式(3)计算：
在上式中ni为面片fi中心的法向量，x′i与x′j分别为种子面片fi与面片fj的中心；
当满足上述两个条件后，则把面片fj与种子面片fi归类到一起，采用广度优先的搜索机制进行相邻面片的搜索。
与现有技术相比，本发明具有以下优点：
1)本发明能够突破传统2D叶片分割方法的局限性，对重叠叶片具有较好的分割能力。
2)本发明不仅适用于双摄像头立体声系统产生的植物点云，而且还能处理从结构光传感器扫描的植物点云，具有对数据来源的适普性。
3)本发明有助于能够适用于多种不同叶片大小，不同冠层结构的植物或作物的单叶片分割问题。在三种不同类型的温室观赏植物的叶片分割性能评估中，查全率(RecallRate)均超过90％，综合评价指标(F-Measure)均高于95％。
4)本发明不仅能用于分割叶片这样的不规则表面，甚至还能用于分割其他三维点云中规则的表面和对象。可以用于遥感、建筑信息模型(BIM)领域。
附图说明
图1为三维点云成像工具，其中，(a)为双目立体视觉成像系统，(b)为微软的Kinect v2变结构光传感器。
图2为本发明方法的技术路线。
图3为用于面片生长的广度优先搜索机制。
图4为三种植物点云经过预处理后所得结果，其中，(a)、(c)为Kinect传感器采集的原始点云，(d)、(e)为(a)、(c)经过预处理后所得结果；(b)为双目立体视觉成像系统采集的原始点云，(f)为(b)经过预处理所得结果。
图5为绿萝与龟背竹调节参数控制过分割粒度图。过分割的粒度由参数K与r1共同调节。K作为用迭代PCA计算拟合平面所需要的近邻域点数，影响所估计出的法向量，也在一定程度上会影响生成的种子点数(即面片数)。K越小，生成的种子点则变多。r1的作用是控制种子点进行区域生长的能力，在初步生成面片后，种子点的间距至少为r1。因此，r1越小，最终进入K均值聚类计算的面片数则越多。图5(a)、5(e)、5(i)为原图。图5(b)为绿萝在K＝100，r1＝0.05m下的过分割结果。图5(c)中K＝40，r1＝0.05m；图5(d)中K＝20，r1＝0.03m；图5(f)中K＝100，r1＝0.05m；图5(g)中K＝40，r1＝0.05m以及图5(h)中K＝40，r1＝0.03m则为龟背竹在对应参数下的过分割效果。图5(j)中K＝100，r1＝0.05m；图5(k)中K＝40，r1＝0.05m以及图5(l)中K＝40，r1＝0.03m则为孔雀竹芋在对应参数下的过分割效果。
图6为绿萝、龟背竹以及孔雀竹芋点云的单个叶片分割结果。(a)、(d)和(g)为绿萝点云在三个不同视角下的单个叶片分割结果；(b)、(e)和(h)为龟背竹点云在三个不同视角下的单个叶片分割结果；(c)、(f)和(i)为孔雀竹芋点云在三个不同视角下的单个叶片分割结果。
图7为用面片侧视图展示碎化程度对面片区域生长的影响。在不同粒度的过分割参数下，(a)中的面片fb可能在另一组参数下碎化成图(b)中的面片fb1、fb2。d为面片fb到面片fa的欧式距离，d'为面片fb1到面片fa的欧式距离，d'远小于d，因此在σ2阈值相同的情况下(b)的面片生长比(a)中的情况更加容易。
图8为本发明提供的算法在一个室内环境的点云上的实例分割结果，其中，(a)为原始点云，(b)为实例分割结果。
图9为本发明的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
图1为三维点云成像工具，其中，(a)为双目立体视觉成像系统，(b)为微软的Kinect v2变结构光传感器。双目立体视觉成像系统由两个网络摄像机、一个三脚架以及一台笔记本电脑组成，双目立体视觉成像技术通过利用摄像机从不同角度、位置获得二维图片，然后利用计算机进行立体匹配算法处理，最终获得景物的三维立体信息。传感器采集系统由一个Kinect变结构光传感器、一个三脚架以及一台笔记本电脑组成，通过投射的红外线脉冲并测量反射回来的红外模式来获得深度信息，从而实现对植株的三维重建。
图2为本发明方法的技术路线，所述的植株点云单叶片分割方法不仅适用于双目立体视觉成像系统采集的植株点云，也适用于Kinect传感器获取的植株点云。
现以三个植株点云实例阐述本发明的实施，图4中(a)、(c)分别为Kinect传感器获取绿萝点云和孔雀竹芋点云，(b)为双目立体视觉成像系统采集的龟背竹点云，包括以下步骤：
步骤S1、对三种植株点云进行预处理，包括以下步骤：
步骤S1-1、对三种植株点云进行滤波。
对于绿萝点云进行三段滤波，通过滤波器1，滤除绿萝点云中的非叶片点；根据滤波器2，如果其每个点周围半径0.015m内的点数低于85个则被视为噪点并去除；根据滤波器3，计算每个点的40个近邻域点间的平均间距，将超出总体点云平均间距1个标准差以上的点视为噪点并剔除。
针对龟背竹进行了二段滤波，通过滤波器1，滤除龟背竹点云中的非叶片点；根据滤波器3，计算其每个点的25个近邻域点间的平均间距，将距离该点超出平均间距0.1个标准差以上的点视为噪点并剔除。
对于孔雀竹芋点云进行两段滤波，通过滤波器1，滤除孔雀竹芋点云中的非叶片点；根据滤波器2，如果其每个点周围半径0.015m内的点数低于50个则被视为噪点并去除。
图4中(d)、(e)以及(f)为三种植物点云的滤波结果。
步骤S1-2、通过迭代PCA算法获取每个点的空间特征，包括以下步骤：
步骤S1-2-1、点xi的K＝15个近邻域点集XK×3(包含xi本身)由PCA计算所得，以及经过点xi法向量为ni的法平面；
步骤S1-2-2、令XK×3中的点xj到xi的欧氏距离阈值σ1＝0.025m，若dij＞σ1，则将xj从XK×3中剔除；
步骤S1-2-3、重复步骤S1-2-1和步骤S1-2-2，直至XK×3内点数稳定不变；
步骤S1-2-4、根据迭代PCA计算所得结果，估计植株点云中每个点的平滑度值。
步骤S2、对三种植株点云进行过分割，包括以下步骤：
步骤S2-1、将点云χ中相似点进行初步聚类，获得种子点集合χseed包括以下步骤：
步骤S2-1-1、从点云χ中提取出一个点xi，将点xi的K＝15近邻域集XK×3中平滑度最高的点xj定义为种子点；
步骤S2-1-2、近邻点xk与种子点xj所在拟合平面的法向量ni、nj间的夹角小于23°，近邻点xk到种子点xj所在拟合平面fj的距离小于0.025m，近邻点xk与种子点xj间的欧氏距离小于设定阈值0.03m；
步骤S2-1-3、近邻点xk被归类到一个小面片后，将从点云χ中取出，不再作为种子点的“候选人”，也不再参与其他种子点的区域生长。
步骤S2-2、采用局部K均值聚类改进相邻小面片间的边缘，包括以下步骤：
步骤S2-2-1、从种子点集合χseed中挑选任意一个种子点xseed，并将聚类搜索的区域设定在以xseed为中心半径为0.1m的局部球体内。在该球体范围内，计算球内的每个点xi到球内所有种子点(包括xseed)的欧氏距离di。
步骤S2-2-2、当种子点集合χseed中所有种子点都进行步骤2-2-1的计算后，将每个点归类给欧式距离最小的种子点。
步骤S2-2-3、每经过一轮归类，将更新种子点集合χseed，新的种子点通过计算重新聚类后的小面片的中心而得。一部分点未被归类到任何种子，则将其分配给距离最近的那个种子点；
步骤S2-2-4、重复步骤S2-2-1、步骤S2-2-2和步骤S2-2-3，当所有面片的中心点坐标不再改变时，局部K-means聚类的迭代停止。
图5第一行绿萝点云过分割结果，第二行为龟背竹点云过分割结果，第三行为孔雀竹芋点云过分割结果。从左往右，过分割的粒度逐渐增大。
步骤S3、基于面片的区域生长。其主旨是以步骤S2中得到了边界清晰的小面片集F中的每个小面片fi为单位，根据面片的邻接关系和面片之间的共面特性进行区域生长，生长后的多个面片将拼接为一个大的空间结构，如果其覆盖的点数超过一定数量则被认为是一个分割出的单片叶片。若面片fj与种子面片fi邻接，且面片fj的中心到种子面片fi的距离d(fi,fj)小于设定阈值σ2，则把面片fj与种子面片fi归类到一起。由于不同成像方式下的点云稀疏性不同，因此，阈值σ2的取值也不同。Kinect传感器采集的绿萝和孔雀竹芋点云的阈值σ2＝0.0055m，双目立体视觉系统采集的龟背竹点云的阈值σ2＝0.0025m。图6则为三种植物点云的最终的单个叶片分割结果。
Claims (6)
1.一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，包括以下步骤：
步骤S1：对原始三维植物点云数据进行预处理，包括以下步骤：
步骤S1-1：对原始三维植物点云数据进行滤波处理得到只包含冠层叶片的点云χ；
步骤S1-2：对滤波后的点云数据采用迭代PCA来估计点云χ中每个点的空间特征；
步骤S2：根据点云χ中每个点的空间特征对经过步骤S1预处理后的植物点云数据进行基于3D面片的过分割，包括以下步骤：
步骤S2-1：将点云χ中空间特征较为相似的点进行初步聚类，形成三维空间上过分割的小面片簇；
步骤S2-2：为让过分割的小面片边界线更为合理有序，在初步聚类后采用局部K均值聚类改进相邻小面片间的边缘；
步骤S3：基于面片的区域生长，根据步骤S2中面片的邻接关系和面片之间的共面特性进行区域生长，生长后的多个面片拼接为一个大的空间结构，如果该空间结构覆盖的点数超过一定数量则被认为是一个分割出的单片叶片。
2.根据权利要求1所述的一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，步骤S1-1中，进行滤波处理时所采用的滤波器包括以下3种：
滤波器1：滤除空间Z轴方向泥土信息所在段；
滤波器2：计算植物点云中每个点周围半径r内的点数，若低于阈值n1，则认为是噪点并舍弃，以解决上下叶片点云间的拟合越界的问题；
滤波器3：计算植物点云中每个点k个近邻域点间的平均间距，将距离该点超出平均间距n2倍标准差以上的点滤除，解决前两步所遗留的噪点。
3.根据权利要求1所述的一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，假设点云χ中的每个点xi的空间特征包含两部分，即点xi所在邻域拟合的平面法向量ni和空间平滑度si，则步骤S1-2中，采用迭代PCA来估计点云χ中每个点的空间特征包括以下步骤：
步骤S1-2-1：xi的拟合平面fi＝(XK×3，xi，ni)是一个三元组结构体，xi的K近邻域点集XK×3通过迭代PCA计算所得，XK×3包含xi本身，每次迭代PCA计算出一个经过点xi法向量为ni的平面；
步骤S1-2-2：定义xi的K近邻域点集XK×3中的点xj到xi的欧氏距离为dij，σ1为阈值，若dij＞σ1，则将xj从XK×3中剔除，其中，欧氏距离为dij根据下式(1)计算得到：
步骤S1-2-3：重复步骤S1-2-1和步骤S1-2-2，当XK×3内点数稳定不变时，迭代停止，此时通过PCA估计的拟合平面fi′＝(XK′×3，xi，ni′)将无限接近于xi的实际通过平面，切平面在更新时，需要计算XK×3的协方差矩阵Ci 3×3，协方差矩阵Ci 3×3根据下式(2)计算：
式(2)中，XK×3已经过去中心化处理；
步骤S1-2-4：λ1、λ2、λ3是对Ci 3×3作特征值分解得到的特征值，λ1＞λ2＞λ3，从而xi所在切平面的法向量ni为λ3对应的单位特征向量；平滑度si则为λ2与λ3的比值，比值越大，则点xi附近越平坦。
4.根据权利要求1所述的一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，所述步骤S2-1中将点云中相似点进行初步聚类包括以下步骤：
步骤S2-1-1：从点云χ中提取出一个点xi，将xi的K近邻域集XK×3中平滑度最高的点xj定义为种子点；
步骤S2-1-2：以xj区域生长建立一块有相同特征的小面片区域，区域生长的特征要求满足如下条件：
条件1：近邻点xk与种子点xj所在拟合平面的法向量ni、nj间的夹角小于θ；
条件2：点xk到点xj所在拟合平面fj的距离小于σ1；
条件3：点xk与点xj间的欧氏距离小于设定阈值r1；
步骤S2-1-3：点xk被归类到一个小面片后，将从点云χ中取出，不再作为种子点的“候选人”，也不再参与其他种子点的区域生长，所有种子点组成种子点集合χseed。
5.根据权利要求4所述的一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，步骤S2-2中，采用局部K均值聚类改进相邻小面片间的边缘包括以下步骤：
步骤S2-2-1：从种子点集合χseed中挑选任意一个种子点xseed，并将聚类搜索的区域设定在以xseed为中心半径为r2的局部球体内，在该球体范围内，计算球内的每个点xi到球内所有种子点的欧氏距离di，球内所有种子点包括xseed；
步骤S2-2-2：当种子点集合χseed中所有种子点都进行以上计算后，将每个点归类给欧式距离最小的种子点；
步骤52-2-3：每经过一轮归类，将更新种子点集合χseed，新的种子点通过计算重新聚类后的小面片的中心而得，一部分点未被归类到任何种子，则将其分配给距离最近的那个种子点；
步骤S2-2-4：重复步骤S2-2-1、步骤S2-2-2和步骤S2-2-3，当所有面片的中心点坐标不再改变时，局部K-means聚类的迭代停止。
6.根据权利要求1所述的一种基于点云过分割与面片生长的植株点云单叶片分割方法，其特征在于，所述步骤S3中单个叶片分割的主旨是以步骤S2中得到了边界清晰的小面片集F中的每个小面片fi为单位，该小面片fi为种子面片，根据面片的邻接关系和面片之间的共面特性进行区域生长，生长后的多个面片将拼接为一个大的空间结构，如果其覆盖的点数超过一定数量则被认为是一个分割出的单片叶片，面片生长条件如下：
条件1：面片fj为种子面片fi的邻接面；
条件2：面片fj的中心到种子面片fi的距离d(fi，fj)小于设定阈值σ2，其中，距离d(fi，fj)根据下式(3)计算：
在上式中ni为面片fi中心的法向量，x′i与x′j分别为种子面片fi与面片fj的中心；
当满足上述两个条件后，则把面片fj与种子面片fi归类到一起，采用广度优先的搜索机制进行相邻面片的搜索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452581.8A CN111666946A (zh) | 2020-05-26 | 2020-05-26 | 基于点云过分割与面片生长的植株点云单叶片分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452581.8A CN111666946A (zh) | 2020-05-26 | 2020-05-26 | 基于点云过分割与面片生长的植株点云单叶片分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111666946A true CN111666946A (zh) | 2020-09-15 |
Family
ID=72384728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010452581.8A Pending CN111666946A (zh) | 2020-05-26 | 2020-05-26 | 基于点云过分割与面片生长的植株点云单叶片分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666946A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269791A (zh) * | 2021-04-26 | 2021-08-17 | 西安交通大学 | 一种基于边缘判定与区域生长的点云分割方法 |
| CN114399446A (zh) * | 2022-01-19 | 2022-04-26 | 广东皓行科技有限公司 | 目标处理方法、装置、电子设备以及控制系统 |
| CN116580310A (zh) * | 2023-07-14 | 2023-08-11 | 宏景科技股份有限公司 | 一种基于图像识别的作物长势监测方法 |
| CN117635719A (zh) * | 2024-01-26 | 2024-03-01 | 浙江托普云农科技股份有限公司 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
| CN117726775A (zh) * | 2024-02-07 | 2024-03-19 | 法奥意威(苏州)机器人系统有限公司 | 一种基于网格降采样的点云预处理方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014187046A1 (zh) * | 2013-05-23 | 2014-11-27 | 中国科学院深圳先进技术研究院 | 点云骨架提取方法及装置 |
| CN109166145A (zh) * | 2018-08-10 | 2019-01-08 | 中国农业大学 | 一种基于聚类分割的果树叶片生长参数提取方法及系统 |
-
2020
- 2020-05-26 CN CN202010452581.8A patent/CN111666946A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014187046A1 (zh) * | 2013-05-23 | 2014-11-27 | 中国科学院深圳先进技术研究院 | 点云骨架提取方法及装置 |
| CN109166145A (zh) * | 2018-08-10 | 2019-01-08 | 中国农业大学 | 一种基于聚类分割的果树叶片生长参数提取方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| DAWEI LI，YAN CAO，XUE-SONG TANG，SIYUAN YAN，XIN CAI: ""Leaf Segmentation on Dense Plant Point Clouds with Facet Region Growing"" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269791A (zh) * | 2021-04-26 | 2021-08-17 | 西安交通大学 | 一种基于边缘判定与区域生长的点云分割方法 |
| CN113269791B (zh) * | 2021-04-26 | 2023-04-07 | 西安交通大学 | 一种基于边缘判定与区域生长的点云分割方法 |
| CN114399446A (zh) * | 2022-01-19 | 2022-04-26 | 广东皓行科技有限公司 | 目标处理方法、装置、电子设备以及控制系统 |
| CN116580310A (zh) * | 2023-07-14 | 2023-08-11 | 宏景科技股份有限公司 | 一种基于图像识别的作物长势监测方法 |
| CN116580310B (zh) * | 2023-07-14 | 2023-10-20 | 宏景科技股份有限公司 | 一种基于图像识别的作物长势监测方法 |
| CN117635719A (zh) * | 2024-01-26 | 2024-03-01 | 浙江托普云农科技股份有限公司 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
| CN117635719B (zh) * | 2024-01-26 | 2024-04-16 | 浙江托普云农科技股份有限公司 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
| CN117726775A (zh) * | 2024-02-07 | 2024-03-19 | 法奥意威(苏州)机器人系统有限公司 | 一种基于网格降采样的点云预处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666946A (zh) | 基于点云过分割与面片生长的植株点云单叶片分割方法 | |
| Bao et al. | Field-based architectural traits characterisation of maize plant using time-of-flight 3D imaging | |
| Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
| Li et al. | A review of computer vision technologies for plant phenotyping | |
| Mao et al. | Automatic cucumber recognition algorithm for harvesting robots in the natural environment using deep learning and multi-feature fusion | |
| Xiong et al. | The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment | |
| Li et al. | In-field cotton detection via region-based semantic image segmentation | |
| CN102789579B (zh) | 基于计算机视觉技术的温室作物水肥胁迫状态识别方法 | |
| Zhang et al. | A method for organs classification and fruit counting on pomegranate trees based on multi-features fusion and support vector machine by 3D point cloud | |
| Lin et al. | A review on computer vision technologies applied in greenhouse plant stress detection | |
| Sun et al. | High resolution 3D terrestrial LiDAR for cotton plant main stalk and node detection | |
| Selvi et al. | Weed detection in agricultural fields using deep learning process | |
| CN102542560B (zh) | 一种水稻移栽后密度自动检测的方法 | |
| Seiffert et al. | Clustering of crop phenotypes by means of hyperspectral signatures using artificial neural networks | |
| Lin et al. | Identification of pumpkin powdery mildew based on image processing PCA and machine learning | |
| Zhu et al. | A method for detecting tomato canopies’ phenotypic traits based on improved skeleton extraction algorithm | |
| Miao et al. | Crop weed identification system based on convolutional neural network | |
| Zhu et al. | Exploring soybean flower and pod variation patterns during reproductive period based on fusion deep learning | |
| Luo et al. | Eff-3DPSeg: 3D organ-level plant shoot segmentation using annotation-efficient point clouds | |
| Loresco et al. | Vision-based lettuce growth stage decision support system using artificial neural networks | |
| CN109035311A (zh) | 一种弯骨骨折自动配准及内固定钢板预弯建模方法 | |
| Ma et al. | Banana individual segmentation and phenotypic parameter measurements using deep learning and terrestrial LiDAR | |
| CN115035423B (zh) | 一种基于无人机遥感影像的杂交水稻父母本识别提取方法 | |
| CN115994939A (zh) | 一种基于地面激光点云的树木叶面积估算方法 | |
| CN115035410A (zh) | 一种基于激光点云顾及茎秆形体和叶倾角的植株识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200915 |