CN106651900B - 一种基于轮廓分割的高架原位草莓三维建模方法 - Google Patents
一种基于轮廓分割的高架原位草莓三维建模方法 Download PDFInfo
- Publication number
- CN106651900B CN106651900B CN201611226976.6A CN201611226976A CN106651900B CN 106651900 B CN106651900 B CN 106651900B CN 201611226976 A CN201611226976 A CN 201611226976A CN 106651900 B CN106651900 B CN 106651900B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- dimensional
- point
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 235000016623 Fragaria vesca Nutrition 0.000 title claims abstract description 26
- 235000011363 Fragaria x ananassa Nutrition 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 title claims abstract description 25
- 238000011065 in-situ storage Methods 0.000 title claims abstract description 22
- 240000009088 Fragaria x ananassa Species 0.000 title 1
- 241000220223 Fragaria Species 0.000 claims abstract description 54
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 5
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000011524 similarity measure Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000006185 dispersion Substances 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 241000135164 Timea Species 0.000 claims 1
- 241000196324 Embryophyta Species 0.000 abstract description 21
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 235000021012 strawberries Nutrition 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 235000011449 Rosa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及三维图像生成技术领域，具体涉及一种草莓植株三维建模方法。本发明通过计算矢量场卷积的中心点，选出多目标的初始轮廓控制点，将参数的活动轮廓模型应用于强度图像过分割；采用标记的方法将分割轮廓转换成点云集，以点云集为单位构建平面拟合选择机制，最终完成高架原位草莓三维模型的建模及显示，为农业智能机器人局部视觉场景构建进行了探索性研究；采用本发明方法可对原位的植株进行三维建模，有效克服了传统建模方法不能在大棚环境下建立整株植物三维模型的局限，提高了所采集数据的利用率。
Description
技术领域
本发明涉及三维图像生成技术领域，具体涉及一种基于轮廓分割的高架原位草莓三维建模方法。
背景技术
基于实测数据的植物三维建模是农业数字化研究及应用的重要环节，通过建立的植物三维模型，不仅能够快速测量作物参数，探索植物生长发育规律，而且可研究植株枝叶分布特点，建立简便、快速、准确的目标搜索方法，为智能农业机器人植物场景构建提供新的技术支持。
目前，国内外常作为植物三维建模采集设备的有三类：三维数字化仪、激光扫描仪和深度相机TOF(Time of Flight)相机。三维数字化仪能够多角度采集植株各点信息，但采集过程复杂，对外界环境条件要求苛刻。激光扫描仪扫描速度快、点云精度高，但后续处理过程繁琐，需大量人工交互。深度相机TOF(Time of Flight)相机，可快速获取场景深度信息，并转换成植物表面三维点云数据，但设备分辨率不高。
光学混合探测器PMD(Photonic Mixer Device)相机是一种基于TOF三维成像设备，受光照影响较小，能够快速获取场景多源信息，与彩色相机的结合使用，在非结构光环境的多源图像融合中得到了较好的应用，为草莓植株三维建模提供了可靠的工具。
三维信息的分割是将点云分割为不同的区域以便于属于同一平面的点可以归为一个区域，三维信息分割技术已在遥感、测绘医学等领域得到了广泛的应用，该方法常以点云的曲率突变、几何特征突变、密度突变等为特征进行分割。PMD相机获取的深度点云，边缘存在跳边数据，不同点云区域间存在平滑过渡的跳边点云，其特征的突变往往难以检测；传统建模方法不能在大棚高架原位条件下建立整株植物三维模型，而且所采集数据的利用率低。
目前，针对大棚环境下的高架原位草莓的三维形态模型建模技术未见报道。
发明内容
针对上述技术问题，本发明的目的是提供一种适合于大棚环境下基于轮廓分割的高架原位草莓三维建模方法。
为了实现上述目的，本发明提供了如下技术方案：
本发明提供一种基于轮廓分割的高架原位草莓三维建模方法，其特征在于：该方法包括如下步骤：
步骤S101，多源图像预处理：
利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像，该多源图像包括彩色图像、强度图像和深度图像；保证多源图像内，存在至少一株完整的草莓；
采用基于特征的多源图像融合方法，将该草莓的彩色图像与强度图像进行像素点间的匹配，得到彩色图像与强度图像的空间映射关系；并利用色彩空间滤除背景,得到待分割强度图像；
步骤S102，分割轮廓初始化：
计算步骤S101得到的待分割强度图像的矢量场卷积模型，采用快速傅里叶法计算离散后的矢量场卷积的大小及方向；并选取矢量流场散射中心作为轮廓点集，设置轮廓点集的两点间距离阈值对轮廓点集进行精简，得到最终的初始轮廓点集；
步骤S103，强度图像过分割：
构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集为起始位置的能量泛函，然后，通过设置弹性和刚性系数，不断迭代计算能量泛函，使强度图像的初始轮廓动态演化成过分割轮廓；
步骤S104，区域点云提取：
建立空的模型点云集，以过分割轮廓作为边缘点云，提取并保存其内部点云，采用标记的方法统计点云数量，归并或去除遗漏点云，得到最终的模型点云集；
步骤S105，叶片模型选择及显示：
设计以单个内部三维点云集为单位的平面拟合选择机制，以最小均方差模型作为叶片的三维模型，统一各个叶片的空间坐标，得到整株叶片的三维模型。
所述步骤S101中，选用Harris算子提取彩色图像与强度图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取12对以上同名点；计算同名点间距离大小并进行排序，保留距离最远的3～6对点；以保留的点对为基准，对彩色图像进行仿射变化，记录得到彩色图像与强度图像的空间映射关系；
进一步，将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间，通过最大类间方差法计算该空间模型的阈值，从而将草莓植株与背景分离，然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息，得到滤除背景的待分割强度图像。
所述步骤S102中，矢量场卷积的大小及方向的具体计算步骤如下：
对于待分割强度图像，以(0,0)为核原点，用公式m(i，j)＝(r+ε)-γ计算卷积核的模值大小和方向；其中，i、j为强度图像的横、纵像素坐标，r、ε、γ分别为引力大小、无限小常数和指数参数；指数参数γ的选取范围为2～5，方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i，j)；把卷积核k(i，j)与待分割强度图像的边缘图f(i，j)进行卷积操作，得到矢量场卷积模型fvfc；
构造核半径大小为的离散矩阵，其中M为强度图像的大小，对卷积核进行离散，利用快速傅里叶算法求解卷积核与边缘图的卷积，求出离散后的矢量流场大小及方向，记为fvfc(v(s，t))；
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线；
x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线；
s——归一化曲线长度；
t——时间。
所述步骤S102中，最终的初始轮廓点集通过如下方法获得：
将待分割强度图像中P(i，j)点矢量流场的方向分成x,y两方向，各个方向再分为三类，分别用数字1、0、-1标记：
其中1表示向右，0表示无方向，-1表示向左；
构建数组PSX、PSY用于保存满足以下条件的点P(i，j)，
PSX＝{P(i，j)│x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}
PSY＝{P(i，j)│y(i，j)≤y(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}
式中，
P(i，j)——图像坐标为(i，j)的点
PSX，PSY——点集数组
x(i，j)，y(i，j)——(i，j)点的x，y方向力场
abs——求绝对值
h(x(i，j))+h(x(i+1，j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS，计算PS内两点间距离并对该距离排序，设置两点距离阈值Dmin，取值范围为其中M为图像大小，当点集中存在两点间间距大于该阈值的点，则在PS点集空间中随机删除二者之间排序靠前的点，实现对点集空间PS的精简，得到最终的初始轮廓点集P；
所述步骤S103中，能量泛函为：
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线；
αv″(s，t)为弹性能量；
βv″″(s，t)为刚性能量；
Fext＝fvfc(v(s，t))为外部力。
式中：
α——弹力系数
β——刚性系数
取上式α为0.5～0.8，β为0.5～0.9，采用有限差分法不断迭代求解该能量泛函，初始轮廓点集P中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，得到k个强度图像的过分割轮廓；
所述步骤S104中，建立模型点云集Q＝{q1，q2，q3，...，qi|1≤i≤k}，其中qi为内部三维点云集，qi＝{(x,y,z)|x∈R,y∈R,z∈R},R为实数集，k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值Umin，阈值取值范围为当U＞Umin时，将U提取出，并保存至新的内部三维点云集qk+1中，更新k值，更新模型点云集Q＝{q，q2，q3，...，qi|1≤i≤k}及分割轮廓个数k，当U＜Umin时，从N中删除U。
所述步骤S105中，实际点云的坐标形式为(x,y,z)，则叶片模型为Z＝H(x，y)，选择平面型模型Z1和曲面型模型Z2两种备选叶片模型，
式中：a，b，c，d，e——叶片模型系数
x,y,z——原始三维点云坐标
Z1，Z2——拟合后三维点云z轴方向坐标
对k个内部三维点云集qi设置最小均方差“小者为优”的选择机制，平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2，若E1＜E2，则采用平面型模型Z1作为叶片的三维结构，否则选用曲面型模型Z2；
处理完模型点云集Q中的每个内部三维点云集qi后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。
与现有技术相比，本发明的有益效果在于：
本发明通过计算矢量场卷积的中心点，选出多目标的初始轮廓控制点，将参数的活动轮廓模型应用于强度图像过分割；采用标记的方法将分割轮廓转换成点云集，以点云集为单位构建平面拟合选择机制，最终完成高架原位草莓三维模型的建模及显示，为农业智能机器人局部视觉场景构建进行了探索性研究；采用本发明方法可对原位的植株进行三维建模，有效克服了传统建模方法不能在大棚环境下建立整株植物三维模型的局限，提高了所采集数据的利用率。
本发明解决了深度相机无法用点云分割方法建立单个叶片模型的问题，在提升叶片细节的基础上，保留了草莓植株的形态空间关系，研究成果为智能农业机器人局部视觉场景的构建提供了新的技术支持，对植株参数测量、采摘等大棚草莓信息化管理具有重要意义，同时，本发明还适用于其他小型蔷薇类植物的三维建模。
附图说明
图1为本发明基于轮廓分割的高架原位草莓三维建模方法的流程图；
图2a为本发明实施例的彩色图像预处理结果图；
图2b为本发明实施例的待分割强度图像；
图3为本发明实施例的初始化的轮廓效果图；
图4为本发明实施例的强度图像轮廓分割结果图；
图5为本发明实施例的单个叶片区域三维点云提取图；
图6a为本发明实施例的三维形态模型效果图；
图6b为本发明实施例的植株三维模型的侧视效果图；
图6c为本发明实施例的植株三维模型的俯视效果图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
本发明的基于轮廓分割的高架原位草莓三维建模方法，利用基于光合混合探测技术的PMD相机与彩色相机分别获取草莓植株图像，针对强度图像和彩色图像，开展基于多源图像分割的草莓植株三维建模技术研究。依据配准点将彩色图像转换成强度图像相同大小的待分割图像，应用L*a*b*彩色模型及多源图像映射关系去除强度背景信息；以矢量场中心为初始轮廓的参数活动轮廓模型为强度图分割准则，确定点云过分割区域；对各个区域的点云设定两类可选模型，实现不同姿态叶片的三维建模及显示。
本发明的基于轮廓分割的高架原位草莓三维建模方法包括如下步骤：
步骤S101，多源图像预处理：
利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像，该多源图像包括彩色图像、强度图像和深度图像；保证多源图像内，存在至少一株完整的草莓。
采用基于特征的多源图像融合方法，将该草莓的彩色图像与强度图像进行像素点间的匹配，得到彩色图像与强度图像的空间映射关系，并利用色彩空间滤除背景,得到待分割强度图像；具体步骤如下：
选用Harris算子提取彩色图像与强度图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取12对以上同名点。计算同名点间距离大小并进行排序，保留距离最远的3～6对点；以保留的点对为基准，对彩色图像进行仿射变化，记录得到彩色图像与强度图像的空间映射关系。
进一步，将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间，通过最大类间方差法计算该空间模型的阈值，从而将草莓植株与背景分离，然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息，得到滤除背景的待分割强度图像。
步骤S102，分割轮廓初始化：
首先，计算步骤S101得到的待分割强度图像的矢量场卷积模型，采用快速傅里叶法计算离散后的矢量场卷积的大小及方向，具体步骤如下：
对于待分割强度图像，以(0,0)为核原点，用公式m(i，j)＝(r+ε)-γ计算卷积核的模值大小和方向；其中，i、j为强度图像的横、纵像素坐标，r、ε、γ分别为引力大小、无限小常数和指数参数；指数参数γ的选取范围为2～5，优选指数参数γ为2，方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i，j)。把卷积核k(i，j)与待分割强度图像的边缘图f(i，j)进行卷积操作，得到矢量场卷积模型fvfc。
构造核半径大小为的离散矩阵，其中M为强度图像的大小，对卷积核进行离散，利用快速傅里叶算法求解卷积核与边缘图的卷积，求出离散后的矢量流场大小及方向，记为fvfc(v(s，t))。
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线，
x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线
s——归一化曲线长度
t——时间
然后，选取矢量流场散射中心作为轮廓点集，设置轮廓点集的两点间距离阈值对轮廓点集进行精简，得到最终的初始轮廓点集。
将待分割强度图像中P(i，j)点矢量流场的方向分成x,y两方向，各个方向再分为三类，分别用数字1、0、-1标记：
其中1表示向右，0表示无方向，-1表示向左。
构建数组PSX、PSY用于保存满足以下条件的点P(i，j)，
PSX＝{P(i，j)│x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}
PSY＝{P(i，j)│y(i，j)≤(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}
式中，
P(i，j)——图像坐标为(i，j)的点
PSX，PSY——点集数组
x(i，j)，y(i，j)——(i，j)点的x，y方向力场
abs——求绝对值
h(x(i，j))+h(x(i+1，j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS，计算PS内两点间距离并对该距离排序，设置两点距离阈值Dmin，取值范围为其中M为强度图像大小，当点集中存在两点间间距大于该阈值的点，则在PS点集空间中随机删除二者之间排序靠前的点，实现对点集空间PS的精简，得到最终的初始轮廓点集P。
步骤S103，强度图像过分割：
构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集P为起始位置的能量泛函：
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线；
αv″(s，t)为弹性能量；
βv″″(s，t)为刚性能量；
Fext＝fvfc(v(s，t))为外部力。
式中：
α——弹力系数
β——刚性系数
然后，通过设置弹性和刚性系数，不断迭代计算能量泛函，将强度图像的初始轮廓动态演化成过分割轮廓。
取上式α为0.5～0.8，β为0.5～0.9，采用有限差分法不断迭代求解该能量泛函，初始轮廓点集P中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，得到k个强度图像的过分割轮廓。
步骤S104，区域点云提取：
建立空的模型点云集，以过分割轮廓作为边缘点云，提取并保存其内部点云，采用标记的方法统计点云数量，归并或去除遗漏点云，得到最终的模型点云集。
建立模型点云集Q＝{q1，q2，q3，...，qi|1≤i≤k}，其中qi为内部三维点云集，qi＝{(x,y,z)|x∈R,y∈R,z∈R},R为实数集，k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值Umin，阈值取值范围为当U＞Umin时，将U提取出，并保存至新的内部三维点云集qk+1中，更新k值，更新模型点云集Q＝{q，q2，q3，...，qi|1≤i≤k}及分割轮廓个数k，当U＜Umin时，从N中删除U。
步骤S105，叶片模型选择及显示：
设计以单个内部三维点云集qi为单位的平面拟合选择机制，以最小均方差模型作为叶片的三维模型，统一各个叶片的空间坐标，得到整株叶片的三维模型。
实际点云的坐标形式为(x,y,z)，则叶片模型为Z＝H(x，y)，选择平面型模型Z1和曲面型模型Z2两种备选叶片模型，
式中：a，b，c，d，e——叶片模型系数
x,y,z——原始三维点云坐标
Z1，Z2——拟合后三维点云z轴方向坐标
对k个内部三维点云集qi设置最小均方差“小者为优”的选择机制，平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2，若E1＜E2，则采用平面型模型Z1作为叶片的三维结构，否则选用曲面型模型Z2。
处理完模型点云集Q中的每个内部三维点云集qi后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。
实施例
本实施例数据采集采用相机俯拍的方式，选取成熟期草莓为测试对象，草莓顶叶与相机镜头距离约为50cm，保证多源图像内存在至少一株完整的草莓(由于PMD相机所获取的图像分辨率为200×200像素，故选用空间分辨率为320×240像素的彩色图片为补充信息)。
本实施例中适合大棚高架原位草莓植株的三维建模方法的流程如图1所示，包括以下步骤：
步骤S101，选用Harris算子作为特征角点的提取工具，分别提取强度图像和彩色图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取14对同名点，计算同名点间距离大小并进行排序，保留距离最远的5对点；以这5对点为基准，将320×240像素的彩色图像仿射变化成200×200像素，同时记录两幅图像的空间映射关系。
仿射变化后的彩色图像转换至L*a*b*彩色模型下，通过最大类间方差法计算该空间模型下a*分量的阈值，从而保留植株信息、分离出彩色图像的背景，该彩色图像预处理后的效果图如图2a所示；将彩色图像的植株像素位置信息通过空间映射关系转换成强度图像下的植株信息，得到滤除背景后的待分割强度图像如图2b所示。
步骤S102，为同时分离出一幅植株图像中的多个叶片，需初始化多个轮廓曲线。首先，计算步骤S101取得的待分割强度图像的矢量场卷积。
对于200×200像素的强度图像，以(0,0)为核原点，用公式m(i，j)＝(r+ε)-γ计算卷积核的模值大小和方向，其中i、j为强度图像的横、纵像素坐标，r，ε，γ分别为引力大小、无限小常数和指数参数，本实施例中选取指数参数γ为2，方向为像素点指向核原点的单位向量。
构造核半径大小为的离散矩阵，其中M为强度图像大小，本例中选用70作为最优核半径，对该卷积核进行离散。利用快速傅里叶算法求解离散卷积核与边缘图的卷积，最终求出离散后的矢量流场大小及方向,记为fvfc(v(s，t))。
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线，
x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线
s——归一化曲线长度
t——时间
将图像中P(i，j)点矢量流场的方向分成x,y两方向，各个方向再分为三类，分类规则为
其中1表示向右，0表示无方向，-1表示向左。
构建数组PSX、PSY用于保存满足以下条件的点P(i，j)，
PSX＝{P(i，j)│x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}
PSY＝{P(i，j)│y(i，j)≤y(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}
式中，
P(i，j)——图像坐标为(i，j)的点
PSX，PSY——点集数组
x(i，j)，y(i，j)——(i，j)点的x,y方向力场
abs——求绝对值
h(x(i，j))+h(x(i+1，j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS，计算PS内两点间距离并对该距离排序，设置之间的任意整数为两点距离阈值Dmin，本实施例中选取12为阈值Dmin的最优值，当点集中存在两点间间距大于该阈值的点，则在PS点集空间中随机删除其中之一，实现对点集空间PS的精简，得到最终的初始轮廓点集P。由初始轮廓点集构成的初始化的轮廓效果图如图3所示。
步骤S103，构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集P为起始位置的能量泛函：
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线,
αv″(s，t)为弹性能量，
βv″″(s，t)为刚性能量，
Fext＝fvfc(v(s，t))为外部力。
式中：
α——弹力系数
β——刚性系数
取上式α为0.5～0.8，β为0.5～0.9，本实施例优选值分别为α为0.5和β为0.6。采用有限差分法不断迭代求解该能量泛函，初始轮廓点集中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，本实施例中共得到26个过分割轮廓，如图4所示为该强度图像轮廓过分割结果图。
步骤S104，建立模型点云集Q＝{q1，q2，q3，...，qi|1≤i≤k}，其中qi为内部三维点云集，qi＝{(x,y,z)|x∈R,y∈R,z∈R},R为实数集，k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值Umin，阈值取值范围为统计N个有效点中未标记的点云U，设置点云最小数量阈值Umin，本实施例中点云最小数量阈值Umin取650。当U＞Umin时，将U提取出，并保存至新的内部三维点云集qk+1中，更新k值，更新模型点云集Q＝{q，q2，q3，...，qi|1≤i≤k}及分割轮廓个数k，当U＜Umin时，从N中删除U。
由于每个内部三维点云集qi常常对应实际的一个叶片的区域，因此实际中每个内部三维点云集qi可视为单个叶片区域，图5所示为单个叶片区域三维点云提取图。
步骤S105，实际点云的坐标形式为(x,y,z)，则叶片模型为Z＝f(x，y)，选择平面型模型Z1和曲面型模型Z2两种备选叶片模型，
式中：a，b，c，d，e——叶片模型系数
x,y,z——原始三维点云坐标
Z1，Z2——拟合后点云z轴方向坐标
对k个内部点云集qi设置最小均方差“小者为优”的选择机制，平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2，若E1＜E2，则采用平面型模型Z1作为叶片的三维结构，否则选用曲面型模型Z2。
处理完模型点云集Q中的每个内部三维点云集qi后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。
图6a为某一点集模型选取后的效果图。按照上述步骤处理完每个点集模型后，将它们同时显示在同一坐标空间下，即可得到草莓植株的三维重建模型，如图6b和6c所示，分别为采用本发明重建算法得出的模型的侧视和俯视效果图。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于轮廓分割的高架原位草莓三维建模方法，其特征在于：该方法包括如下步骤：
步骤S101，多源图像预处理：
利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像，该多源图像包括彩色图像、强度图像和深度图像；保证多源图像内，存在至少一株完整的草莓；
采用基于特征的多源图像融合方法，将该草莓的彩色图像与强度图像进行像素点间的匹配，得到彩色图像与强度图像的空间映射关系；并利用色彩空间滤除背景,得到待分割强度图像；
步骤S102，分割轮廓初始化：
计算步骤S101得到的待分割强度图像的矢量场卷积模型，采用快速傅里叶法计算离散后的矢量场卷积的大小及方向；并选取矢量流场散射中心作为轮廓点集，设置轮廓点集的两点间距离阈值对轮廓点集进行精简，得到最终的初始轮廓点集；
步骤S103，强度图像过分割：
构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力，以弹性能量和刚性能量的和为内部力，以步骤S102中的初始轮廓点集为起始位置的能量泛函，然后，通过设置弹性和刚性系数，不断迭代计算能量泛函，使强度图像的初始轮廓动态演化成过分割轮廓；
步骤S104，区域点云提取：
建立空的模型点云集，以过分割轮廓作为边缘点云，提取并保存其内部点云，采用标记的方法统计点云数量，归并或去除遗漏点云，得到最终的模型点云集；
步骤S105，叶片模型选择及显示：
设计以单个内部三维点云集为单位的平面拟合选择机制，以最小均方差模型作为叶片的三维模型，统一各个叶片的空间坐标，得到整株叶片的三维模型。
2.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法，其特征在于：
所述步骤S101中，选用Harris算子提取彩色图像与强度图像的角点，依据角点附近8邻域的灰度均值作为相似性测度，提取12对以上同名点；计算同名点间距离大小并进行排序，保留距离最远的3～6对点；以保留的点对为基准，对彩色图像进行仿射变化，记录得到彩色图像与强度图像的空间映射关系；
进一步，将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间，通过最大类间方差法计算该空间模型的阈值，从而将草莓植株与背景分离，然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息，得到滤除背景的待分割强度图像。
3.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法，其特征在于：
所述步骤S102中，矢量场卷积的大小及方向的具体计算步骤如下：
对于待分割强度图像，以(0，0)为核原点，用公式m(i，j)＝(r+ε)-γ计算卷积核的模值大小和方向；其中，i、j为强度图像的横、纵像素坐标，r、ε、γ分别为引力大小、无限小常数和指数参数；指数参数γ的选取范围为2～5，方向为像素点指向核原点的单位向量，将带方向的卷积核记为k(i，j)；把卷积核k(i，j)与待分割强度图像的边缘图f(i，j)进行卷积操作，得到矢量场卷积模型fvfc；
构造核半径大小为的离散矩阵，其中M为强度图像的大小，对卷积核进行离散，利用快速傅里叶算法求解卷积核与边缘图的卷积，求出离散后的矢量流场大小及方向，记为fvfc(v(s，t))；
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线；
x(s，t)，y(s，t)——x，y方向随时间变化的参数曲线；
s——归一化曲线长度；
t——时间。
4.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法，其特征在于：
所述步骤S102中，最终的初始轮廓点集通过如下方法获得：
将待分割强度图像中P(i，j)点矢量流场的方向分成x，y两方向，各个方向再分为三类，分别用数字1、0、-1标记：
其中1表示向右，0表示无方向，-1表示向左；
构建数组PSX、PSY用于保存满足以下条件的点P(i，j)，
PSX＝{P(i，j)|x(i，j)≤x(i+1，j)&abs(h(x(i，j))+h(x(i+1，j)))≤1}
PSY＝{P(i，j)|y(i，j)≤y(i+1，j)&abs(h(y(i，j))+h(y(i+1，j)))≤1}
式中，
P(i，j)——图像坐标为(i，j)的点
PSX，PSY——点集数组
x(i，j)，y(i，j)——(i，j)点的x，y方向力场
abs——求绝对值
h(x(i，j))+h(x(i+1，j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS，计算PS内两点间距离并对该距离排序，设置两点距离阈值Dmin，取值范围为其中M为图像大小，当点集中存在两点间间距大于该阈值的点，则在PS点集空间中随机删除二者之间排序靠前的点，实现对点集空间PS的精简，得到最终的初始轮廓点集P。
5.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法，其特征在于：
所述步骤S103中，能量泛函为：
其中，
v(s，t)＝[x(s，t)，y(s，t)]T为随时间变化的参数曲线；
αv″(s，t)为弹性能量；
βv″″(s，t)为刚性能量；
Fext＝fvfc(v(s，t))为外部力；
式中：
α——弹力系数
β——刚性系数
取上式α为0.5～0.8，β为0.5～0.9，采用有限差分法不断迭代求解该能量泛函，初始轮廓点集P中若干个点可构成一个初始轮廓，每一个初始轮廓将对应一个过分割轮廓，得到k个强度图像的过分割轮廓。
6.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法，其特征在于：
所述步骤S104中，建立模型点云集Q＝{q1，q2，q3，...，qi|1≤i≤k}，其中qi为内部三维点云集，qi＝{(x，y，z)|x∈R，y∈R，z∈R}，R为实数集，k为强度图像的过分割轮廓个数；利用深度图像将背景点云滤除，统计总的有效点N；以步骤S103中强度图像的k个过分割轮廓作为边缘，从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i＝1，2，3，...，k)中；标记N中提取出的内部三维点云，统计N中未标记的三维点云U，设置三维点云最小数量阈值Umin，阈值取值范围为当U＞Umin时，将U提取出，并保存至新的内部三维点云集qk+1中，更新k值，更新模型点云集Q＝{q，q2，q3，...，qi|1≤i≤k}及分割轮廓个数k，当U＜Umin时，从N中删除U。
7.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法，其特征在于：
所述步骤S105中，实际点云的坐标形式为(x，y，z)，则叶片模型为Z＝H(x，y)，选择平面型模型Z1和曲面型模型Z2两种备选叶片模型，
式中：a，b，c，d，e——叶片模型系数
x，y，z——原始三维点云坐标
Z1，Z2——拟合后三维点云z轴方向坐标
对k个内部三维点云集qi设置最小均方差“小者为优”的选择机制，平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2，若E1＜E2，则采用平面型模型Z1作为叶片的三维结构，否则选用曲面型模型Z2；
处理完模型点云集Q中的每个内部三维点云集qi后，将它们的三维结构同时显示在同一坐标空间下，即可得到草莓植株的三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611226976.6A CN106651900B (zh) | 2016-12-27 | 2016-12-27 | 一种基于轮廓分割的高架原位草莓三维建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611226976.6A CN106651900B (zh) | 2016-12-27 | 2016-12-27 | 一种基于轮廓分割的高架原位草莓三维建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106651900A CN106651900A (zh) | 2017-05-10 |
| CN106651900B true CN106651900B (zh) | 2019-07-23 |
Family
ID=58832791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611226976.6A Expired - Fee Related CN106651900B (zh) | 2016-12-27 | 2016-12-27 | 一种基于轮廓分割的高架原位草莓三维建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106651900B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3407607A1 (en) * | 2017-05-24 | 2018-11-28 | Thomson Licensing | Method and device for encoding and reconstructing a point cloud |
| CN107478273B (zh) * | 2017-08-14 | 2019-09-24 | 武汉科技大学 | 基于嵌入式和物联网技术的下水道监控系统及方法 |
| CN107966944B (zh) * | 2017-11-30 | 2020-12-08 | 贵州财经大学 | 智慧大棚分区控制系统及分区采摘方法 |
| CN111292231A (zh) * | 2018-11-21 | 2020-06-16 | 杭州职业技术学院 | 基于拼接图像的高通量植物表型特征提取方法 |
| CN110322544A (zh) * | 2019-05-14 | 2019-10-11 | 广东康云科技有限公司 | 一种可视化三维扫描建模方法、系统、设备及存储介质 |
| CN110276790A (zh) * | 2019-06-28 | 2019-09-24 | 易思维（杭州）科技有限公司 | 基于形状约束的点云配准方法 |
| CN110849262A (zh) * | 2019-10-17 | 2020-02-28 | 中国科学院遥感与数字地球研究所 | 一种植被表型结构参数测量方法、装置及系统 |
| CN110765962A (zh) * | 2019-10-29 | 2020-02-07 | 刘秀萍 | 一种基于三维点云轮廓分维值的植物识别分类方法 |
| CN111340949B (zh) * | 2020-05-21 | 2020-09-18 | 超参数科技(深圳)有限公司 | 3d虚拟环境的建模方法、计算机设备及存储介质 |
| CN112070041B (zh) * | 2020-09-14 | 2023-06-09 | 北京印刷学院 | 一种基于cnn深度学习模型的活体人脸检测方法和装置 |
| CN112712590B (zh) * | 2021-01-15 | 2023-11-28 | 中国农业大学 | 一种动物点云生成方法及系统 |
| KR102637318B1 (ko) * | 2021-11-05 | 2024-02-15 | 연세대학교 산학협력단 | 포인트 클라우드 데이터 증강 방법 및 이를 이용하는 학습 방법 |
| CN114581608B (zh) * | 2022-03-02 | 2023-04-28 | 山东翰林科技有限公司 | 基于云平台的三维模型智能构建系统及方法 |
| CN115035195B (zh) * | 2022-08-12 | 2022-12-09 | 歌尔股份有限公司 | 点云坐标提取方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2442279A1 (en) * | 2010-10-13 | 2012-04-18 | Honda Research Institute Europe GmbH | Evolvable control point grid layouts for the design optimization of physical bodies |
| CN103279980A (zh) * | 2013-05-08 | 2013-09-04 | 西安理工大学 | 基于点云数据的树叶建模方法 |
| KR101593316B1 (ko) * | 2014-08-18 | 2016-02-11 | 경희대학교 산학협력단 | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 |
| CN105910556A (zh) * | 2016-04-13 | 2016-08-31 | 中国农业大学 | 一种叶面积垂直分布信息提取方法 |
-
2016
- 2016-12-27 CN CN201611226976.6A patent/CN106651900B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2442279A1 (en) * | 2010-10-13 | 2012-04-18 | Honda Research Institute Europe GmbH | Evolvable control point grid layouts for the design optimization of physical bodies |
| CN103279980A (zh) * | 2013-05-08 | 2013-09-04 | 西安理工大学 | 基于点云数据的树叶建模方法 |
| KR101593316B1 (ko) * | 2014-08-18 | 2016-02-11 | 경희대학교 산학협력단 | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 |
| CN105910556A (zh) * | 2016-04-13 | 2016-08-31 | 中国农业大学 | 一种叶面积垂直分布信息提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| Object contour extraction using adaptive NURBS VFC active contour;Hoang-Nam Nguyen etal.;《2011 9th World Congress on Intelligent Control and Automation》;20110801;第524-528页 |
| 基于VF C 主动轮廓模型的红外图像轮廓提取;朱丽青 等;《仪器仪表学报》;20090630;第30卷(第6期);第296-299页 |
| 基于主动轮廓模型的点云分割技术研究;叶迎松;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315;第6-42页 |
| 基于多源信息融合的果树冠层三维点云拼接方法研究;周薇 等;《光学学报》;20141231;第34卷(第12期);第1-8页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106651900A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651900B (zh) | 一种基于轮廓分割的高架原位草莓三维建模方法 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| US11514644B2 (en) | Automated roof surface measurement from combined aerial LiDAR data and imagery | |
| CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN113112504B (zh) | 一种植物点云数据分割方法及系统 | |
| Moyano et al. | Semantic interpretation of architectural and archaeological geometries: Point cloud segmentation for HBIM parameterisation | |
| CN110222626B (zh) | 一种基于深度学习算法的无人驾驶场景点云目标标注方法 | |
| CN104331699B (zh) | 一种三维点云平面化快速搜索比对的方法 | |
| CN111724433B (zh) | 一种基于多目视觉的作物表型参数提取方法及系统 | |
| CN110706248A (zh) | 一种基于slam的视觉感知建图算法及移动机器人 | |
| Santos et al. | 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera | |
| CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
| Zhong et al. | A method for extracting trees from vehicle-borne laser scanning data | |
| CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
| CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN112686859B (zh) | 基于热红外和rgb-d相机的作物cwsi的检测方法 | |
| Masuda | Leaf area estimation by semantic segmentation of point cloud of tomato plants | |
| CN112465832B (zh) | 一种基于双目视觉的单面树木点云骨架线提取方法及系统 | |
| CN112818925A (zh) | 一种城市建筑和树冠识别方法 | |
| Xu et al. | A new clustering-based framework to the stem estimation and growth fitting of street trees from mobile laser scanning data | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| Peng et al. | Binocular-vision-based structure from motion for 3-D reconstruction of plants | |
| Zhou et al. | Individual tree crown segmentation based on aerial image using superpixel and topological features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190723 Termination date: 20211227 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |