CN106651900B - 一种基于轮廓分割的高架原位草莓三维建模方法 - Google Patents

一种基于轮廓分割的高架原位草莓三维建模方法 Download PDF

Info

Publication number
CN106651900B
CN106651900B CN201611226976.6A CN201611226976A CN106651900B CN 106651900 B CN106651900 B CN 106651900B CN 201611226976 A CN201611226976 A CN 201611226976A CN 106651900 B CN106651900 B CN 106651900B
Authority
CN
China
Prior art keywords
point
image
segmentation
intensity image
strawberry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611226976.6A
Other languages
English (en)
Other versions
CN106651900A (zh
Inventor
刘刚
张雪
郭彩玲
宗泽
张伟洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201611226976.6A priority Critical patent/CN106651900B/zh
Publication of CN106651900A publication Critical patent/CN106651900A/zh
Application granted granted Critical
Publication of CN106651900B publication Critical patent/CN106651900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明涉及三维图像生成技术领域,具体涉及一种草莓植株三维建模方法。本发明通过计算矢量场卷积的中心点,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于强度图像过分割;采用标记的方法将分割轮廓转换成点云集,以点云集为单位构建平面拟合选择机制,最终完成高架原位草莓三维模型的建模及显示,为农业智能机器人局部视觉场景构建进行了探索性研究;采用本发明方法可对原位的植株进行三维建模,有效克服了传统建模方法不能在大棚环境下建立整株植物三维模型的局限,提高了所采集数据的利用率。

Description

一种基于轮廓分割的高架原位草莓三维建模方法
技术领域
本发明涉及三维图像生成技术领域,具体涉及一种基于轮廓分割的高架原位草莓三维建模方法。
背景技术
基于实测数据的植物三维建模是农业数字化研究及应用的重要环节,通过建立的植物三维模型,不仅能够快速测量作物参数,探索植物生长发育规律,而且可研究植株枝叶分布特点,建立简便、快速、准确的目标搜索方法,为智能农业机器人植物场景构建提供新的技术支持。
目前,国内外常作为植物三维建模采集设备的有三类:三维数字化仪、激光扫描仪和深度相机TOF(Time of Flight)相机。三维数字化仪能够多角度采集植株各点信息,但采集过程复杂,对外界环境条件要求苛刻。激光扫描仪扫描速度快、点云精度高,但后续处理过程繁琐,需大量人工交互。深度相机TOF(Time of Flight)相机,可快速获取场景深度信息,并转换成植物表面三维点云数据,但设备分辨率不高。
光学混合探测器PMD(Photonic Mixer Device)相机是一种基于TOF三维成像设备,受光照影响较小,能够快速获取场景多源信息,与彩色相机的结合使用,在非结构光环境的多源图像融合中得到了较好的应用,为草莓植株三维建模提供了可靠的工具。
三维信息的分割是将点云分割为不同的区域以便于属于同一平面的点可以归为一个区域,三维信息分割技术已在遥感、测绘医学等领域得到了广泛的应用,该方法常以点云的曲率突变、几何特征突变、密度突变等为特征进行分割。PMD相机获取的深度点云,边缘存在跳边数据,不同点云区域间存在平滑过渡的跳边点云,其特征的突变往往难以检测;传统建模方法不能在大棚高架原位条件下建立整株植物三维模型,而且所采集数据的利用率低。
目前,针对大棚环境下的高架原位草莓的三维形态模型建模技术未见报道。
发明内容
针对上述技术问题,本发明的目的是提供一种适合于大棚环境下基于轮廓分割的高架原位草莓三维建模方法。
为了实现上述目的,本发明提供了如下技术方案:
本发明提供一种基于轮廓分割的高架原位草莓三维建模方法,其特征在于:该方法包括如下步骤:
步骤S101,多源图像预处理:
利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像,该多源图像包括彩色图像、强度图像和深度图像;保证多源图像内,存在至少一株完整的草莓;
采用基于特征的多源图像融合方法,将该草莓的彩色图像与强度图像进行像素点间的匹配,得到彩色图像与强度图像的空间映射关系;并利用色彩空间滤除背景,得到待分割强度图像;
步骤S102,分割轮廓初始化:
计算步骤S101得到的待分割强度图像的矢量场卷积模型,采用快速傅里叶法计算离散后的矢量场卷积的大小及方向;并选取矢量流场散射中心作为轮廓点集,设置轮廓点集的两点间距离阈值对轮廓点集进行精简,得到最终的初始轮廓点集;
步骤S103,强度图像过分割:
构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力,以弹性能量和刚性能量的和为内部力,以步骤S102中的初始轮廓点集为起始位置的能量泛函,然后,通过设置弹性和刚性系数,不断迭代计算能量泛函,使强度图像的初始轮廓动态演化成过分割轮廓;
步骤S104,区域点云提取:
建立空的模型点云集,以过分割轮廓作为边缘点云,提取并保存其内部点云,采用标记的方法统计点云数量,归并或去除遗漏点云,得到最终的模型点云集;
步骤S105,叶片模型选择及显示:
设计以单个内部三维点云集为单位的平面拟合选择机制,以最小均方差模型作为叶片的三维模型,统一各个叶片的空间坐标,得到整株叶片的三维模型。
所述步骤S101中,选用Harris算子提取彩色图像与强度图像的角点,依据角点附近8邻域的灰度均值作为相似性测度,提取12对以上同名点;计算同名点间距离大小并进行排序,保留距离最远的3~6对点;以保留的点对为基准,对彩色图像进行仿射变化,记录得到彩色图像与强度图像的空间映射关系;
进一步,将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间,通过最大类间方差法计算该空间模型的阈值,从而将草莓植株与背景分离,然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息,得到滤除背景的待分割强度图像。
所述步骤S102中,矢量场卷积的大小及方向的具体计算步骤如下:
对于待分割强度图像,以(0,0)为核原点,用公式m(i,j)=(r+ε)计算卷积核的模值大小和方向;其中,i、j为强度图像的横、纵像素坐标,r、ε、γ分别为引力大小、无限小常数和指数参数;指数参数γ的选取范围为2~5,方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i,j);把卷积核k(i,j)与待分割强度图像的边缘图f(i,j)进行卷积操作,得到矢量场卷积模型fvfc
构造核半径大小为的离散矩阵,其中M为强度图像的大小,对卷积核进行离散,利用快速傅里叶算法求解卷积核与边缘图的卷积,求出离散后的矢量流场大小及方向,记为fvfc(v(s,t));
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线;
x(s,t),y(s,t)——x,y方向随时间变化的参数曲线;
s——归一化曲线长度;
t——时间。
所述步骤S102中,最终的初始轮廓点集通过如下方法获得:
将待分割强度图像中P(i,j)点矢量流场的方向分成x,y两方向,各个方向再分为三类,分别用数字1、0、-1标记:
其中1表示向右,0表示无方向,-1表示向左;
构建数组PSX、PSY用于保存满足以下条件的点P(i,j),
PSX={P(i,j)│x(i,j)≤x(i+1,j)&abs(h(x(i,j))+h(x(i+1,j)))≤1}
PSY={P(i,j)│y(i,j)≤y(i+1,j)&abs(h(y(i,j))+h(y(i+1,j)))≤1}
式中,
P(i,j)——图像坐标为(i,j)的点
PSX,PSY——点集数组
x(i,j),y(i,j)——(i,j)点的x,y方向力场
abs——求绝对值
h(x(i,j))+h(x(i+1,j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS,计算PS内两点间距离并对该距离排序,设置两点距离阈值Dmin,取值范围为其中M为图像大小,当点集中存在两点间间距大于该阈值的点,则在PS点集空间中随机删除二者之间排序靠前的点,实现对点集空间PS的精简,得到最终的初始轮廓点集P;
所述步骤S103中,能量泛函为:
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线;
αv″(s,t)为弹性能量;
βv″″(s,t)为刚性能量;
Fext=fvfc(v(s,t))为外部力。
式中:
α——弹力系数
β——刚性系数
取上式α为0.5~0.8,β为0.5~0.9,采用有限差分法不断迭代求解该能量泛函,初始轮廓点集P中若干个点可构成一个初始轮廓,每一个初始轮廓将对应一个过分割轮廓,得到k个强度图像的过分割轮廓;
所述步骤S104中,建立模型点云集Q={q1,q2,q3,...,qi|1≤i≤k},其中qi为内部三维点云集,qi={(x,y,z)|x∈R,y∈R,z∈R},R为实数集,k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除,统计总的有效点N;以步骤S103中强度图像的k个过分割轮廓作为边缘,从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i=1,2,3,...,k)中;标记N中提取出的内部三维点云,统计N中未标记的三维点云U,设置三维点云最小数量阈值Umin,阈值取值范围为当U>Umin时,将U提取出,并保存至新的内部三维点云集qk+1中,更新k值,更新模型点云集Q={q,q2,q3,...,qi|1≤i≤k}及分割轮廓个数k,当U<Umin时,从N中删除U。
所述步骤S105中,实际点云的坐标形式为(x,y,z),则叶片模型为Z=H(x,y),选择平面型模型Z1和曲面型模型Z2两种备选叶片模型,
式中:a,b,c,d,e——叶片模型系数
x,y,z——原始三维点云坐标
Z1,Z2——拟合后三维点云z轴方向坐标
对k个内部三维点云集qi设置最小均方差“小者为优”的选择机制,平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2,若E1<E2,则采用平面型模型Z1作为叶片的三维结构,否则选用曲面型模型Z2
处理完模型点云集Q中的每个内部三维点云集qi后,将它们的三维结构同时显示在同一坐标空间下,即可得到草莓植株的三维模型。
与现有技术相比,本发明的有益效果在于:
本发明通过计算矢量场卷积的中心点,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于强度图像过分割;采用标记的方法将分割轮廓转换成点云集,以点云集为单位构建平面拟合选择机制,最终完成高架原位草莓三维模型的建模及显示,为农业智能机器人局部视觉场景构建进行了探索性研究;采用本发明方法可对原位的植株进行三维建模,有效克服了传统建模方法不能在大棚环境下建立整株植物三维模型的局限,提高了所采集数据的利用率。
本发明解决了深度相机无法用点云分割方法建立单个叶片模型的问题,在提升叶片细节的基础上,保留了草莓植株的形态空间关系,研究成果为智能农业机器人局部视觉场景的构建提供了新的技术支持,对植株参数测量、采摘等大棚草莓信息化管理具有重要意义,同时,本发明还适用于其他小型蔷薇类植物的三维建模。
附图说明
图1为本发明基于轮廓分割的高架原位草莓三维建模方法的流程图;
图2a为本发明实施例的彩色图像预处理结果图;
图2b为本发明实施例的待分割强度图像;
图3为本发明实施例的初始化的轮廓效果图;
图4为本发明实施例的强度图像轮廓分割结果图;
图5为本发明实施例的单个叶片区域三维点云提取图;
图6a为本发明实施例的三维形态模型效果图;
图6b为本发明实施例的植株三维模型的侧视效果图;
图6c为本发明实施例的植株三维模型的俯视效果图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
本发明的基于轮廓分割的高架原位草莓三维建模方法,利用基于光合混合探测技术的PMD相机与彩色相机分别获取草莓植株图像,针对强度图像和彩色图像,开展基于多源图像分割的草莓植株三维建模技术研究。依据配准点将彩色图像转换成强度图像相同大小的待分割图像,应用L*a*b*彩色模型及多源图像映射关系去除强度背景信息;以矢量场中心为初始轮廓的参数活动轮廓模型为强度图分割准则,确定点云过分割区域;对各个区域的点云设定两类可选模型,实现不同姿态叶片的三维建模及显示。
本发明的基于轮廓分割的高架原位草莓三维建模方法包括如下步骤:
步骤S101,多源图像预处理:
利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像,该多源图像包括彩色图像、强度图像和深度图像;保证多源图像内,存在至少一株完整的草莓。
采用基于特征的多源图像融合方法,将该草莓的彩色图像与强度图像进行像素点间的匹配,得到彩色图像与强度图像的空间映射关系,并利用色彩空间滤除背景,得到待分割强度图像;具体步骤如下:
选用Harris算子提取彩色图像与强度图像的角点,依据角点附近8邻域的灰度均值作为相似性测度,提取12对以上同名点。计算同名点间距离大小并进行排序,保留距离最远的3~6对点;以保留的点对为基准,对彩色图像进行仿射变化,记录得到彩色图像与强度图像的空间映射关系。
进一步,将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间,通过最大类间方差法计算该空间模型的阈值,从而将草莓植株与背景分离,然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息,得到滤除背景的待分割强度图像。
步骤S102,分割轮廓初始化:
首先,计算步骤S101得到的待分割强度图像的矢量场卷积模型,采用快速傅里叶法计算离散后的矢量场卷积的大小及方向,具体步骤如下:
对于待分割强度图像,以(0,0)为核原点,用公式m(i,j)=(r+ε)计算卷积核的模值大小和方向;其中,i、j为强度图像的横、纵像素坐标,r、ε、γ分别为引力大小、无限小常数和指数参数;指数参数γ的选取范围为2~5,优选指数参数γ为2,方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i,j)。把卷积核k(i,j)与待分割强度图像的边缘图f(i,j)进行卷积操作,得到矢量场卷积模型fvfc
构造核半径大小为的离散矩阵,其中M为强度图像的大小,对卷积核进行离散,利用快速傅里叶算法求解卷积核与边缘图的卷积,求出离散后的矢量流场大小及方向,记为fvfc(v(s,t))。
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线,
x(s,t),y(s,t)——x,y方向随时间变化的参数曲线
s——归一化曲线长度
t——时间
然后,选取矢量流场散射中心作为轮廓点集,设置轮廓点集的两点间距离阈值对轮廓点集进行精简,得到最终的初始轮廓点集。
将待分割强度图像中P(i,j)点矢量流场的方向分成x,y两方向,各个方向再分为三类,分别用数字1、0、-1标记:
其中1表示向右,0表示无方向,-1表示向左。
构建数组PSX、PSY用于保存满足以下条件的点P(i,j),
PSX={P(i,j)│x(i,j)≤x(i+1,j)&abs(h(x(i,j))+h(x(i+1,j)))≤1}
PSY={P(i,j)│y(i,j)≤(i+1,j)&abs(h(y(i,j))+h(y(i+1,j)))≤1}
式中,
P(i,j)——图像坐标为(i,j)的点
PSX,PSY——点集数组
x(i,j),y(i,j)——(i,j)点的x,y方向力场
abs——求绝对值
h(x(i,j))+h(x(i+1,j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS,计算PS内两点间距离并对该距离排序,设置两点距离阈值Dmin,取值范围为其中M为强度图像大小,当点集中存在两点间间距大于该阈值的点,则在PS点集空间中随机删除二者之间排序靠前的点,实现对点集空间PS的精简,得到最终的初始轮廓点集P。
步骤S103,强度图像过分割:
构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力,以弹性能量和刚性能量的和为内部力,以步骤S102中的初始轮廓点集P为起始位置的能量泛函:
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线;
αv″(s,t)为弹性能量;
βv″″(s,t)为刚性能量;
Fext=fvfc(v(s,t))为外部力。
式中:
α——弹力系数
β——刚性系数
然后,通过设置弹性和刚性系数,不断迭代计算能量泛函,将强度图像的初始轮廓动态演化成过分割轮廓。
取上式α为0.5~0.8,β为0.5~0.9,采用有限差分法不断迭代求解该能量泛函,初始轮廓点集P中若干个点可构成一个初始轮廓,每一个初始轮廓将对应一个过分割轮廓,得到k个强度图像的过分割轮廓。
步骤S104,区域点云提取:
建立空的模型点云集,以过分割轮廓作为边缘点云,提取并保存其内部点云,采用标记的方法统计点云数量,归并或去除遗漏点云,得到最终的模型点云集。
建立模型点云集Q={q1,q2,q3,...,qi|1≤i≤k},其中qi为内部三维点云集,qi={(x,y,z)|x∈R,y∈R,z∈R},R为实数集,k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除,统计总的有效点N;以步骤S103中强度图像的k个过分割轮廓作为边缘,从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i=1,2,3,...,k)中;标记N中提取出的内部三维点云,统计N中未标记的三维点云U,设置三维点云最小数量阈值Umin,阈值取值范围为当U>Umin时,将U提取出,并保存至新的内部三维点云集qk+1中,更新k值,更新模型点云集Q={q,q2,q3,...,qi|1≤i≤k}及分割轮廓个数k,当U<Umin时,从N中删除U。
步骤S105,叶片模型选择及显示:
设计以单个内部三维点云集qi为单位的平面拟合选择机制,以最小均方差模型作为叶片的三维模型,统一各个叶片的空间坐标,得到整株叶片的三维模型。
实际点云的坐标形式为(x,y,z),则叶片模型为Z=H(x,y),选择平面型模型Z1和曲面型模型Z2两种备选叶片模型,
式中:a,b,c,d,e——叶片模型系数
x,y,z——原始三维点云坐标
Z1,Z2——拟合后三维点云z轴方向坐标
对k个内部三维点云集qi设置最小均方差“小者为优”的选择机制,平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2,若E1<E2,则采用平面型模型Z1作为叶片的三维结构,否则选用曲面型模型Z2
处理完模型点云集Q中的每个内部三维点云集qi后,将它们的三维结构同时显示在同一坐标空间下,即可得到草莓植株的三维模型。
实施例
本实施例数据采集采用相机俯拍的方式,选取成熟期草莓为测试对象,草莓顶叶与相机镜头距离约为50cm,保证多源图像内存在至少一株完整的草莓(由于PMD相机所获取的图像分辨率为200×200像素,故选用空间分辨率为320×240像素的彩色图片为补充信息)。
本实施例中适合大棚高架原位草莓植株的三维建模方法的流程如图1所示,包括以下步骤:
步骤S101,选用Harris算子作为特征角点的提取工具,分别提取强度图像和彩色图像的角点,依据角点附近8邻域的灰度均值作为相似性测度,提取14对同名点,计算同名点间距离大小并进行排序,保留距离最远的5对点;以这5对点为基准,将320×240像素的彩色图像仿射变化成200×200像素,同时记录两幅图像的空间映射关系。
仿射变化后的彩色图像转换至L*a*b*彩色模型下,通过最大类间方差法计算该空间模型下a*分量的阈值,从而保留植株信息、分离出彩色图像的背景,该彩色图像预处理后的效果图如图2a所示;将彩色图像的植株像素位置信息通过空间映射关系转换成强度图像下的植株信息,得到滤除背景后的待分割强度图像如图2b所示。
步骤S102,为同时分离出一幅植株图像中的多个叶片,需初始化多个轮廓曲线。首先,计算步骤S101取得的待分割强度图像的矢量场卷积。
对于200×200像素的强度图像,以(0,0)为核原点,用公式m(i,j)=(r+ε)计算卷积核的模值大小和方向,其中i、j为强度图像的横、纵像素坐标,r,ε,γ分别为引力大小、无限小常数和指数参数,本实施例中选取指数参数γ为2,方向为像素点指向核原点的单位向量。
构造核半径大小为的离散矩阵,其中M为强度图像大小,本例中选用70作为最优核半径,对该卷积核进行离散。利用快速傅里叶算法求解离散卷积核与边缘图的卷积,最终求出离散后的矢量流场大小及方向,记为fvfc(v(s,t))。
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线,
x(s,t),y(s,t)——x,y方向随时间变化的参数曲线
s——归一化曲线长度
t——时间
将图像中P(i,j)点矢量流场的方向分成x,y两方向,各个方向再分为三类,分类规则为
其中1表示向右,0表示无方向,-1表示向左。
构建数组PSX、PSY用于保存满足以下条件的点P(i,j),
PSX={P(i,j)│x(i,j)≤x(i+1,j)&abs(h(x(i,j))+h(x(i+1,j)))≤1}
PSY={P(i,j)│y(i,j)≤y(i+1,j)&abs(h(y(i,j))+h(y(i+1,j)))≤1}
式中,
P(i,j)——图像坐标为(i,j)的点
PSX,PSY——点集数组
x(i,j),y(i,j)——(i,j)点的x,y方向力场
abs——求绝对值
h(x(i,j))+h(x(i+1,j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS,计算PS内两点间距离并对该距离排序,设置之间的任意整数为两点距离阈值Dmin,本实施例中选取12为阈值Dmin的最优值,当点集中存在两点间间距大于该阈值的点,则在PS点集空间中随机删除其中之一,实现对点集空间PS的精简,得到最终的初始轮廓点集P。由初始轮廓点集构成的初始化的轮廓效果图如图3所示。
步骤S103,构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力,以弹性能量和刚性能量的和为内部力,以步骤S102中的初始轮廓点集P为起始位置的能量泛函:
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线,
αv″(s,t)为弹性能量,
βv″″(s,t)为刚性能量,
Fext=fvfc(v(s,t))为外部力。
式中:
α——弹力系数
β——刚性系数
取上式α为0.5~0.8,β为0.5~0.9,本实施例优选值分别为α为0.5和β为0.6。采用有限差分法不断迭代求解该能量泛函,初始轮廓点集中若干个点可构成一个初始轮廓,每一个初始轮廓将对应一个过分割轮廓,本实施例中共得到26个过分割轮廓,如图4所示为该强度图像轮廓过分割结果图。
步骤S104,建立模型点云集Q={q1,q2,q3,...,qi|1≤i≤k},其中qi为内部三维点云集,qi={(x,y,z)|x∈R,y∈R,z∈R},R为实数集,k为强度图像的过分割轮廓个数。利用深度图像将背景点云滤除,统计总的有效点N;以步骤S103中强度图像的k个过分割轮廓作为边缘,从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i=1,2,3,...,k)中;标记N中提取出的内部三维点云,统计N中未标记的三维点云U,设置三维点云最小数量阈值Umin,阈值取值范围为统计N个有效点中未标记的点云U,设置点云最小数量阈值Umin,本实施例中点云最小数量阈值Umin取650。当U>Umin时,将U提取出,并保存至新的内部三维点云集qk+1中,更新k值,更新模型点云集Q={q,q2,q3,...,qi|1≤i≤k}及分割轮廓个数k,当U<Umin时,从N中删除U。
由于每个内部三维点云集qi常常对应实际的一个叶片的区域,因此实际中每个内部三维点云集qi可视为单个叶片区域,图5所示为单个叶片区域三维点云提取图。
步骤S105,实际点云的坐标形式为(x,y,z),则叶片模型为Z=f(x,y),选择平面型模型Z1和曲面型模型Z2两种备选叶片模型,
式中:a,b,c,d,e——叶片模型系数
x,y,z——原始三维点云坐标
Z1,Z2——拟合后点云z轴方向坐标
对k个内部点云集qi设置最小均方差“小者为优”的选择机制,平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2,若E1<E2,则采用平面型模型Z1作为叶片的三维结构,否则选用曲面型模型Z2
处理完模型点云集Q中的每个内部三维点云集qi后,将它们的三维结构同时显示在同一坐标空间下,即可得到草莓植株的三维模型。
图6a为某一点集模型选取后的效果图。按照上述步骤处理完每个点集模型后,将它们同时显示在同一坐标空间下,即可得到草莓植株的三维重建模型,如图6b和6c所示,分别为采用本发明重建算法得出的模型的侧视和俯视效果图。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于轮廓分割的高架原位草莓三维建模方法,其特征在于:该方法包括如下步骤:
步骤S101,多源图像预处理:
利用PMD相机与彩色相机同步获取草莓植株的顶视多源图像,该多源图像包括彩色图像、强度图像和深度图像;保证多源图像内,存在至少一株完整的草莓;
采用基于特征的多源图像融合方法,将该草莓的彩色图像与强度图像进行像素点间的匹配,得到彩色图像与强度图像的空间映射关系;并利用色彩空间滤除背景,得到待分割强度图像;
步骤S102,分割轮廓初始化:
计算步骤S101得到的待分割强度图像的矢量场卷积模型,采用快速傅里叶法计算离散后的矢量场卷积的大小及方向;并选取矢量流场散射中心作为轮廓点集,设置轮廓点集的两点间距离阈值对轮廓点集进行精简,得到最终的初始轮廓点集;
步骤S103,强度图像过分割:
构建以步骤S102中的待分割强度图像的矢量场卷积模型为外部力,以弹性能量和刚性能量的和为内部力,以步骤S102中的初始轮廓点集为起始位置的能量泛函,然后,通过设置弹性和刚性系数,不断迭代计算能量泛函,使强度图像的初始轮廓动态演化成过分割轮廓;
步骤S104,区域点云提取:
建立空的模型点云集,以过分割轮廓作为边缘点云,提取并保存其内部点云,采用标记的方法统计点云数量,归并或去除遗漏点云,得到最终的模型点云集;
步骤S105,叶片模型选择及显示:
设计以单个内部三维点云集为单位的平面拟合选择机制,以最小均方差模型作为叶片的三维模型,统一各个叶片的空间坐标,得到整株叶片的三维模型。
2.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法,其特征在于:
所述步骤S101中,选用Harris算子提取彩色图像与强度图像的角点,依据角点附近8邻域的灰度均值作为相似性测度,提取12对以上同名点;计算同名点间距离大小并进行排序,保留距离最远的3~6对点;以保留的点对为基准,对彩色图像进行仿射变化,记录得到彩色图像与强度图像的空间映射关系;
进一步,将RGB空间下仿射变化后的彩色图像转换到L*a*b*空间,通过最大类间方差法计算该空间模型的阈值,从而将草莓植株与背景分离,然后将草莓植株的像素位置信息通过彩色图像与强度图像的空间映射关系转换成强度图像下的草莓植株信息,得到滤除背景的待分割强度图像。
3.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法,其特征在于:
所述步骤S102中,矢量场卷积的大小及方向的具体计算步骤如下:
对于待分割强度图像,以(0,0)为核原点,用公式m(i,j)=(r+ε)计算卷积核的模值大小和方向;其中,i、j为强度图像的横、纵像素坐标,r、ε、γ分别为引力大小、无限小常数和指数参数;指数参数γ的选取范围为2~5,方向为像素点指向核原点的单位向量,将带方向的卷积核记为k(i,j);把卷积核k(i,j)与待分割强度图像的边缘图f(i,j)进行卷积操作,得到矢量场卷积模型fvfc
构造核半径大小为的离散矩阵,其中M为强度图像的大小,对卷积核进行离散,利用快速傅里叶算法求解卷积核与边缘图的卷积,求出离散后的矢量流场大小及方向,记为fvfc(v(s,t));
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线;
x(s,t),y(s,t)——x,y方向随时间变化的参数曲线;
s——归一化曲线长度;
t——时间。
4.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法,其特征在于:
所述步骤S102中,最终的初始轮廓点集通过如下方法获得:
将待分割强度图像中P(i,j)点矢量流场的方向分成x,y两方向,各个方向再分为三类,分别用数字1、0、-1标记:
其中1表示向右,0表示无方向,-1表示向左;
构建数组PSX、PSY用于保存满足以下条件的点P(i,j),
PSX={P(i,j)|x(i,j)≤x(i+1,j)&abs(h(x(i,j))+h(x(i+1,j)))≤1}
PSY={P(i,j)|y(i,j)≤y(i+1,j)&abs(h(y(i,j))+h(y(i+1,j)))≤1}
式中,
P(i,j)——图像坐标为(i,j)的点
PSX,PSY——点集数组
x(i,j),y(i,j)——(i,j)点的x,y方向力场
abs——求绝对值
h(x(i,j))+h(x(i+1,j))——相邻点力场方向和
取PSX、PSY的交集作为轮廓点集PS,计算PS内两点间距离并对该距离排序,设置两点距离阈值Dmin,取值范围为其中M为图像大小,当点集中存在两点间间距大于该阈值的点,则在PS点集空间中随机删除二者之间排序靠前的点,实现对点集空间PS的精简,得到最终的初始轮廓点集P。
5.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法,其特征在于:
所述步骤S103中,能量泛函为:
其中,
v(s,t)=[x(s,t),y(s,t)]T为随时间变化的参数曲线;
αv″(s,t)为弹性能量;
βv″″(s,t)为刚性能量;
Fext=fvfc(v(s,t))为外部力;
式中:
α——弹力系数
β——刚性系数
取上式α为0.5~0.8,β为0.5~0.9,采用有限差分法不断迭代求解该能量泛函,初始轮廓点集P中若干个点可构成一个初始轮廓,每一个初始轮廓将对应一个过分割轮廓,得到k个强度图像的过分割轮廓。
6.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法,其特征在于:
所述步骤S104中,建立模型点云集Q={q1,q2,q3,...,qi|1≤i≤k},其中qi为内部三维点云集,qi={(x,y,z)|x∈R,y∈R,z∈R},R为实数集,k为强度图像的过分割轮廓个数;利用深度图像将背景点云滤除,统计总的有效点N;以步骤S103中强度图像的k个过分割轮廓作为边缘,从N中提取这k个内部三维点云并分别保存至内部三维点云集qi(i=1,2,3,...,k)中;标记N中提取出的内部三维点云,统计N中未标记的三维点云U,设置三维点云最小数量阈值Umin,阈值取值范围为当U>Umin时,将U提取出,并保存至新的内部三维点云集qk+1中,更新k值,更新模型点云集Q={q,q2,q3,...,qi|1≤i≤k}及分割轮廓个数k,当U<Umin时,从N中删除U。
7.根据权利要求1所述的基于轮廓分割的高架原位草莓三维建模方法,其特征在于:
所述步骤S105中,实际点云的坐标形式为(x,y,z),则叶片模型为Z=H(x,y),选择平面型模型Z1和曲面型模型Z2两种备选叶片模型,
式中:a,b,c,d,e——叶片模型系数
x,y,z——原始三维点云坐标
Z1,Z2——拟合后三维点云z轴方向坐标
对k个内部三维点云集qi设置最小均方差“小者为优”的选择机制,平面型模型Z1和曲面型模型Z2与实际点云的均方差分别记为E1、E2,若E1<E2,则采用平面型模型Z1作为叶片的三维结构,否则选用曲面型模型Z2
处理完模型点云集Q中的每个内部三维点云集qi后,将它们的三维结构同时显示在同一坐标空间下,即可得到草莓植株的三维模型。
CN201611226976.6A 2016-12-27 2016-12-27 一种基于轮廓分割的高架原位草莓三维建模方法 Active CN106651900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611226976.6A CN106651900B (zh) 2016-12-27 2016-12-27 一种基于轮廓分割的高架原位草莓三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611226976.6A CN106651900B (zh) 2016-12-27 2016-12-27 一种基于轮廓分割的高架原位草莓三维建模方法

Publications (2)

Publication Number Publication Date
CN106651900A CN106651900A (zh) 2017-05-10
CN106651900B true CN106651900B (zh) 2019-07-23

Family

ID=58832791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611226976.6A Active CN106651900B (zh) 2016-12-27 2016-12-27 一种基于轮廓分割的高架原位草莓三维建模方法

Country Status (1)

Country Link
CN (1) CN106651900B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107478273B (zh) * 2017-08-14 2019-09-24 武汉科技大学 基于嵌入式和物联网技术的下水道监控系统及方法
CN107966944B (zh) * 2017-11-30 2020-12-08 贵州财经大学 智慧大棚分区控制系统及分区采摘方法
CN110322544A (zh) * 2019-05-14 2019-10-11 广东康云科技有限公司 一种可视化三维扫描建模方法、系统、设备及存储介质
CN110276790A (zh) * 2019-06-28 2019-09-24 易思维(杭州)科技有限公司 基于形状约束的点云配准方法
CN110849262A (zh) * 2019-10-17 2020-02-28 中国科学院遥感与数字地球研究所 一种植被表型结构参数测量方法、装置及系统
CN111340949B (zh) * 2020-05-21 2020-09-18 超参数科技(深圳)有限公司 3d虚拟环境的建模方法、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442279A1 (en) * 2010-10-13 2012-04-18 Honda Research Institute Europe GmbH Evolvable control point grid layouts for the design optimization of physical bodies
CN103279980A (zh) * 2013-05-08 2013-09-04 西安理工大学 基于点云数据的树叶建模方法
KR101593316B1 (ko) * 2014-08-18 2016-02-11 경희대학교 산학협력단 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
CN105910556A (zh) * 2016-04-13 2016-08-31 中国农业大学 一种叶面积垂直分布信息提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442279A1 (en) * 2010-10-13 2012-04-18 Honda Research Institute Europe GmbH Evolvable control point grid layouts for the design optimization of physical bodies
CN103279980A (zh) * 2013-05-08 2013-09-04 西安理工大学 基于点云数据的树叶建模方法
KR101593316B1 (ko) * 2014-08-18 2016-02-11 경희대학교 산학협력단 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
CN105910556A (zh) * 2016-04-13 2016-08-31 中国农业大学 一种叶面积垂直分布信息提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Object contour extraction using adaptive NURBS VFC active contour;Hoang-Nam Nguyen etal.;《2011 9th World Congress on Intelligent Control and Automation》;20110801;第524-528页
基于VF C 主动轮廓模型的红外图像轮廓提取;朱丽青 等;《仪器仪表学报》;20090630;第30卷(第6期);第296-299页
基于主动轮廓模型的点云分割技术研究;叶迎松;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315;第6-42页
基于多源信息融合的果树冠层三维点云拼接方法研究;周薇 等;《光学学报》;20141231;第34卷(第12期);第1-8页

Also Published As

Publication number Publication date
CN106651900A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106651900B (zh) 一种基于轮廓分割的高架原位草莓三维建模方法
Gibbs et al. Approaches to three-dimensional reconstruction of plant shoot topology and geometry
Pound et al. Automated recovery of three-dimensional models of plant shoots from multiple color images
CN103729883B (zh) 一种三维环境信息采集与重构系统及方法
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
CN106327532B (zh) 一种单幅图像的三维配准方法
Monnier et al. Trees detection from laser point clouds acquired in dense urban areas by a mobile mapping system
CN105931234A (zh) 一种地面三维激光扫描点云与影像融合及配准的方法
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN106097348A (zh) 一种三维激光点云与二维图像的融合方法
CN104331699B (zh) 一种三维点云平面化快速搜索比对的方法
CN110264416A (zh) 稀疏点云分割方法及装置
CN102222357A (zh) 基于图像分割和网格细分的脚型三维表面重建方法
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN109410321A (zh) 基于卷积神经网络的三维重建方法
CN103218812A (zh) 基于摄影测量的树木形态模型参数快速获取方法
Yang et al. An individual tree segmentation method based on watershed algorithm and three-dimensional spatial distribution analysis from airborne LiDAR point clouds
CN109872397A (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN110473221A (zh) 一种目标物体自动扫描系统及方法
CN109146948A (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
Teng et al. Three-dimensional reconstruction method of rapeseed plants in the whole growth period using RGB-D camera
Sun et al. Leaf vein and contour extraction from point cloud data
Hu et al. Leaf and wood separation of poplar seedlings combining locally convex connected patches and K-means++ clustering from terrestrial laser scanning data
Ren et al. Future prospects of UAV tilt photogrammetry technology
Liu et al. Image-based tree pruning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant