CN109887020A - 一种植株器官分离方法及系统 - Google Patents

一种植株器官分离方法及系统 Download PDF

Info

Publication number
CN109887020A
CN109887020A CN201910135760.6A CN201910135760A CN109887020A CN 109887020 A CN109887020 A CN 109887020A CN 201910135760 A CN201910135760 A CN 201910135760A CN 109887020 A CN109887020 A CN 109887020A
Authority
CN
China
Prior art keywords
plant
measured
point cloud
dimensional
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910135760.6A
Other languages
English (en)
Other versions
CN109887020B (zh
Inventor
张永恩
许世卫
邸佳颖
王强
王盛威
刘佳佳
郭树涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN201910135760.6A priority Critical patent/CN109887020B/zh
Publication of CN109887020A publication Critical patent/CN109887020A/zh
Priority to AU2019100886A priority patent/AU2019100886A4/en
Priority to ZA2019/06149A priority patent/ZA201906149B/en
Application granted granted Critical
Publication of CN109887020B publication Critical patent/CN109887020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开一种植株器官分离方法及系统。该分离方法包括:获取每个摄像机拍摄的待测植株图像;获取每个摄像机视角下的三维点云;将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;将初始的待测植株三维点云投影至全局坐标系的OXY平面,得到待测植株二维投影点图像;利用植株图像区域分割模型定位二维投影点图像中待测植株的茎干和叶片区域;根据三维点云与全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;利用K均值聚类算法进行待测植株的器官点云分割,得到待测植株每个器官对应的三维点云区域。本发明能够避免数据拼接时出现盲区,提高植株器官分离的精度。

Description

一种植株器官分离方法及系统
技术领域
本发明涉及植物器官分离领域,特别是涉及一种植株器官分离方法及系统。
背景技术
目前植株的三维扫描与测量都是直接使用点云数据,利用图像软件建模,很少对点云数据进行分类识别,实现植物器官分离。已有文献提出了分别以树冠、枝干、地面为目标的分类方法,主要适用于大范围景物识别,无法实现单木精细植物器官分类。还有文献提出构造散点空间分布特征,使用支持向量机(Supportvectormachine,SVM)对葡萄藤的植物结构进行了分类,但并没有充分考虑叶面与枝干的几何形态特性。也有文献使用的近似支持向量机(Proximal SVM,PSVM)和广义特征值近似支持向量机(PSVM via generalizadeigenvalues,GEPSVM)两种分类器。还有文献结合叶面与枝干的几何形态特点,考虑流形结构特性,构造局部切平面分布特征,从而组成多维融合特征,以期提高分类效果,但使用方法并没有实现全自动化枝叶分离,前期仍需人工标记部分训练样本,而且训练样本的标定在一定程度上受到人为因素制约,导致分离精度低。
发明内容
本发明的目的是提供一种植株器官分离方法及系统,以提高植株器官分离的精度,降低分离过程的复杂度。
为实现上述目的,本发明提供了如下方案:
一种植株器官分离方法,所述植株器官分离方法应用于植株器官分离装置,所述植株器官分离装置包括:扫描探头、测试机架、测试平台和计算机;所述扫描探头固定于所述测试机架上,所述测试机架可上下运动;所述测试平台用于承放待测量植株;所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像,并将所述植株图像传输至所述计算机,所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离;所述扫描探头包括多个摄像机和两个线性激光发射器,多个摄像机位于第一水平面,多个所述摄像机等间距分布在虚拟圆弧上;两个所述线性激光发射器位于所述第一水平面下方的第二水平面,两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机;两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上,所述第三水平面与所述第一水平面和所述第二水平面均平行;多个摄像机的拍摄角度倾斜向下;
所述植株器官分离方法包括:
获取每个摄像机拍摄的待测植株图像;
根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;
将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面,得到待测植株二维投影点图像;
利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域;
根据三维点云与所述全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;
利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割,得到所述待测植株每个器官对应的三维点云区域。
可选的,所述获取每个摄像机拍摄的待测植株图像,之前还包括:
对每个摄像机的内参和外参进行标定,得到每个摄像机的标定参数;
利用全局校准方法,将每个摄像机的局部坐标系统一至全局坐标系下。
可选的,所述将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云,具体包括:
利用光条骨架的灰度重心法提取激光条纹中心线;
根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
利用全局校准方法,将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云。
可选的,所述利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域,具体包括:
利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注;
采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练,利用茎叶区域检测模型检测待测植株二维投影点图像,得到所述待测植株的茎干和叶片区域。
一种植株器官分离系统,所述植株器官分离系统应用于植株器官分离装置,所述植株器官分离装置包括:扫描探头、测试机架、测试平台和计算机;所述扫描探头固定于所述测试机架上,所述测试机架可上下运动;所述测试平台用于承放待测量植株;所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像,并将所述植株图像传输至所述计算机,所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离;所述扫描探头包括多个摄像机和两个线性激光发射器,多个摄像机位于第一水平面,多个所述摄像机等间距分布在虚拟圆弧上;两个所述线性激光发射器位于所述第一水平面下方的第二水平面,两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机;两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上,所述第三水平面与所述第一水平面和所述第二水平面均平行;多个摄像机的拍摄角度倾斜向下;
所述植株器官分离系统包括:
待测植株图像获取模块,用于获取每个摄像机拍摄的待测植株图像;
三维点云获取模块,用于根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
拼接模块,用于将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;
投影模块,用于将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面,得到待测植株二维投影点图像;
定位模块,用于利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域;
植株器官三维点云区域初始获取模块,用于根据三维点云与所述全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;
植株器官三维点云区域确定模块,用于利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割,得到所述待测植株每个器官对应的三维点云区域。
可选的,所述系统还包括:
摄像机标定模块,用于对每个摄像机的内参和外参进行标定,得到每个摄像机的标定参数;
全局校准模块,用于利用全局校准方法,将每个摄像机的局部坐标系统一至全局坐标系下。
可选的,所述拼接模块具体包括:
激光条纹中心线提取单元,用于利用光条骨架的灰度重心法提取激光条纹中心线;
三维点云获取单元,用于根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
拼接单元,用于利用全局校准方法,将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云。
可选的,所述定位模块具体包括:
标注单元,用于利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注;
模型训练单元,用于采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练,利用茎叶区域检测模型检测待测植株二维投影点图像,得到所述待测植株的茎干和叶片区域。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
通过多台摄像机与激光发射器的配合,从多个角对植物进行全方位扫描,避免了数据拼接时出现盲区,该系统对植物进行三维扫描效率更高、适用性强、成本低,并且点云数据更完整,重建效果也更好。
为了完成植物三维器官分离,将三维点投影生成二维投影点以及基于二维点进行三角构网和光照处理生成二维投影图像,基于二维投影图像分割出茎干和叶片区域,再基于二维投影点与三维点的对应关系,自动获取三维点云中茎干点云区域和叶片点云区域,利用三维点与投影点的投影关系得到茎干和叶片点云大致区域;最后,利用K均值聚类算法实现植物各器官点云分割。整个三维器官分离过程首先将三维空间计算转换至二维空间计算,得到茎干和叶片点云初步分割,降低了直接基于三维点云进行点云分割的复杂度。
相比通用的三维点云分割方法,本文三维点云分割是基于茎干和叶片三维点云区域初步获取基础上,再基于每个初步已分割的点云区域进行K均值聚类分割。整个三维点云分割相比没有先验知识的点云分割,分割效率更高,分割更准确。
具体实施时,基于图像分割预训练模型利用迁移学习方法在小数据量样本上训练高性能的二维茎叶检测模型,即通过有限的已标注的二维茎叶训练样本可以得到较好性能效果。利用基于基因表达式编程的植物形态建模智能化方法生成三维玉米植物样本并对样本作轻微扰动进行样本扩充,以此生成少量有限样本。这样基于植物基因表达方法模拟生成的玉米植物样本更加丰富多样,也更加接近真实样本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明植株器官分离方法的流程示意图;
图2为本发明植株器官分离系统的结构示意图;
图3为本发明植株器官分离装置的结构示意图;
图4为本发明具体实施案例中基于基因表达式编程的玉米植株形态化建模法的流程示意图;
图5为本发明具体实施案例中采用Mask-RCNN深度学习方法进行茎干区域检测模型训练的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明植株器官分离方法的流程示意图。如图1所示,所述植株器官分离方法包括以下步骤:
步骤100:获取每个摄像机拍摄的待测植株图像;
步骤200:根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
步骤300:将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;
步骤400:将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面,得到待测植株二维投影点图像;
步骤500:利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域;
步骤600:根据三维点云与所述全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;
步骤700:利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割,得到所述待测植株每个器官对应的三维点云区域。
其中,步骤100之前还包括:
对每个摄像机的内参和外参进行标定,得到每个摄像机的标定参数;
利用全局校准方法,将每个摄像机的局部坐标系统一至全局坐标系下。
步骤300具体包括:
利用光条骨架的灰度重心法提取激光条纹中心线;
根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
利用全局校准方法,将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云。
步骤500具体包括:
利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注;
采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练,利用茎叶区域检测模型检测待测植株二维投影点图像,得到所述待测植株的茎干和叶片区域。
本发明还提供一种植株器官分离系统,图2为本发明植株器官分离系统的结构示意图。如图2所示,所述植株器官分离系统包括以下结构:
待测植株图像获取模块201,用于获取每个摄像机拍摄的待测植株图像;
三维点云获取模块202,用于根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
拼接模块203,用于将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;
投影模块204,用于将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面,得到待测植株二维投影点图像;
定位模块205,用于利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域;
植株器官三维点云区域初始获取模块206,用于根据三维点云与所述全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;
植株器官三维点云区域确定模块207,用于利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割,得到所述待测植株每个器官对应的三维点云区域。
其中,所述拼接模块203具体包括:
激光条纹中心线提取单元,用于利用光条骨架的灰度重心法提取激光条纹中心线;
三维点云获取单元,用于根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
拼接单元,用于利用全局校准方法,将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云。
所述定位模块205具体包括:
标注单元,用于利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注;
模型训练单元,用于采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练,利用茎叶区域检测模型检测待测植株二维投影点图像,得到所述待测植株的茎干和叶片区域。
上述系统还包括:
摄像机标定模块,用于对每个摄像机的内参和外参进行标定,得到每个摄像机的标定参数;
全局校准模块,用于利用全局校准方法,将每个摄像机的局部坐标系统一至全局坐标系下。
上述的植株器官分离方法和植株器官分离系统均应用于植株器官分离装置,图3为本发明植株器官分离装置的结构示意图。如图3所示,植株器官分离装置包括以下结构:扫描探头、测试机架3、测试平台4和计算机(图中未标识)。所述扫描探头固定于所述测试机架3上,所述测试机架3可上下运动;所述测试平台4用于承放待测量植株;所述扫描探头用于随着所述测试机架3的运动扫描所述待测量植株不同高度的植株图像,并将所述植株图像传输至所述计算机,所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离。
所述扫描探头包括多个摄像机和两个线性激光发射器2-1和2-2,多个摄像机位于第一水平面,多个所述摄像机等间距分布在虚拟圆弧上。图中以3个摄像机为例,包括摄像机1-1、摄像机1-2和摄像机1-3。
两个线性激光发射器位于所述第一水平面下方的第二水平面,两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机,图中线性激光发射器2-1上方对应摄像机1-1,线性激光发射器2-2上方对应摄像机1-3。两个线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上,所述第三水平面与所述第一水平面和所述第二水平面均平行。多个摄像机的拍摄角度倾斜向下,使得当两个线性激光发射器发出的激光位于待测植株的顶端时,每个摄像机均可拍摄到待测植株顶端的图像。由于绿色叶片在红光和蓝光波段有吸收峰,线性激光发射器可以采用绿光激光器进行激光扫描。
本实施例的植株器官分离装置还包括:运动控制卡和步进电机,所述测试机架3和所述步进电机均与所述运动控制卡连接,通过所述步进电机调节所述测试机架3的运动状态。本实施例的植株器官分离装置还可以包括:多个窄带滤光片,所述窄带滤光片的中心波长为532nm,每个摄像机的镜头上对应设置一个所述窄带滤光片。
下面结合一个具体实施案例进一步说明本发明的方案。
本具体实施案例用来对玉米植株的器官进行分离。分离装置由3个CCD工业相机、3个滤光片、2个线性激光发射器、测试机架、测试平台、一台计算机组成。采用绿光激光器进行激光扫描,且为了增强激光条纹的对比度,以获得更高的精度,在每个相机的镜头上加上了中心波长为532nm的窄带滤光片。
将线性激光器与摄像机固定为扫描探头,相对位置始终保持不变,等间距分别固定安装在机架3个位置。2台激光器发出的线性激光保持在同一平面且平行于测试平台,相机向下倾斜与激光器保持固定角度。机架与运动控制卡链接,步进电机与运动控制卡连接,通过labview编程控制实现机架上下运动。
装置启动前,需要先对摄像机的坐标系进行统一,利用全局校准方法将每个摄像机的局部坐标系统一到全局坐标系下,即确定各个摄像机坐标系到全局坐标系的旋转矩阵及平移矩阵。
本实施案例安装了3组扫描探头,利用摄像机标定方法和线结构光激光条纹图像重建每个摄像头视角下的植株三维点云。为了将获取的三维点云能够有机拼接起来,文本将1号摄像机坐标系作为基准坐标系,然后将其他摄像机坐标系全局校准至基准坐标系下。全局校准就是计算其他摄像机坐标系到基准坐标系的旋转平移矩阵。
各摄像机坐标系的转换关系为:
其中:Rn为两个相机之间的3×3旋转矩阵;Tn为两个相机之间的3×1平移向量。
利用等式(1)通过计算两两摄像机之间的旋转平移矩阵,确定所有的摄像机坐标系到基准坐标系之间的旋转平移矩阵,则可将各个相机下得到的三维点云数据进行统一。
装置启动后,步进电机控制机架和扫描探头从上到下匀速进行扫描时,线性激光器投射激光条纹至待测植株表面,3部相机通过信号发生器实现图像同步采集,采集所得图像数据通过网卡送入计算机进行实时三维重建,待扫描探头从上扫描至最下端时完成整个玉米植株的三维重建与器官点云分离。具体过程如下:
步骤一、玉米植株三维重建
1.玉米植株三维点云获取
基于光条骨架的灰度重心法提取光条中心,并利用每个摄像机标定参数,则可获取每个摄像机视角下的三维点云,然后利用全局校准方法将所有三维点云调整至统一坐标系下,完成三维点云的拼接,得到初始的植株三维点云。
2、点云去噪
对已拼接完成的三维点云进行内部高频点云去除。
步骤二、玉米植株器官分离
玉米植株器官点云分离方法如下:首先,将获取的植株三维点云投影至YOZ平面,形成玉米植株二维投影点,并利用三角构网和光照处理构建二维植株图像;其次,利用玉米植株图像区域分割模型定位二维植株图像的茎干和叶片区域;再次,利用三维点与投影点的投影关系得到茎干和叶片点云大致区域;最后,利用K均值聚类算法实现植物各器官点云分割。
(1)三维玉米植株模型样本收集
首先,收集50株不同生长周期和形态的玉米植株;其次,利用本文系统分别对50株玉米植株扫描重建;再次,分别以50株三维模型作为输入,利用基于基因表达式编程的植物形态建模智能化方法对初始玉米植株进化100代并模拟出优良个体玉米植株三维模型,整个三维玉米植株模拟模型数据量为3951个;最后,将50株初始三维模型和模拟完成的玉米植株三维模型进行收集,整个玉米植株三维模型样本库共计4001个。图4为本发明具体实施案例中基于基因表达式编程的玉米植株形态化建模法的流程示意图。
为了获取更多样本,对上述收集样本全部对齐至全局校准坐标系下,然后在坐标系下每个玉米植株模型进行轻微扰动5次,以达到样本扩充的目的。其中模型轻微扰动是指以模型质心为中心随机旋转、缩放和移动,旋转角度范围是0-5度,缩放大小范围是原始模型尺寸的0.9-1.1倍,移动范围0-0.1×L,L是整个模型包围盒最短边长度。
所有样本收集完毕后,共计20005个。将样本分成两部分,一部分为90%样本用于后续生成二维茎叶区域的训练样本,一部分为10%样本用于后续生成二维茎叶区域检测的测试样本和最终器官分离的精度评估样本。
(2)样本标注
将所有三维模型的三维点云投影至全局坐标系的OYZ面,形成二维投影点,并对二维投影点进行三角构网和光照处理形成二维玉米植株图像;最后,利用labelme标注工具对每一幅二维玉米植株投影图像的茎干区域和叶片区域进行标注。
(3)二维茎叶检测模型
采用Mask-RCNN深度学习方法进行茎干区域检测模型训练,其主要流程如下:首先,输入玉米茎叶训练样本和加载基于COCO数据集上训练的预训练模型;其次,利用迁移学习方法进行玉米图像茎叶区域分割模型微调。玉米图像区域分割模型训练流程,如图5所示,图5为本发明具体实施案例中采用Mask-RCNN深度学习方法进行茎干区域检测模型训练的流程示意图。
步骤三、三维器官分割
首先,将重建的玉米植株三维点云模型投影影至YOZ平面,利用三角构网和光照处理构建二维植株图像;其次,根据茎叶检测模型,进行二维玉米植株图像区域分割;再次,利用茎叶检测区域信息和二维点与三维点的投影关系,反向计算三维模型中植株茎干和叶片点云大致区域;最后,利用K均值聚类算法实现三维各个器官点云的分离,并对每个三维点的分类标记,标记信息包括索引和颜色。
本实施案例能够实现以下有益效果:
创新与有益效果:
1、通过多台摄像机与激光发射器的配合,从三个角对植物进行全方位扫描,避免了数据拼接时出现盲区,该系统对植物进行三维扫描效率更高、适用性强、成本低,并且点云数据更完整,重建效果也更好。
2、由于绿色叶片在红光和蓝光波段有吸收峰,所以我们选择绿光激光器进行激光扫描,且为了增强激光条纹的对比度,以获得更高的精度,我们在每个相机的镜头上加上了中心波长为532nm的窄带滤光片,这样简化了线结构光条区域提取和提高了线结构光条中心提取精度;
3、基于图像分割预训练模型利用迁移学习方法在小数据量样本上训练高性能的二维茎叶检测模型,即通过有限的已标注的二维茎叶训练样本可以得到较好性能效果。
4、利用基于基因表达式编程的植物形态建模智能化方法生成三维玉米植物样本并对样本作轻微扰动进行样本扩充,以此生成少量有限样本。这样基于植物基因表达方法模拟生成的玉米植物样本更加丰富多样,也更加接近真实样本。
5、为了完成植物三维器官分离,将三维点投影生成二维投影点以及基于二维点进行三角构网和光照处理生成二维投影图像,基于二维投影图像分割出茎干和叶片区域,再基于二维投影点与三维点的对应关系,自动获取三维点云中茎干点云区域和叶片点云区域,利用三维点与投影点的投影关系得到茎干和叶片点云大致区域;最后,利用K均值聚类算法实现植物各器官点云分割。整个三维器官分离过程首先将三维空间计算转换至二维空间计算,得到茎干和叶片点云初步分割,降低了直接基于三维点云进行点云分割的复杂度。
6、相比通用的三维点云分割方法,本文三维点云分割是基于茎干和叶片三维点云区域初步获取基础上,再基于每个初步已分割的点云区域进行K均值聚类分割。整个三维点云分割相比没有先验知识的点云分割,分割效率更高,分割更准确。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种植株器官分离方法,其特征在于,所述植株器官分离方法应用于植株器官分离装置,所述植株器官分离装置包括:扫描探头、测试机架、测试平台和计算机;所述扫描探头固定于所述测试机架上,所述测试机架可上下运动;所述测试平台用于承放待测量植株;所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像,并将所述植株图像传输至所述计算机,所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离;所述扫描探头包括多个摄像机和两个线性激光发射器,多个摄像机位于第一水平面,多个所述摄像机等间距分布在虚拟圆弧上;两个所述线性激光发射器位于所述第一水平面下方的第二水平面,两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机;两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上,所述第三水平面与所述第一水平面和所述第二水平面均平行;多个摄像机的拍摄角度倾斜向下;
所述植株器官分离方法包括:
获取每个摄像机拍摄的待测植株图像;
根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;
将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面,得到待测植株二维投影点图像;
利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域;
根据三维点云与所述全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;
利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割,得到所述待测植株每个器官对应的三维点云区域。
2.根据权利要求1所述的植株器官分离方法,其特征在于,所述获取每个摄像机拍摄的待测植株图像,之前还包括:
对每个摄像机的内参和外参进行标定,得到每个摄像机的标定参数;
利用全局校准方法,将每个摄像机的局部坐标系统一至全局坐标系下。
3.根据权利要求1所述的植株器官分离方法,其特征在于,所述将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云,具体包括:
利用光条骨架的灰度重心法提取激光条纹中心线;
根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
利用全局校准方法,将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云。
4.根据权利要求1所述的植株器官分离方法,其特征在于,所述利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域,具体包括:
利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注;
采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练,利用茎叶区域检测模型检测待测植株二维投影点图像,得到所述待测植株的茎干和叶片区域。
5.一种植株器官分离系统,其特征在于,所述植株器官分离系统应用于植株器官分离装置,所述植株器官分离装置包括:扫描探头、测试机架、测试平台和计算机;所述扫描探头固定于所述测试机架上,所述测试机架可上下运动;所述测试平台用于承放待测量植株;所述扫描探头用于随着所述测试机架的运动扫描所述待测量植株不同高度的植株图像,并将所述植株图像传输至所述计算机,所述计算机用于根据所述扫描探头扫描的植株图像对所述待测量植株的器官进行分离;所述扫描探头包括多个摄像机和两个线性激光发射器,多个摄像机位于第一水平面,多个所述摄像机等间距分布在虚拟圆弧上;两个所述线性激光发射器位于所述第一水平面下方的第二水平面,两个所述线性激光发射器上方分别对应所述虚拟圆弧两个端点的摄像机;两个所述线性激光发射器发出的激光位于平行于所述测试平台的第三水平面上,所述第三水平面与所述第一水平面和所述第二水平面均平行;多个摄像机的拍摄角度倾斜向下;
所述植株器官分离系统包括:
待测植株图像获取模块,用于获取每个摄像机拍摄的待测植株图像;
三维点云获取模块,用于根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
拼接模块,用于将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云;
投影模块,用于将所述初始的待测植株三维点云投影至所述全局坐标系的OXY平面,得到待测植株二维投影点图像;
定位模块,用于利用植株图像区域分割模型定位所述待测植株二维投影点图像中待测植株的茎干和叶片区域;
植株器官三维点云区域初始获取模块,用于根据三维点云与所述全局坐标系中投影点的对应关系,获得初始的待测植株三维点云中待测植株茎干点云区域和叶片点云区域;
植株器官三维点云区域确定模块,用于利用K均值聚类算法对所述待测植株茎干点云区域和叶片点云区域进行待测植株的器官点云分割,得到所述待测植株每个器官对应的三维点云区域。
6.根据权利要求5所述的植株器官分离系统,其特征在于,所述系统还包括:
摄像机标定模块,用于对每个摄像机的内参和外参进行标定,得到每个摄像机的标定参数;
全局校准模块,用于利用全局校准方法,将每个摄像机的局部坐标系统一至全局坐标系下。
7.根据权利要求5所述的植株器官分离系统,其特征在于,所述拼接模块具体包括:
激光条纹中心线提取单元,用于利用光条骨架的灰度重心法提取激光条纹中心线;
三维点云获取单元,用于根据每个摄像机的标定参数,获取每个摄像机视角下的三维点云;
拼接单元,用于利用全局校准方法,将所有三维点云统一至全局坐标系进行拼接,得到初始的待测植株三维点云。
8.根据权利要求5所述的植株器官分离系统,其特征在于,所述定位模块具体包括:
标注单元,用于利用labelme标注工具对所述待测植株二维投影点图像中的待测植株的茎干和叶片区域进行标注;
模型训练单元,用于采用Mask-RCNN深度学习方法进行茎叶区域检测模型训练,利用茎叶区域检测模型检测待测植株二维投影点图像,得到所述待测植株的茎干和叶片区域。
CN201910135760.6A 2019-02-25 2019-02-25 一种植株器官分离方法及系统 Active CN109887020B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910135760.6A CN109887020B (zh) 2019-02-25 2019-02-25 一种植株器官分离方法及系统
AU2019100886A AU2019100886A4 (en) 2019-02-25 2019-08-12 Plant organ image separation method and system
ZA2019/06149A ZA201906149B (en) 2019-02-25 2019-09-18 Plant organ image separation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910135760.6A CN109887020B (zh) 2019-02-25 2019-02-25 一种植株器官分离方法及系统

Publications (2)

Publication Number Publication Date
CN109887020A true CN109887020A (zh) 2019-06-14
CN109887020B CN109887020B (zh) 2020-08-04

Family

ID=66929125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910135760.6A Active CN109887020B (zh) 2019-02-25 2019-02-25 一种植株器官分离方法及系统

Country Status (3)

Country Link
CN (1) CN109887020B (zh)
AU (1) AU2019100886A4 (zh)
ZA (1) ZA201906149B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895810A (zh) * 2019-10-24 2020-03-20 中科院广州电子技术有限公司 基于改进Mask RCNN的染色体图像实例分割方法及装置
CN110930424A (zh) * 2019-12-06 2020-03-27 深圳大学 器官轮廓分析方法及装置
CN111080612A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种货车轴承破损检测方法
CN111487646A (zh) * 2020-03-31 2020-08-04 安徽农业大学 一种玉米植株形态在线检测方法
CN111768413A (zh) * 2020-05-29 2020-10-13 北京农业信息技术研究中心 一种植物三维点云分割方法及系统
CN113112504A (zh) * 2021-04-08 2021-07-13 浙江大学 一种植物点云数据分割方法及系统
CN114812418A (zh) * 2022-04-25 2022-07-29 安徽农业大学 一种便携式植株密度和株距测量系统
CN117689823A (zh) * 2024-02-02 2024-03-12 之江实验室 基于拼接技术的植株三维模型生成方法和装置
CN117689823B (zh) * 2024-02-02 2024-05-14 之江实验室 基于拼接技术的植株三维模型生成方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111811442A (zh) * 2020-07-14 2020-10-23 上海船舶工艺研究所(中国船舶工业集团公司第十一研究所) 一种船舶大面积甲板平面度快速测量与计算方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184564A (zh) * 2011-04-13 2011-09-14 北京农业信息技术研究中心 基于双尺度三维数字化数据的设施园艺植物三维重建方法
CN103065352A (zh) * 2012-12-20 2013-04-24 北京农业信息技术研究中心 一种基于图像和扫描数据的植株三维重建方法
CN104599318A (zh) * 2014-12-25 2015-05-06 北京农业信息技术研究中心 一种植物三维模型网格无缝融合的方法及系统
CN105675549A (zh) * 2016-01-11 2016-06-15 武汉大学 一种便携式农作物参数测量与长势智能分析装置及方法
CN105844244A (zh) * 2016-03-28 2016-08-10 北京林业大学 一种果树根蘖识别与定位方法
US20170053168A1 (en) * 2015-08-21 2017-02-23 Murgyver Consulting Ltd. Method and system for the optimization of plant growth
CN107687816A (zh) * 2017-08-22 2018-02-13 大连理工大学 一种基于点云局部特征提取装配间隙的测量方法
CN107869962A (zh) * 2017-10-31 2018-04-03 南京农业大学 一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统
US10008035B1 (en) * 2015-05-18 2018-06-26 Blue River Technology Inc. System and method of virtual plant field modelling

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184564A (zh) * 2011-04-13 2011-09-14 北京农业信息技术研究中心 基于双尺度三维数字化数据的设施园艺植物三维重建方法
CN103065352A (zh) * 2012-12-20 2013-04-24 北京农业信息技术研究中心 一种基于图像和扫描数据的植株三维重建方法
CN104599318A (zh) * 2014-12-25 2015-05-06 北京农业信息技术研究中心 一种植物三维模型网格无缝融合的方法及系统
US10008035B1 (en) * 2015-05-18 2018-06-26 Blue River Technology Inc. System and method of virtual plant field modelling
US20180286117A1 (en) * 2015-05-18 2018-10-04 Blue River Technology Inc. System and method of virtual plant field modelling
US20170053168A1 (en) * 2015-08-21 2017-02-23 Murgyver Consulting Ltd. Method and system for the optimization of plant growth
CN105675549A (zh) * 2016-01-11 2016-06-15 武汉大学 一种便携式农作物参数测量与长势智能分析装置及方法
CN105844244A (zh) * 2016-03-28 2016-08-10 北京林业大学 一种果树根蘖识别与定位方法
CN107687816A (zh) * 2017-08-22 2018-02-13 大连理工大学 一种基于点云局部特征提取装配间隙的测量方法
CN107869962A (zh) * 2017-10-31 2018-04-03 南京农业大学 一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNJIE LIU ET AL: "Point cloud based iterative segmentation technique for 3D plant phenotyping", 《PROCEEDING OF THE IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *
恩德 等: "基于集成神经网络的植物叶片识别方法", 《浙江农业学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895810B (zh) * 2019-10-24 2022-07-05 中科院广州电子技术有限公司 基于改进Mask RCNN的染色体图像实例分割方法及装置
CN110895810A (zh) * 2019-10-24 2020-03-20 中科院广州电子技术有限公司 基于改进Mask RCNN的染色体图像实例分割方法及装置
CN110930424A (zh) * 2019-12-06 2020-03-27 深圳大学 器官轮廓分析方法及装置
CN110930424B (zh) * 2019-12-06 2023-04-18 深圳大学 器官轮廓分析方法及装置
CN111080612A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种货车轴承破损检测方法
CN111487646A (zh) * 2020-03-31 2020-08-04 安徽农业大学 一种玉米植株形态在线检测方法
CN111768413A (zh) * 2020-05-29 2020-10-13 北京农业信息技术研究中心 一种植物三维点云分割方法及系统
CN111768413B (zh) * 2020-05-29 2023-12-05 北京农业信息技术研究中心 一种植物三维点云分割方法及系统
CN113112504A (zh) * 2021-04-08 2021-07-13 浙江大学 一种植物点云数据分割方法及系统
CN113112504B (zh) * 2021-04-08 2023-11-03 浙江大学 一种植物点云数据分割方法及系统
CN114812418A (zh) * 2022-04-25 2022-07-29 安徽农业大学 一种便携式植株密度和株距测量系统
CN114812418B (zh) * 2022-04-25 2023-10-27 安徽农业大学 一种便携式植株密度和株距测量系统
CN117689823A (zh) * 2024-02-02 2024-03-12 之江实验室 基于拼接技术的植株三维模型生成方法和装置
CN117689823B (zh) * 2024-02-02 2024-05-14 之江实验室 基于拼接技术的植株三维模型生成方法和装置

Also Published As

Publication number Publication date
AU2019100886A4 (en) 2019-09-12
ZA201906149B (en) 2022-02-23
CN109887020B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN109887020A (zh) 一种植株器官分离方法及系统
Fang et al. Augmented LiDAR simulator for autonomous driving
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
CN103729883B (zh) 一种三维环境信息采集与重构系统及方法
CN106651900B (zh) 一种基于轮廓分割的高架原位草莓三维建模方法
CN108629835A (zh) 基于高光谱、真彩图与点云互补的室内重建方法及系统
CN107844802A (zh) 基于无人机低空遥感和面向对象分类的水土保持监测方法
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN109697475A (zh) 一种湿地植被信息分析方法、遥感监测组件及监测方法
CN108563742A (zh) 自动创建人工智能图像识别训练素材与标注文件的方法
CN109708578A (zh) 一种植株表型参数测量装置、方法及系统
CN110110621A (zh) 基于多特征整合深度学习模型的倾斜摄影点云分类方法
CN107909492A (zh) 一种利用机器学习技术的农业保险查勘定损方法
CN114998536A (zh) 基于新型基础测绘的模型生成方法、装置及存储介质
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN108154104A (zh) 一种基于深度图像超像素联合特征的人体姿态估计方法
CN110223380A (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN109636927A (zh) 一种飞行器姿态测量算法训练与鉴定的系统及方法
CN109961510A (zh) 一种基于三维点云重构技术的高切坡地质快速编录方法
CN113743358A (zh) 一种全方位采集和智能计算的景观视觉特征识别方法
CN109063638A (zh) 基于倾斜摄影预测废弃物产生量的方法、系统及介质
Sun et al. Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images.
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
CN110189395A (zh) 一种基于人视角倾斜摄影实现景观立面动态分析与定量设计的方法
CN117315146B (zh) 基于跨尺度多源数据的三维模型的重建方法及存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant