CN110610438B - 一种农作物冠层叶柄夹角计算方法及系统 - Google Patents

一种农作物冠层叶柄夹角计算方法及系统 Download PDF

Info

Publication number
CN110610438B
CN110610438B CN201910872767.6A CN201910872767A CN110610438B CN 110610438 B CN110610438 B CN 110610438B CN 201910872767 A CN201910872767 A CN 201910872767A CN 110610438 B CN110610438 B CN 110610438B
Authority
CN
China
Prior art keywords
point
petiole
skeleton
canopy
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910872767.6A
Other languages
English (en)
Other versions
CN110610438A (zh
Inventor
马晓丹
关海鸥
朱可心
冯佳睿
张志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Bayi Agricultural University
Original Assignee
Heilongjiang Bayi Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Bayi Agricultural University filed Critical Heilongjiang Bayi Agricultural University
Priority to CN201910872767.6A priority Critical patent/CN110610438B/zh
Publication of CN110610438A publication Critical patent/CN110610438A/zh
Application granted granted Critical
Publication of CN110610438B publication Critical patent/CN110610438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Mining
    • G06T3/147
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Economics (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种农作物冠层叶柄夹角计算方法及系统,该方法包括:采集待测农作物的彩色图像和深度图像,并提取彩色图像中冠层区域;提取冠层区域中待测农作物的骨架,并获取骨架上的每一顶点、每一端点和每一分支点;对深度图像和冠层区域进行配准,获取骨架深度图像,并获取骨架深度图像中每一顶点、每一端点和每一分支点的三维坐标;对于任一叶柄,根据目标顶点、目标端点和目标分支点的三维坐标,获取任一叶柄对应的叶柄夹角。本发明实施例通过三维的骨架深度图像获取端点、顶点和分支点的三维坐标,由于能够准确提取骨架深度图像中每个像素点的三维坐标,因此该方法提高了叶柄夹角计算精度。

Description

一种农作物冠层叶柄夹角计算方法及系统
技术领域
本发明涉及农业技术领域,尤其涉及一种农作物冠层叶柄夹角计算方法及系统。
背景技术
大豆生长过程中所体现出的表型特征对选育大豆优良品种有重要作用。叶柄夹角不仅不同程度地影响大豆叶面积指数的合理扩展、而且有助于了解冠层光合作用、蒸发蒸腾、辐射传输和光谱过程反射率,对大豆生态结构育种指标有效选择和生产实践具有重要意义。
叶柄夹角指叶柄与主茎之间的夹角,是大豆重要株型性状,与冠层结构及大豆产量密切相关。其传统测量方法是利用倾角仪、量角器、3D数字测量仪等设备手动测量,不仅费时费力、劳动强度高,而且测量结果容易受到测量者主观因素影响。随着农业信息化技术的快速发展,基于图像处理的测量技术为叶柄夹角的快速提取及计算提供了有利的手段。
目前,基于图像的叶柄夹角计算方法主要是利用鱼眼镜头和可见光传感器,通过间接间隙分数法测量法获取叶柄夹角。虽然该手段较为快速,但只能获取平均值,不能较详细地表达冠层叶柄夹角的空间分布。高通量作物表型分析平台可以高效、精确地获取各种农作物表型参数和相关生理指标,但较高的成本限制了该设备的广泛应用。三维地物激光扫描技术在在植株表型参数高精度测量方面发挥了重要作用,但是三维点云计算量大,耗费时间较长。基于无人机的遥感图像处理方法虽然能够高通量地获取叶柄夹角等表型参数,但由于摄像系统造成的图像失真,导致其计算精确度有待于进一步提高。
因此,亟需一种高精度的农作物叶柄夹角计算方法。
发明内容
针对上述问题,本发明实施例提供一种农作物冠层叶柄夹角计算方法及系统。
第一方面,本发明实施例提供一种农作物冠层叶柄夹角计算方法,包括:
采集待测农作物的彩色图像和深度图像,并提取所述彩色图像中冠层区域;
提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上去除所述顶点和所述端点后的其它点;
对所述深度图像和所述冠层区域进行配准,获取骨架深度图像,并获取所述骨架深度图像中每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标分支点三维坐标和所述主茎对应的目标端点的三维坐标,获取所述任一叶柄对应的叶柄夹角。
优选地,所述提取所述彩色图像中冠层区域,具体包括:
利用k-means聚类分割算法获取所述彩色图像中冠层区域。
优选地,所述对所述深度图像和所述冠层区域进行配准,具体包括:
通过仿射变换算法配准所述深度图像和所述冠层区域。
优选地,所述提取所述冠层区域中所述待测农作物的骨架,具体包括:
采用膨胀运算和腐蚀运算对所述冠层区域进行预处理,获取预处理后的冠层区域;
对于预处理后的冠层区域中像素值为1的任一像素点,若所述任一像素点满足第一预设条件,将所述任一像素点的像素值设置为0;
将预处理后的冠层区域中的像素值为1的所有像素点作为目标像素点,所有目标像素点构成初始骨架;
计算所述初始骨架中每一目标像素点的预设邻域的连接数,将连接数不满足第二预设条件的目标像素点从所述初始骨架中去除,获取所述骨架。
优选地,所述第一预设条件为:
Figure BDA0002203353930000031
N=1,
P1P3P5=0,
P3P5P7=0,
其中,Pi表示所述任一像素点,N表示连接数,P1、P3、P5、P7均表示邻域像素,n表示像素点序号。
优选地,所述计算所述初始骨架中每一目标像素点的预设邻域的连接数,对于任一目标像素点P,所述任一目标像素点P的8邻域连接数为:具体通过如下方式:
Figure BDA0002203353930000032
其中,P9=P1,当像素P=1时,对应的N=0,否则,N=1。
优选地,每一端点和每一分支点具体通过如下方式获得:
对于所述骨架上的任一目标像素点,以所述任一目标像素点为中心,建立端点特征模板和分支点特征模板;
根据所述端点特征模板和预设响应函数,判断所述任一目标像素点是否为端点,获取每一端点;
根据所述分支点特征模板和所述预设响应函数,判断所述任一目标像素点是否为分支点,获取每一分支点。
优选地,所述预设响应函数为:
Rx,y=Wn&Zn+Wn-1&Zn-1+…+W2&Z2+W1&Z1+W0&Z0
其中,Rx,y表示所述预设响应函数,&表示与运算求和,n表示像素点序号,Wn为所述顶点特征模板的系数或所述端点特征模板的系数,Zn表示所述骨架中像素点值。
第二方面,本发明实施例提供一种农作物冠层叶柄夹角计算系统,包括:
采集模块,用于采集待测农作物的彩色图像和深度图像,并提取所述彩色图像中冠层区域;
骨架模块,用于提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上去除所述顶点和所述端点后的其它点;
配准模块,用于对所述深度图像和所述冠层区域进行配准,获取骨架深度图像,并获取所述骨架深度图像中每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
计算模块,用于对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标分支点三维坐标和所述主茎对应的目标端点的三维坐标,获取所述任一叶柄对应的叶柄夹角。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面提供的一种农作物冠层叶柄夹角计算方法的步骤。
本发明实施例提供一种农作物冠层叶柄夹角计算方法及系统,通过三维的骨架深度图像获取端点、顶点和分支点的三维坐标,由于能够精确确定骨架深度图像中每个像素点的三维坐标,提高了农作物冠层叶柄夹角计算精度,因此本发明实施例能够快速、准确地计算大豆冠层叶柄夹角,并且可以在此基础上继续获取大豆其他重要的表型参数,如叶倾角、叶面积指数、冠层体积等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种农作物冠层叶柄夹角计算方法的流程图;
图2为本发明实施例中采集系统的示意图;
图3为本发明实施例中大豆植株的顶点、分支点和端点的示意图;
图4为本发明实施例提供的一种农作物冠层叶柄夹角计算系统的结构示意图;
图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为克服现有技术的不足,提高计算准确度,本发明实施例采用基于Kinect相机获取待测农作物的彩色图像与深度图像信息,通过三维重建的冠层骨架信息计算农作物冠层叶柄夹角。
本发明实施例中,以大豆作为待测农作物为例进行说明,由于Kinect相机价格相对低廉,被广泛应用于作物表型的研究中。国内外很多学者利用Kinect、PMD等三维成像设备对玉米、棉花以及水稻等作物的株高、叶柄夹角、叶宽等表型参数进行了大量的研究,而大豆冠层的空间结构较玉米、水稻等作物复杂,在三维空间中开展大豆冠层株高、株宽等研究较多,而关于其叶柄夹角计算方法的研究相对较少。因此,在开展基于三维点云的大豆冠层叶柄夹角计算方法的研究具有较为重要的探索价值。
图1为本发明实施例提供的一种农作物冠层叶柄夹角计算方法的流程图,如图1所示,该方法包括:
S1,采集待测农作物的彩色图像和深度图像,并提取所述彩色图像中冠层区域;
S2,提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上去除所述顶点和所述端点后的其它点;
S3,对所述深度图像和所述冠层区域进行配准,获取骨架深度图像,并获取所述骨架深度图像中每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
S4,对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标分支点三维坐标和所述主茎对应的目标端点的三维坐标,获取所述任一叶柄对应的叶柄夹角。
本发明实施例中,为了验证本发明对不同型号的大豆植株均具有较好的计算精度和计算效果,以大豆抗线虫9号、抗线虫13号以及富豆6号为实验样本,采用盆栽的种植方式,将精选、消毒后的大豆分三批次播种在直径为0.3m高为0.18m的PVC材料的花盆中。
于2018年5月21日种植第一批,2018年5月30日种植第二批,2018年6月7号种植第三批。每一批每一品种分别种植5盆,每盆大豆12穴,每穴2粒大豆。根据后续的实验需求,第一批、第二批每一盆的大豆植株数量都分别间苗为1、3、3、6、6,第三批的大豆植株数量仍为12株每盆。
为了采集大豆植株的彩色图像和深度图像,通过Kinect深度相机来获取大豆植株的彩色图像和深度图像,具体地,以Kinect为中心搭建图像采集平台。图2为本发明实施例中采集系统的示意图,如图2所示,1表示笔记本电脑,2表示线轴,3表示Kinect相机适配器,4表示Kinect相机,5表示云台,6表示三角架,7表示大豆盆栽。采集平台主要由Kinect相机、笔记本电脑、可调节高度的相机支架、固定高度的实验台以及基于Visual Studio 2013的大豆彩色图像与深度图像同步采集软件构成。
Kinect相机是一款RGB-D相机,可同时采集目标物的彩色信息(1920×1080像素)和深度信息(512×424像素)。虽然Kinect传感器主要采集的是被测物体的距离信息,但其精度也会受到强光的影响,因此,为了保证数据的精度,数据采集工作均在顺光、遮荫或阴天环境下进行。其获取深度图像的标准范围在0.5-4.5m之间,水平角度垂直角度分别可以延伸70°,60°,可以保证有效地获取室外大豆冠层彩色图像与深度图像。
利用构建的采集系统以水平拍摄方式获取出枝期、开花期、结夹期以及鼓粒期的大豆冠层彩色图像和深度图像。实验时间为下午14点-16点。此时实验场地的光照情况较好,能够有效地避免强光对图像信息的影响。针对出枝期、开花期、结夹期、鼓粒期四个生长阶段,Kinect相机距离待测盆栽的最佳距离分别是65cm、65cm、67cm、67cm,相机距离地面高度分别是:65.5cm、70cm、75cm、78.5cm。
采集完大豆的彩色图像和深度图像后,由于采集的彩色图像中含有除大豆植株目标物以外的其它干扰物,因此需要对大豆冠层有效区域进行提取,去除彩色图像中的背景,就可以获取到彩色图像中的冠层区域。
然后提取出冠层区域中大豆的骨架,并识别骨架上的每个顶点、端点和分支点,图3为本发明实施例中大豆植株的顶点、分支点和端点的示意图,如图3所示,图中最粗的线表示主茎,其它表示叶柄,301表示顶点,302表示分支点,303表示端点,顶点是指主茎和叶柄的交叉点,端点是指叶柄和主茎的末端,分支点是指骨架上的除去顶点和端点的其它点。由于彩色图像是二维图像,不具有距离信息,无法计算出空间中的距离。
因此,将深度图像和冠层区域进行配准,配准过程即通过坐标之间的关系来实现不同图像坐标系的空间信息统一转换到同一世界坐标系中,配准之后,就可以得到骨架深度图像,骨架深度图像中既包含深度信息,也包含彩色信息,同时由于冠层区域中骨架被提取出来了,因此骨架深度图像中的骨架形态也是已知的,容易得到骨架中每个顶点的三维坐标、每个端点的三维坐标和每个分支点的三维坐标。
得到每个顶点的三维坐标、每个端点的三维坐标和每个分支点的三维坐标之后,对于任意一个叶柄,获取该叶柄夹角对应的目标顶点、目标端点和目标分支点的三维坐标,该目标顶点是主茎和叶柄的交叉点,目标端点就是主茎上位于顶点上方的端点,目标分支点就是叶柄上的任意分支点,目标顶点、目标端点和目标分支点组成三角形,在已知三角形三条边长的情况下,可以得到该叶柄与主茎的夹角。
具体根据如下公式,获取该叶柄的叶柄夹角;
Figure BDA0002203353930000081
其中,a表示目标顶点与目标端点之间的距离,b表示目标顶点与目标分支点之间的距离,c表示目标端点和目标分支点之间的距离。
本发明实施例提供一种农作物冠层叶柄夹角计算方法,通过三维的骨架深度图像获取端点、顶点和分支点的三维坐标,由于能够精确提取骨架深度图像中每个像素点的三维坐标,提高了叶柄夹角的计算精度,因此本发明实施例能够快速、准确地计算大豆冠层叶柄夹角,并且可以在此基础上继续获取大豆其他重要的表型参数,如叶倾角、叶面积指数、冠层体积等。
在上述实施例的基础上,优选地,所述获取所述彩色图像中冠层区域,具体包括:
利用k-means聚类分割算法获取所述彩色图像中冠层区域。
本发明实施例采用以Lab(Lab color space,简称Lab)颜色空间为基础的K-means聚类算法对大豆冠层区域进行有效提取。虽然RGB颜色空间应用较为广泛,但由于其颜色分量之间具有高度的线性相关性,致使图像的分割效果并不理想。基于HSV(Hue SaturationValue,简称HSV)和HSI(Hue Saturation Intensity,简称HSI)颜色空间的彩色图像分割也发挥了重要作用,但处理速度以及分割精确度仍有待于进一步提高。Lab颜色空间接近于人类视觉,具有感知均匀性并且具有欧式距离不变的特性,所以本发明实施例在CIE Lab颜色空间中采用K-means聚类算法识别大豆冠层区域。
若需要将颜色值从RGB转换到Lab颜色空间,必须要先将R、G、B分量转换到CIE XYZ空间,再将XYZ空间转换到Lab空间。其中CIE XYZ空间中X、Y、Z是对R、G、B的一种线性变换,XYZ分别代表RGB三基色刺激值的概念。
RGB转化到XYZ空间转换公式为:
Figure BDA0002203353930000091
Figure BDA0002203353930000092
其中,X_n=95.047,Y_n=100.0,Z_n=108.883,L*、a*和b*分别为Lab颜色空间的三个通道的值,变换函数f表示如下:
Figure BDA0002203353930000093
按照上述公式,就可以将大豆的彩色图像从RGB转换到XYZ。坐标系的转换完成之后,为提取大豆冠层区域,去除背景,采用K-means算法实现冠层分割。
K-means是一种基于划分的非监督实时聚类算法,是一种以误差平方和作为聚类准则函数、距离作为相似度测度的间接硬聚类算法。其步骤是首先从样本数据中随机选出k个聚类中心,其次根据不同的样本数据到各个质心的距离将其分配到最近质心对应的类别中,质心和归类给它的对象就被称为一个簇,代表一个聚类。再此基础上,每当将一个样本分配到类中,质心将会被重新计算,计算方法是取其类中所有样本的平均值作为其聚类中心,其终止条件是直至聚类中心的位置不再变化或者达到迭代次数。此时,误差平方和准则函数中的E局部最小并且样本数据集中每个样本数据到质心的距离之和最小。
其评价聚类性能的误差平方和准则函数:
Figure BDA0002203353930000101
其中,k表示样本类别,Si表示各个分类的集合,xi表示样本数据,ui表示样本集合均值。
该算法是基于相似性划分准则,通过比较样本之间的相似性,将相异度低的样本数据划分到同一个簇中。其基本过程为:
1、从样本数据中随机取k个元素,作为k个簇的各自的中心。
2、分别计算除k个聚类中心的像素到各个聚类中心的相异度,并将这些元素分别归类到最低相异度的簇。
3、根据聚类结果,重新计算k个簇各自的中心,计算方法是取簇中所有元素的平均值。
Figure BDA0002203353930000102
其中,xi表示样本数据,ui表示样本集合的平均值,Si表示各个分类的集合。
4、将原始数据中全部元素按照新的聚类中心重新聚类。
5、重复第4步,直到聚类结果不再变化或者达到迭代次数。
6、输出大豆的冠层区域。
本发明实施例在Lab颜色空间中,利用k-means算法对大豆植株的彩色图像进行分割。首先将大豆冠层的彩色图像RGB空间经过XYZ的空间转换到Lab空间。同时,对每个像素点的3个颜色分量进行提取,统计大豆彩色图像中颜色的种类数目并选定了3个聚类中心,对所有像素点根据选定的聚类中心基于相似度的归类。通多多次迭代并更新聚类的中心位置,直到大豆冠层区域中的所有的像素点到3个聚类中心的聚类的和为极小值。此时,目标函数即误差平方和准则函数收敛,停止计算,输出分割后的大豆冠层效果图。
以开花期为例,对大豆原始图像在Lab颜色空间进行聚类分割,得到了大豆的冠层区域,只保留大豆冠层本身的信息,去除复杂背景,为后续大豆冠层骨架提取奠定前期基础。
在上述实施例的基础上,优选地,所述对所述深度图像和所述冠层区域进行配准,具体包括:
通过仿射变换算法配准所述深度图像和所述冠层区域。
具体地,虽然通过彩色图像能够较准确地提取大豆冠层的骨架以及用于显示叶柄的顶点和叶柄的端点位置,但是由于二维彩色图像不具有距离信息,因此根据二维图像不能很好地计算叶柄夹角的具体值。为了使提取出的骨架及分枝点具有距离值,需要将Kinect的深度传感器与彩色图像传感器进行配准,以此实现三维空间中的骨架提取,用于叶柄夹角的计算。
摄像机坐标系与世界坐标系之间的转换是通过坐标的旋转及平移来实现的,利用旋转矩阵R和平移量t对二者进行变换。设某一点Q其在空间中的世界坐标(OW-XWYWZW)其对应的齐次坐标为(XW,YW,ZW,1)T,对应相机下的齐次坐标为(XC,YC,ZC,1)T,二者转换公式为:
Figure BDA0002203353930000121
将该公式转换为齐次方程:
Figure BDA0002203353930000122
Figure BDA0002203353930000123
其中,R矩阵为3×3的旋转矩阵,T为平移矢量
Figure BDA0002203353930000124
利用Kinect相机获取12组不同位姿棋盘格标定板的彩色图像与深度图像,使用Matlab标定工具箱对两个相机进行配准,并获取相机内部参数以及标定得到的外部参数,最终实现二者配准。
在上述实施例的基础上,优选地,所述提取所述冠层区域中所述待测农作物的骨架,具体包括:
采用膨胀运算和腐蚀运算对所述冠层区域进行预处理,获取预处理后的冠层区域;
对于预处理后的冠层区域中像素值为1的任一像素点,若所述任一像素点满足第一预设条件,将所述任一像素点的像素值设置为0;
将预处理后的冠层区域中的像素值为1的所有像素点作为目标像素点,所有目标像素点构成初始骨架;
计算所述初始骨架中每一目标像素点的预设邻域的连接数,将预设邻域的连接数不满足第二预设条件的目标像素点从所述初始骨架中去除,获取所述骨架。
为精确计算叶柄夹角,需要对识别后的大豆冠层区域进行骨架的有效提取。数学形态学是一种有效的提取方法。其基本思想是利用结构元素“探测”目标图像,并保留其主要形态。本发明实施例依次采用形态学中的腐蚀,膨胀以及改进的细化算法实现了大豆冠层区域的骨架提取。
图像骨架提取方法有多种,基于最大圆盘法、基于距离变换以及近似中轴线是常用的骨架提取法。前两种方法连通性比较差,不能很好的保持大豆冠层本身的信息。而后者对噪声较敏感,会出现冗余的细小的分支,不能准确提取大豆冠层骨架信息。为克服上述图像细化的缺点,本发明实施例结合数学形态学的细化方法对大豆冠层进行骨架的提取。
本发明实施例中对冠层区域中的骨架进行提取的时候,先对该冠层区域进行预处理,预处理包括膨胀运算和腐蚀运算,膨胀运算可以增加图像的有用面积,腐蚀运算则可以使冠层向中心聚拢。对于大豆冠层中像素的断点位置,可以通过膨胀运算保证骨架的连通性。然后采用细化的骨架提取算法对大豆冠层区域的骨架进行提取。
细化的骨架提取算法如下:
对于预处理后的冠层区域中的像素值为1的任意一个像素点,如果该像素点满足第一预设条件,将该像素点的像素值设置为0,该预设条件如下:
Figure BDA0002203353930000131
N=1,
P1P3P5=0,
P3P5P7=0,
其中,Pi表示所述任一像素点,N表示连接数,P1、P3、P5、P7均表示邻域像素,n表示像素点序号。
对预处理后的冠层区域中所有像素值为1的像素点都进行上述判断,并且将满足预设条件的像素点的像素值设置为0。这样冠层区域中所有像素值为1的目标像素点就构成了初始骨架,由于初始骨架中仍然保留了冗余的分枝,必须遍历初始骨架中的每个目标像素点,根据每个目标像素点的预设邻域的连接数消除细小的毛刺和伪分支骨架。
本发明实施例中,以任意一个目标像素点为例进行说明,如果该目标像素点的预设领域的连接数不满足第二预设条件,则将该目标像素点从初始骨架中去除,即可获得骨架。
本发明实施例中,该目标像素的8邻域的连接数可以根据下面的公式计算出来:
Figure BDA0002203353930000141
其中,P9=P1;当像素P=1时,对应的N=0,否则,N=1。
第二预设条件为:该目标像素的预设邻域的连接数与预设连接数相等,具体地,本发明实施例中如果该目标像素点的8邻域的连接数为3或者1,即可保留该目标像素点。
最后,本发明实施例中还利用3×3结构元素可以填补图像中的孔洞和孤立点,弥补缝隙,5×1线型结构元素避免大豆冠层中大叶片对中心线骨架的提取造成的误差。
在上述实施例的基础上,优选地,每一端点和每一分枝点具体通过如下方式获得:
对于所述骨架上的任一目标像素点,以所述任一目标像素点为中心,建立顶点特征模板和端点特征模板;
根据所述顶点特征模板和预设响应函数,判断所述任一目标像素点是否为顶点,获取每一顶点;
根据所述端点特征模板和所述预设响应函数,判断所述任一目标像素点是否为端点,获取每一端点。
为有效提取主茎和叶柄的端点和分支点,采用角点检测方法实现其提取。角点检测方法有多种,其中最为经典并且广泛使用的有基于灰度图像的Harris与FAST算法。由于大豆冠层结构较为复杂,因此为提高大豆冠层骨架图像中角点检测的准确性,本研究采用一种基于模板的自适应角点检测分类算法,用于准确检测大豆骨架图像中的端点与分支点。该算法描述如下:
在大豆的二值骨架图像中,分析大豆骨架图像中出现频率较高的像素点类型,分别为端点和分支点,然后根据实际经验,建立适合大豆端点和分支点检测的端点特征模板和分支点检测模型,本发明实施例中,大豆的端点特征模板如下:
1 0 1
0 1 0
1 0 0
大豆的分支点特征模板如下:
0 1 0
0 1 0
0 0 0
然后根据建立的端点特征模板和预设响应函数,判断该目标像素点是否为顶点,如果是,将该目标像素点作为端点。根据建立的分支点特征模板和预设响应函数,判断该目标像素是否为分支点,如果是,将该目标像素作为分支点。
具体地,预设响应函数为:
Rx,y=Wn&Zn+Wn-1&Zn-1+…+W2&Z2+W1&Z1+W0&Z0
其中,&表示与运算求和,n表示像素点序号,Wn为顶点特征模板系数或端点特征模板系数,Zn表示所述骨架中像素点值。
为了验证本发明实施例提出的一种农作物叶柄夹角计算方法的有效性,每7天进行一次大豆冠层图像的采集工作,并利用量角器完成叶柄夹角的实际测量,以此验证算法的准确性。
采用本发明实施例提出的大豆冠层叶柄夹角计算方法,在单盆水平式采集方式下,以提取的冠层三维骨架为对象,分别计算2018年6月19日-8月10日期间的抗线虫9号,抗线虫13号和富豆6号三个品种进行叶柄夹角计算,实验样本总数为60盆/种。计算值与实测值的决定系数R2分别为0.949,0.92,0.84,平均误差为5度。实验结果表明:本发明实施例提出的方法能够在自然环境下较为快速、精确地计算大豆冠层叶柄夹角,能够满足表型参数测量的精度要求。
综上,本发明实施例利用构建的数据采集系统获取大豆植株的彩色图像和深度图像,首先利用k-means聚类分割算法提取大豆冠层区域;然后,针对提取的大豆冠层区域,利用改进的数学形态学细化方法提取大豆冠层骨架形态;在此基础上,采用角点提取算法检测骨架中的端点与分支点;进而通过仿射变换算法配准深度图像与对应彩色图像,实现三维空间中大豆冠层骨架形态的提取;最后,依据三维空间的距离值定位顶点、端点与分支点,并依据角度计算原理,实现三维骨架中叶柄夹角的计算与显示。将通过算法得到的叶柄夹角计算值与实际测量值进行回归分析,以此验证算法的有效性。
图4为本发明实施例提供的一种农作物冠层叶柄夹角计算系统的结构示意图,如图4所示,该系统包括:采集模块401、骨架模块402、配准模块403和计算模块404,其中:
采集模块401用于采集待测农作物的彩色图像和深度图像,并提取所述彩色图像中冠层区域;
骨架模块402用于提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上去除所述顶点和所述端点后的其它点;
配准模块403用于对所述深度图像和所述冠层区域进行配准,并获取所述骨架深度图像中每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
计算模块404用于对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标端点三维坐标和所述任一叶柄对应的目标分支点的三维坐标,获取所述任一叶柄对应的叶柄夹角。
具体地,本发明实施例中采集模块401采集大豆的彩色图像和深度图像,并且提取彩色图像中的冠层区域。骨架模块402提取冠层区域中大豆的骨架,并获取骨架上的所有顶点、所有端点和所有分支点。配准模块403对深度图像和冠层区域进行配准,获取骨架深度图像,该骨架深度图像中既包含距离信息也包括颜色信息,由此,就可得到大豆的骨架上每个顶点的三维坐标、每个端点的三维坐标和每个分支点的三维坐标。计算模块404根据任意一个叶柄确定的目标顶点、目标端点和目标分支点的三维坐标,可以计算出目标顶点、目标端点和目标分支点中任意两个点之间的直线距离,目标顶点、目标端点和目标分支点构成三角形,在三角形三条边已知的情况下,容易获得叶柄夹角。
本发明实施例提供一种农作物冠层叶柄夹角计算系统,能够快速、准确地计算大豆冠层叶柄夹角,通过彩色图像和深度图像的配准,可以获得骨架上每个点的三维坐标,由于只需要计算骨架的三维坐标,提高了三维坐标的计算效率,并且该叶柄夹角的计算方法提高了叶柄夹角计算精度,可以在此基础上继续获取大豆其他重要的表型参数,如叶柄夹角、叶面积指数、冠层体积等。
图5为本发明实施例提供的一种电子设备的实体结构示意图,如图5所示,该服务器可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行如下方法:
采集待测农作物的彩色图像和深度图像,并获取所述彩色图像中冠层区域;
提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上除去顶点和端点的其它点;
对所述深度图像和所述冠层区域进行配准,获取骨架深度图像,并获取每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标端点三维坐标和所述任一叶柄对应的目标分支点的三维坐标,获取所述任一叶柄对应的叶柄夹角。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种农作物冠层叶柄夹角计算方法,其特征在于,包括:
采集待测农作物的彩色图像和深度图像,并提取所述彩色图像中冠层区域;
提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上去除所述顶点和所述端点后的其它点;
对所述深度图像和所述冠层区域进行配准,获取骨架深度图像,并获取所述骨架深度图像中每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标分支点三维坐标和所述主茎对应的目标端点的三维坐标,获取所述任一叶柄对应的叶柄夹角;
所述提取所述冠层区域中所述待测农作物的骨架,具体包括:
采用膨胀运算和腐蚀运算对所述冠层区域进行预处理,获取预处理后的冠层区域;
对于预处理后的冠层区域中像素值为1的任一像素点,若所述任一像素点满足第一预设条件,将所述任一像素点的像素值设置为0;
将预处理后的冠层区域中的像素值为1的所有像素点作为目标像素点,所有目标像素点构成初始骨架;
计算所述初始骨架中每一目标像素点的预设邻域的连接数,将连接数不满足第二预设条件的目标像素点从所述初始骨架中去除,获取所述骨架;所述第二预设条件为目标像素点的预设邻域的连接数与预设连接数相等;
所述第一预设条件为:
Figure FDA0003390836970000011
N=1,
P1P3P5=0,
P3P5P7=0,
其中,Pi表示所述任一像素点,N表示连接数,P1、P3、P5、P7均表示邻域像素,n表示像素点的序号;
所述计算所述初始骨架中每一目标像素点的预设邻域的连接数,对于任一目标像素点P,所述任一目标像素点P的8邻域连接数具体通过如下方式:
Figure FDA0003390836970000021
其中,P9=P1,当像素P=1时,对应的N=0,否则,N=1。
2.根据权利要求1所述方法,其特征在于,所述提取所述彩色图像中冠层区域,具体包括:
利用k-means聚类分割算法获取所述彩色图像中冠层区域。
3.根据权利要求1所述方法,其特征在于,所述对所述深度图像和所述冠层区域进行配准,具体包括:
通过仿射变换算法配准所述深度图像和所述冠层区域。
4.根据权利要求1所述方法,其特征在于,每一端点和每一分支点,具体通过如下方式获得:
对于所述骨架上的任一目标像素点,以所述任一目标像素点为中心,建立端点特征模板和分支点特征模板;
根据所述端点特征模板和预设响应函数,判断所述任一目标像素点是否为端点,获取每一端点;
根据所述分支点特征模板和所述预设响应函数,判断所述任一目标像素点是否为分支点,获取每一分支点。
5.根据权利要求4所述方法,其特征在于,所述预设响应函数为:
Rx,y=Wn&Zn+Wn-1&Zn-1+…+W2&Z2+W1&Z1+W0&Z0
其中,Rx,y表示所述预设响应函数,&表示与运算求和,n表示像素点序号,Wn为所述端点特征模板的系数或所述分支点特征模板的系数,Zn表示所述骨架中像素点值。
6.一种农作物冠层叶柄夹角计算系统,其特征在于,包括:
采集模块,用于采集待测农作物的彩色图像和深度图像,并提取所述彩色图像中冠层区域;
骨架模块,用于提取所述冠层区域中所述待测农作物的骨架,并获取所述骨架上的每一顶点、每一端点和每一分支点,所述顶点为叶柄与主茎的交叉点,所述端点为所述叶柄的末端或所述主茎的末端,所述分支点为所述骨架上去除所述顶点和所述端点后的其它点;
配准模块,用于对所述深度图像和所述冠层区域进行配准,获取骨架深度图像,并获取所述骨架深度图像中每一顶点的三维坐标、每一端点的三维坐标和每一分支点的三维坐标;
计算模块,用于对于任一叶柄,根据所述任一叶柄对应的目标顶点的三维坐标、所述任一叶柄对应的目标分支点三维坐标和所述主茎对应的目标端点的三维坐标,获取所述任一叶柄对应的叶柄夹角;
所述提取所述冠层区域中所述待测农作物的骨架,具体包括:
采用膨胀运算和腐蚀运算对所述冠层区域进行预处理,获取预处理后的冠层区域;
对于预处理后的冠层区域中像素值为1的任一像素点,若所述任一像素点满足第一预设条件,将所述任一像素点的像素值设置为0;
将预处理后的冠层区域中的像素值为1的所有像素点作为目标像素点,所有目标像素点构成初始骨架;
计算所述初始骨架中每一目标像素点的预设邻域的连接数,将连接数不满足第二预设条件的目标像素点从所述初始骨架中去除,获取所述骨架;所述第二预设条件为目标像素点的预设邻域的连接数与预设连接数相等;
所述第一预设条件为:
Figure FDA0003390836970000041
N=1,
P1P3P5=0,
P3P5P7=0,
其中,Pi表示所述任一像素点,N表示连接数,P1、P3、P5、P7均表示邻域像素,n表示像素点的序号;
所述计算所述初始骨架中每一目标像素点的预设邻域的连接数,对于任一目标像素点P,所述任一目标像素点P的8邻域连接数具体通过如下方式:
Figure FDA0003390836970000042
其中,P9=P1,当像素P=1时,对应的N=0,否则,N=1。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述农作物冠层叶柄夹角计算方法的步骤。
CN201910872767.6A 2019-09-16 2019-09-16 一种农作物冠层叶柄夹角计算方法及系统 Active CN110610438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872767.6A CN110610438B (zh) 2019-09-16 2019-09-16 一种农作物冠层叶柄夹角计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872767.6A CN110610438B (zh) 2019-09-16 2019-09-16 一种农作物冠层叶柄夹角计算方法及系统

Publications (2)

Publication Number Publication Date
CN110610438A CN110610438A (zh) 2019-12-24
CN110610438B true CN110610438B (zh) 2022-02-15

Family

ID=68891349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872767.6A Active CN110610438B (zh) 2019-09-16 2019-09-16 一种农作物冠层叶柄夹角计算方法及系统

Country Status (1)

Country Link
CN (1) CN110610438B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445513B (zh) * 2020-02-24 2024-01-16 浙江科技学院 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN111539964B (zh) * 2020-04-02 2023-11-07 浙江科技学院 基于深度图像的植株冠层表面积获取方法、装置、计算机设备和存储介质
CN115393352A (zh) * 2022-10-27 2022-11-25 浙江托普云农科技股份有限公司 基于图像识别的作物夹角测量方法及其应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105547360A (zh) * 2015-12-16 2016-05-04 中国科学院地理科学与资源研究所 基于情景感知的作物冠层图像采集方法
CN109684938A (zh) * 2018-12-06 2019-04-26 广西大学 一种基于作物冠层航拍俯视图的甘蔗株数自动识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989594B (zh) * 2015-02-12 2019-02-12 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
CN105894503B (zh) * 2016-03-30 2019-10-01 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法
CN108133654B (zh) * 2018-01-10 2019-12-13 河北农业大学 基于ar手机的棉花株型设计实验教学的方法
CN109816680B (zh) * 2018-12-19 2020-10-27 黑龙江八一农垦大学 一种农作物株高的高通量计算方法
CN110070571B (zh) * 2019-04-28 2020-10-16 安徽农业大学 一种基于深度相机的毛竹形态参数检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105547360A (zh) * 2015-12-16 2016-05-04 中国科学院地理科学与资源研究所 基于情景感知的作物冠层图像采集方法
CN109684938A (zh) * 2018-12-06 2019-04-26 广西大学 一种基于作物冠层航拍俯视图的甘蔗株数自动识别方法

Also Published As

Publication number Publication date
CN110610438A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
Jin et al. Stem–leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data
Malambo et al. Automated detection and measurement of individual sorghum panicles using density-based clustering of terrestrial lidar data
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
An et al. Quantifying time-series of leaf morphology using 2D and 3D photogrammetry methods for high-throughput plant phenotyping
CN111340826A (zh) 基于超像素与拓扑特征的航拍图像单株树冠分割算法
Liu et al. A field-based high-throughput method for acquiring canopy architecture using unmanned aerial vehicle images
Zhang et al. Estimating plant distance in maize using Unmanned Aerial Vehicle (UAV)
CN109360236B (zh) 一种向日葵花盘尺寸测量方法
CN111429490A (zh) 一种基于标定球的农林作物三维点云配准方法
Zhu et al. Analysing the phenotype development of soybean plants using low-cost 3D reconstruction
Li et al. An automatic approach for detecting seedlings per hill of machine-transplanted hybrid rice utilizing machine vision
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
Zhou et al. Individual tree crown segmentation based on aerial image using superpixel and topological features
Zermas et al. Extracting phenotypic characteristics of corn crops through the use of reconstructed 3D models
Zhu et al. A calculation method of phenotypic traits based on three-dimensional reconstruction of tomato canopy
Ma et al. A method of calculating phenotypic traits for soybean canopies based on three-dimensional point cloud
Wei et al. Dynamic simulation of leaf area index for the soybean canopy based on 3D reconstruction
CN113554691B (zh) 一种植株高度测量方法
CN111918547B (zh) 树冠识别装置、识别方法、程序和记录介质
Harandi et al. How to make sense of 3D representations for plant phenotyping: a compendium of processing and analysis techniques
Li et al. Three-dimensional reconstruction and phenotype measurement of maize seedlings based on multi-view image sequences
He et al. A calculation method of phenotypic traits of soybean pods based on image processing technology
CN112686859A (zh) 基于热红外和rgb-d相机的作物cwsi的检测方法
CN110554406B (zh) 一种基于无人机立体摄影测量点云的次生林结构参数反演的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant