CN109146948B - 基于视觉的作物长势表型参数量化与产量相关性分析方法 - Google Patents

Abstract

本发明属于农业技术领域，公开了一种基于视觉的作物长势表型参数量化与产量相关性分析方法，通过图像处理、无线传感器、人工智能等技术的不断突破，为农业分析提供了更多的思路，使得传统手工农业、机械化农业不断向现代智能化、精细化农业发展。本发明为智能化、精细化农业作为农业领域重要的分析课题之一，对植物虚拟、产量预测、园林设计等领域有着重要意义；在作物的生长过程中分析表征参数与形态特征具有十分重大的意义：一方面，可预测作物的相关参数，对培育环境的配置有指导作用；虚拟植物生长技术可模拟任意时间的植物生长状态，从而减少分析时间，降低分析成本。

Description

基于视觉的作物长势表型参数量化与产量相关性分析方法

技术领域

本发明属于农业技术领域，尤其涉及一种基于视觉的作物长势表型参数量化与产量相关性分析方法。

背景技术

目前，业内常用的现有技术是这样的：

因计算量较小，测量原理较为简单，单目测量技术被广泛的应用在车辆测距、无人机导航、智能机器人导航等领域。最传统的方法是在待测物体旁放置一个标尺，利用标尺的实际尺寸去估计待测物体的尺寸。近年来，随着对单目测量技术的分析越来越深入，分析人员提出了许多的优秀的单目测量方法。吴骏采采用多尺度分块二值模式、Adaboost算法以及车辆底部阴影定位方法来测量前方车辆的距离。陈勇针对前方曲线道路上的车辆测距误差较大等问题，对结构化道路中的车辆、行驶线建模，提出了曲线道路上的高精度车辆测距方法。赵连军通过图像中的几何关联所获得参数进行测量计算，并分析了合作目标与非合作目标测量系统的精度。

双目视觉的分析是当前视觉测量领域的热点，已有较多的成熟商用产品。NASA开发的火星探测车，可利用探测车上的双目摄像头，绘制出外围的地形轮廓，为探测车提供导航信息。Stereolabs公司开发的ZED双目摄像头，可在20m的范围内实现深度测量和VR视频拍摄。同时Stereolabs公司为开发者提供二次软件开发工具，使用该开发工具可方便地开发丰富的应用程序。灰点公司开发了一系列的热力相机、虚拟现实相机以及双目相机。其双目相机Bumblebee已经升级到第二代(Bumblebee2)。与同类的双目摄像头相比，Bumblebee2摄像头的3D数据质量、处理速度、尺寸、价格等都处于较为适中的水平。Bumblebee2配有一个GPIO连接器，供外部触发和闪光灯功能使用。Bumblebee相机系统配有一套完整的硬件和软件包，包括一套赠送版FlyCapture SDK，用于开发者对图像采集和相机控制进行二次开发，以及一套Triclops SDK，方便与开发者进行图像纠正和立体处理。人加智能公司开发的MoveSense移动深度感知系统可较为准确地检测用户的运动信息。因其本地使用FPGA计算，测量精度及成像速度较差，但体积小巧，适合无人机等移动设备使用。大疆公司的Guidance视觉传感导航系统可帮助无人机感知和躲避周围障碍物。Guidance采用高精度定位算法，视觉定位有效距离为20米，且定位精度可达厘米级。同时还具有丰富的数据接口供开发人员进行二次开发以完成多领域的任务。

目前基于机器视觉技术提取作物长势参量的相关应用和分析主要集中在虚拟植物生长、果实品质检测、生长参数提取等方面。敬松等将分形、二叉树、异速生长等理论与方法引入虚拟植物三维生长模型中,最终可对植物叶片进行仿真并对植物的生长过程进行再现。宗泽等利用深度图像RGB伪彩色和深度距离信息，提取单株玉米的二值骨架图像，结合空间几何数学方法,结合特征点计算出玉米的株高等参数。最后结合农田作物抗逆性分析了玉米株型参数与抗倒伏特性间的相关性。钱永兰等依据遥感资料及作物的种植条件,探讨了美国玉米和印度水稻长势监测和产量估计的方法。饶秀勤分析了基于视觉的果实品质检测与分级方法。武文亮利用手动测量的方式分析了玉米高与宽的变化规律及生长环境因子的之间相关性。Coetzee等分析了氮磷源对玉米生长参数的影响。Nakarmi等利用双目相机分析了玉米植株的生长距离的提取算法。

以上分析中，大多使用双目深度图像提取玉米叶片结构参数，处理过程中计算量较大，同时对叶倾角、叶片高度、植株节数的分析较少，没有分析其随生长时间的变化规律。在玉米植株高度方面，虽然有玉米高度提取的分析，但是没有分析高度随时间的变化规律。

综上所述，现有技术存在的问题是：

在玉米表征参数方面，用手动测量的方式完成了玉米植株的高度、宽度的生长变化规律的分析；但分析的参数较少，缺少包括叶倾角等叶片结构参数，且对于玉米植株的高度、宽度的分析还停留在手动测量阶段，无法满足自动化的要求。

解决上述技术问题的意义：

对玉米生长周期内这些外形参量变化规律分析、构建有效的外形参量与果实的相关模型，进一步对于玉米个体生长监测和虚拟植株的分析有重要的意义。

发明内容

针对现有技术存在的问题，本发明提供了一种基于视觉的作物长势表型参数量化与产量相关性分析方法。

本发明是这样实现的，一种基于视觉的作物长势表型参数量化与产量相关性分析方法，所述基于视觉的作物长势表型参数量化与产量相关性分析方法包括：

将f(p)嵌入GrabCut算法进行玉米图像分割，与分水岭算法、均值漂移算法相比较；

利用细化算法对图像中玉米枝叶进行细化处理；

采用八邻域搜索算法对玉米枝叶线段进行划分和筛选，获得玉米个体骨干图像；

采用单目视觉测量技术，通过叶片叶脉二次模型拟合获得玉米叶片叶倾角及最大高度参数，并对获取的玉米生长周期内不同叶片的叶倾角及最大高度的变化规律进行分析。

进一步，单目测量技术包括基于小孔成像的单目测量技术，有：

测量的目标只有Y方向的分量；

其中O₂为摄像头所在位置，已知摄像机高度拍摄高度H，相机拍摄的水平距离O₃M，图像的中心为(ucenter，vcenter)，待测点P在像素坐标系下的投影为P₁(u，0)，O₁M为相机光轴，α为拍摄时倾角，β为待测点P与相机光心连线与水平方向的夹角，γ为该连线与相机光轴的夹角；P₁为P在图像上的投影；图像X方向上的尺度为xpix，Y方向上的尺度ypix，摄像头焦距f；其中ucenter、vcenter、xpix及ypix由相机标定得出；

由相似三角形有

β＝α-γ

由上述公式整理得

O3P：世界坐标系下待测点P到摄像头中心垂足的水平距离；H:世界坐标系下摄像机高度；O3M：世界坐标系下摄像机光轴与地面交点到摄像头中心垂足的水平距离；O1P1：世界坐标系下P点在图像中投影到图像中心的距离；gypix：图像坐标系下Y方向上的尺度ypix，即Y方向像素大小。

进一步，基于小孔成像的单目测量技术，进一步包括：测量的点有X轴分量；

其中O₂为摄像头所在位置，已知摄像机高度拍摄高度H，相机拍摄的水平距离O₃M，镜头中心点的图像坐标为(ucenter，vcenter)，测量点Q在像素坐标系下的投影Q₁(u，v)，O₁M为相机光轴所在直线，α为相机光轴与水平方向的夹角，β为待测点Q在O₂O₃Y平面上的投影点P与相机光心连线与水平方向的夹角，γ为该连线与相机光轴的夹角；图像X方向上的尺度为xpix，Y方向上的尺度ypix，摄像头焦距f；其中ucenter、vcenter、xpix及ypix由相机标定得出；

对于Y方向，O3P的计算与上一个模型相同，对于X方向，有

P1Q1＝(u-ucenter)gxpix

整理得：

PQ：两测量点在世界坐标系下欧氏距离；H:同上；u，v:测量点Q在像素坐标系下的投影坐标(Q1(u，v))；ucenter，vcenter：镜头中心点的图像坐标(ucenter，vcenter)；β：待测点Q在O2O3Y平面上的投影点P与相机光心连线与水平方向的夹角；xpix，ypix：图像坐标系下X、Y方向上的尺度，即每个像素长宽值。

本发明的另一目的在于提供一种实现所述基于视觉的作物长势表型参数量化与产量相关性分析方法的计算机程序。

本发明的另一目的在于提供一种实现所述基于视觉的作物长势表型参数量化与产量相关性分析方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于视觉的作物长势表型参数量化与产量相关性分析方法。

本发明的另一目的在于提供一种基于视觉的作物长势表型参数量化与产量相关性分析系统包括：

玉米图像分割模块，将f(p)嵌入GrabCut算法进行玉米图像分割，与分水岭算法、均值漂移算法相比较；

细化处理模块，利用细化算法对图像中玉米枝叶进行细化处理；

个体骨干图像获得模块，采用八邻域搜索算法对玉米枝叶线段进行划分和筛选，获得玉米个体骨干图像；

分析模块，采用单目视觉测量技术，通过叶片叶脉二次模型拟合获得玉米叶片叶倾角及最大高度参数，并对获取的玉米生长周期内不同叶片的叶倾角及最大高度的变化规律进行分析。

本发明的另一目的在于提供一种搭载所述基于视觉的作物长势表型参数量化与产量相关性分析系统的基于视觉的作物长势表型参数量化与产量相关性分析设备。

本发明的优点及积极效果为：

利用双目视觉自动测量的高度值及宽度值均略小于实际测量值，误差率仅为5.81％和0.52％。该测量方法极大地提高测量的效率。

对玉米的生长规律分析表明，玉米高度维持在250cm左右、宽度维持在105cm左右，与实际手动测量分析结果一致。

通过自动测量技术可分析出：(1)玉米单株节数的变化趋势与高度一致，其生长的中后期单株节数的增加速率最快；(2)玉米生长后期其节数基本不再发生变化，维持在18节左右。

通过该技术还可得知，玉米植株(如糯甜200)性状与果实重量都呈现显著相关，其中植株性状与产量关联度大小顺序为果实底端周长(相关系数：0.7477)、植株高度(相关系数：0.7103)、果实长度(相关系数：0.6761)、植株节数(相关系数：0.6516)。进一步分析得知，玉米植株(如糯甜200)性状与产量关联度大小顺序为果实底端周长、植株高度、果实长度及植株节数，这个结果，与相关性分析所得结论一致。

本发明通过图像处理、无线传感器、人工智能等技术的不断突破，为农业分析提供了更多的思路，使得传统手工农业、机械化农业不断向现代智能化、精细化农业发展。智能化、精细化农业作为农业领域重要的分析课题之一，对植物虚拟、产量预测、园林设计等领域有着重要意义。在作物的生长过程中分析表征参数与形态特征具有十分重大的意义：一方面，可预测作物的相关参数，对培育环境的配置有指导作用。李得孝的分析表明，玉米个体植株的相关结构参数对玉米的产量表现为显著正相关。另一方面，由于植物的生长具有周期性，因此许多分析需要花费大量时间。虚拟植物生长技术可模拟任意时间的植物生长状态，从而减少分析时间，降低分析成本。

附图说明

图1是本发明实施提供的基于视觉的作物长势表型参数量化与产量相关性分析方法流程图。

图2是本发明实施提供的定位测量示意图。

图3是本发明实施提供的使用标定板进行单目测量。

图4是本发明实施提供的测量时只有Y方向。

图5是本发明实施提供的测量时有X、Y方向。

图6是本发明实施提供的相机成像系统中的坐标系。

图7是本发明实施提供的双目成像示意图。

图8是本发明实施提供的嵌入f(p)的GrabCut算法流程图。

图9是本发明实施提供的线段划分流程图。

图10是本发明实施提供的单目测量模型图。

图11是本发明实施提供的玉米叶片叶脉示意图。

图12是本发明实施提供的玉米高度随时间变化图。

图13是本发明实施提供的玉米宽度随时间变化图。

图14是本发明实施提供的玉米节数随时间变化图。

图15是本发明实施提供的逐步回归分析结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作进一步描述。

如图1所示，本发明实施例提供的基于视觉的作物长势表型参数量化与产量相关性分析方法，包括以下步骤：

S101，提出将f(p)嵌入GrabCut算法进行玉米图像分割，与分水岭算法、均值漂移算法相比较，该算法具有更精确的分割效果；

S102，设计细化算法对图像中玉米枝叶进行细化处理，

S103，采用八邻域搜索算法对玉米枝叶线段进行划分和筛选，以获得玉米个体骨干图像，该骨干图像与手动划分的骨干图像相比较，平均错误率仅为2.85％；

S104，采用单目视觉测量技术，通过叶片叶脉二次模型拟合获得玉米叶片叶倾角及最大高度等参数，并对实验获取的玉米生长周期内不同叶片的叶倾角及最大高度的变化规律进行分析。

一、下面结合具体分析对本发明作进一步描述。

本发明提供的图像分割技术包括：

(1)基于阈值的分割方法

阈值分割法是传统的图像分割技术，原理是为不同的区域设定不同的灰度值等特征的阈值，将属于相同阈值内的像素划分为同一区域，因而适用于目标和背景灰度值差异较大的图像。常用的特征包括目标图像本身的灰度或彩色(RGB、LAB等)特征以及由原始灰度或彩色值经过某种准则变换得到的特征。

阈值分割的优点是原理简单、计算量较小。因此被广泛应用在重视运算效率或图像本身具有较大的灰度差异的领域，例如，红外技术拍摄的图像前景与背景通常具有较大的灰度差异，使用阈值分割技术可对红外热图像进行准确地分割；在遥感应用中，经常使用该方法对合成孔径雷达的图像进行分割等；医学中使用该方法进行血液细胞图像、磁共振图像的分割；在农业、工业生产应用中，也经常使用基于阈值的图像分割方法对产品质量进行检测。

(2)基于边缘的分割方法

图像中的不同区域相接的部分(称为边缘)灰度值会呈现阶跃型或屋顶型变化。因此边缘常常伴随着图像灰度、颜色、纹理特性的突变。基于边缘的分割方法就是一种基于该特性的图像分割技术。具体实现时可使用图像与模板进行卷积，以得到灰度、颜色等突变的部分，将其作为图像中的边缘从而完成图像的分割。

(3)基于区域的分割方法

此类方法的基本思想是在图像分割之前就对图像的区域进行初始估计，然后按照某种相似性准则不断优化该初始估计，直至达到该准则下的最优分割。基于区域的分割方法主要包括种子区域生长法、区域分裂合并法和分水岭法等。

种子区域生长发首先选择一组像素作为种子，并从每个种子周围选择一个灰度值、纹理等特征相似的像素作为新的种子，重复该扫描过程，直到种子像素邻域内没有符合选定的分割准则的像素位置。该方法分割准确度严重依赖于初始种子的选择，因此一般都采用人工交互的方式选择这些种子点。

区域分裂合并法首先将图像随机分成若干的区域，然后按照当前分割的区域内的灰度值或纹理信息对区域进行分裂或对不同的区域进行合并。初始区域的划分并不影响该分割方法的精度，但是会影响算法的执行时间。

分水岭法是一种数学形态学的分割方法，其算法思想是将图像模拟成高度图，每个像素点的灰度值就对应该点的高度，为整幅图像模拟的高度图注水，水会汇聚在像素灰度值较低的区域(该区域的水平高度较低)，形成积水区。当水逐渐变多，如果有两个积水区合并，则利用一条分水岭将这两个积水区分割开来。不断的注水直到淹没所有像素，在该过程中所产生的分水岭则是整幅图像的边缘。分水岭算法可较为灵敏的检测到图像中的弱边缘，但相应的会因为噪声等因素导致过分割。

(4)基于图论的分割方法

此类算法把待分割图像看做节点和边的集合，待分割图像的每一个像素点为一个节点，任意两个节点之间都存在一条边，边上的权值表现了相邻像素的相似度，图像分割的最终结果就是将该集合划分为两个子集，使得每个子集内部的边上的权值最大，不同子集之间的边上的权值最小。该算法的本质就是移除特定的边，使得原始的集合划分若干子集，从而完成图像的划分。

二、下面结合单目测量技术对本发明作进一步描述。

本发明提供的单目测量技术包括：

(1)基于参照物的单目测量技术

该测量方法依据等比例放大特性，其原理如图2所示：

其中A为相机光心，DC为待测量目标，GF为某已知长度的参照物，如果AE和AB的实际长度已知。

依据相似三角形的等比例关系，有。

可由此得到待测目标DC的长度。可在待测量目标与相机之间放置阵列点，进行等比例放大可获得阵列点对应在地面的投影点的实际坐标值。处理的示意图如图3所示。

这种测量方法对于等距阵列点的放置要求很高，同时需要绘制的点数过多，因此具有一定的局限性。

(2)基于小孔成像的单目测量技术

该方法是单目测距的主要分析方向，对镜头本身的质量要求较高，但具有较强的移植性和实用性。其主要的思路是小孔成像模型和相似三角形原理。

模型一：测量的目标只有Y方向的分量。测量模型如图4所示。

其中O₂为摄像头所在位置，已知摄像机高度拍摄高度H，相机拍摄的水平距离O₃M，图像的中心为(ucenter，vcenter)，待测点P在像素坐标系下的投影为P₁(u，0)，O₁M为相机光轴，α为拍摄时倾角，β为待测点P与相机光心连线与水平方向的夹角，γ为该连线与相机光轴的夹角。P₁为P在图像上的投影。图像X方向上的尺度为xpix，Y方向上的尺度ypix，摄像头焦距f。其中ucenter、vcenter、xpix及ypix可由相机标定得出。

由相似三角形有

β＝α-γ (2-4)

由上述公式整理可得

模型二：假设测量的点有X轴、Y轴分量

其中O₂为摄像头所在位置，已知摄像机高度拍摄高度H，相机拍摄的水平距离O₃M，镜头中心点的图像坐标(ucenter，vcenter)，测量点Q在像素坐标系下的投影Q₁(u，v)，O₁M为相机光轴所在直线，α为相机光轴与水平方向的夹角，β为待测点Q在O₂O₃Y平面上的投影点P与相机光心连线与水平方向的夹角，γ为该连线与相机光轴的夹角。图像X方向上的尺度为xpix，Y方向上的尺度ypix，摄像头焦距f。其中ucenter、vcenter、xpix及ypix可由相机标定得出。

对于Y方向，O3P的计算与上一个模型相同，对于X方向，有

P1Q1＝(u-ucenter)gxpix (2-10)

整理可得：

三、下面结合双目测量技术对本发明作进一步描述。

1、双目测量技术

1.1相机成像中的坐标系

图像处理、立体视觉等等方向常常涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。如图6所示。

图6中有四个坐标系，分别为：Ow-XwYwZw，世界坐标系，该坐标系用来描述相机位置，单位为米；Oc-XcYcZc，相机坐标系，光心为原点，用来描述空间中的其他点相对于相机光心的位置，单位为米；o-xy，图像物理坐标系，原点为图像中心，单位为毫米；uv：图像像素坐标系，原点为图像左上方，单位为pixel。P表示世界坐标系的一点。p为点P在图像中的成像点，在图像物理系中的坐标为(x，y)，在图像像素坐标系的坐标为(u，v)。f为相机焦距，在图中为o与Oc之间的距离。dx、dy分别表示每一个像素在u轴和v轴方向上的物理尺度。u₀，v₀为摄像头成像的中心。

则图像中任一像素从图像物理坐标系到图像像素坐标系的转换公式为[42]

用矩阵形式表示为

为了在三维环境描述相机与物体的位姿关系，可用正交单位旋转矩阵R与三维平移向量T来描述。则有

其中[X_c Y_c Z_c]T与[X_w Y_w Z_w]^T为空间点P在世界坐标系和相机坐标系下的坐标。在像平面上的物理坐标可写成

则由上述等式整理可得

其中，P为3*4矩阵，被称为投影矩阵；s称为扭转因子；k_u＝f/abc，k_v＝f/dy；k只与相机本身属性有关，因而被称为相机的内参数矩阵；[RT]由相机相对于世界坐标系的方位决定，被称为相机的外参数矩阵。

1.2相机标定技术

无论进行单目测量还是双目测量，首先要完成的工作都是相机标定。常用的标定算法包括线性标定法、非线性标定法和两步标定法。

线性标定法由Abde等提出，该算法在线性标定法中应用较为广泛。Hall[44]等对线性标定法做了更为深入的分析。直接线性标定法计算速度快，但对噪声较为敏感且没有考虑镜头的畸变。

非线性标定法计算代价较高，但是有较为准确的结果，但算法的迭代需要良好的初始估计，如果迭代过程设计的不够理想，则优化过程可能不稳定。

在两步标定法以Tsai[46]的标定算法最为经典，其算法只考虑径向畸变，以适中的计算量可得到较高的精度。Zhang[47]的平面模板两步法大大的降低了相机标定的成本，该算法使用多幅从不同距离、不同角度拍摄的标定板图像进行标定计算，不使用高精度标定台。该标定算法采用5个参数来表示相机内参，如下所示。

1.3图像矫正

为了完成目标的三维信息计算，首先需要计算目标点在左右两个视图上形成的视差，因此，需要找到左图像与右图像像素点之间的匹配关系。然而，在两幅图像的二维空间上搜索匹配点需要花费较多的时间。为了减少搜索匹配点的时间代价，可利用极线约束使得对匹配点的搜索范围由二维降为一维。

极线约束是指空间中的任一点、该点在左右图像上的两个投影点及左右摄像头的中心五点处于同一平面，因此对于左图像的某个特征点，其在右图像上的投影点必然处在对极线上。极线约束使匹配关系的搜索范围由原来的二维空间变为一维，大大的减少了搜索匹配点的时间代价，且可有效的减少匹配误差。

然而，由于畸变等的影响，直接拍摄的图像很难满足极线约束。需要对图像进行畸变矫正操作，使得左图像上的某一像素点在右图像上的对应点必然具有相同的行号，这样在搜索某一像素点的对应点时，只在该行进行一维搜索即可。图像矫正的实际操作过程如下所示：

利用相机标定得到的内参数，将两幅图像的由像素坐标系转换到相机坐标系。

分别对左、右两个相机坐标系进行旋转得到新的相机坐标系。

在新的坐标系下，对左、右相机去畸变

分别利用左、右相机的内参数，将两个相机坐标系转化为图像像素坐标系。

利用原始左、右图像对新的左、右图像的像素点进行插值。

经过上述操作过程的左右图像已经满足极线对准，其左、右对应的像素点都具有相同的行号。

1.4双目匹配与视距计算

双目匹配是整个双目视觉测量中的重点与分析的热点，双目匹配的准确度直接影响后续三维计算的准确程度，图像矫正可使得匹配的搜索范围由二维减小到一维，且由于左右图像拍摄时光照相同，拍摄的目标相同，因而匹配点的灰度具有一致性，然而受噪声、无纹理区域、深度不连续等因素的影响，匹配仍是一个困难且复杂的过程。

主流的双目匹配算法包括全局最优化、局部最优化算法以及半全局最优化算法。

局部最优化算法由三部分构成：匹配代价计算、代价凝视以及视差计算。最常见的局部优化算法包括基于区域、相位、三角剖分、变化的匹配算法及混合式匹配算法。

全局最优化方法由匹配计算和视差计算两部分组成，主要的方法包括基于动态规划的匹配方法、最大流-最小割方法及协同迭代算法。

半全局算法通过图像上多个方向上一维路径的约束，来建立一个全局的马尔科夫能量方程，在每个方向上按照动态规划的思想进行能量累积，然后将各个方向上的匹配代价相加得到总的匹配代价。

全局最优化匹配算法的所需要的时间过多，基本无法在大量的图像进行匹配时使用，因此实验与实际生产过程中更多的使用局部最优化算法SAD和半全局优化算法。

1.5三维计算

三维计算是利用双目视觉图像以及双目匹配计算得到的视差图恢复图像中的空间点的三维坐标的过程。该计算可使用立体成像几何法的基本原理进行计算。如图7为是双目立体视觉原理图，P为空间中的某一点，在左右图像上的投影点分别为Pleft和Pright，OL和OR是左右相机的光心，B为基线。

由三角几何关系有：

由上式可得

因此，只要能够得到f等相机内参数，并能找到每个点在两个相机的成像点，则可直接计算该点在相机坐标系下的三维坐标值

四、下面结合基于单目视觉的玉米叶片表型参数的提取对本发明作进一步描述。

2、基于单目视觉的玉米叶片表型参数的提取

2.1摄像头标定与图像获取

2.1.1摄像头标定

本发明选用Bumblebee2双目摄像头的左摄像头进行单目图像采集。采用张正友标定法进行标定，将摄像头放置在不同的角度(位置)对标定板进行图像采集，然后于所拍摄图像中提取特征点及相应的图像坐标，再通过与对应世界坐标间的关系来获得摄像头的内部参数。本发明通过张正友标定法标定左摄像头所得的内参矩阵为：

2.1.2图像获取

玉米图像拍摄于内蒙古大学的一块试验田。本发明选用Bumblebee2双目摄像头的左摄像头进行单目图像采集。拍摄后期由于玉米生长较高，不便于其图像采集，故换做手机(型号：Vivoxplay3s)进行拍摄，同时将其图像分辨率设置为480*640。为计算叶片的相关参数，拍摄时，需要记录摄像头与水平方向的倾角以及拍摄时的物距；同时为尽量消除复杂背景对其枝叶提取的影响，拍摄时采用白纸或黑布遮挡的方式，以将单株玉米与其他玉米植株进行隔离。拍摄时间从玉米的三叶期到成熟期每隔10天左右进行一次拍摄(2017年6月-2017年9月)，每株共计13幅图像，玉米品种为糯甜200。。

2.2利用GrabCut算法提取作物目标

GrathCut算法由Boykov[51]等提出和检验，是一种较为流行的基于能量优化的图像分割算法。该算法将图像分割与图的最小割问题相关联，通过利用灰度统计直方图求解最大流，而图像的最大流与最小割是等效的，将最小割对应于能量的最小化，从而完成图像的分割。CarstenRother[53]等在GrathCut算法基础上由原来的灰度直方图替换为red、green、blue三通道的高斯混合模型，最终通过多次迭代可实现彩色图像的分割，该算法被称为GrabCut算法。MalcolmJ等使用更方便快捷的黎曼度量进行计算，从而提升了GrabCut算法的执行效率。张等对GrabCut算法进行改进，使其对有丰富纹理信息的图像提取更为精准。

本发明利用GrabCut算法提取目标作物，框选玉米目标后，一次提取的结果不够理想，随后，手动输入多次确定前景点和确定背景点，然后进行迭代可得到一个较为理想的结果，整个过程需要重复指定确定前景点和确定背景点，需要花费大量的时间。

考虑到直接使用GrabCut算法需要花费较多时间，而通过拍摄得到的玉米生长图像为RGB8位模式，由于作物在生长周期呈绿色，且在田间环境下拍摄，因此可用绿色提取算法取代手动标记前景点和背景点。在农田导航方面用的较多的绿色提取算法为传统的颜色索引算法ExcessGreen(ExG)+auto-threshold，但在自然环境下光照变化对该算法分割图像的阈值有显著影响。张志斌等提出了一种有效简单的图像分割算法，对作物-土壤、光照变化不敏感，因此适合用作初步提取前景点和背景点。其他的一些基于深度学习的绿色像素提取算法，虽然可拥有更高的准确性，但由于其提取绿色像素是基于神经网络等需要大量的计算时间的模型，因此不适合用来初步提取前景点和背景点。

故可使用张志斌等的绿色像素提取方法来对选择框内的像素进行绿色像素提取，以减少手工标记的次数。该文献中的绿色像素提取公式为：

其中p为待处理的像素点，p.G、p.B、p.R分别为p点在RGB模式下，green、blue、red分量的灰度值。在GrabCut算法中执行完第一步框选后，会对图像像素进行初步划分。其中，选择框内为可能前景点，选择框外部为确定背景点，依据上述的绿色像素提取算法，可对选择框内的像素点进行逐点计算，其对应f(p)值若为1，则设置为可能前景点，否则设置为可能背景点。由于阴影等的影响，前景点中会存在较多错误点。需要执行开运算将较小的区域去除，同时，将f(p)为0的像素点设置为可能背景点改进后的GrabCut算法，直接迭代就可得到较为理想的效果。

嵌入f(p)过滤后GrabCut算法流程图如图8所示。

常用的图像分割算法还包括分水岭算法、均值漂移算法及基于不同因子的Indices算法，这里分别选取对绿色目标较为敏感的ExG(超绿)、ExR(超红)、CIVE(植被的颜色指数)、ExGR(超绿减超红)、表示为VEG(植被指数)等因子。采用上述算法分别对玉米及白菜图像进行分割，并与嵌入f(p)的Grabcut算法进行比较。

由于后续需要对分割结果二值化并提取玉米植株的骨干，因此需要分割算法在尽可能多的保留目标植株的绿色像素的同时可较好的去除杂草等非目标植株的绿色像素。

对比试验使用的算法中，GrabCut算法和分水岭算法属于需要交互的算法，均值漂移和Indices算法属于无交互算法。从分割结果可看出，没有交互操作的均值漂移算法很难对作物目标进行分割。Indices算法对绿色像素保留的最为完整，但会保留杂草以及地面产生的阴影，这不利于后续的实验。而分水岭算法效果稍好，但需要用户大量进行手动标记。嵌入f(p)的GrabCut交互简单，大多数情况下一次迭代即可得到较为理想的结果。如受阴影、强光的影响较为严重时，进行较少量的的交互也可得到满意的分割结果。因此，就提取绿色植株目标而言，嵌入f(p)的GrabCut算法是最为适宜的。

2.3玉米个体植株图像骨干化

对采用嵌入f(p)的GrabCut提取的玉米个体植株进行二值化操作后执行重复腐蚀，直到其的厚度为1个像素为止，细化玉米个体枝干，得到其骨干化结构。

执行细化操作会导致许多伪叶片骨干出现，进一步会对叶倾角的提取造成一定影响。因此，本发明下一步进行玉米骨干图像中线段的划分与筛选。

2.3.1玉米主干提取

该部分的工作为寻找玉米植株的主枝干，以确定其中心线。这对后续叶子的筛选至关重要。具体步骤：1)找到该骨架图上的最高黑点；2)从该点向下扫描，选取正下方像素、正下方左、右相邻的像素进行记录，直到无法增长为止。由此，可得玉米植株的主干。

2.3.2叶片线段的划分

对于植物的骨干图像，其上面有较多不属于叶子的伪叶片线段，因此，首先需要对其线段进行划分。玉米一个叶片上的线段，由放大部分可见，图像中包括一条长线段及三条与长线黏连的短线段。划分的目的即把这三条线段作为伪线段进行删除。

通过仔细观察玉米的生长形态结构，发现玉米的枝干中不存在方向突变的部分。由此，可采用八邻域搜索算法对玉米线段进行划分的。玉米线段划分的算法流程图如图9所示。

其中k为记录的方向信息的队列的大小，通过反复验证，在当前实验环境下，k值取10时，效果最为理想。

使用工具与手动划分进行对比，如表3.1所示，对于所选择的16张图像，自动划分的结果与手动划分的结果相比较，错误率最低为0％，最高的错误率率为9.1％。平均错误率为5.27％。该算法对玉米作物骨干图像上的线段的划分有较为准确的结果。

表3.1线段划分结果评价表

Table3.1Accuracyoflinesegmentdivision

2.3.3基于单目视觉的玉米叶片参数获取模型

单目测量系统具有结构简单、相机标定容易等特点，还可避免立体视觉小视场带来的问题和匹配困难问题，被广泛应用在距离测量，车辆导航，智能机器人等领域。本发明采用单目测量系统。如图10.

其中Z为拍摄距离，f为相机的焦距，θ为摄像头与水平方向的夹角。对于竖直方向，v为现实世界物体Y在图像上的像素值，dy为一个像素在v轴方向上的尺度，则对于竖直方向有：

对于水平方向，u为显示物体X在图像上的像素值，dx为一个像素在u轴方向上的尺度，则有

其中f、dx、dy等参数可由相机标定获得。

由公式(3-3)、(3-4)可整理得到现实世界的X，Y计算公式

2.3.4玉米叶片骨干的提取

依据植物虚拟模型理论，在一般条件下，玉米叶片完全展开时，叶脉曲线呈一条光滑的二维曲线，常用一元二次方程来表示。

Ax²+By²+Cxy+Dx+Dy+G＝0 (3-7)

但该方程参数不易确定，郭新宇等[62]利用模拟质点在空间的运动轨迹，进一步简化了该方程，如图11所示。曲线与x轴初始的夹角为α，h为最大高度，可得公式。

由式3-8可知，y是关于x的二次函数，由此可对2.5.1中划分结果中的每一条一个线段执行一次二次函数拟合，令

则拟合公式为：

y＝ax²+bx (3-10)

其中，x与y分别为每条线段上的像素(u，v)，利用式3-5、3-6转换可得对应的世界坐标值。

对每条线段完成拟合后，对拟合结果执行第一步筛选：将拟合线段相对于枝干的位置进行延长，因玉米叶片必定与主干相交，故去掉延长后与枝干不相交的线段。

对拟合结果执行第二步筛选：由公式3-6、3-7可知，玉米枝干在理想情况下，为二次曲线，故只保留拟合结果中R-square大于0.85以上的线段，同时由于玉米植株生长特性，其叶片近似为开口向下二次曲线，则需要拟合结果满足二项式系数a<0。故需要删除拟合结果中a>0或R-square<0.85的线段。

为了评价该筛选算法，对于所选择的16张图像，分别对其进行自动筛选和手动筛选，对其得到的叶片骨干数进行比较，如表3.2所示，算法得到的叶片骨干平均错误率仅为2.85％。可见算法对玉米作物骨干图像上叶片的筛选有较为准确的结果。

表3.2线段筛选结果评价表

Table3.2Linesegmentscreeningresult

2.4叶片生长形态参数的提取

2.4.1叶倾角的计算

叶倾角可直观的反应叶片的健康状况，且与玉米产量呈正相关。传统手工或自动测量方式均为将叶片靠近底部的一部分近似看做直线，如文献利用Hough变换检测叶片直线，测量其与茎的夹角。然而，由于玉米叶片是一个二次曲线，因此传统的测量方法往往得到的是一个近似值。本发明设计一种基于整个叶片在空间位置的信息计算叶倾角的方法。

以玉米叶片与枝干的交点为坐标原点进行二次拟合，则该叶片的叶倾角，即为该叶片对应二次函数在坐标原点的切线与X轴的夹角。对式3-10进行求导，则有

y'＝2ax+b (3-11)

则在玉米叶片与主干相交即原点时有，x＝0，则该点的切线方程的斜率为

y′＝b (3-12)

再联合式3-8，其中α为叶倾角，可求出叶倾角

α＝arctan b (3-13)

2.4.2叶片最大高度的计算

叶片的最高高度可采用单目测量技术进行计算，对该骨干曲线进行扫描，则可得到A点组成曲线的所有像素点中的最低点，B为其中的最高点。其中A点的像素坐标为(u₁，v₁)，B点的像素坐标为(u₂，v₂)。

则可利用式3-5、3-6以及A、B两点的像素坐标，求得A、B两点在相机坐标系下，Y方向的坐标值YA、YB

则最大高度h为

h＝Y_B-Y_A (3-16)

整理可得

依据式可计算得到叶片的最大高度。

2.4.3叶倾角及最大高度的变化规律

通过对植物生长过程中92天的测量数据，以7天为一个周期，共13幅的玉米作物图像，采用上述步骤对玉米的叶片的叶倾角及最大高度进行提取，以分析每片叶子叶倾角及最大高度随时间的变换规律。

对于不同叶片，其叶倾角会随着生长时间逐渐减小，而玉米个体植株生长早期的叶片叶倾角的下降速度较快，后期的叶片的叶倾角的下降速率较慢。玉米叶片生长初期时，呈近似直立状态，随着其生长，会不断向水平方向变化直至枯萎，因此，叶倾角会呈现下降趋势。早期的叶片生长周期较短，该变化过程持续时间较短，因此叶倾角的下降速率较快。后期的叶片生长周期较长，因此叶倾角的下降速率较快。

玉米叶片的最大高度呈现先增加再减少的变化规律，玉米初期叶片长度较短，因此最大高度较低。随着叶片的长度不断增加，叶片的最大高度也会随之增加.最后叶片生长后期，其长度基本不会生长，但叶片会逐渐趋于水平，因此最大高度会降低。叶倾角及最大高度的变化规律符合事实情况，这对于玉米的虚拟植株分析和监测有重要意义。

本发明提出一种基于视觉的玉米个体植株叶片叶倾角及最大高度的计算方法。该方法可较好提取个体植株不同叶片的骨干，可准确的检测出叶倾角及最大高度。同时分析了一个生长周期的玉米植株上的玉米叶片的叶倾角及最大高度随时间的变化规律，这些规律与植物实际生长相符，可证明本发明提出的方法的有效性。

五，下面结合基于双目视觉的作物个体参数的提取及与产量的相关性分析对本发明作进一步描述。

3、基于双目视觉的作物个体参数的提取及与产量的相关性分析

3.1双目测量技术试验验证

本部分通过利用双目视觉测量技术测量现实物体的尺寸，来验证双目视觉的准确度与可靠性。为了手工测量的准确与方便，待实验的测量物体应该为刚性且易于拍摄和测量。同时，由于标定板尺寸与玉米植株相比较较小，而误差与物体的实际尺寸有关，而内蒙古大学210实验室的门的高度和宽度与玉米植株的尺寸相似。故选取内蒙古大学实验室的门作为测量目标。

3.1.1实验设备

在实验过程中使用的双目摄像头，作者选择了灰点公司开发的第二代双目相机Bumblebee，该立体视觉摄像头的3D数据质量、处理速度、尺寸和价格与同类设备相比，均处于适中水平，在本实验条件下使用较为适宜。

3.1.2双目摄像头标定

相机标定使用张正友的两步标定法。本发明实验过程中使用的双目相机采用张正友的标定法进行标定后，得到的左相机内参数矩阵M1为

得到的右相机内参数矩阵M2为

得到的右相机相对于左相机的外参数旋转矩阵R、平移矩阵T为

3.1.3实验图像获取与矫正

实验在室内环境下采用双目摄像头对门进行拍摄，测量时，使用卷尺直接测量门的高度宽度等信息。

完整待测的目标的拍摄后，使用相机标定得到的参数对图像进行矫正。

3.1.4双目匹配以及视距计算

双目匹配算法使用计算速度和匹配精度都适中的半全局匹配算法。本发明双目图像匹配和视距计算按如下步骤进行：

利用半全局匹配算法分别得到不同的匹配点。

计算每个匹配像素的视差。

利用三维计算相关技术计算视距。

3.1.5三维计算与重建

该部分利用双目视觉图像以及双目匹配计算得到的视差图恢复图像中的空间点的三维坐标的过程。该计算可使用立体成像几何法提到的基本原理进行计算，然而该方法计算精度不够高，因此在实验中三维重建使用了高精度的最小二乘法得到了图中每个像素的三维信息。将门上的所有三维点云进行三维显示，

3.1.6误差分析

为计算门的高度、宽度信息，需要找到门的四个角的点以及其对应的三维坐标，在矫正后的左图像的标记四个角的对应像素点(D1、D2、D3、D4)。

选点后，在对应的三维点云中找到这四个点在相机坐标系下对应的坐标，如表4.1所示。

表4.1像素坐标系与相机坐标系的转换

Table4.1Transformationsofpixelcoordinatesystemandcameracoordinatesystem

完成门的四个点的计算后，可使用其计算门的长度、高度信息，并与使用卷尺测量得到的结果进行对比。

通过点D1、D2的欧式距离的计算，可得到门的世界坐标系中的高度为2.1141m。通过点D1、D4的欧式距离的计算，可得到门的世界坐标系中的宽度为0.9429m。通过米尺实际测量的门的高度和宽度为：2.05m和0.90m。因此，在本实验过程中，对于门的高度以及宽度测量的误差率分别为：3.1268％和0.476％。

通过以上实验可见，利用双目摄像头，通过标定、矫正、匹配等技术，可较为准确地测量待测物体，且误差度较小，可满足实验需求。

3.2玉米图像的三维点云计算

3.2.1图像采集

双目视觉使用的玉米图像同样拍摄于内蒙古大学的试验田。实验使用的为水平放置的640*480分辨率的双目摄像头(型号：Bumblebee2)进行拍摄。每次拍摄三张图像用作实验中图像处理。拍摄时间从玉米的三叶期到成熟期，间隔2-3天进行一次拍摄(2017年6月-2017年9月)，每株共计30幅图像，玉米品种为糯甜200。

3.2.2玉米图像矫正

分别对玉米原始图像采用图像矫正的步骤进行矫正。

3.2.3玉米图像匹配与视距计算

全局最优化匹配算法的在实验时发现所需要的时间复杂度过多，基本无法再大量的图像匹配时进行使用，因此实验中使用局部最优化算法SAD和半全局优化算法进行对比。

本发明双目图像匹配和视距计算按如下步骤进行：

利用两种不同的匹配算法分别得到不同的匹配点。

计算每个匹配像素的视差。

利用相关技术计算视距。

通过两种算法分别计算得到的视距图。

由图中可看出，对比SAD算法和半全局匹配算法的计算结果，半全局匹配算法可得到更多的匹配点，尤其是对于无纹理特征的白纸板和黑色幕布，也能有很好的匹配结果。因此在实验中采用半全局匹配算法进行双目匹配与视距计算。

3.2.4玉米图像三维点云计算与双边滤波去噪

玉米二维图像和三维场景中存在透视投影关系。这种投影关系可利用一个投影矩阵来描述。首先，利用少量图像的三维信息恢复投影矩阵。然后，通过双目相机的双投影矩阵，使用最小二乘法即可恢复每一点的三维信息。

由于摄像头精度不高，玉米三维结构复杂，无连续完整的面结构，所获得的深度数据噪声较大，故需要对其进行去噪。Fleishman等提出基于双边滤波的三维点云去噪方法。双边滤波是一种非线性滤波方法，在滤波过程中同时利用空域信息和灰度相似性信息对图像进行去噪，既能有效地去除图像中的高频噪声又可有效地保留边缘特征。故本发明将三维点云深度转化为灰度图像，并对该灰度图像应用双边滤波以对三维点云内部高频噪声去除。

将三维点云深度转换为灰度图像，应用双边滤波的结果。

图中灰度值代表每个像素点距离拍摄位置的远近。图中圈内便为一处使用双边滤波去除的高频噪点，同时可以较好的保留整个玉米植株的边缘特征。

三维重建后的玉米图像三维点云示意图。

图中的颜色代表每个点距离摄像位置的远近。从三维重建结果可以看到，经过上述操作，可以较为准确的从二维图像恢复其三维信息。

3.3玉米植株的表征参数提取

在完成玉米植株图像的三维点云计算的基础后，通过对矫正后的原始左图像的骨干化处理，本发明设计了一种简单有效、非接触式的玉米高度、宽度及节数的测量方法。

由于本发明实验采集的图像包含了植株的整个生长周期，因此可用来对高度、宽度、节数信息进行实时监测，并分析一个生长周期内。玉米高度、宽度、节数的变化规律。

3.3.1玉米植株的高度与宽度信息的提取

首先，需要利用提到的骨干化算法对玉米对象执行骨干化操作。三维计算过程中，所有的计算都使用矫正后的左视图作为基准图像，因此选取其做图像作为骨干化处理对象。

随后利用骨干图像计算玉米的高度与宽度信息。需要利用骨干化图像找到玉米的四周边界点。在骨干化图像中，可方便地利用软件编程扫描得到玉米植株的最右点(B点)、最左点(D点)、最高点(A点)以及最低点(C点)。

最后采用与4.1.5节类似的操作进行计算，记录A、B、C、D四个点的坐标。随后，在利用双目测量技术得到的玉米三维点云中，找到A、B、C、D在相机坐标系下的三维坐标，结果如表4.2所示。

表4.2边界点对应的三维坐标

Table4.2Threedimensionalcoordinatescorrespondingtotheboundarypoint

则，图像中，玉米作物的高度H为

H＝|YA-YC|＝1.305m

其中YA、YB分别表示A、B两点在世界坐标系下的Y坐标值。

玉米的宽度W为

W＝|XB-XD|＝0.8965m

该玉米植株图像拍摄于2017年7月11日，拍摄当天利用标尺测量并记录了玉米植株的高度及宽度信息。手动测量得到的高度为1.3855m，宽度为0.9012m。可见，由于骨干化的原因，利用双目视觉自动测量的高度值及宽度值均略小于实际测量值，然而误差率仍然仅为5.81％和0.52％。可得出，该测量方法，仍有较高的准确性，可直接在实验中作为玉米植株的实际高度、宽度值使用。

3.3.2玉米植株的节数信息的提取

节数信息作为另外一个较为重要的植株信息，也可较为直观地反应玉米植株的生长时间、生长状况等。节数信息利用目测可较为准确地得到。本发明基于骨干化图像以及角点检测设计一种简单快捷的玉米个体植株的节数的检测方法。

仔细观测玉米骨干图像，可发现玉米不同节的分节点都为该图像的一个角点。因此对玉米骨干化图像使用Harris算法进行角点检测。Harris角点检测算法是由C.Harris和M.J.Stephens[67]提出的一种经典的角点检测算法，该算法可准确地检测图形角点。通过对阈值的设置，可检测不同程度的角点信息。

不同的阈值下，可检测出的角点的个数不同，当阈值选择70时，可检测出玉米植株所有节的分节点。通过多幅图像玉米骨干图形进行试验验证，发现在阈值设置为65-75之间时，有较好的效果。小于65时，虽然可检测到所有的分节点，但也检测到了较多的非分节点，存储这些非分节点导致程序花费更多的内存开销。大于75时，虽然检测到的非分节点较少，但同时也会丢失分节点。因此，在节数的测量中，阈值设置为70。

完成角点的检测后，即使阈值设置为较为合适的70，也会在叶片上检测到非分节点的角点，因此，需要对检测到的角点进行筛选。

对骨干化图像使用提出的主干提取算法提取主干。

利用该主干进行角点筛选，只保留主干上的角点，结果即为较为准确的分节点。

检测到的分节点个数为9个，则采用该节数自动检测算法检测到的节数为10节，与实际结果相符，因此证明了该算法的有效性。

3.4玉米植株的表征参数变化规律的分析

3.4.1玉米植株的高度变化规律

分别对玉米生长周期内拍摄的30幅图像执行4.3.1的高度信息提取操作，计算每幅图像中的玉米植株的高度，结算结果如表4.3所示。

表4.3玉米植株高度表

Table4.3Heightofmaizeplant

为了分析在生长周期内，玉米植株的变化规律，将表格绘制成折线图12，

由图12可见：(1)玉米植株在中后期会有较快的生长速率，与当地的光照强度以及玉米本身的生长特性有关；(2)玉米生长后期，其高度基本不再发生变化，维持在250cm左右。这与文献分析结果相符。

3.4.2玉米植株的宽度变化规律

分别对玉米生长周期内拍摄的30张图像执行宽度信息提取操作，计算每幅图像中的玉米植株的宽度，结算结果如表4.4所示。

表4.4玉米植株宽度表

Table4.4Widthofmaizeplant

为了分析在生长周期内，玉米植株宽度的变化规律，将表格绘制成折线图，如图13所示。

由图13可见：(1)玉米单株宽度的变化趋势与高度一致，其生长的中后期单株的增加速率较快；(2)玉米生长后期其宽度基本不再发生变化，维持在105cm左右。同样与现有技术分析结果相符。

3.4.3玉米植株的节数变化规律

分别对玉米生长周期内拍摄的30幅图像执行4.3.2的节数信息提取操作，计算每幅图像中的玉米植株的节数，结算结果如表4.5所示。

表4.5玉米植株节数表

Table4.5Heightofmaizeplant

为了分析在生长周期内，玉米植株节数的变化规律，将表格绘制成折线图，如图14所示。

由图14可见：((1)玉米单株节数的变化趋势与高度一致，其生长的中后期单株节数的增加速率最快；(2)玉米生长后期其节数基本不再发生变化，维持在18节左右。

3.5玉米产量与表征参数相关性分析

完成了个体参数的提取以及变化规律的分析，分析植株个体的表征参数终极目的是用其评价玉米植株的生长状况，这直接影响到玉米个体产量。本发明为了验证玉米植株的个体产量与表型参数有关。以果实重量、节数、高度、果实长度、果实底端周长为分析参量，通过相关性分析分析这些参量对果实重量的影响关系。

本实验在内蒙古大学的试验田随机选取了50株成熟期玉米，测量其高度信息、节数信息、果实长度、果实底端周长。并称量其果实的重量，由此得到了50组数据。对该数据进行相关性分析和逐步回归分析。

3.5.1玉米植株个体参数和产量相关性分析

相关性分析于数据分析软件MATLAB中进行，将50组数据导入后，可直接使用corrcoef()函数计算任意两条数据之间的相关性，该函数使用的相关性计算公式为

分别利用该函数计算四种上述四个参数与果实重量的相关性，分析结果如表4.6所示。

表4.6植株性状与果实重量的相关系数

Table4.6Correlationcoefficientbetweenplanttraitsandfruitweight

由上表可看出，本实验中的所有植株性状与果实重量都呈现显著相关，其中植株性状与产量关联度大小顺序为果实底端周长(0.7477)、植株高度(0.7103)、果实长度(0.6761)、植株节数(0.6516)。因此，本实验中选取的玉米品种(糯甜200)在当前种植条件下，果实的周长越长、植株越高，则玉米植株的产量会随之显著升高。

3.5.2玉米植株和产量逐步回归分析

在回归分析中，逐步回归是对多个变量进行分析的有效方法，逐步回归的基本思想是逐个引进自变量，保留对最终结果影响显著的变量，剔除不显著的变量，最后使得整个拟合结果达到最优。逐步回归分析的工作使用R语言完成，将50组数据导入后，使用lm()函数进行逐步回归后，即可得到回归结果如图15所示。

则可建立植株个体产量与表型参数的拟合方程

y＝0.7413x₁+0.3946x₂+0.309x₃+0.4486x₄ (4-6)

其中，y为植株果实的重量，x₁为果实底端周长，x₂为果实长度，x₃为植株节数，x₄为植株高度。逐步回归的拟合方程的系数表达了各个自变量与因变量的关联度，从式(4-6)中可见，植株性状与产量关联度大小顺序为果实底端周长、植株高度、果实长度及植株节数，这个结果，与相关性分析所得结论一致。

六.下面结合效果对本发明作进一步描述。

精准化、信息化与自动化是现代农业的新要求。为实现玉米表征参数的自动化提取，本发明将图像分割、单目视觉、双目视觉等应用于该项目标上进行了大量的分析工作。主要完成工作如下：

(1)在玉米的一个生长周期内，利用单目相机与双目相机拍摄了大量的不同生长阶段的玉米图像，为后期实验分析提供了丰富的实验数据；

(2)利用改进的GrabCut算法对玉米图像进行分割，通过与原始的GrabCut算法、分水岭算法和均值漂移算法对比，证明改进后的GrabCut算法有更好的分割效果；

(3)设计了细化算法对图像中玉米枝叶进行细化处理，设计了八邻域搜索算法对玉米枝叶线段进行划分和筛选，可获得较好的玉米个体骨干图像；

(4)采用单目视觉对于玉米的叶片的叶倾角、叶片最大高度进行测量，并分析玉米生长周期内，叶倾角、叶片最大高度的变化情况。

(5)介绍了高度、宽度、节数等内部性状计算的具体方法，分析了生长周期内的，玉米植株的这些性状的变化规律。最后分析了高度信息、节数信息、果实长度、果实底端周长等与植株个体产量的相关性；

本发明所做工作完成了预期的实验目标，然而依然存在许多不足。

在单目视觉提取叶片相关参数方面，提取的过程中使用的玉米图像有白纸或黑色幕布作为背景，因此该参数提取仍需要人工干预。下一步可考虑进一步完善玉米提取算法，使得拍摄过程中不需要白纸或黑色幕布。

在双目视觉提取玉米植株高度的时候，使用的双目测量方法多大是已成熟的算法，在一个程度上缺乏创新性。

整个分析涉及了玉米叶片的叶倾角、叶片最大高度，玉米植株的高度，基本涉及了玉米的重要表征参数，然而对于一些较为不常用的参数如玉米果实的长度变化等并没有涉及，下一步可考虑进一步完善分析的参数。

实验最后分析了高度信息、节数信息、果实长度、果实底端周长等与植株个体产量的相关性，然而数据来源仍依靠与手工测量，下一步可通过计算机视觉自动化的获取相关数据。另外，分析个体参数尚不够完全。

关键代码

GrabCut算法嵌入f(p)daima代码：

玉米双目图像三维测量代码：

clear all；

clc；

load sp40mm2coef0com.mat；

I1＝imread('L50.bmp')；

I2＝imread('R50.bmp')；

[J1,J2]＝rectifyStereoImages(I1,I2,stereoParams)；

imwrite(J1,'after1.bmp','bmp')；

imwrite(J1,'after2.bmp','bmp')；

disparityMap＝disparity(rgb2gray(J1),rgb2gray(J2))；

figure；imshow(disparityMap,[0,64],'InitialMagnification',50)；

colormap('jet')；

colorbar；

title('Disparity Map')；

pointCloud＝reconstructScene(disparityMap,stereoParams)；

pointCloud＝pointCloud/1000；

[reducedColorImage,reducedColorMap]＝rgb2ind(J1,8)；

hFig＝figure；hold on；

set(hFig,'Position',[1 1 840 630])；

hAxes＝gca；

X＝pointCloud(:,:,1)；

Y＝pointCloud(:,:,2)；

Z＝pointCloud(:,:,3)；

mesh(X,Y,Z)。

本发明实施例提供的基于视觉的作物长势表型参数量化与产量相关性分析系统包括：

玉米图像分割模块，将f(p)嵌入GrabCut算法进行玉米图像分割，与分水岭算法、均值漂移算法相比较；

细化处理模块，利用细化算法对图像中玉米枝叶进行细化处理；

个体骨干图像获得模块，采用八邻域搜索算法对玉米枝叶线段进行划分和筛选，获得玉米个体骨干图像；

分析模块，采用单目视觉测量技术，通过叶片叶脉二次模型拟合获得玉米叶片叶倾角及最大高度参数，并对获取的玉米生长周期内不同叶片的叶倾角及最大高度的变化规律进行分析。

本发明的另一目的在于提供一种搭载所述基于视觉的作物长势表型参数量化与产量相关性分析系统的基于视觉的作物长势表型参数量化与产量相关性分析设备。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视觉的作物长势表型参数量化与产量相关性分析方法，其特征在于，所述基于视觉的作物长势表型参数量化与产量相关性分析方法包括：

利用改进的GrabCut算法进行玉米图像分割；

利用细化算法对图像中玉米枝叶进行细化处理；

采用八邻域搜索算法对玉米枝叶线段进行划分和筛选，获得玉米个体骨干图像；

采用单目视觉测量技术，通过叶片叶脉二次模型拟合获得玉米叶片叶倾角及最大高度参数，并对获取的玉米生长周期内不同叶片的叶倾角及最大高度的变化规律进行分析；

单目测量技术包括基于小孔成像的单目测量技术，有：

测量Y方向的分量：

其中O₂为摄像头所在位置，已知摄像机高度拍摄高度H，相机拍摄的水平距离O₃M，图像的中心为(ucenter，vcenter)，待测点P在像素坐标系下的投影为P₁(u，0)，O₁M为相机光轴，α为拍摄时倾角，β为待测点P与相机光心连线与水平方向的夹角，γ为该连线与相机光轴的夹角；P₁为P在图像上的投影；图像X方向上的尺度为xpix，Y方向上的尺度ypix，摄像头焦距f；其中ucenter、vcenter、xpix及ypix由相机标定得出；

由相似三角形有

β＝α-γ

由上述公式整理得

O3P：世界坐标系下待测点P到摄像头中心垂足的水平距离；H:世界坐标系下摄像机高度；O3M：世界坐标系下摄像机光轴与地面交点到摄像头中心垂足的水平距离；O1P1：世界坐标系下P点在图像中投影到图像中心的距离；gypix：图像坐标系下Y方向上的尺度ypix，即Y方向像素大小；

所述基于视觉的作物长势表型参数量化与产量相关性分析方法利用GrabCut算法提取目标作物；用绿色提取算法取代手动标记前景点和背景点；绿色像素提取方法来对选择框内的像素进行绿色像素提取，绿色像素提取公式为：

其中p为待处理的像素点，p.G、p.B、p.R分别为p点在RGB模式下，green、blue、red分量的灰度值；在GrabCut算法中执行完第一步框选后，会对图像像素进行初步划分；其中，选择框内为可能前景点，选择框外部为确定背景点，依据上述的绿色像素提取算法，可对选择框内的像素点进行逐点计算，其对应f(p)值若为1，则设置为可能前景点，否则设置为可能背景点；执行开运算将较小的区域去除，同时，将f(p)为0的像素点设置为可能背景点改进后的GrabCut算法，直接迭代得到较为理想的效果；

所述基于视觉的作物长势表型参数量化与产量相关性分析方法采用基于单目视觉的玉米叶片参数获取模型，

采用单目测量系统，其中Z为拍摄距离，f为相机的焦距，θ为摄像头与水平方向的夹角，对于竖直方向，v为现实世界物体Y在图像上的像素值，dy为一个像素在v轴方向上的尺度，则对于竖直方向有：

对于水平方向，u为显示物体X在图像上的像素值，dx为一个像素在u轴方向上的尺度，则有

其中f、dx、dy参数由相机标定获得；

由公式(3-3)、(3-4)整理得到现实世界的X，Y计算公式：

玉米叶片骨干的提取，，玉米叶片完全展开时，叶脉曲线呈一条光滑的二维曲线，常用一元二次方程来表示：

Ax²+By²+Cxy+Dx+Dy+G＝0 (3-7)

曲线与x轴初始的夹角为α，h为最大高度，可得公式：

由式3-8可知，y是关于x的二次函数，由此可对划分结果中的每一条一个线段执行一次二次函数拟合，令：

b＝tanα，

则拟合公式为：

y＝ax²+bx (3-10)

其中，x与y分别为每条线段上的像素(u，v)，利用式3-5、3-6转换可得对应的世界坐标值；

对每条线段完成拟合后，对拟合结果执行第一步筛选：将拟合线段相对于枝干的位置进行延长，因玉米叶片必定与主干相交，故去掉延长后与枝干不相交的线段；

对拟合结果执行第二步筛选：由公式3-6、3-7可知，玉米枝干在理想情况下，为二次曲线，故只保留拟合结果中R-square大于0.85以上的线段，同时由于玉米植株生长特性，其叶片近似为开口向下二次曲线，则需要拟合结果满足二项式系数a<0，故需要删除拟合结果中a>0或R-square<0.85的线段；

叶片生长形态参数的提取包括：

(1)叶倾角的计算，采用基于整个叶片在空间位置的信息计算叶倾角的方法；

以玉米叶片与枝干的交点为坐标原点进行二次拟合，则该叶片的叶倾角，即为该叶片对应二次函数在坐标原点的切线与X轴的夹角；对式3-10进行求导，则有：

y′＝2ax+b (3-11)

则在玉米叶片与主干相交即原点时有，x＝0，则该点的切线方程的斜率为：

y′＝b (3-12)

再联合式3-8，其中α为叶倾角，求出叶倾角：

α＝arctan b (3-13)

(2)叶片最大高度的计算

叶片的最高高度可采用单目测量技术进行计算，对该骨干曲线进行扫描，则可得到A点组成曲线的所有像素点中的最低点，B为其中的最高点；其中A点的像素坐标为(u₁，v₁)，B点的像素坐标为(u₂，v₂)；

则可利用式3-5、3-6以及A、B两点的像素坐标，求得A、B两点在相机坐标系下，Y方向的坐标值YA、YB：

则最大高度h为：

h＝Y_B-Y_A (3-16)

整理可得：

依据式可计算得到叶片的最大高度；

(3)叶倾角及最大高度的变化规律

通过对植物生长过程中92天的测量数据，以7天为一个周期，共13幅的玉米作物图像，对玉米的叶片的叶倾角及最大高度进行提取，以分析每片叶子叶倾角及最大高度随时间的变换规律；

对于不同叶片，其叶倾角会随着生长时间逐渐减小，而玉米个体植株生长早期的叶片叶倾角的下降速度较快，后期的叶片的叶倾角的下降速率较慢；玉米叶片生长初期时，呈近似直立状态，随着其生长，会不断向水平方向变化直至枯萎，因此，叶倾角会呈现下降趋势；早期的叶片生长周期较短，该变化过程持续时间较短，因此叶倾角的下降速率较快；后期的叶片生长周期较长，因此叶倾角的下降速率较快；

玉米叶片的最大高度呈现先增加再减少的变化规律，玉米初期叶片长度较短，因此最大高度较低；随着叶片的长度不断增加，叶片的最大高度也会随之增加.最后叶片生长后期，其长度基本不会生长，但叶片会逐渐趋于水平，因此最大高度会降低。

2.如权利要求1所述的基于视觉的作物长势表型参数量化与产量相关性分析方法，其特征在于，基于小孔成像的单目测量技术，进一步包括：测量X轴分量；

其中O₂为摄像头所在位置，已知摄像机高度拍摄高度H，相机拍摄的水平距离O₃M，镜头中心点的图像坐标为(ucenter，vcenter)，测量点Q在像素坐标系下的投影Q₁(u，v)，O₁M为相机光轴所在直线，α为相机光轴与水平方向的夹角，β为待测点Q在O₂O₃Y平面上的投影点P与相机光心连线与水平方向的夹角，γ为该连线与相机光轴的夹角；图像X方向上的尺度为xpix，Y方向上的尺度ypix，摄像头焦距f；其中ucenter、vcenter、xpix及ypix由相机标定得出；

对于Y方向，O3P的计算采用

对于X方向，有

P1Q1＝(u-ucenter)gxpix

整理得：

PQ：两测量点在世界坐标系下欧氏距离；H:同上；u，v:测量点Q在像素坐标系下的投影坐标(Q1(u，v))；ucenter，vcenter：镜头中心点的图像坐标(ucenter，vcenter)；β：待测点Q在O2O3Y平面上的投影点P与相机光心连线与水平方向的夹角；xpix，ypix：图像坐标系下X、Y方向上的尺度，每个像素长宽值。

3.一种实现权利要求1～2任意一项所述基于视觉的作物长势表型参数量化与产量相关性分析方法的计算机程序。

4.一种实现权利要求1～2任意一项所述基于视觉的作物长势表型参数量化与产量相关性分析方法的信息数据处理终端。

5.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1～2任意一项所述的基于视觉的作物长势表型参数量化与产量相关性分析方法。

6.一种实现权利要求1所述基于视觉的作物长势表型参数量化与产量相关性分析方法的基于视觉的作物长势表型参数量化与产量相关性分析系统，其特征在于，所述基于视觉的作物长势表型参数量化与产量相关性分析系统包括：

玉米图像分割模块，利用GrabCut算法进行玉米图像分割，与分水岭算法、均值漂移算法相比较；

细化处理模块，利用细化算法对图像中玉米枝叶进行细化处理；

个体骨干图像获得模块，采用八邻域搜索算法对玉米枝叶线段进行划分和筛选，获得玉米个体骨干图像；

分析模块，采用单目视觉测量技术，通过叶片叶脉二次模型拟合获得玉米叶片叶倾角及最大高度参数，并对获取的玉米生长周期内不同叶片的叶倾角及最大高度的变化规律进行分析。

7.一种搭载权利要求6所述基于视觉的作物长势表型参数量化与产量相关性分析系统的基于视觉的作物长势表型参数量化与产量相关性分析设备。

Images