CN102200433A

CN102200433A - 一种基于计算机视觉的叶片面积测量装置和方法

Info

Publication number: CN102200433A
Application number: CN 201110046363
Authority: CN
Inventors: 赵春江; 王传宇; 郭新宇; 温维亮; 苗腾
Original assignee: Beijing Research Center for Information Technology in Agriculture
Current assignee: Beijing Research Center for Information Technology in Agriculture
Priority date: 2011-02-25
Filing date: 2011-02-25
Publication date: 2011-09-28
Anticipated expiration: 2031-02-25
Also published as: CN102200433B

Abstract

本发明公开了一种基于计算机视觉的叶片面积测量装置和方法。该装置包括双目摄像机(1)、支撑架(2)、背景板(3)、图像采集卡(4)、数据传输线缆(5)、计算机(6)，所述双目摄像机(1)位于所述支撑架(2)上，所述背景板(3)置于待测叶片后方，所述双目摄像机(1)、采集卡(4)和计算机(6)之间依次通过数据传输线缆(5)连接。本发明操作简便，测量精度高，有效地解决了传统测量方法对叶片破坏性大，易产生人为误差等问题，解决了由二维图像计算叶片三维曲面面积这一难题，能够高精度测量叶片面积的细微变化，为制定作物高产高效栽培措施提供参考指标。

Description

一种基于计算机视觉的叶片面积测量装置和方法

技术领域

本发明涉及机器视觉领域，特别是涉及一种基于计算机视觉的叶片面积测量装置和方法。

背景技术

叶片是作物的重要生理器官，光合作用、呼吸作用、蒸腾作用都是由叶片器官执行的，叶片面积的变化能够反映叶片光合产物数量积累的多少，能够反映作物植株对光温水肥等养分利用的情况。因此能够快速、准确、简便、无损的获取叶片面积，对制定作物的高产高效栽培策略起到促进作用。

传统的叶片面积测量方法包括经验公式法、九官格法、称重法，经验公式法通过叶片长宽和经验系数来估算面积值，精度不高。九官格法是将叶片平铺到画有固定大小格子的平板上，计算叶片覆盖的格子数，对于叶片边缘不能完全覆盖的格子面积的判断主观性太强，测量结果重复性差。称重法是在叶片上取一已知面积的叶片区域，称重后由重量比例换算面积值，这种方法具有破坏性，无法在同一叶片上持续进行。

计算机视觉测量技术具有无损、非接触、精确、自动化程度高等优点，其在叶片面积测量上已有应用，通过数字成像设备将植物叶片投影到摄像机二维成像平面上，然后分析数字图像中叶片像素数量与参照物的比例关系，进而获得叶片面积值。作物叶片特别是黄瓜叶片在三维空间内伸展，叶片上常常出现起伏与褶皱，以往的计算机视觉测量方法将叶片简化为二维平面模型，这种简化产生的误差是不可忽略的。因此，要获得更为精确的叶片面积值，需在三维空间内对叶片建立形态模型，到目前为止仍然没有一套适合的解决方案。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何准确获得叶片面积，满足制定高产高效果蔬栽培措施对叶片面积指标的需要。

(二)技术方案

为解决上述技术问题，提供一种基于计算机视觉的叶片面积测量装置，包括双目摄像机、支撑架、背景板、图像采集卡、数据传输线缆、计算机，所述双目摄像机位于所述支撑架上，所述背景板置于待测叶片后方，所述双目摄像机、采集卡和计算机之间依次通过数据传输线缆连接。

优选地，所述双目摄像机由两个相同参数的工业数字摄像机固定基线距离组成。

优选地，所述背景板上设置有凹槽，且所述凹槽设置为能够保证拍摄的叶片图像只包含待测量的目标叶片，去除其他背景因素的干扰。

优选地，所述双目摄像机与图像采集卡之间的数据传输线缆长度在3米以内。

优选地，所述图像采集卡与计算机之间的数据传输线缆长度在50米以内。

本发明还提供了一种基于计算机视觉的叶片面积测量方法，包括步骤：

S1，利用叶片面积测量装置，通过外部触发信号驱动双目摄像机采集叶片的图像；

S2，提取图像中叶片的边缘曲线，使用高斯模板对采集到的图像进行平滑滤波以去除噪声；

S3，使用决策曲面对去除噪声后的图像进行背景分割；

S4，使用差分高斯核作为特征匹配对应图像；

S5，使用三角测量算法重建叶片点云；

S6，以叶片点云重投影形状为约束对叶片点云三角网格化；

S7，由三角网格面积的累计值计算得到叶片面积。

优选地，在步骤S3中，

决策曲面形式为：

C = \frac{R^{2}}{V^{2}} + \frac{{(1 - G)}^{2}}{{(Y \times B + U)}^{2}}

其中R、G、B是红、绿、蓝三种颜色强度值(取值范围0-1)；V、Y、U是描述曲面形状的参数，V是还能够感知到绿色时红色所能取的最大强度值，即B＝0且G＝1时R的取值，Y是曲面边界在红绿平面的倾斜指数，U是当红蓝通道都为零时，能够感知到绿色时的最大绿色强度值与最小值之差，取值为V＝0.85，Y＝-0.37，U＝0.74。

优选地，在所述步骤S6中，使用Delaunay规则对点云数据进行三角剖分，从而对叶片点云三角网格化。

优选地，在所述步骤S7中，将点云重投影到图像平面上，若某个三角网格的边出现在叶片区域内，则保留此三角网格，若网格的边出现在叶片区域外，则去除此网格。

优选地，在所述步骤S7中，利用海伦公式计算每个三角网格的面积。

(三)有益效果

通过采用本发明的测量装置与测量方法能够实现对叶片面积的无损准确测量，图像分辨率可达3504×2336，测量分辨率可达0.06cm²。本发明操作简便，测量精度高，有效地解决了传统测量方法对叶片破坏性大，易产生人为误差等问题，解决了由二维图像计算叶片三维曲面面积这一难题，能够高精度测量叶片面积的细微变化，为制定作物高产高效栽培措施提供参考指标。

附图说明

图1是依据本发明实施方式的基于计算机视觉的叶片面积测量装置结构图；

图2是依据本发明实施方式的基于计算机视觉的叶片面积测量方法图像分析处理流程图；

图3是依据本发明实施方式基于计算机视觉的叶片面积测量方法由黄瓜叶片图像生成的叶片三维点云图；

图4是依据本发明实施方式基于计算机视觉的叶片面积测量方法生成的黄瓜叶片曲面三角网格。

其中，1：双目摄像机；2：支撑架；3：背景板；4：图像采集卡；5：数据传输线缆；6：计算机。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的基于计算机视觉的叶片面积测量结构如图1所示，包括双目摄像机1、支撑架2、背景板3、图像采集卡4、数据传输线缆5、计算机6。背景板3放置在待测叶片后方，双目摄像机1由两个相同参数的工业数字摄像机固定基线距离组成，放置在支撑架2上，双目摄像机1在外部信号触发下对黄瓜叶片和背景板3采集图像，双目摄像机1、采集卡4、计算机6之间通过数据传输线缆5连接。背景板3的尺寸为50cm×50cm，在背景板任一边缘的中间位置开启10cm×1cm的凹槽，使得带有叶柄的叶片能够穿过背景板3，以保证拍摄的叶片图像只包含待测量的目标叶片，去除其他背景因素的干扰。

利用上述测量装置进行测量的测量方法为：放置双目摄像机1于支撑架2上，背景板3放置在黄瓜叶片后1-3cm处，调整背景板3的朝向，调整支撑架2的高度，调整双目摄像机1的焦距，使得双目摄像机1的像平面与背景板3平行，背景板3在双目摄像机1上的成像充满整个屏幕，通过一个外部触发信号驱动双目摄像机1采集图像，图像采集卡4通过数据传输线缆5与双目摄像机1和计算机6相连，将双目摄像机1采集到的图像转化为数字格式传输给计算机6，双目摄像机1与图像采集卡4之间的数据传输线缆5长度在3米以内，图像采集卡4与计算机6之间的数据传输线缆5长度在50米以内，计算机6上配置了黄瓜叶片图像分析处理的软件环境，完成由黄瓜叶片图像三维重建其形态结构进而获得叶片面积值。

黄瓜叶片图像分析处理流程如图2所示，包括：高斯平滑滤波、背景分割、图像立体匹配、三维点云重建、三角面片化、叶片面积值计算，各步骤中具体算法描述如下：

1.高斯平滑滤波

图像中叶片边缘与背景板过渡区域，像素值变化剧烈，叶片边缘像素呈现锯齿状。这种现象不利于图像特征点的提取与图像立体匹配。为恢复叶片边缘的光顺性，需要对边缘像素进行高斯滤波。首先提取叶片边缘曲线，固定高斯平滑滤波模板尺寸，模板中的权值大小服从高斯分布，沿叶片边缘曲线移动模板窗口，锯齿区域受到滤波函数的平滑作用恢复光顺属性。

2.背景分割

双目摄像机拍摄的叶片图像中包含背景板和叶片，需把叶片图像从背景中分割出来以备下一步处理使用。叶片图像在自然光条件下拍摄，其光照强度无法人为控制，一般的阈值分割算法无法胜任此类情况，本实施例采用决策曲面法完成背景分割任务，决策曲面形式为：

其中R、G、B是红绿蓝三种颜色强度值(取值范围0-1)，V、Y、U是描述曲面形状的参数，V是还能够感知到绿色时红色所能取的最大强度值，即B＝0，G＝1时R的取值。Y是曲面边界在红绿平面的倾斜指数。U是当红蓝通道都为零时，能够感知到绿色时的最大绿色强度值与最小值之差。取值为V＝0.85，Y＝-0.37，U＝0.74。将归一化的图像RGB值代入决策曲面公式计算C值，若C值大于等于1则此像素属于叶片区域，若C值小于1则此像素属于背景区域。

3.图像立体匹配

图像立体匹配是指在两幅对应图像上找到同一物体点的投影点，黄瓜叶片纹理细节丰富，可使用鲁棒性较好的特征匹配算法，本实施例通过对不同层次的图像进行不同尺度的高斯滤波(x，y，kσ)，得到一组不同尺度的高斯图像L(x，y，kσ)。以本组第一帧图为基础，1/2比率向上采样，对此亚采样图像进行滤波处理得到第二组不同尺度的高斯图像，重复上述操作获得图像的高斯金字塔。同组内两相邻高斯图像做差获得高斯差分图像(difference of gaussian，DOG)，

的峰值点是最为稳定的特征，因此DOG图像上的峰值点就是待检测的特征点。例如，若某层DOG图像上的像素点在8个相邻点与上下两层各9个像素中是极值，则该点即为候选特征点。对候选特征点进行3D空间的二次插值精确定位，通过对D(x，y，σ)泰勒展开，去除对比度较小的特征点，计算Hessian矩阵的迹和行列式去除噪点与边缘点的影响。特征点须赋予一个抗旋转的方向，在特征点所在的尺度图像中计算邻域直方图，以累计超过80％的梯度方向为主方向，并在与主方向相邻的三个位置进行二次插值去除噪声影响最终确定特征点方向。检测出的特征点需要有相应的特征描述字(descriptor)才能进行匹配，与特征点方向类似，描述字(descriptor)也是建立在尺度图像邻域内的梯度方向直方图之上的，并为抗边界和光照影响做了相应处理。采用16x16邻域高斯加权梯度直方图进行统计，从而得到4x4x8＝128维的描述字。以特征点的描述字建立kd树，并采取近似最邻近搜索算法对特征点进行匹配。通过上述方法可以获取多组对应匹配点。

4.三维点云重建

三维点云重建是指通过摄像机投影矩阵与图像立体匹配点求解黄瓜叶片特征点三维坐标，投影矩阵、匹配点坐标、物体点坐标之间满足线性约束关系，摄像机的投影矩阵通过标定过程获得，图像立体匹配获得匹配点坐标，由这2个已知条件可求解3者组成的线性方程组，获得黄瓜叶片点云。叶片点云不可避免的受到噪声点的干扰，噪声点的来源主要是图像立体匹配中的误匹配，可根据对极几何约束关系，计算匹配点到对应极线的距离，与阈值比较后对噪声数据进行取舍。三维点云重建结果如图3所示。

5.三角面片化

从点云恢复叶片曲面需要对点云网格化，使用Delaunay规则可对点云数据进行三角剖分，Delaunay规则包括以下两个方面：三角形的外接圆内不存在其他三角形顶点；三维点云可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小角最大。黄瓜叶片靠近叶柄处呈现凹陷，直接三角剖分的结果会使凹陷处连接成三角网格，增加叶片面积。去除这些额外的三角网格的方法是将所有三角网格通过摄像机投影矩阵重投影到图像平面上，若三角形的边出现在叶片图像区域内则保留此三角网格，若边出现在叶片区域外则去除此三角网格。三角面片化结果如图4所示。

6.叶片面积值计算

设某三角网格三条边长为a、b、c，周长为p，则三角形面积s可由海伦公式计算，

累计组成叶片三角网格面积可计算出叶片面积S，

实施例2与实施例3所用测量装置与测量方法与实施例1相同，不同在于实施例1测量的是黄瓜植株中部叶片，实施例2测量上部叶片，实施例3测量下部叶片。测量结果如表1。

表1黄瓜叶片面积测量结果

由以上实施例可以看出，本发明实施例通过采用本发明的测量装置与测量方法能够实现对黄瓜叶片面积的无损准确测量，图像分辨率可达3504×2336，测量分辨率可达0.06cm²，本发明操作简便，测量精度高，有效地解决了传统测量方法对叶片破坏性大，易产生人为误差等问题，解决了由二维图像计算黄瓜叶片三维曲面面积这一难题，能够高精度测量黄瓜叶片面积的细微变化，为制定黄瓜高产高效栽培措施提供参考指标。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims

1.一种基于计算机视觉的叶片面积测量装置，其特征在于，包括双目摄像机(1)、支撑架(2)、背景板(3)、图像采集卡(4)、数据传输线缆(5)、计算机(6)，所述双目摄像机(1)位于所述支撑架(2)上，所述背景板(3)置于待测叶片后方，所述双目摄像机(1)、采集卡(4)和计算机(6)之间依次通过数据传输线缆(5)连接。

2.如权利要求1所述的基于计算机视觉的叶片面积测量装置，其特征在于，所述双目摄像机(1)由两个相同参数的工业数字摄像机固定基线距离组成。

3.如权利要求1所述的基于计算机视觉的叶片面积测量装置，其特征在于，在所述背景板(3)的任一边缘的中间位置开启凹槽。

4.如权利要求1所述的基于计算机视觉的叶片面积测量装置，其特征在于，所述双目摄像机(1)与图像采集卡(4)之间的数据传输线缆(5)长度在3米以内。

5.如权利要求1所述的基于计算机视觉的叶片面积测量装置，其特征在于，所述图像采集卡(4)与计算机(6)之间的数据传输线缆(5)长度在50米以内。

6.一种基于计算机视觉的叶片面积测量方法，其特征在于，包括步骤：

S1，利用如权利要求1-5任一项所述的叶片面积测量装置，通过外部触发信号驱动双目摄像机(1)采集叶片的图像；

S3，使用决策曲面对去除噪声后的图像进行背景分割；

S4，使用差分高斯核作为特征匹配对应图像；

S5，使用三角测量算法重建叶片点云；

S6，以叶片点云重投影形状为约束对叶片点云三角网格化；

S7，由三角网格面积的累计值计算得到叶片面积。

7.如权利要求6所述的基于计算机视觉的叶片面积测量方法，其特征在于，在步骤S3中，

决策曲面形式为：

C = \frac{R^{2}}{V^{2}} + \frac{{(1 - G)}^{2}}{{(Y \times B + U)}^{2}}

8.如权利要求6所述的基于计算机视觉的叶片面积测量方法，其特征在于，在所述步骤S6中，使用Delaunay规则对点云数据进行三角剖分，从而对叶片点云三角网格化。

9.如权利要求6或8所述的基于计算机视觉的叶片面积测量方法，其特征在于，在所述步骤S7中，将点云重投影到图像平面上，若某个三角网格的边出现在叶片区域内，则保留此三角网格，若网格的边出现在叶片区域外，则去除此网格。

10.如权利要求6所述的基于计算机视觉的叶片面积测量方法，其特征在于，在所述步骤S7中，利用海伦公式计算每个三角网格的面积。