CN102074012A - 结合图像和计算模型的茶叶嫩芽形态的三维重建方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开一种结合图像和计算模型的茶叶嫩芽形态的三维重建方法。首先获取茶叶数码图像，经颜色空间转换后，通过基于颜色和区域生长的改进算法来完成茶叶图像中茶叶嫩芽的分割，通过分割后的茶叶嫩芽图像，计算出嫩芽的三维坐标，并提取各项特征参数，然后根据茶叶叶形的数据模型库进行匹配和计算，结合图像通过VC++最后完成对茶叶嫩芽的三维枝叶重建。试验结果表明，此方法避免了大量的计算且具有很好的视觉效果，能够很好地恢复茶叶嫩芽的三维信息，并且提出的建模方法具有变化性，能对茶叶嫩芽的生长进行模拟。为茶叶的生长监测和无损检测提供了新的方法。

Description

结合图像和计算模型的茶叶嫩芽形态的三维重建方法 

技术领域

本发明属于图像处理技术领域，是一种结合茶叶图像和计算模型的对现场茶叶图像中茶叶嫩芽形态进行三维重建的方法。 

背景技术

植物形态三维重建是当前农学和计算机视觉领域研究的重要问题之一。通过植物形态的三维重建能够精确地再现植物的形态结构，分析与植物形态结构有关的定性、定量特征及生理生态过程。近年利用图像或视频进行农作物形态参数的精确测量和三维重建已经引起研究者越来越多的关注。这方面的研究报道最早多以树木为研究对象，其后在玉米、小麦等作物上也有了相近的研究。早期结合图像和L系统，通过构建虚拟外壳的方法对树木的轮廓进行了重建。或者采用三维数字化仪对白苜蓿的三维特征点进行测量，测量分析了叶面积指数等植物学特征，或者根据立体视觉原理，来建立植物幼苗的三维重建。 

但传统器官建模方法，如基于L系统的叶建模等，主要是基于图形学几何表示，模型的可控性较好，但视觉效果不理想，为了得到较为逼真的效果，必须进行高复杂度图形运算。基于图像的器官重建，虽然可以得到较好的视觉效果，但生长可控性较差。应用立体视觉系统重建过程中立体匹配需要准确交互才能确保正确，而利用三维可视化仪进行重建的系统成本太大。同时传统方法还存在测量准确度不高、重建的逼真度不够和对图像获取环境要求苛刻等问题。 

目前对现场茶叶进行精确测量及三维重建的研究还很少见，茶叶嫩芽的生长状态和成熟度对茶叶的采摘和后期的茶叶成品质量有着重要的影响，及时的掌握茶叶嫩芽的生长状态对茶叶的标准化规模生产有着积极的作用。本发明对茶叶嫩芽的分割和其后的三维形态进行了研究，提出了一种结合了茶叶真实图像和计算模型的茶叶嫩芽三维重建的方法。此方法因结合图像能很大地减少模型的计算量，而由于采用真实图像，能更好的重现真实的三维图像，同时结合了计算模型，能更好地模拟茶叶的生长。 

发明内容

本发明提出的结合茶叶图像和模型的茶叶嫩芽形态的三维重建，首先通过数码相机或摄像头取得茶树中茶叶的原始图像，经过去噪和颜色空间RGB到HSI的转换后，通过基于颜色和区域生长的改进算法来完成茶叶图像中茶叶嫩芽的分割和利用边缘检测算法对 分割后图像中的茶叶嫩芽进行边缘提取。再通过提取的茶叶嫩芽图像再计算出枝节的三维坐标，并提取出中轴、叶宽，叶长、叶倾角等各项特征参数。同时采集茶叶顶芽和幼叶的数码图像集，提取顶芽和幼叶特征参数，通过分析茶叶顶芽和幼叶特征，构建顶芽和幼叶形态的计算模型并建立茶叶叶片的数据模型库。然后将取得的嫩芽参数与已有的茶叶叶形的数据模型库进行匹配和计算，最后结合茶叶图像和所取得的叶轮廓和骨架，并采用VC++结合OpenGL完成对茶叶嫩芽的三维枝叶重建。此方法避免了单纯数学模型重建所带来的大量计算，也避免了单纯基于图像重建所需要的大量图像 

它的实现包含以下具体步骤： 

(1)获取茶树中茶叶原始图像； 

(2)将原始图像去噪和从RGB颜色空间转换到HSI颜色空间，并选取模型中的H和S参数作为茶叶图像的特征； 

(3)在图像中选择部分像素点作为种子； 

(4)基于生长规则对种子区域进行生长，将与茶叶嫩芽种子颜色性质相似的相邻像素附加在生长区域的种子上，基于合并规则对整幅图像的多个子块进行扫描，对在颜色上相近，空间上相邻的区域进行合并； 

(5)完成茶叶嫩芽的分割和对茶叶嫩芽进行特征参数的提取； 

(6)进行茶叶叶脉曲线模型和茶叶叶形形态模型的计算和与标准的茶叶叶形数据库进行数据匹配的计算； 

(7)完成茶叶嫩芽的三维重建。 

在茶叶图像中两个区域在颜色上相近，空间上相邻，并且其邻域处没有显著的边缘则可认为是两个可相连的区域。即一个区域与它的邻域的相对颜色距离的最大值要小于定义的阈值。颜色距离定义采用区域的色调分量均值进行计算，定义如下： 

$D_c=\frac{r_i\·r_j}{r_i+r_j}\left|\right|{\stackrel{\‾}{\mathrm{\μ}}}_i-{\stackrel{\‾}{\mathrm{\μ}}}_j\left|\right|$

其中r_i和r_j分别代表i和j区域中包含的像素个数， 

和 

代表两个区域的颜色均值，||||表示欧式距离。r_i和r_j的乘积使得包含像素数目较少的区域与其他区域的颜色距离相比较小，从而在颜色均值相同的情况下，有利于小区域的优先合并，使得分割结果更加符合人们的视觉特性。对于初始的分割区域，采用分级区域合并算法来完成最后的分割，即每次合并图像中距离最相近的两个区域，形成一个新的区域，同时新区域与其他区域的邻域 关系和距离也随之调整。 

在对茶叶的嫩芽的种子区域选取过程中，有可能由于在老叶片上也有相近的小的区域，使得分割结果区域中选出多个种子区域，造成错误或过分割的效果，为了解决这个问题，根据茶叶嫩芽和老叶在形状大小有较大的区别，通过边缘距离来有效地加以区别，同时对区域的合并进行一些限制。边缘距离的定义为： 

$D_e=\frac{1}{P_{\mathrm{ij}}}\underset{m,n}{\mathrm{\Σ}}\left|\right|x_m-x_n\left|\right|$

其中P_ij表示区域边缘上的像素个数，x_m和x_n分别表示边缘两侧的m和n点的位置值。||||表示欧式距离 

在茶叶叶脉曲线模型设计中，从力学的角度，我们可将茶叶叶脉简化成一个悬臂梁，设叶脉为一受重力作用的圆柱悬臂梁，因为重力作用而发生弯曲，假设茶叶叶片受均载荷q的作用，初始角度为茎叶夹角θ，E为弹性模量，I为惯性矩，根据力学原理，悬臂梁的挠度曲线方程为： 

$E\·I\·\frac{d^{2}v}{{\mathrm{dt}}^2}=-M$

而 

v(0)＝0，最后经两次积分得到： 

24E·I(xcos(θ)+ysin(θ))＝qsin(θ)[(xsin(θ)-ycos(θ))⁴-4L((xsin(θ)-ycos(θ))³+6L²(xsin(θ)-ycos(θ))²]取y₁＝xcos(θ)+ysin(θ)，x₁＝xsin(θ)-ycos(θ) 

则上式可简化为： 

$24E\·I\·y_1=q\sin \left(\mathrm{\θ}\right)(x_1^4-4{\mathrm{Lx}}_1^3+{6L}^2{x}_1^2)$

x₁，y₁为图2所示的X₁OY₁坐标系中的坐标，最后可得到：

$\left\{\begin{array}{c}x=y_1\cos \left(\mathrm{\θ}\right)+x_1\sin \left(\mathrm{\θ}\right)\\ y=y_1\sin \left(\mathrm{\θ}\right)-x_1\cos \left(\mathrm{\θ}\right)\end{array}\right.$

其中，L为叶脉曲线长度，θ为茎叶夹角，v为茶叶叶脉曲线弯曲挠度，即偏离叶脉初始状态的距离。在系统中E为常量，I和q为待定系数，通过改变L和θ的值，就会产生不同曲线形状，悬臂梁模型可较好地表征茶叶叶脉曲线，同时具有模型参数少，生物学 意义明确的优点。 

在茶叶嫩芽分割完成后的特征参数提取中包含有嫩芽轮廓、中轴、叶宽，叶长、叶倾角、叶枝的长度和直径。 

在茶叶叶形形态结构的模型设计中，进行了多次试验数据分析，提出如下茶叶形态结构知识模型。 

(1)茶叶叶片长度(LL)与叶序(N)的关系模型 

$\mathrm{LL}\left(N\right)=L_M\·e^{L_a(\frac{N}{N_M}-1^2)}$

式中L_M是单叶的最大长度，N_M是最长叶片所在叶序，设为品种参数；La是模型参数。 

(2)茶叶的叶形关系模型 

茶叶的叶形由沿伸展方向的叶宽变化而改变，叶宽(lw)与叶长(ll)具有一定的函数关系，可用下式表示： 

$\frac{\mathrm{lw}}{\mathrm{LW}}=a\·{\left(\frac{\mathrm{ll}}{\mathrm{LL}}\right)}^2+b\·\frac{\mathrm{ll}}{\mathrm{LL}}+c$

式中LL是叶片的长度；LW是叶片的最大宽度；lw一叶片在长度为ll处的叶片宽度；a，b，c为模型参数。 

(3)茶叶的面积关系模型 

叶面积与叶长、叶宽之积成正比，可用下式表示： 

LA＝k×LW×LL

式中，k为校正系数，其数值与叶片形态相关，随茶叶品种和叶序略有变化，一般取值范围为0.67～0.8。 

附图说明

图1是茶叶嫩芽三维重建系统概述 

图2是叶脉曲线悬臂梁示意图 

图3是茶叶图像获取方向图示 

图4是分割出的茶叶嫩芽 

图5是二值化的茶叶嫩芽图 

图6是茶叶嫩芽轮廓图 

图7是茶叶嫩芽中轴图 

图8是三维重建的叶片图 

图9是三维重建的茶叶嫩芽图 

图10是模拟的茶叶嫩芽生长图 

具体实施方式

茶叶的叶片着生在茎杆上，叶姿挺拔，叶片中央纵贯一条细长而坚硬的叶脉，形态特征十分明显，要在计算机上再现具有真实感的茶叶叶片，需构建出描述叶脉空间曲线、叶形特征、叶缘特征的数学模型。 

在同一枝条上，最上部为顶芽，随后是嫩叶和幼叶，一般上部新生叶较直立，随叶龄增长，自上而下，叶片渐趋平展，叶片形状为椭圆形，叶缘上有小锯齿，茶叶叶片为网状脉，具有明显的主脉，并向两侧发出许多侧脉，侧脉间又分出几条细脉。主脉和侧脉约成45～80°的角度。茶叶叶面有曲度，有沿主脉向外呈向上的一定小角度的折叠。 

茶叶叶片在形态建成的不同时期形态差别较大，根据茶叶的叶片形态变化特征，可将茶叶形态建成分为以下3个时期：(1)、叶芽期。指叶片开始伸长至叶尖开始展开前，此时为一稍弯曲的角状形。(2)、叶片展开期。此期茎叶夹角逐渐变大，叶片继续伸长并逐渐展开，展开部分的叶边缘出现小的锯齿。(3)、叶片定型期。此期叶片基本停止伸长，至叶片完全展开建成。 

描述茶叶嫩芽所取的模型参数均具有明确的生物学意义，包括有叶片长度、叶片宽度、叶脉空间走向、叶片展开比例和垂直最大高度差，以及叶倾角。通过这些参数再结合数据模型和茶叶图像，绘制出茶叶嫩芽的三维形态。 

实验中分别采用了从茶叶嫩芽正侧面(0°角)、斜向下(45°角)和垂直从上往下(90°角)3种不同的角度对茶树上的嫩芽进行取像，并分别对这3个方向的图像进行了分析和分割。在3个取样角度中，正侧面角度的嫩芽轮廓可以更清楚，形态也容易识别，但由于是茶叶嫩芽的侧面，所以影响了嫩芽形状的完整性，同时也影响了嫩芽图像的采集和嫩芽分割的准确率，而以45°角斜向下和90°角正上方垂直向下的这两种取像角度能较好地保证嫩芽形状的完整性，有利于正确的嫩芽分割。 

从实验结果来看，从正上方90°角取像所得图像，在分割中能较好地保持色域轮廓，但是不能很好地区别嫩芽和嫩叶，而相比之从斜向下方45°角取像所得图像，能较好地区别茶叶嫩芽和老叶，更能结合颜色和形态的关系，更有利于正确的分割，同时形态也较完 整和美观。 

在实验中使用CANON S80数码相机来对茶树中茶叶进行现场取像，在图像取像过程中，采用近景模式，关闭闪光灯，以避免闪光灯自身光线对茶叶颜色的影响，同时应在漫反射自然光下进行取像，避免阳光的直射，在取像中所取成像焦距为15cm，分辨率采用1600×1200。 

在茶叶数据模型库的建立中，是将茶叶叶片置于白色背景上，用数码相机取得茶叶叶片不同角度的图像，去除背景后，得到茶叶的叶片的数据模型库。分割后的叶片，使叶脉底端切线垂直于叶片长轴，便于三维重建后的茶叶叶片形态的恢复。 

Claims (6)

1.一种结合图像和计算模型的茶叶嫩芽形态的三维重建方法，其特征是包含以下具体步骤：

(1)获取茶树中茶叶原始图像；

(2)将原始图像去噪和从RGB颜色空间转换到HSI颜色空间，并选取模型中的H和S参数作为茶叶图像的特征；

(3)在图像中选择部分像素点作为种子；

(4)基于生长规则对种子区域进行生长，将与茶叶嫩芽种子颜色性质相似的相邻像素附加在生长区域的种子上，基于合并规则对整幅图像的多个子块进行扫描，对在颜色上相近，空间上相邻的区域进行合并；

(5)完成茶叶嫩芽的分割和对茶叶嫩芽进行特征参数的提取；

(6)进行茶叶叶脉曲线模型和茶叶叶形形态模型的计算和与标准的茶叶叶形数据库进行数据匹配的计算；

(7)完成茶叶嫩芽的三维重建。

2.根据权利要求1所述的结合图像和计算模型的茶叶嫩芽形态的三维重建方法，其特征是：

在步骤(4)种子区域进行生长中为了表明一个区域与它的邻域区域有很高的相似度，为每个区域定义一个相似度函数： 

其中

x_t为 

中每个区域的色调H分量均值， 

为 

集合内所有区域的色调分量均值；

而

y_t为 

中每个区域的饱和度S分量均值， 

为 

集合内所有区域的饱和度分量值； 

而ε₁和ε₂是定义的色调分量和饱和度分量系数。

3.根据权利要求1所述的结合图像和计算模型的茶叶嫩芽形态的三维重建方法，其特征是：

在步骤(4)种子区域合并中，对两个区域在颜色上相近、空间上相邻并且其邻域处没有显著的边缘，则认为是两个可相连的区域，定义颜色距离D_c如下：

其中r_i和r_j分别代表i和j区域中包含的像素个数， 

和 

代表两个区域的颜色均值，||||表示欧式距离；

定义边缘距离D_e如下：

其中P_ij表示区域边缘上的像素个数，x_m和x_n分别表示边缘两侧的m和n点的位置值。||||表示欧式距离。

4.根据权利要求1所述的结合图像和计算模型的茶叶嫩芽形态的三维重建方法，其特征是：

在步骤(5)茶叶嫩芽特征参数的提取中包含有嫩芽轮廓、中轴、叶宽，叶长、叶倾角、叶枝的长度和直径。

5.根据权利要求1所述的结合图像和计算模型的茶叶嫩芽形态的三维重建方法，其特征是：

在步骤(6)叶脉曲线模型设计中，采用悬臂梁设计，挠度曲线方程为：

而 

v(0)＝0，经两次积分得到：

24E·I(x cos(θ)+ysin(θ))＝q sin(θ)[(x sin(θ)-ycos(θ))⁴-4L((x sin(θ)-ycos(θ))³+6L²(x sin(θ)-ycos(θ))²]取y₁＝xcos(θ)+ysin(θ)，x₁＝xsin(θ)-ycos(θ)上式简化为：

可得：x＝y₁cos(θ)+x₁sin(θ)，y＝y₁sin(θ)-x₁cos(θ)

其中，x₁，y₁为X₁OY₁坐标系中的坐标，L为叶脉曲线长度，θ为茎叶夹角，v为茶叶叶脉曲线弯曲挠度，即偏离叶脉初始状态的距离，在系统中E为弹性模量，I为惯性矩，q为叶片所受均载荷。

6.根据权利要求1所述的结合图像和计算模型的茶叶嫩芽形态的三维重建方法，其特征是： 

在步骤(6)茶叶叶形形态模型设计中，分为以下几种模型设计：

(1)茶叶叶片长度(LL)与叶序(N)的关系模型；

其中L_M是单叶的最大长度，N_M是最长叶片所在叶序，设为品种参数，La是模型参数；

(2)茶叶的叶形关系模型；

茶叶的叶宽(lw)与叶长(ll)具有一定的函数关系，定义为下式表示：

其中LL是叶片的长度，LW是叶片的最大宽度，lw一叶片在长度为ll处的叶片宽度，a，b，c为模型参数；

(3)茶叶的面积关系模型；

叶面积与叶长、叶宽之积的关系定义如下：

LA＝k×LW×LL

其中，k为校正系数，其数值与叶片形态相关，随茶叶品种和叶序略有变化。 

Images