CN101964108B - 基于实时在线系统的叶片田间图像边缘提取方法及其系统 - Google Patents

Abstract

本发明涉及一种基于实时在线系统的叶片田间图像边缘提取方法及其系统，该方法包括步骤：S1.对分割区域子图进行灰度映射处理；S2.对步骤S1处理的图像进行平滑去噪、阈值分割和边缘检测、初步优化，判别目标区域是否为叶形；S3.对经步骤S1处理的图像进行平滑去噪、阈值分割取反和边缘检测、初步优化，判别目标区域是否为叶形；S4.对经步骤S1处理的图像进行平滑去噪、阈值分割及分割取反和边缘检测、初步优化以及区域组合，判别目标区域是否为叶形；S5.对经步骤S2、S3、或S4处理后的图像进行进一步优化以及封闭操作，得到边缘闭合的边缘图像。本发明的方法及其系统可得到完整、封闭、定位准确的目标边界曲线图像，且分割成功率高。

Description

基于实时在线系统的叶片田间图像边缘提取方法及其系统

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于实时在线系统的叶片田间图像边缘提取方法及其系统。 

背景技术

机器视觉又称计算机视觉，指人类设计并在计算机环境下实现的模拟或再现与人类视觉有关的某些智能行为的技术。机器视觉技术在农业上的研究与应用始于20世纪70年代末期，主要研究集中于农产品分选机械中利用机器视觉对农产品进行品质检测与分级。近年来，基于机器视觉的图像处理技术迅速发展，图像处理技术本身在理论和实践上都取得了重大突破，除农产品分选机械外，目前该技术已经渗透到农作物生长过程监控、农产品收获、农产品鉴定等多个领域。 

叶是果树营养物质的制造器官，是产量形成的基础。农业生产中需要获取大量的叶片生长信息。为通过图像获取叶片生长信息，实现果园生产自动监测，需要对田间果树叶片图像进行图像增强与分割算法研究。图像分割是图像分析和图像理解的基础，能够为进一步图像处理提供重要的信息。植物叶片图像分割能够为植物特征提取提供重要依据，如叶片面积计算、叶片病虫害检测和叶片三维重建等，从而可以实时监测植物的生长状况，提前预防病虫害等。 

由于田间叶片图像的背景复杂，噪声严重，易受光照、叶片形态等多方面因素影响，使田间图像处理分析在实际应用中存在诸多挑战。为降低图像中的噪声，削弱复杂背景、重叠叶片对图像分割的干扰，把目标叶片完整、准确的分割出来，一般通过对图像增强再与分割算法结合，来处理上述情况。 

图像增强的原理是借助人的视觉系统特性取得较好的视觉效果。 图像增强在于提高图像的可懂度，即图像处理后不一定逼近原图像，只要增强图像的视觉效果，将原图像转换成一种更适合于人眼观察或计算机分析处理的形式。要想摆脱图像多样性和噪声复杂性的困扰，就必须对图像增强算法进行进一步的研究。在图像处理过程中，图像增强是非常重要的一个环节。 

图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像分成各具特性的区域并提取出感兴趣目标的过程。图像分割是从图像处理进到图像分析的关键步骤，也是进一步图像理解的基础。它是目标表达的基础，对特征测量有重要的影响。通过图像分割及基于分割的目标表达、特征提取和参数测量等技术，才能将原始图像转化为更抽象更紧凑的形式，使得更高层的图像分析和理解成为可能。在实际应用中植物叶片图像中，现场图像由于噪声、光线亮度、背景等因素的影响，自动选取一个合适的阈值显得尤为困难。同时，由于田间图像通常受到实时在线系统中视频服务器设备的图像压缩算法H.264等的处理后，图像的灰度级要比普通非网络传送的摄像设备所获图像低得多，这会给图像分割造成较大的困难(主要是目标区域与背景的粘连)。自动阈值对于非此即彼的简单图像处理，如一些二值图像的处理是有效的，但是对于图像中目标区域灰度差异显著的叶片图像、图像中不存在明显的灰度差异或各物体的灰度值范围有较大的重叠的图像分割问题，简单以常用阈值算子和边缘检测算子组合分割，难以得到满意的分割效果。 

发明内容

(一)要解决的技术问题 

本发明要解决的技术问题是：在实时在线系统中，提高对不同灰度分布情况的植物叶片田间图像进行边缘提取的成功率、准确性和完整性。 

(二)技术方案 

为实现上述目的，本发明提供一种基于实时在线系统的叶片田间图像边缘提取方法，该方法包括步骤： 

S1.以包含单个叶片的子区域作为目标图像，对所述子区域附近的分割区域子图进行灰度映射处理； 

S2.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则，执行步骤S3； 

S3.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则，执行步骤S4； 

S4.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割及分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以及区域组合，以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则，结束或返回步骤S1； 

S5.对经步骤S2或S3或S4处理后的图像进行形态学操作的进一步优化处理以及封闭操作，得到边缘闭合的边缘图像。 

其中，步骤S1进一步包括： 

S1.1分析所述区域子图的直方图，并计算所述直方图中的峰谷所在的灰度值，得到的峰谷值集合R； 

S1.2每次取出两个峰谷值，截取所述两个峰谷值所对应的灰度范围，并遍历所有峰谷值； 

S1.3使用设定的灰度映射函数，将所截取的局部灰度值范围[a，b]映射到全局上； 

其中，所述设定的灰度映射函数为： 

$G(x,y)=\left\{\begin{array}{ccc}0& [0,a)& \\ \frac{255}{b-a}*[F(x,y)-a]& \∃[a,b],\∀a\∈R,\∀b\∈R& G\∈\left[\mathrm{0,255}\right]\\ 255& (b,255]& \end{array}\right..$

其中，F(x，y)为所述区域子图的原图，R为所述峰谷值的集合，且a＜b，G(x，y)为灰度映射后的图像。 

其中，步骤S2进一步包括： 

S2.1对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理； 

S2.2对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S2.1处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，保留面积最大的两个连通区域，将其它连通区域设置为0，并获取目标外以及目标内模板； 

S2.3对经步骤S2.2处理后的图像进行第一叶形判别，若图像目标区域是叶片图像，则执行步骤S5，否则进入S3。 

其中，步骤S3进一步包括： 

S3.1对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理后取反； 

S3.2对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪和后的图像进行边缘检测分割处理，并与经过步骤S3.1处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，保留面积最大的两个连通区域，将其它连通区域设置为0，并获取目标内外模板以及目标内模板； 

S3.3对经步骤S3.2处理后的图像进行第一叶形判别，若图像目标区域是叶片图像，则执行步骤S5，否则执行S4。 

其中，步骤S4进一步包括： 

S4.1对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈 值分割算子对去噪后的图像进行基于区域的阈值分割处理； 

S4.2对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S4.1处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，并保留面积最大的两个连通区域，将其它连通区域设置为0； 

S4.3对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理后取反； 

S4.4对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S4.3处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，并保留面积最大的两个连通区域，将其它连通区域设置为0； 

S4.5对步骤S4.2和S4.4所得四个连通区域进行逻辑和的排列组组合，得到6幅图像； 

S4.6对步骤S4.5处理后的图像进行第二叶形判别，若图像目标区域是叶片图像，则执行步骤S5，若否则执行步骤S4.7； 

S4.7判断经步骤S4.5处理后的图像是否遍历峰谷值，若是，则结束，否则，执行步骤S1.2。 

其中，步骤S5进一步包括： 

S5.1对经步骤S2、S3、或S4处理的图像进行进一步优化，得到去除目标内部以及外部伪边缘的边缘图像； 

S5.2对经步骤S5.1处理后的图像进行封闭操作，得到目标边缘闭合的边缘图像。 

其中，所述第一叶形判别的方法包括步骤： 

S2.31提取面积最大的连通区域的骨架； 

S2.32计算所述骨架的离心率； 

S2.33若所述离心率大于设定值，则判别所述图像目标区域为叶片图像，否则，判别所述图像目标区域不是叶片图像。 

其中，所述第二叶形判别的方法包括步骤： 

S4.61去掉所述6幅图像中连通区域个数大于1的图像，保留连通区域个数为1的图像； 

S4.62判断所保留的图像个数是否大于或等于1，若是，则执行步骤S4.63，若否则执行步骤S4.7； 

S4.63对经步骤S4.62处理后的图像进行填洞操作后，初步优化，获取目标外模板以及目标内模板； 

S4.64提取所述目标内模板区域的骨架，去除所述骨架的毛刺20次； 

S4.65计算所述骨架的离心率； 

S4.66若所述离心率大于设定值，则判别所述图像目标区域为叶片图像，否则，判别所述图像目标区域不是叶片图像。 

其中，步骤S5.2中的封闭操作进一步包括： 

S5.21将经步骤S2.2、S3.2和S4.63处理的图像中所获目标外模板用半径为2个像素的结构元进行腐蚀，获取其边缘； 

S5.22将经步骤S5.1处理后的图像用步骤S5.21处理后的图像边缘进行封闭操作，以形成闭合曲线； 

S5.23将所述闭合曲线转成区域图，用半径为2个像素的菱形结构元进行膨胀和腐蚀操作，得到区域外沿的光滑曲线，从而得到边缘闭合的边缘图像。 

本发明还提供了一种基于实时在线系统的叶片田间图像边缘提取系统，该系统包括： 

预处理模块，用于以包含单个叶片的子区域作为目标图像，对所述子区域附近的分割区域子图进行灰度映射处理；第一图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的 阈值分割处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将经灰度映射模块处理的图像发送至第二图像分割模块处理；第二图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将经灰度映射模块处理的图像发送至第三图像分割模块处理；第三图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割及分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以及区域组合，以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将图像返回至所述预处理模块；优化模块，用于对经第一图像分割模块或第二图像分割模块、或第三图像分割模块处理后的图像进行形态学操作的进一步优化处理以及封闭操作，得到边缘闭合的边缘图像。 

(三)有益效果 

本发明的方法及其系统通过试验筛选，对于通过实时在线系统所获取的图像，通常受到实时在线系统中视频服务器设备的图像压缩算法H.264等的处理后，图像的灰度级要比普通非网络传送的摄像设备所获图像低的多，这会给图像分割造成较大的困难(主要是目标区域与背景的粘连)。同时，由于田间图像噪声比较严重、受光线条件的影响比较明显，因此对图像进行了预处理，达到了较好的去噪和增加对比度的效果，且运算速度快，适用范围广，避免造成阈值分割错分或边缘检测时不必要的边缘线；通过对不同灰度分布的叶片子图目标采用不同的分割方法，提高了阈值分割的成功率，且能在噪声抑制和边缘检测之间取得较好的平衡；得到目标边界曲线图像完整、封闭、 定位准确的，且分割成功率高。 

附图说明

图1为依照本发明一种实施方式的基于实时在线系统的叶片田间图像边缘提取方法流程图； 

图2为依照本发明一种实施方式的基于实时在线系统的叶片田间图像边缘提取方法中第一叶形判别方法流程图； 

图3为依照本发明一种实施方式的基于实时在线系统的叶片田间图像边缘提取方法中第二叶形判别方法流程图； 

图4(a)-4(b)为进行非极大值抑制算法的示意图； 

图5为依照本发明一种实施方式的基于实时在线系统的叶片田间图像边缘提取方法中封闭操作的流程图。 

具体实施方式

本发明提出的基于实时在线系统的叶片田间图像边缘提取方法及其系统，结合附图和实施例详细说明如下。 

本发明的方法及其系统针对通过实时在线系统所获取的植物叶片图像灰度分布情况不同，简单运用图形图像算法不能准确提取完整叶片的状况，基于直方图分析提出了一种灰度映射方法，结合改进的阈值分割和梯度分割算子和大量形态学操作和逻辑运算，可完整、准确、高成功率地提取通过实时在线系统所获取的植物现场图像叶片边缘，对一般高清摄像系统所获取图像的分割成功率也有显著提高。其以包含单个叶片的子区域作为目标图像，将已锁定在子区域附近的分割区域子图作为处理对象；综合利用图形图像处理算子，对区域子图进行灰度映射和增强去噪；针对实时在线系统所获取的植物现场叶片灰度分布情况的不同，提出了不同的分割算法，利用形态学处理、采用阈值和Canny算子分割相结合的方法，进行提取图像边缘的优势互补的逻辑运算处理。 

如图1所示，依照本发明一种实施方式的基于实时在线系统的叶 片田间图像边缘提取方法包括步骤： 

S1.以包含单个叶片的子区域作为目标图像，对已锁定在该子区域附近的分割区域子图作为处理对象，进行灰度映射预处理； 

S2.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割处理和基于梯度的边缘检测分割处理，并进行初步优化处理获取目标区域图像，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则执行步骤S3； 

S3.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理获取目标区域图像，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则执行步骤S4； 

S4.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割及分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理，进行区域组合以获取目标区域图像，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则结束或返回执行步骤S1； 

S5.对经步骤S2、S3、或S4处理后的图像进行形态学操作的进一步优化处理以及封闭操作，得到边缘闭合的边缘图像。 

继续如图1所示，步骤S1进一步包括步骤： 

S1.1对于本方法所采用的分割区域子图，先分析其直方图并计算直方图中的峰谷所在的灰度值，得到峰谷值集合R； 

S1.2对于上述R中的峰谷值，每次取出两个峰谷值 

且a＜b，截取该对峰谷值所对应的局部灰度值范围[a，b]，并遍历所有峰谷值； 

S1.3使用下述灰度映射函数，将所截取的局部灰度值范围[a，b]，映射到全局上： 

$G(x,y)=\left\{\begin{array}{cc}0& [0,a)\\ \frac{255}{b-a}*[F(x,y)-a]& \∃[a,b],\∀a\∈R,\∀b\∈R\\ 255& (b,255]\end{array}\right.G\∈\left[\mathrm{0,255}\right].$

其中，原图为F(x，y)，灰度映射后的图像为G(x，y)，其灰度范围为[0，255]。 

步骤S2进一步包括步骤： 

S2.1对经步骤S1映射处理后的图像进行平滑滤波去噪，利用自动阈值分割算子(Otsu)对去噪后的图像进行基于区域的阈值分割； 

由于现场图像通常噪声比较严重，受光线条件的影响比较明显，必须对图像进行增强。本发明方法采用了维纳平滑滤波增强图像，Wiener滤波器首先估计出像素的局部矩阵值(M*N邻域)和方差： 

${\mathrm{\σ}}^2=\frac{1}{\mathrm{NM}}\underset{x,y\∈\mathrm{\η}}{\mathrm{\Σ}}{f}^2(x,y)-{\mathrm{\μ}}^2$

Wiener的滤波函数为： 

$I(x,y)=\mathrm{\μ}+\frac{{\mathrm{\σ}}^2+v^2}{{\mathrm{\σ}}^2}(f(x,y)-\mathrm{\μ})$

其中，v²是整幅图像的方差。 

Otsu步骤如下： 

设图像包含L个灰度级(0，1，...，L-1)，灰度值为i的像素点数为N_i，图像总的像素点数为N＝N₀+N₁+...+N_(L-1)。灰度值为i的点的概率为：P(i)＝N(i)/N。门限t将整幅图像分为暗区c₁和亮区c₂两类，则类间方差σ是t的函数：σ＝a₁*a₂(u₁-u₂)^2，式中，a_j为类c_j的面积与图像总面积之比，a₁＝sum(P(i))i→t，a₂＝1-a₁；u_j为类c_j的均值，u₁＝sum(i*P(i))/a₁₀→t，u₂＝sum(i*P(i))/a₂，t+1→L-1，本发明的方法法选择最佳门限t^使类间方差最大，即：令Δu＝u₁-u₂，σ^2＝max{a1(t)*a2(t)Δu^2}。 

S2.2对经步骤S1映射处理后的图像进行平滑滤波去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S2.1处理后的图像进行逻辑与运算，割断图像中的局部粘连，初步优化：用半径为1个像素的圆形结构元对图像进行腐蚀操作，进一步断开粘连，处理后的图像进行填洞操作，去除图像中小于设定半径的孔洞；用半径为2个像素的圆形结构元对图像进行腐蚀操作，完全断开图像中粘连，标记图像中的连通区域，统计各连通区域的面积，并保留面积最大的两个连通区域，将其它连通区域设置为0，用半径为5个像素的圆形结构元膨胀处理后的第一大面积区域，得到目标外模板，再用半径为5个像素的圆形结构元腐蚀膨胀后的图像，得到目标内模板； 

其中Canny算子分割算法操作步骤如下： 

A1用2D高斯滤波器平滑图像。即：g(x，y)＝f(x，y)*h(x，y)，其中f(x，y)是原图像， 是2D高斯滤波函数，g(x，y)是平滑后的图像。 

A2用一阶偏导的有限差分来计算梯度的幅值和方向。一阶差分的卷积模板是： $H_1=\left|\begin{array}{cc}1& -1\\ 1& -1\end{array}\right|H_2=\left|\begin{array}{cc}-1& -1\\ 1& 1\end{array}\right|,$ 可以分别计算出x方向和y方向的梯度的幅值。用 

计算梯度的方向。 

A3利用梯度方向对梯度幅值应用非极大值抑制，仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点，而抑制非极大值，利用图4(a)-4(b)进行非极大值抑制。 

在每一点上，邻域的中心像素M与沿着梯度线的两个像素相比。如果M的梯度值不比沿梯度线的两个相邻像素梯度值大，则令M＝0。 

A4用双阈值算法检测和连接边缘。双阈值算法对非极大值抑制图像作用两个阈值τ₁和τ₂，且2τ₁≈τ₂，从而可以得到两个阈值边缘图像N₁[i，j]和N₂[i，j]。由于N₂[i，j]使用高阈值得到，因而含有很少的假边缘，但有间断。双阈值法要在N₂[i，j]中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在N₁[i，j]的8邻点位置寻找可以连接到轮廓上的边缘，这样，算法不断地在N₁[i，j]中收集边缘，直到将N₂[i，j]连接起来为止。 

因Canny算子的原则是最优的，所以在此采用此算法会使检测的边缘更准确。 

其中腐蚀和膨胀的操作如下定义： 

设结构元函数为b(x，y)，所处理图像为f(x，y)。 

为灰度腐蚀操作，其定义为： 

(s，t)＝min{f(s+x，t+y)-b(x，y)|(s+x)，(t+y)∈D_f，(x，y)∈D_b} 

为灰度膨胀操作，其定义为： 

(s，t)＝max{f(s-x，t-y)+b(x，y)|(s-x)，(t-y)∈D_f，(x，y)∈D_b} 

式中，D_f和D_b分别是f和b的定义域。 

S2.3对经步骤S2.2处理后的图像进行第一叶形判别，若所述图像目标区域是叶片图像，则执行步骤S5，否则执行S3。 

步骤S3进一步包括步骤： 

S3.1对经步骤S1映射处理后的图像进行平滑滤波去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割后取反； 

S3.2对经步骤S1映射处理后的图像进行平滑滤波去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S3.1处理后的图像进行逻辑与运算，割断图像中的局部粘连，初步优化：用半径为1个像素的圆形结构元对图像进行腐蚀操作，进一步断开粘连，处理后的图像进行填洞操作，去除图像中小于设定半径的孔洞。用半径为2个像素的圆形结构元对图像进行腐蚀操作，完全断开图像中粘连，标记图像中的连通区域，统计各连通区域的面积，并保留面积最大的两个连通区域，将其它连通区域设置为0，用半径为5个像素的圆形结构元膨胀处理后的第一大面积区域，得到目标外模板，再用半径为5个像素的圆形结构元腐蚀膨胀后的图像，得到目标内模板； 

S3.3对经步骤S3.2处理后的图像进行第一叶形判别，若所述图像目标区域是叶片图像，则执行步骤S5，否则执行S4。 

步骤S4进一步包括步骤： 

S4.1对经步骤S1映射处理后的图像进行平滑滤波去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割； 

S4.2对经步骤S1映射处理后的图像进行平滑滤波去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S4.1处理后的图像进行逻辑与运算，割断图像中的局部粘连，初步优化：用半径为1个像素的圆形结构元对图像进行腐蚀操作，进一步断开粘连，处理后的图像进行填洞操作，去除图像中小于设定半径的孔洞。用半径为2个像素的圆形结构元对图像进行腐蚀操作，完全断开图像中粘连，标记图像中的连通区域，统计各连通区域的面积，并保留面积最大的两个连通区域，记为p₁和p₂，将其它连通区域设置为0； 

S4.3对经步骤S1映射处理后的图像进行平滑滤波去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割后取反； 

S4.4对经步骤S1映射处理后的图像进行平滑滤波去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S4.3处理后的图像进行逻辑与运算，割断图像中的局部粘连，初步优化：用半径为1个像素的圆形结构元对图像进行腐蚀操作，进一步断开粘连，处理后的图像进行填洞操作，去除图像中小于设定半径的孔洞。用半径为2个像素的圆形结构元对图像进行腐蚀操作，完全断开图像中粘连，标记图像中的连通区域，统计各连通区域的面积，并保留面积最大的两个连通区域，记为n₁和n₂，将其它连通区域设置为0； 

S4.5对步骤S4.2和S4.4所得四个连通区域逻辑和的排列组合为 

即可组合出6幅图像，记为L_j，L_j＝p_i+n_i，其中，i＝1，2，j＝1，2，...，6； 

S4.6对步骤S4.5处理后的图像进行第二叶形判别，若是则执行步骤S5，否则执行步骤S4.7。 

S4.7对步骤S4.6处理后的图像判断是否遍历峰谷，若是则结束， 若否则执行步骤S1.2。 

步骤S5进一步包括步骤： 

S5.1对经步骤S2、S3、或S4处理的图像进行进一步优化：对所获目标内模板图像求反运算，与经Canny处理后的图像进行逻辑与运算，得到去除目标内部伪边缘的边缘图像，用所获目标外模板与去除目标内部伪边缘的图像进行逻辑与运算，得到去除目标内部以及外部伪边缘的边缘图像； 

S5.2对经步骤S5.1处理后的图像进行封闭操作，得到目标边缘闭合的边缘图像。 

其中，如图2所示，步骤S2.3和S3.3中的第一叶形判别方法进一步包括步骤： 

S2.31提取面积最大的连通区域的骨架； 

因为骨架易受噪声的影响，而腐蚀后的图像的边缘较平滑，此时提取的骨架更接近图像的真实骨架。区域骨架可以通过中间轴变换(MAT)加以定义。一个边框为b的区域R的MAT描述如下：对于R中的每个点p，寻找b中的最邻近点，若p比这样的近邻点大，则称p是R的骨架。骨架可用一个区域点与两边界点的最小距离来定义，其公式为： 

$d_s(p,B)=\inf \left\{d(p,z)\right|z\⋐B\}$

S2.32计算所述骨架的离心率； 

经典数学中图形的离心率e有如下规律，当e＝0时，图形为圆形。当0＜e＜1时，图形为椭圆。当e＝1时，图形为线段或抛物线。当e＞1时，图形为双曲线。计算区域骨架的离心率是与该区域具有相同标准二阶中心矩的椭圆的离心率，通过区域拟合椭圆，然后根据椭圆的长短轴计算区域的离心率。 

离心率 $e=\sqrt{1-{\left(\frac{b}{a}\right)}^2}$

其中a为椭圆的长轴长度，b为椭圆的短轴长度。 

S2.33若所述离心率大于设定值，则所述图像目标区域为叶片图像，否则，不是叶片图像。 

根据试验统计，对于本发明所使用的区域子图(以枣叶为例，本发明所指子图范围均在50*50到300*300像素之间)，处理后所得区域为叶片的，其骨架的离心率大于0.99所占的比例为94.73％；所得区域不是叶片时其骨架的离心率大于0.99的所占的比例为0，即其骨架的离心率大于判别值所占的比例符合统计学要求。 

其中，如图3所示，步骤S4.6中的第二叶形判别方法进一步包括步骤： 

S4.61对经步骤S4.5所获6种组合图像运算，去掉6个图中连通区个数大于1的图像，剩余连通区域个数为1的图像； 

S4.62判断所剩余的图像是否大于等于1，若是则进行步骤S4.63，若否则进行步骤S4.7； 

S4.63对经步骤S4.62处理后的图像进行填洞操作后，初步优化：用半径为1个像素的圆形结构元对所获目标区域进行腐蚀操作，进一步断开粘连，处理后的图像进行填洞操作，去除图像中小于设定半径的孔洞。用半径为2个像素的圆形结构元再对图像区域进行腐蚀操作，完全断开图像中粘连；获取目标内模板：用半径为5个像素的圆形结构元膨胀处理后的目标区域，得到目标外模板，再用半径为5个像素的圆形结构元腐蚀膨胀后的目标区域，得到目标内模板； 

S4.64提取目标内模板区域的骨架，20次去除骨架的毛刺； 

S4.65计算所述骨架的离心率； 

S4.66若所述离心率大于设定值，则所述图像目标区域为叶片图像，否则，不是叶片图像。 

其中，继续如图1所示，步骤S5.2中的封闭操作进一步包括步骤： 

S5.21将经步骤S3.2、S4.2和S4.63处理的图像中所获目标外模板用半径为2的结构元进行腐蚀，获取其边缘； 

S5.22将经步骤S5.1处理后的图像用步骤S5.21处理后的图像边缘进行封闭操作。即：若存在线段r属于经步骤S5.21处理后所获边缘，线段s，t属于经步骤S5.1处理后的图像，若r存在包含在s及t的八邻域范围内的像素，且这一对像素点距离最小，则将其间的像素点合并入s，t，使之成为一个完整的连通区域，遍历S5.1处理后的图像的所有连通区域，使形成闭合曲线； 

S5.23将所述闭合曲线转成区域图，用半径为2个像素的菱形结构元进行膨胀和腐蚀操作，得到区域外沿的光滑曲线，从而得到边缘闭合的边缘图像。 

本发明还提供了一种基于实时在线系统的植物叶片田间图像边缘提取系统，该系统包括： 

预处理模块，用于以包含单个叶片的子区域作为目标图像，对所述子区域附近的分割区域子图进行灰度映射处理； 

第一图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割处理和基于梯度的边缘检测分割处理，并进行初步优化处理获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将经灰度映射模块处理的图像发送至第二图像分割模块处理； 

第二图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将经灰度映射模块处理的图像发送至第三图像分割模块处理； 

第三图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割及分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化，以及区域组合，以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块 处理，否则，结束或将图像返回至所述预处理模块； 

优化模块，用于对经第一图像分割模块、第二图像分割模块、或第三图像分割模块处理后的图像进行形态学操作的进一步优化处理以及封闭操作，得到边缘闭合的边缘图像。 

其中，第一图像分割模块以及第二图像分割模块中均包括：第一灰度分布情况判别单元，用于判断目标区域是否为叶片图像，若是叶片图像，则将所获图像传送于优化模块处理，否则，将图像再传送至下一图像分割模块处理。 

第三图像分割模块还包括第二分布情况判别单元，用于判断目标区域是否为叶片图像，先将图像分割模块三处理所得六幅组合图运算，保留连通区域数为一的图，进行填洞操作和初步优化，获取目标内模板，判断其是否为叶形，若是叶片图像，则将所获图像传送于优化模块处理，否则，判断是否已遍历所有峰谷对，若是则结束，若否则转到预处理模块。 

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。 

Claims (4)

1.一种基于实时在线系统的叶片田间图像边缘提取方法，其特征在于，该方法包括步骤：

S1.以包含单个叶片的子区域作为目标图像，对所述子区域附近的分割区域子图进行灰度映射处理；

S2.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则，执行步骤S3；

S3.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则，执行步骤S4；

S4.对经步骤S1处理的图像平滑去噪后，进行基于区域的阈值分割及分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以及区域组合，以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则执行步骤S5，否则，结束或返回步骤S1；

S5.对经步骤S2或S3或S4处理后的图像进行形态学操作的进一步优化处理以及封闭操作，得到边缘闭合的边缘图像；

其中，步骤S1进一步包括：

S1.1分析所述区域子图的直方图，并计算所述直方图中的峰谷所在的灰度值，得到的峰谷值集合R；

S1.2每次取出两个峰谷值，截取所述两个峰谷值所对应的灰度范围，并遍历所有峰谷值；

S1.3使用设定的灰度映射函数，将所截取的局部灰度值范围[a，b]映射到全局上；

其中，所述设定的灰度映射函数为：

$G(x,y)=\left\{\begin{array}{ccc}0& [0,a)& \\ \frac{255}{b-a}*[F(x,y)-a]& \∃[a,b],\∀a\∈R,\∀b\∈R& G\∈\left[\mathrm{0,255}\right]\\ 255& (b,255]& \end{array}\right..$

其中，F(x，y)为所述区域子图的原图，R为所述峰谷值的集合，且a＜b，G(x，y)为灰度映射后的图像；

其中，步骤S2进一步包括：

S2.1对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理；

S2.2对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S2.1处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，保留面积最大的两个连通区域，将其它连通区域设置为0，并获取目标外以及目标内模板；

S2.3对经步骤S2.2处理后的图像进行第一叶形判别，若图像目标区域是叶片图像，则执行步骤S5，否则进入S3；

步骤S3进一步包括：

S3.1对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理后取反；

S3.2对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪和后的图像进行边缘检测分割处理，并与经过步骤S3.1处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，保留面积最大的两个连通区域，将其它连通区域设置为0，并获取目标内外模板以及目标内模板；

S3.3对经步骤S3.2处理后的图像进行第一叶形判别，若图像目标区域是叶片图像，则执行步骤S5，否则执行S4；

步骤S4进一步包括：

S4.1对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理；

S4.2对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S4.1处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，并保留面积最大的两个连通区域，将其它连通区域设置为0；

S4.3对经步骤S1映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理后取反；

S4.4对经步骤S1映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过步骤S4.3处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，并保留面积最大的两个连通区域，将其它连通区域设置为0；

S4.5对步骤S4.2和S4.4所得四个连通区域进行逻辑和的排列组组合，得到6幅图像；

S4.6对步骤S4.5处理后的图像进行第二叶形判别，若图像目标区域是叶片图像，则执行步骤S5，若否则执行步骤S4.7；

S4.7判断经步骤S4.5处理后的图像是否遍历峰谷值，若是，则结束，否则，执行步骤S1.2；

所述第一叶形判别的方法包括步骤：

S2.31提取面积最大的连通区域的骨架；

S2.32计算所述骨架的离心率；

S2.33若所述离心率大于设定值，则判别所述图像目标区域为叶片图像，否则，判别所述图像目标区域不是叶片图像；

所述第二叶形判别的方法包括步骤：

S4.61去掉所述6幅图像中连通区域个数大于1的图像，保留连通区域个数为1的图像；

S4.62判断所保留的图像个数是否大于或等于1，若是，则执行步骤S4.63，若否则执行步骤S4.7；

S4.63对经步骤S4.62处理后的图像进行填洞操作后，初步优化，获取目标外模板以及目标内模板；

S4.64提取所述目标内模板区域的骨架，去除所述骨架的毛刺20次；

S4.65计算所述骨架的离心率；

S4.66若所述离心率大于设定值，则判别所述图像目标区域为叶片图像，否则，判别所述图像目标区域不是叶片图像。

2.如权利要求1所述的基于实时在线系统的叶片田间图像边缘提取方法，其特征在于，步骤S5进一步包括：

S5.1对经步骤S2、S3、或S4处理的图像进行进一步优化，得到去除目标内部以及外部伪边缘的边缘图像；

S5.2对经步骤S5.1处理后的图像进行封闭操作，得到目标边缘闭合的边缘图像。

3.如权利要求2所述的基于实时在线系统的叶片田间图像边缘提取方法，其特征在于，步骤S5.2中的封闭操作进一步包括：

S5.21将经步骤S2.2、S3.2和S4.63处理的图像中所获目标外模板用半径为2个像素的结构元进行腐蚀，获取其边缘；

S5.22将经步骤S5.1处理后的图像用步骤S5.21处理后的图像边缘进行封闭操作，以形成闭合曲线；

S5.23将所述闭合曲线转成区域图，用半径为2个像素的菱形结构元进行膨胀和腐蚀操作，得到区域外沿的光滑曲线，从而得到边缘闭合的边缘图像。

4.一种基于实时在线系统的叶片田间图像边缘提取系统，其特征在于，该系统包括：

预处理模块，用于以包含单个叶片的子区域作为目标图像，对所述子区域附近的分割区域子图进行灰度映射处理；

第一图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将经灰度映射模块处理的图像发送至第二图像分割模块处理；

第二图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，将经灰度映射模块处理的图像发送至第三图像分割模块处理；

第三图像分割模块，用于对经灰度映射模块处理的图像平滑去噪后，进行基于区域的阈值分割及分割取反处理和基于梯度的边缘检测分割处理，并进行初步优化处理以及区域组合，以获取目标区域，判别所获目标区域是否为叶形目标区域，若是，则将图像发送至优化模块处理，否则，结束或将图像返回至所述预处理模块；

优化模块，用于对经第一图像分割模块或第二图像分割模块、或第三图像分割模块处理后的图像进行形态学操作的进一步优化处理以及封闭操作，得到边缘闭合的边缘图像；

其中，所述第一图像分割模块进一步包括：

第一阈值分割单元，用于对经所述预处理模块映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理；

第一初步优化单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过所述第一阈值分割单元处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，保留面积最大的两个连通区域，将其它连通区域设置为0，并获取目标外以及目标内模板；

第一叶形判别单元，对经所述第一初步优化单元处理后的图像进行第一叶形判别，若图像目标区域是叶片图像，则由所述优化模块对其进行处理，否则由所述第二图像分割模块对其进行处理；

所述第二图像分割模块进一步包括：

第二阈值分割单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理后取反；

第二初步优化单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用Canny算子对去噪和后的图像进行边缘检测分割处理，并与经过所述第二阈值分割单元处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，保留面积最大的两个连通区域，将其它连通区域设置为0，并获取目标内外模板以及目标内模板；

第二叶形判别单元，对经所述初步优化单元处理后的图像进行第一叶形判别，若图像目标区域是叶片图像，则由所述优化模块对其进行处理，否则由所述第三图像分割模块对其进行处理；

所述第三图像分割模块进一步包括：

第三阈值分割单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理；

第三初步优化单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过所述第三阈值分割单元处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，并保留面积最大的两个连通区域，将其它连通区域设置为0；

第四阈值分割单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用自动阈值分割算子对去噪后的图像进行基于区域的阈值分割处理后取反；

第四初步优化单元，对经所述预处理模块映射处理后的图像进行平滑去噪，利用Canny算子对去噪后的图像进行边缘检测分割处理，并与经过所述第四阈值分割处理后的图像进行逻辑与运算，然后割断图像中的局部粘连，对图像进行初步优化，标记图像中的连通区域，并保留面积最大的两个连通区域，将其它连通区域设置为0；

整合单元，对所述第三初步优化单元以及所述第四初步优化单元所得四个连通区域进行逻辑和的排列组组合，得到6幅图像；

第三叶形判别单元，对所述整合单元处理后的图像进行第二叶形判别，若图像目标区域是叶片图像，则由所述优化模块对其进行处理，若否则由判定单元对其进行处理；

判定单元，判断经所述整合单元处理后的图像是否遍历峰谷值，若是，则结束，否则，由所述预处理模块对其进行处理；

所述第一叶形判别单元以及第二叶形判别单元均包括：

第一提取子单元，用于提取面积最大的连通区域的骨架；

第一计算子单元，用于计算所述骨架的离心率；

第一判定子单元，若所述离心率大于设定值，则判别所述图像目标区域为叶片图像，否则，判别所述图像目标区域不是叶片图像；

所述第三叶形判别单元包括：

预处理子单元，用于去掉所述6幅图像中连通区域个数大于1的图像，保留连通区域个数为1的图像；

第二判定子单元，用于判断所保留的图像个数是否大于或等于1，若是，则由初步优化子单元对其进行处理，若否则由对其进行处理；

初步优化子单元，对经所述第二判定子单元处理后的图像进行填洞操作后，初步优化，获取目标外模板以及目标内模板；

第二提取子单元，提取所述目标内模板区域的骨架，去除所述骨架的毛刺20次；

第二计算子单元，计算所述骨架的离心率；

第三判定子单元，若所述离心率大于设定值，则判别所述图像目标区域为叶片图像，否则，判别所述图像目标区域不是叶片图像。

Images