CN103512494B - 一种植物果实微尺寸变化视觉检测系统及方法 - Google Patents

Abstract

本发明公开了一种植物果实微尺寸变化视觉检测系统及方法，系统包括图像采集装置、图像处理及控制装置、支撑装置和外触发装置。植物果实的图像经过采集、去噪、计算转换成二值图像后，得出果实直径。系统能非接触、高精度的检测植物果实的微尺寸变化，且不会影响植物果实的正常生长。本发明在植物生长规律研究、生长异常诊断、节水灌溉、生产最优控制等方面均有广泛的用途。

Description

一种植物果实微尺寸变化视觉检测系统及方法

技术领域

本发明涉及计算机视觉技术领域，尤其是指一种植物果实微尺寸变化视觉检测系统及方法。

背景技术

水资源问题一直被许多国家和地区所重视，节水问题一直是国内外农业研究的热点。在我国，农业用水量占国民经济总用水量的70％左右，并且随着我国经济的快速发展，城市和工业用水日益增加，农业可用水量不断减少，因此研究分析提高水的利用率和节水技术对于实现国民经济可持续发展，保障我国粮食安全和水安全具有非常重要的意义，也是建设社会主义新农村的重要内容。另外，水是果实生长的重要因子，水分过多或不足，会造成果实生长发育发生生理障碍，降低果实产量，影响果实品质，相应也会影响经济效益。果实节水灌溉能显著降低土壤含水量，改善土壤结构，优化果实生长环境，增加深层土壤的根系密度，为获得较高产量、提高浆果品质奠定基础。

要实现果树种植业的可持续发展，就迫切要求灌溉朝着精细、准确的目标发展，这种精细、准确的基础就在于对果实需水要求的准确、及时预报和水量的自动控制、精确施予，果树的精准灌溉能在提高果实品质和产量的同时达到节约水资源的目的。实现精确灌溉的依据在于掌握所要灌溉果树的需水特征、什么时候需水、需要多少水等参数。即实施精确灌溉需掌握详细的果树的需水资料，运用先进的信息化技术实时监测与诊断果树的水分状况。

对果实水分状况进行准确、快速、可靠的评价是果树精确灌溉的理论基础。果实水分吸收和散失的过程是果实本身各个器官和其所生长环境间相互作用和反馈影响的结果。以往的水分评价指标大体分为三类。一类是以土壤为对象，这是传统上常用指标；第二类以环境为对象，通过对环境条件的变化估计果树需水量。第三类直接以果实本身为对象。其中第一类和二类指标为间接指标，以间接指标评价果实水分通常比较迟钝，精度低。而以果树本身生理变化评价水分缺失是将植物视为“会说话的植物”，用作物本身的生理变化评价作物的水分是作物缺水诊断严重一个主要的分支，其中以植物果实大小变化评价水分状况可以在不破坏植物果实和果实正常生长情况下连续测量的物体变化量，因此，用于指导作物精确灌溉的潜力非常大。

目前，植物果实测量主要利用基于线性位移传感器的接触式测量方法，接触测量装置的不足之处在于测量时与果实表面接触，会影响果实的正常生长，测量结果难以真实反映植物的生理状况。

中国专利公开号CN1515147A，公开日2004年7月28日，名称为“基于植物器官微尺寸变化检测的智能节水灌溉系统”的发明专利中公开了一种基于植物器官微尺寸变化检测的智能节水灌溉系统。由传感器、转换放大电路、单片机测控通讯系统组成。将传感器装夹于被测植物的有代表性的叶片或果实上，传感器输出的测量信号传输给转换放大电路放大后，经过数模转换后传输给微处理器，再由微处理器定时传输到主控计算机上，主控机根据对测量数据进行处理与分析的结果决定是否开启灌溉系统的电子开关，从而实现了对被灌溉植物的闭环控制。不足之处在于检测植物器官微尺寸变化的传感器仍需要接触果实，影响果实的正常生长。

发明内容

本发明的目的是克服现有技术中植物果实测量的方法需要接触植物果实，影响果实的正常生长，测量结果难以真实反映植物的生理状况缺点，提供一种不需要接触植物果实就可以准确检测果实尺寸变化的植物果实微尺寸变化视觉检测系统及方法。

本发明的目的是通过下述技术方案予以实现：

一种植物果实微尺寸变化视觉检测方法，包括以下步骤：

第一步，图像采集装置对果实的图像进行采集；

第二步，图像预处理模块通过图像去噪算法对采集的果实图像进行降噪处理，降噪处理后能有效提高图像信噪比，以利于果实直径获取；

第三步，果实子图像提取模块对降噪处理后的图像通过OTSU阈值分割转换为二值图像，然后标记二值图像中所有区域并提取出包含目标果实的最小矩形区域，对目标果实区域延伸尺寸得到新的定位区域，依据新的定位区域从降噪后图像提取出降噪图像的子图像，该子图像为目标果实子图像；

第四步，果体区域定位模块对二值图像进行凹点探测和边界搜索确定出果实梗和果实体连接处凹点，得出果体区域，再由果体区域通过边界提取算法得到果体边界；

第五步，果实直径计算模块利用果体区域定位模块中确定的果实体边界进行列扫描，计算扫描列上果实对应边缘点间距离，扫描完整个果实体后得到果实体像素面积，由像素面积及像素点尺寸计算出果实直径。

作为一种优选方案，第二步的降噪处理的方法为：

将图像分解成大小为m×n而相互之间重叠的块，对图像建立保边函数：将滤波后图像块内的像素S分为两类：一类是含噪像素点组成的集成N；另一类为不含噪声像素点组成的集合Nc。

$\left\{\begin{array}{c}N=\left\{(i,j)\right|(i,j)\∈S,u_{i,j}\≠y_{i,j}\\ N^C=\left\{(i,j)\right|(i,j)\∈S,u_{i,j}=y_{i,j}\end{array}\right\},$

对图像块内含噪像素点集合N的像素点u_i，j和块内的其他像素点u_k，l建立该像素点的保边函数：

$f_N\left(u_{i,j}\right)=\underset{(k,l)\∈N^C}{\mathrm{\Σ}}2\mathrm{\φ}(u_{i,j}-u_{k,l})+\underset{(k,l)\∈N}{\mathrm{\Σ}}\mathrm{\φ}(u_{i,j}-u_{k,l}),$

对图像块内所有含噪像素点保边函数为：

$f_N\left(u\right)=\underset{(i,j)\∈N}{\mathrm{\Σ}}{f}_N\left(u_{i,j}\right).$

该算法对边缘沿其切线和法线具有不同不同扩散系数的各项异性处理，使得沿边缘法线方向的扩散系数趋于0，抑制了边缘模糊现象；对平滑区域进行各向同性处理，残余噪声很小，在降低图像噪声的同时保持边缘信息完整。

作为一种优选方案，第三步的OTSU阈值分割包括以下步骤：

a.选择一个初值阈值的估算值T⁰＝{T^k|k＝0}，

$T^0=\frac{H_{\min }+H_{\max }}{2};$

b.利用阈值把图像分割成C、C′两组，

C＝{f(x，y)|0＜f(x，y)＜T^k}，

C′＝{f(x，y)|f(x，y)≥T^k}；

c.计算区域C、C′的灰度均值，

$H=\frac{\underset{H_{\min }<f(i,j)<T^k}{\overset{n}{\mathrm{\&Sigma;}}}f(i,j)N(i,j)}{\underset{H_{\min }<f(i,j)<T^k}{\overset{n}{\mathrm{\&Sigma;}}}N(i,j)},$ $H^{\&prime;}=\frac{\underset{T^k<f(i,j)<H_{\max }}{\overset{n}{\mathrm{\&Sigma;}}}f(i,j)N(i,j)}{\underset{T^k<f(i,j)<H_{\max }}{\overset{n}{\mathrm{\&Sigma;}}}N(i,j)};$

d.选择新的阈值T^k+1，

$T^{k+1}=\frac{H_1+H_2}{2};$

e.如果T^k+1＝T^k，则继续后续步骤，否则k＝k+1，转步骤b；

f.利用阈值T^k，可以把图像分成两部分C₀、C₀′，

C₀＝{f(x，y)|0＜f(x，y)＜T^k}，

C₀′＝{f(x，y)|f(x，y)≥T^k}；

对C₀区域进行步骤a～步骤e的计算，初始条件：H_max＝T^k，H_min为图像最小灰度值，计算得到T₀＝T^k；

g.利用阈值T₀，把图像再一次分成两部分C₁、C₁′

C₁＝{f(x，y)|0＜f(x，y)＜T^k}，

C₁′＝{f(x，y)|f(x，y)≥T^k}；

对区域C₁′进行步骤a～步骤e的计算，初始条件：H_max为图像最大灰度值，H_min＝T^k，计算得到T₁＝T^k；

h.利用阈值T₁对图像进行分割，原图变成二值图像。

目标果实子图像提取模块通过将降噪后图像OTSU阈值分割转换为二值图像，然后标记二值图像中所有区域并提取出包含目标果实的最小矩形区域，对最小矩形区域延伸适当尺寸得到新的定位区域，延伸尺寸视目标果实和周围果实间间距而定，原则是新的定位区域中仅包含目标果实；依据新的定位区域从降噪后图像提取出降噪图像的子图像，该子图像为目标果实子图像，建立子图像的目的是将图像分析的任务集中在包含目标果实的局部区域，建立子图像能有效减少图像处理及真实环境中点的搜索工作量，提高算法运行速度，并可以有效回避周围环境等复杂图像信息对真实环境中工作的影响，提高目标的精确性；果体区域定位模块对目标果实子图像进行Sobel梯度运算和自适应阈值分割，自适应阈值分割算法首先根据常规阈值分割算法得到最优分割阈值T，利用T把图像分成两个部分，再对灰度低的部分进行最优阈值分割得到阈值T₀，用T₀把图像分割成两部分，最后对灰度高的部分进行最佳阈值分割得到阈值T₁，T₁即为最终分割阈值。

一种植物果实微尺寸变化视觉检测系统，包括图像采集装置、图像处理及控制装置、支撑装置和外触发装置，所述的支撑装置用于支撑果实，图像采集装置与外触发装置通过数据线相连接，外触发装置与图像处理及控制装置通过数据线相连接，图像处理及控制装置还通过数据线与图像采集装置直接连接。所述图像采集装置包括CMOS工业相机、三角架、焦阑镜头和红色背光光源。所述支撑装置为不锈钢构建的固定框架，固定框架的支撑面用来支撑目标果实，防止果实的移动。所述外触发装置为控制CMOS工业相机图像采集的硬件设备，以支持果实生长图像的定时采集。

作为一种优选方案，所述的图像处理及控制装置包括图像处理单元、图像及数据显示单元和控制单元，图像采集装置同时连接图像处理单元和图像及数据显示单元，图像处理单元还连接控制单元，控制单元与外触发装置相连接。图像处理单元通过对图像处理、分析后得到目标果实大小；图像及数据显示单元定时显示采集的果实图像和获取的果实尺寸信息；控制单元通过外触发装置与图像采集装置相连，控制单元完成对外触发装置的参数设置，外触发装置根据控制模块传送过来的参数设定值向图像采集装置发出控制信号。

作为一种优选方案，图像处理单元包括图像预处理模块、果实子图像提取模块、果体区域定位模块和果实直径计算模块，图像预处理模块连接果实子图像提取模块，果实子图像提取模块连接果体区域定位模块，果体区域定位模块连接果实直径计算模块。

本发明的有益效果是，植物果实微尺寸变化视觉检测系统能非接触、高精度的检测植物果实的微尺寸变化，且不会影响植物果实的正常生长。本发明在植物生长规律研究、生长异常诊断、节水灌溉、生产最优控制等方面均有广泛的用途。

附图说明

图1是本发明的一种电路原理连接图；

图2是本发明图像处理单元的一种电路原理连接图。

其中：1、图像采集装置，2、图像处理及控制装置，3、外触发装置，21、图像处理单元，22、图像及数据显示单元，23、控制单元，211、图像预处理模块，212、果实子图像提取模块，213、果体区域定位模块，214、果实直径计算模块。

具体实施方式

下面结合附图和实施例对本发明进一步描述。

实施例：一种植物果实微尺寸变化视觉检测系统，包括图像采集装置1、图像处理及控制装置2、支撑装置和外触发装置3，支撑装置用于支撑果实。图像采集装置包括CMOS工业相机、三角架、焦阑镜头和红色背光光源。支撑装置为不锈钢构建的固定框架，固定框架的支撑面用来支撑目标果实，防止果实的移动。外触发装置为控制CMOS工业相机图像采集的硬件设备，以支持果实生长图像的定时采集。图像采集装置安装时将CMOS相机固定三脚架上，相机的位置由三脚架进行改变，保证相机的光轴与放置在支撑装置上的目标果实垂直。CMOS相机定时采集生长中的果实图像，并通过USB2.0将采集的图像传送至图像处理及控制装置。

图像处理及控制装置包括图像处理单元、图像及数据显示单元和控制单元，图像采集装置同时连接图像处理单元和图像及数据显示单元，图像处理单元还连接控制单元，控制单元与外触发装置相连接。图像处理单元通过对图像处理、分析后得到目标果实大小；图像及数据显示单元定时显示采集的果实图像和获取的果实尺寸信息；控制单元通过外触发装置与图像采集装置相连，控制单元完成对外触发装置的参数设置，外触发装置根据控制模块传送过来的参数设定值向图像采集装置发出控制信号。

图像处理单元的一种电路原理连接图如图2所示，图像处理单元包括图像预处理模块、果实子图像提取模块、果体区域定位模块和果实直径计算模块，图像预处理模块连接果实子图像提取模块，果实子图像提取模块连接果体区域定位模块，果体区域定位模块连接果实直径计算模块。

一种植物果实微尺寸变化视觉检测方法，包括以下步骤：

第一步，图像采集装置对果实的图像进行采集；

第二步，图像预处理模块通过图像去噪算法对采集的果实图像进行降噪处理，降噪处理后能有效提高图像信噪比，以利于果实直径获取；

将图像分解成大小为m×n而相互之间重叠的块，对图像建立保边函数：将滤波后图像块内的像素S分为两类：一类是含噪像素点组成的集成N；另一类为不含噪声像素点组成的集合Nc。

$\left\{\begin{array}{c}N=\left\{(i,j)\right|(i,j)\&Element;S,u_{i,j}\&NotEqual;y_{i,j}\\ N^C=\left\{(i,j)\right|(i,j)\&Element;S,u_{i,j}=y_{i,j}\end{array}\right\},$

对图像块内含噪像素点集合N的像素点u_i，j和块内的其他像素点u_k，l建立该像素点的保边函数：

$f_N\left(u_{i,j}\right)=\underset{(k,l)\&Element;N^C}{\mathrm{\&Sigma;}}2\mathrm{\&phi;}(u_{i,j}-u_{k,l})+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}\mathrm{\&phi;}(u_{i,j}-u_{k,l}),$

对图像块内所有含噪像素点保边函数为：

$f_N\left(u\right)=\underset{(i,j)\&Element;N}{\mathrm{\&Sigma;}}{f}_N\left(u_{i,j}\right).$

第三步，果实子图像提取模块对降噪处理后的图像通过OTSU阈值分割转换为二值图像，然后标记二值图像中所有区域并提取出包含目标果实的最小矩形区域，对目标果实区域延伸尺寸得到新的定位区域，依据新的定位区域从降噪后图像提取出降噪图像的子图像，该子图像为目标果实子图像；

OTSU阈值分割包括以下步骤：

a.选择一个初值阈值的估算值T⁰＝{T^k|k＝0}，

$T^0=\frac{H_{\min }+H_{\max }}{2};$

b.利用阈值把图像分割成C、C′两组，

C＝{f(x，y)|0＜f(x，y)＜T^k}，

C′＝{f(x，y)|f(x，y)≥T^k}；

c.计算区域C、C′的灰度均值，

$H=\frac{\underset{H_{\min }<f(i,j)<T^k}{\overset{n}{\mathrm{\&Sigma;}}}f(i,j)N(i,j)}{\underset{H_{\min }<f(i,j)<T^k}{\overset{n}{\mathrm{\&Sigma;}}}N(i,j)},$ $H^{\&prime;}=\frac{\underset{T^k<f(i,j)<H_{\max }}{\overset{n}{\mathrm{\&Sigma;}}}f(i,j)N(i,j)}{\underset{T^k<f(i,j)<H_{\max }}{\overset{n}{\mathrm{\&Sigma;}}}N(i,j)};$

d.选择新的阈值T^k+1，

$T^{k+1}=\frac{H_1+H_2}{2};$

e.如果T^k+1＝T^k，则继续后续步骤，否则k＝k+1，转步骤b；

f.利用阈值T^k，可以把图像分成两部分C₀、C₀′，

C₀＝{f(x，y)|0＜f(x，y)＜T^k}，

C₀′＝{f(x，y)|f(x，y)≥T^k}；

对C₀区域进行步骤a～步骤e的计算，初始条件：H_max＝T^k，H_min为图像最小灰度值，计算得到T₀＝T^k；

g.利用阈值T₀，把图像再一次分成两部分C₁、C₁′

C₁＝{f(x，y)|0＜f(x，y)＜T^k}，

C₁′＝{f(x，y)|f(x，y)≥T^k}；

对区域C₁′进行步骤a～步骤e的计算，初始条件：H_max为图像最大灰度值，H_min＝T^k，计算得到T₁＝T^k；

h.利用阈值T₁对图像进行分割，原图变成二值图像。

第四步，果体区域定位模块对二值图像进行凹点探测和边界搜索确定出果实梗和果实体连接处凹点，得出果体区域，再由果体区域通过边界提取算法得到果体边界；

第五步，果实直径计算模块利用果体区域定位模块中确定的果实体边界进行列扫描，计算扫描列上果实对应边缘点间距离，扫描完整个果实体后得到果实体像素面积，由像素面积及像素点尺寸计算出果实直径。

Claims (3)

1.一种植物果实微尺寸变化视觉检测方法，其特征是，包括以下步骤：

第一步，图像采集装置对果实的图像进行采集；

第二步，图像预处理模块通过图像去噪算法对采集的果实图像进行降噪处理；

第三步，果实子图像提取模块对降噪处理后的图像通过OTSU阈值分割转换为二值图像，然后标记二值图像中所有区域并提取出包含目标果实的最小矩形区域，对目标果实区域延伸尺寸得到新的定位区域，依据新的定位区域从降噪后图像提取出降噪图像的子图像，该子图像为目标果实子图像；

第四步，果体区域定位模块对二值图像进行凹点探测和边界搜索确定出果实梗和果实体连接处凹点，得出果体区域，再由果体区域通过边界提取算法得到果体边界；

第五步，果实直径计算模块利用果体区域定位模块中确定的果实体边界进行列扫描，计算扫描列上果实对应边缘点间距离，扫描完整个果实体后得到果实体像素面积，由像素面积及像素点尺寸计算出果实直径。

2.根据权利要求1所述的一种植物果实微尺寸变化视觉检测方法，其特征是，所述的第二步的降噪处理的方法为：

将图像分解成大小为m×n而相互之间重叠的块，对图像建立保边函数：将滤波后图像块内的像素S分为两类：一类是含噪像素点组成的集成N；另一类为不含噪声像素点组成的集合N^c，

$\left\{\begin{array}{c}N=\left\{(i,j)\right|(i,j)\&Element;S,u_{i,j}\&NotEqual;y_{i,j}\\ N^C=\left\{(i,j)\right|(i,j)\&Element;S,u_{i,j}=y_{i,j}\end{array}\right\},$

其中y_ij为滤波前含噪像素点；对图像块内含噪像素点集合N的像素点u_i，j和块内的其他像素点u_k，l建立该像素点的保边函数：

$f_N\left(u_{i,j}\right)=\underset{(k,l)\&Element;N^C}{\&Sigma;}2\mathrm{\&phi;}(u_{i,j}-u_{k,1})+\underset{(k,l)\&Element;N}{\&Sigma;}\mathrm{\&phi;}(u_{i,j}-u_{k,1}),$

对图像块内所有含噪像素点保边函数为：

$f_N\left(u\right)=\underset{(i,j)\&Element;N}{\&Sigma;}{f}_N\left(u_{i,j}\right).$

3.根据权利要求1或2所述的一种植物果实微尺寸变化视觉检测方法，其特征是，所述的第三步的OTSU阈值分割包括以下步骤：

a.选择一个初值阈值的估算值T⁰＝{T^k|k＝0}，T^k为阈值，

$T^0=\frac{H_{\min }+H_{max}}{2};$

b.利用阈值把图像分割成C、C′两组，

C＝{f(x，y)|0＜f(x，y)＜T^k}，

C′＝{f(x，y)|f(x，y)≥T^k}；

c.计算区域C、C′的灰度均值，

$H=\frac{\underset{H_{\min }<f(i,j)<T^k}{\overset{n}{\mathrm{\&Sigma;}}}f(i,j)N(i,j)}{\underset{H_{\min }<f(i,j)<T^k}{\overset{n}{\mathrm{\&Sigma;}}}N(i,j)},H^{\&prime;}=\frac{\underset{T^k<f(i,j)<H_{\min }}{\overset{n}{\mathrm{\&Sigma;}}}f(i,j)N(i,j)}{\underset{T^k<f(i,j)<H_{\max }}{\overset{n}{\mathrm{\&Sigma;}}}N(i,j)};$

d.选择新的阈值T^k+1，

$T^{k+1}=\frac{H+H^{\&prime;}}{2};$

e.如果T^k+1＝T^k，则继续后续步骤，否则k＝k+1，转步骤b；

f.利用阈值T^k，可以把图像分成两部分C₀、C₀′，

C₀＝{f(x，y)|0＜f(x，y)＜T^k}，

C₀′＝{f(x，y)|f(x，y)≥T^k}；

对C₀区域进行步骤a～步骤e的计算，初始条件：H_max＝T^k，H_min为图像最小灰度值，计算得到T₀＝T^k；

g.利用阈值T₀，把图像再一次分成两部分C₁、C₁′

C₁＝{f(x，y)|0＜f(x，y)＜T₀}，

C₁＝{f(x，y)|f(x，y)≥T₀}；

对区域C₁′进行步骤a～步骤e的计算，初始条件：H_max为图像最大灰度值，H_min＝T^k，计算得到T₁＝T^k；

h.利用阈值T₁对图像进行分割，原图变成二值图像。