CN103065149A - 网纹甜瓜果实表型提取与量化方法 - Google Patents

Abstract

本发明公开了一种网纹甜瓜果实表型提取和量化方法，包括步骤：S1采用参照物法利用RGB-D视觉传感器采集网纹甜瓜果实的RGB图像和深度图像，并对RGB图像进行预处理；S2对预处理后的图像进行分割，获取参照物图像，并计算像素长度比；S3基于深度图像分割果实，利用像素长度比，计算得到果实的形状特征参数；S4将深度图像中获得的果实的轮廓信息，用在RGB图像中获取果实的RGB图像区域；S5针对果实的RGB图像区域，利用颜色空间转换，获取颜色参数H和S，基于果实RGB图像区域，用网纹覆盖率，灰度共生矩阵参数和多分形维数参数，量化甜瓜网纹特征。本发明的方法提高了网纹甜瓜表型提取的全面性以及获取效率，提高了网纹甜瓜表型量化的客观性和准确性。

Description

网纹甜瓜果实表型提取与量化方法

技术领域

本发明涉及网纹甜瓜果实表型的客观量化方法，尤其是基于RGB-D视觉传感器的网纹甜瓜果实全生育期表型提取与量化方法，具体涉及一种网纹甜瓜表型提取与量化方法。

背景技术

网纹甜瓜表型是育种和新品种鉴定的重要指标。目前网纹甜瓜表型的获取主要采用人工目测和手工测量的方法来表征网纹甜瓜的表型。目测表皮的颜色（表皮是否变黄，果实是否开裂，表皮是否双色），网纹分布情况（稀疏程度），有无皱皮，用游标卡尺测量纵横径的大小等。随着计算机视觉技术的发展，计算机视觉检测逐渐应用于甜瓜果实表型测量中。现有已完成的工作有，苗玉彬等基于二维视觉图像对甜瓜果实的大小，轮廓单一品质进行了提取，效果较好。（吕福香,苗玉彬.基于视觉的甜瓜形态信息的无损获取[J].农机化研究,2011,07:39-44.），冯全、何三鹏等基于二维视觉图像，以采摘后的甜瓜为研究对象，在室内，对甜瓜的大小，颜色，瓜蒂表型参数进行了研究，对甜瓜分级效果较好。（徐莹莹.基于计算机视觉的甜瓜外观品质检测研究[D].甘肃农业大学,2011.王书志.西北特色甜瓜外观缺陷检测研究[D].兰州大学,2011.张建华.基于计算机视觉的硬皮甜瓜外部品质自动化分级研究[D].甘肃农业大学,2009.张建华,王书志,冯全.一种计算机视觉识别硬皮甜瓜瓜蒂的新方法[J].计算机系统应用,2009,07:186-189）。

现有的网纹甜瓜果实表型量化方法存在着以下缺陷：

1、人工测量的方法不仅工作量大，而且费神，存在随意性和不确定性，主观性强，一致性差，效率低。

2、利用机器视觉较多的是采摘了的果实为对象，在室内用与计算机相连的二维图像采集模块对其进行图像采集，并通过数据传输电缆将采集结果传到计算机上，在计算机中保存并进行处理分析。在算法上无法对自然生长状态下，生长发育过程中的网纹甜瓜表型参数进行全部提取。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何提高生长发育过程中的网纹甜瓜果实表型提取的全面性以及获取效率，以及网纹甜瓜果实的表型的客观性和准确性。

（二）技术方案

为实现上述目的，本发明提供的网纹甜瓜表型提取和量化方法，包括以下步骤：

S1.在网纹甜瓜温室自然生长环境中，采用参照物法利用RGB-D视觉传感器采集网纹甜瓜果实的RGB图像和深度图像，并对采集到的RGB图像进行预处理；

S2.对预处理后的RGB图像进行分割，获取参照物图像和果实图像，并计算参照物图像的像素长度比；

S3.基于深度图像分割出果实轮廓，利用果实轮廓和步骤S1计算出的像素长度比，计算得到果实的形状特征参数：纵径、横径、横截面积；

S4.利用深度图像中获得的果实轮廓信息，在预处理后的RGB图像中获取果实RGB图像区域；

S5.针对果实RGB图像区域，利用颜色空间转换生成HSI图像，获取颜色特征参数H和S，基于果实RGB图像区域，用网纹覆盖率、灰度共生矩阵参数、以及多分形维数参数，量化甜瓜网纹特征。

优选地，采用参照物法采集网纹甜瓜果实的RGB图像和深度图像的参照标准为1.5cm*1.5cm的红色纸板，将所述红色纸板挂在果实的瓜梗上与果实一同进行图像的采集。

优选地，步骤S1中的所述预处理具体包括如下步骤：

对采集到的RGB图像进行双边滤波和中值滤波以去除噪声。

优选地，步骤S2具体包括如下步骤：

S2.1基于预处理后的RGB图像，提取2R-G-B色差图，用Ostu阈值分割，提取所述预处理后的RGB图像中大于设定门限值的对象点，并对所述对象点进行二值化；

S2.2根据步骤S2.1处理后的图像中连通域的大小，对参照物和甜瓜果实进行分离，得到参照物图像；

S2.3统计参照物图像的像素个数，并将统计得到的像素个数开方除以1.5，获得参照物图像的像素长度比。

优选地，步骤S3具体包括如下步骤：

S3.1基于深度图像，对深度景深数据做直方图，根据直方图确定阈值区间，分割出果实初始轮廓；

S3.2对果实初始轮廓进行轮廓探测操作，并进行高斯滤波，进行K均值聚类处理，得到果实轮廓。

S3.3利用所述的果实轮廓和步骤S1计算出的像素长度比，计算得到果实的形状特征参数：纵径、横径、横截面积。

优选地，步骤S5具体包括如下步骤：

S5.1基于所述果实RGB图像区域进行颜色空间转换，将果实RGB图像区域转换为HSI图像，提取颜色特征参数H和S；

S5.2将果实RGB图像区域，滤波，转换为二值图像，计算网纹覆盖率；

S5.3将果实RGB图像区域灰度化，利用灰度共生矩阵，计算甜瓜网纹纹理在0°方向、45°方向、90°方向和135°方向上的灰度共生矩阵的三个纹理特征参量：角二阶矩、熵、对比度,然后将四个方向上的纹理特征参量求平均值；利用多分形维数计算多分形维数参数容量维数D₀，信息熵维数D₁，关联维数D₂和间隙度L；将颜色特征参数H和S、甜瓜网纹纹理的灰度共生矩阵参数和多分形维数参数D₀，D₁，D₂和间隙度L作为输入，根据模糊神经网络，对网纹甜瓜的生长阶段、成熟期表皮是否变黄、果实是否开裂、表皮是否双色、网纹分布情况、有无皱皮进行判断，确定生长期及成熟期的生长状况，其中，灰度共生矩阵参数包括角二阶矩、熵、对比度。

（三）有益效果

本发明方法用深度信息分割的方法将网纹甜瓜不影响正常生长的情况下从背景复杂的自然生长环境中分割出来，较大提高了果实轮廓信息获取的准确度，基于果实轮廓信息，用挂在瓜梗上的参照物法，对果实的形状识别和长度测量达到了较高的精度，将提取的果实轮廓信息用于采集的RGB图像中，获取果实区域的RGB图像，提高了果实边缘的精度；基于果实彩色区域图像，利用颜色空间转换，提取颜色参数H和S，较好地提高了果实表型颜色量化的客观性；基于果实区域彩色图像，用网纹覆盖率、灰度共生矩阵和多分形维数提取果实网纹的特征，相对于传统人工目测，在效率和准确度上有了较大的提高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为依照本发明一个实施例的网纹甜瓜果实表型提取和量化方法的流程图；

图2为本发明提供的方法中所使用的用于采集图像的采集装置；

图3为本发明提供的方法处理过程中生成的图像，其中：子图（1）为依照本发明方法采集的RGB图像（已作灰度处理），（2）为经预处理后2R-G-B色差图示意图，（3）为依据本发明提供的方法获得的参照物图像；

图4为RGB图像中分割后的果实轮廓图。

具体实施方式

本发明提出的网纹甜瓜提取和量化方法，结合附图和实施例详细说明如下。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为快速获取网纹甜瓜果实表型参数，本发明提出了基于RGB-D视觉传感器网纹甜瓜果实表型快速提取的方法。该方法从复杂子环境中分割出网纹甜瓜的果实，在此基础上对果实纵横径、形状、颜色、网纹特征等参数进行提取和量化，提高了网纹甜瓜表型获取效率。

如图1所示，依照本发明一个实施例的网纹甜瓜表型提取和量化方法包括步骤：

S1.采用参照物法采集网纹甜瓜果实的RGB图像和深度图像，并对采集到的RGB图像进行预处理；

预处理包括：

对所述采集到的RGB图像进行双边滤波，；

对双边滤波图像进行中值滤波，以去除图像中存在的噪声。

在本实施例中可以采用图2所示采集装置来进行图像的采集，该采集装置在田间进行采集，并通过该采集装置实时处理，显示得到的参数。该采集装置包括：RGB-D视觉传感器1、支架2，网纹甜瓜3和挂在瓜梗上的参照物4位于RGBD视觉传感器1的前方。采集图像时，参照物参照标准是1.5cm*1.5cm的红色纸板，纸板挂在果实的瓜梗上与果实一同拍摄，采用这种参照物法可以克服物距、高线性度的光学器件和镜头的焦距不变等不利因素，尤其是能够使得镜头的焦距由不变到可调，参照物和瓜中轴面在一个平面上，使采集到的图像大小、尺寸的参照和清晰度得以改善。

S2.对预处理后的RGB图像进行分割，获取参照物图像，并计算像素长度比；具体地，所述步骤S2包括如下子步骤：

S2.1基于去噪声后的图像，提取2R-G-B色差图，用Ostu阈值分割，提取所述预处理后的大于设定门限值的对象点为参照物，并对其进行二值化；

S2.2统计参照物的像素个数S，并按下列公式获得像素长度比d：

$d=\sqrt{S}/1.5$

S3.基于深度图像分割网纹甜瓜果实，利用步骤S1计算出的像素长度比，计算得到果实的形状特征参数：纵径、横径、横截面积；

步骤S3包括的子步骤如下：

S3.1基于深度图像，对深度景深数据做直方图，根据直方图确定阈值区间，分割出果实的初始轮廓；

S3.2对所述初始轮廓进行轮廓探测操作，并进行高斯滤波，进行K均值聚类处理，得到果实轮廓；

S3.3利用所述的果实轮廓和步骤S1计算出的像素长度比，计算得到果实的形状特征参数：纵径、横径、横截面积；

S4.将深度图像中获得的果实的轮廓信息，在预处理后的RGB图像中获取果实的RGB图像区域；

S5.针对网纹甜瓜果实的RGB图像区域，利用颜色空间转换生成HSI图像，获取颜色特征参数H和S，基于果实RGB图像区域，用网纹覆盖率、灰度共生矩阵参数和多分形维数参数，量化甜瓜网纹特征。具体地，步骤S5包括如下子步骤：

S5.1基于所述果实RGB图像区域进行颜色空间转换，将RGB图像区域转换为HSI图像，提取颜色特征参数H和S；

S5.2将果实的RGB图像区域，进行滤波，转换为二值图像，计算网纹覆盖率；

S5.3将果实的RGB图像区域灰度化，利用灰度共生矩阵，计算甜瓜网纹图像在0°方向、45°方向、90°方向和135°方向上的灰度共生矩阵的三个纹理特征参量角二阶矩（能量）、熵、对比度,然后将四个方向上的纹理特征值求平均值。

角二阶矩(能量)ASM为

$\mathrm{ASM}=\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{\left[{\stackrel{\→}{P}}_{\mathrm{\δ}}(i,j)\right]}^2$

式中，L表示图像像素的大小,i、j分别表示两个图像灰度,是灰度共生矩阵元素的归一化值。

熵ENT为：

$\mathrm{ENT}=\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{\δ}}(i,j)\·{\log }_2{\stackrel{\→}{P}}_{\mathrm{\δ}}(i,j)$

式中，L表示图像像素的大小,i、j分别表示两个图像灰度,P_δ表示此灰度共生矩阵,其中位于(i,j)的元素P_δ(i,j)的值表示一个灰度为i而另一个灰度为j两个相距为δ=(△x,△y)的像素对出现的概率。

是灰度共生矩阵元素的归一化值。

惯性矩(对比度)CON为：

$\mathrm{CON}=\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{(i-j)}^2\·{\stackrel{\→}{P}}_{\mathrm{\δ}}(i,j)$

式中，L表示图像像素的大小,i、j分别表示两个图像灰度,

是灰度共生矩阵元素的归一化值。

利用多分形维数计算多分形维数参数容量维数D₀，信息熵维数D₁，关联维数D₂和间隙度L，其中，L为关于尺度为ε的函数，

$D_0=\underset{\mathrm{\ϵ}\→0}{\lim }\frac{\log N\left(\mathrm{\ϵ}\right)}{\log (1/\mathrm{\ϵ})}$

$D_q=\frac{1}{q-1}\underset{\mathrm{\ϵ}\→0}{\lim }\frac{\log \underset{i=1}{\overset{N\left(\mathrm{\ϵ}\right)}{\mathrm{\Σ}}}{p}_i^q\left(\mathrm{\ϵ}\right)}{\log \mathrm{\ϵ}}$

$L\left(\mathrm{\ϵ}\right)=(N\left(\mathrm{\ϵ}\right)\×Q_2)/Q_1^2$

$Q_1=\underset{i}{\mathrm{\Σ}}p(i,\mathrm{\ϵ})$

$Q_2=\underset{i}{\mathrm{\Σ}}p{(i,\mathrm{\ϵ})}^2$

式中，i∈[1,N(ε)]，ε为“盒子”的尺度，N（ε）=2^k为图像中尺度为ε计盒维数，ε＝2×2^-k，为使最小的子区间中包含有测量值，本例中k的取值为1~8。p(i,ε)是第i个区间的像素分布概率密度，D_q为多重分形的广义维数谱，q为实数，

为第i个子区间q阶概率，L(ε)为尺寸为ε的间隙度，Q₁为1阶子区间概率之和，Q₂为2阶子区间概率之和。。

以下结合详细的实施例子来进一步说明本发明的方法，该方法包括以下步骤：

（1）对采集到的RGB图像进行预处理，首先用双边滤波，然后用中值滤波，最后提取2R-G-B色差图。

（2）对预处理后的图像f（x,y）(如图3（2）)用Ostu阈值分割，提取所述预处理后的大于设定门限值的对象点为参照物，并对其进行二值化，二值化处理后图像如图3（3）。这里门限值为90。统计参照物的像素个数为129，将统计的个数开方除以1.5，即为像素长度比为d，本实例中的d=8。

（3）对深度景深数据做直方图，根据直方图确定阈值区间，分割出果实的初始轮廓，对所述初始轮廓进行轮廓探测操作，并进行高斯滤波，进行K均值聚类处理，得到果实轮廓。

（4）基于深度图像得到的果实轮廓和像素长度比d的值，计算果实的纵径、横径和面积。本例中纵径7.00cm，横径5.38cm，面积28.96cm²，实测纵径7.09cm，横径5.45cm。

（5）基于步骤（3），找出RGB图像的果实区域，计算将果实的RGB图像转换为HIS图像，计算颜色分量H和S，根据利用灰度共生矩阵计算三种纹理特征值：二阶矩（能量）（ASM）、熵（ENT）、对比度（CON），将多分形维数和间隙度的定义计算参数L、D₀、D₁、D₂。将颜色特征和网纹甜瓜纹理的灰度矩阵特征和多分形维数和间隙度特征作为输入，用200个训练样本，根据模糊神经网络，对网纹甜瓜的生长阶段（结果期，膨瓜期，成熟中期，成熟后期），成熟期表皮是否变黄，果实是否开裂，表皮是否双色，网纹分布情况（稀疏程度），有无皱皮等进行判断，确定生长期及成熟期的生长状况。本例中果实处于结果期。

运用本实施例的方法对50个网纹甜瓜进行了实验，实验结果显示，果实的纵横径的误差在3%以内，生长阶段的准确度是97%，表皮是否变黄的准确度99%，果实是否开裂的准确度是100%，表皮是否双色100%，网纹稀疏度评判是99%，有无皱皮是99%。

Claims (6)

1.一种网纹甜瓜表型提取和量化方法，其特征在于，该方法包括以下步骤：

S1.在网纹甜瓜温室自然生长环境中，采用参照物法利用RGB-D视觉传感器采集网纹甜瓜果实的RGB图像和深度图像，并对采集到的RGB图像进行预处理；

S2.对预处理后的RGB图像进行分割，获取参照物图像和果实图像，并计算参照物图像的像素长度比；

S3.基于深度图像分割出果实轮廓，利用果实轮廓和步骤S1计算出的像素长度比，计算得到果实的形状特征参数：纵径、横径、横截面积；

S4.利用深度图像中获得的果实轮廓信息，在预处理后的RGB图像中获取果实RGB图像区域；

S5.针对果实RGB图像区域，利用颜色空间转换生成HSI图像，获取颜色特征参数H和S，基于果实RGB图像区域，用网纹覆盖率、灰度共生矩阵参数、以及多分形维数参数，量化甜瓜网纹特征。

2.如权利要求1所述的网纹甜瓜表型提取和量化方法，其特征在于，采用参照物法采集网纹甜瓜果实的RGB图像和深度图像的参照标准为1.5cm*1.5cm的红色纸板，将所述红色纸板挂在果实的瓜梗上与果实一同进行图像的采集。

3.如权利要求1所述的网纹甜瓜表型提取和量化方法，其特征在于，步骤S1中的所述预处理具体包括如下步骤：

对采集到的RGB图像进行双边滤波和中值滤波以去除噪声。

4.如权利要求1所述的网纹甜瓜表型提取和量化方法，其特征在于，步骤S2具体包括如下步骤：

S2.1基于预处理后的RGB图像，提取2R-G-B色差图，用Ostu阈值分割，提取所述预处理后的RGB图像中大于设定门限值的对象点，并对所述对象点进行二值化；

S2.2根据步骤S2.1处理后的图像中连通域的大小，对参照物和甜瓜果实进行分离，得到参照物图像；

S2.3统计参照物图像的像素个数，并将统计得到的像素个数开方除以1.5，获得参照物图像的像素长度比。

5.如权利要求1所述的网纹甜瓜表型提取与量化方法，其特征在于，步骤S3具体包括如下步骤：

S3.1基于深度图像，对深度景深数据做直方图，根据直方图确定阈值区间，分割出果实初始轮廓；

S3.2对果实初始轮廓进行轮廓探测操作，并进行高斯滤波，进行K均值聚类处理，得到果实轮廓。

S3.3利用所述的果实轮廓和步骤S1计算出的像素长度比，计算得到果实的形状特征参数：纵径、横径、横截面积。

6.如权利要求1所述的网纹甜瓜提取与量化方法，其特征在于，步骤S5具体包括如下步骤：

S5.1基于所述果实RGB图像区域进行颜色空间转换，将果实RGB图像区域转换为HSI图像，提取颜色特征参数H和S；

S5.2将果实RGB图像区域，滤波，转换为二值图像，计算网纹覆盖率；

S5.3将果实RGB图像区域灰度化，利用灰度共生矩阵，计算甜瓜网纹纹理在0°方向、45°方向、90°方向和135°方向上的灰度共生矩阵的三个纹理特征参量：角二阶矩、熵、对比度,然后将四个方向上的纹理特征参量求平均值；利用多分形维数计算多分形维数参数容量维数D₀，信息熵维数D₁，关联维数D₂和间隙度L；将颜色特征参数H和S、甜瓜网纹纹理的灰度共生矩阵参数和多分形维数参数D₀，D₁，D₂和间隙度L作为输入，根据模糊神经网络，对网纹甜瓜的生长阶段、成熟期表皮是否变黄、果实是否开裂、表皮是否双色、网纹分布情况、有无皱皮进行判断，确定生长期及成熟期的生长状况，其中，灰度共生矩阵参数包括角二阶矩、熵、对比度。

Images