CN104318240A - 一种基于计算机视觉的花蕾判别方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的花蕾判别方法。包括以下步骤：图像预处理，图像分割扩展，图像显著图计算，图像SURF关键点计算，关键点直方图计算，特征量计算，支持向量机预测结果。对CCD相机采集到图片进行RGB到HSI的颜色空间转换，分别对H、S分量进行中值滤波；对滤波后的分量进行颜色阈值分割、合并，填充、识别轮廓，并扩展截取识别轮廓外接矩形部分；使用残谱法计算截取部分显著图；同时计算截取部分的SURF关键点；计算在不同显著值上的SURF关键点直方图；不等距合并直方图信息形成特征量；利用支持向量机对特征量进行预测，得出花蕾的判别结果。采用本发明，能有效区分花蕾与开放的花朵。

Description

一种基于计算机视觉的花蕾判别方法

技术领域

本发明涉及花卉分级领域，特别是涉及一种基于计算机视觉的花蕾判别方法。

背景技术

我国花卉的种植面积与产量居于世界的第一位，但花卉产品附加价值低，行业标准和自动化水平落后。荷兰花卉产业广泛应用自动化生产设备，实现了自动化装盆、种苗移植、盆花搬运、灌溉、疏盆、盆花分级、成品包装，提高了生产效率和花卉成品的品质。对成品花卉进行品质分级，是花卉生产中的重要一步。人工不仅分级生产效率低，而且分选结果不能保证精度要求，评判标准难以统一，在分选过程中接触花卉，还可能对花卉造成一定的损伤。使用计算机视觉技术进行花卉分级很好的解决了上述问题。

根据我国花卉标准，为保证花卉产品的品质，要求产出的一级花卉的花蕾比例大于等于90％。花蕾比例作为花卉分级的重要标准，是计算机视觉分级花卉的主要难点。使用传统计算机视觉算法很难予以辨别，实现计算机视觉花蕾判别方法，准确快速的判别花朵是否开放，从而可以有效的保证分级精度和统一评判标准。

因此，准确快速的判别出花朵的开放情况对于花卉分级的分级精度、评判标准的统一、提高经济效益都有很重要的意义。

当前，迫切需要研究出一种基于计算机视觉的花蕾判别方法，可以实现对花朵开放情况的快速、准确判别。

发明内容

本发明的目的是解决通过计算机对成品花卉进行品质分级的自动化问题，提供一种基于计算机视觉的花蕾判别方法，可以准确快速的判别花蕾与开放花朵，在花卉生产标准化和自动化研究中，应用前景广阔，具有重大的生产实践意义。

本发明提供的基于计算机视觉的花蕾判别方法，包括如下步骤：

第1、图像预处理，接收来自CCD摄像机的图像信号，对图像的RGB颜色空间转换为HSI颜色空间，提取出HSI颜色空间的H与S分量并进行中值滤波；

第2、图像分割扩展，将预处理后提取出的图像数据信号的H和S分量空间进行颜色阈值分割、合并、轮廓填充、轮廓识别，对轮廓外接矩形部分进行扩展截取，并将扩展截取后的图像分别进行图像显著图计算和图像SURF关键点计算；

第2.1、所述颜色阈值分割、合并，对H分量分割阈值的区间选取为，花朵颜色的连续颜色区间，对S分量剔除饱和度值较低的部分，并进行与运算合并；

第2.2、所述轮廓填充、识别，用于对合并后的图片中全部轮廓进行填充，并根据目标区域大小进行目标识别，选定目标区域；

第3、图像显著图计算，对第2步扩展截取的图像信号运用残谱法计算显著图；

第4、图像SURF关键点计算，对第2步扩展截取的图像信号同时计算SURF关键点；

第5、关键点直方图计算，将第3步计算得到的显著图与第4步计算得到的SURF关键点信息进行整合，得出在不同显著值上SURF关键点的直方图；

第6、特征量计算，对第5步得到的关键点直方图信息进行不等距合并，合并间距分别为32,48,48,48,48,32，最终得到6个特征量；

第7、支持向量机预测结果，将第6步得到的6个特征量送入训练好的支持向量机中，得出判别结果。

本发明的优点和有益效果：本方法可以准确、快速区分花蕾与开放花朵，对光照、旋转具有一定的鲁棒性，在花卉生产标准化和自动化的研究中，应用前景广泛，具有重大的生产实践意义。

附图说明

图1是基于计算机视觉的花蕾判别方法流程图；

图2是本发明图像预处理步骤中图像数据预处理的方法流程图；

图3是本发明图像分割扩展步骤中图像扩展分割截取的方法流程图；

图4是本发明图像显著图计算步骤中残谱法显著图计算的方法流程图；

图5为本发明SURF关键点计算步骤中SURF关键点计算的方法流程图；

图6为本发明CCD摄像机采集到的花蕾与开放花朵图片；

图7为本发明得到的花蕾与开放花朵显著图；

图8为本发明得到的花蕾与开放花朵SURF关键点；

图9为本发明得到的花蕾SURF关键点直方图；

图10为本发明得到的开放花朵SURF关键点直方图；

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

图1是本发明提供的一种基于计算机视觉的花蕾判别方法流程图。

参见图1，本发明提供了一种基于计算机视觉的花蕾判别方法，包括步骤有：花朵图像101、图像预处理102、图像分割扩展103、图像显著图计算104、图像SURF关键点计算105、关键点直方图计算106、特征量计算107、支持向量机预测结果108。其中：

花朵图像101，用于表示CCD照相机采集的图像信息。

图像预处理102，用于接收来自CCD照相机的图像信息，对图像进行RGB到HSI颜色空间转换后，分别对H、S分量进行中值滤波；

图像分割扩展103，用于将H和S分量，根据花朵颜色要求进行颜色阈值分割、与运算合并，对合并图像进行轮廓填充、轮廓识别后，扩展截取轮廓外接矩形部分，将截取部分送到图像显著图计算104，SURF关键点计算105；

图像显著图计算104，用于接收图像分割扩展103所发送的图像信号，使用残谱法计算出图像显著图，然后将显著图信息传递给关键点直方图计算106；

图像SURF关键点计算105，用于接收图像分割扩展103所发送的图像信号，同时计算出图像的SURF关键点，然后将关键点信息传送到关键点直方图计算106；

关键点直方图计算106，根据图像SURF关键计算105得出的关键点的信息和图像显著图计算104得出的显著图，计算出不同显著值上SURF关键点的直方图，并将直方图信息传送到特征量计算107；

特征量计算107，用于不等距合并关键点直方图，具体间距为32,48,48,48,48,32；

支持向量机预测108，使用支持向量机判别花蕾。

本发明提供的残谱法计算图像显著图原理及工作过程如下(参见图4)：

从图像信息理论的角度出发，将信息分为冗余部分和变化部分。人的视觉对于突变的部分更加关注，对于出现频率很高的部分视觉系统会对其进行抑制。

1.对离散傅里叶变换后的图像取得振幅谱：

其中I(x)为源图像，表示傅里叶变换，R()表示取振幅，A(f)表示振幅谱。

离散傅里叶变换后的图像相位谱：

其中S()表示取相位，P(f)表示相位谱。

2.由于在log-log尺度下，图像频谱与频率的曲线形状几乎趋向于一条直线，对振幅谱取对数：

L(f)＝log(A(f))

其中L(f)表示对数振幅谱。

图像的显著部分可以由图像的log振幅谱减去图像的平均log振幅谱得出：

R(f)＝L(f)-h_n*L(f)

其中h_n表示中值滤波，R(f)表示残谱。

3.最后对得到的残谱傅里叶逆变换并进行高斯滤波，这样就得出了显著图即：

其中表示傅里叶反变换，g(x)表示高斯滤波。

本发明提供的图像SURF关键点计算原理及工作过程如下(参见图5)：

1.卷积滤波器需要计算矩形区域中像素之和，矩形区域像素之和可表示为：

$I_{\mathrm{\Σ}}\left(X\right)=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j)$

其中I(i,j)表示坐标(i,j)处的像素点值，I_Σ(X)表示矩形区域像素之和。

积分图像可以大大提高卷积滤波器的计算效率，将图像转变为积分图像的形式，这样在计算一个矩形区域的灰度之和时，就可以使用简单的加减计算解决问题，并且计算速度与矩形的大小无关。

2.SURF算法的关键点检测是基于Hessian矩阵的，根据Hessian行列式的局部最大值，我们可以定位关键点，Hessian矩阵的定义为：

$H(X,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\σ})& L_{\mathrm{xy}}(X,\mathrm{\σ})\\ L_{\mathrm{xy}}(X,\mathrm{\σ})& L_{\mathrm{yy}}(X,\mathrm{\σ})\end{array}\right]$

其中L_xx(X，σ)表示X处的高斯二阶偏导与图像的卷积，σ表示尺度的大小，L_xy(X，σ)L_yy(X，σ)有着相似的表示。使用盒子滤波器近似高斯二阶偏导，由于模板由简单的矩形构成，运用积分图像可使运算量与模板尺寸无关，大大加快了运算效率，即Hessian矩阵行列式为：

det(H_approx)＝D_xxD_yy-(0.9D_xy)²

其中，D_xx、D_yy、D_xy表示运用盒子滤波器得到的偏导卷积近似结果，对图像每一点都可以求得尺度σ上的响应图。

3.用不同尺寸的盒子滤波器对图像进行处理，从而构成尺度空间金字塔，盒子滤波器每4个模板为一阶，一共取4阶，可表示为：

4.在三维尺度空间上，进行非极大值抑制处理，响应值大的点被选为关键点，利用3维2次函数拟合对关键点进行精确定位，得到了关键点的位置信息。

本发明提供的SURF关键点直方图计算原理及工作过程如下：

直方图具有计算效率高，简单并且具有旋转不变性，能够反映图像的全局信息，是一种图像像素的概率估计，根据直方图的特点，结合花蕾与开放花朵的不同，计算在不同显著值上SURF关键点的直方图：

$g\left(m_k\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left\{\begin{array}{cc}1& S_i=m_k\\ 0& \mathrm{otherwise}\end{array}\right.$

其中N表示SURF描述子的个数，S_i表示第i个描述子在显著图中的值，m_k表示k所对应的显著图强度区间。

为了验证所提方法的有效性，对具体应用进行了实验研究。

1.图6中包含了牡丹花蕾与开放花朵图片，图7为花蕾与开放花朵的显著图，图8为花蕾与开放花朵的SURF关键点图。从图9花蕾SURF关键点直方图和图10开放花朵SURF关键点直方图可以看出一些统计特性，不等距合并得到特征量。对30幅花蕾图片，30幅开放花朵图片，使用本发明提供的上述方法得到60组特征量，VSM对特征量进行训练，构建判别模型。选用40幅测试图片，包含20幅花蕾图片，20幅开放花朵图片对构建的模型进行测试，平均运行时间与准确率分别为1.074s和95％。

2.选用牡丹，月季，山茶三种常见花卉，使用本发明提供的方法对每个品种进行特征量计算与支持向量机的训练。为增加实验的对比度，加入了Itti模型与SIFT关键点构建的方法对花蕾进行判别，结果证明本发明提供的方法速度更快，以及准确率更高。如下：

综上所述，与现有技术相比较，本发明提供了一种基于计算机视觉的花蕾判别方法，可以准确、快速判别区分花蕾与开放花朵，对光照有一定抗干扰能力，并具有旋转不变性，在花卉生产标准化和自动化的研究中，应用前景广阔，具有重大的生产实践意义。

Claims (3)

1.一种基于计算机视觉的花蕾判别方法，其特征在于，包括如下步骤：

第1、图像预处理，接收来自CCD相机的图像信号，对图像的RGB颜色空间转换为HSI颜色空间，提取出HSI颜色空间的H与S分量并进行中值滤波；

第2、图像分割扩展，将预处理后提取出的H与S分量空间进行颜色阈值分割、合并、轮廓填充、轮廓识别，对轮廓外接矩形部分进行扩展截取。

第3、图像显著图计算，对第2步扩展截取的图像信号运用残谱法计算显著图；

第4、图像SURF关键点计算，对第2步扩展截取的图像信号同时计算SURF关键点；

第5、关键点直方图计算，将第3步计算得到的显著图与第4步计算得到的SURF关键点信息进行整合，得出在不同显著值上SURF关键点的直方图；

第6、特征量计算，对第5步得到的关键点直方图进行不等距区间合并，形成6个特征量；

第7、支持向量机预测结果，将第6步得到的6个特征量送入训练好的支持向量机中，得出判别结果。

2.如权利要求1所述的方法，其特征在于第2步中：

第2.1、所述颜色阈值分割、合并，对H分量分割阈值的区间选取为，花朵颜色的连续颜色区间，对S分量剔除饱和度值较低的部分，并进行与运算合并；

第2.2、所述轮廓填充、识别，用于对合并后的图片中全部轮廓进行填充，并根据目标区域大小进行目标识别，选定目标区域。

3.如权利要求1所述的方法，其特征在于，第6步所述不等距合并中，合并间距具体为32,48,48,48,48,32,最终得到6个特征量。