CN109684941A - 一种基于matlab图像处理荔枝果实采摘区域划分方法 - Google Patents

Abstract

本发明公开了一种基于MATLAB图像处理荔枝果实采摘区域划分方法，结合区域性采摘方法的采果机械对其采摘进行决策划分，通过双目视觉相机对荔枝树冠进行拍摄，识别、定位、坐标提取、划分采摘区域的最佳位置。使用双目相机采集到树冠果实照片对照片进行分析采用基于颜色的K均值聚类和霍夫圆变换检测疑似水果果实区域。并用通过果实与非果实的局部二值模式特征训练的AdaBoost分类器对疑似果实区域和非果实区域进行错误检测，在合并检测结果后完成荔枝果实的识别；得到荔枝的坐标信息之后使用K‑means聚类方法对该区域进行聚类分析，分类之后对每一块的划分区域质心作为采摘位置的中心点。本发明涉及到机器视觉领域，对果园自动化有重要的意义。

Description

一种基于MATLAB图像处理荔枝果实采摘区域划分方法

技术领域

本发明属于果园采摘领域，特别涉及一种基于MATLAB图像分析的荔枝果园采摘的决策方法。

背景技术

荔枝采摘机因其具有提高采摘效率、减轻人工劳动强度以及节省荔枝收获成本等优点日益成为农业工程领域的研究热点。然而，在荔枝采摘过程中，机器人的视觉系统多结合于机械手采摘，基本没有对区域性采摘的研究。为此，本文以双目立体视觉、机器学习、聚类分析等理论方法为基础，深入研究非结构环境下荔枝果实的识别定位与采摘决策的方法。并对多类不同生长形态荔枝的识别与定位运用软件仿真与硬件试验，意在为荔枝采摘的双目视觉系统提供对非结构环境鲁棒的水果识别与定位方法，从而精确地指导机器人完成水果采摘作业。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于MATLAB图像处理荔枝果实采摘区域划分方法，以双目立体视觉、机器学习、聚类分析等理论方法为基础，深入研究非结构环境下荔枝果实的识别定位与采摘决策的方法。

为了达到上述目的，本发明采用以下技术方案：

一种基于MATLAB图像处理荔枝果实采摘区域划分方法，包括下述步骤：

S1、采集荔枝树冠的树冠图像；

S2、对采集到的树冠图像进行去噪声预处理，具体为：

S2.1、原始水果图像在RGB颜色空间里，被分解成R、G、B三个颜色图像，每个颜色图像都为二维图像；

S2.2、每个颜色图像利用二维塔式分解算法被分解成低频和高频部分，然后利用直方图均值化和对比度提升分别处理低频部分和高频部分；

S2.3、对处理后的低频和高频部分利用塔式重构算法合并成二维图像，分别完成三个颜色图像的光照均值化处理；

S2.4、对光照均值化处理后的三个颜色图像，在RGB颜色空间合并成色彩图像，完成水果彩色图像的预处理；

S3、通过果实与非果实的局部二值模式LBP特征训练的AdaBoost分类器对疑似果实区域和非果实区域进行错误检测，在合并检测结果后完成荔枝果实的识别；

S4、荔枝边缘提取并边缘化，完成定位提取图像中荔枝坐标；

S5、得到荔枝的坐标信息之后使用K-means聚类方法对该区域进行聚类分析，分类之后对每一块的划分区域质心作为采摘位置的中心点。

作为优选的技术方案，步骤S1中，使用工业相机对荔枝树冠进行采摘拍摄得到树冠图像。

作为优选的技术方案，步骤S2.2中，所述二维塔式分解算法具体为：

其中，x，y代表像素点的横纵坐标，k，l都是整数，g，h分别是高通滤波器和低通滤波器，c_j是一个二维信号，和c_j+1分别是垂直高频部分，水平高频部分，对角高频部分和低频部分。

作为优选的技术方案，步骤S2.3中，进行光照均值化处理的按照下述公式进行：

其中，x，y代表像素点的横纵坐标，k，l都是整数，g，h分别是高通滤波器和低通滤波器，c'_j+1(k,l)为直方图均值化后的图像低频部分， 分别是对比度提升后的垂直高频部分，水平高频部分，对角高频部分；c'_j(x,y)则是光照均值化后的二维图像。

作为优选的技术方案，步骤S3包括训练阶段具体为：

S3.1、N幅水果光照均值化图像被随机地选取，用以人为地选取水果区域和非水果区域，

S3.2、选定水果区域和非水果区域图片的数量M张，图片大小均为设定像素；

S3.3、将水果区域和非水果区域的LBP特征计算出来；

S3.4、利用AdaBoost构造分类器并进行训练。

作为优选的技术方案，步骤S3中，进行检测的具体步骤为：

S3.5、疑似水果果实的区域被用CHT方法提取，从而将整幅图像被分成两部分，即包含CHT检测圆的图像和不包含CHT检测圆的图像；

S3.6、CHT检测圆图像用训练阶段的分类器来确定是否为水果区域；

S3.7、用一个10×10的小窗口扫描整幅不含CHT检测结果的图像，用以搜索被枝叶、果实遮挡的小区域的水果果实目标；

S3.8、两部分的结果合并，得到最终的识别结果。

作为优选的技术方案，步骤S4具体为：

将两相机平行共线放置，两个相机光心所确定的平面以及两个相机的成像平面分别平行共面，两相机只是在x轴方向有移动量，即b，b也称为基线，空间点A与两个相机的光心连线分别交成像平面于点a_l和a_r，该空间成像图映射在二维平面以后，根据三角形相似理论可以得出A点的三维坐标有如下关系：

其中，f为焦距，u₀、v₁、v₀和a_y是相机内部参数，C_l与Cr分别表示左右相机，O_l与Or则分别是两个相机的光心。

作为优选的技术方案，步骤S5中，使用K-means聚类方法对该区域进行聚类分析具体为：

在得到树冠上荔枝果实的坐标之后，随机选取k个聚类质心点为，μ₁，μ₂，…，μ_k∈Rⁿ，重复下面过程直到收敛

{对于每一个样例i，计算其应该属于的类

对于每一个类j，重新计算该类的质心

K是设定的聚类数，c⁽ⁱ⁾代表样例i与k个类中距离最近的那个类，c⁽ⁱ⁾的值是1到k中的一个，质心μ_j代表对属于同一个类的样本中心点的猜测，首先随机选取k个树冠中的点，作为k个区域的质心，然后第一步对于每一个荔枝坐标计算其到k个质心中每一个的距离，然后选取距离最近的那个点作为c⁽ⁱ⁾，这样经过第一步每一个荔枝坐标都有了所属的区域；第二步对于每一个区域，重新计算它的质心μ_j，重复迭代第一步和第二步直到质心不变或者变化很小。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提出的提出一种基于机器视觉的采摘视觉系统，应用计算机对目标物进行图像采集、预处理、分割、相关特征提取等的技术称为机器视觉技术。以双目立体视觉、机器学习、聚类分析等理论方法为基础，深入研究非结构环境下荔枝果实的识别定位与采摘决策的方法。并对多类不同生长形态荔枝的识别与定位运用软件仿真与硬件试验，意在为荔枝采摘的双目视觉系统提供对非结构环境鲁棒的水果识别与定位方法，从而精确地指导机器人完成水果采摘作业。

附图说明

图1是本发明基于MATLAB图像处理荔枝果实采摘区域划分方法流程图。

图2是本发明对荔枝树冠图像进行识别的流程图。

图3是本发明完成定位提取图像中荔枝坐标的原理图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例基于MATLAB图像处理荔枝果实采摘区域划分方法，具体包括下述步骤：

(一)采集荔枝树冠的树冠图像；

使用图像采集设备工业相机对荔枝树冠进行采摘拍摄得到树冠图像。

(二)对采集到的树冠图像进行去噪声预处理，具体为：

Step 1：原始水果图像在RGB颜色空间里，被分解成R、G、B三个颜色图像，每个颜色图像都为二维图像；

Step 2：接下来，每个颜色图像利用二维塔式分解算法被分解成低频和高频部分，然后利用直方图均值化和对比度提升分别处理低频部分和高频部分；

Step 3：对处理后的低频和高频部分利用塔式重构算法合并成二维图像，分别完成三个颜色图像的光照均值化处理；

Step 4：对光照均值化处理后的三个颜色图像，在RGB颜色空间合并成色彩图像，完成水果彩色图像的预处理。

二维塔式分解算法

Stephane Mallat在1988年提出了Mallat快速算法，即塔式分解、重构算法。如下式：

其中，x，y代表像素点的横纵坐标，k，l都是整数，g，h分别是高通滤波器和低通滤波器。c_j是一个二维信号。和c_j+1分别是垂直高频部分，水平高频部分，对角高频部分和低频部分。这就是塔式二维信号离散分解算法。

进行光照均值化处理的按照下述公式进行：

其中，x，y代表像素点的横纵坐标，k，l都是整数，g，h分别是高通滤波器和低通滤波器，c'_j+1(k,l)为直方图均值化后的图像低频部分， 分别是对比度提升后的垂直高频部分，水平高频部分，对角高频部分；c'_j(x,y)则是光照均值化后的二维图像。

(三)果实的识别

如图2所示，提出水果识别模型的识别步骤包含训练阶段和测试阶段。在训练阶段，24幅水果光照均值化图像被随机地选取，用以人为地选取水果区域和非水果区域。从而，这些区域的LBP特征能被计算出来。水果区域和非水果区域的数量分别是200张，它们的大小均为24×24像素。在测试阶段的步骤1环节中，疑似水果果实的区域被用CHT方法提取。从而，整幅图像被分成两部分，即包含CHT检测圆的图像和不包含CHT检测圆的图像。在步骤2中，CHT检测圆用训练阶段的分类器来确定是否为水果区域。在步骤3环节中，用一个10×10的小窗口扫描整幅不含CHT检测结果的图像，用以搜索被枝叶、果实遮挡的小区域的水果果实目标。最后，将两部分的结果合并，得到最终的识别结果。

(四)、荔枝边缘提取并边缘化，完成定位提取图像中荔枝坐标，

如图3所示，C_l与Cr分别表示左右相机，O_l与O_r则分别是两个相机的光心。由于两相机平行共线放置，所以两个相机光心所确定的平面(平面x_lO_ly_l与平面x_rO_ry_r)以及两个相机的成像平面(平面u_lO_lv_l与平面u_rO_rv_r)分别平行共面，只是在x轴方向有移动量，即b，b也称为基线。空间点A与两个相机的光心连线分别交成像平面于点a_l和a_r。该空间成像图映射在二维平面以后，根据三角形相似理论可以得出A点的三维坐标有如下关系：

其中，f为焦距，u₀、v₁、v₀和a_y是相机内部参数。

(五)确定作业位置；

确定果实个点作业位置使用K-means聚类法对已标注的荔枝进行区域划分，分好类之后选取每一类的质心作为采摘的作业点。

使用K-means聚类方法对该区域进行聚类分析具体为：

在得到树冠上荔枝果实的坐标之后，随机选取k个聚类质心点为，μ₁，μ₂，…，μ_k∈Rⁿ，重复下面过程直到收敛

{对于每一个样例i，计算其应该属于的类

对于每一个类j，重新计算该类的质心

K是设定的聚类数，c⁽ⁱ⁾代表样例i与k个类中距离最近的那个类，c⁽ⁱ⁾的值是1到k中的一个，质心μ_j代表对属于同一个类的样本中心点的猜测，首先随机选取k个树冠中的点，作为k个区域的质心，然后第一步对于每一个荔枝坐标计算其到k个质心中每一个的距离，然后选取距离最近的那个点作为c⁽ⁱ⁾，这样经过第一步每一个荔枝坐标都有了所属的区域；第二步对于每一个区域，重新计算它的质心μ_j，重复迭代第一步和第二步直到质心不变或者变化很小。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，包括下述步骤：

S1、采集荔枝树冠的树冠图像；

S2、对采集到的树冠图像进行去噪声预处理，具体为：

S2.1、原始水果图像在RGB颜色空间里，被分解成R、G、B三个颜色图像，每个颜色图像都为二维图像；

S2.2、每个颜色图像利用二维塔式分解算法被分解成低频和高频部分，然后利用直方图均值化和对比度提升分别处理低频部分和高频部分；

S2.3、对处理后的低频和高频部分利用塔式重构算法合并成二维图像，分别完成三个颜色图像的光照均值化处理；

S2.4、对光照均值化处理后的三个颜色图像，在RGB颜色空间合并成色彩图像，完成水果彩色图像的预处理；

S3、通过果实与非果实的局部二值模式LBP特征训练的AdaBoost分类器对疑似果实区域和非果实区域进行错误检测，在合并检测结果后完成荔枝果实的识别；

S4、荔枝边缘提取并边缘化，完成定位提取图像中荔枝坐标；

S5、得到荔枝的坐标信息之后使用K-means聚类方法对该区域进行聚类分析，分类之后对每一块的划分区域质心作为采摘位置的中心点。

2.根据权利要求1所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S1中，使用工业相机对荔枝树冠进行采摘拍摄得到树冠图像。

3.根据权利要求1所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S2.2中，所述二维塔式分解算法具体为：

其中，x，y代表像素点的横纵坐标，k，l都是整数，g，h分别是高通滤波器和低通滤波器，c_j是一个二维信号，和c_j+1分别是垂直高频部分，水平高频部分，对角高频部分和低频部分。

4.根据权利要求3所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S2.3中，进行光照均值化处理的按照下述公式进行：

其中，x，y代表像素点的横纵坐标，k，l都是整数，g，h分别是高通滤波器和低通滤波器，c'_j+1(k,l)为直方图均值化后的图像低频部分， 分别是对比度提升后的垂直高频部分，水平高频部分，对角高频部分；c'_j(x,y)则是光照均值化后的二维图像。

5.根据权利要求1所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S3包括训练阶段具体为：

S3.1、N幅水果光照均值化图像被随机地选取，用以人为地选取水果区域和非水果区域，

S3.2、选定水果区域和非水果区域图片的数量M张，图片大小均为设定像素；

S3.3、将水果区域和非水果区域的LBP特征计算出来；

S3.4、利用AdaBoost构造分类器并进行训练。

6.根据权利要求5所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S3中，进行检测的具体步骤为：

S3.5、疑似水果果实的区域被用CHT方法提取，从而将整幅图像被分成两部分，即包含CHT检测圆的图像和不包含CHT检测圆的图像；

S3.6、CHT检测圆图像用训练阶段的分类器来确定是否为水果区域；

S3.7、用一个10×10的小窗口扫描整幅不含CHT检测结果的图像，用以搜索被枝叶、果实遮挡的小区域的水果果实目标；

S3.8、两部分的结果合并，得到最终的识别结果。

7.根据权利要求1所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S4具体为：

将两相机平行共线放置，两个相机光心所确定的平面以及两个相机的成像平面分别平行共面，两相机只是在x轴方向有移动量，即b，b也称为基线，空间点A与两个相机的光心连线分别交成像平面于点al和ar，该空间成像图映射在二维平面以后，根据三角形相似理论可以得出A点的三维坐标有如下关系：

其中，f为焦距，u₀、v₁、v₀和ay是相机内部参数，C_l与Cr分别表示左右相机，O_l与Or则分别是两个相机的光心。

8.根据权利要求1所述基于MATLAB图像处理荔枝果实采摘区域划分方法，其特征在于，步骤S5中，使用K-means聚类方法对该区域进行聚类分析具体为：

在得到树冠上荔枝果实的坐标之后，随机选取k个聚类质心点为，μ₁，μ₂，…，μ_k∈Rⁿ，重复下面过程直到收敛

{对于每一个样例i，计算其应该属于的类

对于每一个类j，重新计算该类的质心

K是设定的聚类数，c⁽ⁱ⁾代表样例i与k个类中距离最近的那个类，c⁽ⁱ⁾的值是1到k中的一个，质心μ_j代表对属于同一个类的样本中心点的猜测，首先随机选取k个树冠中的点，作为k个区域的质心，然后第一步对于每一个荔枝坐标计算其到k个质心中每一个的距离，然后选取距离最近的那个点作为c⁽ⁱ⁾，这样经过第一步每一个荔枝坐标都有了所属的区域；第二步对于每一个区域，重新计算它的质心μ_j，重复迭代第一步和第二步直到质心不变或者变化很小。