CN112507911B - 一种基于机器视觉的山核桃果实在图像中的实时识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的山核桃采摘机器人目标识别方法。本发明首先对原始图像降采样，获得降采样图像；对降采样图像进行平滑去噪处理，获得去噪图像；随后将去噪图像在不同颜色空间中进行转换，选择提取目标特征明显的特征图像分量，通过阈值分割后获得第一二值化图；同时根据颜色阈值范围对去噪图像进行处理获得第二二值化图；对第一二值化图和第二二值化图进行形态学处理后取两者的公共区域，公共区域为采摘机器人识别的山核桃果实。本发明提高了山核桃目标图像的分类速率，具有很好的分类鲁棒性和准确性。

Description

一种基于机器视觉的山核桃果实在图像中的实时识别方法

技术领域

本发明涉及山核桃采摘机器人目标识别方法，尤其是涉及了一种基于机器视觉的山核桃果实在图像中的实时识别方法。

背景技术

对于自动化山核桃采摘机，识别作业对象是采摘机器人需要解决的重点问题。一方面，自然生长的山核桃果实具有个体差异，它们的大小、形状、颜色等物理形态各不相同，并且随着时间变化而改变；另一方面，山核桃果实枝叶遮挡等复杂背景的干扰增加了作业对象的识别难度。因此，要使采摘机从复杂作业环境中准确识别作业对象，必须要求采摘机具备强大的分析识别算法支持。颜色信息是区分大多数成熟果实与复杂背景最常用到的特征，因此在研制采摘机的过程中，基于颜色特征的识别方法是最早采用的。基于颜色特征识别方法的关键是确定分割阈值，但是由于光线变化等因素影响阈值的选取，从而影响识别的成功率。颜色特征针对果实颜色特征与背景颜色特征比较接近的情况下，基于颜色单一特征的识别方法往往识别率不高，从而限制这这一类算法的应用。除了颜色特征，几何形状特征也是识别目标果实所常用到的特征信息。由于几何形状特征独立于颜色信息，所以基于形状特征的识别算法可以有效消除光线和色彩等干扰的影响。虽然国内外有不少研究成果，但是对于如何在仅使用可见光传感器的基础之上提高采摘机器人对山核桃果实生长环境感知能力和保证目标识别高准确率，提高算法的鲁棒性和实时性好尚无系统性研究。

发明内容

针对背景技术中存在的问题，本发明的目的在于提供了一种基于机器视觉的山核桃果实在图像中的实时识别方法。本发明能够通过摄像头采集图像自动识别不同类型的山核桃果实，提高了识别的效果和效率。

本发明采用的技术方案包括以下步骤：

1)对摄像头采集到的原始图像进行降采样处理，获得降采样图像；

2)对降采样图像进行平滑去噪处理，获得去噪图像；

3)将去噪图像在颜色空间中转换获得各个颜色空间中的特征图像分量，取特征图像分量中目标特征明显的特征图像分量；

4)对目标特征明显的特征图像分量进行阈值分割，分割后的获得第一二值化图像，记为第一二值化图；

5)设定成熟山核桃果实的颜色阈值范围，根据颜色阈值范围将步骤2)中的去噪图像进行处理，提取去噪图像中成熟山核桃果实区域，形成第二二值化图像，记为第二二值化图；

6)分别对第一二值化图和第二二值化图进行形态学处理，去除第一二值化图和第二二值化图中的非目标区域和噪点，非目标区域为成熟山核桃果实不在的区域；

7)取步骤6)中形态学处理后的第一二值化图和第二二值化图的公共区域，公共区域为采摘机器人识别的山核桃果实。

所述步骤(3)具体为：

将去噪图像转换到YUV颜色空间、LA*B*颜色空间和HSV颜色空间中获得各个颜色空间中的特征图像分量，选择YUV颜色空间中的第一色度分量u和第二色度分量v、LA*B*颜色空间中的黄蓝值分量b*以及HSV颜色空间中的明度分量h作为目标特征明显的特征图像分量。

所述步骤4)中的阈值分割采用最大类间方差法(Otsu)、K近邻方法(K-means)或快速递归多阈值分割方法(recursionOtsu)。

所述步骤6)具体为：

6.1)对第一二值化图和第二二值化图均使用开运算方法处理，去除放射状非核桃目标区域；

6.2)通过检测轮廓方法对开运算后的第一二值化图和第二二值化图进行处理分别获得第一检测区域和第二检测区域，第一检测区域和第二检测区域均由若干个子区域组成，对第一检测区域和第二检测区域内子区域的像素点数目分别进行计算，去除第一检测区域和第二检测区域内像素点数目低于对应检测阈值的子区域；

6.3)计算步骤6.2)处理后的第一检测区域和第二检测区域中剩余的所有子区域的最小外接矩阵，将最小外接矩阵的行宽和最小外接矩阵的列高的比值大于最小外接矩阵阈值的子区域去除，同时也将最小外接矩阵的列高和最小外接矩阵的行宽的比值大于最小外接矩阵阈值的子区域去除；并且根据最小外接矩阵将长度或宽度小于150像素的子区域去除；

6.4)最后判断步骤6.3)处理后的第一检测区域和第二检测区域中剩余的所有子区域的区域像素面积是否小于对应检测区域中剩余的所有子区域的当前最小外接矩阵面积的像素面积阈值，若区域像素面积小于对应检测区域的当前最小外接矩阵面积的像素面积阈值，则去除该子区域；否则，保留该子区域；最终获得形态学处理后的第一二值化图和第二二值化图。

本发明的有益效果是：

针对在非结构化环境下，山核桃采摘机器人环境感知易受光线变化等因素的影响，提出了多空间多特征融合的目标分割方案，包括RGB、Lab、HSV等多种颜色空间，同时结合了彩色特征的融合方法，整合了二类特征的优势，达到山核桃采摘机对成熟山核桃果实识别的准确性、鲁棒性和快速性要求。

附图说明

图1为本发明的流程框图。

图2为实施例的原始图像在四个颜色空间中的特征图像分量。

图3为对u、v、b*、h四个特征图像分量分别使用三种阈值分割方法后获得的效果图。

图4为实施例通过颜色阈值范围来提取原始图像中成熟山核桃果实的区域。

图5为通过形态学处理后的效果图。

图6为识别的成熟山核桃果实。

具体实施方式：

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明包括以下步骤：

1)对摄像头采集到的图像进行降采样处理，降低图像分辨率，获得降采样图像；采样设备是山狗A8运动相机，原始图像的分辨率为8000*6000，为了减少计算机的处理时间通过ACDsee软件将原始图像的分辨率改为4000*3000。

2)对降采样图像进行平滑去噪处理，获得去噪图像；

具体实施中，使用高斯滤波对降采样图像进行平滑去噪处理，目的是为了使原始图像更加平滑并对图像进行初步去噪。

3)如图2所示，将去噪图像在颜色空间中转换获得各个颜色空间中的特征图像分量，取特征图像分量中目标特征明显的特征图像分量；

将去噪图像转换到YUV颜色空间、LA*B*颜色空间和HSV颜色空间中获得各个颜色空间中的特征图像分量，选择YUV颜色空间中的第一色度分量u和第二色度分量v、LA*B*颜色空间中的黄蓝值分量b*以及HSV颜色空间中的明度分量h作为目标特征明显的特征图像分量，YUV颜色空间中的第一色度分量u和第二色度分量v、LA*B*颜色空间中的黄蓝值分量b*以及HSV颜色空间中的明度分量h中成熟山核桃果实和背景拥有较大的区分度。

4)如图3所示，对YUV颜色空间中的第一色度分量u和第二色度分量v、LA*B*颜色空间中的黄蓝值分量b*以及HSV颜色空间中的明度分量h进行阈值分割，分割后的获得第一二值化图像，记为第一二值化图；

最大类间方差法(Otsu)、K近邻方法(K-means)或快速递归多阈值分割方法(recursionOtsu)三种方法能够区分出成熟山核桃果实和大量背景噪音。具体实施中，选用快速递归多阈值分割方法(recursionOtsu)；

5)如图4所示，设定成熟山核桃果实的颜色阈值范围，根据颜色阈值范围将步骤2)中的去噪图像进行处理，提取去噪图像中成熟山核桃果实区域，形成第二二值化图像，记为第二二值化图；颜色阈值范围为成熟山核桃果实应有的颜色；

在HSV通道上颜色分割效果要远远优于在BGR通道上分割，所以只需要确定所需要分割的颜色并根据hsv颜色值对照表中橙色的上下阈值直接对去噪图像进行分割(橙色区域被认为是合格的成熟山核桃果实)。通过提取去噪图像中所有的橙色区域可以帮助排除青涩还未成熟的山核桃果实，一旦区域颜色在颜色阈值范围内，则认为是成熟山核桃果实，需要保留，从而只摘取成熟山核桃果实。

表HSV颜色值对照表

6)如图5所示，分别对第一二值化图和第二二值化图进行形态学处理，去除第一二值化图和第二二值化图中的非目标区域和噪点，非目标区域为成熟山核桃果实不在的区域；

6.1)对第一二值化图和第二二值化图均使用开运算方法处理，去除放射状非核桃目标区域，开运算的结构元素大小选择为15*15；

6.2)通过检测轮廓方法对开运算后的第一二值化图和第二二值化图进行处理分别获得第一检测区域和第二检测区域，第一检测区域和第二检测区域均由若干个子区域组成，对第一检测区域和第二检测区域内子区域的像素点数目分别进行计算，去除第一检测区域和第二检测区域内像素点数目低于对应检测阈值的子区域，对应检测阈值为6400(80*80)；

6.3)计算步骤6.2)处理后的第一检测区域和第二检测区域中剩余的所有子区域的最小外接矩阵，将最小外接矩阵的行宽和最小外接矩阵的列高的比值大于最小外接矩阵阈值的子区域去除，同时也将最小外接矩阵的列高和最小外接矩阵的行宽的比值大于最小外接矩阵阈值的子区域去除；具体实施中，最小外接矩阵阈值为3。并且根据最小外接矩阵将长度或宽度小于150像素的子区域去除，即当子区域的最小外接矩阵的行宽或者列高小于150时，将子区域去除，从而将细长、狭小的子区域去噪；

6.4)由于不成熟山核桃果实的中心区域颜色发青，在阈值分割后大多只呈现果实轮廓而中心区域为空。因此，最后判断步骤6.3)处理后的第一检测区域和第二检测区域中剩余的所有子区域的区域像素面积是否小于对应检测区域中剩余的所有子区域的当前最小外接矩阵面积的像素面积阈值，具体实施中，像素面积阈值为1/4，若区域像素面积小于对应检测区域的当前最小外接矩阵面积的像素面积阈值，则去除该子区域；否则，保留该子区域；最终获得形态学处理后的第一二值化图和第二二值化图。

7)取步骤6)中形态学处理后的第一二值化图和第二二值化图的公共区域，公共区域具体为形态学处理后的第一二值化图和第二二值化图相重叠的区域，公共区域为采摘机器人识别的山核桃果实。

可以看出尽管做出许多条件来进行去噪但依旧留有非目标区域，但是步骤5)中去噪图像中的噪音被清除干净了。最后可以通过形态学处理后的第一二值化图和第二二值化图的对比来去除噪音，取形态学处理后的第一二值化图和第二二值化图的公共区域，若一幅图像中有此区域而另一个图像中这块区域像素点过少则去除这块区域，如图6所示；

该方法实验过程共计190张图片，有9张图像的山核桃果实过亮或过暗导致采摘机器人无法识别，未成熟山核桃果实图片26张，直接误识别8张。总体来说，190张图片只有9张误判，达到预期目标。

Claims (2)

1.一种基于机器视觉的山核桃果实在图像中的实时识别方法，其特征在于：包括以下步骤：

1)对摄像头采集到的原始图像进行降采样处理，获得降采样图像；

2)对降采样图像进行平滑去噪处理，获得去噪图像；

3)将去噪图像在颜色空间中转换获得各个颜色空间中的特征图像分量，取特征图像分量中目标特征明显的特征图像分量；

所述步骤(3)具体为：

将去噪图像转换到YUV颜色空间、LA*B*颜色空间和HSV颜色空间中获得各个颜色空间中的特征图像分量，选择YUV颜色空间中的第一色度分量u和第二色度分量v、LA*B*颜色空间中的黄蓝值分量b*以及HSV颜色空间中的明度分量h作为目标特征明显的特征图像分量；

4)对目标特征明显的特征图像分量进行阈值分割，分割后的获得第一二值化图像，记为第一二值化图；

5)设定成熟山核桃果实的颜色阈值范围，根据颜色阈值范围将步骤2)中的去噪图像进行处理，提取去噪图像中成熟山核桃果实区域，形成第二二值化图像，记为第二二值化图；

6)分别对第一二值化图和第二二值化图进行形态学处理，去除第一二值化图和第二二值化图中的非目标区域和噪点，非目标区域为成熟山核桃果实不在的区域；

所述步骤6)具体为：

6.1)对第一二值化图和第二二值化图均使用开运算方法处理，去除放射状非核桃目标区域；

6.2)通过检测轮廓方法对开运算后的第一二值化图和第二二值化图进行处理分别获得第一检测区域和第二检测区域，第一检测区域和第二检测区域均由若干个子区域组成，对第一检测区域和第二检测区域内子区域的像素点数目分别进行计算，去除第一检测区域和第二检测区域内像素点数目低于对应检测阈值的子区域；

6.3)计算步骤6.2)处理后的第一检测区域和第二检测区域中剩余的所有子区域的最小外接矩阵，将最小外接矩阵的行宽和最小外接矩阵的列高的比值大于最小外接矩阵阈值的子区域去除，同时也将最小外接矩阵的列高和最小外接矩阵的行宽的比值大于最小外接矩阵阈值的子区域去除；并且根据最小外接矩阵将长度或宽度小于150像素的子区域去除；

6.4)最后判断步骤6.3)处理后的第一检测区域和第二检测区域中剩余的所有子区域的区域像素面积是否小于对应检测区域中剩余的所有子区域的当前最小外接矩阵面积的像素面积阈值，若区域像素面积小于对应检测区域的当前最小外接矩阵面积的像素面积阈值，则去除该子区域；否则，保留该子区域；最终获得形态学处理后的第一二值化图和第二二值化图；

7)取步骤6)中形态学处理后的第一二值化图和第二二值化图的公共区域，公共区域为采摘机器人识别的山核桃果实。

2.根据权利要求1所述的一种基于机器视觉的山核桃果实在图像中的实时识别方法，其特征在于：所述步骤4)中的阈值分割采用最大类间方差法(Otsu)、K近邻方法(K-means)或快速递归多阈值分割方法(recursionOtsu)。

Images