CN114067206A - 一种基于深度图像的球形果实识别定位方法 - Google Patents

Abstract

本发明提供了一种基于深度图像的球形果实识别定位方法，用于解决弱光环境及近色背景果实识别困难的问题，属于图像处理技术领域。一种基于深度图像的球形果实识别定位方法主要包括六个步骤：首先对果树进行深度图像信息采集；利用深度图像计算各个像素点的梯度求出梯度向量场；计算梯度向量场的散度并根据散度最大原则，搜索出辐散中心点；利用等深图像从辐散中心点中筛选出果实中心点；以果实中心点为原点搜索果实边界点得到果实图像区域；最后将果实图像区域内的像素点导入到三维点云中利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。本发明从三维形态角度进行果实识别定位，可以不受果实颜色以及光照等自然环境的影响。

Description

一种基于深度图像的球形果实识别定位方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度图像的球形果实识别定位方法。

背景技术

近年来，农业机器人已成为世界热点，人工智能在农业中应用的年复合增长率为22.68％。农业机器人的广泛应用是人工智能农业领域市场快速发展的重要因素。而目前中国农业机器人研究产出规模已经超过美国，同时重点关注在收获和采摘机器人，中国农业对于智能农机技术是刚性需求，农业智能化、信息化是中国农业补短板的必由之路。

果实识别定位技术是采摘机器人的技术核心，而快速准确地提取采摘目标特征是果实识别的前提。目前国内外对果实识别定位的研究算法主要还是采用了传统的基于可见光图像处理的果实识别技术，此类识别定位算法都是通过颜色阈值和图像增强来实现果实与果树枝叶的分割，其在重叠对象的分割以及光照敏感性上存在很大的局限性。因此，为解决二维图像果实识别技术存在的诸多弊端，利用深度摄像头从三维的角度进行果实识别的研究成为了新的热潮。

深度摄像头在果实识别定位的应用上具有天然的优势，首先，深度摄像头获取图像的灰度值代表的是一个深度的信息，使得获取到的图片信息从二维上升到了三维的维度，能够更有效的解决重叠果实和遮挡果实的实际问题。其次，深度摄像头采用的是主动光传感技术，因此它可以在强光、弱光甚至黑夜环境下进行工作，解决了传统RGB摄像头被动光技术受光照影响较大的弊端。

发明内容

本发明提供了一种基于深度图像的球形果实识别定位方法，用于解决弱光环境及近色背景果实识别困难的问题。

本发明采用如下方法来实现：一种基于深度图像的球形果实识别定位方法，其特征在于，包括：

步骤一、对果树进行深度图像信息采集；

步骤二、利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场；

步骤三、将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点；

步骤四、利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点；

步骤五、以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域；

步骤六、将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。

步骤二中，利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场，具体步骤如下：

步骤二一：分别求取深度图像中像素点横向梯度和纵向梯度，在图像处理领域中，图像的梯度即图像灰度值在某一方向上变化的大小，其计算公式为：

GX_ij＝D_i(j+k)-D_i(j-k) (1)

GY_ij＝D_(i+k)j-D_(i-k)j (2)

其中，GX_ij为深度图像中第i行第j列像素的横向梯度大小，GY_ij为深度图像中第i行第j列像素的纵梯度大小，D_ij为深度图像中第i行第j列像素的灰度值，k为梯度采样间隔；

步骤二二：将每个像素点的横向梯度和纵向梯度用向量进行表示，得到梯度向量场，每个像素的向量表示公式为：

V_ij＝(GX_ij，GY_ij) (3)

其中，V_ij为深度图像中第i行第j列像素的梯度向量。

步骤三中，将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点，该方法将梯度向量看作气象学中的运动矢量，在气象学中流体在运动中集中的区域称为辐合，运动中发散的区域称为辐散，而在梯度向量场中果实部分的梯度向量正好表现出辐散的特性，且果实中心点也正好位于辐散中心附近，而辐散中心在散度最大值处取得因此通过搜索散度的极大值点即可实现对果实中心点的提取，其具体步骤如下：

步骤三一：计算梯度向量场的散度，散度计算公式为：

其中，

为矢量在x方向和y方向上的偏导算子，V为梯度向量场；

步骤三二，找出梯度向量场中散度的所有极大值点，并定义为辐散中心点。

步骤四中，所述利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点，该方法考虑了步骤三中对辐散中心点的提取实际上就是将深度图像数字化后的纯数学计算，无法保证提取出的辐散中心点就是果实中心点，往往会产生许多的误判点，而果实中心部分的等深图形通常会呈现为近似圆形，背景部分的等深图像则通常会呈现为长条状或小圆点，因此利用此特征差异即可从辐散中心点中筛选出果实中心点，具体过程为：

步骤四一：输入一个辐散中心点，并将该点作为起始点采用漫水填充算法对起始点附近灰度值相同的像素点进行填充标记，然后做出填充图形的最小外接矩形，根据判别函数关系式将满足所有条件的辐散中心点进行标记，判别函数关系式如下：

其中，H为最小外接矩形框高度，W为最小外接矩形框宽度，A为最小外接矩形框内标记像素数，δ_E为高宽比以及宽高比阈值，δ_T为矩形框内标记像素点占比阈值，由于背景部分的等深图像有时会呈现为小圆点，从而也可满足公式(5)的判别条件，因此还需对辐散中心点进行二次判别，具体步骤为步骤四二：将被标记的辐散中心点继续作为起始点重新采用漫水填充算法对起始点附近灰度值相同以及比起始点大1灰度的像素点进行填充标记，并做出填充图形的最小外接矩形根据公式(5)进行判别，若仍满足所有判别条件，则将该辐散中心点定义为果实中心点；

步骤四三：循环执行步骤四一、四二，直到遍历完所有辐散中心点。

步骤五中，所述以果实中心点为原点向八方向搜索果实边界点，该方法考虑了果实在深度图像接近果实中心位置的深度变化较小，接近果实边缘部分的深度变化较大，因此在深度图像中果实边缘部分会出现一个深度的跳变，利用此特性便可搜索出果实的边界点，其具体步骤如下：

步骤五一：输入一个果实中心点，在果树深度图像中以果实中心点为起点朝八个方向依次搜索，每搜索一步比较该像素点的灰度值与下一步搜索像素点灰的度值的差值σ，并设置阈值b，当|σ|≤b则朝搜索方向继续搜索，直到出现|σ|＞b则将当前位置的像素点定义为果实边界点；

步骤五二：将步骤五一中搜索到的八个果实边界点依次连接，得到一个闭合区域定义为果实图像区域，并对果实图像区域内的像素点进行标记；

步骤五三：循环执行步骤五一、五二，直到遍历完所有的果实中心点，在执行步骤五一前检测该果实中心点是否已被标记，若该点已被标记则跳过此点。

步骤六中，所述将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小，利用RANSAC算法能够进一步排除误判点，同时充分利用深度图像信息，可通过果实的部分深度图像来对果实进行拟合补全，能够有效的解决果实重叠和遮挡问题，并得到果实的实际空间坐标，其具体步骤如下：

步骤六一：将其中一个果实图像区域内的像素点导入到三维点云，并设置拟合模型，拟合模型公式如下：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝r² (6)

其中，x，y，z为输入点云坐标，x₀，y₀，z₀为待拟合球形的球心坐标，r为待拟合球形的半径；

步骤六二：根据RANSAC算法依次将三维点云代入到拟合模型中进行迭代，直至找出最佳模型；

步骤六三：循环执行步骤六一、六二，剔除球形半径过大的模型，输出所有果实图像区域中符合条件的拟合球形的球心坐标和半径。

本发明的有益效果为：

1)本发明仅利用深度图像对果实进行识别定位，未对果实的颜色信息进行处理，因此可以无视果实的颜色以及所处光照环境，只要是球形果实都可进行识别定位，甚至在夜间环境也可进行果实识别定位操作。

2)本发明通过计算深度图像的变化梯度，利用球形果实表面近似凸曲面的特性，实现了果实图像与枝叶背景图像的分割。

3)本发明提出了一种先定位后识别的果实识别算法，由粗及精地对果实中心点进行提取，可加快算法速率，为后续果实拟合算法减少计算量。

4)本发明采用了RANSAC球形拟合算法，可通过部分的果实图像拟合出完整的果实球形，能够有效地解决果实重叠和遮挡问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于深度图像的球形果实识别定位方法实施例流程图；

图2为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的采集到的果树深度图像；

图3为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的梯度向量场可视化图像；

图4为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的辐散中心定位图像；

图5为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的深度图像导出的点云图像；

图6为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的果实拟合球形图像。

具体实施方式

本发明给出了一种基于深度图像的球形果实识别定位方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

本发明首先提供了一种基于深度图像的球形果实识别定位方法实施例，如图1所示，包括：本发明采用如下方法来实现：一种基于深度图像的球形果实识别定位方法，包括：

步骤一S101、对果树进行深度图像信息采集；

步骤二S102、利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场；

步骤三S103、将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点；

步骤四S104、利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点；

步骤五S105、以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域；

步骤六S106、将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。

步骤一采集的深度图像如图2所示。

步骤二中，利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场，具体步骤如下：

步骤二一：分别求取深度图像中像素点横向梯度和纵向梯度，在图像处理领域中，图像的梯度即图像灰度值在某一方向上变化的大小，其计算公式为：

GX_ij＝D_i(j+k)-D_i(j-k) (1)

GY_ij＝D_(i+k)j-D_(i-k)j (2)

其中，GX_ij为深度图像中第i行第j列像素的横向梯度大小，GY_ij为深度图像中第i行第j列像素的纵梯度大小，D_ij为深度图像中第i行第j列像素的灰度值，k为梯度采样间隔；

步骤二二：将每个像素点的横向梯度和纵向梯度用向量进行表示，得到梯度向量场如图3所示，每个像素的向量表示公式为：

V_ij＝(GX_ij，GY_ij) (3)

其中，V_ij为深度图像中第i行第j列像素的梯度向量。

步骤三中，将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点，该方法将梯度向量看作气象学中的运动矢量，在气象学中流体在运动中集中的区域称为辐合，运动中发散的区域称为辐散，而在梯度向量场中果实部分的梯度向量正好表现出辐散的特性，且果实中心点也正好位于辐散中心附近，而辐散中心在散度最大值处取得因此通过搜索散度的极大值点即可实现对果实中心点的提取，其具体步骤如下：

步骤三一：计算梯度向量场的散度，散度计算公式为：

其中，

为矢量在x方向和y方向上的偏导算子，V为梯度向量场；

步骤三二，找出梯度向量场中散度的所有极大值点，并定义为辐散中心点如图4所示。

步骤四中，所述利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点，该方法考虑了步骤三中对辐散中心点的提取实际上就是将深度图像数字化后的纯数学计算，无法保证提取出的辐散中心点就是果实中心点，往往会产生许多的误判点，而果实中心部分的等深图形通常会呈现为近似圆形，背景部分的等深图像则通常会呈现为长条状或小圆点，因此利用此特征差异即可从辐散中心点中筛选出果实中心点，具体过程为：

步骤四一：输入一个辐散中心点，并将该点作为起始点采用漫水填充算法对起始点附近灰度值相同的像素点进行填充标记，然后做出填充图形的最小外接矩形，根据判别函数关系式将满足所有条件的辐散中心点进行标记，判别函数关系式如下：

其中，H为最小外接矩形框高度，W为最小外接矩形框宽度，A为最小外接矩形框内标记像素数，δ_E为高宽比以及宽高比阈值，δ_T为矩形框内标记像素点占比阈值，由于背景部分的等深图像有时会呈现为小圆点，从而也可满足公式(5)的判别条件，因此还需对辐散中心点进行二次判别，具体步骤为步骤四二：将被标记的辐散中心点继续作为起始点重新采用漫水填充算法对起始点附近灰度值相同以及比起始点大1灰度的像素点进行填充标记，并做出填充图形的最小外接矩形根据公式(5)进行判别，若仍满足所有判别条件，则将该辐散中心点定义为果实中心点；

步骤四三：循环执行步骤四一、四二，直到遍历完所有辐散中心点。

步骤五中，所述以果实中心点为原点向八方向搜索果实边界点，该方法考虑了果实在深度图像接近果实中心位置的深度变化较小，接近果实边缘部分的深度变化较大，因此在深度图像中果实边缘部分会出现一个深度的跳变，利用此特性便可搜索出果实的边界点，其具体步骤如下：

步骤五一：输入一个果实中心点，在果树深度图像中以果实中心点为起点朝八个方向依次搜索，每搜索一步比较该像素点的灰度值与下一步搜索像素点灰的度值的差值σ，并设置阈值b，当|σ|≤b则朝搜索方向继续搜索，直到出现|σ|＞b则将当前位置的像素点定义为果实边界点；

步骤五二：将步骤五一中搜索到的八个果实边界点依次连接，得到一个闭合区域定义为果实图像区域，并对果实图像区域内的像素点进行标记，果实图像分割过程如图5所示；

步骤五三：循环执行步骤五一、五二，直到遍历完所有的果实中心点，在执行步骤五一前检测该果实中心点是否已被标记，若该点已被标记则跳过此点。

步骤六中，所述将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小，利用RANSAC算法能够进一步排除误判点，同时充分利用深度图像信息，可通过果实的部分深度图像来对果实进行拟合补全，能够有效的解决果实重叠和遮挡问题，并得到果实的实际空间坐标，其具体步骤如下：

步骤六一：将其中一个果实图像区域内的像素点导入到三维点云，并设置拟合模型，拟合模型公式如下：

(x-x₀)²+(y-y₀)²+(z-z₀)²＝r² (6)

其中，x，y，z为输入点云坐标，x₀，y₀，z₀为待拟合球形的球心坐标，r为待拟合球形的半径；

步骤六二：根据RANSAC算法依次将三维点云代入到拟合模型中进行迭代，直至找出最佳模型，果实部分图像分割拟合过程如图5所示；

步骤六三：循环执行步骤六一、六二，剔除球形半径过大的模型，输出所有果实图像区域中符合条件的拟合球形的球心坐标和半径，本文算法识别定位最终结果如图6所示。

以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于深度图像的球形果实识别定位方法，其特征在于，包括：

步骤一、对果树进行深度图像信息采集；

步骤二、利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场；

步骤三、将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点；

步骤四、利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点；

步骤五、以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域；

步骤六、将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。

2.如权利要求1所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述步骤二利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场，具体步骤如下：

步骤二一：分别求取深度图像中像素点横向梯度和纵向梯度，在图像处理领域中，图像的梯度即图像灰度值在某一方向上变化的大小，其计算公式为：

GX_ij＝D_i(j+k)-D_i(j-k) (1)

GY_ij＝D_(i+k)j-D_(i-k)j (2)

其中，GX _ij 为深度图像中第i行第j列像素的横向梯度大小，GY _ij 为深度图像中第i行第j列像素的纵梯度大小，D _ij 为深度图像中第i行第j列像素的灰度值，k为梯度采样间隔；

步骤二二：将每个像素点的横向梯度和纵向梯度用向量进行表示，得到梯度向量场，每个像素的向量表示公式为：

V_ij＝(GX_ij，GY_ij) (3)

其中，V _ij 为深度图像中第i行第j列像素的梯度向量。

3.如权利要求2所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述步骤三中将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点，具体过程为：

步骤三一：计算梯度向量场的散度，散度计算公式为：

其中，▽为矢量在x方向和y方向上的偏导算子，V为梯度向量场；

步骤三二，找出梯度向量场中散度的所有极大值点，并定义为辐散中心点。

4.如权利要求3所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述步骤四中利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点，具体步骤如下：

步骤四一：输入一个辐散中心点，并将该点作为起始点采用漫水填充算法对起始点附近灰度值相同的像素点进行填充标记，然后做出填充图形的最小外接矩形，根据判别函数关系式将满足所有条件的辐散中心点进行标记，判别函数关系式如下：

其中，H为最小外接矩形框高度，W为最小外接矩形框宽度，A为最小外接矩形框内标记像素数，δ _E 为高宽比以及宽高比阈值，δ _T 为矩形框内标记像素点占比阈值；

步骤四二：将被标记的辐散中心点继续作为起始点重新采用漫水填充算法对起始点附近灰度值相同以及比起始点大1灰度的像素点进行填充标记，并做出填充图形的最小外接矩形根据公式(5)进行判别，若仍满足所有判别条件，则将该辐散中心点定义为果实中心点；

步骤四三：循环执行步骤四一、四二，直到遍历完所有辐散中心点。

5.如权利要求4所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域的具体步骤如下：

步骤五一：输入一个果实中心点，在果树深度图像中以果实中心点为起点朝八个方向依次搜索，每搜索一步比较该像素点的灰度值与下一步搜索像素点灰的度值的差值

，并设置阈值b，当

则朝搜索方向继续搜索，直到出现

则将当前位置的像素点定义为果实边界点；

步骤五二：将步骤五一中搜索到的八个果实边界点依次连接，得到一个闭合区域定义为果实图像区域，并对果实图像区域内的像素点进行标记；

步骤五三：循环执行步骤五一、五二，直到遍历完所有的果实中心点。

6.如权利要求5所述的一种基于深度图像的球形果实识别定位方法，其特征在于将果实图像区域像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及果实半径大小的具体步骤如下：

步骤六一：将其中一个果实图像区域内的像素点导入到三维点云，并设置拟合模型，拟合模型公式如下：

(6)

其中，

，

，

为输入点云坐标，

，

，

为待拟合球形的球心坐标，

为待拟合球形的半径；

步骤六二：根据RANSAC算法依次将三维点云代入到拟合模型中进行迭代，直至找出最佳模型；

步骤六三：循环执行步骤六一、六二，剔除球形半径过大的模型，输出所有果实图像区域中符合条件的拟合球形的球心坐标和半径。

Images