CN114067206B - 一种基于深度图像的球形果实识别定位方法 - Google Patents

一种基于深度图像的球形果实识别定位方法 Download PDF

Info

Publication number
CN114067206B
CN114067206B CN202111351580.5A CN202111351580A CN114067206B CN 114067206 B CN114067206 B CN 114067206B CN 202111351580 A CN202111351580 A CN 202111351580A CN 114067206 B CN114067206 B CN 114067206B
Authority
CN
China
Prior art keywords
fruit
point
image
points
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111351580.5A
Other languages
English (en)
Other versions
CN114067206A (zh
Inventor
赖楠旭
柳长源
王月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202111351580.5A priority Critical patent/CN114067206B/zh
Publication of CN114067206A publication Critical patent/CN114067206A/zh
Application granted granted Critical
Publication of CN114067206B publication Critical patent/CN114067206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度图像的球形果实识别定位方法，用于解决弱光环境及近色背景果实识别困难的问题，属于图像处理技术领域。一种基于深度图像的球形果实识别定位方法主要包括六个步骤：首先对果树进行深度图像信息采集；利用深度图像计算各个像素点的梯度求出梯度向量场；计算梯度向量场的散度并根据散度最大原则，搜索出辐散中心点；利用等深图像从辐散中心点中筛选出果实中心点；以果实中心点为原点搜索果实边界点得到果实图像区域；最后将果实图像区域内的像素点导入到三维点云中利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。本发明从三维形态角度进行果实识别定位，可以不受果实颜色以及光照等自然环境的影响。

Description

一种基于深度图像的球形果实识别定位方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度图像的球形果实识别定位方法。
背景技术
近年来，农业机器人已成为世界热点，人工智能在农业中应用的年复合增长率为22.68％。农业机器人的广泛应用是人工智能农业领域市场快速发展的重要因素。而目前中国农业机器人研究产出规模已经超过美国，同时重点关注在收获和采摘机器人，中国农业对于智能农机技术是刚性需求，农业智能化、信息化是中国农业补短板的必由之路。
果实识别定位技术是采摘机器人的技术核心，而快速准确地提取采摘目标特征是果实识别的前提。目前国内外对果实识别定位的研究算法主要还是采用了传统的基于可见光图像处理的果实识别技术，此类识别定位算法都是通过颜色阈值和图像增强来实现果实与果树枝叶的分割，其在重叠对象的分割以及光照敏感性上存在很大的局限性。因此，为解决二维图像果实识别技术存在的诸多弊端，利用深度摄像头从三维的角度进行果实识别的研究成为了新的热潮。
深度摄像头在果实识别定位的应用上具有天然的优势，首先，深度摄像头获取图像的灰度值代表的是一个深度的信息，使得获取到的图片信息从二维上升到了三维的维度，能够更有效的解决重叠果实和遮挡果实的实际问题。其次，深度摄像头采用的是主动光传感技术，因此它可以在强光、弱光甚至黑夜环境下进行工作，解决了传统RGB摄像头被动光技术受光照影响较大的弊端。
发明内容
本发明提供了一种基于深度图像的球形果实识别定位方法，用于解决弱光环境及近色背景果实识别困难的问题。
本发明采用如下方法来实现：一种基于深度图像的球形果实识别定位方法，其特征在于，包括：
步骤一、对果树进行深度图像信息采集；
步骤二、利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场；
步骤三、将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点；
步骤四、利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点；
步骤五、以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域；
步骤六、将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。
步骤二中，利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场，具体步骤如下：
步骤二一：分别求取深度图像中像素点横向梯度和纵向梯度，在图像处理领域中，图像的梯度即图像灰度值在某一方向上变化的大小，其计算公式为：
GXij＝Di(j+k)-Di(j-k) (1)
GYij＝D(i+k)j-D(i-k)j (2)
其中，GXij为深度图像中第i行第j列像素的横向梯度大小，GYij为深度图像中第i行第j列像素的纵梯度大小，Dij为深度图像中第i行第j列像素的灰度值，k为梯度采样间隔；
步骤二二：将每个像素点的横向梯度和纵向梯度用向量进行表示，得到梯度向量场，每个像素的向量表示公式为：
Vij＝(GXij，GYij) (3)
其中，Vij为深度图像中第i行第j列像素的梯度向量。
步骤三中，将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点，该方法将梯度向量看作气象学中的运动矢量，在气象学中流体在运动中集中的区域称为辐合，运动中发散的区域称为辐散，而在梯度向量场中果实部分的梯度向量正好表现出辐散的特性，且果实中心点也正好位于辐散中心附近，而辐散中心在散度最大值处取得因此通过搜索散度的极大值点即可实现对果实中心点的提取，其具体步骤如下：
步骤三一：计算梯度向量场的散度，散度计算公式为：
其中，为矢量在x方向和y方向上的偏导算子，V为梯度向量场；
步骤三二，找出梯度向量场中散度的所有极大值点，并定义为辐散中心点。
步骤四中，所述利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点，该方法考虑了步骤三中对辐散中心点的提取实际上就是将深度图像数字化后的纯数学计算，无法保证提取出的辐散中心点就是果实中心点，往往会产生许多的误判点，而果实中心部分的等深图形通常会呈现为近似圆形，背景部分的等深图像则通常会呈现为长条状或小圆点，因此利用此特征差异即可从辐散中心点中筛选出果实中心点，具体过程为：
步骤四一：输入一个辐散中心点，并将该点作为起始点采用漫水填充算法对起始点附近灰度值相同的像素点进行填充标记，然后做出填充图形的最小外接矩形，根据判别函数关系式将满足所有条件的辐散中心点进行标记，判别函数关系式如下：
其中，H为最小外接矩形框高度，W为最小外接矩形框宽度，A为最小外接矩形框内标记像素数，δE为高宽比以及宽高比阈值，δT为矩形框内标记像素点占比阈值，由于背景部分的等深图像有时会呈现为小圆点，从而也可满足公式(5)的判别条件，因此还需对辐散中心点进行二次判别，具体步骤为步骤四二：将被标记的辐散中心点继续作为起始点重新采用漫水填充算法对起始点附近灰度值相同以及比起始点大1灰度的像素点进行填充标记，并做出填充图形的最小外接矩形根据公式(5)进行判别，若仍满足所有判别条件，则将该辐散中心点定义为果实中心点；
步骤四三：循环执行步骤四一、四二，直到遍历完所有辐散中心点。
步骤五中，所述以果实中心点为原点向八方向搜索果实边界点，该方法考虑了果实在深度图像接近果实中心位置的深度变化较小，接近果实边缘部分的深度变化较大，因此在深度图像中果实边缘部分会出现一个深度的跳变，利用此特性便可搜索出果实的边界点，其具体步骤如下：
步骤五一：输入一个果实中心点，在果树深度图像中以果实中心点为起点朝八个方向依次搜索，每搜索一步比较该像素点的灰度值与下一步搜索像素点灰的度值的差值σ，并设置阈值b，当|σ|≤b则朝搜索方向继续搜索，直到出现|σ|＞b则将当前位置的像素点定义为果实边界点；
步骤五二：将步骤五一中搜索到的八个果实边界点依次连接，得到一个闭合区域定义为果实图像区域，并对果实图像区域内的像素点进行标记；
步骤五三：循环执行步骤五一、五二，直到遍历完所有的果实中心点，在执行步骤五一前检测该果实中心点是否已被标记，若该点已被标记则跳过此点。
步骤六中，所述将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小，利用RANSAC算法能够进一步排除误判点，同时充分利用深度图像信息，可通过果实的部分深度图像来对果实进行拟合补全，能够有效的解决果实重叠和遮挡问题，并得到果实的实际空间坐标，其具体步骤如下：
步骤六一：将其中一个果实图像区域内的像素点导入到三维点云，并设置拟合模型，拟合模型公式如下：
(x-x0)2+(y-y0)2+(z-z0)2＝r2 (6)
其中，x，y，z为输入点云坐标，x0，y0，z0为待拟合球形的球心坐标，r为待拟合球形的半径；
步骤六二：根据RANSAC算法依次将三维点云代入到拟合模型中进行迭代，直至找出最佳模型；
步骤六三：循环执行步骤六一、六二，剔除球形半径过大的模型，输出所有果实图像区域中符合条件的拟合球形的球心坐标和半径。
本发明的有益效果为：
1)本发明仅利用深度图像对果实进行识别定位，未对果实的颜色信息进行处理，因此可以无视果实的颜色以及所处光照环境，只要是球形果实都可进行识别定位，甚至在夜间环境也可进行果实识别定位操作。
2)本发明通过计算深度图像的变化梯度，利用球形果实表面近似凸曲面的特性，实现了果实图像与枝叶背景图像的分割。
3)本发明提出了一种先定位后识别的果实识别算法，由粗及精地对果实中心点进行提取，可加快算法速率，为后续果实拟合算法减少计算量。
4)本发明采用了RANSAC球形拟合算法，可通过部分的果实图像拟合出完整的果实球形，能够有效地解决果实重叠和遮挡问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于深度图像的球形果实识别定位方法实施例流程图；
图2为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的采集到的果树深度图像；
图3为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的梯度向量场可视化图像；
图4为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的辐散中心定位图像；
图5为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的深度图像导出的点云图像；
图6为本发明实施例提供的一种基于深度图像的球形果实识别定位方法的果实拟合球形图像。
具体实施方式
本发明给出了一种基于深度图像的球形果实识别定位方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：
本发明首先提供了一种基于深度图像的球形果实识别定位方法实施例，如图1所示，包括：本发明采用如下方法来实现：一种基于深度图像的球形果实识别定位方法，包括：
步骤一S101、对果树进行深度图像信息采集；
步骤二S102、利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场；
步骤三S103、将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点；
步骤四S104、利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点；
步骤五S105、以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域；
步骤六S106、将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小。
步骤一采集的深度图像如图2所示。
步骤二中，利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场，具体步骤如下：
步骤二一：分别求取深度图像中像素点横向梯度和纵向梯度，在图像处理领域中，图像的梯度即图像灰度值在某一方向上变化的大小，其计算公式为：
GXij＝Di(j+k)-Di(j-k) (1)
GYij＝D(i+k)j-D(i-k)j (2)
其中，GXij为深度图像中第i行第j列像素的横向梯度大小，GYij为深度图像中第i行第j列像素的纵梯度大小，Dij为深度图像中第i行第j列像素的灰度值，k为梯度采样间隔；
步骤二二：将每个像素点的横向梯度和纵向梯度用向量进行表示，得到梯度向量场如图3所示，每个像素的向量表示公式为：
Vij＝(GXij，GYij) (3)
其中，Vij为深度图像中第i行第j列像素的梯度向量。
步骤三中，将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点，该方法将梯度向量看作气象学中的运动矢量，在气象学中流体在运动中集中的区域称为辐合，运动中发散的区域称为辐散，而在梯度向量场中果实部分的梯度向量正好表现出辐散的特性，且果实中心点也正好位于辐散中心附近，而辐散中心在散度最大值处取得因此通过搜索散度的极大值点即可实现对果实中心点的提取，其具体步骤如下：
步骤三一：计算梯度向量场的散度，散度计算公式为：
其中，为矢量在x方向和y方向上的偏导算子，V为梯度向量场；
步骤三二，找出梯度向量场中散度的所有极大值点，并定义为辐散中心点如图4所示。
步骤四中，所述利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点，该方法考虑了步骤三中对辐散中心点的提取实际上就是将深度图像数字化后的纯数学计算，无法保证提取出的辐散中心点就是果实中心点，往往会产生许多的误判点，而果实中心部分的等深图形通常会呈现为近似圆形，背景部分的等深图像则通常会呈现为长条状或小圆点，因此利用此特征差异即可从辐散中心点中筛选出果实中心点，具体过程为：
步骤四一：输入一个辐散中心点，并将该点作为起始点采用漫水填充算法对起始点附近灰度值相同的像素点进行填充标记，然后做出填充图形的最小外接矩形，根据判别函数关系式将满足所有条件的辐散中心点进行标记，判别函数关系式如下：
其中，H为最小外接矩形框高度，W为最小外接矩形框宽度，A为最小外接矩形框内标记像素数，δE为高宽比以及宽高比阈值，δT为矩形框内标记像素点占比阈值，由于背景部分的等深图像有时会呈现为小圆点，从而也可满足公式(5)的判别条件，因此还需对辐散中心点进行二次判别，具体步骤为步骤四二：将被标记的辐散中心点继续作为起始点重新采用漫水填充算法对起始点附近灰度值相同以及比起始点大1灰度的像素点进行填充标记，并做出填充图形的最小外接矩形根据公式(5)进行判别，若仍满足所有判别条件，则将该辐散中心点定义为果实中心点；
步骤四三：循环执行步骤四一、四二，直到遍历完所有辐散中心点。
步骤五中，所述以果实中心点为原点向八方向搜索果实边界点，该方法考虑了果实在深度图像接近果实中心位置的深度变化较小，接近果实边缘部分的深度变化较大，因此在深度图像中果实边缘部分会出现一个深度的跳变，利用此特性便可搜索出果实的边界点，其具体步骤如下：
步骤五一：输入一个果实中心点，在果树深度图像中以果实中心点为起点朝八个方向依次搜索，每搜索一步比较该像素点的灰度值与下一步搜索像素点灰的度值的差值σ，并设置阈值b，当|σ|≤b则朝搜索方向继续搜索，直到出现|σ|＞b则将当前位置的像素点定义为果实边界点；
步骤五二：将步骤五一中搜索到的八个果实边界点依次连接，得到一个闭合区域定义为果实图像区域，并对果实图像区域内的像素点进行标记，果实图像分割过程如图5所示；
步骤五三：循环执行步骤五一、五二，直到遍历完所有的果实中心点，在执行步骤五一前检测该果实中心点是否已被标记，若该点已被标记则跳过此点。
步骤六中，所述将果实图像区域内的像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及半径大小，利用RANSAC算法能够进一步排除误判点，同时充分利用深度图像信息，可通过果实的部分深度图像来对果实进行拟合补全，能够有效的解决果实重叠和遮挡问题，并得到果实的实际空间坐标，其具体步骤如下：
步骤六一：将其中一个果实图像区域内的像素点导入到三维点云，并设置拟合模型，拟合模型公式如下：
(x-x0)2+(y-y0)2+(z-z0)2＝r2 (6)
其中，x，y，z为输入点云坐标，x0，y0，z0为待拟合球形的球心坐标，r为待拟合球形的半径；
步骤六二：根据RANSAC算法依次将三维点云代入到拟合模型中进行迭代，直至找出最佳模型，果实部分图像分割拟合过程如图5所示；
步骤六三：循环执行步骤六一、六二，剔除球形半径过大的模型，输出所有果实图像区域中符合条件的拟合球形的球心坐标和半径，本文算法识别定位最终结果如图6所示。
以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于深度图像的球形果实识别定位方法，其特征在于，包括：
步骤一、对果树进行深度图像信息采集；
步骤二、利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场；
步骤三、将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点；
步骤四、利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点；
步骤五、以果实中心点为原点向八方向搜索果实边界点，每搜索一步比较该像素点的灰度值与下一步搜索像素点的灰度值的差值σ，并设置阈值b，当|σ|≤b则朝搜索方向继续搜索，直到出现|σ|>b则将当前位置的像素点定义为果实边界点，然后连接边界点得到果实图像区域，循环遍历图像中所有果实中心点并搜索出其对应的果实图像区域；
步骤六、将其中一个果实图像区域内的像素点导入到三维点云中得到果实点云图像，并根据公式(x-x0)2+(y-y0)2+(z-z0)2＝r2设置拟合模型，然后根据RANSAC算法依次将果实点云代入到拟合模型中进行迭代，直至找出该图像区域的最佳拟合模型，循环遍历所有果实图像区域并输出所有区域的最佳拟合球形的球心坐标(x0,y0,z0)和半径r。
2.如权利要求1所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述步骤二利用深度图像计算各个像素点的横向梯度和纵向梯度并做出梯度向量场，具体步骤如下：
步骤二一：分别求取深度图像中像素点横向梯度和纵向梯度，在图像处理领域中，图像的梯度即图像灰度值在某一方向上变化的大小，其计算公式为：
GXij＝Di(j+k)-Di(j-k) (1)
GYij＝D(i+k)j-D(i-k)j (2)
其中，GXij为深度图像中第i行第j列像素的横向梯度大小，GYij为深度图像中第i行第j列像素的纵梯度大小，Dij为深度图像中第i行第j列像素的灰度值，k为梯度采样间隔；
步骤二二：将每个像素点的横向梯度和纵向梯度用向量进行表示，得到梯度向量场，每个像素的向量表示公式为：
Vij＝(GXij，GYij) (3)
其中，Vij为深度图像中第i行第j列像素的梯度向量。
3.如权利要求2所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述步骤三中将梯度向量场视作运动矢量场，计算矢量场的散度并根据散度最大原则，从矢量场中搜索出辐散中心点，具体过程为：
步骤三一：计算梯度向量场的散度，散度计算公式为：
其中，▽为矢量在x方向和y方向上的偏导算子，V为梯度向量场；
步骤三二，找出梯度向量场中散度的所有极大值点，并定义为辐散中心点。
4.如权利要求3所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述步骤四中利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点，具体步骤如下：
步骤四一：输入一个辐散中心点，并将该点作为起始点采用漫水填充算法对起始点附近灰度值相同的像素点进行填充标记，然后做出填充图形的最小外接矩形，根据判别函数关系式将满足所有条件的辐散中心点进行标记，判别函数关系式如下：
其中，H为最小外接矩形框高度，W为最小外接矩形框宽度，A为最小外接矩形框内标记像素数，δE为高宽比以及宽高比阈值，δT为矩形框内标记像素点占比阈值；
步骤四二：将被标记的辐散中心点继续作为起始点重新采用漫水填充算法对起始点附近灰度值相同以及比起始点大1灰度的像素点进行填充标记，并做出填充图形的最小外接矩形根据公式(5)进行判别，若仍满足所有判别条件，则将该辐散中心点定义为果实中心点；
步骤四三：循环执行步骤四一、四二，直到遍历完所有辐散中心点。
5.如权利要求4所述的一种基于深度图像的球形果实识别定位方法，其特征在于，所述以果实中心点为原点向八方向搜索果实边界点，并连接边界点得到果实图像区域的具体步骤如下：
步骤五一：输入一个果实中心点，在果树深度图像中以果实中心点为起点朝八个方向依次搜索，每搜索一步比较该像素点的灰度值与下一步搜索像素点的灰度值的差值σ，并设置阈值b，当|σ|≤b则朝搜索方向继续搜索，直到出现|σ|>b则将当前位置的像素点定义为果实边界点；
步骤五二：将步骤五一中搜索到的八个果实边界点依次连接，得到一个闭合区域定义为果实图像区域，并对果实图像区域内的像素点进行标记；
步骤五三：循环执行步骤五一、五二，直到遍历完所有的果实中心点。
6.如权利要求5所述的一种基于深度图像的球形果实识别定位方法，其特征在于将果实图像区域像素点导入到三维点云中得到果实点云图像，并利用RANSAC算法求出果实的拟合球形，得到果实的空间坐标及果实半径大小的具体步骤如下：
步骤六一：将其中一个果实图像区域内的像素点导入到三维点云，并设置拟合模型，拟合模型公式如下：
(x-x0)2+(y-y0)2+(z-z0)2＝r2 (6)其中，x，y，z为输入点云坐标，x0，y0，z0为待拟合球形的球心坐标，r为待拟合球形的半径；
步骤六二：根据RANSAC算法依次将三维点云代入到拟合模型中进行迭代，直至找出最佳模型；
步骤六三：循环执行步骤六一、六二，剔除球形半径过大的模型，输出所有果实图像区域中符合条件的拟合球形的球心坐标和半径。
CN202111351580.5A 2021-11-16 2021-11-16 一种基于深度图像的球形果实识别定位方法 Active CN114067206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111351580.5A CN114067206B (zh) 2021-11-16 2021-11-16 一种基于深度图像的球形果实识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111351580.5A CN114067206B (zh) 2021-11-16 2021-11-16 一种基于深度图像的球形果实识别定位方法

Publications (2)

Publication Number Publication Date
CN114067206A CN114067206A (zh) 2022-02-18
CN114067206B true CN114067206B (zh) 2024-04-26

Family

ID=80272775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111351580.5A Active CN114067206B (zh) 2021-11-16 2021-11-16 一种基于深度图像的球形果实识别定位方法

Country Status (1)

Country Link
CN (1) CN114067206B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114347044B (zh) * 2022-03-17 2022-06-17 季华实验室 辣椒采摘方法、装置、电子设备及存储介质
CN114788455B (zh) * 2022-04-12 2023-08-25 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN116439018B (zh) * 2023-05-05 2024-01-02 仲恺农业工程学院 一种七自由度水果采摘机器人及其采摘方法
CN117789200B (zh) * 2023-12-29 2024-06-25 北京中科原动力科技有限公司 果实点云提取方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122319A (en) * 1997-10-10 2000-09-19 Samsung Electronics Co., Ltd. Motion compensating apparatus using gradient pattern matching and method thereof
CN102831398A (zh) * 2012-07-24 2012-12-19 中国农业大学 基于深度图像的树上苹果识别方法
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
CN106951905A (zh) * 2017-02-16 2017-07-14 江苏大学 一种基于tof相机的树上苹果识别与定位方法
CN110648359A (zh) * 2019-09-23 2020-01-03 山东师范大学 一种果实目标定位识别方法及系统
US11037320B1 (en) * 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122319A (en) * 1997-10-10 2000-09-19 Samsung Electronics Co., Ltd. Motion compensating apparatus using gradient pattern matching and method thereof
CN102831398A (zh) * 2012-07-24 2012-12-19 中国农业大学 基于深度图像的树上苹果识别方法
US11037320B1 (en) * 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
CN106951905A (zh) * 2017-02-16 2017-07-14 江苏大学 一种基于tof相机的树上苹果识别与定位方法
CN110648359A (zh) * 2019-09-23 2020-01-03 山东师范大学 一种果实目标定位识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于K-means和近邻回归算法的Kinect植株深度图像修复;沈跃;徐慧;刘慧;李宁;;农业工程学报;20161008(19);全文 *
基于向量场的深度计算方法;路海明;王一娇;谢朝霞;清华大学学报. 自然科学版;20151231;55(8);全文 *
基于多特征的深度图像序列人体行为识别!;宋相法;姚旭;;计算机技术与发展;20180208(06);全文 *
基于深度图像和点云边缘特征的典型零部件识别;张志佳;魏信;周自强;吴天舒;贾梦思;信息与控制;20171231;46(3);全文 *

Also Published As

Publication number Publication date
CN114067206A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
Li et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots
Wang et al. A review on weed detection using ground-based machine vision and image processing techniques
Yu et al. A litchi fruit recognition method in a natural environment using RGB-D images
Hu et al. Automatic detection of single ripe tomato on plant combining faster R-CNN and intuitionistic fuzzy set
Xiong et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment
Zheng et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
Wang et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory: a comparison
Zhang et al. A method for organs classification and fruit counting on pomegranate trees based on multi-features fusion and support vector machine by 3D point cloud
Lin et al. Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn
Wan et al. A real-time branch detection and reconstruction mechanism for harvesting robot via convolutional neural network and image segmentation
CN104077605A (zh) 一种基于颜色拓扑结构的行人搜索识别方法
Bai et al. Clustered tomato detection and picking point location using machine learning-aided image analysis for automatic robotic harvesting
Kusumam et al. Can you pick a broccoli? 3D-vision based detection and localisation of broccoli heads in the field
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
Zhao et al. An end-to-end lightweight model for grape and picking point simultaneous detection
Tabb et al. Automatic segmentation of trees in dynamic outdoor environments
Li et al. A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs
CN114842337A (zh) 基于深度学习与多维信息融合聚类的果实采摘点识别方法
Loresco et al. Segmentation of lettuce plants using super pixels and thresholding methods in smart farm hydroponics setup
Mao et al. Agricultural robot navigation path recognition based on k-means algorithm for large-scale image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant