CN106919901A - 一种株上球形果实识别的深度球截线方法 - Google Patents

一种株上球形果实识别的深度球截线方法 Download PDF

Info

Publication number
CN106919901A
CN106919901A CN201710041636.4A CN201710041636A CN106919901A CN 106919901 A CN106919901 A CN 106919901A CN 201710041636 A CN201710041636 A CN 201710041636A CN 106919901 A CN106919901 A CN 106919901A
Authority
CN
China
Prior art keywords
depth
spherefruit
transversal
fruit
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710041636.4A
Other languages
English (en)
Inventor
刘继展
朱新新
周尧
袁妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201710041636.4A priority Critical patent/CN106919901A/zh
Publication of CN106919901A publication Critical patent/CN106919901A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种株上球形果实识别的深度球截线方法，利用三维深度传感器获得植株冠层的深度点云信息，进行果、叶孤立区域与贴碰区域的聚类划分，针对孤立区域进行一次深度球截面切割，基于截线特征进行球形果实的识别。针对贴碰区域进行从最近点开始的逐层深度球截面切割，在基于截线特征进行球形果实的识别的同时，对每相邻两次切割获得的球形果实截线中心坐标进行两两比对，从而进行被多次切割的球形果实归并。本发明针对深度数据特点直接实现深度球面切割和株上球形果实的识别，方法简单快速可靠，为攻克株上果实识别定位难题和走向实际应用提供了新的方法。

Description

一种株上球形果实识别的深度球截线方法
所属技术领域
本发明涉及农业机器人领域，特别涉及一种株上球形果实识别的深度球截线方法。
背景技术
识别定位是采摘机器人的核心技术，而快速准确的采摘目标特征提取是果实识别的前提。由于传统基于可见光图像的识别定位方法在光照敏感性和重叠对象分割上存在的固有劣势，研究者陆续开展了其他技术途径的探索，其中利用深度信息进行果实的识别定位成为研究热点。
目前利用深度信息进行株上果实识别定位方法主要分为两类，第一类是综合利用深度和颜色信息，其中深度信息主要作为辅助，仍然无法避免可见光图像技术的瓶颈并增加了深度与颜色信息融合的复杂性。第二类是依靠深度信息并将深度点云数据还原为深度图像，进而利用二维图像处理算法完成果实的分割，该类方法仍依赖于传统的边缘轮廓提取算法，造成“原始深度数据—图像化—灰度数值计算—轮廓曲线提取—果实特征辨识”的复杂分析处理过程：
(1)无法有效发挥深度点云的数据量少优势和有效利用其特殊信息特征；
(2)从深度信息转换至离散化的灰度值时产生的误差导致相邻对象的深度差异锐减；
(3)分析处理过程过于复杂化，影响了识别定位的实时性。
发明内容
针对现有基于深度信息实现株上果实识别定位方法的不足，本发明提供一种株上球形果实识别的深度球截线方法，通过实现对株上果实的快速准确识别。
为了解决以上技术问题，本发明采用的具体技术方案如下：
一种株上球形果实识别的深度球截线方法，其特征在于包括：孤立果实的识别、贴碰果实的识别和株上果实识别处理流程。
所述的一种株上球形果实识别的深度球截线方法，其特征在于所述孤立果实的识别具体方法为：
首先在三维深度数据内寻找判定为孤立区域(7)的各点云聚集区域(8)的最近点Am的深度值DAm，用以三维深度传感器(1)为球心、以各半径Dm＝DAm+DS，由深度值的跳变误差确定的球面厚度δ建立深度球面(2)对判定为孤立区域(7)的各点云聚集区域(8)进行切割获得多条截线(9)，对所述多条截线(9)应用球形果实的特征提取方法(10)判断出其中的球形果实(5)；m＝1，2，…，Ds为切割深度。
所述的一种株上球形果实识别的深度球截线方法，其特征在于所述贴碰果实的识别的具体过程为：
过程2.1，寻找判定为贴碰区域(6)的各点云聚集区域(8)的最近点B和最远点C；
过程2.2，用以最近点B的深度值与i个切割深度DS之和为半径的深度球面(2)进行第i次切割获得各截线(9)，对各截线(9)应用球形果实的特征提取方法(10)识别出其中Nj个球形果实(5)，记录识别为球形果实(5)的各截线(9)的中心像素坐标；i＝1，2，…，每切一次，深度增加Ds，能切几次取决于半径R和Ds的比值，i的最大值为半径R和Ds的比值取整即
过程2.3，再用以最近点B的深度值与i+1个切割深度DS之和为半径的深度球面(2)进行第i+1次切割获得各截线(9)，对各截线(9)应用球形果实的特征提取方法(10)识别出其中Nk个球形果实(5)，记录识别为球形果实(5)的各截线(9)的中心像素坐标；
过程2.4，对相邻两次切割获得的识别为球形果实(5)的各截线(9)的Nj和Nk个中心像素坐标进行两两比对，当Nj个球形果实(5)的任一中心像素坐标与Nk个球形果实(5)的任一中心像素坐标间距离不超过中心距阈值[D]时，即
则该两截线(9)被判定为同一球形果实(5)，否则被判定为不同的球形果实(5)；
过程2.5，继续增加1个切割深度DS进行下一次切割，并重复过程2.3和过程2.4，直至最近点B的深度值与i个切割深度DS之和超过最远点C的深度值，完成贴碰区域(6)内的球形果实(5)识别。
所述的一种株上球形果实识别的深度球截线方法，其特征在于：所述株上果实识别处理流程如下：
过程3.1，利用三维深度传感器(1)通过对场景的实时扫描获得视场范围内对象的深度点云数据D为深度值，θ,为水平角度，为竖直角度；
过程3.2，利用设定的近距离阈值DH1和远距离阈值DH2对深度数据进行前景和背景冗余信息的滤除；
过程3.3，对滤除前景和背景冗余信息后的深度点云数据进行聚类分析，获得滤除枝干(3)后的多个点云聚集区域(8)；
过程3.4，利用各点云聚集区域(8)内的深度点云数量N的差异从点云聚集区域(8)内筛选出球形果实(5)与叶子(4)的贴碰区域(6)；
过程3.5，对筛选出球形果实(5)与叶子(4)的贴碰区域(6)之后的各孤立区域(7)，应用孤立果实的识别方法识别出其中的球形果实(5)；
过程3.6，对贴碰区域(6)，应用贴碰果实的识别方法识别出区域内各球形果实(5)；
过程3.7，将识别出的各球形果实(5)标记序号，为球形果实(5)的定位和对球形果实(5)实施作业提供信息。
所述三维深度传感器(1)为可获得三维深度数据的RGB-D传感器、激光测距仪、TOF相机中的任意一种。
本发明具有有益效果。本发明针对深度数据特点，无须任何数据转换运算而直接实现各对象的深度球面切割，通过点云聚类进行区域划分，进而分别针对孤立区域利用一次深度球截面切割获得的截线特征区分果、叶，对贴碰区域利用逐次切割深度球截面获得的截线特征区分果、叶并进行识别结果归并，实现株上球形果实的识别，方法简单快速可靠，为攻克株上果实识别定位难题和走向实际应用提供了新的方法。
附图说明
图1为本发明株上果实的深度检测和深度球面切割示意图。
图2为本发明孤立果实的识别方法流程图。
图3为本发明贴碰果实的识别方法流程图。
图4为本发明球形果实的特征提取方法流程图。
图5为本发明果实的球面切割获得近圆形曲线示意图。
图6为本发明叶子的球面切割获得曲线段示意图。
图7为本发明株上果实识别处理流程图。
图中：1.三维深度传感器，2.深度球面，3.枝干，4.叶子，5.球形果实，6.贴碰区域，7.孤立区域，8.点云聚集区域，9.截线，10.球形果实的特征提取方法。
具体实施方式
下面结合附图和具体实施例，对本发明的技术方案做进一步详细说明。
一种株上球形果实识别的深度球截线方法，由孤立果实的识别方法、贴碰果实的识别方法和株上果实识别处理流程构成。
如图1所示，当以三维深度传感器1对果树冠层进行探测时，获取果树冠层内对象的各扫描点三维深度数据并根据空间坐标映射关系进行存储。由于存在球形果实5和叶子4在空间内相互孤立和相互贴碰两种情况，在三维深度数据中产生多个点云聚集区域8，点云聚集区域8包括孤立区域7和贴碰区域6。D为深度值，θ,为水平角度，为竖直角度。
如图2所示，其中孤立果实的识别方法为，首先在三维深度数据内寻找判定为孤立区域7的各点云聚集区域8的最近点Ak的深度值DAm，用以深度传感器1为球心、以各半径Dm＝DAm+DS，由深度值的跳变误差确定的球面厚度δ建立深度球面2对判定为孤立区域7的各点云聚集区域8进行切割获得多条截线9，对多条截线9应用球形果实的特征提取方法10判断出其中的球形果实5；m＝1，2，…，Ds为切割深度。
如图3所示，其中贴碰果实的识别方法为：
(1)寻找判定为贴碰区域6的各点云聚集区域8的最近点B和最远点C；
(2)用以最近点B的深度值与i个切割深度DS之和为半径的深度球面2进行第i次切割获得各截线9，对各截线9应用球形果实的特征提取方法10识别出其中Nj个球形果实5，记录识别为球形果实5的各截线9的中心像素坐标；
(3)再用以最近点B的深度值与i+1个切割深度DS之和为半径的深度球面2进行第i+1次切割获得各截线9，对各截线9应用球形果实的特征提取方法10识别出其中Nk个球形果实5，记录识别为球形果实5的各截线9的中心像素坐标；
(4)对相邻两次切割获得的识别为球形果实5的各截线9的Nj和Nk个中心像素坐标进行两两比对，当Nj个球形果实5的任一中心像素坐标与Nk个球形果实5的任一中心像素坐标间距离不超过中心距阈值时，即
则该两截线9被判定为同一球形果实5，否则被判定为不同的球形果实5；
(5)继续增加1个切割深度DS进行下一次切割，并重复步骤(3)和步骤(4)，直至最近点B的深度值与i个切割深度DS之和超过最远点C的深度值，完成贴碰区域6内的球形果实5识别。
如图4所示，孤立果实的识别方法和贴碰果实的识别方法中球形果实的特征提取方法10的原理为，对探测获取的深度点云数据用以三维深度传感器1为球心的深度球面2对球形果实5切割获得的图5所示截线9的离心率E在阈值[E]以内同时像素点数A超过阈值[A]，用以三维深度传感器1为球心的深度球面2对叶子4进行切割获得的图6所示截线9的离心率E则超出阈值[E]或者像素点数A低于阈值[A]，从而可区分出球形果实5。
如图7所示，其中株上果实识别处理流程如下：
(1)三维深度传感器1通过对场景的实时扫描获得视场范围内对象的深度点云数据
(2)利用设定的近距离阈值DH1和远距离阈值DH2对深度数据进行前景和背景冗余信息的滤除；
(3)对滤除前景和背景冗余信息后的深度点云数据进行聚类分析，获得滤除枝干3后的多个点云聚集区域8；
(4)利用各点云聚集区域8内的深度点云数量N的差异从点云聚集区域8内筛选出球形果实5与叶子4的贴碰区域6；
(5)对筛选出球形果实5与叶子4的贴碰区域6之后的各孤立区域7，应用孤立果实的识别方法识别出其中的球形果实5；
(6)对贴碰区域6，应用贴碰果实的识别方法识别出区域内各球形果实5；
(7)将识别出的各球形果实5标记序号，为球形果实5的定位和对球形果实5实施作业提供信息。

Claims (5)

1.一种株上球形果实识别的深度球截线方法，其特征在于包括：孤立果实的识别、贴碰果实的识别和株上果实识别处理流程。
2.根据权利要求1所述的一种株上球形果实识别的深度球截线方法，其特征在于所述孤立果实的识别具体方法为：
首先在三维深度数据内寻找判定为孤立区域(7)的各点云聚集区域(8)的最近点Am的深度值DAm，用以三维深度传感器(1)为球心、以各半径Dm＝DAm+DS，由深度值的跳变误差确定的球面厚度δ建立深度球面(2)对判定为孤立区域(7)的各点云聚集区域(8)进行切割获得多条截线(9)，对所述多条截线(9)应用球形果实的特征提取方法(10)判断出其中的球形果实(5)；m＝1，2，…，Ds为切割深度。
3.根据权利要求1所述的一种株上球形果实识别的深度球截线方法，其特征在于所述贴碰果实的识别的具体过程为：
过程2.1，寻找判定为贴碰区域(6)的各点云聚集区域(8)的最近点B和最远点C；
过程2.2，用以最近点B的深度值与i个切割深度DS之和为半径的深度球面(2)进行第i次切割获得各截线(9)，对各截线(9)应用球形果实的特征提取方法(10)识别出其中Nj个球形果实(5)，记录识别为球形果实(5)的各截线(9)的中心像素坐标；i＝1，2，…，
过程2.3，再用以最近点B的深度值与i+1个切割深度DS之和为半径的深度球面(2)进行第i+1次切割获得各截线(9)，对各截线(9)应用球形果实的特征提取方法(10)识别出其中Nk个球形果实(5)，记录识别为球形果实(5)的各截线(9)的中心像素坐标；
过程2.4，对相邻两次切割获得的识别为球形果实(5)的各截线(9)的Nj和Nk个中心像素坐标进行两两比对，当Nj个球形果实(5)的任一中心像素坐标与Nk个球形果实(5)的任一中心像素坐标间距离不超过中心距阈值[D]时，即
D ( C j 1 , C k 1 ) ≤ [ D ] - - - ( 1 )
则该两截线(9)被判定为同一球形果实(5)，否则被判定为不同的球形果实(5)；
过程2.5，继续增加1个切割深度DS进行下一次切割，并重复过程2.3和过程2.4，直至最近点B的深度值与i个切割深度DS之和超过最远点C的深度值，完成贴碰区域(6)内的球形果实(5)识别。
4.根据权利要求1所述的一种株上球形果实识别的深度球截线方法，其特征在于：所述株上果实识别处理流程如下：
过程3.1，利用三维深度传感器(1)通过对场景的实时扫描获得视场范围内对象的深度点云数据D为深度值，θ,为水平角度，为竖直角度；
过程3.2，利用设定的近距离阈值DH1和远距离阈值DH2对深度数据进行前景和背景冗余信息的滤除；
过程3.3，对滤除前景和背景冗余信息后的深度点云数据进行聚类分析，获得滤除枝干(3)后的多个点云聚集区域(8)；
过程3.4，利用各点云聚集区域(8)内的深度点云数量N的差异从点云聚集区域(8)内筛选出球形果实(5)与叶子(4)的贴碰区域(6)；
过程3.5，对筛选出球形果实(5)与叶子(4)的贴碰区域(6)之后的各孤立区域(7)，应用孤立果实的识别方法识别出其中的球形果实(5)；
过程3.6，对贴碰区域(6)，应用贴碰果实的识别方法识别出区域内各球形果实(5)；
过程3.7，将识别出的各球形果实(5)标记序号，为球形果实(5)的定位和对球形果实(5)实施作业提供信息。
5.根据权利要求1所述一种株上球形果实识别的深度球截线方法，其特征在于：所述三维深度传感器(1)为可获得三维深度数据的RGB-D传感器、激光测距仪、TOF相机中的任意一种。
CN201710041636.4A 2017-01-20 2017-01-20 一种株上球形果实识别的深度球截线方法 Pending CN106919901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710041636.4A CN106919901A (zh) 2017-01-20 2017-01-20 一种株上球形果实识别的深度球截线方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710041636.4A CN106919901A (zh) 2017-01-20 2017-01-20 一种株上球形果实识别的深度球截线方法

Publications (1)

Publication Number Publication Date
CN106919901A true CN106919901A (zh) 2017-07-04

Family

ID=59453336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710041636.4A Pending CN106919901A (zh) 2017-01-20 2017-01-20 一种株上球形果实识别的深度球截线方法

Country Status (1)

Country Link
CN (1) CN106919901A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109634277A (zh) * 2018-12-14 2019-04-16 江苏大学 一种谷物收割机无人驾驶作业系统与作业方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164695A (zh) * 2013-02-26 2013-06-19 中国农业大学 一种基于多源图像信息融合的果实识别方法
CN105783819A (zh) * 2016-03-10 2016-07-20 江苏大学 一种基于rgb-d的自动移栽“苗情-作业效果”复合检测方法
CN105825171A (zh) * 2016-03-10 2016-08-03 江苏大学 一种基于rgb-d的树上果实快速识别定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164695A (zh) * 2013-02-26 2013-06-19 中国农业大学 一种基于多源图像信息融合的果实识别方法
CN105783819A (zh) * 2016-03-10 2016-07-20 江苏大学 一种基于rgb-d的自动移栽“苗情-作业效果”复合检测方法
CN105825171A (zh) * 2016-03-10 2016-08-03 江苏大学 一种基于rgb-d的树上果实快速识别定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程伟: "基于结构光视觉的番茄果实识别定位系统设计", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109410238B (zh) * 2018-09-20 2021-10-26 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109634277A (zh) * 2018-12-14 2019-04-16 江苏大学 一种谷物收割机无人驾驶作业系统与作业方法
CN109634277B (zh) * 2018-12-14 2021-10-08 江苏大学 一种谷物收割机无人驾驶作业系统与作业方法

Similar Documents

Publication Publication Date Title
Liu et al. Improved kiwifruit detection using pre-trained VGG16 with RGB and NIR information fusion
Song et al. Kiwifruit detection in field images using Faster R-CNN with VGG16
CN103971102B (zh) 基于手指轮廓和决策树的静态手势识别方法
CN102646193B (zh) 一种环形排布字符图像分割方法
CN103226835B (zh) 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN108710919A (zh) 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
CN104966101B (zh) 一种基于LabVIEW的太阳能电池片分类方法
CN103440035A (zh) 一种三维空间中的手势识别系统及其识别方法
CN102760228B (zh) 基于标本图像的鳞翅目昆虫种类自动鉴别方法
CN102704215A (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN104268598A (zh) 一种基于二维扫描激光的人腿检测方法
CN113963222A (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN109410238A (zh) 一种基于PointNet++网络的枸杞识别计数方法
CN105447506B (zh) 一种基于区间分布概率特征的手势识别方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN106650628A (zh) 一种基于三维k曲率的指尖检测方法
CN106919901A (zh) 一种株上球形果实识别的深度球截线方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
Xiao et al. Group-housed pigs and their body parts detection with Cascade Faster R-CNN
CN110335282A (zh) 一种基于栅格的轮廓线段特征提取算法
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN116740337A (zh) 一种红花采摘点识别定位方法及采摘系统
CN110866917A (zh) 一种基于机器视觉的药片类型及排列方式识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170704