CN112115885B - 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法 - Google Patents

基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法 Download PDF

Info

Publication number
CN112115885B
CN112115885B CN202011001005.8A CN202011001005A CN112115885B CN 112115885 B CN112115885 B CN 112115885B CN 202011001005 A CN202011001005 A CN 202011001005A CN 112115885 B CN112115885 B CN 112115885B
Authority
CN
China
Prior art keywords
fruit
branch
area
result
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011001005.8A
Other languages
English (en)
Other versions
CN112115885A (zh
Inventor
柴秀娟
孙琦鑫
周国民
孙坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN202011001005.8A priority Critical patent/CN112115885B/zh
Publication of CN112115885A publication Critical patent/CN112115885A/zh
Application granted granted Critical
Publication of CN112115885B publication Critical patent/CN112115885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其解决了现有剪切式自动采摘方法直接在果柄处进行操作对果实损伤大，影响结果枝第二年的产果量的技术问题，其首先构建果实目标检测数据集和结果枝关键点检测数据集并进行标注，其次进行目标检测模型训练和关键点检测模型训练，然后识别采摘用结果枝剪切点。本发明可广泛应用于剪切式自动采摘系统。

Description

基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
技术领域
本发明涉及果实自动采摘技术领域，具体而言，涉及一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法。
背景技术
果实采摘是果园生产管理的重要环节，越来越多的技术人员开始进行采摘自动化探索和研究，不仅有利于降低人工劳动强度，提高生产效率和经济效益，而且对于推动我国农业现代化发展具有重要意义。
参考公布号为CN104584779A的发明申请以及公布号为CN102577755A的发明申请，现有的果树自动采摘机器人系统主要依靠视觉系统对果实进行识别与定位，然后控制机械臂进行采摘。采摘常用的方法有拍打振动、抓取、气吸、扭摘、剪切等方式，其中剪切式自动采摘直接在果柄处进行操作，存在对果实损伤大的问题，也会影响结果枝第二年的产果量。
不使用自动采摘机器人系统的人工采摘过程中，多采用“一果两剪”的方法，第一剪连同果柄剪下，常连带两到三片叶子，顺带对果实结果枝进行修剪(避免春梢丛发，有利于提高第二年的产果量)；第二剪在不伤果蒂的情况下，平果蒂剪果柄。因此，为了解决剪切式自动采摘过程中的果实损伤大的问题，并在果实采摘过程中辅助结果枝的修剪，仿照人工采摘过程，开发一种通过对结果枝进行剪切实现果实采摘的技术具有现实意义。
发明内容
本发明就是为了解决现有剪切式自动采摘方法直接在果柄处进行操作对果实损伤大，影响结果枝第二年的产果量的技术问题，提供一种避免损伤果实，能够提高结果枝第二年产果量的基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法。
本发明提供一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，包括以下步骤：
第一步，构建数据集合用于果实目标检测、结果枝关键点检测的模型训练；
步骤(1)，利用图像采集设备拍摄果树图像实现果实目标检测数据采集；
步骤(2)，利用图像采集设备拍摄果树图像实现结果枝关键点检测数据采集；
步骤(3)，数据标注，按照目标检测、关键点检测两类任务对采集数据进行标注；针对目标检测，对图像上果实所在矩形区域进行标注，每个果实的标注结果为矩形区域的左上角和右下角坐标{(fx1,fy1),(fx2,fy2)}；针对关键点检测，对结果枝上的三个关键点进行标注，标注果柄关键点P1，标注结果枝与短分枝的连接点P2，标注结果枝上的剪切点P3，每组结果枝的标注结果为P1、P2、P3三个关键点的坐标{(px1,py1),(px2,py2),(px3,py3)}；如果不存在短分枝，P2和P1同坐标；
第二步，模型训练；
步骤(1)，目标检测模型训练，将所述第一步获得的果实目标检测数据通过深度卷积神经网络进行训练，得到目标检测模型；
步骤(2)，关键点检测模型训练，第一步生成结果枝检测区域，利用果实矩形区域，训练果柄关键点P1检测模型，基于检测得到的P1坐标，扩展生成结果枝检测区域；第二步定位结果枝上的三个关键点，利用结果枝检测区域，训练结果枝关键点检测模型，获得P1、P2和P3的位置；
第三步，采摘用结果枝剪切点识别过程；
步骤(1)，利用图像采集设备拍摄果树果实及其结果枝的图像集合xo；
步骤(2)，使用目标检测模型，对图像集合xo进行目标检测。目标检测模型和训练出的模型参数共同构成函数Fo，在图像集合xo中得到n个果实矩形区域坐标及对应置信得分：
步骤(3)，使用关键点检测模型对图像集合xo进行采摘用结果枝剪切点的定位，首先，对图像集合xo和n个果实矩形区域及对应置信得分生成结果枝检测区域，果柄关键点检测模型和训练出的模型参数共同构成函数Fa，在果实图像集合xo和n个果实矩形区域及对应置信得分上，得到n个果柄关键点坐标：
其次，将果实矩形区域向果实果柄方向扩展，得到n个结果枝检测区域坐标：
然后，对图像集合xo和结果枝检测区域，进行结果枝关键点检测，结果枝关键点检测模型和训练出的模型参数共同构成函数Fb，在果实图像集合xo和n个结果枝检测区域及对应置信得分上，得到n组结果枝的P1、P2和P3关键点坐标，其中，结果枝上距离果实最远的关键点P3即为采摘用结果枝剪切点：
优选地，第二步模型训练中关键点检测模型训练的具体过程是：
a)在模型训练前对数据进行前期匹配处理，将前述第一步中步骤(2)采集的图像，经过前述第二步中步骤(1)的目标检测模型，得到第一步中步骤(2)结果枝关键点检测数据集合的果实矩形区域和区域得分，并根据自动匹配算法与前述第一步中步骤(3)中的结果枝关键点标注进行匹配，对应每个匹配结果输出三个关键点坐标、匹配果实矩形区域和匹配矩形区域置信分数；结果枝关键点与果实矩形区域的匹配根据果柄关键点P1和图像中果实矩形区域的位置关系，采用了如下算法：
g(BBox,P1)表示P1与果实矩形区域BBox＝{(fx1,fy1),(fx2,fy2)}的距离，X表示图像中果实矩形区域的集合；
b)模型训练第一阶段生成结果枝检测区域，P1、匹配果实矩形区域、矩形区域置信分数和所述第一步中步骤(2)采集的图像作为算法输入，从原始图像中裁剪出果实矩形区域，调整为固定大小，裁剪出的果实矩形区域为网络实际输入；同时进行多次多尺度融合，在执行多尺度融合中，输入s个不同分辨率大小的特征图：{T1,T2,…,Ts}，输出为s个不同分辨率大小的特征图：{Y1,Y2,…,Ys}，其分辨率和宽度与输入对应相同；每个输出特征图都可表示为当该阶段有额外的输出特征图Ys+1：Ys+1＝a(Ys,s+1)，函数a(Ti,k)表示将Ti从分辨率i上采样或下采样到分辨率k；如果i＝k，那么a(Ti,k)＝Ti；模型损失函数选择均方误差：/> 表示第n个样本的P1关键点，表示网络预测的关键点热图，y(·)表示真实值得到的热图；
以检测得到P1为参考，对果实矩形区域进行扩展，得到结果枝检测区域{(bx1,by1),(bx2,by2)}；
c)模型训练第二阶段定位结果枝上三个关键点，将三个关键点坐标、前述第一阶段得到的结果枝检测区域、区域置信分数和前述第一步中步骤(2)采集的图像作为算法输入；从原始图像中裁剪出结果枝检测区域，调整为固定大小，裁剪出的结果枝检测区域为网络实际输入，同时重复进行多尺度融合，在网络最后添加转置卷积模块；利用结果枝特征设计损失函数：minL＝λ1L1+λ2L2，λ1、λ2表示L1、L2的权重系数；表示第n个样本的第k个关键点，y^(·)表示网络预测的关键点热图，y(·)表示真实值得到的热图；/>表示网络预测的采摘用结果枝剪切点/>到其所在结果枝bn的距离。
优选地，第二步的目标检测模型训练，采用了快速消融卷积层和多尺度卷积层。
本发明的有益效果是，本发明使用深度学习的方法，完成果实目标检测和结果枝关键点检测，实现结果枝剪切点的定位；本发明数据获取便捷，成本低，灵活度高，且具有较高的准确率。自动采摘机器人根据结果枝剪切点进行自动采摘操作，剪切式采摘动作完成的同时辅助实现对结果枝的修剪，从而提高结果枝第二年产果量，并提高果实品质。
本发明进一步的特征和方面，将在以下参考附图的具体实施方式的描述中，得以清楚地记载。
附图说明
图1是基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法的流程图；
图2是以柑橘为例，提供的果树果实数据及标注样例图；
图3是结果枝关键点数据及标注样例图；
图4是本发明采用的一种果实目标检测模型训练流程图；
图5是本发明提供的一种结果枝关键点检测模型训练流程图；
图6是本发明提供的一种转置卷积模块示意图。
具体实施方式
以下参照附图，以具体实施例对本发明作进一步详细说明。
参考图1，基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法包括以下步骤：
第一步，构建数据集合用于果实目标检测、结果枝关键点检测的模型训练。
步骤(1)，果实目标检测数据采集。利用图像采集设备拍摄果树图像，将果树目标划分为6个区域，在每个区域拍摄单张图像，图像采集设备的摄像头距离果树的距离优选为0.3m～1m，以保证拍摄到该区域内多个清晰的果实目标。可以采用手持方式定位摄像头，保证角度选取多样化。图像采集设备具体可采用手机、高清相机、RealSense等多种模态和规格的图像采集设备，增强数据多样性。
步骤(2)，结果枝关键点检测数据采集。利用图像采集设备拍摄果树图像，图像采集设备的摄像头距离果树的距离优选为0.3m左右，保证单张图像中包含大于等于一组不被过度遮挡的果实及其连接的结果枝。
步骤(3)，数据标注，按照目标检测、关键点检测两类任务对采集数据进行标注。针对目标检测算法，利用通用的标注软件对图像上果实所在矩形区域进行标注，每个果实的标注结果为矩形区域的左上角和右下角坐标{(fx1,fy1),(fx2,fy2)}，附图2给出了四幅经过标注的果实目标检测数据集图像，为了方便观看，标注的矩形区域被显示在原图像中。针对关键点检测算法，利用公知的标注软件对结果枝上的三个关键点进行标注，P1为果柄关键点；P2为结果枝和果实连接中出现短小分枝情况时，结果枝与短分枝的连接点；P3为结果枝上的剪切点，同时满足采摘和结果枝顶端修剪两个需求，称为采摘用结果枝剪切点。如果不存在短分枝，则P2坐标按照P1坐标自动填充，即P1、P2为同一点。每组结果枝的标注结果为P1、P2、P3三个关键点的坐标{(px1,py1),(px2,py2),(px3,py3)}。附图3给出了四幅经过标注的结果枝关键点检测数据集图像，其中包含带有短分枝的样例，为了方便观看，标注的关键点被显示在原图像中。
第二步，模型训练。模型根据标注数据及前述模型检测结果进行训练，训练完成后将作为独立模块使用，无需重复训练。对目标检测模型、关键点检测模型的训练方法进行具体说明如下：
步骤(1)，目标检测模型训练。将前述第一步获得的果实目标检测数据通过深度卷积神经网络进行训练，得到目标检测模型。具体的训练过程如附图4所示，使用快速消融卷积层提升检测速度，使用多尺度卷积层丰富感受野并提高处理多尺度目标的能力。目标检测模型的精度与训练数据集的大小及丰富度有关，因此应尽量输入更多、更丰富的数据进行训练。
步骤(2)，关键点检测模型训练。参考图5，该模型训练过程分为两个阶段，第一个阶段生成结果枝检测区域，第二个阶段定位结果枝上的三个关键点，具体过程如下：
a)在模型训练前需要对数据进行前期匹配处理。将前述第一步中步骤(2)采集的图像，经过前述第二步中步骤(1)的目标检测模型，得到第一步中步骤(2)结果枝关键点检测数据集合的果实矩形区域和区域得分。并根据自动匹配算法与前述第一步中步骤(3)中的结果枝关键点标注进行匹配，对应每个匹配结果输出三个关键点坐标、匹配果实矩形区域和匹配矩形区域置信分数。结果枝关键点与果实矩形区域的匹配主要根据果柄关键点P1和图像中果实矩形区域的位置关系，采用了如下算法：
g(BBox,P1)表示P1与果实矩形区域BBox＝{(fx1,fy1),(fx2,fy2)}的距离，X表示图像中果实矩形区域的集合。
b)模型训练第一阶段生成结果枝检测区域。P1、匹配果实矩形区域、矩形区域置信分数和前述第一步中步骤(2)采集的图像作为算法输入。从原始图像中裁剪出果实矩形区域，调整为固定大小，在本实施例中设定为256×192。裁剪出的果实矩形区域为网络实际输入，网络以高分辨率子网络开始，逐步增加高分辨率到低分辨率的子网，并将多分辨率子网并行连接。同时进行多次多尺度融合，使得不同分辨率表征都能从其它并行表征中反复学习信息，最终获得语义蕴涵丰富的高分辨率表征。在执行多尺度融合中，输入s个不同分辨率大小的特征图：{T1,T2,…,Ts}。输出为s个不同分辨率大小的特征图：{Y1,Y2,…,Ys}，其分辨率和宽度与输入对应相同。每个输出特征图都可表示为当该阶段有额外的输出特征图Ys+1：Ys+1＝a(Ys,s+1)，函数a(Ti,k)表示将Ti从分辨率i上采样或下采样到分辨率k。如果i＝k，那么a(Ti,k)＝Ti。模型损失函数选择均方误差：表示第n个样本的P1关键点，/>表示网络预测的关键点热图，y(·)表示真实值得到的热图。
以检测得到P1为参考，对果实矩形区域进行扩展，得到结果枝检测区域{(bx1,by1),(bx2,by2)}。在我们的实施例中，考虑到相机距离、图像分辨率等原因，选择以果实矩形区域中心点为起点，向P1方向延伸200个像素。
c)模型训练第二阶段定位结果枝上三个关键点。将三个关键点坐标、前述第一阶段得到的结果枝检测区域、区域置信分数和前述第一步中步骤(2)采集的图像作为算法输入。从原始图像中裁剪出结果枝检测区域，调整为固定大小，在本实施例中设定为256×192。裁剪出的结果枝检测区域为网络实际输入，网络以高分辨率子网络开始，并行连接多分辨率子网，同时重复进行多尺度融合，在网络最后添加转置卷积模块，获得更高分辨率且语义蕴涵丰富的表征。如附图6是一种转置卷积模块示意图。利用结果枝特征设计损失函数：min L＝λ1L1+λ2L2，λ1、λ2表示L1、L2的权重系数。表示第n个样本的第k个关键点，/>表示网络预测的关键点热图，y(·)表示真实值得到的热图。/>表示网络预测的采摘用结果枝剪切点到其所在结果枝bn的距离。
第三步，采摘用结果枝剪切点识别过程：
步骤(1)，利用图像采集设备拍摄果树果实及其结果枝的图像集合xo。图像拍摄及后续处理与前述第一步中步骤(1)、(2)相同。
步骤(2)，使用目标检测模型，对图像集合xo进行目标检测。目标检测模型和训练出的模型参数共同构成函数Fo，在图像集合xo中得到n个果实矩形区域坐标及对应置信得分：
步骤(3)，使用关键点检测模型对图像集合xo进行采摘用结果枝剪切点的准确定位。
首先，对图像集合xo和n个果实矩形区域及对应置信得分生成结果枝检测区域，果柄关键点检测模型和训练出的模型参数共同构成函数Fa，在果实图像集合xo和n个果实矩形区域及对应置信得分上，得到n个果柄关键点坐标：
其次，将果实矩形区域向果实果柄方向扩展，得到n个结果枝检测区域坐标：
然后，对图像集合xo和结果枝检测区域，进行结果枝关键点检测。结果枝关键点检测模型和训练出的模型参数共同构成函数Fb，在果实图像集合xo和n个结果枝检测区域及对应置信得分上，得到n组结果枝的P1、P2和P3关键点坐标，其中，结果枝上距离果实最远的关键点P3即为采摘用结果枝剪切点：
采摘用结果枝剪切点P3确定后，自动采摘机器人就可以根据采摘用结果枝剪切点P3进行剪切式采摘动作。
以上所述仅对本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡是在本发明的权利要求限定范围内，所做的任何修改、等同替换、改进等，均应在本发明的保护范围之内。

Claims (3)

1.一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其特征是，包括以下步骤：
第一步，构建数据集合用于果实目标检测、结果枝关键点检测的模型训练；
步骤(1)，利用图像采集设备拍摄果树图像实现果实目标检测数据采集；
步骤(2)，利用图像采集设备拍摄果树图像实现结果枝关键点检测数据采集；
步骤(3)，数据标注，按照目标检测、关键点检测两类任务对采集数据进行标注；针对目标检测，对图像上果实所在矩形区域进行标注，每个果实的标注结果为矩形区域的左上角和右下角坐标{(fx1,fy1),(fx2,fy2)}；针对关键点检测，对结果枝上的三个关键点进行标注，标注果柄关键点P1，标注结果枝与短分枝的连接点P2，标注结果枝上的剪切点P3，每组结果枝的标注结果为P1、P2、P3三个关键点的坐标{(px1,py1),(px2,py2),(px3,py3)}；如果不存在短分枝，P2和P1同坐标；
第二步，模型训练；
步骤(1)，目标检测模型训练，将所述第一步获得的果实目标检测数据通过深度卷积神经网络进行训练，得到目标检测模型；
步骤(2)，关键点检测模型训练，第一步生成结果枝检测区域，利用果实矩形区域，训练果柄关键点P1检测模型，基于检测得到的P1坐标，扩展生成结果枝检测区域；第二步定位结果枝上的三个关键点，利用结果枝检测区域，训练结果枝关键点检测模型，获得P1、P2和P3的位置；
第三步，采摘用结果枝剪切点识别过程；
步骤(1)，利用图像采集设备拍摄果树果实及其结果枝的图像集合xo；
步骤(2)，使用目标检测模型，对图像集合xo进行目标检测，目标检测模型和训练出的模型参数共同构成函数Fo，在图像集合xo中得到n个果实矩形区域坐标及对应置信得分：
步骤(3)，使用关键点检测模型对图像集合xo进行采摘用结果枝剪切点的定位，首先，对图像集合xo和n个果实矩形区域及对应置信得分生成结果枝检测区域，果柄关键点检测模型和训练出的模型参数共同构成函数Fa，在果实图像集合xo和n个果实矩形区域及对应置信得分上，得到n个果柄关键点坐标：
其次，将果实矩形区域向果实果柄方向扩展，得到n个结果枝检测区域坐标：
；
然后，对图像集合xo和结果枝检测区域，进行结果枝关键点检测，结果枝关键点检测模型和训练出的模型参数共同构成函数Fb，在果实图像集合xo和n个结果枝检测区域及对应置信得分上，得到n组结果枝的P1、P2和P3关键点坐标，其中，结果枝上距离果实最远的关键点P3即为采摘用结果枝剪切点：
2.根据权利要求1所述的基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其特征在于，所述第二步模型训练中关键点检测模型训练的具体过程是：
a)在模型训练前对数据进行前期匹配处理，将前述第一步中步骤(2)采集的图像，经过前述第二步中步骤(1)的目标检测模型，得到第一步中步骤(2)结果枝关键点检测数据集合的果实矩形区域和区域得分，并根据自动匹配算法与前述第一步中步骤(3)中的结果枝关键点标注进行匹配，对应每个匹配结果输出三个关键点坐标、匹配果实矩形区域和匹配矩形区域置信分数；结果枝关键点与果实矩形区域的匹配根据果柄关键点P1和图像中果实矩形区域的位置关系，采用了如下算法：
g(BBox,P1)表示P1与果实矩形区域BBox＝{(fx1,fy1),(fx2,fy2)}的距离，X表示图像中果实矩形区域的集合；
b)模型训练第一阶段生成结果枝检测区域，P1、匹配果实矩形区域、矩形区域置信分数和所述第一步中步骤(2)采集的图像作为算法输入，从原始图像中裁剪出果实矩形区域，调整为固定大小，裁剪出的果实矩形区域为网络实际输入；同时进行多次多尺度融合，在执行多尺度融合中，输入s个不同分辨率大小的特征图：{T1,T2,…,Ts}，输出为s个不同分辨率大小的特征图：{Y1,Y2,…,Ys}，其分辨率和宽度与输入对应相同；每个输出特征图都可表示为当该阶段有额外的输出特征图Ys+1：Ys+1＝a(Ys,s+1)，函数a(Ti,k)表示将Ti从分辨率i上采样或下采样到分辨率k；如果i＝k，那么a(Ti,k)＝Ti；模型损失函数选择均方误差：/> 表示第n个样本的P1关键点，/>表示网络预测的关键点热图，y(·)表示真实值得到的热图；
以检测得到P1为参考，对果实矩形区域进行扩展，得到结果枝检测区域{(bx1,by1),(bx2,by2)}；
c)模型训练第二阶段定位结果枝上三个关键点，将三个关键点坐标、前述第一阶段得到的结果枝检测区域、区域置信分数和前述第一步中步骤(2)采集的图像作为算法输入；从原始图像中裁剪出结果枝检测区域，调整为固定大小，裁剪出的结果枝检测区域为网络实际输入，同时重复进行多尺度融合，在网络最后添加转置卷积模块；利用结果枝特征设计损失函数：min L＝λ1L1+λ2L2，λ1、λ2表示L1、L2的权重系数； 表示第n个样本的第k个关键点，/>表示网络预测的关键点热图，y(·)表示真实值得到的热图；/> 表示网络预测的采摘用结果枝剪切点/>到其所在结果枝bn的距离。
3.根据权利要求2所述的基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其特征在于，所述第二步的目标检测模型训练，采用了快速消融卷积层和多尺度卷积层。
CN202011001005.8A 2020-09-22 2020-09-22 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法 Active CN112115885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011001005.8A CN112115885B (zh) 2020-09-22 2020-09-22 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011001005.8A CN112115885B (zh) 2020-09-22 2020-09-22 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法

Publications (2)

Publication Number Publication Date
CN112115885A CN112115885A (zh) 2020-12-22
CN112115885B true CN112115885B (zh) 2023-08-11

Family

ID=73801539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011001005.8A Active CN112115885B (zh) 2020-09-22 2020-09-22 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法

Country Status (1)

Country Link
CN (1) CN112115885B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935070B (zh) * 2023-09-19 2023-12-26 北京市农林科学院智能装备技术研究中心 果串采摘机器人采摘目标建模方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04349815A (ja) * 1991-05-28 1992-12-04 Kubota Corp 垣根仕立の果樹用の果実収穫方法
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN109863874A (zh) * 2019-01-30 2019-06-11 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法
CN111428712A (zh) * 2020-03-19 2020-07-17 青岛农业大学 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN111445523A (zh) * 2020-03-25 2020-07-24 中国农业科学院农业信息研究所 果实位姿计算方法、装置、计算机设备及存储介质
CN111523503A (zh) * 2020-04-30 2020-08-11 浙江工业大学 基于改进ssd算法的苹果目标检测方法
CN111666883A (zh) * 2020-06-08 2020-09-15 佛山科学技术学院 一种葡萄采摘机器人目标识别及果梗夹切点定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201700099467A1 (it) * 2017-09-05 2019-03-05 Cottlab Ltd Mietitrice robotica semovente per la raccolta selettiva di colture agricole in file di alta qualità

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04349815A (ja) * 1991-05-28 1992-12-04 Kubota Corp 垣根仕立の果樹用の果実収穫方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109711325A (zh) * 2018-12-25 2019-05-03 华南农业大学 一种芒果采摘点识别方法
CN109863874A (zh) * 2019-01-30 2019-06-11 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法
CN111428712A (zh) * 2020-03-19 2020-07-17 青岛农业大学 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN111445523A (zh) * 2020-03-25 2020-07-24 中国农业科学院农业信息研究所 果实位姿计算方法、装置、计算机设备及存储介质
CN111523503A (zh) * 2020-04-30 2020-08-11 浙江工业大学 基于改进ssd算法的苹果目标检测方法
CN111666883A (zh) * 2020-06-08 2020-09-15 佛山科学技术学院 一种葡萄采摘机器人目标识别及果梗夹切点定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三维重建的柑橘采摘机械臂避障研究与实验;马冀桐等;《中国农业科技导报》;第22卷(第7期);90-98 *

Also Published As

Publication number Publication date
CN112115885A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN111666883B (zh) 一种葡萄采摘机器人目标识别及果梗夹切点定位方法
CN114005029B (zh) 基于改进yolov5网络的广佛手病虫害识别方法及系统
CN114565864A (zh) 一种基于深度学习的果实识别方法
CN112115885B (zh) 基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN114842187A (zh) 基于融合热力图像和rgb图像的茶叶嫩芽采摘点定位方法
CN112232263A (zh) 一种基于深度学习的番茄识别方法
Gao et al. Image processing and analysis for autonomous grapevine pruning
CN111476843A (zh) 基于注意力机制和改进pv-rcnn网络的枸杞枝条识别定位方法
CN115984704A (zh) 一种番茄采摘机器人的植株与果实检测算法
CN114842188A (zh) 一种基于深度学习算法的茶叶嫩芽采摘点定位方法
CN110503051B (zh) 一种基于图像识别技术的珍贵木材识别系统及方法
CN113111830A (zh) 一种葡萄藤冬剪点检测算法
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
Miao et al. Crop weed identification system based on convolutional neural network
CN116883718A (zh) 一种基于改进yolov7的甘蔗缺苗检测定位方法
CN206236111U (zh) 一种基于语音交互的叶片图像植物自动识别装置
CN113205543A (zh) 一种基于机器学习的激光雷达点云树干提取方法
Feng et al. Visual Tracking Method of Tomato Plant Main-Stems for Robotic Harvesting
CN114842300B (zh) 一种适应雨天环境的农作物病虫害检测方法
CN117011843B (zh) 一种用于火龙果自动化采摘的图像识别与姿态评估方法
CN111881744B (zh) 一种基于空间位置信息的人脸特征点定位方法及系统
Maulidyah et al. Water Sprouts Detection of Cacao Tree Using Mask Region-based Convolutional Neural Network
CN116343127A (zh) 一种基于果柄果脐识别的苹果抓取方法、系统及采摘设备
CN118015081A (zh) 一种基于机器视觉的立体定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant