CN111723863B - 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质 - Google Patents

果树花朵的识别及位置获取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111723863B
CN111723863B CN202010564264.5A CN202010564264A CN111723863B CN 111723863 B CN111723863 B CN 111723863B CN 202010564264 A CN202010564264 A CN 202010564264A CN 111723863 B CN111723863 B CN 111723863B
Authority
CN
China
Prior art keywords
flower
cluster
flowers
image
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010564264.5A
Other languages
English (en)
Other versions
CN111723863A (zh
Inventor
柴秀娟
胡明玉
夏雪
张文蓉
孙坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN202010564264.5A priority Critical patent/CN111723863B/zh
Publication of CN111723863A publication Critical patent/CN111723863A/zh
Application granted granted Critical
Publication of CN111723863B publication Critical patent/CN111723863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种果树花朵的识别及位置获取方法、装置、计算机设备及存储介质，涉及视觉识别技术领域，用于自动识别果树中花朵的类型及位置，以指导机器人后续的疏花操作。本发明的主要技术方案为：将花簇的局部图像输入到花朵检测模型中得到花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；花朵检测模型是根据花簇局部样本图像和花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。

Description

果树花朵的识别及位置获取方法、装置、计算机设备及存储 介质
技术领域
本发明涉及视觉识别技术领域，尤其涉及一种果树花朵的识别及位置获取方法、装置、计算机设备及存储介质。
背景技术
矮化密植栽培是世界果树生产的主流，其最大优点就是果树成花容易、花量大，自然条件下往往会结果过量，导致果实的品质差，商品率低，且容易形成隔年结果的不良现象。疏花疏果是果树矮化密植栽培的管理措施之一，果树必须通过人为调节的措施才能达到连年优质稳产的栽培目的。现有的疏花疏果方法主要以手工操作为主，用工量大而集中，随着劳动力成本逐年提高，这种方式对于果园规模化、集约化生产，存在较大困难。
发明内容
本发明提供一种果树花朵的识别及位置获取方法、装置、计算机设备及存储介质，用于自动识别果树中花朵的类型及位置，以指导机器人后续的疏花操作。
本发明实施例提供一种果树花朵的识别及位置获取方法，所述方法包括：
将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
本发明实施例提供一种果树花朵的识别及位置获取装置，所述装置包括：
第一获取模块，将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述果树花朵的识别及位置获取方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述果树花朵的识别及位置获取方法。
本发明提供的一种果树花朵的识别及位置获取方法、装置、计算机设备及存储介质，将花簇的局部图像输入到花朵检测模型中得到花簇的局部图像中所有花朵的花朵类型及对应的花朵位置。与目前人工确定果树中各花朵的类型及位置相比，由于本发明中的花朵检测模型是根据花簇局部样本图像和花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的，因此通过花朵检测模型可确定花簇中各花朵的类型及位置，然后通过自动确定的花簇中各花朵的类型及位置指导机器人后续的疏花操作，从而减少了果树疏花的人工成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中果树花朵的识别及位置获取方法的一流程图；
图2是本发明一实施例中全局图像中花簇定位示意图；
图3是本发明一实施例中获取花簇局部图像的一流程图；
图4是本发明一实施例中花朵检测模型结构图；
图5是本发明一实施例中花朵检测模型流程图；
图6是本发明一实施例中GA-RPN模块训练过程图；
图7是本发明一实施例中辅助说明LGIoU计算方法的几何图；
图8是本发明一实施例中果树花朵的识别及位置获取方法另一流程图；
图9是本发明一实施例中局部图像中的中心花、边花定位图；
图10是本发明一实施例中果树花朵的识别及位置获取装置的一原理框图；
图11是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种果树花朵的识别及位置获取方法，其核心在于利用深度卷积神经网络训练花朵检测模型，实现对中心花、边花位置的精确预测。由于疏花工作是以花簇为单位，去除一个花簇中的边花，保留中心花，因此果树疏花机器人视觉系统需先检测出视觉范围内的所有花簇，然后对每个花簇内的苹果花进行位置和类别(中心花、边花)预测，从而为机器人的后续操作提供指导。
本发明实施例提供的一种果树花朵的识别及位置获取方法，将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
其中，所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。花朵类型具体可以为中心花和边花，如可以0代表中心花，1代表边花。在本发明实施例中，对包含单个花簇的RGB图像进行花朵位置标注和花朵类别标注，0代表中心花，1代表边花，形成中心花/边花检测数据集合，通过中心花/边花检测数据集合对模型进行训练得到花朵检测模型。
本发明提供的一种果树花朵的识别及位置获取方法，将花簇的局部图像输入到花朵检测模型中得到花簇的局部图像中所有花朵的花朵类型及对应的花朵位置。与目前人工确定果树中各花朵的类型及位置相比，由于本发明中的花朵检测模型是根据花簇局部样本图像和花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的，因此通过花朵检测模型可确定花簇中各花朵的类型及位置，然后通过自动确定的花簇中各花朵的类型及位置指导机器人后续的疏花操作，从而减少了果树疏花的人工成本。
如图1所示，本发明实施例提供一种果树花朵的识别及位置获取方法，具体包括如下步骤：
S10，获取目标果树的全局图像，并将所述全局图像输入到花簇检测模型中得到所述全局图像中所有的花簇及花簇定位。
其中，目标果树具体可以为苹果树、梨树、桃树等，本发明实施例不做具体限定。在本发明实施例中，所述花簇检测模型是根据包含多个花簇的样本图像及样本图像中对应的花簇定位训练得到的，花簇定位具体可以为花簇的锚点矩形框，具体的，通过花簇检测模型中得到全局图像中所有的花簇及花簇定位的示意图如图2所示。
在本发明实施例中，在对花簇检测模型进行训练之前，本发明还需要获取用于训练花簇检测模型的样本数据。具体的，本发明通过RGB-D相机采集足够数量的果园环境下包含多个花簇的全局图像，对包含多个苹果花簇的全局图像进行花簇位置标注，形成花簇检测数据集合，然后将包含多个花簇的全局图像及其对应标签输入目标检测模型(可采用YOLOv3模型)，训练花簇检测模型。
S20，根据所述全局图像中所有的花簇及花簇定位获取花簇的局部图像。
需要说明的是，由于获取的目标果树的全局图像中包括多个花簇，因此需要获取全局图像中每个花簇的局部图像，以便于在后续步骤中从局部图像中确定花簇中各个花朵的类型。
如图3所示，在本发明提供的一个实施例中，根据所述全局图像中所有的花簇及花簇定位获取所述花簇的局部图像，包括：
S201，结合所述全局图像的深度信息和所述花簇定位计算所述花簇在摄像机坐标系下的3D坐标。
S202，通过对所述花簇在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花簇在世界坐标系下的3D坐标。
S203，根据所述花簇在摄像机坐标系下的3D坐标指导摄像机拍摄所述花簇的局部图像。
在本发明实施例中，花簇检测模型对摄像机所拍摄的全局图像中的所有花簇进行定位，并结合对应的Depth图像帧的深度信息计算花簇在摄像机坐标系下的3D空间坐标，再通过旋转变换和平移变换得到花簇在世界坐标系下的3D空间坐标，然后通过花簇在世界坐标系下的3D空间坐标指导摄像机拍摄花簇的局部图像，即根据世界坐标系下的3D坐标指导摄像机去拍摄花簇的细节图像。
S30，将所述花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置。
如图4和图5所示，在本发明中的花朵检测模型训练过程包括：第一步，提取图像特征；第二步，生成候选框，第三步，对候选框进行分类判别和位置预测。其中第二步，模型通过两个分支来分别学习生成锚点的位置和形状，从而提供高质量的锚点，减少计算成本。第三步，对候选框进行位置预测时，通过将预测框与真实框的交并比(IoU)值引入回归损失函数，实现对目标位置的精确预测。具体的，所述花朵检测模型通过下述方式训练得到：
S301，从所述花簇局部样本图像中提取图像特征。
在本发明实施例中，可以通过特征提取网络从所述花簇局部样本图像中提取图像特征F，该特征提取网络可以为ResNet50。提取的图像特征包含了形状和颜色特征。
S302，将所述图像特征输入到目标检测模型得到图像特征对应的候选框。
具体的，将全局图像特征输入GA-RPN模块生成锚点，然后对锚点进行分类与回归，生成候选框。其中，进行分类与回归时首先需要选择正负样本，对于分类计算交叉熵损失；对于回归计算smooth L1损失，然后通过反向传播更新模型参数。
在本发明实施例中，将结合附图6给出GA-RPN模块训练过程：
1)将步骤S301中提取的图像特征F分别输入锚点位置预测分支NL和锚点形状预测分支NS。在分支NL中，经过1×1卷积后，生成一个单通道概率图，其中的每一个值表示目标中心落在图像特征F中每段点的概率，目标中心指可能的目标框的中心点，该点指对图像特征F中进行1×1卷积操作的点；在分支NS中，经过1×1卷积后，生成一个双通道图，两个通道分别预测中心落在不同点的目标的最佳长宽值，即利用两个不同的1×1卷积核对图像特征F进行卷积操作后，得到w×h×2的双通道图，两个通道上每个点的值分别代表中心落在该点的目标的最佳长宽值；
2)根据分支NL和NS分支的输出结果生成锚点，其中对于NL分支输出的概率图中概率值小于阈值θ的点，不生成以该点为中心的锚点；
3)将1)中分支NS生成的双通道图输入1×1卷积，得到每个点的位置偏移量，利用3×3可变形卷积结合位置偏移量对原始图像特征F进行卷积操作，得到新的特征图F'；
4)依据特征图F'对锚点进行分类和位置回归；
5)计算损失，GA-RPN训练损失由四部分组成：锚点位置预测损失、锚点形状预测损失、位置回归损失、分类损失，即
LGA-RPN＝λ1Lloc+λ2Lshape+Lcls+Lreg
其中，Lloc代表锚点位置预测损失，Lshape代表锚点形状预测损失，Lcls代表分类损失，Lreg代表位置回归损失。
6)根据损失函数计算梯度进行反向传播，更新模型参数。
S303，对候选框进行分类预测和位置回归分别得到预测框位置和分类得分。
在本发明实施例中，对候选框进行分类预测和位置回归。其中，所述分类预测的损失函数采用交叉熵损失函数，所述位置回归的损失函数采用预置损失函数LGIoU，根据损失函数计算梯度进行反向传播。
如图7所示，所述预置损失函数通过下述方式确定：
S3031，计算所述预测框和真实框交集部分的面积I；以及计算所述预测框和真实框并集部分的面积U；
在本实施例中，假设预测框的长、宽分别为c、d，其所对应的真实框的长宽分别为a、b，预测框和真实框的重叠部分的长、宽分别为e、f；
1)预测框和真实框交集部分的面积：I＝ef；
2)预测框和真实框并集部分的面积：U＝ab+cd-ef；
S3032，计算覆盖所述预测框和所述真实框的最小矩形框面积AC；
覆盖预测框和真实框的最小矩形框(图7中虚线框所示矩形)面积AC：＝(a+c-e)(b+d-f)
S3033，根据所述交集部分的面积I、所述并集部分的面积U和所述最小矩形框面积AC确定所述预置损失函数。
在本发明提供的一个实施例中，所述根据所述交集部分的面积I、所述并集部分的面积U和所述最小矩形框面积AC确定所述预置损失函数，包括：
根据所述交集部分的面积I和所述并集部分的面积U的比值确定交并比
Figure BDA0002547219780000081
计算所述最小矩形框面积AC与所述并集部分的面积U的差值AC-U，并计算所述差值与所述最小矩形框面积AC的比值；
通过计算数字1减去所述交并比加上所述所述差值与所述最小矩形框面积AC的比值确定所述预置损失函数，即通过下述公式得到预置损失函数LGIoU：
Figure BDA0002547219780000091
如图8所示，本发明实施例提供的一种果树花朵的识别及位置获取方法，花簇检测模型对摄像机所拍摄的全局图像中的所有花簇进行定位，并结合对应的Depth图像帧的深度信息计算花簇在摄像机坐标系下的3D空间坐标，再通过旋转变换和平移变换得到花簇在世界坐标系下的3D空间坐标。针对某一花簇，利用其在世界坐标系下的3D位置，指导摄像机移动，拍摄此花簇的局部图像，然后通过花朵检测模型对局部图像中的中心花、边花分别进行精细定位(如图9所示)，获取定位矩形框的2D坐标，并结合RGB-D相机的内参、像素点的深度距离计算得到中心花、边花在摄像机坐标系下的3D空间坐标，同样再通过旋转变换和平移变换得到中心花、边花在疏花机器人坐标系下的3D空间坐标，并以此3D空间坐标指导机器人后续的疏花操作。
在本发明提供的一个实施例中，在步骤S30：将所述花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置之后，所述方法还包括：
S40，结合所述花簇的局部图像的深度信息和所述花朵位置计算花朵的在摄像机坐标系下的3D坐标。
S50，通过对所述花朵在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花朵在世界坐标系下的3D坐标。
需要说明的是，由于疏花工作是以花簇为单位，去除一个花簇中的边花，保留中心花，因此果树疏花机器人视觉系统需先检测出视觉范围内的所有花簇，然后对每个花簇内的花朵进行位置和类别(中心花、边花)预测。接着根据花簇的局部图像的深度信息和花朵位置计算花朵的在摄像机坐标系下的3D坐标，并通过对花朵在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到花朵在世界坐标系下的3D坐标，然后依据花朵在世界坐标系下的3D坐标指导机器人后续的疏花操作。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种果树花朵的识别及位置获取装置，该果树花朵的识别及位置获取装置与上述实施例中果树花朵的识别及位置获取方法一一对应。如图10所示，该果树花朵的识别及位置获取装置包括：第一获取模块10、第二获取模块20、第三获取模块30。各功能模块详细说明如下：
第一获取模块10，用于将所述花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
进一步的，所述装置还包括：
第二获取模块20，用于获取目标果树的全局图像，并将所述全局图像输入到花簇检测模型中得到所述全局图像中所有的花簇及花簇定位；所述花簇检测模型是根据包含多个花簇的样本图像及样本图像中对应的花簇定位训练得到的；
第三获取模块30，用于根据所述全局图像中所有的花簇及花簇定位获取所述花簇的局部图像。
具体的，所述第三获取模块30，包括：
计算单元31，用于结合所述全局图像的深度信息和所述花簇定位计算所述花簇在摄像机坐标系下的3D坐标；
获取单元32，用于通过对所述花簇在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花簇在世界坐标系下的3D坐标；
拍摄单元33，用于根据所述花簇在摄像机坐标系下的3D坐标指导摄像机拍摄所述花簇的局部图像。
具体的，所述所述花朵检测模型通过下述方式训练得到：
从所述花簇局部样本图像中提取图像特征；
将所述图像特征输入到目标检测模型得到所述图像特征对应的候选框；
对所述候选框进行分类预测和位置回归分别得到预测框位置和分类得分，所述分类预测的损失函数采用交叉熵损失函数，所述位置回归的损失函数采用预置损失函数，根据损失函数计算梯度进行反向传播。
具体的，所述预置损失函数通过下述方式确定：
计算所述预测框和真实框交集部分的面积I；以及计算所述预测框和真实框并集部分的面积U；
计算覆盖所述预测框和所述真实框的最小矩形框面积AC；
根据所述交集部分的面积I、所述并集部分的面积U和所述最小矩形框面积AC确定所述预置损失函数。
具体的，所述根据所述交集部分的面积I、所述并集部分的面积U和所述最小矩形框面积AC确定所述预置损失函数，包括：
根据所述交集部分的面积I和所述并集部分的面积U的比值确定交并比；
计算所述最小矩形框面积AC与所述并集部分的面积U的差值，并计算所述差值与所述最小矩形框面积AC的比值；
通过计算数字1减去所述交并比加上所述所述差值与所述最小矩形框面积AC的比值确定所述预置损失函数。
进一步的，所述装置还包括：
计算模块40，用于结合所述花簇的局部图像的深度信息和所述花朵位置计算花朵的在摄像机坐标系下的3D坐标；
旋转平移模块50，用于通过对所述花朵在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花朵在世界坐标系下的3D坐标。
关于果树花朵的识别及位置获取装置的具体限定可以参见上文中对于果树花朵的识别及位置获取方法的限定，在此不再赘述。上述果树花朵的识别及位置获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种果树花朵的识别及位置获取方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种果树花朵的识别及位置获取方法，其特征在于，所述方法包括：
获取目标果树的全局图像，并将所述全局图像输入到花簇检测模型中得到所述全局图像中所有的花簇及花簇定位；所述花簇检测模型是根据包含多个花簇的样本图像及样本图像中对应的花簇定位训练得到的；
结合所述全局图像的深度信息和所述花簇定位计算所述花簇在摄像机坐标系下的3D坐标；
通过对所述花簇在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花簇在世界坐标系下的3D坐标；
根据所述花簇在世界坐标系下的3D坐标指导摄像机拍摄所述花簇的局部图像；
将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
2.根据权利要求1所述的果树花朵的识别及位置获取方法，其特征在于，所述花朵检测模型通过下述方式训练得到：
从所述花簇局部样本图像中提取图像特征；
将所述图像特征输入到目标检测模型得到所述图像特征对应的候选框；
对所述候选框进行分类预测和位置回归分别得到预测框位置和分类得分，所述分类预测的损失函数采用交叉熵损失函数，所述位置回归的损失函数采用预置损失函数，根据损失函数计算梯度进行反向传播。
3.根据权利要求2所述的果树花朵的识别及位置获取方法，其特征在于，所述预置损失函数通过下述方式确定：
计算所述预测框和真实框交集部分的面积I；以及计算所述预测框和真实框并集部分的面积U；
计算覆盖所述预测框和所述真实框的最小矩形框面积AC；
根据所述交集部分的面积I、所述并集部分的面积U和所述最小矩形框面积AC确定所述预置损失函数。
4.根据权利要求3所述的果树花朵的识别及位置获取方法，其特征在于，所述根据所述交集部分的面积I、所述并集部分的面积U和所述最小矩形框面积AC确定所述预置损失函数，包括：
根据所述交集部分的面积I和所述并集部分的面积U的比值确定交并比；
计算所述最小矩形框面积AC与所述并集部分的面积U的差值，并计算所述差值与所述最小矩形框面积AC的比值；
通过计算数字1减去所述交并比加所述比值确定所述预置损失函数。
5.根据权利要求1所述的果树花朵的识别及位置获取方法，其特征在于，将所述花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置之后，所述方法还包括：
结合所述花簇的局部图像的深度信息和所述花朵位置计算花朵的在摄像机坐标系下的3D坐标；
通过对所述花朵在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花朵在世界坐标系下的3D坐标。
6.一种果树花朵的识别及位置获取装置，其特征在于，所述装置包括：
第二获取模块，用于获取目标果树的全局图像，并将所述全局图像输入到花簇检测模型中得到所述全局图像中所有的花簇及花簇定位；所述花簇检测模型是根据包含多个花簇的样本图像及样本图像中对应的花簇定位训练得到的；
第三获取模块，用于结合所述全局图像的深度信息和所述花簇定位计算所述花簇在摄像机坐标系下的3D坐标；通过对所述花簇在摄像机坐标系下的3D坐标进行旋转变化和平移操作得到所述花簇在世界坐标系下的3D坐标；根据所述花簇在世界坐标系下的3D坐标指导摄像机拍摄所述花簇的局部图像；
第一获取模块，用于将花簇的局部图像输入到花朵检测模型中得到所述花簇的局部图像中所有花朵的花朵类型及对应的花朵位置；所述花朵检测模型是根据花簇局部样本图像和所述花簇局部样本图像中的花朵位置标注、花朵类型标注训练得到的。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述果树花朵的识别及位置获取方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述果树花朵的识别及位置获取方法。
CN202010564264.5A 2020-06-19 2020-06-19 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质 Active CN111723863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010564264.5A CN111723863B (zh) 2020-06-19 2020-06-19 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010564264.5A CN111723863B (zh) 2020-06-19 2020-06-19 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111723863A CN111723863A (zh) 2020-09-29
CN111723863B true CN111723863B (zh) 2023-06-02

Family

ID=72567668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010564264.5A Active CN111723863B (zh) 2020-06-19 2020-06-19 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111723863B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762248B (zh) * 2021-01-20 2024-05-24 北京京东振世信息技术有限公司 一种目标落地检测方法、装置、电子设备和存储介质
CN112949660A (zh) * 2021-04-21 2021-06-11 桑一男 一种基于非平行放置摄像头的黄蜀葵花识别及定位方法和设备
CN113901962A (zh) * 2021-12-06 2022-01-07 北京建筑大学 一种基于深度学习的非常态下行人识别方法及系统
CN114511849B (zh) * 2021-12-30 2024-05-17 广西慧云信息技术有限公司 一种基于图注意力网络的葡萄疏果识别方法
CN115063703B (zh) * 2022-06-23 2024-07-12 华南农业大学 果树成花率估测方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483823A (zh) * 2017-08-31 2017-12-15 努比亚技术有限公司 一种图像处理方法及终端
CN110533019A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 车牌定位方法、装置及存储介质
WO2020042349A1 (zh) * 2018-08-31 2020-03-05 初速度（苏州）科技有限公司 一种应用于车辆定位的定位初始化方法及车载终端
CN111179162A (zh) * 2018-11-12 2020-05-19 北京初速度科技有限公司 一种特殊环境下的定位初始化方法及车载终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
CN107527367A (zh) * 2017-10-19 2017-12-29 新疆秦域工业设备制造安装有限公司 一种基于双目相机的棉花识别及定位方法
CN109886062A (zh) * 2017-12-06 2019-06-14 东北林业大学 一种油茶果花识别定位系统
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483823A (zh) * 2017-08-31 2017-12-15 努比亚技术有限公司 一种图像处理方法及终端
CN110533019A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 车牌定位方法、装置及存储介质
WO2020042349A1 (zh) * 2018-08-31 2020-03-05 初速度（苏州）科技有限公司 一种应用于车辆定位的定位初始化方法及车载终端
CN111179162A (zh) * 2018-11-12 2020-05-19 北京初速度科技有限公司 一种特殊环境下的定位初始化方法及车载终端

Also Published As

Publication number Publication date
CN111723863A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111723863B (zh) 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质
US20210365732A1 (en) Method for Image Classification, Computer Device, and Storage Medium
CN111814741B (zh) 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN110674712A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN111753692B (zh) 目标对象提取方法、产品检测方法、装置、计算机和介质
CN109344843B (zh) 水稻秧苗行线提取方法、装置、计算机设备和存储介质
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN116168017B (zh) 一种基于深度学习的pcb元件检测方法、系统及存储介质
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN109255382A (zh) 用于图片匹配定位的神经网络系统，方法及装置
CN113240716A (zh) 一种多特征融合的孪生网络目标跟踪方法及系统
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
CN111311602A (zh) 中医面诊的嘴唇图像分割装置及方法
CN110287970B (zh) 一种基于cam与掩盖的弱监督物体定位方法
CN117392382A (zh) 一种基于多尺度密集实例检测的单木果树分割方法与系统
Zhou et al. A fast and data-efficient deep learning framework for multi-class fruit blossom detection
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
Grishin et al. Individual Tree Segmentation Quality Evaluation Using Deep Learning Models LiDAR Based
WO2020140223A1 (en) Continuous learning for object tracking
Ma et al. Depth-guided progressive network for object detection
CN115969144A (zh) 一种鞋底喷胶轨迹生成方法、系统、设备及存储介质
Han et al. Tomatoes maturity detection approach based on YOLOv5 and attention mechanisms
CN112801013B (zh) 一种基于关键点识别校验的人脸识别方法、系统及装置
CN111178202B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112949731A (zh) 基于多专家模型的目标检测方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant