CN117218615B - 一种大豆落花落荚表型调查方法 - Google Patents

Abstract

本发明提供了一种大豆落花落荚表型调查方法，该方法包括：控制机器人移动至目标植株位置；控制机器人采集目标植株全生育期内的待识别植株图像；基于训练完备的目标识别模型，对所述待识别植株图像中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息；基于所述待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育期内的花和荚的掉落情况进行统计，得到目标植株的落花落荚表型。本发明提高落花落荚表型调查的效率和准确性，实现了对落花落荚表型的高通量表型数据采集。

Description

一种大豆落花落荚表型调查方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种大豆落花落荚表型调查方法。

背景技术

大豆落花落荚表型鉴定是突破大豆落花落荚分子遗传机制解析限制瓶颈的基础。目前对落花落荚表型鉴定主要有两种方法。

一种是人工标记法，开花以后对大豆花序上产生的花每天用记号笔进行标记，次日统计留在花序上花的数目，同时标记新产生的花，这样连续标记，最终统计落花落荚率。此方法标记、统计的工作繁琐，只能在比较个别野生型和突变体的时候使用。

一种是尼龙网罩住法，在大豆开花前，利用尼龙网罩住大豆植株，开花后每周统计从植株上掉落的花荚，最后统计在植株上剩余的花荚，两者相加是总花数，总落花/荚数除以总花数，得到落花落荚率。此方法相对提高了表型统计效率，但是也需要较多的人力统计，限制了表型调查的群体规模，最终影响基因克隆。

发明内容

有鉴于此，有必要提供一种大豆落花落荚表型调查方法，用以解决现有技术中存在的人工获取大豆落花落荚表型，浪费人力、表型调查的群体规模有限的技术问题。

为了解决上述问题，一方面，本发明提供了一种大豆落花落荚表型调查方法，包括：

控制机器人移动至目标植株位置；

控制机器人采集目标植株全生育期内的待识别植株图像；

基于训练完备的目标识别模型，对所述待识别植株图像中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息；

基于所述待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育期内的花和荚的掉落情况进行统计，得到目标植株的落花落荚表型。

在一些可能的实现方式中，控制机器人移动至目标植株位置，包括：

基于田间环境信息和定位导航技术，建立田间导航电子地图；

获取目标植株任务信息；

基于所述目标植株任务信息，从所述田间导航电子地图中确定机器人的巡查路径；

基于所述巡查路径，控制机器人移动至目标植株位置。

在一些可能的实现方式中，控制机器人采集目标植株全生育期内的待识别植株图像，包括：

确定机器人的最佳拍摄位置和最佳拍摄姿态；

基于所述机器人的最佳拍摄位置和最佳拍摄姿态，控制机器人每天定时采集目标植株全生育期内的待识别植株图像。

在一些可能的实现方式中，确定机器人的最佳拍摄位置和最佳拍摄姿态，包括：

控制机器人以初始拍摄位置和初始拍摄姿态采集目标植株图像；

基于预设的特征匹配算法，提取所述目标植株图像的关键特征点，并确定所述目标植株图像的关键特征点与特征库里特征点的匹配程度；

基于所述匹配程度，调整机器人的拍摄位置和拍摄姿态，并控制机器人重新采集目标植株图像以及重新计算匹配程度，重复以上步骤若干次直至所述匹配程度最佳时，确定机器人的最佳拍摄位置和最佳拍摄姿态。

在一些可能的方式中，所述训练完备的目标识别模型包括特征提取主干模块、注意力机制模块、特征提取金字塔模块和特征检测头模块；

基于训练完备的目标识别模型，对所述待识别植株图像中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息，包括：

基于特征提取主干模块对所述待识别植株图像进行特征提取，确定不同尺度的多个提取特征图；

基于所述注意力机制模块对所述多个提取特征图中的花和荚信息进行注意力侧重，确定带有注意力信息的多个注意力特征图；

基于特征提取金字塔模块对所述多个注意力特征图进行多尺度特征融合，确定具有多尺度信息的多个融合特征图；

基于特征检测头模块对所述多个融合特征图中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息。

在一些可能的实现方式中，所述多个提取特征图包括第一提取特征图、第二提取特征图和第三提取特征图，所述注意力机制模块包括第一注意力子模块、第二注意力子模块和第三注意力子模块；

基于所述注意力机制模块对所述多个提取特征图中的花和荚信息进行注意力侧重，确定带有注意力信息的多个注意力特征图，包括：

基于所述第一注意力子模块、第二注意力子模块和第三注意力子模块，分别对所述第一提取特征图、所述第二提取特征图和所述第三提取特征图的花和荚信息进行注意力侧重，得到对应的带有注意力信息的第一注意力特征图、第二注意力特征图和第三注意力特征图；

其中，基于所述第一注意力子模块对所述第一提取特征图的花和荚信息进行注意力侧重，得到第一注意力特征图，包括：

对第一提取特征图的高方向和宽方向进行全局平均池化，得到宽方向特征图和高方向特征图；

将所述宽方向特征图和所述高方向特征图进行合并，得到合并特征图；

将所述合并特征图进行降维，得到降维后的合并特征图；

将所述降维后的合并特征图进行分割，得到新的宽方向特征图和高方向特征图；

将所述新的宽方向特征图和高方向特征图分别进行卷积，确定恢复到原本维度的宽方向特征图和恢复到原本维度的高方向特征图；

使用激活函数确定所述恢复到原本维度的宽方向特征图的第一注意力权重，以及所述恢复到原本维度的高方向特征图的第二注意力权重；

基于所述第一注意力权重和所述第二注意力权重，对所述第一提取特征图进行加权操作，获得带有注意力信息的第一注意力特征图。

在一些可能的实现方式中，基于特征提取金字塔模块对所述多个注意力特征图进行多尺度特征融合，确定对不同尺度目标明确程度不同的多个融合特征图，包括：

采用PAN网络，对所述多个注意力特征图进行特征融合，得到对大目标明确的第一融合特征图、对中目标明确的第二融合特征图以及对小目标明确的第三融合特征图。

在一些可能的实现方式中，所述多个融合特征图包括第一融合特征图、第二融合特征图和第三融合特征图，所述特征检测头模块包括第一检测头子模块、第二检测头子模块和第三检测头子模块；

基于特征检测头模块对所述多个融合特征图中的花和荚进行识别框选，确定待识别植株图像中的类别和位置框信息，包括：

基于第一检测头子模块、第二检测头子模块和第三检测头子模块分别对所述第一融合特征图、第二融合特征图和第三融合特征图中的花和荚进行识别框选，确定第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别和位置框信息；

对所述第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别和位置框信息进行汇总，确定待识别植株图像中花和荚的类别和位置框信息。

在一些可能的实现方式中，基于所述待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育周期内花和荚的掉落情况进行统计，得到目标植株的落花落荚表型，包括：

基于所述待识别植株图像中花和荚的类别和位置框信息，确定目标植株花全生育期内每日花和荚的类别和位置框信息；

基于所述目标植株花全生育期内每日花和荚的类别和位置框信息，确定目标植株全生育期内的落花数、落荚数以及结荚数；

基于所述目标植株全生育期内的落花数、落荚数以及结荚数，确定目标植株的落花落荚率。

采用上述实施例的有益效果是：本发明提供的基于田间机器人和视觉感知技术的大豆落花落荚表型调查方法，首先获取控制机器人到目标植株位置采集目标植株全生育期内的待识别植株图像，然后基于训练完备的目标识别模型，对待识别植株图像中的花和荚进行识别框选，获取待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育期内的花和荚的掉落情况进行统计，得到目标植株的落花落荚表型；通过搭载轻便型田间机器人对大豆作物图像采集来代替人工观测，节省人力，同时采用训练完备的目标识别模型对大豆花和荚进行识别框选并自动计数来提高落花落荚表型调查的效率和准确性，从而实现真正的高通量表型数据采集。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于田间机器人和视觉感知技术的大豆落花落荚表型调查方法的一个实施例流程示意图；

图2为本发明图1中步骤S101的一个实施例流程示意图；

图3为本发明图1中步骤S102的一个实施例流程示意图；

图4为本发明提供的目标识别模型的一个结构示意图；

图5为本发明图1中步骤S103的一个实施例流程示意图；

图6为本发明图5中步骤S501的一个实施例流程示意图；

图7为本发明提供的第一注意力子模块对第一提取特征图进行处理的一个实施例流程示意图；

图8为本发明图5中步骤S504的一个实施例流程示意图；

图9为本发明提供的对待识别植株图像中花和荚进行框选标记的示意图；

图10为本发明图1中步骤S104的一个实施例流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。

本发明实施例中所涉及的“第一”、“第二”等描述仅用于描述隐含的目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含地包括至少一个该特征。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如：A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供了一种大豆落花落荚表型调查方法，以下分别进行说明。

图1为本发明提供的基于田间机器人和视觉感知技术的大豆落花落荚表型调查方法的一个实施例流程示意图，如图1所示，基于田间机器人和视觉感知技术的大豆落花落荚表型调查方法包括：

S101、控制机器人移动至目标植株位置；

S102、控制机器人采集目标植株全生育期内的待识别植株图像；

S103、基于训练完备的目标识别模型，对待识别植株图像中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息；

S104、基于待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育期内的花和荚的掉落情况进行统计，得到目标植株的落花落荚表型。

与现有技术相比，本发明首先获取控制机器人到目标植株位置采集目标植株全生育期内的待识别植株图像，然后基于训练完备的目标识别模型，对待识别植株图像中的花和荚进行识别框选，获取待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育期内的花和荚的掉落情况进行统计，得到目标植株的落花落荚表型；通过搭载轻便型田间机器人对大豆作物图像采集来代替人工观测，节省人力，同时采用训练完备的目标识别模型对大豆花和荚进行识别框选并自动计数来提高落花落荚表型调查的效率和准确性，从而实现真正的高通量表型数据采集。

由于调查大豆落花落荚表型需要长时间的对大豆花全生育期内的花荚图像进行拍摄采集，人工采集图像较为繁琐，故为了节省人力，在本发明中通过搭载轻便型田间机器人对大豆作物图像进行采集观测，具体而言，参照图2，步骤S101包括：

S201、基于田间环境信息和定位导航技术，建立田间导航电子地图；

需要说明的是，在田间种植过程中记录每株植株的GPS坐标，结合田间的地理信息等，获取田间环境信息，然后将田间环境信息输入机器人身上搭载的地理信息系统(Geo-Information system，GIS)中，建立以连续种植为主要特点的田间高精度电子地图。

还需要说明的是，机器人上搭载有全球定位系统(Global Positioning System，GPS)接收器，该全球定位系统的定位方式采用实时动态(Real-time kinematic，RTK)技术，可获取机器人的实时GPS位置信息，将基于GIS技术的田间高精度电子地图和GPS定位导航技术进行结合，获得田间导航电子地图，该田间导航电子地图通过机器人身上的显示屏进行显示，在田间导航电子地图上输入目的地，即可获得从机器人起始位置到达目的地的最佳路径。

S202、获取目标植株任务信息；

需要说明的是，根据计划的任务设计确定该机器人所要采集的目标植株信息以及机器人巡查范围信息。

S203、基于目标植株任务信息，从田间导航电子地图中确定机器人的巡查路径；

需要说明的是，在田间导航电子地图中输入目标植株任务信息，即可获得从机器人起始位置到目标植株位置的巡查路径，目标植株任务信息的输入可以是人为在显示屏上操作，也可以是通过远程管理系统进行远程设置。

S204、基于巡查路径，控制机器人移动至目标植株位置。

需要说明的是，机器人身上搭载有惯性导航系统(由陀螺仪和加速计构成)，开始时，由全球定位系统接收器为惯性导航系统提供机器人的初始位置及速度，然后惯性导航系统通过对传感设备的信息进行整合计算，不断更新当前位置及运动姿态，以对机器人的实际行进路线进行控制。

还需要说明的是，机器人身上还搭载有距离传感器和摄像头等传感设备，利用距离传感器和摄像头获取的距离信息和场景图像，结合图像处理算法可实现田间道路和障碍的识别，根据田间道路和障碍的识别，可控制机器人进行自动避障，同时结合全球定位系统和PID算法，计算机器人实际行进路线与巡查路径的偏离程度，在进行自动避障的同时，实时调整机器人的实际行进路线，使其尽可能地符合提前规划的巡查路径。

为了保证图像角度的校正，需要对机器人采集植株图像的角度、位置进行精确调整，具体而言，参照图3，步骤S102，包括：

S301、控制机器人以初始拍摄位置和初始拍摄姿态采集目标植株图像；

需要说明的是，机器人身上搭载有RGB相机来采集目标植株图像，机器人的拍摄位置和拍摄姿态会影响机器人的拍摄区域，进而影响目标植株占图像中的位置，通过调整机器人的拍摄位置和拍摄姿态，可使得目标植株占图像的主体位置。

S302、基于预设的特征匹配算法，提取目标植株图像的关键特征点，并确定目标植株图像的关键特征点与特征库里特征点的匹配程度；

需要说明的是，预设的特征匹配算法包括特征提取部分和特征匹配部分；特征提取部分用于提取大豆植株在多个视角下的关键特征点，特征匹配部分用于计算目标植株图像的关键特征点与提前提取的特征库里中植株特征点的匹配程度M，利用主成分分析确定找到的特征点的平面坐标，计算坐标之间的距离D，并定义最终的匹配分数S＝w1M+w2*exp(-D)，匹配分数S表征目标植株占图像中的主体位置程度。

S303、基于匹配程度，调整机器人的拍摄位置和拍摄姿态，并控制机器人重新采集目标植株图像以及重新计算匹配程度，重复以上步骤若干次直至匹配程度最佳时，确定机器人的最佳拍摄位置和最佳拍摄姿态；

需要说明的是，通过调整机器人的拍摄位置和拍摄姿态使得匹配分数最大，此时匹配程度最佳，将机器人此时的最佳拍摄位置和最佳拍摄姿态作为机器人采集图像的最终位置、姿态，以保证目标植株占图像中的主体，进而保证后续图像角度的校正。

还需要说明的是，针对植株生育期内株高的变化，机器人上搭载有基于RaspberryPi3开发专用的嵌入式控制系统，可对机器人的机械臂实现灵活控制，进而实现对机械臂上图像采集设备RGB相机拍摄高度以及拍摄姿态的调整；同时使用高精度GPS以及陀螺仪等传感器记录在拍摄时，RGB相机和传感器的位置、角度等信息。

S304、基于机器人的最佳拍摄位置和最佳拍摄姿态，控制机器人每天定时采集目标植株全生育期内的待识别植株图像。

需要说明的是，待识别植株相对于相机而言过大，为保证后续目标识别模型的识别效果，待识别植株图像是对目标植株进行上下扫描的视频帧图像，以更好的拍摄到目标植株的细节特征。

针对大豆花和荚的识别需要对传统的目标识别模型进行改进，为提高目标识别速度、效果，在一些实施例中，目标识别模型采用改进的Yolov8网络模型，目标识别模型的结构示意图如图4所示，改进的Yolov8网络模型包括特征提取主干模块、注意力机制模块、特征提取金字塔模块以及特征检测头模块，在具体对图像进行处理时，如图5所示，步骤S103，包括：

S501、基于特征提取主干模块对待识别植株图像进行特征提取，确定不同尺度的多个提取特征图；

S502、基于注意力机制模块对多个提取特征图中的花和荚信息进行注意力侧重，确定带有注意力信息的多个注意力特征图；

S503、基于特征提取金字塔模块对多个注意力特征图进行多尺度特征融合，确定具有多尺度信息的多个融合特征图；

S504、基于特征检测头模块对多个融合特征图中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息。

需要说明的是，注意力机制模块可以提升网络分析通道间的关系，考虑更多的位置信息，进而增强检测网络学习特征的表达能力，提高模型目标识别速度。

在一些实施例中，特征提取主干模块包括CSPDarknet(Cross Stage PartialDarknet，跨阶段局部卷积神经网络)结构和SPPF(Spatial Pyramid Pooling-Fast，快速空间金字塔池化)结构，具体而言，参照图6，步骤S501，包括

S601、基于CSPDarknet结构，对待识别植株图像进行特征提取，确定五层特征图，由深到浅依次为第一提取特征图、第二提取特征图、第三提取特征图、第四提取特征图和第五提取特征图；

S602、基于SPPF结构，对第一提取特征图进行一次卷积层和三次池化层，得到最终的第一提取特征图，将最终的第一提取特征图、第二提取特征图和第三提取特征图作为后续模块的输入。

需要说明的是，当输入特征提取主干模块的待识别植株图像的尺寸(这里指三元组，包括图像的宽度、高度和通道数)为(640,640,3)时，三个特征层的图像尺寸分别为(80,80,256)、(40,40,512)、(20,20,512)

还需要说明的是，CSPDarknet结构包含包括：CBS模块、第一CSP1-X模块、第一CSP1-2X模块、第二CSP1-X模块和第二CSP1-2X模块，待识别植株图像依次经过CBS模块、第一CSP1-X模块、第一CSP1-2X模块、第二CSP1-X模块和第二CSP1-2X模块得到四层特征图；第一CSP1-X模块、第二CSP1-X模块是两相同的CSP1-X模块，第一CSP1-2X模块、第二CSP1-2X模块是两相同的CSP1-2X模块，CSP1-2X模块和CSP1-X模块的区别是CSP1-2X模块残差块Resuni个数是CSP1-X模块的两倍。

其中，CBS模块是由卷积层Conv、批归一化层(BN层)和非线性激活函数SiLU组成；CSP1_X模块是由CBS模块和C2f模块组成，C2f模块是由两个CBS模块和X个残差块Res uni组成；C2f模块的工作机制，先经过CBS模块，将所得结果按通道数减半拆分成两部分，再分两条路进行处理，一条路是一半拆分结果依次经过X个残差块Res unit，另一条路是另一半拆分结果不做处理，两条路的处理结果经过Concat连接后再经过CBS模块处理，最后输出CSP1_X模块的输出，残差块Res unit由2个CBL模块组成的上分路和作为下分路的原输入进行add张量相加操作得到残差块Res unit的输出。

还需要说明的是，SPPF结构是由两个CBS模块和3个最大池化层组成，SPPF结构能让神经网络在某层得到一个固定维度的输出，实现了不同尺度的特征融合，并且不失真、速度快；SPPF模块的工作机制：依次经过CBS模块、3个卷积核均为5×5，步长为1，填充为2个像素的最大池化层、CBS模块。

为了获取更好的对图像进行处理，在一些实施例中，注意力机制采用CA(Coordinate attention)注意力机制，注意力机制模块包括第一注意力子模块、第二注意力子模块和第三注意力子模块，第一注意力子模块、第二注意力子模块和第三注意力子模块为三个相同的模块；步骤S502包括：第一注意力子模块、第二注意力子模块和第三注意力子模块，分别对第一提取特征图、第二提取特征图和第三提取特征图进行处理，得到对应的带有注意力信息的第一注意力特征图、第二注意力特征图和第三注意力特征图。

具体而言，参照图7，第一注意力子模块对第一提取特征图进行处理，得到第一注意力特征图，包括：

S701、对第一提取特征图的高方向和宽方向进行全局平均池化，得到宽方向特征图和高方向特征图；

S702、将宽方向特征图和高方向特征图进行合并，得到合并特征图；

需要说明的是，先将宽方向特征图和高方向特征图转置到同一维度后，再采用concat函数进行合并。

S703、将合并特征图进行降维，得到降维后的合并特征图；

需要说明的是，采用1*1卷积、标准化(BatchNorm)、激活函数(ReLU激活函数)进行降维。

S704、将降维后的合并特征图进行分割，得到新的宽方向特征图和高方向特征图；

需要说明的是，采用split函数进行分割。

S705、将新的宽方向特征图和高方向特征图分别进行卷积，确定恢复到原本维度的宽方向特征图和恢复到原本维度的高方向特征图；

需要说明的是，先将新的宽方向特征图和高方向特征图进行转置后，再采用1*1卷积恢复维度。

S706、使用激活函数确定恢复到原本维度的宽方向特征图的第一注意力权重，以及恢复到原本维度的高方向特征图的第二注意力权重；

需要说明的是，激活函数使用的是Sigmoid激活函数。

S707、基于第一注意力权重和第二注意力权重，对第一提取特征图进行加权操作，获得带有注意力信息的第一注意力特征图。

在一些实施例中，特征提取金字塔模块，包括由六个特征层组成的PAN网络(PathAggregation Network，路径聚合网络)，具体而言，步骤S503包括：采用PAN网络，对第一注意力特征图、第二注意力特征图和第三注意力特征图进行特征融合，得到对大目标明确的第一融合特征图、对中目标明确的第二融合特征图以及对小目标明确的第三融合特征图。

在一些实施例中，特征检测头模块包括第一检测头子模块、第二检测头子模块和第三检测头子模块，具体而言，参照图8，步骤S504包括：

S801、第一检测头子模块、第二检测头子模块和第三检测头子模块分别对第一融合特征图、第二融合特征图和第三融合特征图中的花和荚进行识别框选，确定第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别和位置框信息；

需要说明的是，第一检测头子模块、第二检测头子模块和第三检测头子模块为三个相同的检测头子模块，均包括第一检测头和第二检测头，融合特征图在通过两个检测头检测之前需要经过卷积处理，第一检测头用于检测图像中花或和荚的类别信息，第二检测头用于检测图像中花和荚的位置框信息。

还需要说明的是，第一检测头为Cls，第二检测头为Reg；Cls预测该点可能的物体种类，可以用来判断存在花或荚，Cls的预测结果卷积通道数为2，预测值代表物体属于哪一个器官类别的概率；Reg能提取特征点的回归参数，Reg的预测结果卷积通道数为4，分别是预测框的中心点相较于该特征点的偏移情况和预测框的宽高相较于对数指数的参数，这一部分可以预测出花或荚的具体位置框。

S802、对第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别和位置框信息进行汇总，确定待识别植株图像中花和荚的类别和位置框信息。

需要说明的是，在待识别图像中将花和荚进行框选标记，标记结果如图9所示，在本实施例中，将第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别信息和位置框信息输出到汇总文件，汇总文件包含位置框的位置、花或荚的类别、花检测框个数和荚检测框个数等信息。

在一些实施例中，具体而言，参照图10，步骤S104包括：

S1001、基于待识别植株图像中花和荚的类别和位置框信息，确定目标植株花全生育期内每日花和荚的类别和位置框信息；

S1002、基于目标植株花全生育期内每日花和荚的类别和位置框信息，确定目标植株全生育期内的落花数、落荚数以及结荚数；

S1003、基于目标植株全生育期内的落花数、落荚数以及结荚数，确定目标植株的落花落荚率；

需要说明的是，大豆落花落荚是一个动态的过程，不是静态的，需要基于多次拍摄的时间序列图像才能获得目标植株的落花落荚率，根据目标植株的落花落荚率对目标植株的落花落荚表型进行调查。

还需要说明的是，对大豆植株的落花落荚表型进行调查需要对尽可能多的大豆植株落花落荚率进行追踪，以此更好反映大豆植株的生长状态；且对单个目标植株的落花落荚率进行调查，是一个动态的过程，不是静态的，需要基于多次拍摄的时间序列图像才能获得单个目标植株的落花落荚率。

还需要说明的是，计算落花落夹率率时，每天的落花数和落荚数的计数规则为：当前一天有花的位置，在今天这个位置即没有花也没有荚，则记作一个落花数；当前一天有荚的位置，在今天这个位置没有荚，则记作一个落荚数。

基于每天的落花数和落荚数，计算落花落荚表型过程为：将全生育期内每天的落花数进行累加得到总落花数，将全生育期内每天的落荚数进行累加得到总落荚数，最后一天的荚的数量为结荚数，落花落荚表型计算公式：落花落荚率＝落花落荚数/(落花落荚数+结荚数)，其中，落花落荚数＝总落花数+总落荚数。

为方便理解，通过表1具体展示如何计算落花落荚表型，表1落花落荚表型统计结果如下所示：

表1落花落荚表型统计结果

表1仅为展示统计计算方法，并不代表实际情况，在表1中，以10天为一个全生育周期，根据当前一天有花的位置，在今天这个位置即没有花也没有荚，则记作一个落花数，当前一天有荚的位置，在今天这个位置没有荚，则记作一个落荚数的计数规则，记录全生育周期除第一天外其他每天的落花数和落荚数；将每天的落花数加和得到总落花数为7，将每天的落荚数加和得到总落荚数为3，总落花数加上总落荚数得到总落花落荚数为10，最后一天的荚数5为结荚数，根据公式落花落荚率＝落花落荚数/(落花落荚数+结荚数)，得到落花落荚率10/(10+5)，即落花落荚表型。

以上对本发明所提供的一种大豆落花落荚表型调查方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种大豆落花落荚表型调查方法，其特征在于，包括：

控制机器人移动至目标植株位置；

控制机器人采集目标植株全生育期内的待识别植株图像；

基于训练完备的目标识别模型，对所述待识别植株图像中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息；

基于所述待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育周期内花和荚的掉落情况进行统计，得到目标植株的落花落荚表型；

所述训练完备的目标识别模型包括特征提取主干模块、注意力机制模块、特征提取金字塔模块和特征检测头模块；

所述基于训练完备的目标识别模型，对所述待识别植株图像中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息，包括：

基于特征提取主干模块对所述待识别植株图像进行特征提取，确定不同尺度的多个提取特征图；

基于所述注意力机制模块对所述多个提取特征图中的花和荚信息进行注意力侧重，确定带有注意力信息的多个注意力特征图；

基于特征提取金字塔模块对所述多个注意力特征图进行多尺度特征融合，确定具有多尺度信息的多个融合特征图；

基于特征检测头模块对所述多个融合特征图中的花和荚进行识别框选，确定待识别植株图像中花和荚的类别和位置框信息；

所述多个提取特征图包括第一提取特征图、第二提取特征图和第三提取特征图，所述注意力机制模块包括第一注意力子模块、第二注意力子模块和第三注意力子模块；

所述基于所述注意力机制模块对所述多个提取特征图中的花和荚信息进行注意力侧重，确定带有注意力信息的多个注意力特征图，包括：

基于所述第一注意力子模块、第二注意力子模块和第三注意力子模块，分别对所述第一提取特征图、所述第二提取特征图和所述第三提取特征图的花和荚信息进行注意力侧重，得到对应的带有注意力信息的第一注意力特征图、第二注意力特征图和第三注意力特征图；

其中，基于所述第一注意力子模块对所述第一提取特征图的花和荚信息进行注意力侧重，得到第一注意力特征图，包括：

对第一提取特征图的高方向和宽方向进行全局平均池化，得到宽方向特征图和高方向特征图；

将所述宽方向特征图和所述高方向特征图进行合并，得到合并特征图；

将所述合并特征图进行降维，得到降维后的合并特征图；

将所述降维后的合并特征图进行分割，得到新的宽方向特征图和高方向特征图；

将所述新的宽方向特征图和高方向特征图分别进行卷积，确定恢复到原本维度的宽方向特征图和恢复到原本维度的高方向特征图；

使用激活函数确定所述恢复到原本维度的宽方向特征图的第一注意力权重，以及所述恢复到原本维度的高方向特征图的第二注意力权重；

基于所述第一注意力权重和所述第二注意力权重，对所述第一提取特征图进行加权操作，获得带有注意力信息的第一注意力特征图。

2.根据权利要求1所述的一种大豆落花落荚表型调查方法，其特征在于，控制机器人移动至目标植株位置，包括：

基于田间环境信息和定位导航技术，建立田间导航电子地图；

获取目标植株任务信息；

基于所述目标植株任务信息，从所述田间导航电子地图中确定机器人的巡查路径；

基于所述巡查路径，控制机器人移动至目标植株位置。

3.根据权利要求1所述的一种大豆落花落荚表型调查方法，其特征在于，控制机器人采集目标植株全生育期内的待识别植株图像，包括：

确定机器人的最佳拍摄位置和最佳拍摄姿态；

基于所述机器人的最佳拍摄位置和最佳拍摄姿态，控制机器人每天定时采集目标植株全生育期内的待识别植株图像。

4.根据权利要求3所述的一种大豆落花落荚表型调查方法，其特征在于，确定机器人的最佳拍摄位置和最佳拍摄姿态，包括：

控制机器人以初始拍摄位置和初始拍摄姿态采集目标植株图像；

基于预设的特征匹配算法，提取所述目标植株图像的关键特征点，并确定所述目标植株图像的关键特征点与特征库里特征点的匹配程度；

基于所述匹配程度，调整机器人的拍摄位置和拍摄姿态，并控制机器人重新采集目标植株图像以及重新计算匹配程度，重复以上步骤若干次直至所述匹配程度最佳时，确定机器人的最佳拍摄位置和最佳拍摄姿态。

5.根据权利要求1所述的一种大豆落花落荚表型调查方法，其特征在于，基于特征提取主干模块对所述待识别植株图像进行特征提取，确定不同尺寸的多个提取特征图，包括：

将所述待识别植株图像依次经过CSPDarknet和SPPF结构进行特征提取，确定不同尺寸的多个提取特征图。

6.根据权利要求1所述的一种大豆落花落荚表型调查方法，其特征在于，基于特征提取金字塔模块对所述多个注意力特征图进行多尺度特征融合，确定具有多尺度信息的多个融合特征图，包括：

采用PAN网络，对所述多个注意力特征图进行特征融合，得到对大目标明确的第一融合特征图、对中目标明确的第二融合特征图以及对小目标明确的第三融合特征图。

7.根据权利要求1所述的一种大豆落花落荚表型调查方法，其特征在于，所述多个融合特征图包括第一融合特征图、第二融合特征图和第三融合特征图，所述特征检测头模块包括第一检测头子模块、第二检测头子模块和第三检测头子模块；

基于特征检测头模块对所述多个融合特征图中的花和荚进行识别框选，确定待识别植株图像中的类别和位置框信息，包括：

基于第一检测头子模块、第二检测头子模块和第三检测头子模块分别对所述第一融合特征图、第二融合特征图和第三融合特征图中的花和荚进行识别框选，确定第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别和位置框信息；

对所述第一融合特征图、第二融合特征图和第三融合特征图中花和荚的类别和位置框信息进行汇总，确定待识别植株图像中花和荚的类别和位置框信息。

8.根据权利要求1所述的一种大豆落花落荚表型调查方法，其特征在于，基于所述待识别植株图像中花和荚的类别和位置框信息，对目标植株全生育周期内花和荚的掉落情况进行统计，得到目标植株的落花落荚表型，包括：

基于所述待识别植株图像中花和荚的类别和位置框信息，确定目标植株花全生育期内每日花和荚的类别和位置框信息；

基于所述目标植株花全生育期内每日花和荚的类别和位置框信息，确定目标植株全生育期内的落花数、落荚数以及结荚数；

基于所述目标植株全生育期内的落花数、落荚数以及结荚数，确定目标植株的落花落荚率。