CN117876872A - 玉米单产的多视角智能观测方法、装置和设备 - Google Patents

Abstract

本公开提供了一种玉米单产的多视角智能观测方法、装置、设备、介质和程序产品，属于粮食产量预测技术领域。本玉米单产的多视角智能观测方法包括：获取目标玉米地的二维图像和三维点云；根据二维图像和三维点云，得到目标玉米地的面积、目标玉米地内玉米穗的总穗数和目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；获取目标玉米穗群内裸露玉米穗的可见光图像和红外图像；根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重；以及基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产。本公开还提供了一种玉米单产的多视角智能观测装置、设备、存储介质和程序产品。

Description

玉米单产的多视角智能观测方法、装置和设备

技术领域

本公开涉及粮食产量预测技术领域，更具体地，涉及一种玉米单产的多视角智能观测方法、装置、设备、介质和程序产品。

背景技术

玉米是主要的粮食作物之一，也是重要的饲料和工业原料。全球农业种植区高温、旱涝等气象灾害发生频率增加，强度增强，玉米的单产更易受到全球气候变化的影响而波动。传统的玉米单产观测方法需要对玉米穗进行收获、烘干、测水分、称重，费时费力。

相关技术中有采用无损技术观测单产的方法。但是由于玉米种植存在时空差异，不同地区的玉米受气候、水资源、地形等多种因素的影响，生长状态和生长水平会存在差异。此外，不同生长阶段的生物物理胁迫也会对最终产量产生不同程度的影响。因此，相关技术中，采用单一的无损技术观测单产的方法难以有效反映和代表作物的年际和空间生长差异，估测结果精度较差。

发明内容

鉴于上述问题，本公开提供了玉米单产的多视角智能观测方法、装置、设备、介质和程序产品。

本公开的第一个方面提供了一种玉米单产的多视角智能观测方法，包括：

获取目标玉米地的二维图像和三维点云；

根据二维图像和三维点云，得到目标玉米地的面积、目标玉米地内玉米穗的总穗数和目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；

获取目标玉米穗群内裸露玉米穗的可见光图像和红外图像；

根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重；以及

基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产，其中，玉米单产用于表征目标玉米地中单位面积的玉米产量。

根据本公开的实施例，根据二维图像和三维点云，得到目标玉米地内玉米穗的总穗数包括：

根据三维点云，得到目标玉米地内的总植株数和目标玉米穗群的局部植株数；

根据三维点云和二维图像，得到目标玉米穗群内玉米穗的穗数；

根据局部植株数、目标玉米穗群内玉米穗的穗数和总植株数，计算得到目标玉米地内玉米穗的总穗数。

根据本公开的实施例，根据三维点云和二维图像，得到目标玉米穗群内玉米穗的穗数包括：

根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框；

对多个玉米穗各自的检测框中的穗数进行计数，得到目标玉米穗群内玉米穗的穗数。

根据本公开的实施例，根据二维图像和三维点云，得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数包括：

根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框；

将目标玉米穗群内的多个玉米穗各自的检测框映射到三维点云，得到第一玉米穗三维点云；

对第一玉米穗三维点云依次采用最远点采样算法进行非均匀点云逐级降采样和基于反距离权重插值进行点云上采样，得到多个点云特征；

采用跨水平跳跃链接分级传播策略将多个点云特征进行拼接，得到完全点云特征；

将完全点云特征进行点云分割，得到全局点云特征；

将全局点云特征输入全连接网络，进行点云分类，得到类别为玉米穗的第二玉米穗三维点云；

根据第二玉米穗三维点云，得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数。

根据本公开的实施例，根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框包括：

将目标玉米穗群的三维点云在垂直方向进行转换，得到深度图像；

对二维图像与深度图像分别进行特征提取，得到提取后的多层特征；

基于多层特征，使用路径聚合网络构建多层特征金字塔并进行解耦，得到目标玉米穗群内的多个玉米穗各自的检测框。

根据本公开的实施例，根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重包括：

根据红外图像和可见光图像，得到多个裸露玉米穗穗粒各自的水分含量；

根据可见光图像，得到多个裸露玉米穗穗粒各自的尺寸；

根据裸露玉米穗穗粒各自的水分含量和裸露玉米穗穗粒各自的尺寸，得到多个裸露玉米穗各自的单穗粒重；

基于多个裸露玉米穗各自的单穗几何参数和多个裸露玉米穗各自的单穗粒重，建立单穗几何参数与单穗粒重之间的关系模型；

基于关系模型和目标玉米穗群的多个玉米穗各自的单穗几何参数，得到目标玉米穗群的多个玉米穗各自的单穗粒重；

根据目标玉米穗群的多个玉米穗各自的单穗粒重，得到目标玉米地内玉米穗的平均单穗粒重。

根据本公开的实施例，根据可见光图像，得到多个裸露玉米穗穗粒各自的尺寸包括：

将可见光图像依次进行背景移除、色彩空间变换、边缘增强和自适应阈值分割，得到多个裸露玉米穗穗粒各自的尺寸。

根据本公开的实施例，根据二维图像和三维点云，得到目标玉米地的面积包括：

根据三维点云，确定二维图像中目标玉米地的种植范围，其中，二维图像为正射图像；

根据目标玉米地的种植范围，确定目标玉米地的面积。

本公开的第二方面提供了一种玉米单产的多视角智能观测装置，包括：

第一获取模块，用于获取目标玉米地的二维图像和三维点云；

第一获得模块，用于根据二维图像和三维点云，得到目标玉米地的面积、目标玉米地内玉米穗的总穗数和目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；

第二获取模块，用于获取目标玉米穗群内裸露玉米穗的可见光图像和红外图像；

第二获得模块，用于根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重；以及

计算模块，用于基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产，其中，玉米单产用于表征目标玉米地中单位面积的玉米产量。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述玉米单产的多视角智能观测方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述玉米单产的多视角智能观测方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述玉米单产的多视角智能观测方法。

根据本公开的实施例，基于二维图像和三维点云，得到目标玉米地的面积、总穗数和单穗几何参数；根据可见光图像、红外图像和单穗几何参数，得到平均单穗粒重；基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产；通过现场多视角无损观测的数据计算出玉米的单产，提高了玉米单产观测的效率和精度。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的玉米单产的多视角智能观测方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的玉米单产的多视角智能观测方法的流程图；

图3示意性示出了根据本公开实施例的得到目标玉米地内玉米的总穗数的流程图；

图4示意性示出了根据本公开实施例的得到目标玉米穗群内玉米穗的穗数的流程图；

图5示意性示出了根据本公开实施例的得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数的流程图；

图6示意性示出了根据本公开实施例的得到目标玉米穗群内的多个玉米穗各自的检测框的流程图；

图7示意性示出了根据本公开实施例的得到目标玉米地的内玉米穗的平均单穗粒重的流程图；

图8示意性示出了根据本公开实施例的得到玉米穗的单穗粒数和玉米穗穗粒各自的尺寸的流程图；

图9示意性示出了根据本公开实施例的玉米单产的多视角智能观测装置的结构框图；以及

图10示意性示出了根据本公开实施例的适于实现玉米单产的多视角智能观测方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在实际工作中发现，玉米种植存在时空差异，不同地区的玉米受气候、水资源、地形等多种因素的影响，生长状态和生长水平会存在差异。因此，相关技术中，采用单一的无损技术观测单产的方法难以有效反映和代表作物的年际和空间生长差异，估测结果精度较差。

针对上述问题，本公开的实施例提供了一种玉米单产的多视角智能观测方法，包括：获取目标玉米地的二维图像和三维点云；根据二维图像和三维点云，得到目标玉米地的面积、目标玉米地内玉米穗的总穗数和目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；获取目标玉米穗群内裸露玉米穗的可见光图像和红外图像；根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重；以及基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产，其中，玉米单产用于表征目标玉米地中单位面积的玉米产量。

图1示意性示出了根据本公开实施例的玉米单产的多视角智能观测方法的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104、网络105和服务器106。网络105用以在第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104和服务器106之间提供通信链路的介质。网络105可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104通过网络105与服务器106交互，以接收或发送消息等。其中第一终端设备101用于采集目标玉米地的二维图像，第二终端设备102用于采集目标玉米地的三维点云，第三终端设备103用于采集目标玉米穗群内裸露玉米穗的可见光图像，第四终端设备104用于采集目标玉米穗群内裸露玉米穗的红外图像。具体地，第一终端设备101可以是相机、摄像机、手机等，第二终端设备102可以是激光雷达、激光扫描仪、深度相机、3D扫描仪等，第三终端设备103可以是相机、摄像机、手机等，第四终端设备104可以是红外相机、红外成像仪、红外摄像机等。其中第二终端设备101和第三终端设备103可以是同一设备，也可以是不同的设备。需要说明的是，本公开实施例中第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104可以集成到同一装置中，也可以分布在不同的装置上。

服务器106可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104所采集的数据提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的二维图像、三维点云、可见光图像和红外图像数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本公开实施例所提供的玉米单产的多视角智能观测方法一般可以由服务器106执行。相应地，本公开实施例所提供的玉米单产的多视角智能观测装置一般可以设置于服务器106中。本公开实施例所提供的玉米单产的多视角智能观测方法也可以由不同于服务器106且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器106通信的服务器或服务器集群执行。相应地，本公开实施例所提供的玉米单产的多视角智能观测装置也可以设置于不同于服务器106且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器106通信的服务器或服务器集群中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图8对公开实施例的玉米单产的多视角智能观测方法进行详细描述。

图2示意性示出了根据本公开实施例的玉米单产的多视角智能观测方法的流程图。

如图2所示，该实施例的玉米单产的多视角智能观测方法200包括操作S210～操作S250。

在操作S210，获取目标玉米地的二维图像和三维点云。

在操作S220，根据二维图像和三维点云，得到目标玉米地的面积、目标玉米地内玉米穗的总穗数和目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数。

在操作S230，获取目标玉米穗群内裸露玉米穗的可见光图像和红外图像。

在操作S240，根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重。

在操作S250，基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产，其中，玉米单产用于表征目标玉米地中单位面积的玉米产量。

根据本公开的实施例，目标玉米地可以是任一待计算玉米单产的玉米地。

根据本公开的实施例，在操作S210，可以通过相机、摄像机、手机等设备采集目标玉米地的二维图像；可以通过激光雷达、激光扫描仪、深度相机、3D扫描仪等设备采集目标玉米地的三维点云。

根据本公开的实施例，在操作S210，可以获取不同玉米生育期的目标玉米地的二维图像和三维点云。

根据本公开的实施例，在操作S220，目标玉米地内玉米穗的总穗数是目标玉米地内玉米穗数量的总和。需要说明的是，由于有些玉米植株没有玉米穗，而有些玉米植株生长有双穗或多穗，因此玉米穗的总穗数与玉米植株数并不是一一对应的。

根据本公开的实施例，在操作S220，目标玉米地内目标玉米穗群可以是目标玉米地内局部区域的玉米穗群，例如可以是目标玉米地最外一行的玉米穗群。单穗几何参数可以包括穗长度、穗直径、穗表面积、柱形度、穗体积等，其中柱形度为穗表面积除以穗最小外接圆柱形面积得到的商。

根据本公开的实施例，在操作S220，可以根据目标玉米地内目标玉米穗群的三维点云和二维图像，得到目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数。例如可以根据目标玉米地最外一行的三维点云和二维图像，得到最外一行的多个玉米穗各自的单穗几何参数。

根据本公开的实施例，在操作S230，裸露玉米穗可以是去皮后的玉米穗。目标玉米穗群内裸露玉米穗可以是目标玉米地内局部区域中去皮后的玉米穗，该去皮后的玉米穗可以是最外一行一定比例的玉米穗。例如，目标玉米穗群内裸露玉米穗可以是目标玉米地最外一行中随机选取30％的玉米穗去皮后的玉米穗。

根据本公开的实施例，在操作S230，可以通过相机、摄像机、手机等设备采集可见光图像；可以通过红外相机、红外成像仪、红外摄像机等采集红外图像。

根据本公开的实施例，在操作S240，目标玉米地的内玉米穗的平均单穗粒重可以是目标玉米地内玉米穗的单穗粒重的平均值。需要说明的是，玉米穗的平均单穗粒重是单穗穗粒去除水分后的重量，是单穗穗粒的干重。

根据本公开的实施例，在操作S250，可以根据公式(1)计算得到玉米单产。

根据本公开的实施例，基于二维图像和三维点云，得到目标玉米地的面积、总穗数和单穗几何参数；根据可见光图像、红外图像和单穗几何参数，得到平均单穗粒重；基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产；通过现场多视角无损观测的数据计算出玉米的单产，提高了玉米单产观测的效率和精度。

图3示意性示出了根据本公开实施例的得到目标玉米地内玉米的总穗数的流程图。

如图3所示，该实施例的得到目标玉米地内玉米的总穗数的方法，包括操作S310～操作S330。

在操作S310，根据三维点云，得到目标玉米地内的总植株数和目标玉米穗群的局部植株数。

在操作S320，根据三维点云和二维图像，得到目标玉米穗群内玉米穗的穗数。

在操作S330，根据局部植株数、目标玉米穗群内玉米穗的穗数和总植株数，计算得到目标玉米地内玉米穗的总穗数。

根据本公开的实施例，在操作S310，可以根据任一玉米生长阶段的目标玉米地的三维点云，得到目标玉米地内的总植株数和目标玉米穗群的局部植株数。例如，可以根据玉米苗期、穗期或花粒期的目标玉米地的三维点云，得到目标玉米地内的总植株数和目标玉米穗群的局部植株数。具体地，例如可以将苗期的三维点云在水平方向上进行点云密度的聚类分析，然后进行三维点云的局部最大值滤波，获取每个植株的中心位置，根据每个植株中心点将三维点云进行植株分割，统计局部植株数和总植株数。

根据本公开的实施例，在操作S310，目标玉米穗群的局部植株数可以是目标玉米地的最外一行的玉米植株数，也可以是目标玉米地的其他区域的玉米植株数。

根据本公开的实施例，在操作S320，可以根据玉米成熟期的目标玉米地的三维点云和二维图像，得到目标玉米穗群内玉米穗的穗数。

根据本公开的实施例，在操作S330，可以通过局部植株数和目标玉米穗群内玉米穗的穗数计算目标玉米穗群的双穗率，再根据双穗率和总植株数计算目标玉米地内玉米的总穗数。具体可通过如下公式(2)计算得到目标玉米地内玉米的总穗数。

根据本公开的实施例，将三维点云和二维图像结合得到目标玉米穗群内玉米穗的穗数，再根据局部植株数、目标玉米穗群内玉米穗的穗数和总植株数计算得到总穗数，其计算结果更加准确，提高了玉米单产观测的精度。

图4示意性示出了根据本公开实施例的得到目标玉米穗群内玉米穗的穗数的流程图。

如图4所示，该实施例的得到目标玉米穗群内玉米穗的穗数的方法，包括操作S410和操作SS420。

在操作S410，根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框。

在操作S420，对多个玉米穗各自的检测框中的穗数进行计数，得到目标玉米穗群内玉米穗的穗数。

根据本公开的实施例，通过对多个玉米穗各自的检测框中的穗数进行计数，得到目标玉米穗群内玉米穗的穗数，操作更加便捷，计数结果更加准确。

图5示意性示出了根据本公开实施例的得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数的流程图。

如图5所示，该实施例的得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数的方法，包括操作S510～操作S570。

在操作S510，根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框。

在操作S520，将目标玉米穗群内的多个玉米穗各自的检测框映射到三维点云，得到第一玉米穗三维点云。

在操作S530，对第一玉米穗三维点云依次采用最远点采样算法进行非均匀点云逐级降采样和基于反距离权重插值进行点云上采样，得到多个点云特征。

在操作S540，采用跨水平跳跃链接分级传播策略将多个点云特征进行拼接，得到完全点云特征。

在操作S550，将完全点云特征进行点云分割，得到全局点云特征。

在操作S560，将全局点云特征输入全连接网络，进行点云分类，得到类别为玉米穗的第二玉米穗三维点云。

在操作S570，根据第二玉米穗三维点云，得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数。

根据本公开的实施例，在操作S570，根据第二玉米穗三维点云，得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数可以包括：对第二玉米穗三维点云进行异常点滤波；获取玉米穗的点云外接圆柱形，计算出圆柱形的长度、直径。将玉米穗点云自底到顶均匀分为若干层，计算每层的穗直径；根据每层的几何形状和参数计算每层的穗体积，累加求和之后即为玉米穗的体积。

根据本公开的实施例，对检测框内玉米穗的三维点云依次采用最远点采样算法进行非均匀点云逐级降采样和基于反距离权重插值进行点云上采样，可以减少计算量，得到更多、更准确的点云特征；采用跨水平跳跃链接分级传播策略将点云特征进行拼接，再获取多个点云各自的鉴别性特征，进行点云分割，可进一步提高单穗几何参数的精度。

图6示意性示出了根据本公开实施例的得到目标玉米穗群内的多个玉米穗各自的检测框的流程图。

如图6所示，该实施例的得到目标玉米穗群内的多个玉米穗各自的检测框的方法，包括操作S610～操作S630。

在操作S610，将目标玉米穗群的三维点云在垂直方向进行转换，得到深度图像。

在操作S620，对二维图像与深度图像分别进行特征提取，得到提取后的多层特征。

在操作S630，基于多层特征，使用路径聚合网络构建多层特征金字塔并进行解耦，得到目标玉米穗群内的多个玉米穗各自的检测框。

根据本公开的实施例，在操作S610，可以将玉米成熟期的目标玉米地的三维点云在垂直方向进行转换，得到深度图像。

根据本公开的实施例，在操作S620，可以使用基于残差连接和密集连接相结合的卷积神经网络对二维图像与深度图像分别进行特征提取，得到提取后的多层特征。

根据本公开的实施例，在操作S630，多个玉米穗各自的检测框可以是深度图像中多个玉米穗各自的检测框，也可以是二维图像中多个玉米穗各自的检测框。

根据本公开的实施例，可以利用解耦头对特征金字塔进行解耦，得到目标玉米穗群内的多个玉米穗各自的检测框。解耦头可以包括独立的分类预测头、定位预测头、角度预测头。可以利用分类预测头对特征金字塔进行目标类型预测，得到检测框类型。可以利用定位预测头对特征金字塔进行目标位置和大小预测，得到检测框的中心位置和大小。可以利用角度预测头对特征金字塔进行目标角度预测，得到检测框角度，其中，角度预测头由信道关注层和卷积层组成。

根据本公开的实施例，将三维点云转换得到深度图像，通过深度图像和二维图像结合进行玉米穗检测，提高了的检测精度。

根据本公开的实施例，根据二维图像和三维点云，得到目标玉米地的面积包括：根据三维点云，确定二维图像中目标玉米地的种植范围，其中，二维图像为正射图像；根据目标玉米地的种植范围，确定目标玉米地的面积。

根据本公开的实施例，得到目标玉米地的面积的方法还可以包括：设置需要观测的目标玉米地边界，规划观测的路线、位置和角度；沿着规划路线在不同位置以不同角度同步采集目标玉米地的可见光图像和激光点云，直到整个目标玉米样地全部被观测到；对定位数据、惯导数据、可见光图像和激光点云进行处理，获得目标玉米地的三维点云和正射图像；对三维点云进行去噪、地面分割，得到归一化的三维点云。

根据本公开的实施例，通过将二维图像和三维点云结合，得到的目标玉米地面积更加精确。

图7示意性示出了根据本公开实施例的得到目标玉米地的内玉米穗的平均单穗粒重的流程图。

如图7所示，该实施例的得到目标玉米地的内玉米穗的平均单穗粒重的方法，包括操作S710～操作S760。

在操作S710，根据红外图像和可见光图像，得到多个裸露玉米穗穗粒各自的水分含量；

在操作S720，根据可见光图像，得到多个裸露玉米穗穗粒各自的尺寸；

在操作S730，根据裸露玉米穗穗粒各自的水分含量和裸露玉米穗穗粒各自的尺寸，得到多个裸露玉米穗各自的单穗粒重。

在操作740，基于多个裸露玉米穗各自的单穗几何参数和多个裸露玉米穗各自的单穗粒重，建立单穗几何参数与单穗粒重之间的关系模型。

在操作S750，基于关系模型和目标玉米穗群的多个玉米穗各自的单穗几何参数，得到目标玉米穗群的多个玉米穗各自的单穗粒重。

在操作S760，根据目标玉米穗群的多个玉米穗各自的单穗粒重，得到目标玉米地内玉米穗的平均单穗粒重。

根据本公开的实施例，在操作S710，可以将红外图像与可见光图像进行配准，利用可见光图像穗粒分割的结果对红外图像进行分割，利用红外图像中各个穗粒的平均反射率以及水分含量与反射率的关系模型计算出各个穗粒的平均水分含量。其中，红外图像可以是短波红外图像。

根据本公开的实施例，在操作S730，可以通过玉米穗所有穗粒的重量加和计算单穗粒重。例如可以通过如下公式(3)计算得到单穗粒重，其中n为玉米穗各自的穗粒数。

根据本公开的实施例，在操作S740，可以获取相关性最大的三个单穗几何参数和和裸露玉米穗各自的单穗粒重，建立单穗几何参数与单穗粒重之间的关系模型。

根据本公开的实施例，可以根据关系模型和单穗几何参数，得到目标玉米穗群的多个玉米穗各自的单穗粒重；再根据目标玉米穗群的多个玉米穗各自的单穗粒重，计算得到目标玉米穗群的多个玉米穗的平均单穗粒重；以目标玉米穗群的多个玉米穗的平均单穗粒重表征目标玉米地内玉米穗的平均单穗粒重，进一步提高了平均单穗粒重的计算效率和精度。

根据本公开的实施例，根据可见光图像，得到多个裸露玉米穗穗粒各自的尺寸包括：

将可见光图像依次进行背景移除、色彩空间变换、边缘增强和自适应阈值分割，得到多个裸露玉米穗穗粒各自的尺寸。

根据本公开的另一实施例，得到玉米穗的单穗粒数和玉米穗穗粒各自的尺寸包括：将可见光图像依次进行背景移除、色彩空间变换、边缘增强和自适应阈值分割，得到分离穗粒后的图像和穗粒各自的尺寸；对分离穗粒后的图像进行腐蚀运算，计算腐蚀后的穗粒质心，对穗粒质心进行计数，得到单穗粒数。

图8示意性示出了根据本公开实施例的得到玉米穗的单穗粒数和玉米穗穗粒各自的尺寸的流程图。

如图8所示，该实施例的得到玉米穗的单穗粒数和玉米穗穗粒各自的尺寸，包括操作S810～操作S850。

在操作S810，利用移动平均算法对可见光图像进行处理，对处理结果进行阈值分割，分割出的背景部分变为黑色。

在操作S820，对背景为黑色的玉米穗图片进行色彩变换，由RGB空间变换到Lab空间。

在操作S830，采用颜色去卷积算法来扩大玉米穗的颜色梯度，以增强玉米粒的边缘。

在操作S840，采用自适应阈值方法来补偿照明或反射的不均匀性，以分离玉米粒，得到分离穗粒后的图像和玉米穗穗粒各自的尺寸。

在操作S850，对玉米粒进行腐蚀运算，计算腐蚀后的穗粒质心，对质心进行计数，得到单穗粒数。

基于上述玉米单产的多视角智能观测方法，本公开还提供了一种玉米单产的多视角智能观测装置。以下将结合图9对该装置进行详细描述。

图9示意性示出了根据本公开实施例的玉米单产的多视角智能观测装置的结构框图。

如图9所示，该实施例的玉米单产的多视角智能观测装置900包括第一获取模块910、第一获得模块920、第二获取模块930、第二获得模块940和计算模块950。

第一获取模块910，用于获取目标玉米地的二维图像和三维点云。在一实施例中，第一获取模块91 0可以用于执行前文描述的操作S210，在此不再赘述。

第一获得模块920，用于根据二维图像和三维点云，得到目标玉米地的面积、目标玉米地内玉米穗的总穗数和目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数。在一实施例中，第一获得模块920可以用于执行前文描述的操作S220，在此不再赘述。

第二获取模块930，用于获取目标玉米穗群内裸露玉米穗的可见光图像和红外图像。在一实施例中，第二获取模块930可以用于执行前文描述的操作S230，在此不再赘述。

第二获得模块940，用于根据可见光图像、红外图像和多个单穗几何参数，得到目标玉米地的内玉米穗的平均单穗粒重。在一实施例中，第二获得模块940可以用于执行前文描述的操作S240，在此不再赘述。

计算模块950，用于基于目标玉米地的面积、总穗数和平均单穗粒重，计算得到玉米单产，其中，玉米单产用于表征目标玉米地中单位面积的玉米产量。在一实施例中，计算模块950可以用于执行前文描述的操作S250，在此不再赘述。

根据本公开的实施例，第一获得模块920包括第一获得子模块、第二获得子模块和第三获得子模块。其中，第一获得子模块用于根据二维图像和三维点云，得到目标玉米地内玉米穗的总穗数；第二获得子模块用于根据二维图像和三维点云，得到目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；第三获得子模块用于根据二维图像和三维点云，得到目标玉米地的面积。

根据本公开的实施例，第一获得子模块包括第一获得单元、第二获得单元和计算单元。其中，第一获得单元用于根据三维点云，得到目标玉米地内的总植株数和目标玉米穗群的局部植株数；第二获得单元用于根据三维点云和二维图像，得到目标玉米穗群内玉米穗的穗数；计算单元用于根据局部植株数、目标玉米穗群内玉米穗的穗数和总植株数，计算得到目标玉米地内玉米穗的总穗数。

根据本公开的实施例，第二获得单元包括获得子单元和计数子单元。其中，获得子单元用于根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框；计数子单元用于对多个玉米穗各自的检测框中的穗数进行计数，得到目标玉米穗群内玉米穗的穗数。

根据本公开的实施例，第二获得子模块包括第三获得单元、映射单元、采样单元、拼接单元、分割单元、分类单元和第四获得单元。其中，第三获得单元用于根据三维点云和二维图像，得到目标玉米穗群内的多个玉米穗各自的检测框；映射单元用于将目标玉米穗群内的多个玉米穗各自的检测框映射到三维点云，得到第一玉米穗三维点云；采样单元用于对第一玉米穗三维点云依次采用最远点采样算法进行非均匀点云逐级降采样和基于反距离权重插值进行点云上采样，得到多个点云特征；拼接单元用于采用跨水平跳跃链接分级传播策略将多个点云特征进行拼接，得到完全点云特征；分割单元用于将完全点云特征进行点云分割，得到全局点云特征；分类单元用于将全局点云特征输入全连接网络，进行点云分类，得到类别为玉米穗的第二玉米穗三维点云；第四获得单元用于根据第二玉米穗三维点云，得到目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数。

根据本公开的实施例，第三获得单元或获得子单元还用于将目标玉米穗群的三维点云在垂直方向进行转换，得到深度图像；对二维图像与深度图像分别进行特征提取，得到提取后的多层特征；基于多层特征，使用路径聚合网络构建多层特征金字塔并进行解耦，得到目标玉米穗群内的多个玉米穗各自的检测框。

根据本公开的实施例，第三获得子模块包括第一确定单元和第二确定单元。其中，第一确定单元用于根据三维点云，确定二维图像中目标玉米地的种植范围，其中，二维图像为正射图像；第二确定单元用于根据目标玉米地的种植范围，确定目标玉米地的面积。

根据本公开的实施例，第二获得模块940包括第四获得子模块、第五获得子模块、第六获得子模块、建立子模块、第七获得子模块、第八获得子模块。其中，第四获得子模块根据红外图像和可见光图像，得到多个裸露玉米穗穗粒各自的水分含量；第五获得子模块用于根据可见光图像，得到多个裸露玉米穗穗粒各自的尺寸；第六获得子模块用于根据裸露玉米穗穗粒各自的水分含量和裸露玉米穗穗粒各自的尺寸，得到多个裸露玉米穗各自的单穗粒重；建立子模块用于基于多个裸露玉米穗各自的单穗几何参数和多个裸露玉米穗各自的单穗粒重，建立单穗几何参数与单穗粒重之间的关系模型；第七获得子模块用于基于关系模型和目标玉米穗群的多个玉米穗各自的单穗几何参数，得到目标玉米穗群的多个玉米穗各自的单穗粒重；第八获得子模块用于根据目标玉米穗群的多个玉米穗各自的单穗粒重，得到目标玉米地内玉米穗的平均单穗粒重。

根据本公开的实施例，第五获得子模块包括第五获得单元。其中第五获得单元用于将可见光图像依次进行背景移除、色彩空间变换、边缘增强和自适应阈值分割，得到多个裸露玉米穗穗粒各自的尺寸。

根据本公开的实施例，第一获取模块910、第一获得模块920、第二获取模块930、第二获得模块940和计算模块950中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块910、第一获得模块920、第二获取模块930、第二获得模块940和计算模块950中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块910、第一获得模块920、第二获取模块930、第二获得模块940和计算模块950中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本公开实施例的适于实现玉米单产的多视角智能观测方法的电子设备的方框图。

如图10所示，根据本公开实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，上述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在上述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的玉米单产的多视角智能观测方法。

在该计算机程序被处理器1001执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种玉米单产的多视角智能观测方法，包括：

获取目标玉米地的二维图像和三维点云；

根据所述二维图像和所述三维点云，得到所述目标玉米地的面积、所述目标玉米地内玉米穗的总穗数和所述目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；

获取所述目标玉米穗群内裸露玉米穗的可见光图像和红外图像；

根据所述可见光图像、所述红外图像和多个所述单穗几何参数，得到所述目标玉米地的内玉米穗的平均单穗粒重；以及

基于所述目标玉米地的面积、所述总穗数和所述平均单穗粒重，计算得到所述玉米单产，其中，所述玉米单产用于表征所述目标玉米地中单位面积的玉米产量。

2.根据权利要求1所述的方法，其中，所述根据所述二维图像和所述三维点云，得到所述目标玉米地内玉米穗的总穗数包括：

根据所述三维点云，得到所述目标玉米地内的总植株数和所述目标玉米穗群的局部植株数；

根据所述三维点云和所述二维图像，得到所述目标玉米穗群内玉米穗的穗数；

根据所述局部植株数、所述目标玉米穗群内玉米穗的穗数和所述总植株数，计算得到所述目标玉米地内玉米穗的总穗数。

3.根据权利要求2所述的方法，其中，所述根据所述三维点云和所述二维图像，得到所述目标玉米穗群内玉米穗的穗数包括：

根据所述三维点云和所述二维图像，得到所述目标玉米穗群内的多个玉米穗各自的检测框；

对所述多个玉米穗各自的检测框中的穗数进行计数，得到所述目标玉米穗群内玉米穗的穗数。

4.根据权利要求1所述的方法，其中，所述根据所述二维图像和所述三维点云，得到所述目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数包括：

根据所述三维点云和所述二维图像，得到所述目标玉米穗群内的多个玉米穗各自的检测框；

将所述目标玉米穗群内的多个玉米穗各自的检测框映射到所述三维点云，得到第一玉米穗三维点云；

对所述第一玉米穗三维点云依次采用最远点采样算法进行非均匀点云逐级降采样和基于反距离权重插值进行点云上采样，得到多个点云特征；

采用跨水平跳跃链接分级传播策略将所述多个点云特征进行拼接，得到完全点云特征；

将所述完全点云特征进行点云分割，得到全局点云特征；

将所述全局点云特征输入全连接网络，进行点云分类，得到类别为玉米穗的第二玉米穗三维点云；

根据所述第二玉米穗三维点云，得到所述目标玉米地内目标玉米穗群内多个玉米穗各自的单穗几何参数。

5.根据权利要求3或4所述的方法，其中，所述根据所述三维点云和所述二维图像，得到所述目标玉米穗群内的多个玉米穗各自的检测框包括：

将所述目标玉米穗群的三维点云在垂直方向进行转换，得到深度图像；

对所述二维图像与所述深度图像分别进行特征提取，得到提取后的多层特征；

基于所述多层特征，使用路径聚合网络构建多层特征金字塔并进行解耦，得到所述目标玉米穗群内的多个玉米穗各自的检测框。

6.根据权利要求1所述的方法，其中，所述根据所述可见光图像、所述红外图像和多个所述单穗几何参数，得到所述目标玉米地的内玉米穗的平均单穗粒重包括：

根据所述红外图像和所述可见光图像，得到多个所述裸露玉米穗穗粒各自的水分含量；

根据所述可见光图像，得到多个所述裸露玉米穗穗粒各自的尺寸；

根据所述裸露玉米穗穗粒各自的水分含量和所述裸露玉米穗穗粒各自的尺寸，得到多个所述裸露玉米穗各自的单穗粒重；

基于多个所述裸露玉米穗各自的单穗几何参数和多个所述裸露玉米穗各自的单穗粒重，建立所述单穗几何参数与所述单穗粒重之间的关系模型；

基于所述关系模型和所述目标玉米穗群的多个玉米穗各自的单穗几何参数，得到所述目标玉米穗群的多个玉米穗各自的单穗粒重；

根据所述目标玉米穗群的多个玉米穗各自的单穗粒重，得到所述目标玉米地内玉米穗的平均单穗粒重。

7.根据权利要求6所述的方法，其中，所述根据所述可见光图像，得到多个所述裸露玉米穗穗粒各自的尺寸包括：

将所述可见光图像依次进行背景移除、色彩空间变换、边缘增强和自适应阈值分割，得到多个所述裸露玉米穗穗粒各自的尺寸。

8.根据权利要求1所述的方法，其中，根据所述二维图像和所述三维点云，得到所述目标玉米地的面积包括：

根据所述三维点云，确定所述二维图像中所述目标玉米地的种植范围，其中，所述二维图像为正射图像；

根据所述目标玉米地的种植范围，确定所述目标玉米地的面积。

9.一种玉米单产的多视角智能观测装置，包括：

第一获取模块，用于获取目标玉米地的二维图像和三维点云；

第一获得模块，用于根据所述二维图像和所述三维点云，得到所述目标玉米地的面积、所述目标玉米地内玉米穗的总穗数和所述目标玉米地内目标玉米穗群的多个玉米穗各自的单穗几何参数；

第二获取模块，用于获取所述目标玉米穗群内裸露玉米穗的可见光图像和红外图像；

第二获得模块，用于根据所述可见光图像、所述红外图像和多个所述单穗几何参数，得到所述目标玉米地的内玉米穗的平均单穗粒重；以及

计算模块，用于基于所述目标玉米地的面积、所述总穗数和所述平均单穗粒重，计算得到所述玉米单产，其中，所述玉米单产用于表征所述目标玉米地中单位面积的玉米产量。

10.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。