CN114708324A - 一种缺苗检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请提出一种缺苗检测方法、装置、存储介质及电子设备，对当前帧图像进行处理，以确定当前帧图像中的当前疑似缺苗位置；其中，当前帧图像显示有当前目标区域，当前目标区域包含在采集当前帧图像所在的位置之前的已插苗区域；基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。相对于仅参考单张图片进行判断是否缺苗，本实施例中结合当前帧图像和历史帧图像进行综合判断，降低误识别的可能性，提升了缺苗位置识别的准确率。

Description

一种缺苗检测方法、装置、存储介质及电子设备

技术领域

本申请涉及农业机械领域，具体而言，涉及一种缺苗检测方法、装置、存储介质及电子设备。

背景技术

随着科技的发展和进步，机械化农业成为了当下热门的领域。机械化农业需要依赖与机械化工具，例如播种机、插秧机、收割机以及灌溉机等等。机械化工具能在降低人力成本的基础上，极大地提升生产力，对于农业科技的进步有着极其重要的作用。

以机械化工具中的插秧机为例，插秧机的工作效率高，插苗速度快。即使在很短的一段时间内插秧机未正常工作时，均会对插苗效果造成很大的影响。所以需要对插秧机的工作状态进行监控，当出现缺苗时，及时发现，避免出现大规模缺苗事故的发生。因此，如何高效快速地发现缺苗位置，成为了本领域技术人员亟待解决的难题。

发明内容

本申请的目的在于提供一种缺苗检测方法、装置、存储介质及电子设备，以至少部分改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种缺苗检测方法，应用于插秧机的控制系统，所述方法包括：

对当前帧图像进行处理，以确定所述当前帧图像中的当前疑似缺苗位置；

其中，所述当前帧图像显示有当前目标区域，所述当前目标区域包含在采集所述当前帧图像所在的位置之前的已插苗区域；

基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。

第二方面，本申请实施例提供一种插秧机控制方法，应用于插秧机的控制系统，所述方法包括：

基于通过上述的缺苗检测方法确定的目标缺苗位置，控制插秧机进行补苗。

第三方面，本申请实施例提供一种缺苗检测装置，应用于插秧机的控制系统，所述装置包括：

标记单元，用于对当前帧图像进行处理，以确定所述当前帧图像中的当前疑似缺苗位置；

其中，所述当前帧图像显示有当前目标区域，所述当前目标区域包含在采集所述当前帧图像所在的位置之前的已插苗区域；

处理单元，用于基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。

第四方面，本申请实施例提供一种插秧机控制装置，应用于插秧机的控制系统，所述装置包括：

控制单元，用于基于通过权上述的缺苗检测方法确定的目标缺苗位置，控制插秧机进行补苗。

第五方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。

第六方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。

第七方面，本申请实施例提供一种插秧机，包括机体、设置于机体的插秧机构和上述的电子设备；所述电子设备用于控制所述插秧机进行缺苗检测，和/或对目标缺苗位置进行补苗。

相对于现有技术，本申请实施例所提供的一种缺苗检测方法、装置、存储介质及电子设备，对当前帧图像进行处理，以确定当前帧图像中的当前疑似缺苗位置；其中，当前帧图像显示有当前目标区域，当前目标区域包含在采集当前帧图像所在的位置之前的已插苗区域；基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。相对于仅参考单张图片进行判断是否缺苗，本实施例中结合当前帧图像和历史帧图像进行综合判断，降低误识别的可能性，提升了缺苗位置识别的准确率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的电子设备的结构示意图；

图2为本申请实施例提供的缺苗检测方法的流程示意图；

图3本申请实施例提供的当前帧图像的参考示意图；

图4为本申请实施例提供的S101和S102的子步骤示意图；

图5为本申请实施例提供的缺苗检测方法的流程示意图之一；

图6为本申请实施例提供的S104的子步骤示意图；

图7为本申请实施例提供的插秧机控制方法的流程示意图；

图8为本申请实施例提供的缺苗检测装置的单元示意图；

图9为本申请实施例提供的插秧机控制装置的单元示意图。

图中：10-处理器；11-存储器；12-总线；13-通信接口；201-标记单元；202-处理单元；401-获取单元；402-控制单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

以插秧机作为示例进行说明，在插秧机进行插秧作业的过程中，缺苗情况主要依赖专职的工作人员实时观察插秧机的插秧作业情况，判断是否出现缺苗和机械故障。在出现缺苗的情况下，进行及时补苗，对可能发生的机械故障进行报警。在人手不足的情况下，缺苗情况可以由插秧机驾驶员不定时观察插秧情况，并对缺苗情况做出处理。

安排专职工作人员在插秧机上实时观察插秧机秧盘和插秧情况虽然能及时发现问题，但是额外的专职工作人员增加了人工成本，增加了人工的工作量。如果只由驾驶员不定时观察插秧情况，虽然减少了人工成本，但是容易分散驾驶员的注意力，造成插秧机位置偏移等问题。同时，驾驶员不定时观察难以实时观察到缺苗情况，容易造成较长距离的缺苗，需要倒回重新插秧或者后期人工补苗，降低了作业的效率。

针对上述问题，本申请实施例提供了一种缺苗检测方法，可以在插秧机作业过程中实时进行缺苗检测与故障报警，从而替代额外工作人员对缺苗情况的观察，并辅助做出问题判断，降低人工成本，提高作业效率。

本申请实施例提供了一种电子设备，可以是插秧机上的控制系统，还可以是独立的计算机设备(例如服务器或电脑或自驾仪)。请参照图1，电子设备的结构示意图。电子设备包括处理器10、存储器11、总线12。处理器10、存储器11通过总线12连接，处理器10用于执行存储器11中存储的可执行模块，例如计算机程序。

处理器10可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，缺苗检测方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器11可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

总线12可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线12或一种类型的总线12。

存储器11用于存储程序，例如缺苗检测装置对应的程序。缺苗检测装置包括至少一个可以软件或固件(firmware)的形式存储于存储器11中或固化在电子设备的操作系统(operating system，OS)中的软件功能模块。处理器10在接收到执行指令后，执行所述程序以实现缺苗检测方法。

可能地，本申请实施例提供的电子设备还包括通信接口13。通信接口13通过总线与处理器10连接。

需要说明的是，电子设备与图像采集模块通信连接，电子设备可以获取图像采集模块所采集的图像信息(例如下文中的当前帧图像和历史帧图像)。可选地，图像采集模块可以安装于插秧机正后方，秧盘中间位置正上方，距离地面1.5米左右。摄图像采集模块的拍摄方向垂直于地面，能够俯视拍摄到完整的插秧机当前作业区域，减少秧苗之间的遮挡，减轻光线的影响。

可选地，处理器10可以包括第一处理器和第二处理器，第一处理器用于执行本申请实施例提供的缺苗检测方法，第二处理器用于控制插秧机正常工作，例如进行插苗等。通过将第一处理器和第二处理器的功能进行解耦，降低开发难度。

应当理解的是，图1所示的结构仅为电子设备的部分的结构示意图，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例提供的一种缺苗检测方法，可以但不限于应用于图1所示的电子设备，具体的流程，请参考图2，缺苗检测方法包括S101和S102，具体阐述如下。

S101，对当前帧图像进行处理，以确定当前帧图像中的当前疑似缺苗位置。

其中，当前帧图像显示有当前目标区域，当前目标区域包含在采集当前帧图像所在的位置之前的已插苗区域。

可选地，当前帧图像还显示有当前插苗区域，当前插苗区域包含在采集当前帧图像所在的位置时的插苗区域。

应理解，当前目标区域即为插秧机在当前位置上，图像采集模块所能拍摄到的区域。请参考图3，图3为本申请实施例提供的当前帧图像的参考示意图。

可选地，当前疑似缺苗位置为缺苗置信度大于预设的第一置信度阈值的位置，第一置信度阈值例如为85％。应理解，因为可能存在拍摄姿态、光线遮挡以及亮度变化等影响，基于单张图像所确定的当前疑似缺苗位置可能会存在误差或误判断的可能，为了降低误差，需要在S101之后，执行S102。

S102，基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，从当前疑似缺苗位置中确定目标缺苗位置。

其中，目标缺苗位置为与超过第一数量阈值的历史疑似缺苗位置重合的当前疑似缺苗位置。

可选地，第一时间范围可以为连续获取15帧图像的时间(例如为1s到1.5s)，第一数量阈值例如为5，应理解第一数量阈值可以依据第一时间范围的大小进行调整。

可选地，当插秧机正在田间工作，需要实时检测缺苗位置时，第一时间范围可以为在当前图像帧的采集时间之前的连续时间范围。应理解，在第一时间范围内，插秧机的位置会连续性地发生变化。当前目标区域也会发生连续性变化，所以历史帧图像与当前帧图像会存在重复区域。第一时间范围内的历史帧图像与当前帧图像的重复区域可以达到预设的重复阈值，所以历史帧图像中的历史疑似缺苗位置可以作为确定目标缺苗位置的参考数据。

在一种可能的实现方式中，插秧机在完成插秧作业后，将所采集到的图片上传至服务器端，服务器端依据所接收到的图片，进行缺苗检测时，第一时间范围还可以是在当前图像帧的采集时间之后的连续时间范围，或者是以当前图像帧的采集时间为中点的连续时间范围。

可选地，第一时间范围可以依据插秧机的前进速度进行设置。

相对于仅参考单张图片进行判断是否缺苗，本实施例中结合当前帧图像和历史帧图像进行综合判断，降低误识别的可能性，提升了缺苗位置识别的准确率。

综上所述，本申请实施例提供了一种缺苗检测方法，对当前帧图像进行处理，以确定当前帧图像中的当前疑似缺苗位置；其中，当前帧图像显示有当前目标区域，当前目标区域包含在采集当前帧图像所在的位置之前的已插苗区域；基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。相对于仅参考单张图片进行判断是否缺苗，本实施例中结合当前帧图像和历史帧图像进行综合判断，降低误识别的可能性，提升了缺苗位置识别的准确率。

在图2的基础上，对于S101中的内容，如何获取当前疑似缺苗位置，本申请实施例还提供了几种可能的实现方式，请参考下文。

在一种可能的实现方式中，基于图像识别对当前帧图像中有苗位置进行识别，以及同一行中相邻两个有苗位置之间的间隔确定当前疑似缺苗位置。

在另一种可能的实现方式中，请参考图4，S101包括：S101-1，具体阐述如下。

S101-1，通过缺苗检测神经网络模型对当前帧图像进行处理，得到当前帧图像中的当前疑似缺苗位置。

可选地，可以将当前帧图像作为缺苗检测神经网络模型的输入，以使缺苗检测神经网络模型输出当前帧图像中的当前疑似缺苗位置。

可选地，缺苗检测神经网络模型为训练完成的作物苗检测子模型和训练完成的缺苗检测子模型的融合模型；其中，作物苗检测子模型基于第一类图像数据完成训练，缺苗检测子模型基于训练完成的作物苗检测子模型的输出和第二类图像数据完成训练，第一类图像数据与第二类图像数据的图像内容相同，第一类图像数据携带第一标签，第一标签表征图像中每一处位置有苗的置信度，第二类图像数据携带第二标签，第二标签表征图像中每一处位置缺苗的置信度。

应理解，由于缺苗部分的图像纹理等特征与背景部分几乎没有差别，因此采用简单的检测算法容易将背景检测为缺苗位置或者将缺苗位置认为背景从而忽略掉。因此采用两步式分段检测方法，首先用简单的检测算法检测特征比较明显的秧苗部分，将检测到的秧苗位置特征图作为缺苗检测子模型的输入。再根据已检测到的秧苗位置，通过缺苗检测算法推理出缺苗发生的位置，由于摄像头视角相对于插秧机刚刚插秧完成的区域相对位置几乎是固定的，因此利用检测到的秧苗位置和相对参考位置来推理缺苗位置的算法准确率比较高。基于此，缺苗检测神经网络模型的训练包括两个部分。第一部分，用第一类图像数据训练作物苗检测子模型，当作物苗检测子模型的准确率达到要求时停止训练作物苗检测子模型。并将训练好的作物苗检测子模型固定不参与缺苗检测子模型训练，将作物苗检测子模型的输出特征图作为缺苗检测子模型的输入，用第二类图像数据和作物苗检测子模型的输出特征图训练缺苗检测子模型，当缺苗检测子模型准确率达到要求时停止训练。最后将作物苗检测子模型和缺苗检测子模型融合在一起。

另外，本申请通过基于同一位置进行缺苗检测，可以理解为，通过认定某个位置应该存在秧苗作为依据，来检测该位置是否有苗，以此来得到检测结果，有利于避免应该认定为缺苗的位置的检测结果为不缺苗，即出现缺苗检测遗漏，因此本申请的缺苗检测更具针对性和准确性。

可选地，作物苗检测子模型的输出特征图包括作物苗检测子模型预估的图像中每一处位置有苗的置信度。

请继续参考图4，关于S102中的内容，如何准确地确定目标缺苗位置，本申请实施例还提供了一种可能的实现方式，如图4所示，S102包括：S102-1，具体阐述如下。

S102-1，在当前疑似缺苗位置与超过第一数量阈值的历史疑似缺苗位置重合时，确定当前疑似缺苗位置为目标缺苗位置。

可选地，从当前帧图像中确定一个位置标识(例如三维坐标或二维坐标)，当该位置标识为当前疑似缺苗位置时，判断该位置标识在每一个历史图像帧中是否为历史疑似缺苗位置，如果是，则表示当前疑似缺苗位置与1个历史疑似缺苗位置重合，当重合的数量超过第一数量阈值时，即表示其为目标缺苗位置。

应理解，在插秧机出现故障时，可能会导致缺苗事故发生，如果不能及时修护故障，会导致缺苗事故扩散。当大面积缺苗或连续性缺苗时，会影响最终的收获量。因此，需要在大面积缺苗或连续性缺苗出现时，对故障类型进行诊断，便于修复故障。

在图2的基础上，关于如何发现大面积缺苗或连续性缺苗，并进行故障诊断，本申请实施例还提供了一种可能的实现方式，请参考图5，缺苗检测方法还包括：S103和S104，具体阐述如下。

S103，将满足第一预设条件或第二预设条件的种植行确定为目标行。

其中，第一预设条件表征种植行中连续的目标缺苗位置的数量大于预设的第二数量阈值，第二预设条件表征种植行中目标缺苗位置的总数大于预设的第三数量阈值。

假设插秧机可以同时对6行预留的空穴进行插苗，当第一行满足第一预设条件或第二预设条件时，即可将第一行确定为目标行。工作人员在观察第一行后，可以确定具体的缺苗情况，以及进行补苗等。

应理解，当存在满足第一预设条件的目标行时，说明出现短时连续缺苗情况，当存在满足第二预设条件的目标行时，说明长时间不连续缺苗，出现大面积缺苗情况，均可能是插秧机出现故障所导致的，需要对故障类型进行诊断，即执行S104。

S104，依据目标行对应的工况数据，确定插秧机对应的故障种类。

可选地，工况数据包括目标行对应的剩余苗量、用于将作物苗插入穴位中的执行机构的竖直位移以及秧田中的浮苗数量中的一种或多种。具体地，请参考下文中S104-1至S104-7中的表述。

在一种可能的实现方式中，关于图5中的第一预设条件和第二预设条件，本申请实施例还提供了一种可能的实现方式，请参考下文。

第一预设条件表征在第二时间范围内种植行中连续的目标缺苗位置的数量大于预设的第二数量阈值，第二预设条件表征在第三时间范围内种植行中目标缺苗位置的总数大于预设的第三数量阈值。

可选地，第二时间范围和第三时间范围可以依据插秧机的运行工况具体设定，例如，第二时间范围可以为3s，第三时间范围可以为30s。应理解，第二数量阈值可以依据第二时间范围的大小进行调整，第三数量阈值可以依据第三时间范围的大小进行调整。例如，第二数量阈值可以为5，第三数量阈值可以为15。应理解，第二时间范围和第三时间范围可以是在当前图像帧的采集时间之前的连续时间范围。相对于在全时段筛选满足第一预设条件和/或第二预设条件的目标行，通过限定第二时间范围和第三时间范围可以缩小筛选范围，从而提升运算效率。

在图5的基础上，在工况数据包括目标行对应的剩余苗量和用于将作物苗插入穴位中的执行机构的竖直位移的情况下，当目标行满足第一预设条件时，关于S104中的内容，如何确定插秧机对应的故障种类，本申请实施例还提供了一种可能的实现方式，请参考图6，S104包括：S104-1、S104-2、S104-3、S104-4以及S104-5，具体阐述如下。

S104-1，确定剩余苗量是否大于预设的第四数量阈值。若否，则执行S104-3；若是，则执行S104-2。

可选地，在确定满足第一预设条件的目标行后，可以获取目标行对应的剩余苗量。

可选地，可以获取目标行对应的苗盘图像，基于苗盘图像识别得到剩余苗量，还可以基于安装于目标行对应的苗盘下的压力传感器，获取苗盘重量，基于苗盘重量获取剩余苗量。

当剩余苗量小于或等于预设的第四数量阈值时，表示苗盘中的剩余苗量过少，执行机构(例如抓手)很难获取到作物苗，导致出现了段时间连续性缺苗，此时需要执行S104-2，确定故障种类为苗盘缺苗。

当剩余苗量大于预设的第四数量阈值时，则需要结合其他监测数据，例如执行机构的竖直位移，进一步判断故障种类，即执行S104-3。

可选地，第四数量阈值可以为当苗盘重量为250g时所对应的苗量，或者可以为当苗盘中的作物苗面积占比为预设的占比阈值(例如5％)时所对应的苗量。应理解，占比阈值可以依据苗盘的总面积具体设定。

S104-2，确定故障种类为苗盘缺苗。

可选地，在确定故障种类为苗盘缺苗之后，可以控制插秧机返航补苗，或控制插秧机暂停作业，等待用户进行补苗，或通知补苗车进行补苗。

S104-3，确定执行机构的竖直位移是否大于第一深度阈值。若否，则执行S104-4；若是则执行S104-5。

其中，执行机构用于从苗盘中抓取作物苗，并将作物苗插入穴位中。

可选地，可以通过安装在执行机构上的定位装置(如Real-time kinematic，简称RTK)，获取执行机构的竖直位移。

其中，竖直位移可以是最近一次定位装置监测到的值，也可以时间预设时间范围内定位装置监测到的值的平均值。

可选地，第一深度阈值可以为2cm，应理解，第一深度阈值可以依据土壤类型具体设定。

应理解，竖直位移相当于执行机构的插入深度，当竖直位移过小时，秧苗的插入深度不够，很容易造成浮漂，即出现缺苗的问题。所以在竖直位移小于或等于第一深度阈值时，说明插入深度不够，此时需要执行S104-4，确定故障种类为插入过浅。

反之，当竖直位移大于第一深度阈值时，说明执行机构发生了故障，例如执行机构的抓手松动，不能从苗盘中获取做作物苗，此时执行S104-5。

S104-4，确定故障种类为插入过浅。

可选地，在确定故障种类为插入过浅之后，调整执行机构的工作参数，以使竖直位移大于第一深度阈值。

S104-5，确定故障种类为执行机构故障。

可选地，执行机构故障例如为执行机构松动、执行机构被异物阻塞以及执行机构损坏中的任意一种或多种。

请继续参考图6，在工况数据包括秧田中的浮苗数量和用于将作物苗插入穴位中的执行机构的竖直位移的情况下，当目标行满足第二预设条件时，关于S104中的内容，如何确定插秧机对应的故障种类，本申请实施例还提供了一种可能的实现方式，如图6所示，S104包括：S104-6、S104-7、S104-8、S104-9以及S104-10，具体阐述如下。

S104-6，确定秧田中的浮苗数量是否大于预设的第五数量阈值。若是，则执行S104-8；若否，则执行S104-7。

可选地，获取秧田图像，通过对秧田图像中的浮苗进行识别，确定浮苗数量。当浮苗数量大于预设的第五数量阈值时，说明执行机构能够从苗盘中获取秧苗，但是秧苗没有牢固地插入到对应的穴位中，导致出现浮苗，此时需要对故障种类进一步判断，即执行S104-8；反之，则说明是执行机构出现故障(例如抓手松动)，执行S104-7。

可选地，第五数量阈值可以依据插秧机在秧田中的工作时长具体设定，即依据插秧机在秧田中执行插苗动作的次数设定第五数量阈值。

S104-7，确定故障种类为执行机构故障。

可选地，执行机构故障例如为执行机构松动、执行机构被异物阻塞以及执行机构损坏中的任意一种或多种。

S104-8，确定执行机构的竖直位移是否大于第一深度阈值。若是，则执行S104-10；若否，则执行S104-9。

应理解，竖直位移小于或等于第一深度阈值，说明插入深度不足，此时需要执行S104-9，确定故障种类为插入过浅；反之，当竖直位移大于第一深度阈值时，说明插入深度足够，那么造成缺苗、浮漂的原因即为秧田中的水位过深，此时执行S104-10。

S104-9，确定故障种类为插入过浅。

可选地，在确定故障种类为插入过浅之后，可以调整执行机构的工作参数，以使竖直位移大于第一深度阈值。

S104-10，确定故障种类为水位过深。

可选地，可以控制秧田对应的水阀放水，以降低水位。

当大面积缺苗或连续性缺苗时，会影响最终的收获量。因此，在确定故障种类和/或存在目标行时，需要进行报警，提示用户进行故障修护和进行补苗。请继续参考图5，关于如何实现报警提醒，本申请实施例还提供了一种可能的实现方式，缺苗检测方法还包括：S105和/或S106，具体阐述如下。

S105，依据故障种类进行故障报警。

可选地，故障报警的类型可以随故障种类发生变化，便于用户在观察到故障报警时，可以直接快速确定故障种类，提升修复效率。

S106，在存在目标行的情况下，进行缺苗事故报警。

在一种可能的实现方式中，第一预设条件成立、第二预设条件成立以及两个条件同时成立的情况下，都会触发报警，但触发的报警类型可以不同。应理解，触发报警用于提示工作人员对缺苗情况进行观察，及时补苗，对插秧机进行故障排查，避免缺苗面积扩大。

可选地，还可以输出目标行标识(例如第一行)和缺苗类型，以便于用户观察。可以向用户终端发送提示信息，以提示用户进行故障确认。

可选地，在存在目标行时，还可以控制插秧机暂停作业，在接收到用户终端传输的继续作业指令后，控制插秧机恢复作业。

应理解，在第一预设条件或第二预设条件成立的情况下，如果插秧机继续作业，可能会出现大面积缺苗的情况。为了避免出现大面积缺苗的情况，在确定存在目标行之后，需要控制插秧机暂停作业。经工作人员排查和修护后，确认已经克服了当前的缺苗缺陷，工作人员可以通过用户终端传输的继续作业指令，其中，用户终端可以是手机、遥控器或手柄等。在接收到用户终端传输的继续作业指令后，控制插秧机恢复作业。

本申请实施例还提供了一种插秧机控制方法，请参考图7，插秧机控制方法包括：S301和S302，具体阐述如下。

S301，通过以上任意所述的缺苗检测方法确定的目标缺苗位置。

具体地，请参考前文中缺苗检测方法对应的实现方式。

S302，基于通过以上任意所述的缺苗检测方法确定的目标缺苗位置，控制插秧机进行补苗。

可选地，在确定目标缺苗位置后，可以控制插秧机移动至目标缺苗位置，从而完成补苗操作。

请参阅图8，图8为本申请实施例提供的一种缺苗检测装置，可选的，该缺苗检测装置被应用于上文所述的电子设备。

插秧机的控装置包括标记单元201和处理单元202。

标记单元201，用于对当前帧图像进行处理，以确定当前帧图像中的当前疑似缺苗位置；

其中，当前帧图像显示有当前目标区域，当前目标区域包含在采集当前帧图像所在的位置之前的已插苗区域；

处理单元202，用于基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，从当前疑似缺苗位置中确定目标缺苗位置。

可选地，标记单元201可以执行上述的S101，处理单元202可以执行上述的S102-S106。

需要说明的是，本实施例所提供的缺苗检测装置，其可以执行上述方法流程实施例所示的方法流程，以实现对应的技术效果。为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

请参阅图9，图9为本申请实施例提供的一种插秧机控制装置，可选的，该插秧机控制装置被应用于上文所述的电子设备。

插秧机控制装置包括：获取单元401和控制单元402。

获取单元401，用于通过以上任意所述的缺苗检测方法确定的目标缺苗位置。

控制单元402，用于基于通过以上任意所述的缺苗检测方法确定的目标缺苗位置，控制插秧机进行补苗。

需要说明的是，本实施例所提供的插秧机控制装置，其可以执行上述方法流程实施例所示的方法流程，以实现对应的技术效果。为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

本申请实施例还提供了一种存储介质，该存储介质存储有计算机指令、程序，该计算机指令、程序在被读取并运行时执行上述实施例的缺苗检测方法和/或插秧机控制方法。该存储介质可以包括内存、闪存、寄存器或者其结合等。

下面提供一种电子设备，可以是插秧机上的控制系统、还可以是独立的计算机设备。该电子设备如图1所示，可以实现上述的缺苗检测方法和/或插秧机控制方法；具体的，该电子设备包括：处理器10，存储器11、总线12。处理器10可以是CPU。存储器11用于存储一个或多个程序，当一个或多个程序被处理器10执行时，执行上述实施例的缺苗检测方法和/或插秧机控制方法。

下面提供一种插秧机，包括机体、设置于机体的插秧机构和上述的电子设备；电子设备用于控制插秧机进行缺苗检测，和/或对目标缺苗位置进行补苗。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (15)

1.一种缺苗检测方法，其特征在于，应用于插秧机的控制系统，所述方法包括：

对当前帧图像进行处理，以确定所述当前帧图像中的当前疑似缺苗位置；

其中，所述当前帧图像显示有当前目标区域，所述当前目标区域包含在采集所述当前帧图像所在的位置之前的已插苗区域；

基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。

2.如权利要求1所述的缺苗检测方法，其特征在于，所述对当前帧图像进行处理，以确定所述当前帧图像中的当前疑似缺苗位置，包括：

通过缺苗检测神经网络模型对所述当前帧图像进行处理，得到所述当前帧图像中的当前疑似缺苗位置。

3.如权利要求2所述的缺苗检测方法，其特征在于，所述缺苗检测神经网络模型为训练完成的作物苗检测子模型和训练完成的缺苗检测子模型的融合模型；

其中，所述作物苗检测子模型基于第一类图像数据完成训练，所述缺苗检测子模型基于训练完成的作物苗检测子模型的输出和第二类图像数据完成训练，所述第一类图像数据与所述第二类图像数据的图像内容相同，所述第一类图像数据携带第一标签，所述第一标签表征图像中每一处位置有苗的置信度，所述第二类图像数据携带第二标签，所述第二标签表征图像中每一处位置缺苗的置信度。

4.如权利要求1所述的缺苗检测方法，其特征在于，所述基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置，包括：

在所述当前疑似缺苗位置与超过第一数量阈值的历史疑似缺苗位置重合时，确定所述当前疑似缺苗位置为目标缺苗位置。

5.如权利要求1所述的缺苗检测方法，其特征在于，在所述基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置之后，所述方法还包括：

将满足第一预设条件或第二预设条件的种植行确定为目标行，其中，所述第一预设条件表征种植行中连续的目标缺苗位置的数量大于预设的第二数量阈值，所述第二预设条件表征种植行中目标缺苗位置的总数大于预设的第三数量阈值；

依据所述目标行对应的工况数据，确定所述插秧机对应的故障种类。

6.如权利要求1所述的缺苗检测方法，其特征在于，在所述基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置之后，所述方法还包括：

将满足第一预设条件或第二预设条件的种植行确定为目标行，其中，所述第一预设条件表征在第二时间范围内种植行中连续的目标缺苗位置的数量大于预设的第二数量阈值，所述第二预设条件表征在第三时间范围内种植行中目标缺苗位置的总数大于预设的第三数量阈值；

依据所述目标行对应的工况数据，确定所述插秧机对应的故障种类。

7.如权利要求5或6所述的缺苗检测方法，其特征在于，所述工况数据包括目标行对应的剩余苗量和用于将作物苗插入穴位中的执行机构的竖直位移；当所述目标行满足所述第一预设条件时，所述依据所述目标行对应的工况数据，确定所述插秧机对应的故障种类，包括：

在所述剩余苗量小于或等于预设的第四数量阈值时，确定所述故障种类为苗盘缺苗；

在所述剩余苗量大于所述第四数量阈值时，确定所述竖直位移是否大于预设的第一深度阈值；

若所述竖直位移小于或等于所述第一深度阈值，确定所述故障种类为插入过浅；

若所述竖直位移大于所述第一深度阈值，确定所述故障种类为执行机构故障。

8.如权利要求5或6所述的缺苗检测方法，其特征在于，所述工况数据包括秧田中的浮苗数量和用于将作物苗插入穴位中的执行机构的竖直位移；当所述目标行满足所述第二预设条件时，所述依据所述目标行对应的工况数据，确定所述插秧机对应的故障种类，包括：

确定所述秧田中的浮苗数量是否大于预设的第五数量阈值；

若所述浮苗数量小于或等于所述第五数量阈值，则确定所述故障种类为执行机构故障；

若所述浮苗数量大于所述第五数量阈值，确定执行机构的竖直位移是否大于预设的第一深度阈值；

若所述竖直位移小于或等于所述第一深度阈值，确定所述故障种类为插入过浅；

若所述竖直位移大于所述第一深度阈值，确定所述故障种类为水位过深。

9.如权利要求5或6所述的缺苗检测方法，其特征在于，在所述确定所述插秧机对应的故障种类之后，所述方法还包括：

依据所述故障种类进行故障报警；

和/或在存在所述目标行的情况下，进行缺苗事故报警。

10.一种插秧机控制方法，其特征在于，应用于插秧机的控制系统，所述方法包括：

基于通过权利要求1-9中任意一项所述的缺苗检测方法确定的目标缺苗位置，控制插秧机进行补苗。

11.一种缺苗检测装置，其特征在于，应用于插秧机的控制系统，所述装置包括：

标记单元，用于对当前帧图像进行处理，以确定所述当前帧图像中的当前疑似缺苗位置；

其中，所述当前帧图像显示有当前目标区域，所述当前目标区域包含在采集所述当前帧图像所在的位置之前的已插苗区域；

处理单元，用于基于第一时间范围内的历史帧图像中的历史疑似缺苗位置，确定当前疑似缺苗位置是否为目标缺苗位置。

12.一种插秧机控制装置，其特征在于，应用于插秧机的控制系统，所述装置包括：

控制单元，用于基于通过权利要求1-9中任意一项所述的缺苗检测方法确定的目标缺苗位置，控制插秧机进行补苗。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-10中任一项所述的方法。

14.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-10中任一项所述的方法。

15.一种插秧机，其特征在于，包括机体、设置于机体的插秧机构和权利要求14所述的电子设备；所述电子设备用于控制所述插秧机进行缺苗检测，和/或对目标缺苗位置进行补苗。

Images