CN113792715A - 粮仓害虫监测预警方法、装置、设备及存储介质 - Google Patents

Abstract

本发明属于粮仓害虫识别技术领域，公开了一种粮仓害虫监测预警方法、装置、设备及存储介质。该方法包括：获取目标监测图像；识别目标监测图像中的目标物体，并确定目标物体在所述目标监测图像中的第一坐标；获取参考监测图像，并基于摄像头标定参数以及第一坐标确定目标物体在参考监测图像中的第二坐标；根据第一坐标以及第二坐标，分割目标监测图像以及参考监测图像，得到目标物体多角度图像；根据目标物体多角度图像识别目标物体的害虫种类；根据所述害虫种类生成害虫预警信息，并根据预警信息进行警报。通过上述方式，能够及时发现并更为准确的判断粮仓中是否有害虫，确定其种类后进行预警，从而避免因害虫爆发造成的粮食浪费。

Description

粮仓害虫监测预警方法、装置、设备及存储介质

技术领域

本发明涉及粮仓害虫识别技术领域，尤其涉及一种粮仓害虫监测预警方法、装置、设备及存储介质。

背景技术

粮仓害虫繁殖力惊人，以危害米、麦的米象为例，一年发生四代的一对米象，在一年内就可以繁殖到十亿头以上。在良好的条件下，十对米象经过五年的繁殖，可以使四百零六吨的粮食受到损害。目前全世界已知的粮仓害虫共有三百余种，在我国所发现的就有八十余种之多。据科学家研究，这些害虫最初都是在田间生活的，寄生在各种不同的植物体上或粮食种子里，后来由于人们把粮食收割下来贮藏，被带进粮仓里，经过很长时间以后，生活习性发生了变化，逐渐地把粮仓作为它生活繁殖的场所。因此，如何及时发现并防治粮仓害虫成为了粮仓管理的重要难题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种粮仓害虫监测预警方法、装置、设备及存储介质，旨在解决现有技术如何及时发现粮仓害虫并进行预警的技术问题。

为实现上述目的，本发明提供了一种粮仓害虫监测预警方法，所述方法包括以下步骤：

获取目标监测图像；

识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标；

获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标；

根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像；

根据所述目标物体多角度图像识别所述目标物体的害虫种类；

根据所述害虫种类生成害虫预警信息，并根据所述预警信息进行警报。

可选地，所述识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标的步骤，包括：

获取所述目标监测图像的相邻帧图像；

将所述相邻帧图像与所述目标监测图像进行像素比对；

在所述相邻帧图像与所述目标监测图像之间存在差别像素点时，认定所述目标监测图像中存在目标物体，并确定所述差别像素点的图像坐标；

根据所述图像坐标确定平均图像横坐标，并根据所述图像坐标确定平均图像纵坐标；

根据所述平均图像横坐标以及所述平均图像纵坐标确定第一坐标。

可选地，所述根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像的步骤，包括：

获取预设像素范围；

以所述第一坐标为中心基于所述预设像素范围分割所述目标监测图像，得到第一角度分割图像；

以所述第二坐标为中心基于所述预设像素范围分割所述参考监测图像，得到第二角度分割图像；

根据所述第一角度分割图像以及所述第二角度分割图像生成多角度分割图像；

将所述多角度分割图像转换为二值化多角度分割图像；

确定所述二值化多角度分割图像中各像素的像素值；

根据所述像素值将所述二值化多角度分割图像分割为目标物体多角度图像。

可选地，所述根据所述目标物体多角度图像识别所述目标物体的害虫种类的步骤，包括：

将所述目标物体多角度图像输入至角度分类模型中，得到角度分类结果；

将所述目标物体多角度图像输入至所述角度分类结果对应的害虫识别模型中，得到害虫识别结果；

根据所述害虫识别结果确定害虫种类。

可选地，所述根据所述害虫识别结果确定害虫种类的步骤包括：

根据所述害虫识别结果确定所述目标物体在各角度对应的害虫种类概率；

将各角度害虫种类概率大于概率阈值的害虫种类作为待确定害虫种类；

确定所述待确定害虫种类对应各角度害虫种类概率的方差值；

选择所述方差值中的最小方差值，并确定所述最小方差值对应的待确定害虫种类为害虫种类。

可选地，根据所述害虫种类生成害虫预警信息的步骤，包括：

根据所述第一坐标以及第二坐标生成害虫轨迹；

根据所述害虫轨迹确定害虫活动范围；

根据所述害虫种类以及害虫活动范围生成害虫防治策略；

根据所述害虫种类、所述害虫活动轨迹以及所述害虫防治策略生成害虫预警信息。

可选地，所述获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标的步骤之前，还包括：

获取目标摄像头拍摄标定物体的第一标定图像以及参考摄像头拍摄所述标定物体的第二标定图像；

确定所述第一标定图像中所述标定物体的第一标定坐标；

确定所述第二标定图像中所述标定物体的第二标定坐标；

根据所述第一标定坐标以及所述第二标定坐标确定摄像头标定参数。

此外，为实现上述目的，本发明还提出一种粮仓害虫监测预警装置，所述粮仓害虫监测预警装置包括：

图像获取模块，用于获取目标监测图像；

物体识别模块，用于识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标；

坐标确定模块，用于获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标；

图像分割模块，用于根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像；

害虫识别模块，用于根据所述目标物体多角度图像识别所述目标物体的害虫种类；

预警生成模块，用于根据所述害虫种类生成害虫预警信息，并根据所述预警信息进行警报。

此外，为实现上述目的，本发明还提出一种粮仓害虫监测预警设备，所述粮仓害虫监测预警设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的粮仓害虫监测预警程序，所述粮仓害虫监测预警程序配置为实现如上文所述的粮仓害虫监测预警方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有粮仓害虫监测预警程序，所述粮仓害虫监测预警程序被处理器执行时实现如上文所述的粮仓害虫监测预警方法的步骤。

本发明通过获取目标监测图像；识别目标监测图像中的目标物体，并确定目标物体在所述目标监测图像中的第一坐标；获取参考监测图像，并基于摄像头标定参数以及第一坐标确定目标物体在参考监测图像中的第二坐标；根据第一坐标以及第二坐标，分割目标监测图像以及参考监测图像，得到目标物体多角度图像；根据目标物体多角度图像识别目标物体的害虫种类；根据所述害虫种类生成害虫预警信息，并根据预警信息进行警报。通过上述方式，分析监测图像中是否存在移动物体判断是否有害虫，并通过害虫各个角度的图像识别出害虫的种类，并及时预警，从而避免因害虫爆发造成的粮食浪费。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的粮仓害虫监测预警设备的结构示意图；

图2为本发明粮仓害虫监测预警方法第一实施例的流程示意图；

图3为本发明粮仓害虫监测预警方法的摄像头角度示意图；

图4为本发明粮仓害虫监测预警方法第二实施例的流程示意图；

图5为本发明粮仓害虫监测预警装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的粮仓害虫监测预警设备结构示意图。

如图1所示，该粮仓害虫监测预警设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对粮仓害虫监测预警设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及粮仓害虫监测预警程序。

在图1所示的粮仓害虫监测预警设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明粮仓害虫监测预警设备中的处理器1001、存储器1005可以设置在粮仓害虫监测预警设备中，所述粮仓害虫监测预警设备通过处理器1001调用存储器1005中存储的粮仓害虫监测预警程序，并执行本发明实施例提供的粮仓害虫监测预警方法。

本发明实施例提供了一种粮仓害虫监测预警方法，参照图2，图2为本发明一种粮仓害虫监测预警方法第一实施例的流程示意图。

本实施例中，所述粮仓害虫监测预警方法包括以下步骤：

步骤S10：获取目标监测图像。

需要说明的是，本实施例中的执行主体为终端设备，例如电脑、服务器等具备运算能力的设备。终端设备与多部高清摄像头进行通信连接，高清摄像头分布在粮仓内的多个角落，从而可以从多个角度拍摄粮仓内的图像。

可以理解的是，为了减少终端设备的资源浪费，在对监测数据进行分析时，首先只对主摄像头的监测数据进行分析。主摄像头拍摄到的监测图像即为目标监测图像。

步骤S20：识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标。

在具体实现中，通过实时分析目标监测图像，识别出目标监测图像中非粮食的部分，由于粮仓中可能存在其他杂质，例如小石子、杂草种子等，因此不是所有非粮食部分都为害虫，因此需要识别非粮食部分的图像。将非粮食部分的图像输出如检测模型中，得到为害虫的概率，当概率大于阈值时，则判定非粮食部分为目标物体。

应理解的是，此时根据目标物体在目标监测图像中所在的像素坐标，即可得到第一坐标。本实施例中的像素坐标系以目标监测图像的左下角为原点建立坐标系。

进一步地，为了得到更加准确的第一坐标，步骤S20包括：获取所述目标监测图像的相邻帧图像；将所述相邻帧图像与所述目标监测图像进行像素比对；在所述相邻帧图像与所述目标监测图像之间存在差别像素点时，认定所述目标监测图像中存在目标物体，并确定所述差别像素点的图像坐标；根据所述图像坐标确定平均图像横坐标，并根据所述图像坐标确定平均图像纵坐标；根据所述平均图像横坐标以及所述平均图像纵坐标确定第一坐标。

需要说明的是，通常粮仓内的害虫会四处爬行，因此可以检测非粮食部分是否可以移动来判断非粮食部分是否为目标物体。

在具体现实中，目标摄像头是以一定的帧率拍摄粮仓内的图像，通过比对相邻两帧目标监测图像非粮食部分是否在同一位置（即相同位置的像素点是否相同），若不在同一位置，则查找相邻帧目标监测图像中距离该位置最近的非粮食部分，即可以得到差别像素点，为避免错误判断，连续分析预设时间内的目标监测图像中非粮食部分的位置变化，从而判断非粮食部分是否是可移动的，是否为目标物体。

应理解的是，通常目标物体会在监测图像中占多个像素点，为方便后续的监测分析，需要将目标物体的坐标单一化。计算差别像素点的平均横坐标（即平均图像横坐标），同时计算差别像素点的平均纵坐标（即平均图像纵坐标）。从而得到目标物体的第一坐标。

步骤S30：获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标。

需要说明的是，当确定粮仓中存在目标物体时，则获取其他参考摄像头拍摄的参考监测图像，参考摄像头与目标摄像头拍摄粮仓的区域一致，但是参考摄像头与目标摄像头拍摄同一区域的角度并不相同，因此可以得到基于同一区域不同角度的监测图像。如图3所示，目标摄像头与参考摄像头1、参考摄像头2基于不同角度拍摄粮仓内的同一区域，从而可以拍摄目标物体不同角度的图像。

可以理解的是，由于参考摄像头与目标摄像头在粮仓中所安装的位置不同，尽管是拍摄同一区域，同一物体在目标监测图像与在参考检测图像中的像素坐标并不相同，参考监测图像与目标监测图像的像素坐标存在对应关系，即：

公式1；

其中，(x,y)为目标监测图像中的像素坐标，(m,n)为参考监测图像中的像素坐标，α为摄像头标定参数。

进一步地，为了确定目标监测图像与参考监测图像的坐标位置关系，步骤S30之前，还包括：获取目标摄像头拍摄标定物体的第一标定图像以及参考摄像头拍摄所述标定物体的第二标定图像；确定所述第一标定图像中所述标定物体的第一标定坐标；确定所述第二标定图像中所述标定物体的第二标定坐标；根据所述第一标定坐标以及所述第二标定坐标确定摄像头标定参数。

需要说明的是，将标定物体放置在目标摄像头以及参考摄像头能够同时拍摄的区域内，通过目标摄像头拍摄标定物体，得到第一标定图像，通过参考摄像头拍摄标定物体，得到第二标定图像。此时，计算标定物体在第一标定图像中的像素坐标，即第一标定坐标，同时，计算标定物体在第二标定图像中的像素坐标，即第二标定坐标，并计算第一标定坐标与第二标定坐标的关系，即可得到摄像头标定参数。由于参考摄像头均是以目标摄像头为参照，因此，所有参考摄像头的标定参数的计算均是以目标摄像头的第一标定图像为基准。

步骤S40：根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像。

进一步地，为了更为准确地判断目标的种类，步骤S40包括：获取预设像素范围；以所述第一坐标为中心基于所述预设像素范围分割所述目标监测图像，得到第一角度分割图像；以所述第二坐标为中心基于所述预设像素范围分割所述参考监测图像，得到第二角度分割图像；根据所述第一角度分割图像以及所述第二角度分割图像生成多角度分割图像；将所述多角度分割图像转换为二值化多角度分割图像；确定所述二值化多角度分割图像中各像素的像素值；根据所述像素值将所述二值化多角度分割图像分割为目标物体多角度图像。

需要说明的是，预设像素范围有先验数据确定，通常预设像素范围能够包含害虫的全貌，并且可以防止目标监测图像的其他部分影响害虫识别结果。例如：第一坐标为(95,53)，预设像素范围为30×30，此时则将目标监测图像的根据第一坐标以及预设像素范围分割目标监测图像得到第一角度分割图像，第一角度分割图像在目标监测图像中四个顶点的坐标分别为(80,68)、(110,68)、(80,38)、(110,38)。以上仅为举例说明的，本实施例不加以限制。

可以理解的是，将所述目标监测图像以及参考监测图像分割后，从而得到目标物体的多角度分割图像。通常粮仓害虫的颜色为黑色或深棕色，大米小麦等粮食的颜色较浅，为了更好的识别害虫，可以将多角度分割图像二值化，得到二值化多角度分割图像，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。图像二值化能够将害虫与粮食做更好的区分。

再具体实现中，计算二值化多角度分割图像中各像素的像素值，当像素值小于像素阈值时，则判定此像素为目标像素，并将目标像素分割出来，得到目标物体多角度图像。

步骤S50：根据所述目标物体多角度图像识别所述目标物体的害虫种类。

需要说明的是，将目标物体多角度图像输入至目标识别模型中，从而可以识别出目标物体的害虫种类。通过训练数据集训练预设识别模型，训练数据集中包括多种粮仓中类型不同且角度不同的害虫图像。或为了更准确的识别，不同种类的粮仓仅使用此种粮食的害虫图像进行训练，例如：需要监测的粮仓为米仓时，则训练集中只包含米仓害虫。

步骤S60：根据所述害虫种类生成害虫预警信息，并根据所述预警信息进行警报。

进一步地，为了使得粮仓管理人员知晓更为全面的害虫信息，步骤S60包括：根据所述第一坐标以及第二坐标生成害虫轨迹；根据所述害虫轨迹确定害虫活动范围；根据所述害虫种类以及害虫活动范围生成害虫防治策略；根据所述害虫种类、所述害虫活动轨迹以及所述害虫防治策略生成害虫预警信息。

可以理解的是，根据多帧目标监测图像以及参考监测图像的第一坐标和第二坐标获得目标物体的行动轨迹，即害虫轨迹，从而得到害虫在粮仓中的害虫活动范围。

需要说明的是，不同活动范围的害虫防治策略可能不同，并且不同种类的害虫，其防治策略也不相同，例如：粮仓内出现大范围米象时，可使用低温灭虫，将粮仓降低至0度以下冷冻，并通过风筛将害虫尸体去除。若粮仓内只出现小范围米象时，则只需将其出现部分的粮食清除，从而避免引起米象大范围传播。同时若害虫种类为谷蠹、麦蛾和赤拟谷盗，则可以使用频振式杀虫灯进行捕捉。

进一步地，害虫预警信息中还包括害虫图像，管理人员则可以根据害虫图像判断系统对害虫是否识别错误。

本实施例通过获取目标监测图像；识别目标监测图像中的目标物体，并确定目标物体在所述目标监测图像中的第一坐标；获取参考监测图像，并基于摄像头标定参数以及第一坐标确定目标物体在参考监测图像中的第二坐标；根据第一坐标以及第二坐标，分割目标监测图像以及参考监测图像，得到目标物体多角度图像；根据目标物体多角度图像识别目标物体的害虫种类；根据所述害虫种类生成害虫预警信息，并根据预警信息进行警报。通过上述方式，分析监测图像中是否存在移动物体判断是否有害虫，并通过害虫各个角度的图像识别出害虫的种类，并及时预警，从而避免因害虫爆发造成的粮食浪费。

参考图4，图4为本发明一种粮仓害虫监测预警方法第二实施例的流程示意图。

基于上述第一实施例，本实施例粮仓害虫监测预警方法在所述步骤S50，包括：

步骤S51：将所述目标物体多角度图像输入至角度分类模型中，得到角度分类结果。

需要说明的是，目标物体多角度图像可包括俯视图、正视图、侧视图等，但由于摄像头难以捕捉非常精准的角度，所以目标物体多角度图像中的拍摄角度与标准视觉角度会有偏差，但偏差在一定范围内仍属于同一角度，例如，俯视图是垂直于害虫爬行的所在平面拍摄，但朝向任一方向偏离45°以内仍属于俯视图。

可以理解的是，角度分类模型可基于害虫的触角、复眼、前足、中足、后足、前翅、后翅等身体结构对角度进行识别，从而能够对目标物体多角度图像进行分类，得到角度分类结果。角度分类结果中包含了以不同角度为类别的害虫图像。

步骤S52：将所述目标物体多角度图像输入至所述角度分类结果对应的害虫识别模型中，得到害虫识别结果。

在具体实现中，每种角度的图像对应不同的害虫识别模型，根据角度分类结果，将不同角度的害虫图像输入至对应的害虫识别模型中，从而得到各个角度的害虫识别结果。例如：将角度为俯视的害虫图像输入至用于识别俯视角度的害虫识别模型中。

步骤S53：根据所述害虫识别结果确定害虫种类。

进一步地，为了更加准确地识别害虫种类，步骤S53包括：根据所述害虫识别结果确定所述目标物体在各角度对应的害虫种类概率；将各角度害虫种类概率大于概率阈值的害虫种类作为待确定害虫种类；确定所述待确定害虫种类对应各角度害虫种类概率的方差值；选择所述方差值中的最小方差值，并确定所述最小方差值对应的待确定害虫种类为害虫种类。

需要说明的是，由于很多粮仓害虫身体构造较为相似，因此害虫识别结果中包括每种角度下，可能为不同害虫的概率，例如：在正视角度下，害虫为长角扁谷盗的概率为85%，害虫为锈赤扁谷盗的概率为78%，由于长角扁谷盗与锈赤扁谷盗外形较为相似，因此较难识别。

可以理解的是，不同角度下会识别出多种害虫的概率，但有些仅为部分相似，因此对应的害虫概率较低，需要筛选掉概率较低的部分，保留概率高于概率阈值的害虫种类作为待确定害虫。

在具体实现中，只要其中一个角度的害虫概率大于概率阈值，就可将此害虫种类作为待确定害虫。以避免极端情况下，造成的害虫识别结果错误。例如：俯视角度下，为玉米象的概率为70%，概率阈值为60%，而其他角度为玉米象的概率为45%、27%、58%，只有俯视角度下害虫概率大于概率阈值，但仍然将玉米象作为待确定害虫种类。

需要说明的是，在确定待确定害虫种类后，获取待确定害虫种类在各角度的概率（即各角度害虫种类概率），并计算待确定害虫种类在各角度下的方差值，例如：待确定害虫种类为谷象，各角度害虫种类概率分别为60%、78%、85%、69%，则其方差值为0.00885。

应理解的是，由于方差描述随机变量对于数学期望的偏离程度，因此其可以表现待确定害虫种类的稳定程度，稳定程度最高的其方差值最小，因此，选择待确定害虫种类中方差值最小（即最小方差值）的种类作为害虫种类。

本实施例通过将所述目标物体多角度图像输入至角度分类模型中，得到角度分类结果；将所述目标物体多角度图像输入至所述角度分类结果对应的害虫识别模型中，得到害虫识别结果；根据所述害虫识别结果确定害虫种类。通过上述方式，对害虫图像进行角度分类，并根据分类结果将不同角度的害虫图像输入至对应的害虫识别模型中，从而能够更加准确的识别出害虫的种类。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有粮仓害虫监测预警程序，所述粮仓害虫监测预警程序被处理器执行时实现如上文所述的粮仓害虫监测预警方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图5，图5为本发明粮仓害虫监测预警装置第一实施例的结构框图。

如图5所示，本发明实施例提出的粮仓害虫监测预警装置包括：

图像获取模块10，用于获取目标监测图像。

物体识别模块20，用于识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标。

坐标确定模块30，用于获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标。

图像分割模块40，用于根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像。

害虫识别模块50，用于根据所述目标物体多角度图像识别所述目标物体的害虫种类。

预警生成模块60，用于根据所述害虫种类生成害虫预警信息，并根据所述预警信息进行警报。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例通过获取目标监测图像；识别目标监测图像中的目标物体，并确定目标物体在所述目标监测图像中的第一坐标；获取参考监测图像，并基于摄像头标定参数以及第一坐标确定目标物体在参考监测图像中的第二坐标；根据第一坐标以及第二坐标，分割目标监测图像以及参考监测图像，得到目标物体多角度图像；根据目标物体多角度图像识别目标物体的害虫种类；根据所述害虫种类生成害虫预警信息，并根据预警信息进行警报。通过上述方式，分析监测图像中是否存在移动物体判断是否有害虫，并通过害虫各个角度的图像识别出害虫的种类，并及时预警，从而避免因害虫爆发造成的粮食浪费。

在一实施例中，所述物体识别模块20，还用于获取所述目标监测图像的相邻帧图像；将所述相邻帧图像与所述目标监测图像进行像素比对；在所述相邻帧图像与所述目标监测图像之间存在差别像素点时，认定所述目标监测图像中存在目标物体，并确定所述差别像素点的图像坐标；根据所述图像坐标确定平均图像横坐标，并根据所述图像坐标确定平均图像纵坐标；根据所述平均图像横坐标以及所述平均图像纵坐标确定第一坐标。

在一实施例中，所述图像分割模块40，还用于获取预设像素范围；以所述第一坐标为中心基于所述预设像素范围分割所述目标监测图像，得到第一角度分割图像；以所述第二坐标为中心基于所述预设像素范围分割所述参考监测图像，得到第二角度分割图像；根据所述第一角度分割图像以及所述第二角度分割图像生成多角度分割图像；将所述多角度分割图像转换为二值化多角度分割图像；确定所述二值化多角度分割图像中各像素的像素值；根据所述像素值将所述二值化多角度分割图像分割为目标物体多角度图像。

在一实施例中，所述害虫识别模块50，还用于将所述目标物体多角度图像输入至角度分类模型中，得到角度分类结果；将所述目标物体多角度图像输入至所述角度分类结果对应的害虫识别模型中，得到害虫识别结果；根据所述害虫识别结果确定害虫种类。

在一实施例中，所述害虫识别模块50，还用于根据所述害虫识别结果确定所述目标物体在各角度对应的害虫种类概率；将各角度害虫种类概率大于概率阈值的害虫种类作为待确定害虫种类；确定所述待确定害虫种类对应各角度害虫种类概率的方差值；选择所述方差值中的最小方差值，并确定所述最小方差值对应的待确定害虫种类为害虫种类。

在一实施例中，所述预警生成模块60，还用于根据所述第一坐标以及第二坐标生成害虫轨迹；根据所述害虫轨迹确定害虫活动范围；根据所述害虫种类以及害虫活动范围生成害虫防治策略；根据所述害虫种类、所述害虫活动轨迹以及所述害虫防治策略生成害虫预警信息。

在一实施例中，所述坐标确定模块30，还用于获取目标摄像头拍摄标定物体的第一标定图像以及参考摄像头拍摄所述标定物体的第二标定图像；确定所述第一标定图像中所述标定物体的第一标定坐标；确定所述第二标定图像中所述标定物体的第二标定坐标；根据所述第一标定坐标以及所述第二标定坐标确定摄像头标定参数。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的粮仓害虫监测预警方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种粮仓害虫监测预警方法，其特征在于，所述粮仓害虫监测预警方法包括：

获取目标监测图像；

识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标；

获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标；

根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像；

根据所述目标物体多角度图像识别所述目标物体的害虫种类；

根据所述害虫种类生成害虫预警信息，并根据所述预警信息进行警报。

2.如权利要求1所述的方法，其特征在于，所述识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标的步骤，包括：

获取所述目标监测图像的相邻帧图像；

将所述相邻帧图像与所述目标监测图像进行像素比对；

在所述相邻帧图像与所述目标监测图像之间存在差别像素点时，认定所述目标监测图像中存在目标物体，并确定所述差别像素点的图像坐标；

根据所述图像坐标确定平均图像横坐标，并根据所述图像坐标确定平均图像纵坐标；

根据所述平均图像横坐标以及所述平均图像纵坐标确定第一坐标。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像的步骤，包括：

获取预设像素范围；

以所述第一坐标为中心基于所述预设像素范围分割所述目标监测图像，得到第一角度分割图像；

以所述第二坐标为中心基于所述预设像素范围分割所述参考监测图像，得到第二角度分割图像；

根据所述第一角度分割图像以及所述第二角度分割图像生成多角度分割图像；

将所述多角度分割图像转换为二值化多角度分割图像；

确定所述二值化多角度分割图像中各像素的像素值；

根据所述像素值将所述二值化多角度分割图像分割为目标物体多角度图像。

4.如权利要求1所述的方法，其特征在于，所述根据所述目标物体多角度图像识别所述目标物体的害虫种类的步骤，包括：

将所述目标物体多角度图像输入至角度分类模型中，得到角度分类结果；

将所述目标物体多角度图像输入至所述角度分类结果对应的害虫识别模型中，得到害虫识别结果；

根据所述害虫识别结果确定害虫种类。

5.如权利要求4所述的方法，其特征在于，所述根据所述害虫识别结果确定害虫种类的步骤包括：

根据所述害虫识别结果确定所述目标物体在各角度对应的害虫种类概率；

将各角度害虫种类概率大于概率阈值的害虫种类作为待确定害虫种类；

确定所述待确定害虫种类对应各角度害虫种类概率的方差值；

选择所述方差值中的最小方差值，并确定所述最小方差值对应的待确定害虫种类为害虫种类。

6.如权利要求1所述的方法，其特征在于，根据所述害虫种类生成害虫预警信息的步骤，包括：

根据所述第一坐标以及第二坐标生成害虫轨迹；

根据所述害虫轨迹确定害虫活动范围；

根据所述害虫种类以及害虫活动范围生成害虫防治策略；

根据所述害虫种类、所述害虫活动轨迹以及所述害虫防治策略生成害虫预警信息。

7.如权利要求1~6任一项所述的方法，其特征在于，所述获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标的步骤之前，还包括：

获取目标摄像头拍摄标定物体的第一标定图像以及参考摄像头拍摄所述标定物体的第二标定图像；

确定所述第一标定图像中所述标定物体的第一标定坐标；

确定所述第二标定图像中所述标定物体的第二标定坐标；

根据所述第一标定坐标以及所述第二标定坐标确定摄像头标定参数。

8.一种粮仓害虫监测预警装置，其特征在于，所述粮仓害虫监测预警装置包括：

图像获取模块，用于获取目标监测图像；

物体识别模块，用于识别所述目标监测图像中的目标物体，并确定所述目标物体在所述目标监测图像中的第一坐标；

坐标确定模块，用于获取参考监测图像，并基于摄像头标定参数以及所述第一坐标确定所述目标物体在所述参考监测图像中的第二坐标；

图像分割模块，用于根据所述第一坐标以及所述第二坐标，分割所述目标监测图像以及所述参考监测图像，得到目标物体多角度图像；

害虫识别模块，用于根据所述目标物体多角度图像识别所述目标物体的害虫种类；

预警生成模块，用于根据所述害虫种类生成害虫预警信息，并根据所述预警信息进行警报。

9.一种粮仓害虫监测预警设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的粮仓害虫监测预警程序，所述粮仓害虫监测预警程序配置为实现如权利要求1至7中任一项所述的粮仓害虫监测预警方法。

10.一种存储介质，其特征在于，所述存储介质上存储有粮仓害虫监测预警程序，所述粮仓害虫监测预警程序被处理器执行时实现如权利要求1至7任一项所述的粮仓害虫监测预警方法。

Images