CN110250123B - 基于图像识别的低密度储粮害虫实时监测系统 - Google Patents

Abstract

本发明公开了基于图像识别的低密度储粮害虫实时监测系统，涉及粮食害虫监测领域。包括诱捕装置、树莓派、云服务器和Web客户端四部分。树莓派控制诱捕装置采集害虫图像，进行图像处理与害虫计数之后，将处理后的图像和害虫数量传输到云服务器；云服务器对接收到的数据进行分离式存储；用户通过Web客户端从云服务器获取历史或实时害虫图像和数量。本发明提供的基于图像识别的储粮低密度虫害实时监测系统，具有系统硬件组成简单，害虫图像处理与害虫计数算法快捷简便，以及系统移动性和针对性强等优点。

Description

基于图像识别的低密度储粮害虫实时监测系统

技术领域

本发明涉及粮食害虫监测领域，尤其涉及基于图像识别的储粮低密度害虫实时监测系统。

背景技术

储粮害虫是造成粮食损失的主要原因之一，实时高效地获取虫情数据对于采取科学的防治措施具有重要价值。抽样法和筛选法等传统粮虫检测方法因操作繁琐，结果滞后，难以适应当前粮仓智能化发展需求。在新型粮虫检测技术中，基于图像识别的储粮害虫实时监测系统以其直观、高效、准确的特点备受关注。例如，专利号为201720468613.7公开了一种全自动储粮害虫诱捕检测系统，在粮仓内放置害虫捕捉器，通过选通装置将捕捉器中的害虫吸出进行仓外检测，实现了储粮害虫的自动检测，但系统硬件组成复杂，且监测结果仍存在滞后性；专利号为201721020363.7公开了一种储粮害虫诱捕系统，通过锥型诱捕器诱集粮虫，根据所采集图像的像素半径推算诱捕器中所有害虫的总质量，再除以单只害虫质量计算出害虫数量，系统的计数方法简单快速，但此种间接计数的方法在害虫数量较少的情况下误差较大；专利号为201710280906.7公开了一种粮仓内部害虫的机器视觉检测设备及计数方法，利用多个捕虫器插入粮堆对害虫进行诱捕，害虫进入捕虫器时将触发摄像头模块对其进行图像采集，图像数据通过无线传图模块先传至集中器再传输至远程的监控中心，实现了仓储人员对粮虫的在线监测，但监测端无法灵活移动，系统使用的便利性不高。

因此，目前基于图像识别的储粮虫害实时监测系统存在以下问题：

(1)监测系统硬件组成复杂。目前监测系统的采样流程和装置复杂，增加了系统的硬件组成，导致系统安装和维护的成本和难度增大，不利于系统的推广使用；数据存贮方式陈旧，仍使用物理服务器进行图像识别与数据存储，增加了硬件维护工作且容易出现内存过剩与不足的情况。

(2)系统图像处理与识别算法复杂。基于图像识别的监测系统采集粮虫图像的方式主要有：粮堆表面的视频采集，抽取粮食样品拍照采集，将诱捕器中害虫吸出仓外拍照采集，以及直接采集诱捕器中的害虫图像。前两种方法采集的粮虫图像中含有大面积谷物，后两种方法因诱捕器没有完全将谷物隔绝在诱捕装置外，也会使采集的粮虫图像中出现谷物颗粒。谷物颗粒的出现会增加图像背景的复杂度，对害虫造成遮挡，增加图像处理与识别的难度与时间。

(3)系统监测端移动性不足。目前监测系统的监测端需要通过安装固定程序才能使用，程序的安装、维护和升级都较为繁琐，且不同的终端需要程序版本不同，增加了程序开发的难度，限制了监测的灵活性和移动性。

(4)系统监测缺乏针对性。粮油储藏技术规范根据害虫密度将原粮划分为基本无虫粮、一般虫粮和严重虫粮三个等级。严重虫粮(害虫密度>30头/kg)治理成本高、难度大，所以对储粮低密度虫害(害虫密度≤5头/kg)进行监测，有利于仓储人员及时采集防治措施，节约防治成本。而目前没有针对低密度虫害的监测系统，监测范围宽泛，没有针对性。

发明内容

本发明的目的在提供一种基于图像识别的储粮低密度害虫实时监测系统，解决现有监测系统采集的害虫图像背景复杂，系统复杂、移动性和针对性不足等问题。

为了达到上述目的，本公开所采用的技术方案为：提供一种基于图像识别的储粮低密度害虫实时监测系统，其包括诱捕装置、树莓派、云服务器和Web客户端；所述诱捕装置与树莓派通过线缆连接，所述树莓派及Web客户端通过无线网络与云端服务器连接。树莓派控制诱捕装置采集害虫图像，进行图像处理之后，将处理后的图像和害虫数量传输到云端服务器。云服务器用于存储系统数据和响应Web客户端请求；Web客户端通过操作界面实现与用户的交互，用户能获取实时粮虫数据进行相关参数设置。

其中所述的诱捕装置主要由采集图像的摄像头模块、提供光源的LED灯、带孔金属管、螺纹接头和落虫底座组成。摄像头模块固定在诱捕装置的上方，镜头与落虫底座平行。LED灯安装在摄像头周围，为图像采集提供均匀充足的光线，便于摄像头获得清晰高质量图像。带孔金属管的孔径小于谷物最大直径，能有效的防止谷物落入诱捕器，降低图像背景复杂度。螺纹接头用于带孔金属管与底座的连接与分离，便于监测结束后对诱捕装置中的害虫进行清理，方便诱捕装置的循环使用。落虫底座的形状为圆锥形，能减少诱捕装置插入粮堆的阻力，减少杂质落入诱捕装置的几率。

其中所述的树莓派：基于Linux编程的树莓派(英文名为“Raspberry Pi”)微型电脑模块主要有控制、处理、传输这三项功能。控制功能主要是控制诱捕装置中摄像头模块采集害虫图像，在图像采集时点亮LED灯，图像采集结束后熄灭LED灯；处理功能主要是对采集的害虫图像进行图像处理与计数；传输功能是将处理过的图像和得到的害虫数量传输至云端服务器。

其中所述的树莓派进行图像处理与害虫计数，按照下述步骤进行：

①对采集的原始图像进行剪裁；

②进行灰度化处理；

③对图像进行滤波处理；

④背景分割；

⑤形态学处理；

⑥计算像素面积大于一定值的物体的离心率，并对离心率进行排序；

⑦统计步骤⑥中离心率在设定范围内的物体的个数，得到害虫数量。

其中所述的云服务器：采用云服务器存储系统数据，实现图像数据与其它数据的分离式存储，并充当Web服务器，响应客户端的请求，配合Web客户端实现对粮仓虫害的移动监测。

其中所述的Web客户端：Web客户端分为用户登录、粮仓监测、参数设置三大操作界面。其中用户登录界面主要负责校验用户的身份权限，验证其用户账号与密码是否正确，确保系统安全；粮仓监测界面用于查询历史害虫图像与数据，查看害虫数量变化趋势，获取当前害虫图像与数据；参数设置界面用于设置图像采集时间与历史图像保留时间，调整害虫数量超标警示值、增减监测的粮仓和诱捕器个数。

本发明的有益效果是：本发明的基于图像识别的储粮低密度害虫实时监测系统，通过对诱捕装置的设计有效的防止谷物落入诱捕器，降低了害虫图像背景复杂度；在此基础上通过图像预处理与物体离心率的计算实现了对害虫的计数，缩短了系统处理的时间和计算量，保证了结果的实时性；利用云服务器与Web客户端的设计大幅度的简化了系统硬件组成，提高了监测系统的移动性和灵活性。

附图说明

图1是本发明所涉一种基于图像的储粮害虫监测系统的整体架构示意图；

图2是本发明一实施例中诱捕装置的结构示意图；图中：1.防尘塞；2.管帽；3.螺栓；4.摄像头模块；5.LED灯；6.带孔金属管；7.内牙接头；8.外牙接头；9.落虫底座。

图3是本发明一实施例中害虫计数方法的流程图；

图4用户登录界面；

图5粮仓监测界面。

具体实施方式

为了使本发明的目的、技术方案及效果更佳清楚、明确，现在结合附图对本发明作进一步详细的说明。

请参阅图1，本发明提供：一种基于图像识别的储粮低密度虫害实时监测系统，其包括诱捕装置、树莓派、云服务器和Web客户端。所述诱捕装置与树莓派通过线缆连接，所述树莓派及Web客户端通过无线网络与云端服务器连接。树莓派控制诱捕装置采集害虫图像，进行图像处理之后，将处理后的图像和害虫数量传输到云端服务器。云服务器用于存储系统数据和响应Web客户端请求；Web客户端通过操作界面实现与用户的交互，用户能获取实时粮虫数据进行相关参数设置。

图2是本发明一实施例中诱捕装置的结构示意图，如图2所示，该诱捕装置包括：防尘塞1、管帽2、螺栓3、摄像头模块4、LED灯5、带孔金属管6、内牙接头7、外牙接头8和落虫底部9。

所述防尘塞1用于隔绝灰尘，防治粮仓中的灰尘落入摄像头模块的控制板上；

所述管帽2和螺栓3用于将摄像头模块5固定在整个诱捕装置的上方，通过调整螺栓3使摄像头模块4的镜头与底座9平行；

所述摄像头模块4采用200万变焦摄像头；

所述LED灯5采用并联接法安装在摄像头两侧；

所述带孔金属管6的孔径为2mm，防止谷物落入诱捕装置中，降低图像背景复杂度；

所述内牙接头7和外牙接头8用于实现带孔金属管与落虫底座的连接与分离；

所述落虫底座9底部为圆锥形，圆锥角度为45°,能减少诱捕装置插入粮堆的阻力，避免采用左右摇晃的方式将诱捕装置插入粮堆，减少杂质落入诱捕装置的几率。

本发明一实施例中选用树莓派三代B+型控制诱捕装置，使用树莓派的GPIO接口控制LED灯，USB接口控制摄像头，WIFI无线网络传输数据。到设定的图像采集时间时，树莓派先控制LED灯点亮，当摄像头模块采集完图像后再控制LED灯熄灭，然后对图像进行预处理和害虫计数。

图3是本发明一实施例中图像处理与害虫计数方法的流程图具体步骤：对原始图像进行剪裁，采用G分量法进行灰度化处理，使用双边滤波去噪，采用直方图双峰法进行背景分割，使用开运算进行形态学处理，再计算出图像物体的离心率，并对离心率进行排序，得到一个数组e_i，在通过循环算法统计离心率大于0.20小于0.67的物体数量n，n即为图像中的害虫只数。

云服务器在亚马逊提供Elastic Compute Cloud上搭建,通过Node.js搭建JavaScript运行环境，采用Simple Storage Services存储图像数据，并在云主机上部署MongoDB作为数据库，通过云存储与云数据库的配合实现数据的存储与调用，采用JSON进行数据交换。

本发明一实施例中Web客户端使用方法如下：打开浏览器，输入网址进入登录界面，输入用户名和密码后进入操作界面。在参数设置界面可以将图像采集时间设置为每天8点；害虫数量超标警示值设置为10，安全值为5。进入查询界面，点击粮仓1中的诱捕器1即可看到该诱捕装置中每天8点时的害虫图像以及害虫数量，当害虫数量超过警示值10时数值显示为红色，当数值小于安全值5时数值颜色显示为绿色，当数值介于10与5之间数值颜色为黄色，通过颜色的区别达到提醒用户的目的；可以点击“趋势线”来查看该诱捕装置中害虫数量随时间的增长趋势；在查询界面还可以点击“拍照”来获取实时的害虫图像和数据。

实施例1

使用该系统对虫害感染密度为5头/kg的稻谷进行监测。在该实例中使用一个3代B+型树莓派控制三个诱捕装置进行害虫监测。输入Web客户端网址，进入如图4所示的用户登录界面。输入账号和密码后，进入参数设置页面，将图像采集时间设置为每15min一次，历史图像保留时间设置为一周，并添加3个诱捕装置。将三个诱捕装置插入粮堆后再与树莓派进行连接，连接成功后系统开始运行。

系统运行时，可以进入如图5所示的粮仓监测界面，对害虫情况进行监测。该页面左边显示在粮仓1中放置了3个诱捕装置，点击诱捕装置1则可以再页面右边看到该诱捕装置最新采集的六张害虫图像，图像上方显示了该图像中的害虫数量与采集时间。可以通过“update”按钮对采集的图像进行更新，“previous”和“next”按钮用于历史图像库的前后翻看。点击“Takepicture”即可采集到当前时刻的害虫图像与其对应的害虫数量。

该虫害密度下，诱捕装置1、2、3捕获第一头害虫的时间均为15min。诱捕装置1、2、3在24h内捕获的害虫总数分别为25、27、25，分别占稻谷害虫总数的62.50％、67.50％、62.50％。统计了系统对诱捕装置1在24h内采集的96张害虫图像的计数结果，并人工识别出96张图像中的害虫数量，通过下式计算出系统计数的准确率为92.48％。

式中Y为系统计数准确率，A为系统对一张图像识别出的害虫数(头)，B为人眼对一张图像计数得出的害虫数(头)。

Claims (1)

1.一种基于图像识别的低密度储粮虫害实时监测系统，其特征是，包括诱捕装置、树莓派、云服务器和Web客户端四部分；

所述诱捕装置插入粮堆中，通过摄像头模块与光源配合采集害虫图像；

所述树莓派具有控制诱捕装置、图像处理与害虫计数、传输数据的功能，其中害虫计数的核心是利用害虫与其它物体间的离心率差异进行区分计数；

所述云服务器主要包括数据接收模块和数据存储模块，实现图像数据与其它数据的分离式存储，并充当Web服务器，响应客户端的请求；

所述Web客户端具有用户登录、粮仓监测、参数设置三大界面；

所述诱捕装置由防尘塞、管帽、螺栓、摄像头模块、LED灯、带孔金属管、内牙接头、外牙接头和落虫底座组成；

所述摄像头模块采用变焦摄像头，镜头平行于落虫底座，在帧率大于等于30fps下采集图像；

所述LED灯采用并联接法安装在摄像头两侧；

所述带孔金属管的孔径为2mm；

所述落虫底座表面为白色，外型为圆锥形，圆锥角度为45°；

采用树莓派的GPIO接口控制LED灯，USB接口控制摄像头模块，WIFI无线网络传输数据至云服务器，采用Python语言编程实现对图像处理与害虫计数，所述图像处理与害虫计数包括以下步骤：

①对采集的原始图像进行剪裁；

②进行灰度化处理；

③对图像进行滤波处理；

④背景分割；

⑤形态学处理；

⑥计算像素面积大于一定值的物体的离心率，并对离心率进行排序；

⑦统计步骤⑥中离心率在设定范围内的物体的个数，得到害虫数量；

云服务器在亚马逊提供的Elastic Compute Cloud上搭建,通过Node.js搭建JavaScript运行环境，采用Simple Storage Services存储图像数据，并在云主机上部署MongoDB作为数据库，通过云存储与云数据库的配合实现数据的存储与调用，采用JSON进行数据交换；

所述Web客户端中用户登录界面主要负责校验用户的身份权限，验证其用户账号与密码是否正确，确保系统安全；粮仓监测界面用于查询历史害虫图像与数据，查看害虫数量变化趋势，获取当前害虫图像与数据；参数设置界面用于设置图像采集时间与历史图像保留时间，调整害虫数量超标警示值、增减监测的粮仓和诱捕器个数；

能够针对低密度虫害感染进行监测。

Images