CN112598663B

CN112598663B - 基于视觉显著性的粮食害虫检测方法和装置

Info

Publication number: CN112598663B
Application number: CN202011618526.8A
Authority: CN
Inventors: 于俊伟; 李欣欣; 张自豪; 李�浩; 郭倩倩; 李阳; 王贵财
Original assignee: Henan University of Technology
Current assignee: Henan University of Technology
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2022-10-04
Anticipated expiration: 2040-12-30
Also published as: CN112598663A

Abstract

本公开提供了一种基于视觉显著性的粮食害虫检测方法和装置，所述方法包括：获取当前待检测图像；将所述当前待检测图像输入到预先训练的粮食害虫检测模型中，输出粮食害虫的视觉显著图，其中，所述粮食害虫检测模型为反向级联特征聚合神经网络，包括骨干网络、串联空洞卷积模块和反向特征聚合模块。本发明将视觉显著性用于粮食害虫等小目标检测，通过级联空洞卷积模块增大卷积感受野，通过反向级联特征聚合模块增强和丰富显著小目标的特征表示，使得粮食害虫的检测结果更为精确。

Description

基于视觉显著性的粮食害虫检测方法和装置

技术领域

本公开的实施例一般涉及图像处理技术领域，并且更具体地，涉及基于视觉显著性的粮食害虫检测方法和装置。

背景技术

储粮害虫因取食、呼吸、排泄、繁殖等活动，对粮食储藏带来损坏、结露、霉变等多种危害。据统计，世界上每年仅由虫害造成的储粮损失约占粮食总产量的10％左右。因此，进行储粮害虫的快速检测和有效控制，是降低粮食储藏损失和保证国家粮食安全的重要途径。

人和鸟类通过简单的扫视就能发现粮食中的害虫，这种从场景中快速搜索和定位感兴趣目标、自动估计场景中最受关注区域的方式就称为视觉显著性分析。对粮食害虫图像进行显著性分析，有利于快速而准确地确定粮食中有无害虫及害虫所在的区域。随着深度学习技术的快速发展，卷积神经网络能够获得更丰富的图像特征，在目标检测、图像识别、语义分割等任务中取得了较好的应用，相关方法较传统图像处理方法在性能上也有很大提高。

现有的视觉显著性检测模型及数据集，一般假定图像中有一个或两个较大的显著目标，没有考虑图像中没有显著目标的情况，当目标尺度较小或者目标数量增多时，这些模型的性能会显著下降。由于粮虫种类多、体形小、形态结构复杂，粮食图像背景复杂多样，很多情况下是未感染害虫的纯粮食背景图像，因此需要设计更可靠的小目标显著性检测方法，提高粮虫视觉检测方法的鲁棒性和适应性。

发明内容

根据本公开的实施例，提供了一种基于视觉显著性的粮食害虫检测方法，提高了图像中小目标的多尺度表达能力，从而能够更精确地从粮食背景图像中识别有无害虫并定位害虫所处的区域。

在本公开的第一方面，提供了一种基于视觉显著性的粮食害虫检测方法，包括：

获取当前待检测图像；

将所述当前待检测图像输入到预先训练的粮食害虫检测模型中，输出粮食害虫的视觉显著图，其中，所述粮食害虫检测模型为反向级联特征聚合神经网络，包括骨干网络、串联空洞卷积模块和反向特征聚合模块。

在一些实施例中，所述粮食害虫显著性检测模型通过以下方式训练得到：

将训练样本输入预先建立的反向级联特征聚合神经网络模型中，模型骨干网络有五个卷积单元，输出5组多通道特征图；骨干网络第3层至第5层的输出特征经串联空洞卷积模块扩大感受野；反向特征聚合模块将经上述级联空洞卷积后的高层特征与骨干网络的低层(第1层和第2层)输出特征进行聚合，高层特征经上采样和卷积操作向低层映射，反向映射特征与骨干网络对应层输出特征按位相乘，生成增强特征图，然后将所述增强特征图与反向映射特征进行拼接，生成聚合特征图；最后一层聚合特征经1ⅹ1卷积运算得到视觉显著图；

根据二元交叉熵损失函数确定所述视觉显著图相对基准图的损失，根据误差反向传播机制对所述粮食害虫显著性检测模型进行参数调整；

重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能下降时使用提前停止策略，完成对粮食害虫检测模型的训练。

在一些实施例中，还包括：

在对所述粮食害虫显著性检测模型的训练过程中，对训练样本进行小角度旋转、随机翻转和平移中的一种或多种操作，增大训练样本的数据量。

在一些实施例中，所述串联空洞卷积模块中每一层通过设置不同的空洞率参数，能够获取目标的多尺度信息。

在一些实施例中，所述空洞率参数采用三元质数组，用于避免网格效应。

在一些实施例中，所述特征聚合模块从所述串联空洞卷积层的最后一层逐级反向进行上采样和卷积组合操作，上采样和卷积组合操作的次数与层级之间的距离成正比。

在本公开的第二方面，提供了一种基于视觉显著性的粮食害虫检测装置，包括：

输入模块，用于获取当前待检测图像；

图像处理模块，用于将所述当前待检测图像输入到预先训练的粮食害虫检测模型中，输出粮食害虫的视觉显著图，其中，所述粮食害虫检测模型为反向级联特征聚合神经网络，包括骨干网络、串联空洞卷积模块和反向特征聚合模块；

输出模块，用于显示粮食害虫的视觉显著图。

在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

通过本公开的基于视觉显著性的粮食害虫检测方法，能够提高粮食害虫等小目标的显著性检测精度，从而快速确定粮食中有无害虫，并精确定位害虫所处的区域。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开实施例一的基于视觉显著性的粮食害虫检测方法的流程图；

图2示出了本公开实施例二的粮食害虫显著性检测模型的结构示意图；

图3示出了本公开实施例三的串联空洞卷积模块结构示意图；

图4示出了本公开实施例四的基于视觉显著性的粮食害虫检测装置的结构示意图；

图5示出了本公开实施例五的基于视觉显著性的粮食害虫检测电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本公开实施例的方法，用于进行粮食中的害虫检测。作为本公开的一个实施例，所述方法可以包括以下步骤：

S101：获取当前待检测图像。

本实施例的基于视觉显著性的粮食害虫检测方法，用于对粮食背景图像中的害虫进行检测时，首先需要获取待检测的图像。通常情况下，所述当前待检测图像为包括害虫在内的粮食图像，当然，在实际粮食检测过程中有很多是未感染害虫的粮食，自然场景中也存在很多没有显著目标的情况，因此所述当前待检测图像也可能是纯粮食背景图像。

S102：将所述当前待检测图像输入到预先训练的粮食害虫检测模型中，经过卷积神经网络、级联空洞卷积和反向特征聚合等运算。其中，所述粮食害虫检测模型为反向级联特征聚合神经网络，包括骨干网络、串联空洞卷积模块和反向特征聚合模块。

S103：得到粮食害虫的视觉显著图。

深度学习模型需要从大量数据中学习到有用的知识，因此，数据集的质量决定了模型能够学到的知识水平。现有视觉显著性数据集如ECSSD、HKU-IS、MSRA-B、DTUS-TR等，假设图像中只包含一个或两个较大的显著目标，而且目标大多在在图像的中心。现有数据集与粮食检测场景图像背景多样、目标尺度较小、粮虫数量变化范围较大等特点不符，因此有必要设计专门的数据集(即粮食害虫检测模型的训练样本)。

训练样本图像背景可以是小麦、玉米、大米等粮食，害虫目标包括玉米象、麦蛾、谷蠹、玉米螟等多种粮食害虫。由于实际检测中很多粮食是未感染虫害的，因此数据集还包含了部分不含害虫目标的纯粮食背景图像。显著目标基准图借助图像处理软件进行像素级手工标注，用基准图中目标在图像中的面积占比R来描述物体大小。

其中，W,H分别表示图像的宽和高，pix(x,y)＝1表示该像素属于显著目标。

根据目标在图像中的面积占比R，将显著目标大小划分为五个等级：H₁(R≤0.3％)、H₂(0.3％＜R≤10％)、H₃(10％＜R≤20％)、H₄(20％＜R≤30％)、H₅(R＞30％)。H₁级表示没有显著目标，H₂级表示小目标，H₃级表示中等目标，H₄级表示中等偏大目标，H₅级别表示大目标。

本发明实施例精心搜集并标注了粮虫数据集，其中没有显著目标的图像占比为16％，小目标的图像占比为57.4％，可见粮食害虫数据集是典型的小目标数据集。常见显著性检测数据集与本发明实施例的目标大小属性分布对比如表1所示。

表1

数据集	H<sub>1</sub>	H<sub>2</sub>	H<sub>3</sub>	H<sub>4</sub>	H<sub>5</sub>
						DTUS-TR	0.02％	11.72％	25.16％	24.19％	38.91％
ECSSD	0	15.4％	32.6％	24.4％	27.6％
						HKU-IS	0.05％	22.07％	35.5％	26.52％	15.86％
MSRA-B	0	14.24％	38.0％	28.52％	19.24％
						本发明实施例	16％	57.4％	22.6％	3.2％	0.8％

为了提高粮食害虫这种小目标的检测效果，重点在于目标的多尺度特征表示和上下文信息融合方法。粮食害虫尺度较小，很多害虫和粮食颗粒大小差不多。另外，由于害虫伪装、保护色等特性，造成害虫与粮食具有近似的颜色和形状，这些都给粮虫检测带来很大困难。针对这种情况，本发明提出了粮食害虫显著性检测模型，用于对粮食背景图像中的害虫进行检测。

所述粮食害虫显著性检测模型通过以下方式训练得到：

将训练样本输入预先建立的反向级联特征聚合神经网络模型中，经S102所述的分层卷积、空洞卷积和特征聚合等操作生成视觉显著图，采用二元交叉熵损失函数衡量视觉显著图与基准图之间的误差，根据误差反向传播机制对所述粮食害虫检测模型进行参数调整。重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时使用提前停止策略，完成对粮食害虫检测模型的训练。

如图2所示，为本发明实施例二的粮食害虫检测模型的结构示意图。本实施例的粮食害虫检测模型，包括：骨干网络、串联空洞卷积模块和特征聚合模块。其中，骨干网络可以是VGG、ResNet等经典网络结构，骨干网络分为5层，每层都由一组二维卷积、ReLU激活和平均池化等神经网络序列组成。图2中的X1至X5即为骨干网络5个卷积单元。

骨干网络的卷积和池化操作会造成图像分辨率逐层下降，如果直接对深层特征进行上采样或反卷积操作，得到的结果是很粗糙的，会使分割图像失去很多细节。因此需要将网络不同层的输出结果进行聚合，同时兼顾高层语义信息和低层的结构信息。为了得到与原图像等大小的分割图，需要逐级反向进行上采样和卷积操作，上采样组合操作的次数与层级之间的距离成正比，例如将第5层特征映射到第3层，就需要进行两次上采样和卷积的组合操作。反向级联特征聚合包括两个主要操作：特征增强和特征聚合。特征增强是通过乘法运算来突出各层都比较显著的结果，主干网络各层输出结果先反向映射到较低层级，将主干网络各层的输出结果与高层到该层的反向映射结果按位相乘，形成增强的特征图。特征聚合是将高层向低层的映射结果与该层的增强特征拼接在一起，形成信息更丰富的特征组合。

显著性检测主要是判断像素是否属于显著目标，最后生成的特征图是目标属于显著目标的概率图。为了使网络结构更简单，这里只对反向级联最后一层聚合特征进行二元交叉熵损失度量，而不像其他模型那样采用低层结构特征和高层语义特征都进行损失度量的双分支结构，也不需要添加边缘保持损失函数。

图3示出了本公开实施例三的串联空洞卷积模块结构示意图。为了提高小目标的检测效果，采用串联空洞卷积模块进行目标多尺度表示和上下文信息融合。所述串联空洞卷积模块先通过1×1卷积将骨干网络高层输出特征进行通道降维，作为后继空洞卷积和特征聚合的基础特征，通道降维能够减少模型参数和计算量。3组空洞卷积层用于增大卷积的感受野，丰富小目标的多尺度特征表示。空洞率参数选择[3，5，7]这样没有大于1的公约数的三元质数组组合，能够有效避免网格效应。将三个空洞卷积层逐步串联，能够模拟人类扫视、搜索、聚焦的视觉过程。将空洞卷积各层输出特征聚合，再加入原通道降维形成的基础特征，整体通过ReLU激活函数获得图像特征。

下面通过具体实验例对本公开的效果作进一步描述。

在本实验例中，使用Python编程语言在Pytorch平台上构建粮食害虫深度学习模型，硬件环境为Intel Core i7-8700 CPU@3.20GHz×6和GeForce GTX TITAN X，经过30轮训练就能得到很好的精度。在粮虫数据集和公开的MSRA-B数据集上进行对比实验，随机选择数据集中80％的图像作为训练集，20％的图像作为测试集。将测试集图像输入训练好的模型，得到的显著图与基准图进行对比，分析Smeasure(结构度量)、MAE(平均绝对误差)、Fmeasure等评价指标，本发明与目前先进的显著性检测算法PFA、DHS、DSS的对比结果如表2所示。

表2

通过实验例可以看出，粮食害虫显著性检测模型结构简单，几乎各个评价指标都优于现有模型。本发明方法在只使用较少参数量的情况下，能够提高粮食背景图像中小目标的检测精度，适用于背景复杂、目标多样的粮食害虫检测等实际应用场景。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

图4所示，为本公开实施例四的基于视觉显著性的粮食害虫检测装置的结构示意图。本实施例的基于视觉显著性的粮食害虫检测装置，包括：

输入模块401，用于获取当前待检测图像；

图像处理模块402，用于将当前待检测图像输入到预先训练的粮食害虫检测模型中，输出粮食害虫的视觉显著图，其中，所述粮食害虫检测模型为反向级联特征聚合神经网络，包括骨干网络、串联空洞卷积模块和反向特征聚合模块；

输出模块403，用于显示粮食害虫的视觉显著图。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图5示出了本公开实施例五的基于视觉显著性的粮食害虫检测设备的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统包括中央处理单元(CPU)501，其可以基于存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也基于需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，基于需要安装在驱动器510上，以便于从其上读出的计算机程序基于需要被安装入存储部分508。

特别地，基于本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

本公开中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种基于视觉显著性的粮食害虫检测方法，其特征在于，包括：

获取当前待检测图像；

将所述当前待检测图像输入到预先训练的粮食害虫检测模型中，输出粮食害虫的视觉显著图，其中，所述粮食害虫检测模型为反向级联特征聚合神经网络，包括骨干网络、串联空洞卷积模块和反向特征聚合模块；所述粮食害虫显著性检测模型通过以下方式训练得到：

将训练样本输入预先建立的反向级联特征聚合神经网络模型中，模型骨干网络有五个卷积单元，输出5组多通道特征图；骨干网络第3层至第5层的输出特征经串联空洞卷积模块扩大感受野；反向特征聚合模块将经级联空洞卷积后的高层特征与骨干网络的低层输出特征进行聚合，高层向低层的映射特征与骨干网络对应层输出特征按位相乘，生成增强特征图，然后将所述增强特征图与反向映射特征进行拼接，生成聚合特征图；最后一层聚合特征经1ⅹ1卷积运算得到视觉显著图；

2.根据权利要求1所述的基于视觉显著性的粮食害虫检测方法，其特征在于，还包括：

在对所述粮食害虫检测模型的训练过程中，对训练样本进行小角度旋转、随机翻转和平移中的一种或多种操作，增大训练样本的数据量。

3.根据权利要求1所述的基于视觉显著性的粮食害虫检测方法，其特征在于，所述串联空洞卷积模块中通过设置不同的空洞率参数，能够获取目标的多尺度信息。

4.根据权利要求3所述的基于视觉显著性的粮食害虫检测方法，其特征在于，所述空洞率参数采用三元质数组，用于避免网格效应。

5.根据权利要求1所述的基于视觉显著性的粮食害虫检测方法，其特征在于，所述反向特征聚合模块通过上采样和卷积组合操作将高层特征向低层反向映射，上采样和卷积组合操作的次数与层级之间的距离成正比。

6.一种基于视觉显著性的粮食害虫检测装置，其特征在于，包括：

输入模块，用于获取当前待检测图像；

输出模块，用于显示粮食害虫的视觉显著图；

所述粮食害虫显著性检测模型通过以下方式训练得到：

7.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～5中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～5中任一项所述的方法。