CN112598664B - 基于视觉显著性的虫粮等级判定方法和装置 - Google Patents

Abstract

本发明提供了一种基于视觉显著性的虫粮等级判定方法和装置。所述方法包括：获取当前待检测图像；将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强、骨干网络、级联空洞卷积和特征聚合模块，数量估计分支在骨干网络后增加自适应平均池化层和全连接层；将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。以此方式，提高了粮食害虫等小目标的显著性检测和数量估计精度，能快速确定粮食中有无害虫以及害虫数量，进而能够判定待检测粮食的虫粮等级。

Description

基于视觉显著性的虫粮等级判定方法和装置

技术领域

本发明涉及图像处理技术领域，并且更具体地，涉及基于视觉显著性的虫粮等级判定方法和装置。

背景技术

粮食是人类和大多数家畜的主要食物来源，每年因储粮害虫啃食、排泄、繁殖等活动造成的粮食产后损失约占粮食总产量的10％左右。为了采取适当的措施降低粮食储藏损失，在粮食存储和生产加工过程中需要及早发现粮食中的害虫，并进行粮食害虫密度检测和虫粮等级判定。

国家标准“粮油储藏技术规范”指出，粮食中的主要害虫包括玉米象、米象、谷蠹、大谷盗、麦蛾、印度谷蛾等十种。根据粮食中的主要害虫密度可将粮食划分为“基本无虫粮”、“一般虫粮”和“严重虫粮”。其中，基本无虫粮的主要害虫密度≤2(头/kg)，一般虫粮的主要害虫密度为3～10(头/kg)、严重虫粮的主要害虫密度>10(头/kg)。由此可知，快速准确地获得检测样本中的害虫数量对虫粮等级判定非常重要。

目前粮食害虫检测需要在粮仓的多个位置进行扦样，对每个扦样点的样品进行筛检，然后清点害虫数量，进而确定粮食害虫密度和虫粮等级。这种检测方法需要花费大量时间和人工，难以适应现代化的储粮需求。随着光学传感、电磁感应、图像处理、计算机视觉和机器学习等新兴技术的发展，使得基于视觉的方法在粮食害虫检测和识别中也得到了应用。

现有的粮虫检测和识别方法，有的注重图像颜色、边缘、纹理等特征提取，然后进行粮虫定位和检测；有的通过区域增长、阈值分割等方法获得粮虫区域的分割；还有的利用多种粮虫图像特征训练神经网络、支持向量机以获得粮虫的类别识别。但是，由于粮虫种类多、体形小、形态结构复杂，再加上储粮因品种、等级、杂质、残缺等影响，使得现有方法多是在特定实验环境下针对某种确定的粮虫设计的，很难推广到环境复杂的粮库实际应用中，因此需要提高粮虫视觉检测方法的鲁棒性和适应性。

由于储粮害虫目标较小，粮食图像背景复杂多样，现有的方法对小尺度目标的检测精度都偏低，不利于从粮食图像中识别出害虫。

发明内容

根据本发明的实施例，提供了一种基于视觉显著性的虫粮等级判定方法，能够提高粮食害虫显著性检测精度，同时还能够识别图像中害虫的数量，进而根据害虫密度确定虫粮等级。

在本发明的第一方面，提供了一种基于视觉显著性的虫粮等级判定方法，包括：

基于视觉显著性的虫粮等级判定方法，其特征在于，包括：

获取当前待检测图像；

将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；

将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。

在一些实施例中，所述粮食害虫显著性检测和数量估计模型通过以下方式训练得到：

将标注好的训练样本输入到预先建立的神经网络模型中，模型经两个分支进行视觉显著特征提取和害虫数量分类，输出视觉显著图和害虫数量；

采用二元交叉熵衡量视觉显著图与基准图之间的误差，采用多分类交叉熵衡量害虫目标的计数误差，将上述两个分支的交叉熵损失之和作为模型整体误差，根据误差反向传播机制对所述神经网络模型的参数进行调整；

重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时，完成对所述粮食害虫显著性检测和数量估计模型的训练。

在一些实施例中，所述颜色空间增强层用于将原始图像转换为RGB、HSV、Lab或YUV颜色空间。

在一些实施例中，所述级联空洞卷积层由三个空洞卷积层串联，每一层设置不同的空洞率参数，用于获取目标的多尺度信息，其中所述空洞率参数采用三元质数组。

在一些实施例中，所述反向特征聚合层用于通过特征增强和/或特征聚合方法将骨干网络层的高层语义特征与低层结构特征融合，高层语义特征通过上采样和卷积组合操作向与低层结构特征进行映射，上采样和卷积组合操作的次数与层级之间的距离成正比。

在一些实施例中，所述虫粮等级根据粮食害虫密度划分为基本无虫粮、一般虫粮和严重虫粮。

在本发明的第二方面，提供了一种基于视觉显著性的虫粮等级判定装置，包括：

图像获取模块，用于获取当前待检测图像；

图像识别模块，用于将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；

虫粮等级确定模块，用于将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。

在本发明的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

通过本发明的基于视觉显著性的虫粮等级判定方法，能够提高粮食害虫等小目标的显著性检测精度，从而快速确定粮食中有无害虫以及害虫的数量，进而能够判定待检测粮食的虫粮等级。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本发明实施例一的基于视觉显著性的虫粮等级判定方法的流程图；

图2示出了本发明实施例二的粮食害虫显著性检测和数量估计模型的结构示意图；

图3示出了本发明实施例三的粮食害虫视觉显著性检测和数量估计模型的级联空洞卷积模块的结构示意图；

图4示出了本发明实施例四的基于视觉显著性的虫粮等级判定装置的结构示意图；

图5示出了本发明实施例五的基于视觉显著性的虫粮等级判定方法电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明实施例的方法，用于对粮食背景图像中的害虫进行监测，快速识别图像中的显著目标及其数量，进而判定虫粮所属的等级。作为本发明的一个实施例，所述基于视觉显著性的虫粮等级判定方法的流程如图1所示，具体包括以下步骤：

S101：获取当前待检测图像。

当利用本实施例的方法对粮食图像进行检测时，首先需要获取待检测的图像。通常情况下，所述当前待检测图像为包括害虫影像在内的粮食背景影像。当然，在实际应用过程中，有很多粮食是未感染害虫的，粮食图像中的害虫数量为零，因此，在本申请的实施例中，在训练粮食害虫检测和数量估计模型的过程中，采用了部分无害虫影像的粮食背景图像。关于粮食害虫显著性检测和数量估计模型的训练过程参见后续内容，本部分重点针对所述发明方法的流程进行说明。

S102：将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出粮食图像的视觉显著图和害虫数量。其中，所述粮食害虫显著性检测和数量估计模型为双分支网络，其中显著性检测分支包括颜色空间增强模块、骨干网络、级联空洞卷积模块和反向特征聚合层；害虫数量估计分支又包括自适应平均池化层和全连接层。

S103：根据害虫数量确定粮食害虫密度，进行虫粮等级判定。

在输出粮食图像的视觉显著图和害虫数量之后，根据所测量粮食样本的质量，折算成“粮油储藏技术规范”标准中规定的害虫密度(每千克粮食中的害虫数量)。根据害虫密度判定虫粮等级：基本无虫粮(≤2头/kg)、一般虫粮(3～10头/kg)和严重虫粮(>10头/kg)。

所述粮食害虫检测模型通过以下方式训练得到：

将训练样本输入预先建立的粮食害虫显著性检测和数量估计模型中，经S102所述的颜色空间增强、分层卷积、级联空洞卷积、反向特征聚合和全连接等操作，生成视觉显著图和粮食害虫数量。视觉显著图用来判断图像中的像素是否属于显著目标，采用二元交叉熵损失函数衡量视觉显著图与基准图之间的误差。粮食害虫数量估计本质上属于多分类问题，将图像分类为[0,1,2,3,…]中的某个数值标签，可以采用交叉熵损失函数进行误差估计。综合上述两个分支任务的损失作为模型整体误差，根据误差反向传播机制对所述粮食害虫显著性检测和数量估计模型进行参数调整。重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时使用提前停止策略，完成对粮食害虫显著性检测和数量估计模型的训练。

在对所述粮食害虫检测模型的训练过程中，可以对训练样本进行小角度旋转、随机翻转和平移中的一种或多种操作，增大训练样本的数据量。

如图2所示，为本发明实施例二的粮食害虫显著性检测和数量估计模型的结构示意图。本实施例的粮食害虫显著性检测和数量估计模型，模型包括显著性检测和数量估计两个分支，其中显著性检测分支包括颜色空间增强模块、骨干网络、级联空洞卷积模块和反向特征聚合层；害虫数量估计分支又包括自适应平均池化层和全连接层。

颜色空间增强模块将原始图像转换为RGB、HSV、Lab和YUV等颜色空间，这些彩色模型与人类颜色视觉感知比较接近，在显示、打印和电视制式等多种系统中得到了验证。将输入图像进行颜色空间增强，丰富了输入图像的通道特征，能够提高模型特征表达能力和训练速度。

骨干网络可以是Xception、VGG、ResNet等经典网络结构，在本发明的实验例中，骨干网络采用Xception，它采用深度可分离卷积和残差结构，大大减少了模型参数量，方便在移动设备上进行部署。骨干网络有四个卷积单元，每个卷积单元由二维卷积、ReLU激活和池化等神经网络序列组成，输出4组多通道特征图，其中低层特征具有较好的边缘、位置等结构信息，高层特征具有较好的分割、分类等语义特征。骨干网络的高层语义特征经级联空洞卷积模块扩大感受野，能够提高粮虫小目标的多尺度特征表达能力。

反向特征聚合层将上述经级联空洞卷积后的高层特征与骨干网络的低层输出特征进行反向逐级聚合，得到的视觉显著图能兼顾高层语义信息和低层结构信息。为了得到与原图像等大小的分割图，需要逐级反向进行上采样和卷积操作，上采样组合操作的次数与层级之间的距离成正比，例如将第4层特征映射到第2层，就需要进行两次上采样和卷积的组合操作。直接对深层特征进行上采样或反卷积操作，得到的结果会失去很多细节，因此，反向级联特征聚合还需要两个重要操作：特征增强和特征聚合。特征增强是通过乘法运算来突出各层都比较显著的结果，主干网络各层输出结果先反向映射到较低层级，将主干网络各层的输出结果与高层到该层的反向映射结果按位相乘，形成增强的特征图。特征聚合是将高层向低层的映射结果与该层的增强特征拼接在一起，形成信息更丰富的特征组合。最后将聚合特征进行1ⅹ1卷积得到视觉显著图。

在数量估计分支中，将骨干网络最后一个卷积单元输出的特征图，经自适应平均池化层转换成一维向量，再与全连接层相连，经Softmax激活函数输出显著目标的数量。在本实施例中，假设将0.5kg粮食样本均匀铺开，获得待检测图像，显著目标的数量标签为[0,1,2,3,4,5,6]，其中标签0～5表示实际显著目标的数量，标签6表示多于5头害虫。再折算成“粮油储藏技术规范”标准中规定的害虫密度，则0.5kg粮食样本中害虫数量为0或1时为基本无虫粮，害虫数量为2～5时为一般虫粮，害虫数量标签为6时为严重虫粮。如果待测粮食为1kg时，则多于10头时都认为是严重虫粮，粮食质量为其他数据时则按比例进行折算。

图3示出了本发明实施例三的粮食害虫视觉显著性检测和数量估计模型的级联空洞卷积模块的结构示意图。所述串联空洞卷积模块先通过1×1卷积将骨干网络高层输出特征进行通道降维，作为后继空洞卷积和特征聚合的基础特征，通道降维能够减少模型参数和计算量。串联的空洞卷积层用于增大卷积的感受野，丰富小目标的多尺度特征表示。空洞率参数选择[3，5，7]这样没有大于1的公约数的三元质数组组合，能够有效避免网格效应。将三个空洞卷积层逐步串联，能够模拟人类扫视、搜索、聚焦的视觉过程。将空洞卷积各层输出特征聚合，再加入原通道降维形成的基础特征，整体通过ReLU激活函数获得图像特征图。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图4所示，为本发明实施例四的基于视觉显著性的虫粮等级判定装置的结构示意图。本实施例的基于视觉显著性的虫粮等级判定装置，包括：

图像获取模块401，用于获取当前待检测图像；

图像识别模块402，用于将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；

虫粮等级确定模块403，用于将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图5示出了本发明实施例五的基于视觉显著性的粮食害虫数量估计和虫粮等级判定设备的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统包括中央处理单元(CPU)501，其可以基于存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也基于需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，基于需要安装在驱动器510上，以便于从其上读出的计算机程序基于需要被安装入存储部分508。

特别地，基于本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (7)

1.一种基于视觉显著性的虫粮等级判定方法，其特征在于，包括：

获取当前待检测图像；

将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；

将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级；

所述反向特征聚合层用于通过特征增强和特征聚合方法将经级联空洞卷积层后的高层语义特征与骨干网络层的低层结构特征融合，高层语义特征通过上采样和卷积组合操作向与低层结构特征进行映射，上采样和卷积组合操作的次数与层级之间的距离成正比；

所述粮食害虫显著性检测和数量估计模型通过以下方式训练得到：

将标注好的训练样本输入到预先建立的神经网络模型中，模型经两个分支进行视觉显著特征提取和害虫数量分类，输出视觉显著图和害虫数量；

采用二元交叉熵衡量视觉显著图与基准图之间的误差，采用多分类交叉熵衡量害虫目标的计数误差，将上述两个分支的交叉熵损失之和作为模型整体误差，根据误差反向传播机制对所述神经网络模型的参数进行调整；

重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时，完成对所述粮食害虫显著性检测和数量估计模型的训练。

2.根据权利要求1所述的基于视觉显著性的虫粮等级判定方法，其特征在于，所述颜色空间增强层用于将原始图像转换为RGB、HSV、Lab或YUV颜色空间。

3.根据权利要求2所述的基于视觉显著性的虫粮等级判定方法，其特征在于，所述级联空洞卷积层由三个空洞卷积层串联，每一层设置不同的空洞率参数，用于获取目标的多尺度信息，其中所述空洞率参数采用三元质数组。

4.根据权利要求1所述的基于视觉显著性的虫粮等级判定方法，其特征在于，所述虫粮等级根据粮食害虫密度划分为基本无虫粮、一般虫粮和严重虫粮。

5.一种基于视觉显著性的虫粮等级判定装置，其特征在于，包括：

图像获取模块，用于获取当前待检测图像；

图像识别模块，用于将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；

虫粮等级确定模块，用于将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级；

所述反向特征聚合层用于通过特征增强和特征聚合方法将经级联空洞卷积层后的高层语义特征与骨干网络层的低层结构特征融合，高层语义特征通过上采样和卷积组合操作向与低层结构特征进行映射，上采样和卷积组合操作的次数与层级之间的距离成正比；

所述粮食害虫显著性检测和数量估计模型通过以下方式训练得到：

将标注好的训练样本输入到预先建立的神经网络模型中，模型经两个分支进行视觉显著特征提取和害虫数量分类，输出视觉显著图和害虫数量；

采用二元交叉熵衡量视觉显著图与基准图之间的误差，采用多分类交叉熵衡量害虫目标的计数误差，将上述两个分支的交叉熵损失之和作为模型整体误差，根据误差反向传播机制对所述神经网络模型的参数进行调整；

重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时，完成对所述粮食害虫显著性检测和数量估计模型的训练。

6.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～4中任一项所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～4中任一项所述的方法。

Images