CN114998840B - 一种基于深度级联有监督学习的老鼠目标检测方法 - Google Patents

Abstract

本发明涉及目标检测技术领域，具体涉及一种基于深度级联有监督学习的老鼠目标检测方法。包括：设计老鼠目标检测的网络模型；选取网络模型的训练集和测试集；计算出标注边缘检测图；根据主干部分神经网络初步提取精加工的深度特征信息，通过粗选多分支模块对特征信息进行细化增强，并粗生成候选建议区域，最后进行分类识别和定位回归；预设相关超参数，测试最优网络模型。本发明提出的老鼠目标检测方法，解决低分辨率下老鼠目标边缘模糊导致的难区分问题，增强抗干扰力，从而提高模型的检测性能，在多种环境下进行检测，一旦出现老鼠踪迹，就向相关部门预警，及时采取应急措施，减少老鼠带来的卫生隐患和财产损失，即减少鼠患的产生。

Description

一种基于深度级联有监督学习的老鼠目标检测方法

技术领域

本发明涉及目标检测技术领域，具体地说，是一种基于深度级联有监督学习的老鼠目标检测方法。

背景技术

随着国家经济迅猛发展，人们的衣食住行也变得更加便利，逐渐人们开始注重品质。食品安全是大多数人关心的问题之一，食品的生产与加工方式较为丰富，并且在信息时代的促进下，更多了年轻人偏爱“外卖”、“下馆子”等在外用餐方式，各种餐饮商店的食品加工环境层次不齐，这种情况下会出现更大概率的食品安全问题。所以如何处理食品加工流程中出现的安全问题成为许多人关注的问题。

鼠患是食品加工场所最容易产生的问题之一，老鼠在餐饮商店的后厨环境下是最容易滋生的动物，老鼠常常在下水道、垃圾堆、灶台等东西杂乱处出现，传播细菌和病毒。在监控视频中老鼠像素占比少，属于较小的目标，而且各种餐饮店成立时间往往不一样，一般成立较早的店用的摄像头比近期成立的店的摄像头分辨率更低，从而导致老鼠目标边缘模糊，从背景中分离出老鼠较难。已有的老鼠检测方法大致可分为基于通用目标检测技术的老鼠检测方法和基于图像分割技术的老鼠检测方法，前者是通过利用深度神经网络提取图像的表征信息，在用检测器检测出目标的位置信息和类别，但是这类方法不能较好的适应低分辨率的环境，容易出现误检，而后者是利用深度神经网络对图像的每个像素进行分类，然后将属于老鼠的像素点组成连通区域，达到老鼠目标定位的目的，该方法在监控视频下变得不大适用，像素点占比太小以及轮廓不清晰，难以从复杂的背景中分割出来。

目前，已有的老鼠目标检测方法较少，复杂的背景对目标的影响较大，多数检测方法的抗干扰力在低分辨率下的监控视频中都表现出不足的情况，检测性能较差。

因此，亟需提出一种易训练、易部署的老鼠目标检测方法，解决低分辨率下老鼠目标边缘模糊导致的难区分问题，增强抗干扰力，从而提高模型的检测性能，本发明在多种环境下进行检测，一旦出现老鼠踪迹，就向相关部门预警，及时采取应急措施，如老鼠药布控、陷阱布控等，减少老鼠带来的卫生隐患和财产损失，即减少鼠患的产生。

发明内容

本发明的目的在于提供一种基于深度级联有监督学习的老鼠目标检测方法，通过级联结构从粗到细地生成候选建议区域集合，提炼出高质量的候选建议区域集合，而且利用逐步融合更多详细特征信息，增强模型的边界感知能力和表征能力，从而提高方法的识别定位精度。

本发明通过下述技术方案实现：一种基于深度级联有监督学习的老鼠目标检测方法，包括以下步骤：

步骤S1，设计深度级联有监督学习的老鼠目标检测的网络模型，所述网络模型由主干部分神经网络和多个粗选多分支模块构成；网络结构采用级联结构，在每个粗选多分支模块中都两种损失函数，一种是分类识别损失函数，另外一种是定位回归损失函数；

步骤S2，将包含老鼠目标的图像数据和标注信息数据根据数据格式进行数据分组，作为网络模型的训练集和测试集；

步骤S3，利用边界框标注信息在包含老鼠目标的图像数据样本中裁剪出对应区域，然后使用canny算子计算出标注边缘检测图；

步骤S4，根据主干部分神经网络初步提取精加工的深度特征信息，通过粗选多分支模块对所述特征信息进行细化增强，并粗生成候选建议区域进行三次分类识别和定位回归，所述分类识别和定位回归包括第一次分类识别和定位回归、第二次分类识别和定位回归以及第三次分类识别和定位回归，最后使用网络模型进行第四次分类识别和定位回归；

步骤S5，预设相关超参数，随着网络模型的不断迭代训练更新权重参数，直至迭代次数等于最大迭代次数后停止训练，最后在真实场景下的监控视频测试最优网络模型。

为了更好地实现本发明，进一步地，所述步骤S1中的主干部分神经网络包括：

采用设计的网络结构搭建具有层次性的主干部分神经网络结构；

所述主干部分神经网络从前至后由卷积层、批归一化层和激活函数层组成；

所述主干部分神经网络利用卷积层的特性层层构建出不同尺度的特征图，尺度依次递减；

每个粗选多分支模块添加在两种尺度之间，采用级联的结构逐步提升候选区域建议集合的质量。

为了更好地实现本发明，进一步地，所述步骤S1中的粗选多分支模块包括：

所述粗选多分支模块分为两个分支，共两个输入，分别为高层次特征和低层次特征；

所述粗选多分支模块从前至后由卷积层、批归一化层、激活函数层、全连接层、特征上采样层、特征下采样层、重置图生成层、全局平均池化层、特征相乘层、特征相加层以及多头变形自注意力模块构成；

所述粗选多分支模块用于生成粗候选建议区域集合，所述粗选多分支模块利用重置图生成层生成重置图，并使用全局平均池化层、卷积层、激活函数层生成全局注意力图。

为了更好地实现本发明，进一步地，所述重置图包括：

所述重置图的生成层由上一级的粗候选建议区域集合与特征上下采样分支结合计算得到的；在特征图上对粗候选建议区域对应的区域进行目标边缘粗生成，通过优化计算预测边缘图与所述标注边缘检测图之间的误差指导模型生成粗边缘检测图，然后对除区域之外的特征统一用常数表示，最后得到重置图。

为了更好地实现本发明，进一步地，步骤S4中进行分类识别和定位回归的过程包括：

将所述重置图与所述全局注意力图结合指导网络模型学习，并使用分类识别损失函数和定位回归损失函数指导图像样本进行分类识别和定位回归，输出粗选候选建议区域集合。

为了更好地实现本发明，进一步地，所述步骤S3中的边界框标注信息为包含老鼠的图像上人工标注的边界框。

为了更好地实现本发明，进一步地，所述分类识别损失函数采用交叉熵损失函数，所述定位回归损失函数采用平滑L1损失函数。

为了更好地实现本发明，进一步地，所述步骤S5中的相关超参数包括最大迭代次数、学习率和衰减率。

本发明与现有技术相比，具有以下优点及有益效果：

（1）本发明提出了一种粗选多分支模块，将重置图与全局注意力图结合指导模型对图像样本进行学习，能使特征图中的目标所处的位置响应值更高，而且能使低分辨率下的目标边缘更清晰，利于后续的定位和识别任务；

（2）本发明提出了一种老鼠目标检测方法，通过级联结构从粗到细地生成候选建议区域集合，提炼出高质量的候选建议区域集合，而且利用逐步融合更多详细特征信息，增强模型的边界感知能力和表征能力，从而提高方法的识别定位精度；

（3）本发明提供的老鼠目标检测方法，在多种环境下进行检测，一旦出现老鼠踪迹，就向相关部门预警，及时采取应急措施，如老鼠药布控、陷阱布控等，减少老鼠带来的卫生隐患和财产损失，即减少鼠患的产生。

附图说明

本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。

图1为本发明提供的一种基于深度级联有监督学习的老鼠目标检测方法的整体网络结构示意图。

图2为本发明提供的一种基于深度级联有监督学习的老鼠目标检测方法的粗选多分支模块结构示意图。

图3为本发明提供的一种基于深度级联有监督学习的重置图生成层计算流程图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现存的老鼠目标检测方法较少，基于红外摄像头的检测方法需安装外部感知设备，存在部署成本高、识别精度低等缺陷，而基于深度学习技术的老鼠目标检测方法较少，多数检测方法的抗干扰力在低分辨率下的监控视频中都表现出不足的情况，检测性能较差。为了解决这个问题，本发明提出了一种老鼠目标检测方法，通过级联结构从粗到细地生成候选建议区域集合，提炼出高质量的候选建议区域集合，而且利用逐步融合更多详细特征信息，增强模型的边界感知能力和表征能力，从而提高方法的识别定位精度。

实施例1：

本实施例的一种基于深度级联有监督学习的老鼠目标检测方法，如图1-图3所示，将包含老鼠目标的图像和标注信息按照数据格式进行数据分组，按照标准数据格式组成训练集，少量数据作为测试集，最后在监控视频上测试模型性能。其中，标准数据格式是指voc、coco这种开源的数据集，自己的数据集进入训练之前要按照这些开源数据集的格式整理。

利用边界框标注信息在原图像样本中裁剪出对应区域，然后使用canny算子计算出标注边缘检测图；边界框标注信息为包含老鼠的图像上人工标注的边界框，即矩形框。

首先按照设计结构搭建具有层次性的主干部分神经网络结构，由主干部分神经网络初步提取精加工的深度特征信息，然后通过粗选多分支模块对特征信息进行细化增强，并粗生成候选建议区域为更精准的定位提供，最后进行分类识别和定位回归；定位回归是指利用损失函数对老鼠目标的定位边界框进行回归，即边界框优化。

网络结构采用级联结构，在每个粗选多分支模块中都两种损失函数，一种是分类识别损失函数，另外一种是定位回归损失函数；

预先设定最大迭代次数、学习率、衰减率等相关超参数，随着模型的不断迭代训练更新权重参数，模型的性能也不断提升，直至迭代次数等于最大迭代次数后停止训练，最后在真实场景下的监控视频测试最优模型。

图1为老鼠目标检测方法的整体网络结构示意图。网络模型主要由主干部分神经网络和多个粗选多分支模块构成，如图1所示。主干网络从前至后由卷积层、批归一化层、激活函数层组成，利用卷积层的特性层层构建出不同尺度的特征图，尺度依次递减，每个粗选多分支模块添加在两种尺度之间，采用级联的结构从大尺度特征图到小尺度特征图逐步提升候选区域建议集合的质量。在图1中，CB1、CB2、CB3、CB4、CB5都是卷积层Conv_block，分别代表卷积层模块1、卷积层模块2、卷积层模块3、卷积层模块4、卷积层模块5；CM1、CM2、CM3都是粗选多分支模块CMBM，分别代表粗选多分支模块1、粗选多分支模块2、粗选多分支模块3，FMAL表示特征映射层，FFN代表前馈神经网络，Da和Db分别代表全连接层a和全连接层b。cls代表分类识别，reg代表定位回归。图1中的cls和reg代表使用网络模型进行第四次分类识别和定位回归，图2中的cls和reg代表粗生成候选建议区域进行的三次分类识别和定位回归中的其中一次分类识别和定位回归的示意图，图1中也很清楚的写明了CM1、CM2、CM3代表粗选多分支模块1、粗选多分支模块2、粗选多分支模块3，图2为其中数个粗选多分支模块中的一个粗选多分支模块结构示意图，每个粗选多分支模块都会输出粗选候选建议区域集合，随着网络的加深，逐渐精细化。本发明中多个粗选多分支模块中粗选多分支模块大于等于1个，并不限于三个，这也代表当粗选多分支模块为N个时，网络模型在N个粗选多分支模块中对应进行了N次分类识别和定位回归，最后由网络模型进行第N+1次分类识别和定位回归。

本发明提出的老鼠目标检测方法，通过级联结构层层对候选建议区域提炼细化，一定程度上提高了候选建议区域集合的质量，而且利用重置图使目标边缘清晰化，解决低分辨率下老鼠目标边缘模糊导致的难区分问题。由实验可得，本发明提出的老鼠目标检测方法与已有的方法相比较，在低分辨率的监控视频下表现出更强的抗干扰力，定位能力更稳定。

实施例2：

本实施例在实施例1的基础上做进一步优化，整个网络模型主要由主干部分神经网络和多个粗选多分支模块构成。主干网络从前至后由卷积层、批归一化层、激活函数层组成，利用卷积层的特性层层构建出不同尺度的特征图，尺度依次递减，每个粗选多分支模块添加在两种尺度之间，采用级联的结构逐步提升候选区域建议集合的质量。

图2为粗选多分支模块结构示意图。粗选多分支模块分为两个分支，共两个输入，分别为高层次特征

和低层次特征

，模块主要从前至后由卷积层、批归一化层、激活函数层、全连接层、特征上采样层、特征下采样层、重置图生成层、全局平均池化层、特征相乘层、特征相加层以及多头变形自注意力模块构成。该模块利用重置图生成层生成重置图，并使用全局平均池化层、卷积层、激活函数层生成全局注意力图，将重置图与全局注意力图结合指导模型对图像样本进行学习，能使特征图中的目标所处的位置响应值更高，而且能使低分辨率下的目标边缘更清晰，利于后续的定位和识别任务。其中，第一级的粗选多分支模块中重置图生成层没法接收上一级输出粗候选建议区域，所以第一级粗选多分支模块作为级联的初始生成模块，不采用重置图生成层。

在图2中，RGC代表重置图生成层，TF_block代表多头边形自注意力模块，Dowm代表特征下采样层，UP代表特征上采样层，GAP代表全局平均池化层，σ代表sigmoid函数层，BN是批归一化层，PR激活函数层，D1和D2分别代表全连接层1和全连接层2。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例在上述实施例1或2的基础上做进一步优化，粗选多分支模块分为两个分支，共两个输入，分别为高层次特征和低层次特征，模块主要从前至后由卷积层、批归一化层、激活函数层、全连接层、特征上采样层、特征下采样层、重置图生成层、全局平均池化层、特征相乘层、特征相加层以及多头变形自注意力模块构成。该模块用于生成粗候选建议区域集合，核心思路是利用重置图生成层生成重置图，并使用全局平均池化层、卷积层、激活函数层生成全局注意力图，将重置图与全局注意力图结合指导模型对图像样本进行学习，能使特征图中的目标所处的位置响应值更高，而且能使低分辨率下的目标边缘更清晰，利于后续的定位和识别任务。

图3为重置图生成层计算流程图。重置图生成层核心思路是在特征图上对粗候选建议区域对应的区域进行目标边缘粗生成，通过优化计算预测边缘图与标注边缘检测图之间的误差指导模型生成粗边缘检测图，然后对除区域之外的特征统一用常数1表示，最后得到重置图。其中，得到预测边缘图之后需进行掩码处理，处理公式如下：

公式中

为掩码处理后的预测边缘图，F为原始的预测边缘图，其中，i，j是图中每个特征点的索引。

根据上述描述将网络结构模型搭建完成后，预先设定最大迭代次数、学习率、衰减率等相关超参数，随着模型的不断迭代训练更新权重参数，模型的性能也不断提升，直至迭代次数等于最大迭代次数后停止训练，最后在真实场景下的监控视频测试最优模型。

本实施例的其他部分与上述实施例1或2相同，故不再赘述。

实施例4：

本实施例在上述实施例1-3任一项的基础上做进一步优化，重置图生成层由上一级的粗候选建议区域集合与特征上下采样分支结合计算得到的，主要操作是在特征图上对粗候选建议区域对应的区域进行目标边缘粗生成，通过优化计算预测边缘图与标注边缘检测图之间的误差指导模型生成粗边缘检测图，然后对除区域之外的特征统一用常数表示，最后得到重置图。重置图中目标边缘清晰，能提高模型对目标的表征能力，精准地描述出目标的轮廓信息，从而将目标与背景区别出来。

本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。

实施例5：

本实施例在上述实施例1-4任一项基础上做进一步优化，损失函数分别是分类识别损失函数和定位回归损失函数，分类识别损失函数采用交叉熵损失函数，定位回归损失函数采用平滑L1损失函数。

本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种基于深度级联有监督学习的老鼠目标检测方法，其特征在于，包括以下步骤：

步骤S1，设计深度级联有监督学习的老鼠目标检测的网络模型，所述网络模型由主干部分神经网络和多个粗选多分支模块构成；所述网络模型的网络结构采用级联结构，在每个粗选多分支模块中都设置有两种损失函数，一种是分类识别损失函数，另外一种是定位回归损失函数；

主干部分神经网络采用设计的网络结构搭建具有层次性的主干部分神经网络结构；

所述主干部分神经网络从前至后由卷积层、批归一化层和激活函数层组成；

所述主干部分神经网络利用卷积层的特性层层构建出不同尺度的特征图，尺度依次递减；

每个粗选多分支模块添加在两种尺度之间，采用级联的结构逐步提升候选区域建议集合的质量；

所述粗选多分支模块分为两个分支，共两个输入，分别为高层次特征和低层次特征；

所述粗选多分支模块从前至后由卷积层、批归一化层、激活函数层、全连接层、特征上采样层、特征下采样层、重置图生成层、全局平均池化层、特征相乘层、特征相加层以及多头变形自注意力模块构成；

所述粗选多分支模块用于生成粗候选建议区域集合，所述粗选多分支模块利用重置图生成层生成重置图，并使用全局平均池化层、卷积层、激活函数层生成全局注意力图；

步骤S2，将包含老鼠目标的图像数据和标注信息数据根据数据格式分为网络模型的训练集和测试集；

步骤S3，利用边界框标注信息在包含老鼠目标的图像数据样本中裁剪出对应区域，然后使用canny算子计算出标注边缘检测图；

步骤S4，根据主干部分神经网络初步提取精加工的深度特征信息，通过粗选多分支模块对所述特征信息进行细化增强，并粗生成候选建议区域进行三次分类识别和定位回归，所述分类识别和定位回归包括第一次分类识别和定位回归、第二次分类识别和定位回归以及第三次分类识别和定位回归，最后使用网络模型进行第四次分类识别和定位回归；

步骤S5，预设相关超参数，随着网络模型的不断迭代训练更新权重参数，直至迭代次数等于最大迭代次数后停止训练，最后在真实场景下的监控视频测试最优网络模型。

2.根据权利要求1所述的一种基于深度级联有监督学习的老鼠目标检测方法，其特征在于，所述重置图包括：

所述重置图的生成层由上一级的粗候选建议区域集合与特征上下采样分支结合计算得到的；在特征图上对粗候选建议区域对应的区域进行目标边缘粗生成，通过优化计算预测边缘图与所述标注边缘检测图之间的误差指导模型生成粗边缘检测图，然后对除区域之外的特征统一用常数表示，最后得到重置图。

3.根据权利要求2所述的一种基于深度级联有监督学习的老鼠目标检测方法，其特征在于，所述步骤S4中粗生成候选建议区域进行三次分类识别和定位回归的过程包括：

将所述重置图与所述全局注意力图结合指导网络模型学习，并使用分类识别损失函数和定位回归损失函数指导图像样本进行分类识别和定位回归；

依次进行三次分类识别和定位回归，分别输出粗选候选建议区域集合。

4.根据权利要求1所述的一种基于深度级联有监督学习的老鼠目标检测方法，其特征在于，所述步骤S1中的分类识别损失函数和定位回归损失函数包括：

所述分类识别损失函数采用交叉熵损失函数，所述定位回归损失函数采用平滑L1损失函数。

5.根据权利要求1所述的一种基于深度级联有监督学习的老鼠目标检测方法，其特征在于，所述步骤S3中的边界框标注信息为包含老鼠的图像上人工标注的边界框。

6.根据权利要求1所述的一种基于深度级联有监督学习的老鼠目标检测方法，其特征在于，所述步骤S5中的相关超参数包括最大迭代次数、学习率和衰减率。

Images