CN113378786B - 一种超轻量目标检测网络和方法 - Google Patents

Abstract

本发明公开了一种超轻量目标检测网络和方法，所述网络包括依次连接的主干模块、特征提取融合模块和检测模块；所述特征提取融合模块的数量至少为1个；特征提取融合模块包括若干个沙漏通道加权分支和一个Bi‑FPN特征融合块；沙漏通道加权分支间并行连接至Bi‑FPN特征融合块；沙漏通道加权分支对高维特征图提取出不同分辨率的低维特征，Bi‑FPN特征融合块将不同分辨率的低维特征进行多尺度特征融合；有效提升了感受野，强化了跨分辨率的信息交流和融合，提高了检测结果的准确度；同时还减少了参数量和计算量，提高了检测效率，使检测模型兼具计算轻量化和精确度的优势。

Description

一种超轻量目标检测网络和方法

技术领域

本发明涉及计算机视觉的技术领域，更具体地，涉及一种超轻量目标检测网络和方法。

背景技术

目标检测是计算机视觉中一个重要的任务，近年来受到广泛的关注，其应用范围非常广泛，像监控安防、工业瑕疵检测、医学图像检测、自动驾驶、机器人视觉等。随着目标检测技术的高速发展，现有的目标检测网络(如Faster RCNN、YOLOv4等)已经在多种数据集取得了高精度。如今随着物联网技术的不断发展，5G与边缘计算催生了新一代应用程序，越来越多的应用需要将AI应用部署到移动端设备。然而，目标检测网络通常都具有非常大的参数量和计算量，由于设备算力和内存的限制，目标检测网络在移动端的运行效率并不高，移动端实时目标检测仍是一个技术性挑战。近年来也有不少设计用于移动端的轻量网络，如MobileNet、ShuffleNet等，但大都仅关注于模型轻量化方面，而牺牲了较大的模型精度，无法满足工业检测对高精度的需求。

2020年6月9日公开的中国专利CN111259758A提供了一种针对密集区域的两阶段遥感图像目标检测方法，其步骤为：1、对于输入图像进行数据增强操作，增加训练样本集；2、构建基于多尺度特征提取模块；3、在不同尺度的特征图上进行目标检测，找出目标密集的区域；4、针对目标密集的区域进行二次目标检测；5、对检测出的目标进行分类和位置回归，输出目标对应的分类标签和位置坐标，完成对图像的目标识别和定位。该发明虽然提高了对目标密集区域目标识别的准确率，但是参数量和计算量巨大，检测时间长，无法应用于移动端设备。

发明内容

本发明为克服上述现有目标检测方法无法兼具计算轻量化和高精度的缺陷，提供一种超轻量目标检测网络和方法，所述网络在相似精度要求下，参数量和计算量极低，在相似计算量和参数量的条件下，计算精度更高，使目标检测在轻量化和高精度达到更优秀的平衡。

为解决上述技术问题，本发明的技术方案如下：

本发明提供一种超轻量目标检测网络，包括依次连接的主干模块、特征提取融合模块和检测模块；

所述特征提取融合模块的数量至少为1个；特征提取融合模块包括若干个沙漏通道加权分支和一个Bi-FPN特征融合块；沙漏通道加权分支间并行连接至Bi-FPN特征融合块；

待检测目标图像输入主干模块，主干模块对待检测目标图像进行切片操作后，下采样提取出高维特征图，特征提取融合模块中的若干个沙漏通道加权分支对高维特征图提取出不同分辨率的低维特征，Bi-FPN特征融合块将不同分辨率的低维特征进行多尺度特征融合，获得融合特征图；检测模块根据设置的检测算法对融合特征图进行检测，获得待检测目标图像的检测结果。

优选地，所述主干模块包括依次连接的Focus块和3×3可分离卷积；

待检测目标图像输入Focus块，Focus块对待检测目标图像进行切片操作，3×3可分离卷积对切片后的待检测目标图像进行下采样，提取出高维特征图。

为了减少现有的Lite-HRNet网络下采样带来的信息损失，本发明将第一阶段的下采样卷积替换为Focus块，进行Focus切片操作，具体方法为：用步长为2的切片索引，将输入的待检测目标图像按WH维度等分为4份，再按通道维度拼接，将WH维度信息融合到Channel维度C×H×W→4C×H/2×W/2，其中C为通道数量，H和W分别为待检测目标图像的高和宽。考虑到通道数的增加会带来额外的参数量和计算量，选用3×3可分离卷积层对切片后的待检测目标图像进行下采样，提取出高维特征图。

优选地，每个沙漏通道加权分支包括若干个依次连接的沙漏通道加权单元，每个沙漏通道加权单元包括依次连接的CRW层、第一深度分离卷积层、第一标准卷积层、第二标准卷积层和第二深度分离卷积层。

沙漏通道加权(Sandglass Channel Weighting，SGCW)单元是一种高效的用于高分辨率网络的卷积单元；在保持相似的参数量和计算量下，沙漏通道加权单元能够有效地增强感受野，从而提升检测精度。

现有的目标检测网络如Lite-HRNet网络深度较浅，且多分支结构使得感受野积累变得碎片化，导致网络整体感受野较低，不利于学习全局上下文依赖关系。；CRW(cross-resolution weighting)层用于强化跨分辨率的信息交流，采用自适应均值池化将下采样的高维特征图缩放为统一尺寸，按通道数进行拼接；第一深度分离卷积层和第二深度分离卷积层置于首尾，用于提取高维特征图的语义信息；中间的第一标准卷积层和第二标准卷积层对高维特征图通道进行压缩以减少参数量；最终将输入和输出残差相连作为一个沙漏通道加权单元的最终输出。

优选地，所述特征提取融合模块的数量为3个，包括依次相连的第一特征提取融合模块、第二特征提取融合模块和第三特征提取融合模块。

优选地，所述第一特征提取融合模块包括两个沙漏通道加权分支和一个Bi-FPN特征融合块；两个沙漏通道加权分支为第二阶段第一沙漏通道加权分支和第二阶段第二沙漏通道加权分支，Bi-FPN特征融合块包括第一可分离卷积、第二可分离卷积和第三可分离卷积；

第二阶段第二沙漏通道加权分支对高维特征图提取出第二阶段第二分支低维特征，传输至第二可分离卷积外，还需进行上采样传输至第一可分离卷积；

第二阶段第一沙漏通道加权分支对高维特征图提取出第二阶段第一分支低维特征，传输至第一可分离卷积后，与第二阶段第二分支低维特征进行融合，获得第二阶段第一分支融合特征图；将第二阶段第一分支融合特征图传输至第三阶段模块外，还需进行下采样传输至第二可分离卷积；

第二可分离卷积将下采样的第二阶段第一分支融合特征图和第二阶段第二分支低维特征进行融合，获得第二阶段第二分支融合特征图；将第二阶段第二分支融合特征图传输至第三阶段模块外，还需进行下采样传输至第三可分离卷积；

第三可分离卷积将下采样的第二阶段第二分支融合特征图输至第三阶段模块。

优选地，所述第二特征提取融合模块包括三个沙漏通道加权分支和一个Bi-FPN特征融合块；三个沙漏通道加权分支为第三阶段第一沙漏通道加权分支、第三阶段第二沙漏通道加权分支和第三阶段第三沙漏通道加权分支；Bi-FPN特征融合块包括第四可分离卷积、第五可分离卷积、第六可分离卷积、第七可分离卷积和第八可分离卷积；

第三阶段第三沙漏通道加权分支对下采样的第二阶段第二分支融合特征图提取出第三阶段第三分支低维特征，传输至第七可分离卷积外，还需进行上采样传输至第五可分离卷积；

第三阶段第二沙漏通道加权分支对第二阶段第二分支融合特征图提取出第三阶段第二分支低维特征，传输至第六可分离卷积外，还需传输至第五可分离卷积，与第三阶段第三分支低维特征进行融合，获得第三阶段第二分支初始融合特征图；将第三阶段第二分支初始融合特征图传输至第六可分离卷积外，还需进行上采样传输至第四可分离卷积；

第三阶段第一沙漏通道加权分支对第二阶段第一分支融合特征图提取出第三阶段第一分支低维特征，传输至第四可分离卷积后，与上采样的第三阶段第二分支初始融合特征图进行融合，获得第三阶段第一分支融合特征图传输至第四阶段模块外，还需进行下采样传输至第六可分离卷积；

第六可分离卷积将下采样的第三阶段第一分支融合特征图、第三阶段第二分支初始融合特征图和第三阶段第二分支低维特征进行融合，获得第三阶段第二分支最终融合特征图；将第三阶段第二分支最终融合特征图传输至第四阶段模块外，还需进行下采样传输至第七可分离卷积；

第七可分离卷积将下采样的第三阶段第二分支最终融合特征图和第三阶段第三分支低维特征进行融合，获得第三阶段第三分支融合特征图；将第三阶段第三分支融合特征图传输至第四阶段模块外，还需进行下采样传输至第八可分离卷积；

第八可分离卷积将下采样的第三阶段第三分支融合特征图输至第四阶段模块。

优选地，所述第三特征提取融合模块包括四个沙漏通道加权分支和一个Bi-FPN特征融合块；四个沙漏通道加权分支为第四阶段第一沙漏通道加权分支、第四阶段第二沙漏通道加权分支、第四阶段第三沙漏通道加权分支和第四阶段第四沙漏通道加权分支；Bi-FPN特征融合块包括第九可分离卷积、第十可分离卷积、第十一可分离卷、第十二可分离卷积、第十三可分离卷积和第十四可分离卷；

第四阶段第四沙漏通道加权分支对下采样的第三阶段第三分支融合特征图提取出第四阶段第四分支低维特征，传输至第十四可分离卷积外，还需进行上采样传输至第十二可分离卷积；

第四阶段第三沙漏通道加权分支对第三阶段第三分支融合特征图提取出第四阶段第三分支低维特征，传输至第十三可分离卷积外，还需传输至第十二可分离卷积，与第四阶段第三分支低维特征进行融合，获得第四阶段第三分支初始融合特征图；将第四阶段第三分支初始融合特征图传输至第十三可分离卷积外，还需进行上采样传输至第十可分离卷积；

第四阶段第二沙漏通道加权分支对第三阶段第二分支最终融合特征图提取出第四阶段第二分支低维特征，传输至第十一可分离卷积外，还需传输至第十可分离卷积，与第四阶段第三分支初始融合特征图进行融合，获得第四阶段第二分支初始融合特征图；将第四阶段第二分支初始融合特征图传输至第十一可分离卷积外，还需进行上采样传输至第九可分离卷积；

第四阶段第一沙漏通道加权分支对第三阶段第一分支融合特征图提取出第四阶段第一分支低维特征，传输至第九可分离卷积后，与上采样的第四阶段第二分支初始融合特征图进行融合，获得第四阶段第一分支融合特征图，对其进行下采样传输至第十一可分离卷积；

第十一可分离卷积将下采样的第四阶段第一分支融合特征图、第四阶段第二分支初始融合特征图和第四阶段第二分支低维特征进行融合，获得第四阶段第二分支最终融合特征图；将第四阶段第二分支最终融合特征图传输至检测模块外，还需进行下采样传输至第十三可分离卷积；

第十三可分离卷积将下采样的第四阶段第二分支最终融合特征图、第四阶段第三分支初始融合特征图和第四阶段第三分支低维特征进行融合，获得第四阶段第三分支最终融合特征图；将第四阶段第三分支最终融合特征图传输至检测模块外，还需进行下采样传输至第十四可分离卷积；

第十四可分离卷积将下采样的第四阶段第三分支最终融合特征图和第四阶段第四分支低维特征进行融合，获得第四阶段第四分支融合特征图；将第四阶段第四分支融合特征图传输至检测模块。

Bi-FPN特征融合块包括的可分离卷积为3×3可分离卷积。

现有的目标检测网络如Lite-HRNet网络融合方式非常简单，只是将所有分支的特征缩放到同一尺寸并相加，会导致信息损失甚至模型梯度混乱；本发明Bi-FPN特征融合块包含双向特征融合，每个Bi-FPN特征融合块包括多个可分离卷积；每个阶段的各个沙漏通道加权分支获得的不同分辨率的低维特征都要经过上采样和下采样，传递到该阶段上一沙漏通道加权分支和该阶段下一沙漏通道加权分支连接的可分离卷积进行跨分辨率的特征融合，显著地提升了检测精度。并且，考虑到每个分支的信息重要程度不一致，Bi-FPN特征融合块对各分支采用加权求和，每个分支都有一个可学习的参数，并对不同分支参数进行归一化，自适应地表征各分支的贡献程度，最后各分支输出对应的融合特征图。

优选地，所述检测模块包括三个检测分支单元；每个检测单元分支包括依次连接的沙漏通道加权单元和标准卷积；三个检测分支单元分别接收第四阶段第二分支最终融合特征图、第四阶段第三分支最终融合特征图和第四阶段第四分支融合特征图，根据设置的检测算法对其进行检测，获得待检测目标图像的检测结果。

优选地，所述标准卷积为1×1标准卷积；

优选地，所述检测结果具体为待检测目标的类别、包围框坐标和置信度得分，每个检测分支单元接收一条分支最终融合特征图，计算出该分支的待检测目标的类别、包围框坐标和置信度得分；之后三条分支单元对应的待检测目标的类别、包围框坐标和置信度得分进行加权计算，获得最终的类别、包围框坐标和置信度得分，作为待检测目标图像的检测结果输出。

本发明还提供一种超轻量目标检测方法，所述方法包括：

S1：高维特征图提取：利用主干模块对待检测目标图像进行切片操作后，下采样提取出高维特征图；

S2：多尺度特征提取融合：利用至少1个的特征提取融合模块对高维特征图提取出不同分辨率的低维特征，并对不同分辨率的低维特征图进行多尺度特征融合，获得融合特征图；

S3：利用检测模块根据设置的检测算法对融合特征图进行检测，获得待检测目标图像的检测结果。

优选地，所述检测算法为YOLOv5检测算法。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的超轻量目标检测网络，其中主干模块对待检测目标图像切片操作后，下采样提取出高维特征图，减少了信息损失，提高了检测结果的准确度；特征提取融合模块包括的沙漏通道加权分支对高维特征图提取出不同分辨率的低维特征，Bi-FPN特征融合块将不同分辨率的低维特征进行多尺度特征融合，获得融合特征图，有效提升了感受野，强化了跨分辨率的信息交流和融合，提高了检测结果的准确度；同时还减少了参数量和计算量，提高了检测效率；检测模块结合检测算法对融合特征图进行检测，获得待检测目标图像的检测结果，平衡了计算轻量化和精确度之间的关系，使本发明兼具计算轻量化和精确度的优势。

附图说明

图1为实施例1所述的一种超轻量目标检测网络的结构图。

图2为实施例1所述的沙漏通道加权单元的结构图。

图3为实施例2所述的一种超轻量目标检测方法的流程图。

其中，1-第一可分离卷积，2-第二可分离卷积，3-第三可分离卷积，4-第四可分离卷积，5-第五可分离卷积，6-第六可分离卷积，7-第七可分离卷积，8-第八可分离卷积，9-第九可分离卷积，10-第十可分离卷积，11-第十一可分离卷，12-第十二可分离卷积，13-第十三可分离卷积，14-第十四可分离卷，15-第二阶段第一沙漏通道加权分支，16-第二阶段第二沙漏通道加权分支，17-第三阶段第一沙漏通道加权分支，18-第三阶段第二沙漏通道加权分支，19-第三阶段第三沙漏通道加权分支，20-第四阶段第一沙漏通道加权分支，21-第四阶段第二沙漏通道加权分支，22-第四阶段第三沙漏通道加权分支，23-第四阶段第四沙漏通道加权分支。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供一种超轻量目标检测网络，如图1所示，包括依次连接的主干模块、特征提取融合模块和检测模块；

所述特征提取融合模块的数量至少为1个；特征提取融合模块包括若干个沙漏通道加权分支和一个Bi-FPN特征融合块；沙漏通道加权分支间并行连接至Bi-FPN特征融合块；

待检测目标图像输入主干模块，主干模块对待检测目标图像进行切片操作后，下采样提取出高维特征图，特征提取融合模块中的若干个沙漏通道加权分支对高维特征图提取出不同分辨率的低维特征，Bi-FPN特征融合块将不同分辨率的低维特征进行多尺度特征融合，获得融合特征图；检测模块根据设置的检测算法对融合特征图进行检测，获得待检测目标图像的检测结果。

所述主干模块包括依次连接的Focus块和3×3可分离卷积；

待检测目标图像输入Focus块，Focus块对待检测目标图像进行切片操作，3×3可分离卷积对切片后的待检测目标图像进行下采样，提取出高维特征图。

为了减少现有的Lite-HRNet网络下采样带来的信息损失，本实施例将第一阶段的下采样卷积替换为Focus块，进行Focus切片操作，具体方法为：用步长为2的切片索引，将输入的待检测目标图像按WH维度等分为4份，再按通道维度拼接，将WH维度信息融合到Channel维度C×H×W→4C×H/2×W/2，其中C为通道数量，H和W分别为待检测目标图像的高和宽。考虑到通道数的增加会带来额外的参数量和计算量，选用3×3可分离卷积层对切片后的待检测目标图像进行下采样，提取出高维特征图。

每个沙漏通道加权分支包括若干个依次连接的沙漏通道加权单元；如图2所示，每个沙漏通道加权单元包括依次连接的CRW层、第一深度分离卷积层、第一标准卷积层、第二标准卷积层和第二深度分离卷积层。

沙漏通道加权(Sandglass Channel Weighting，SGCW)单元是一种高效的用于高分辨率网络的卷积单元；在保持相似的参数量和计算量下，沙漏通道加权单元能够有效地增强感受野，从而提升检测精度。

现有的目标检测网络如Lite-HRNet网络深度较浅，且多分支结构使得感受野积累变得碎片化，导致网络整体感受野较低，不利于学习全局上下文依赖关系。；CRW(cross-resolution weighting)层用于强化跨分辨率的信息交流，采用自适应均值池化将下采样的高维特征图缩放为统一尺寸，按通道数进行拼接；第一深度分离卷积层和第二深度分离卷积层置于首尾，用于提取高维特征图的语义信息；中间的第一标准卷积层和第二标准卷积层对高维特征图通道进行压缩以减少参数量；最终将输入和输出残差相连作为一个沙漏通道加权单元的最终输出。

本实施例中，所述特征提取融合模块的数量为3个，包括依次相连的第一特征提取融合模块、第二特征提取融合模块和第三特征提取融合模块。

所述第一特征提取融合模块包括两个沙漏通道加权分支和一个Bi-FPN特征融合块；两个沙漏通道加权分支为第二阶段第一沙漏通道加权分支15和第二阶段第二沙漏通道加权分支16，Bi-FPN特征融合块包括第一可分离卷积1、第二可分离卷积2和第三可分离卷积3；

第二阶段第二沙漏通道加权分支16对高维特征图提取出第二阶段第二分支低维特征，传输至第二可分离卷积2外，还需进行上采样传输至第一可分离卷积1；

第二阶段第一沙漏通道加权分支15对高维特征图提取出第二阶段第一分支低维特征，传输至第一可分离卷积1后，与第二阶段第二分支低维特征进行融合，获得第二阶段第一分支融合特征图；将第二阶段第一分支融合特征图传输至第三阶段模块外，还需进行下采样传输至第二可分离卷积2；

第二可分离卷积2将下采样的第二阶段第一分支融合特征图和第二阶段第二分支低维特征进行融合，获得第二阶段第二分支融合特征图；将第二阶段第二分支融合特征图传输至第三阶段模块外，还需进行下采样传输至第三可分离卷积3；

第三可分离卷积3将下采样的第二阶段第二分支融合特征图输至第三阶段模块。

所述第二特征提取融合模块包括三个沙漏通道加权分支和一个Bi-FPN特征融合块；三个沙漏通道加权分支为第三阶段第一沙漏通道加权分支17、第三阶段第二沙漏通道加权分支18和第三阶段第三沙漏通道加权分支19；Bi-FPN特征融合块包括第四可分离卷积4、第五可分离卷积5、第六可分离卷积6、第七可分离卷积7和第八可分离卷积8；

第三阶段第三沙漏通道加权分支19对下采样的第二阶段第二分支融合特征图提取出第三阶段第三分支低维特征，传输至第七可分离卷积7外，还需进行上采样传输至第五可分离卷积5；

第三阶段第二沙漏通道加权分支18对第二阶段第二分支融合特征图提取出第三阶段第二分支低维特征，传输至第六可分离卷积6外，还需传输至第五可分离卷积5，与第三阶段第三分支低维特征进行融合，获得第三阶段第二分支初始融合特征图；将第三阶段第二分支初始融合特征图传输至第六可分离卷积6外，还需进行上采样传输至第四可分离卷积4；

第三阶段第一沙漏通道加权分支17对第二阶段第一分支融合特征图提取出第三阶段第一分支低维特征，传输至第四可分离卷积4后，与上采样的第三阶段第二分支初始融合特征图进行融合，获得第三阶段第一分支融合特征图传输至第四阶段模块外，还需进行下采样传输至第六可分离卷积6；

第六可分离卷积6将下采样的第三阶段第一分支融合特征图、第三阶段第二分支初始融合特征图和第三阶段第二分支低维特征进行融合，获得第三阶段第二分支最终融合特征图；将第三阶段第二分支最终融合特征图传输至第四阶段模块外，还需进行下采样传输至第七可分离卷积7；

第七可分离卷积7将下采样的第三阶段第二分支最终融合特征图和第三阶段第三分支低维特征进行融合，获得第三阶段第三分支融合特征图；将第三阶段第三分支融合特征图传输至第四阶段模块外，还需进行下采样传输至第八可分离卷积8；

第八可分离卷积8将下采样的第三阶段第三分支融合特征图输至第四阶段模块。

所述第三特征提取融合模块包括四个沙漏通道加权分支和一个Bi-FPN特征融合块；；四个沙漏通道加权分支为第四阶段第一沙漏通道加权分支20、第四阶段第二沙漏通道加权分支21、第四阶段第三沙漏通道加权分支22和第四阶段第四沙漏通道加权分支23；Bi-FPN特征融合块包括第九可分离卷积9、第十可分离卷积10、第十一可分离卷11、第十二可分离卷积12、第十三可分离卷积13和第十四可分离卷14；

第四阶段第四沙漏通道加权分支23对下采样的第三阶段第三分支融合特征图提取出第四阶段第四分支低维特征，传输至第十四可分离卷积14外，还需进行上采样传输至第十二可分离卷积12；

第四阶段第三沙漏通道加权分支22对第三阶段第三分支融合特征图提取出第四阶段第三分支低维特征，传输至第十三可分离卷积13外，还需传输至第十二可分离卷积12，与第四阶段第三分支低维特征进行融合，获得第四阶段第三分支初始融合特征图；将第四阶段第三分支初始融合特征图传输至第十三可分离卷积13外，还需进行上采样传输至第十可分离卷积10；

第四阶段第二沙漏通道加权分支21对第三阶段第二分支最终融合特征图提取出第四阶段第二分支低维特征，传输至第十一可分离卷积11外，还需传输至第十可分离卷积10，与第四阶段第三分支初始融合特征图进行融合，获得第四阶段第二分支初始融合特征图；将第四阶段第二分支初始融合特征图传输至第十一可分离卷积11外，还需进行上采样传输至第九可分离卷积9；

第四阶段第一沙漏通道加权分支20对第三阶段第一分支融合特征图提取出第四阶段第一分支低维特征，传输至第九可分离卷积9后，与上采样的第四阶段第二分支初始融合特征图进行融合，获得第四阶段第一分支融合特征图，对其进行下采样传输至第十一可分离卷积11；

第十一可分离卷积11将下采样的第四阶段第一分支融合特征图、第四阶段第二分支初始融合特征图和第四阶段第二分支低维特征进行融合，获得第四阶段第二分支最终融合特征图；将第四阶段第二分支最终融合特征图传输至检测模块外，还需进行下采样传输至第十三可分离卷积13；

第十三可分离卷积13将下采样的第四阶段第二分支最终融合特征图、第四阶段第三分支初始融合特征图和第四阶段第三分支低维特征进行融合，获得第四阶段第三分支最终融合特征图；将第四阶段第三分支最终融合特征图传输至检测模块外，还需进行下采样传输至第十四可分离卷积14；

第十四可分离卷积14将下采样的第四阶段第三分支最终融合特征图和第四阶段第四分支低维特征进行融合，获得第四阶段第四分支融合特征图；将第四阶段第四分支融合特征图传输至检测模块。

现有的Lite-HRNet网络融合方式非常简单，只是将所有分支的特征缩放到同一尺寸并相加，会导致信息损失甚至模型梯度混乱；本发明Bi-FPN特征融合块包含双向特征融合，每个Bi-FPN特征融合块包括多个可分离卷积；每个阶段的各个沙漏通道加权分支获得的不同分辨率的低维特征都要经过上采样和下采样，传递到该阶段上一沙漏通道加权分支和该阶段下一沙漏通道加权分支连接的可分离卷积进行跨分辨率的特征融合，显著地提升了检测精度。并且，考虑到每个分支的信息重要程度不一致，Bi-FPN特征融合块对各分支采用加权求和，每个分支都有一个可学习的参数，并对不同分支参数进行归一化，自适应地表征各分支的贡献程度，最后各分支输出对应的融合特征图。

所述检测模块包括三个检测分支单元；每个检测单元分支包括依次连接的沙漏通道加权单元和标准卷积；三个检测分支单元分别接收第四阶段第二分支最终融合特征图、第四阶段第三分支最终融合特征图和第四阶段第四分支融合特征图，根据设置的检测算法对其进行检测，获得待检测目标图像的检测结果。

本实施例中，标准卷积为1×1标准卷积。

所述检测结果具体为待检测目标的类别、包围框坐标和置信度得分，每个检测分支单元接收一条分支最终融合特征图，计算出该分支的待检测目标的类别、包围框坐标和置信度得分；之后三条分支单元对应的待检测目标的类别、包围框坐标和置信度得分进行加权计算，获得最终的类别、包围框坐标和置信度得分，作为待检测目标图像的检测结果输出。

在实际操作过程中，可以从实施例提供的超轻量目标检测网络(Lite-HRDet)的基础上，构造出Lite-HRDet-S网络模型和Lite-HRDet-L网络模型，这两个模型的参数如下表所示：

表中，SGCW表示沙漏通道加权单元，Bi-FPN表示Bi-FPN特征融合块；第三列表示下采样率，代表下采样获得的分辨率是原始图像的1/n，2×表示1/2，4×表示1/4；每一种分辨率对应一个阶段的沙漏通道加权分支，如有4×、8×时，则该阶段有两个沙漏通道加权分支；第五列和第七列的repeat表示沙漏通道加权单元的数量，例如repeat为2，则该阶段每个沙漏通道加权分支由2个沙漏通道加权单元依次连接组成。第六列和第八列的modules指相应模块的数量，例如modules为2，则对应的第三特征提取融合模块的数量是两个，两个第三特征提取融合模块依次连接，第二个第三特征提取融合模块再与检测模块连接。

与现有的目标检测网络相比，本实施例提供的超轻量目标检测网络在相似的精度下具有极低的参数量和计算量；例如在COCO数据集上，Lite-HRDet-L网络模型的精度为30.2mAP，比现有的目标检测网络SSD提升了1.4mAP；参数量为1.6M，计算量为1.6GFLOPs，分别是SSD的4.4％和1.6％；

与现有的目标检测网络相比，本实施例提供的超轻量目标检测网络具有更高的精度；例如，与现有的MobileNetv2目标检测网络相比，Lite-HRDet-S网络模型的精度为24.0mAP，超出其9％，计算量减少了25％，参数量为其25％。并且，该网络模型易于迁移到其他特定目标检测任务，经测试，在皮革瑕疵检测数据集达到95.8％的准确度。

本实施例还提供了一种移动设备，所述移动端设备设置有超轻量目标检测网络，实现对目标的检测。

在具体实施过程中，需要对超轻量目标检测网络进行预训练。用COCO数据集对超轻量目标检测网络进行预训练，COCO数据集包含118K张带标注的图片，80个类别；预训练时，我们将图像统一缩放为416×416尺寸，并进行数据增强操作：随机镜像翻转、随机裁剪拼接、随机缩放、随机颜色扰动。训练代码基于pytorch框架，使用带动量的SGD作为优化器，初始学习率设置为0.01，动量系数为0.937，并采用warmup和cosine decay学习率动态调整策略，总共训练300个轮次；

预训练完毕后，将超轻量目标检测网络迁移到待检测的目标数据集上，加载预训练的权重，并调小学习率至0.002，训练100轮次，可根据待检测的目标数据集规模适当增加或减少训练轮次；

将迁移后的超轻量目标检测网络导出为onnx格式，再借助ncnn框架进行网络转换和优化，得到.bin和.param后缀的权重和网路结构文件，然后将其嵌入app应用中，调用ncnn推理接口进行计算，供移动设备使用，得到待检测的目标的检测结果。

本实施例提供的超轻量目标检测网络在移动设备实现实时检测，如在麒麟990处理器上，目标检测速度可以达到38FPS。

实施例2

本实施例提供一种超轻量目标检测方法，如图3所示，所述方法包括：

S1：高维特征图提取：利用主干模块对待检测目标图像进行切片操作后，下采样提取出高维特征图；

S2：多尺度特征提取融合：利用至少1个的特征提取融合模块对高维特征图提取出不同分辨率的低维特征，并对不同分辨率的低维特征图进行多尺度特征融合，获得融合特征图；

S3：利用检测模块根据设置的检测算法对融合特征图进行检测，获得待检测目标图像的检测结果。

所述检测算法为YOLOv5检测算法。

所述检测结果具体为待检测目标的类别、包围框坐标和置信度得分。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种超轻量目标检测网络，其特征在于，包括依次连接的主干模块、特征提取融合模块和检测模块；

特征提取融合模块包括若干个沙漏通道加权分支和一个Bi-FPN 特征融合块；沙漏通道加权分支间并行连接至Bi-FPN 特征融合块；

待检测目标图像输入主干模块，主干模块对待检测目标图像进行切片操作后，下采样提取出高维特征图，特征提取融合模块中的若干个沙漏通道加权分支对高维特征图提取出不同分辨率的低维特征，Bi-FPN 特征融合块将不同分辨率的低维特征进行多尺度特征融合，获得融合特征图；检测模块根据设置的检测算法对融合特征图进行检测，获得待检测目标图像的检测结果；

所述特征提取融合模块的数量为3个，包括依次相连的第一特征提取融合模块、第二特征提取融合模块和第三特征提取融合模块；

所述第一特征提取融合模块包括两个沙漏通道加权分支和一个Bi-FPN 特征融合块；两个沙漏通道加权分支为第二阶段第一沙漏通道加权分支和第二阶段第二沙漏通道加权分支，Bi-FPN 特征融合块包括第一可分离卷积、第二可分离卷积和第三可分离卷积；

第二阶段第二沙漏通道加权分支对高维特征图提取出第二阶段第二分支低维特征，传输至第二可分离卷积外，还需进行上采样传输至第一可分离卷积；

第二阶段第一沙漏通道加权分支对高维特征图提取出第二阶段第一分支低维特征，传输至第一可分离卷积后，与第二阶段第二分支低维特征进行融合，获得第二阶段第一分支融合特征图；将第二阶段第一分支融合特征图传输至第二特征提取融合模块外，还需进行下采样传输至第二可分离卷积；

第二可分离卷积将下采样的第二阶段第一分支融合特征图和第二阶段第二分支低维特征进行融合，获得第二阶段第二分支融合特征图；将第二阶段第二分支融合特征图传输至第二特征提取融合模块，还需进行下采样传输至第三可分离卷积；

第三可分离卷积将下采样的第二阶段第二分支融合特征图输至第二特征提取融合模块；

所述第二特征提取融合模块包括三个沙漏通道加权分支和一个Bi-FPN 特征融合块；三个沙漏通道加权分支为第三阶段第一沙漏通道加权分支、第三阶段第二沙漏通道加权分支和第三阶段第三沙漏通道加权分支；Bi-FPN 特征融合块包括第四可分离卷积、第五可分离卷积、第六可分离卷积、第七可分离卷积和第八可分离卷积；

第三阶段第三沙漏通道加权分支对下采样的第二阶段第二分支融合特征图提取出第三阶段第三分支低维特征，传输至第七可分离卷积外，还需进行上采样传输至第五可分离卷积；

第三阶段第二沙漏通道加权分支对第二阶段第二分支融合特征图提取出第三阶段第二分支低维特征，传输至第六可分离卷积外，还需传输至第五可分离卷积，与第三阶段第三分支低维特征进行融合，获得第三阶段第二分支初始融合特征图；将第三阶段第二分支初始融合特征图传输至第六可分离卷积外，还需进行上采样传输至第四可分离卷积；

第三阶段第一沙漏通道加权分支对第二阶段第一分支融合特征图提取出第三阶段第一分支低维特征，传输至第四可分离卷积后，与上采样的第三阶段第二分支初始融合特征图进行融合，获得第三阶段第一分支融合特征图传输至第三特征提取融合模块外，还需进行下采样传输至第六可分离卷积；

第六可分离卷积将下采样的第三阶段第一分支融合特征图、第三阶段第二分支初始融合特征图和第三阶段第二分支低维特征进行融合，获得第三阶段第二分支最终融合特征图；将第三阶段第二分支最终融合特征图传输至第三特征提取融合模块外，还需进行下采样传输至第七可分离卷积；

第七可分离卷积将下采样的第三阶段第二分支最终融合特征图和第三阶段第三分支低维特征进行融合，获得第三阶段第三分支融合特征图；将第三阶段第三分支融合特征图传输至第三特征提取融合模块外，还需进行下采样传输至第八可分离卷积；

第八可分离卷积将下采样的第三阶段第三分支融合特征图输至第三特征提取融合模块。

2.根据权利要求1所述的超轻量目标检测网络，其特征在于，所述主干模块包括依次连接的Focus块和3×3可分离卷积；

待检测目标图像输入Focus块，Focus块对待检测目标图像进行切片操作，3×3可分离卷积对切片后的待检测目标图像进行下采样，提取出高维特征图。

3.根据权利要求1所述的超轻量目标检测网络，其特征在于，每个沙漏通道加权分支包括若干个依次连接的沙漏通道加权单元，每个沙漏通道加权单元包括依次连接的CRW层、第一深度分离卷积层、第一标准卷积层、第二标准卷积层和第二深度分离卷积层。

4.根据权利要求1所述的超轻量目标检测网络，其特征在于，所述第三特征提取融合模块包括四个沙漏通道加权分支和一个Bi-FPN 特征融合块；四个沙漏通道加权分支为第四阶段第一沙漏通道加权分支、第四阶段第二沙漏通道加权分支、第四阶段第三沙漏通道加权分支和第四阶段第四沙漏通道加权分支；Bi-FPN 特征融合块包括第九可分离卷积、第十可分离卷积、第十一可分离卷、第十二可分离卷积、第十三可分离卷积和第十四可分离卷；

第四阶段第四沙漏通道加权分支对下采样的第三阶段第三分支融合特征图提取出第四阶段第四分支低维特征，传输至第十四可分离卷积外，还需进行上采样传输至第十二可分离卷积；

第四阶段第三沙漏通道加权分支对第三阶段第三分支融合特征图提取出第四阶段第三分支低维特征，传输至第十三可分离卷积外，还需传输至第十二可分离卷积，与第四阶段第三分支低维特征进行融合，获得第四阶段第三分支初始融合特征图；将第四阶段第三分支初始融合特征图传输至第十三可分离卷积外，还需进行上采样传输至第十可分离卷积；

第四阶段第二沙漏通道加权分支对第三阶段第二分支最终融合特征图提取出第四阶段第二分支低维特征，传输至第十一可分离卷积外，还需传输至第十可分离卷积，与第四阶段第三分支初始融合特征图进行融合，获得第四阶段第二分支初始融合特征图；将第四阶段第二分支初始融合特征图传输至第十一可分离卷积外，还需进行上采样传输至第九可分离卷积；

第四阶段第一沙漏通道加权分支对第三阶段第一分支融合特征图提取出第四阶段第一分支低维特征，传输至第九可分离卷积后，与上采样的第四阶段第二分支初始融合特征图进行融合，获得第四阶段第一分支融合特征图，对其进行下采样传输至第十一可分离卷积；

第十一可分离卷积将下采样的第四阶段第一分支融合特征图、第四阶段第二分支初始融合特征图和第四阶段第二分支低维特征进行融合，获得第四阶段第二分支最终融合特征图；将第四阶段第二分支最终融合特征图传输至检测模块外，还需进行下采样传输至第十三可分离卷积；

第十三可分离卷积将下采样的第四阶段第二分支最终融合特征图、第四阶段第三分支初始融合特征图和第四阶段第三分支低维特征进行融合，获得第四阶段第三分支最终融合特征图；将第四阶段第三分支最终融合特征图传输至检测模块外，还需进行下采样传输至第十四可分离卷积；

第十四可分离卷积将下采样的第四阶段第三分支最终融合特征图和第四阶段第四分支低维特征进行融合，获得第四阶段第四分支融合特征图；将第四阶段第四分支融合特征图传输至检测模块。

5.根据权利要求4所述的超轻量目标检测网络，其特征在于，所述检测模块包括三个检测分支单元；每个检测单元分支包括依次连接的沙漏通道加权单元和标准卷积；三个检测分支单元分别接收第四阶段第二分支最终融合特征图、第四阶段第三分支最终融合特征图和第四阶段第四分支融合特征图，根据设置的检测算法对其进行检测，获得待检测目标图像的检测结果。

6.一种超轻量目标检测方法，其特征在于，基于权利要求1-5任一项所述的超轻量目标检测网络，所述方法包括：

S1：高维特征图提取：利用主干模块对待检测目标图像进行切片操作后，下采样提取出高维特征图；

S2：多尺度特征提取融合：利用3个特征提取融合模块对高维特征图提取出不同分辨率的低维特征，并对不同分辨率的低维特征图进行多尺度特征融合，获得融合特征图；

S3：利用检测模块根据设置的检测算法对融合特征图进行检测，获得待检测目标图像的检测结果。

7.根据权利要求6所述的超轻量目标检测方法，其特征在于，所述检测算法为YOLOv5检测算法。