CN112990325B - 一种面向嵌入式实时视觉目标检测的轻型网络构建方法 - Google Patents

一种面向嵌入式实时视觉目标检测的轻型网络构建方法 Download PDF

Info

Publication number
CN112990325B
CN112990325B CN202110312020.2A CN202110312020A CN112990325B CN 112990325 B CN112990325 B CN 112990325B CN 202110312020 A CN202110312020 A CN 202110312020A CN 112990325 B CN112990325 B CN 112990325B
Authority
CN
China
Prior art keywords
network
scale
layer
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110312020.2A
Other languages
English (en)
Other versions
CN112990325A (zh
Inventor
王晗
冯文宇
朱远璠
郑君泰
傅怀梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202110312020.2A priority Critical patent/CN112990325B/zh
Publication of CN112990325A publication Critical patent/CN112990325A/zh
Application granted granted Critical
Publication of CN112990325B publication Critical patent/CN112990325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向嵌入式实时视觉目标检测的轻型网络构建方法，包括如下步骤：步骤1)构建基于通道注意力机制多尺度特征融合的三分支输出骨干网络模块Backbone‑Tiny；步骤2)构建轻型金字塔特征融合网络模块PAN‑Tiny；步骤3)构建轻型检测头网络模块Head‑Tiny；步骤4)按照骨干网络模块Backbone‑Tiny、金字塔特征融合网络模块PAN‑Tiny、检测头网络模块Head‑Tiny的顺序，将步骤1)、步骤2)、步骤3)所描述的三个局部子网络模块依次串联成为目标检测网络整体。本发明的方法能够大幅度提升骨干网络模块特征提取有效性的同时，显著降低特征金字塔融合网络模块的计算量。

Description

一种面向嵌入式实时视觉目标检测的轻型网络构建方法
技术领域
本发明涉及图像目标检测与识别技术，计算机视觉技术，尤其涉及一种面向嵌入式移动终端设备环境下的实时图像目标定位与识别(检测)深度学习模型的结构轻量化设计方法。
背景技术
所谓嵌入式移动终端设备环境下的实时图像目标物体检测模型，是指脱离上位PC机，在移动设备终端环境下，利用嵌入式技术开发能够处理超过每秒40帧以上的图像目标检测任务的卷积神经网络模型。该技术对工业、医学、国防、刑侦等领域的应用提供着重要的技术支持。
目前，常见的方法是YOLO系列的目标检测模型。如YOLOv3、YOLOv4、YOLOv4-Tiny等。现有的方法常常受限于特征提取有效性与处理速度不平衡的问题。即，高精度引起处理速度的显著下降、高速度引起检测精度的面明显下降。
发明内容
发明目的：为了解决上述问题，本发明的主要目的在于提供一种面向嵌入式实时视觉目标检测的轻型网络构建方法，其先进性表现为：通过设计通道注意力机制调节的多尺度融合分支特征提取单元SE-SPP-Shuffulenet提高骨干网络的特征有效性，保证多尺度目标检测精度。然后，提出超轻金字塔融合网络PAN-Tiny的结构，最大限度降低计算量，减轻模型参数体量。最后，简化检测头网络结构进一步提升目标检测速度。实验表明，本发明提出轻型网络可以在保证目标检测精度的同时，大幅度地提升计算速度，充分满足普通嵌入式移动设备环境下对于图像目标检测的准确性和实时性能的要求。
技术方案：为达到上述目的，本发明的技术方案是：一种面向嵌入式实时视觉目标检测的轻型网络构建方法，包括如下步骤：
步骤1)构建基于通道注意力机制多尺度特征融合的三分支输出骨干网络模块Backbone-Tiny；
步骤2)构建轻型金字塔特征融合网络模块PAN-Tiny；
步骤3)构建轻型检测头网络模块Head-Tiny；
步骤4)按照骨干网络模块Backbone-Tiny、金字塔特征融合网络模块PAN-Tiny、检测头网络模块Head-Tiny的顺序，将步骤1)、步骤2)、步骤3)所描述的三个局部子网络模块依次串联成为目标检测网络整体。
进一步的，所述的步骤1)的具体内容为：
三分支输出骨干网络Backbone-Tiny共输出大、中、小三个尺度的图像特征。其网络结构依次由1个卷积层、1个最大池化层、和3个不同尺度的分支特征提取单元SE-SPP-Shufflenet串联组成。每个尺度的SE-SPP-Shufflenet单元均由SE-Shufflenet网络和SPP多尺度池化网络两个部分串联组成。即，SE-Shufflenet的输出作为SPP的输入，而SPP的输出作为SE-Shufflenet网络的最后输出。且大尺度SE-Shufflenet网络的输出，作为中尺度SE-Shufflenet网络的输入；中尺度SE-Shufflenet网络的输出，作为小尺度SE-Shufflenet网络的输入；从而构成3种不同尺度的分支特征提取单元SE-SPP-Shufflenet之间的串联结构。而三个尺度的SE-SPP-Shufflenet网络输出特征图，即为三分支输出骨干网络Backbone-Tiny的三个不同尺度的特征输出。
SE-Shufflenet特征提取网络由Shufflenet网络与通道注意力模型SE串联组成。即，Shufflenet网络的输出作为注意力模型SE网络的输入；而SE输出的特征即为SE-Shufflenet的特征提取网络的最终输出。其中，Shufflenet网络结构依次由1个通道分割层(channel split)、1个“并行特征提取网络”、1个特征拼接层(concate)和1个通道乱序层(channel shuffle)串联构成。其中，“并行特征提取网络”由上、下两个特征提取分支网络并联构成。其中，上分支网络共9层，依次由1个输入层、1个卷积层、1个BN层、1个Relu层、1个DW卷积层、1个BN层、1个DW卷积层、1个BN层和1个Relu层串联构成。下分支网络共6层，依次由1个输入层、1个DW卷积层、1个BN层、1个卷积层、1个BN层和1个Relu层串联构成。上、下分支网络的输出特征图经过1个特征拼接层(concate)连接后，再经过1个通道乱序层(channel shuffle)将输出特征图的通道顺序随机打乱。最后，通道乱序后的特征图作为Shufflenet网络的输出。
SE注意力模型由上、下两个分支结构并联构成。上分支直接输出原输入特征图。下分支网络共5层，依次由1个最大池化层、1个全连接层、1个Relu层、1个全连接层、1个Hard-Swich层串联构成。上、下分支的输出特征图由1个元素相乘操作层(multiply)进行融合。最后，将元素相乘后的特征图作为SE注意力模型的输出。
SPP多尺度池化网络结构由四个尺度的最大池化层并联后和1个特征拼接层(concate)串联组成。即，输入特征图分别经过1×1、5×5、9×9、13×13的四最大池化层的输出特征通过concate层拼接融合，其多尺度的融合结果作为SPP的输出。
进一步的，所述的步骤2)的具体内容为：
轻型金字塔特征融合网络模块PAN-Tiny可将Backbone-Tiny骨干网络的三个尺度输出特征进行分别进行自上而下、自下而上的多尺度融合之后输出三种不同尺度的优化特征。其网络结构如图4所示，由如下三个不同尺度的特征融合分支网络构成：“大尺度特征融合分支网络”、“中尺度特征融合分支网络”、“小尺度特征融合分支网络”。
a)“小尺度特征融合分支网络”结构与特征融合过程如下：
首先，小尺度输入特征图经过1个1×1的卷积层后与“中尺度1次融合上行特征图”FMup1经过1个1×1的卷积层和1个“线性插值上采样”层后进行元素相加操作。然后，元素相加获取的特征图再经过通道分割(channel split)操作分成两个部分，分别为“小尺度融合上行特征图”FSup和“小尺度融合下行特征图”FSdown。其中，“小尺度融合上行特征图”FSup即为“小尺度特征融合分支网络”的输出特征图。
b)“中尺度特征融合分支网络”结构与特征融合过程如下：
首先，中尺度输入特征图经过1个1×1的卷积层后与“大尺度融合上行特征图”FBup经过1个“线性插值上采样”层和1个1×1的卷积层后，进行元素相加操作。然后，元素相加获取的特征图经过通道分割(channel split)操作分成两个部分，分别为“中尺度1次融合上行特征图”FMup1和“中尺度1次融合下行特征图”FMdown1。接着，“小尺度融合下行特征图”FSdown经过1个“线性插值下采样”层后与“中尺度1次融合下行特征图”FMdown1进行元素相加。元素相加的结果经过通道分割(channel split)操作分成两个部分，分别为“中尺度2次融合上行特征图”FMup2和“中尺度2次融合下行特征图”FMdown2。最后，“中尺度2次融合上行特征图”FMup2经过一个1×1的卷积层后作为“中尺度特征融合分支网络”的输出特征图。
c)“大尺度特征融合分支网络”结构与特征融合过程如下：
首先，小尺度输入特征图经过1个1×1的卷积层后，再经过通道分割(channelsplit)操作分成两个部分，分别为“小尺度上行特征图”FBup和“小尺度下行特征图”FBdown。然后，中尺度2次下行特征图FMdown2经过1个1×1的卷积层和1个“线性插值下采样”层与“大尺度下行特征图”FBdown进行元素相加操作。元素相加后获取的融合特征图作为“大尺度特征融合分支网络”的输出特征。
进一步的，所述的步骤3)的具体内容为：
轻型检测头网络模块Tiny-head共5层，依次由1个DW卷积层、1个卷积层、1个DW卷积层、1个卷积层、1个卷积层串联构成。
进一步的，所述的步骤4)的具体内容为：
(1)SE-SPP-Shufflenet骨干网络的三分支输出特征图，分别作为PAN-Tiny融合网络的大尺度、中尺度、小尺度特征的输入；
(2)PAN-Tiny融合网络的大尺度、中尺度、小尺度特征的输出特征图，分别连接大尺度、中尺度、小尺度的检测头网络；
(3)最后，三个检测头网络分别输出大尺度、中尺度、小尺度的目标物体定位框Box,检测置信度Conf和输出类别Class三种目标检测结果参数，实现目标定位与识别功能。
有益效果：本发明的方法能够有效提升骨干网络特征提取有效性的同时，显著降低特征金字塔融合网络模块的计算量，大幅度降低处理速度。相对于传统YOLO系列目标检测网络，具有更高的准确性和更快的处理速度，充分满足普通移动设备嵌入式计算环境下对于目标检测网络模型的准确性和实时性要求。
附图说明
图1为本轻型目标检测网络构建方法的流程示意图；
图2为本发明提出的三分支输出骨干网络Backbone-Tiny结构示意图；
图3为本发明提出的SE-Shufflenet网络结构示意图；
图4为本发明提出的PAN-Tiny金字塔特征融合网络结构示意图；
图5为本发明提出的Head-Tiny骨干网络结构示意图；
图6为本发明提出的轻型目标检测网络的结构串联方式示意图；
图7为本发明轻型目标检测网络与传统YOLO系列检测模型在目标检测精度和处理速度及模型参数体量上的比较示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种面向嵌入式实时视觉目标检测的轻型网络构建方法，包括如下步骤：
步骤101：)构建基于通道注意力机制多尺度特征融合的三分支输出骨干网络模块Backbone-Tiny；的具体内容为：
三分支输出骨干网络Backbone-Tiny共输出大、中、小三个尺度的图像特征。如图2所示，其网络结构依次由1个卷积层、1个最大池化层、和大、中、小3种不同尺度的分支特征提取单元SE-SPP-Shufflenet串联组成。每个尺度的SE-SPP-Shufflenet单元均由SE-Shufflenet网络和SPP多尺度池化网络两个部分串联组成。即，SE-Shufflenet的输出作为SPP的输入，而SPP的输出作为SE-Shufflenet网络的最后输出。且大尺度SE-Shufflenet网络的输出，作为中尺度SE-Shufflenet网络的输入；中尺度SE-Shufflenet网络的输出，作为小尺度SE-Shufflenet网络的输入；从而构成3种不同尺度的分支特征提取单元SE-SPP-Shufflenet之间的串联结构。而三个尺度的SE-SPP-Shufflenet网络输出特征图，即为三分支输出骨干网络Backbone-Tiny的三个不同尺度的特征输出。
如图3所示，SE-Shufflenet特征提取网络由Shufflenet网络与通道注意力模型SE串联组成。即，Shufflenet网络的输出作为注意力模型SE网络的输入；而SE输出的特征即为SE-Shufflenet的特征提取网络的最终输出。其中，Shufflenet网络结构依次由1个通道分割层(channel split)、1个“并行特征提取网络”、1个特征拼接层(concate)和1个通道乱序层(channel shuffle)串联构成。其中，“并行特征提取网络”由上、下两个特征提取分支网络并联构成。其中，上分支网络共9层，依次由1个输入层、1个卷积层、1个BN层、1个Relu层、1个DW卷积层、1个BN层、1个DW卷积层、1个BN层和1个Relu层串联构成。下分支网络共6层，依次由1个输入层、1个DW卷积层、1个BN层、1个卷积层、1个BN层和1个Relu层串联构成。上、下分支网络的输出特征图经过1个特征拼接层(concate)连接后，再经过1个通道乱序层(channel shuffle)将输出特征图的通道顺序随机打乱。最后，通道乱序后的特征图作为Shufflenet网络的输出。
SE注意力模型由上、下两个分支结构并联构成。上分支直接输出原输入特征图。下分支网络共5层，依次由1个最大池化层、1个全连接层、1个Relu层、1个全连接层、1个Hard-Swich层串联构成。上、下分支的输出特征图由1个元素相乘操作层(multiply)进行融合。最后，将元素相乘后的特征图作为SE注意力模型的输出。
SPP多尺度池化网络结构，如图2右上方所示，由四个尺度的最大池化层并联后和1个特征拼接层(concate)串联组成。即，输入特征图分别经过1×1、5×5、9×9、13×13的四最大池化层的输出特征通过concate层拼接融合，其多尺度的融合结果作为SPP的输出。
步骤102：)构建轻型金字塔特征融合网络模块PAN-Tiny；的具体内容为：
轻型金字塔特征融合网络模块PAN-Tiny可将Backbone-Tiny骨干网络的三个尺度输出特征进行分别进行自上而下、自下而上的多尺度融合之后输出三种不同尺度的优化特征。其网络结构如图4所示，由如下三个不同尺度的特征融合分支网络构成：“大尺度特征融合分支网络”、“中尺度特征融合分支网络”、“小尺度特征融合分支网络”。
a)“小尺度特征融合分支网络”结构与特征融合过程如下：
首先，小尺度输入特征图经过1个1×1的卷积层后与“中尺度1次融合上行特征图”FMup1经过1个1×1的卷积层和1个“线性插值上采样”层后进行元素相加操作。然后，元素相加获取的特征图再经过通道分割(channel split)操作分成两个部分，分别为“小尺度融合上行特征图”FSup和“小尺度融合下行特征图”FSdown。其中，“小尺度融合上行特征图”FSup即为“小尺度特征融合分支网络”的输出特征图。
b)“中尺度特征融合分支网络”结构与特征融合过程如下：
首先，中尺度输入特征图经过1个1×1的卷积层后与“大尺度融合上行特征图”FBup经过1个“线性插值上采样”层和1个1×1的卷积层后，进行元素相加操作。然后，元素相加获取的特征图经过通道分割(channel split)操作分成两个部分，分别为“中尺度1次融合上行特征图”FMup1和“中尺度1次融合下行特征图”FMdown1。接着，“小尺度融合下行特征图”FSdown经过1个“线性插值下采样”层后与“中尺度1次融合下行特征图”FMdown1进行元素相加。元素相加的结果经过通道分割(channel split)操作分成两个部分，分别为“中尺度2次融合上行特征图”FMup2和“中尺度2次融合下行特征图”FMdown2。最后，“中尺度2次融合上行特征图”FMup2经过一个1×1的卷积层后作为“中尺度特征融合分支网络”的输出特征图。
c)“大尺度特征融合分支网络”结构与特征融合过程如下：
首先，小尺度输入特征图经过1个1×1的卷积层后，再经过通道分割(channelsplit)操作分成两个部分，分别为“小尺度上行特征图”FBup和“小尺度下行特征图”FBdown。然后，中尺度2次下行特征图FMdown2经过1个1×1的卷积层和1个“线性插值下采样”层与“大尺度下行特征图”FBdown进行元素相加操作。元素相加后获取的融合特征图作为“大尺度特征融合分支网络”的输出特征。
表1给出了本发明的PAN-Tiny征与传统PAN网络的参数体量与检测精度的比较，通过比较可知本发明的特征融合网络可以在检测精度不变的情况下显著减低参数体量，加速运算速度。
表1特征融合网络对比实验(PAN vs PAN-Tiny)
融合模块 参数体量(M) 精度(％)
PAN 14.33 21.7
PAN-Tiny(本发明) 3.71 21.7
步骤103：)构建轻型检测头网络模块Head-Tiny；的具体内容为：
如图5所示，轻型检测头网络模块Tiny-head共5层，依次由1个DW卷积层、1个卷积层、1个DW卷积层、1个卷积层、1个卷积层串联构成。
步骤104：)按照骨干网络模块Backbone-Tiny、金字塔特征融合网络模块PAN-Tiny、检测头网络模块Head-Tiny的顺序，将步骤1)、步骤2)、步骤3)所描述的三个局部子网络模块依次串联成为目标检测网络整体。的具体内容为：
如图6所示，SE-SPP-Shufflenet骨干网络的三分支输出特征图，分别作为PAN-Tiny融合网络的大尺度、中尺度、小尺度特征的输入；而PAN-Tiny融合网络的大尺度、中尺度、小尺度特征的输出特征图，分别连接大尺度、中尺度、小尺度的检测头网络。最后，三个检测头网络分别输出大尺度、中尺度、小尺度的目标物体定位框Box,检测置信度Conf和输出类别Class三种目标检测结果参数，实现目标定位与识别功能。
图7给出了本发明方法(轻型网络)、和三种传统YOLO系列目标检测方法，包括YOLOv 3、YOLOv 4和YOLOv 4-Tiny在COCO公共数据集上的检测结果比较。经过对比可以清楚的看出：本发明的轻型网络构建方法对于复杂环境下的小目标检测精度，明显优于其他传统YOLO系列模型。
同时，本发明利用相同PC实验环境如下：Intel(R)Xeon(R)Gold 521 8CPU，GeForce RTX 2080Ti 11GGPU。软件使用Ubuntu16.04系统，Python 3.7，PyTorch1.5.0深度学习框架。选择MAP(Mean Average Precision)和FPS(Frame Per Second)分别作为模型检测精度和速度的评价指标对常见的几种YOLO系列模型进行了性能量化比较实验。表2给出了本文目标检测网络与传统YOLO系列网络参数体量及其运行速度比较实例。通过比较可知，本发明方法构建的目标检测网络参数体量最小，模型占有内存最少，运行速度最快。
表2目标检测网络参数体量与运行速度比较说明表
Figure BDA0002990165080000101
本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。

Claims (4)

1.一种面向嵌入式实时视觉目标检测的轻型网络构建方法，其特征在于：包括如下步骤：
步骤1)构建基于通道注意力机制多尺度特征融合的三分支输出骨干网络模块Backbone-Tiny；
步骤2)构建轻型金字塔特征融合网络模块PAN-Tiny；
步骤3)构建轻型检测头网络模块Head-Tiny；
步骤4)按照骨干网络模块Backbone-Tiny、金字塔特征融合网络模块PAN-Tiny、检测头网络模块Head-Tiny的顺序，将步骤1)、步骤2)、步骤3)所描述的三个局部子网络模块依次串联成为目标检测网络整体；
所述的步骤1)的具体内容为：
三分支输出骨干网络Backbone-Tiny共输出大、中、小三个尺度的图像特征，其网络结构依次由1个卷积层、1个最大池化层、和3个不同尺度的分支特征提取单元SE-SPP-Shufflenet串联组成，每个尺度的SE-SPP-Shufflenet单元均由SE-Shufflenet网络和SPP多尺度池化网络两个部分串联组成，即，SE-Shufflenet的输出作为SPP的输入，而SPP的输出作为SE-Shufflenet网络的最后输出，且大尺度SE-Shufflenet网络的输出，作为中尺度SE-Shufflenet网络的输入；中尺度SE-Shufflenet网络的输出，作为小尺度SE-Shufflenet网络的输入；从而构成3种不同尺度的分支特征提取单元SE-SPP-Shufflenet之间的串联结构，而三个尺度的SE-SPP-Shufflenet网络输出特征图，即为三分支输出骨干网络Backbone-Tiny的三个不同尺度的特征输出；
SE-Shufflenet特征提取网络由Shufflenet网络与通道注意力模型SE串联组成，Shufflenet网络的输出作为通道注意力模型SE的输入；而通道注意力模型SE输出的特征即为SE-Shufflenet的特征提取网络的最终输出，其中，Shufflenet网络结构依次由1个通道分割层(channel split)、1个并行特征提取网络、1个特征拼接层(concate)和1个通道乱序层(channel shuffle)串联构成，其中，并行特征提取网络由上、下两个特征提取分支网络并联构成，其中，上分支网络共9层，依次由1个输入层、1个卷积层、1个BN层、1个Relu层、1个DW卷积层、1个BN层、1个DW卷积层、1个BN层和1个Relu层串联构成；下分支网络共6层，依次由1个输入层、1个DW卷积层、1个BN层、1个卷积层、1个BN层和1个Relu层串联构成，上、下分支网络的输出特征图经过1个特征拼接层(concate)连接后，再经过1个通道乱序层(channel shuffle)将输出特征图的通道顺序随机打乱，最后，通道乱序后的特征图作为Shufflenet网络的输出；
通道注意力模型SE由上、下两个分支结构并联构成，上分支直接输出原输入特征图，下分支网络共5层，依次由1个最大池化层、1个全连接层、1个Relu层、1个全连接层、1个Hard-Swich层串联构成；上、下分支的输出特征图由1个元素相乘操作层(multiply)进行融合；最后，将元素相乘后的特征图作为SE注意力模型的输出；
SPP多尺度池化网络结构由四个尺度的最大池化层并联后和1个特征拼接层(concate)串联组成，即，输入特征图分别经过1×1、5×5、9×9、13×13的最大池化层的输出特征通过concate层拼接融合，其多尺度的融合结果作为SPP的输出。
2.根据权利要求1所述的面向嵌入式实时视觉目标检测的轻型网络构建方法，其特征在于：所述的步骤2)的具体内容为：
轻型金字塔特征融合网络模块PAN-Tiny可将Backbone-Tiny骨干网络的三个尺度输出特征进行分别进行自上而下、自下而上的多尺度融合之后输出三种不同尺度的优化特征，轻型金字塔特征融合网络模块PAN-Tiny由以下三个不同尺度的特征融合分支网络构成：“大尺度特征融合分支网络”、“中尺度特征融合分支网络”、“小尺度特征融合分支网络”；
a)“小尺度特征融合分支网络”结构与特征融合过程如下：
首先，小尺度输入特征图经过1个1×1的卷积层后与“中尺度1次融合上行特征图”FMup1经过1个1×1的卷积层和1个“线性插值上采样”层后进行元素相加操作；然后，元素相加获取的特征图再经过通道分割(channel split)操作分成两个部分，分别为“小尺度融合上行特征图”FSup和“小尺度融合下行特征图”FSdown，其中，“小尺度融合上行特征图”FSup即为“小尺度特征融合分支网络”的输出特征图；
b)“中尺度特征融合分支网络”结构与特征融合过程如下：
首先，中尺度输入特征图经过1个1×1的卷积层后与“大尺度融合上行特征图”FBup经过1个“线性插值上采样”层和1个1×1的卷积层后，进行元素相加操作；然后，元素相加获取的特征图经过通道分割(channel split)操作分成两个部分，分别为“中尺度1次融合上行特征图”FMup1和“中尺度1次融合下行特征图”FMdown1；接着，“小尺度融合下行特征图”FSdown经过1个“线性插值下采样”层后与“中尺度1次融合下行特征图”FMdown1进行元素相加；元素相加的结果经过通道分割(channel split)操作分成两个部分，分别为“中尺度2次融合上行特征图”FMup2和“中尺度2次融合下行特征图”FMdown2；最后，“中尺度2次融合上行特征图”FMup2经过一个1×1的卷积层后作为“中尺度特征融合分支网络”的输出特征图；
c)“大尺度特征融合分支网络”结构与特征融合过程如下：
首先，小尺度输入特征图经过1个1×1的卷积层后，再经过通道分割(channel split)操作分成两个部分，分别为“小尺度上行特征图”FBup和“小尺度下行特征图”FBdown；然后，中尺度2次下行特征图FMdown2经过1个1×1的卷积层和1个“线性插值下采样”层与“大尺度下行特征图”FBdown进行元素相加操作；元素相加后获取的融合特征图作为“大尺度特征融合分支网络”的输出特征。
3.根据权利要求1所述的面向嵌入式实时视觉目标检测的轻型网络构建方法，其特征在于：所述的步骤3)的具体内容为：
轻型检测头网络模块Tiny-head共5层，依次由1个DW卷积层、1个卷积层、1个DW卷积层、1个卷积层、1个卷积层串联构成。
4.根据权利要求1所述的面向嵌入式实时视觉目标检测的轻型网络构建方法，其特征在于：所述的步骤4)的具体内容为：
(1)SE-SPP-Shufflenet骨干网络的三分支输出特征图，分别作为PAN-Tiny融合网络的大尺度、中尺度、小尺度特征的输入；
(2)PAN-Tiny融合网络的大尺度、中尺度、小尺度特征的输出特征图，分别连接大尺度、中尺度、小尺度的检测头网络；
(3)最后，三个检测头网络分别输出大尺度、中尺度、小尺度的目标物体定位框Box,检测置信度Conf和输出类别Class三种目标检测结果参数，实现目标定位与识别功能。
CN202110312020.2A 2021-03-24 2021-03-24 一种面向嵌入式实时视觉目标检测的轻型网络构建方法 Active CN112990325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110312020.2A CN112990325B (zh) 2021-03-24 2021-03-24 一种面向嵌入式实时视觉目标检测的轻型网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110312020.2A CN112990325B (zh) 2021-03-24 2021-03-24 一种面向嵌入式实时视觉目标检测的轻型网络构建方法

Publications (2)

Publication Number Publication Date
CN112990325A CN112990325A (zh) 2021-06-18
CN112990325B true CN112990325B (zh) 2022-09-06

Family

ID=76333288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312020.2A Active CN112990325B (zh) 2021-03-24 2021-03-24 一种面向嵌入式实时视觉目标检测的轻型网络构建方法

Country Status (1)

Country Link
CN (1) CN112990325B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379727A (zh) * 2021-07-01 2021-09-10 南昌工程学院 基于改进YOLOv4-Tiny特征融合的猕猴桃叶面病害检测方法
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统
CN113989206A (zh) * 2021-10-20 2022-01-28 杭州深睿博联科技有限公司 一种基于轻量化模型的骨龄预测方法及装置
CN114332740B (zh) * 2022-03-08 2022-06-03 青岛海信网络科技股份有限公司 一种基于视频的路口死锁事件检测方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814621B (zh) * 2020-06-29 2024-01-23 中国科学院合肥物质科学研究院 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN112487862B (zh) * 2020-10-28 2021-07-02 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN112215207A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 联合多尺度和注意力机制的遥感影像飞机目标检测方法
CN112396002B (zh) * 2020-11-20 2023-05-30 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112508014A (zh) * 2020-12-04 2021-03-16 东南大学 一种基于注意力机制的改进YOLOv3目标检测方法

Also Published As

Publication number Publication date
CN112990325A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990325B (zh) 一种面向嵌入式实时视觉目标检测的轻型网络构建方法
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN112541503B (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN111091130A (zh) 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN110569851B (zh) 门控多层融合的实时语义分割方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN110675405B (zh) 基于注意力机制的one-shot图像分割方法
CN113205519B (zh) 一种基于多支路特征融合的图像分割方法及系统
CN109523558A (zh) 一种人像分割方法及系统
Tang et al. Lightdet: A lightweight and accurate object detection network
CN116805366A (zh) 一种基于改进Yolov7-tiny的轻量化目标检测方法
CN114119627B (zh) 基于深度学习的高温合金微观组织图像分割方法及装置
CN115965819A (zh) 一种基于Transformer结构的轻量化害虫识别方法
Yang et al. Research and Implementation of Embedded Real-time Target Detection Algorithm Based on Deep Learning
CN115331048A (zh) 图像分类方法、装置、设备以及存储介质
CN112529064B (zh) 一种高效的实时语义分割方法
CN114495269A (zh) 一种行人重识别方法
CN109002863B (zh) 一种基于紧凑卷积神经网络的图像处理方法
CN112802026A (zh) 一种基于深度学习实时的交通场景语义分割方法
Zhang et al. A lightweight multi-dimension dynamic convolutional network for real-time semantic segmentation
CN111461169A (zh) 基于正反卷积和多层分支深度网络的行人属性识别方法
CN113627073B (zh) 一种基于改进的Unet++网络的水下航行器流场结果预测方法
Zhang et al. A Lightweight and Dynamic Convolutional Network for Real-time Semantic Segmentation
CN112836710B (zh) 一种基于特征金字塔网络的房间布局估计获取方法与系统
Yang et al. Underwater Image Object Detection based on Multi-scale Feature Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant