CN112308004A - 一种基于流卷积的目标检测方法 - Google Patents

一种基于流卷积的目标检测方法 Download PDF

Info

Publication number
CN112308004A
CN112308004A CN202011235613.5A CN202011235613A CN112308004A CN 112308004 A CN112308004 A CN 112308004A CN 202011235613 A CN202011235613 A CN 202011235613A CN 112308004 A CN112308004 A CN 112308004A
Authority
CN
China
Prior art keywords
convolution
stream
sub
stream convolution
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011235613.5A
Other languages
English (en)
Inventor
陈英鹏
许野平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202011235613.5A priority Critical patent/CN112308004A/zh
Publication of CN112308004A publication Critical patent/CN112308004A/zh
Priority to PCT/CN2021/117024 priority patent/WO2022095583A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种基于流卷积的目标预测方法，所述流卷积在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得目标检测精度得到进一步提升。

Description

一种基于流卷积的目标检测方法
技术领域
本发明涉及人工智能领域，具体地说，是一种基于流卷积的目标检测方法，属于卷积神经网络的特征提取网络。
背景技术
近年来，卷积神经网络在各类计算视觉任务中取得重大突破。卷积神经网络的设计变得越来越复杂。然而，在现实的应用场景中，受限于有限设备计算资源，分组卷积的方式越来越受到大家的关注。尽管这种分组卷积的方式可以有效的减少网络参数量以及计算成本，但是这种分离通道特征的方式会导致组通道特征信息无法有效的流通起来，从而导致网络性能下降明显。
论文《MobileDets:Searching for Object Detection Architectures forMobile Accelerators》中利用深度分离卷积来减少网络参数以及计算成本，但是该方法整体性能下降也很明显。
论文《CSPNet:A New Backbone that can Enhance Learning Capability ofCNN》中提出了跨阶段局部网络(CSPNet)，以缓解以往的工作需要从网络架构的角度进行大量推理计算的问题。但是该方法仍然基于传统的卷积操作进行网络设计，很难进一步减少模型参数与计算成本。
发明内容
本发明要解决的技术问题是提供一种基于流卷积的目标检测方法，在减少参数以及计算成本的前提下，利用通道路径聚合的方式，使得子组通道特征信息能够很好地相互流通起来，从而提高目标检测的速度、减低计算成本。
为了解决所述技术问题，本发明采用的技术方案是：一种基于流卷积的目标检测方法，包括以下步骤：
S01)、输入特征进入目标检测网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
S02)、目标检测网络的BottleneckCSP中的相关卷积操作替换成流卷积操作，流卷积操作为：
S21)、将输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure BDA0002765590900000011
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure BDA0002765590900000012
Yg＝Fg(Xg+Yg-1),其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、目标检测网络输出目标检测结果。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
进一步的，流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自顶向下。
进一步的，流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自底向上。
进一步的，
Figure BDA0002765590900000021
本发明的有益效果：本发明公开一种基于流卷积的目标预测方法，所述流卷积在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得目标检测精度得到进一步提升。
附图说明
图1为流卷积连接方式示意图；
图2为目标检测网络结构示意图；
图3为BottleneckCSP网络结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种基于流卷积的目标检测方法，包括以下步骤：
S01)、S01)、输入特征进入目标检测网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
本实施例中，所述目标检测网络为YoloV5网络，如图2所示，YoloV5网络包括主干网络backbone和检测部分head，主干网络backbone用于提取特征，检测部分head用于根据主干网络提取的特征进行目标检测。
S02)、目标检测网络的BottleneckCSP中的相关卷积操作替换成流卷积操作，流卷积操作为：
S21)、将输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure BDA0002765590900000022
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
流卷积的分组方式有多种，可以使得每个子分组的通道数相等或者不相等均可。为了便于计算，本方法中选取各子分组通道均相等的方式，即：
Figure BDA0002765590900000031
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure BDA0002765590900000032
Yg＝Fg(Xg+Yg-1),其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、目标检测网络输出目标检测结果。
本实施例所述方法主要对BottleneckCSP中的相关卷积操作进行改进，YoloV5网络的其他操作，如全连接、池化等没有改进，因此本实施例对这些操作详述。
本实施例中，流卷积的两两连接方式有4种，如图1所示，分别为：
Flow Type A：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
Flow Type B：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
Flow Type C：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
Flow Type D：两个流卷积的通道特征信息流通方式均为自底向上。
BottleneckCSP的网络结构如图3所示，包括n个Bottleneck，每个Bottleneck均执行卷积计算，本实施例所述目标检测方法将n个Bottleneck的卷积操作全部替换为流卷积操作，并且流卷积的两两连接方式采用图1中的任意一种即可。
本实施例所述目标预测方法在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得目标检测精度得到进一步提升。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明作出的改进或替换，属于本发明的保护范围。

Claims (6)

1.一种基于流卷积的目标检测方法，其特征在于：包括以下步骤：
S01)、输入特征进入目标检测网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
S02)、目标检测网络的BottleneckCSP中的相关卷积操作替换成流卷积操作，流卷积操作为：
S21)、将输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure FDA0002765590890000014
Figure FDA0002765590890000011
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure FDA0002765590890000012
Yg＝Fg(Xg+Yg-1),
其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、目标检测网络输出目标检测结果。
2.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
3.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
4.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自顶向下。
5.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自底向上。
6.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：
Figure FDA0002765590890000013
CN202011235613.5A 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法 Pending CN112308004A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011235613.5A CN112308004A (zh) 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法
PCT/CN2021/117024 WO2022095583A1 (zh) 2020-11-06 2021-09-07 一种基于流卷积的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011235613.5A CN112308004A (zh) 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法

Publications (1)

Publication Number Publication Date
CN112308004A true CN112308004A (zh) 2021-02-02

Family

ID=74325181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011235613.5A Pending CN112308004A (zh) 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法

Country Status (2)

Country Link
CN (1) CN112308004A (zh)
WO (1) WO2022095583A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095583A1 (zh) * 2020-11-06 2022-05-12 神思电子技术股份有限公司 一种基于流卷积的目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569875A (zh) * 2019-08-07 2019-12-13 清华大学无锡应用技术研究院 一种基于特征复用的深度神经网络目标检测方法
CN110728354A (zh) * 2019-09-11 2020-01-24 东南大学 一种改进的滑动式分组卷积神经网络

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734545B2 (en) * 2017-11-14 2023-08-22 Google Llc Highly efficient convolutional neural networks
US11429824B2 (en) * 2018-09-11 2022-08-30 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
CN110110793B (zh) * 2019-05-10 2021-10-26 中山大学 基于双流卷积神经网络的双目图像快速目标检测方法
CN111027509B (zh) * 2019-12-23 2022-02-11 武汉大学 一种基于双流卷积神经网络的高光谱图像目标检测方法
CN111553916B (zh) * 2020-05-09 2023-11-14 中科计算技术创新研究院 基于多种特征和卷积神经网络的图像篡改区域检测方法
CN112308004A (zh) * 2020-11-06 2021-02-02 神思电子技术股份有限公司 一种基于流卷积的目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569875A (zh) * 2019-08-07 2019-12-13 清华大学无锡应用技术研究院 一种基于特征复用的深度神经网络目标检测方法
CN110728354A (zh) * 2019-09-11 2020-01-24 东南大学 一种改进的滑动式分组卷积神经网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIEN-YAOWANG, ET AL.: "CSPNET: A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN", 《IN PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095583A1 (zh) * 2020-11-06 2022-05-12 神思电子技术股份有限公司 一种基于流卷积的目标检测方法

Also Published As

Publication number Publication date
WO2022095583A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
CN110991362A (zh) 一种基于注意力机制的行人检测模型
CN110889416B (zh) 一种基于级联改良网络的显著性物体检测方法
CN111832453B (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN109214353A (zh) 一种基于剪枝模型的人脸图像快速检测训练方法和装置
CN112257844B (zh) 一种基于混合精度配置的卷积神经网络加速器及其实现方法
Lu et al. A review on object detection based on deep convolutional neural networks for autonomous driving
CN112308004A (zh) 一种基于流卷积的目标检测方法
CN108664993A (zh) 一种密集权重连接的卷积神经网络图像分类方法
CN112288028A (zh) 一种基于流卷积的图像识别方法
CN112241959A (zh) 基于超像素的注意力机制生成语义分割方法
CN114549845A (zh) 一种基于特征融合的Logo图像检测方法及系统
CN117473415A (zh) 基于融合特征和自适应权重的物联网流量分类方法
CN117237937A (zh) 一种基于PointNet++网络的无序零件识别方法
CN116311455A (zh) 一种基于改进Mobile-former的表情识别方法
CN112188600A (zh) 一种利用强化学习优化异构网络资源的方法
CN112149814A (zh) 一种基于fpga的卷积神经网络加速系统
CN113225552B (zh) 一种智能快速帧间编码方法
CN116246109A (zh) 一种多尺度孔洞邻域注意力计算骨干网络模型及其应用
CN114550277A (zh) 一种轻量级人脸识别方法及系统
CN114925640A (zh) 一种多级mprm逻辑电路功耗优化方法
CN109635709B (zh) 一种基于显著表情变化区域辅助学习的人脸表情识别方法
Zhou et al. Portable convolution neural networks for traffic sign recognition in intelligent transportation systems
CN108648196A (zh) 基于递归连接式卷积神经网络的图像分割方法及存储介质
CN117993480B (zh) 面向设计师风格融合和隐私保护的aigc联邦学习方法
CN110536374B (zh) 一种无线传感器网络中基于功率需求的分簇方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication