CN112308004A - 一种基于流卷积的目标检测方法 - Google Patents

一种基于流卷积的目标检测方法 Download PDF

Info

Publication number
CN112308004A
CN112308004A CN202011235613.5A CN202011235613A CN112308004A CN 112308004 A CN112308004 A CN 112308004A CN 202011235613 A CN202011235613 A CN 202011235613A CN 112308004 A CN112308004 A CN 112308004A
Authority
CN
China
Prior art keywords
convolution
stream
sub
stream convolution
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011235613.5A
Other languages
English (en)
Inventor
陈英鹏
许野平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202011235613.5A priority Critical patent/CN112308004A/zh
Publication of CN112308004A publication Critical patent/CN112308004A/zh
Priority to PCT/CN2021/117024 priority patent/WO2022095583A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种基于流卷积的目标预测方法，所述流卷积在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得目标检测精度得到进一步提升。

Description

一种基于流卷积的目标检测方法
技术领域
本发明涉及人工智能领域，具体地说，是一种基于流卷积的目标检测方法，属于卷积神经网络的特征提取网络。
背景技术
近年来，卷积神经网络在各类计算视觉任务中取得重大突破。卷积神经网络的设计变得越来越复杂。然而，在现实的应用场景中，受限于有限设备计算资源，分组卷积的方式越来越受到大家的关注。尽管这种分组卷积的方式可以有效的减少网络参数量以及计算成本，但是这种分离通道特征的方式会导致组通道特征信息无法有效的流通起来，从而导致网络性能下降明显。
论文《MobileDets:Searching for Object Detection Architectures forMobile Accelerators》中利用深度分离卷积来减少网络参数以及计算成本，但是该方法整体性能下降也很明显。
论文《CSPNet:A New Backbone that can Enhance Learning Capability ofCNN》中提出了跨阶段局部网络(CSPNet)，以缓解以往的工作需要从网络架构的角度进行大量推理计算的问题。但是该方法仍然基于传统的卷积操作进行网络设计，很难进一步减少模型参数与计算成本。
发明内容
本发明要解决的技术问题是提供一种基于流卷积的目标检测方法，在减少参数以及计算成本的前提下，利用通道路径聚合的方式，使得子组通道特征信息能够很好地相互流通起来，从而提高目标检测的速度、减低计算成本。
为了解决所述技术问题，本发明采用的技术方案是：一种基于流卷积的目标检测方法，包括以下步骤：
S01)、输入特征进入目标检测网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
S02)、目标检测网络的BottleneckCSP中的相关卷积操作替换成流卷积操作，流卷积操作为：
S21)、将输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure BDA0002765590900000011
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure BDA0002765590900000012
Yg＝Fg(Xg+Yg-1),其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、目标检测网络输出目标检测结果。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
进一步的，流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自顶向下。
进一步的，流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自底向上。
进一步的，
Figure BDA0002765590900000021
本发明的有益效果：本发明公开一种基于流卷积的目标预测方法，所述流卷积在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得目标检测精度得到进一步提升。
附图说明
图1为流卷积连接方式示意图；
图2为目标检测网络结构示意图；
图3为BottleneckCSP网络结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种基于流卷积的目标检测方法，包括以下步骤：
S01)、S01)、输入特征进入目标检测网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
本实施例中，所述目标检测网络为YoloV5网络，如图2所示，YoloV5网络包括主干网络backbone和检测部分head，主干网络backbone用于提取特征，检测部分head用于根据主干网络提取的特征进行目标检测。
S02)、目标检测网络的BottleneckCSP中的相关卷积操作替换成流卷积操作，流卷积操作为：
S21)、将输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure BDA0002765590900000022
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
流卷积的分组方式有多种，可以使得每个子分组的通道数相等或者不相等均可。为了便于计算，本方法中选取各子分组通道均相等的方式，即：
Figure BDA0002765590900000031
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure BDA0002765590900000032
Yg＝Fg(Xg+Yg-1),其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、目标检测网络输出目标检测结果。
本实施例所述方法主要对BottleneckCSP中的相关卷积操作进行改进，YoloV5网络的其他操作，如全连接、池化等没有改进，因此本实施例对这些操作详述。
本实施例中，流卷积的两两连接方式有4种，如图1所示，分别为：
Flow Type A：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
Flow Type B：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
Flow Type C：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
Flow Type D：两个流卷积的通道特征信息流通方式均为自底向上。
BottleneckCSP的网络结构如图3所示，包括n个Bottleneck，每个Bottleneck均执行卷积计算，本实施例所述目标检测方法将n个Bottleneck的卷积操作全部替换为流卷积操作，并且流卷积的两两连接方式采用图1中的任意一种即可。
本实施例所述目标预测方法在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得目标检测精度得到进一步提升。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明作出的改进或替换，属于本发明的保护范围。

Claims (6)

1.一种基于流卷积的目标检测方法，其特征在于：包括以下步骤：
S01)、输入特征进入目标检测网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
S02)、目标检测网络的BottleneckCSP中的相关卷积操作替换成流卷积操作，流卷积操作为：
S21)、将输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure FDA0002765590890000014
Figure FDA0002765590890000011
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure FDA0002765590890000012
Yg＝Fg(Xg+Yg-1),
其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、目标检测网络输出目标检测结果。
2.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
3.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
4.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自顶向下。
5.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自底向上。
6.根据权利要求1所述的基于流卷积的目标检测方法，其特征在于：
Figure FDA0002765590890000013
CN202011235613.5A 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法 Pending CN112308004A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011235613.5A CN112308004A (zh) 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法
PCT/CN2021/117024 WO2022095583A1 (zh) 2020-11-06 2021-09-07 一种基于流卷积的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011235613.5A CN112308004A (zh) 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法

Publications (1)

Publication Number Publication Date
CN112308004A true CN112308004A (zh) 2021-02-02

Family

ID=74325181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011235613.5A Pending CN112308004A (zh) 2020-11-06 2020-11-06 一种基于流卷积的目标检测方法

Country Status (2)

Country Link
CN (1) CN112308004A (zh)
WO (1) WO2022095583A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095583A1 (zh) * 2020-11-06 2022-05-12 神思电子技术股份有限公司 一种基于流卷积的目标检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011620A (zh) * 2023-06-29 2023-11-07 华为技术有限公司 一种目标检测方法及其相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569875A (zh) * 2019-08-07 2019-12-13 清华大学无锡应用技术研究院 一种基于特征复用的深度神经网络目标检测方法
CN110728354A (zh) * 2019-09-11 2020-01-24 东南大学 一种改进的滑动式分组卷积神经网络

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734545B2 (en) * 2017-11-14 2023-08-22 Google Llc Highly efficient convolutional neural networks
WO2020051776A1 (en) * 2018-09-11 2020-03-19 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
CN110110793B (zh) * 2019-05-10 2021-10-26 中山大学 基于双流卷积神经网络的双目图像快速目标检测方法
CN111027509B (zh) * 2019-12-23 2022-02-11 武汉大学 一种基于双流卷积神经网络的高光谱图像目标检测方法
CN111553916B (zh) * 2020-05-09 2023-11-14 中科计算技术创新研究院 基于多种特征和卷积神经网络的图像篡改区域检测方法
CN112308004A (zh) * 2020-11-06 2021-02-02 神思电子技术股份有限公司 一种基于流卷积的目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569875A (zh) * 2019-08-07 2019-12-13 清华大学无锡应用技术研究院 一种基于特征复用的深度神经网络目标检测方法
CN110728354A (zh) * 2019-09-11 2020-01-24 东南大学 一种改进的滑动式分组卷积神经网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIEN-YAOWANG, ET AL.: "CSPNET: A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN", 《IN PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095583A1 (zh) * 2020-11-06 2022-05-12 神思电子技术股份有限公司 一种基于流卷积的目标检测方法

Also Published As

Publication number Publication date
WO2022095583A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
CN111144329B (zh) 一种基于多标签的轻量快速人群计数方法
CN112308004A (zh) 一种基于流卷积的目标检测方法
CN111709351A (zh) 基于多径时空特征强化融合的三支流网络行为识别方法
CN109657545B (zh) 一种基于多任务学习的行人检测方法
CN114492746B (zh) 一种基于模型分割的联邦学习加速方法
CN114821249B (zh) 一种基于分组聚合注意力和局部关系的车辆重识别方法
CN109214353A (zh) 一种基于剪枝模型的人脸图像快速检测训练方法和装置
Lu et al. A review on object detection based on deep convolutional neural networks for autonomous driving
CN110535936A (zh) 一种基于深度学习的能量高效雾计算迁移方法
CN114037938A (zh) 一种基于NFL-Net的低照度目标检测方法
CN114882530A (zh) 一种面向行人检测的轻量级卷积神经网络模型
CN114708270A (zh) 基于知识聚合与解耦蒸馏的语义分割模型压缩系统及压缩方法
CN112288028A (zh) 一种基于流卷积的图像识别方法
CN116543155A (zh) 基于上下文级联和多尺度特征细化的语义分割方法及装置
CN111475461B (zh) 面向ai应用的片上网络映射方法
CN112188600A (zh) 一种利用强化学习优化异构网络资源的方法
CN117473415A (zh) 基于融合特征和自适应权重的物联网流量分类方法
CN115984620A (zh) 基于轻量化LA Transformer网络的图像分类系统及方法
CN115208470A (zh) 基于模糊逻辑的混合多址接入vlc网络的资源分配方法
CN114401496A (zh) 一种基于5g边缘计算的视频信息快速处理方法
CN113780091B (zh) 一种基于身体姿势变化表示的视频情感识别方法
Li et al. Transformer-based channel noise reduction deep convolution residual network
CN117993480B (zh) 面向设计师风格融合和隐私保护的aigc联邦学习方法
Zhou et al. Portable convolution neural networks for traffic sign recognition in intelligent transportation systems
CN112257796B (zh) 一种基于选择性特征连接的卷积神经网络的图像整合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication