CN112288028A - 一种基于流卷积的图像识别方法 - Google Patents

一种基于流卷积的图像识别方法 Download PDF

Info

Publication number
CN112288028A
CN112288028A CN202011235520.2A CN202011235520A CN112288028A CN 112288028 A CN112288028 A CN 112288028A CN 202011235520 A CN202011235520 A CN 202011235520A CN 112288028 A CN112288028 A CN 112288028A
Authority
CN
China
Prior art keywords
convolution
stream
sub
image recognition
stream convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011235520.2A
Other languages
English (en)
Inventor
陈英鹏
许野平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202011235520.2A priority Critical patent/CN112288028A/zh
Publication of CN112288028A publication Critical patent/CN112288028A/zh
Priority to PCT/CN2021/117028 priority patent/WO2022095584A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开一种基于流卷积的图像识别方法，所述流卷积在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得图像识别精度得到进一步提升。

Description

一种基于流卷积的图像识别方法
技术领域
本发明涉及人工智能领域，具体地说，是一种基于流卷积的图像识别方法，属于卷积神经网络的特征提取网络。
背景技术
近年来，卷积神经网络在各类计算视觉任务中取得重大突破。卷积神经网络的设计变得越来越复杂。然而，在现实的应用场景中，受限于有限设备计算资源，分组卷积的方式越来越受到大家的关注。尽管这种分组卷积的方式可以有效的减少网络参数量以及计算成本，但是这种分离通道特征的方式会导致组通道特征信息无法有效的流通起来，从而导致网络性能下降明显。
论文《MobileDets:Searching for Object Detection Architectures forMobile Accelerators》中利用深度分离卷积来减少网络参数以及计算成本，但是该方法整体性能下降也很明显。
论文《CSPNet:A New Backbone that can Enhance Learning Capability ofCNN》中提出了跨阶段局部网络(CSPNet)，以缓解以往的工作需要从网络架构的角度进行大量推理计算的问题。但是该方法仍然基于传统的卷积操作进行网络设计，很难进一步减少模型参数与计算成本。
发明内容
本发明要解决的技术问题是提供一种基于流卷积的图像识别方法，在减少参数以及计算成本的前提下，利用通道路径聚合的方式，使得子组通道特征信息能够很好地相互流通起来，从而提高图像识别的速度、减低计算成本。
为了解决所述技术问题，本发明采用的技术方案是：一种基于流卷积的图像识别方法，包括以下步骤：
S01)、输入特征进入图像识别网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
S02)、图像识别网络中步长为1的卷积层的卷积操作替换成流卷积操作，流卷积操作为：
S21)、将执行流卷积操作的输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure BDA0002765086810000011
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
S22)、各子分组执行卷积操作映射，用公式表示为：
Figure BDA0002765086810000013
其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、图像识别网络输出图像识别结果。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
进一步的，流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
进一步的，流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自顶向下。
进一步的，流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自底向上。
进一步的，
Figure BDA0002765086810000021
本发明的有益效果：本发明公开一种基于流卷积的图像识别方法，所述流卷积在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得图像识别精度得到进一步提升。
附图说明
图1为流卷积连接方式示意图；
图2为图像识别网络结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种基于流卷积的图像识别方法，包括以下步骤：
S01)、输入特征进入图像识别网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
本实施例中，所述图像识别网络为经典网络残差网络(ResNet50)，图2为ResNet50网络的结构示意图。
S02)、图像识别网络中步长为1的卷积层的卷积操作替换成流卷积操作，流卷积操作为：
S21)、将执行流卷积操作的输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure BDA0002765086810000022
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
流卷积的分组方式有多种，可以使得每个子分组的通道数相等或者不相等均可。为了便于计算，本方法中选取各子分组通道均相等的方式，即：
Figure BDA0002765086810000031
S22)、各子分组执行卷积操作映射，用公式表示为：
Figure BDA0002765086810000032
其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、图像识别网络输出图像识别结果。
本实施例所述方法主要对ResNet50步长为1的卷积层全部替换为流卷积，下采样层(步长为2的卷积层)、池化层、平均池化、全连接层以及最后的输出层均保持不变，因此本实施例对这些操作详述。流卷积的两两连接方式采用图2中的任意一种即可。
本实施例中，流卷积的两两连接方式有4种，如图1所示，分别为：
Flow Type A：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
Flow Type B：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
Flow Type C：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
Flow Type D：两个流卷积的通道特征信息流通方式均为自底向上。
本实施例所述目标预测方法在分组卷积的基础上，利用通道路径聚合操作，即连接当前子分组输入特征与上一层子分组输出特征去得到当前层子分组输出特征，去加强各子分组之间的特征信息流通。基于流卷积的目标预防不仅有效减少了网络参数与计算成本，而且使得图像识别精度得到进一步提升。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明作出的改进或替换，属于本发明的保护范围。

Claims (6)

1.一种基于流卷积的图像识别方法，其特征在于：包括以下步骤：
S01)、输入特征进入图像识别网络，输入特征为X(h,w,c)，其中h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数；
S02)、图像识别网络中步长为1的卷积层的卷积操作替换成流卷积操作，流卷积操作为：
S21)、将执行流卷积操作的输入特征拆分为g个子分组，每个子分组对应的输入特征为
Figure FDA0002765086800000011
各子分组的宽高与输入特征宽高保持一致，各子分组通道数与输入特征通道数的关系为：
c1+c2+...+cg＝c；
S22)、各子分组执行卷积操作映射，用公式表示为：
Y1＝F1(X1),
Y1＝F1(X2+Y1),
Figure FDA0002765086800000012
Yg＝Fg(Xg+Yg-1),
其中，Fi表示正常的卷积操作映射，i∈[1,2,...,g]；
S23)、流卷积最后的输出特征为各子分组输出特征的连接，即Y＝[Y1,Y2,...Yg]；
S03)、图像识别网络输出图像识别结果。
2.根据权利要求1所述的基于流卷积的图像识别方法，其特征在于：流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自顶向下，第二个流卷积的通道特征信息流通方式为自底向上。
3.根据权利要求1所述的基于流卷积的图像识别方法，其特征在于：流卷积的两两连接方式为：第一个流卷积的通道特征信息流通方式为自底向上，第二个流卷积的通道特征信息流通方式为自顶向下。
4.根据权利要求1所述的基于流卷积的图像识别方法，其特征在于：流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自顶向下。
5.根据权利要求1所述的基于流卷积的图像识别方法，其特征在于：流卷积的两两连接方式为：两个流卷积的通道特征信息流通方式均为自底向上。
6.根据权利要求1所述的基于流卷积的图像识别方法，其特征在于：
Figure FDA0002765086800000013
CN202011235520.2A 2020-11-06 2020-11-06 一种基于流卷积的图像识别方法 Pending CN112288028A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011235520.2A CN112288028A (zh) 2020-11-06 2020-11-06 一种基于流卷积的图像识别方法
PCT/CN2021/117028 WO2022095584A1 (zh) 2020-11-06 2021-09-07 一种基于流卷积的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011235520.2A CN112288028A (zh) 2020-11-06 2020-11-06 一种基于流卷积的图像识别方法

Publications (1)

Publication Number Publication Date
CN112288028A true CN112288028A (zh) 2021-01-29

Family

ID=74350767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011235520.2A Pending CN112288028A (zh) 2020-11-06 2020-11-06 一种基于流卷积的图像识别方法

Country Status (2)

Country Link
CN (1) CN112288028A (zh)
WO (1) WO2022095584A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095584A1 (zh) * 2020-11-06 2022-05-12 神思电子技术股份有限公司 一种基于流卷积的图像识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647893A (zh) * 2019-09-20 2020-01-03 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备
CN110728354A (zh) * 2019-09-11 2020-01-24 东南大学 一种改进的滑动式分组卷积神经网络
CN110782001A (zh) * 2019-09-11 2020-02-11 东南大学 一种基于组卷积神经网络使用共享卷积核的改进方法
WO2020051816A1 (en) * 2018-09-13 2020-03-19 Intel Corporation Condense-expansion-depth-wise convolutional neural network for face recognition
CN110909874A (zh) * 2019-11-22 2020-03-24 迪爱斯信息技术股份有限公司 一种神经网络模型的卷积运算优化方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6706788B2 (ja) * 2015-03-06 2020-06-10 パナソニックＩｐマネジメント株式会社 画像認識方法、画像認識装置およびプログラム
CN108009594B (zh) * 2017-12-25 2018-11-13 北京航空航天大学 一种基于变分组卷积的图像识别方法
CN110991418B (zh) * 2019-12-23 2023-04-28 中国科学院自动化研究所 合成孔径雷达目标图像识别方法及系统
CN111652236B (zh) * 2020-04-21 2022-04-29 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN112288028A (zh) * 2020-11-06 2021-01-29 神思电子技术股份有限公司 一种基于流卷积的图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020051816A1 (en) * 2018-09-13 2020-03-19 Intel Corporation Condense-expansion-depth-wise convolutional neural network for face recognition
CN110728354A (zh) * 2019-09-11 2020-01-24 东南大学 一种改进的滑动式分组卷积神经网络
CN110782001A (zh) * 2019-09-11 2020-02-11 东南大学 一种基于组卷积神经网络使用共享卷积核的改进方法
CN110647893A (zh) * 2019-09-20 2020-01-03 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备
CN110909874A (zh) * 2019-11-22 2020-03-24 迪爱斯信息技术股份有限公司 一种神经网络模型的卷积运算优化方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIEN-YAO WANG 等: "CSPNet: A New Backbone that can Enhance Learning Capability of CNN", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
LIN, TY 等: "Feature Pyramid Networks for Object Detection", 《30TH IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
张盼盼等: "基于轻量级分组注意力模块的图像分类算法", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095584A1 (zh) * 2020-11-06 2022-05-12 神思电子技术股份有限公司 一种基于流卷积的图像识别方法

Also Published As

Publication number Publication date
WO2022095584A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
CN109409500B (zh) 基于知识蒸馏与非参数卷积的模型加速方法及装置
CN110991362A (zh) 一种基于注意力机制的行人检测模型
US11928599B2 (en) Method and device for model compression of neural network
CN111401373B (zh) 基于分组非对称卷积的高效语义分割方法
CN110889416B (zh) 一种基于级联改良网络的显著性物体检测方法
CN110569851B (zh) 门控多层融合的实时语义分割方法
CN111832453B (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN109214353A (zh) 一种基于剪枝模型的人脸图像快速检测训练方法和装置
CN113595993B (zh) 边缘计算下模型结构优化的车载感知设备联合学习方法
WO2023036157A1 (en) Self-supervised spatiotemporal representation learning by exploring video continuity
CN112288028A (zh) 一种基于流卷积的图像识别方法
CN112734020A (zh) 卷积神经网络的卷积乘累加硬件加速装置、系统以及方法
CN112308004A (zh) 一种基于流卷积的目标检测方法
CN112579285B (zh) 面向边缘网络的分布式神经网络协同优化方法
CN113610192A (zh) 一种基于连续性剪枝的神经网络轻量化方法及系统
CN111931551B (zh) 一种基于轻量级级联网络的人脸检测方法
CN112241959A (zh) 基于超像素的注意力机制生成语义分割方法
CN114550277A (zh) 一种轻量级人脸识别方法及系统
CN112529064B (zh) 一种高效的实时语义分割方法
CN114494284A (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN108629737B (zh) 一种提高jpeg格式图像空间分辨率的方法
CN111489361A (zh) 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111191674A (zh) 基于密集连接带孔卷积网络的初级特征提取器及提取方法
CN108648196A (zh) 基于递归连接式卷积神经网络的图像分割方法及存储介质
CN113225552A (zh) 一种智能快速帧间编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129