CN111178495B - 用于检测图像中极小物体的轻量卷积神经网络 - Google Patents

用于检测图像中极小物体的轻量卷积神经网络 Download PDF

Info

Publication number
CN111178495B
CN111178495B CN201911099020.8A CN201911099020A CN111178495B CN 111178495 B CN111178495 B CN 111178495B CN 201911099020 A CN201911099020 A CN 201911099020A CN 111178495 B CN111178495 B CN 111178495B
Authority
CN
China
Prior art keywords
layer
srelu
hole
feature map
batch normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911099020.8A
Other languages
English (en)
Other versions
CN111178495A (zh
Inventor
熊伟华
吴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jingmou Intelligent Technology Co ltd
Original Assignee
Hangzhou Jingmou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jingmou Intelligent Technology Co ltd filed Critical Hangzhou Jingmou Intelligent Technology Co ltd
Publication of CN111178495A publication Critical patent/CN111178495A/zh
Application granted granted Critical
Publication of CN111178495B publication Critical patent/CN111178495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Abstract

一种用于检测图像中极小物体的轻量卷积神经网络，包括：具有不同步幅的多个空洞卷积层、具有SRelu的批归一化层、用于将特征扩展到更高维度的递归块层，该网络以单幅图像为输入，在不同的通道上应用不同条纹进行空洞卷积，通过递归块层的三次递归空洞卷积处理将特征扩展到更高维度，实现网络参数的共享和复杂度的显著降低。

Description

用于检测图像中极小物体的轻量卷积神经网络
技术领域
本发明涉及的是一种神经网络领域的技术，具体是一种用于检测图像中极小物体的轻量卷积神经网络。
背景技术
尽管现在已经有许多使用卷积神经网络，大多数流行的算法可以在目标占据较大部分的图像数据表现良好，但针对目标的尺寸小于20×20像素的微小物体，现有技术多采用将小目标物体上采样后送入一个大目标物体检测的网络识别，如图1所示，为一个典型的用于检测微小目标的卷积神经网络模型处理示意图，其中输入图像100经过缩放处理101后，在每个重新缩放后的图像上应用深度网络102后得到来自每个重新缩放图像的检测结果103，经过合并后得到原始图像相同大小的输出104。所述的深度网络可采用ResNet-101，ResNet-50或VGG16，但该模型计算复杂度和参数大小相对较大。比如，若是选择ResNet-101应用在102层，则整个网络将有约300层，参数大小约为100MB。因此无法适用于诸如AI芯片、移动手机、具有高数据吞吐的云服务和实时系统等低功耗设备。
发明内容
本发明针对现有技术存在的上述不足，提出一种用于检测图像中极小物体的轻量卷积神经网络，能够显著的降低计算复杂度和功耗，并取得了良好的检测性能。
本发明是通过以下技术方案实现的：
本发明涉及一种用于检测图像中极小物体的轻量卷积神经网络，包括：具有不同步幅的多个空洞卷积层、具有SRelu(S型整流线性激活函数)的批归一化层、用于将特征扩展到更高维度的递归块层，该网络以单幅图像为输入，若干空洞卷积层各自采用不同的步幅设置在不同的通道上应用不同条纹进行空洞卷积，通过递归块层内的三次递归空洞卷积处理将特征扩展到更高维度实现网络参数的共享的同时通过瓶颈层(Bottleneck Layer)降低后续计算的复杂度。
所述的轻量卷积神经网络具体包括：依次连接的卷积层、空洞卷积层、具有SRelu(S型整流线性激活函数)的批归一化层、反卷积层、具有SRelu的批归一化层、空洞卷积层、具有SRelu的批归一化层、池化层、递归块层、具有SRelu的批归一化层、池化层以及全连接层。
所述的递归块层包括：依次连接的空洞卷积层、具有SRelu的批归一化层和用于逐点(Pointwise)卷积的瓶颈层，将批归一化层的输出作为空洞卷积层的输入以实现三次递归空洞卷积处理。
附图说明
图1为现有技术为一个典型的用于检测微小物体的CNN模型；
图2为本发明用于检测图像中极小物体的轻量卷积神经网络架构示意图；
图3为空洞卷积层示意图；
图4为SRelu激活函数示意图；
图5为递归块层示意图；
图6为实施例效果示意图。
具体实施方式
如图2所示，为本实施例涉及的神经网络模型，包括：依次连接的常规卷积层200、空洞卷积层202、具有SRelu的批归一化层204、空洞反卷积层206、具有SRelu的批归一化层208、空洞卷积层210、具有SRelu的批归一化层212、池化层214、递归块层215、具有SRelu的批归一化层217、池化层220以及全连接层222，其中：常规卷积层200接收输入图像并输出尺寸为20×20×32的特征图201至空洞卷积层202，空洞卷积层202输出尺寸为20×20×32的特征图203至具有SRelu的批归一化层204进行归一化操作，经空洞反卷积层206扩大分辨率后得到尺寸为40×40×32的特征图207至具有SRelu的批归一化层208进行归一化操作，空洞卷积层210根据归一化后的特征图209输出尺寸为40×40×32的特征图211，进一步通过具有SRelu的批归一化层212进行归一化操作，池化层214根据归一化后的特征图213进行分辨率减半并输出尺寸为20×20×32的特征图215至递归模块216；递归模块216通过三次递归得到特征图217至具有SRelu的批归一化层218进行归一化操作，池化层220对归一化后的特征图219进行分辨率减半后输出至全连接层222，最终输出尺寸为1×4096的向量，即图像的最终特征向量。
所述的全连接层222输出所述的图像特征向量用作后续分类器的输入，用以确定图像中检测到的物体的种类(比如人脸、车牌等)，从而显著减少网络结构和通信的参数大小，至1MB左右，相当于现有技术的1/100。
所述的空洞卷积层能够在不降低分辨率或遮盖范围的情况下指数级扩大感受野，图2中以空洞卷积层200、204的步幅分别为1、3、5、7且卷积核的大小均为3×3作为示例，实际可以根据不同的图像和各种像素的输入大小对应调整步幅和卷积核，例如图3的301中的空洞卷积层步幅为1，每一个像素的感受野为3×3；302中步幅为2，每一个像素的感受野为5×5；303中步幅为3，每一个像素的感受野大小为7×7；依次类推当步幅为4时每一个像素拥有15×15的感受野。
如图4所示，所述的SRelu(S型整流线性激活函数)由多个线性函数分段表达，其保留负值相比于通用的ReLU非线性激活函数在训练过程中不会损失有效信息，训练更有效充分。在训练图像尺寸较小的情况下(例如在20×20像素以下)，经过试验验证效果尤为显著，因为在训练过程中发现ReLU层会导致某一层的输出特征图全为0，导致训练梯度无法回传低层，从而导致训练不充分。
所述的池化层214、220采用最大化池化策略，即在没有重叠的2×2邻域上选取最大值，使得输出的尺寸宽高对应的则会各降低一半。
如图5所示，所述的递归模块216对于在低维线性不可分的数据，可以通过核函数扩充到高维，从而通过支持向量机找到线性可分平面进行目标判别，该递归块层包括：空洞卷积层502、具有SRelu的批归一化层504和瓶颈层508，其中：空洞卷积层502接收来自池化层214的尺寸为20×20×32的特征图215，得到尺寸为20×20×32的特征图503至具有SRelu的批归一化层504，得到尺寸为20×20×32的特征图505并重新传递至空洞卷积层502继续循环计算，经过三次递归后得到尺寸为20×20×96的特征图，瓶颈层(Bottleneck Layer)508通过逐点(Pointwise)卷积得到尺寸为20×20×32的特征图217。
本实施例上述所有空洞卷积层均采用逐层(Depthwise)结构和逐点(Pointwise)结构，即将传统的卷积层分成两部分来完成，如传统卷积参数64×64×3×3，则Depthwise结构的卷积是在每个对应通道上来做卷积参数为64×1×3×3，结合一个Pointwise结构融合不同通道的特征，参数大小为64×64×1×1，参数减少了大约8倍。
本系统通过将物体检测任务作为分类任务来判断，输入的数据大小为20×20×3，因此有效检测小脸的同时，减少了中间处理需要的内存大小，可以减少芯片的大小，降低功耗；将参数大小降低到1M，对于芯片实现而言，可以一次加载，有效的降低了读取参数的过程，降低功耗，系统实时性更高。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (5)

1.一种用于检测图像中极小物体的轻量卷积神经网络，其特征在于，包括：具有不同步幅的多个空洞卷积层、具有SRelu(S型整流线性激活函数)的批归一化层、用于将特征扩展到更高维度的递归块层，该网络以单幅图像为输入，若干空洞卷积层各自采用不同的步幅设置在不同的通道上应用不同条纹进行空洞卷积，通过递归块层内的三次递归空洞卷积处理将特征扩展到更高维度实现网络参数的共享的同时通过瓶颈层降低后续计算的复杂度；
所述的轻量卷积神经网络，具体包括：依次连接的常规卷积层、第一空洞卷积层、第一具有SRelu的批归一化层、空洞反卷积层、第二具有SRelu的批归一化层、第二空洞卷积层、第三具有SRelu的批归一化层、第一池化层、递归块层、第四具有SRelu的批归一化层、第二池化层以及全连接层，其中：常规卷积层接收输入图像并输出特征图至第一空洞卷积层，第一空洞卷积层输出特征图至第一具有SRelu的批归一化层进行归一化操作，经空洞反卷积层扩大分辨率后得到特征图至第二具有SRelu的批归一化层进行归一化操作，第二空洞卷积层根据归一化后的特征图输出特征图，进一步通过第三具有SRelu的批归一化层进行归一化操作，第一池化层根据归一化后的特征图进行分辨率减半并输出特征图至递归块层；递归块层通过三次递归及瓶颈层得到特征图至第四具有SRelu的批归一化层进行归一化操作，第二池化层对归一化后的特征图进行分辨率减半后输出至全连接层，最终输出图像的最终特征向量。
2.根据权利要求1所述的轻量卷积神经网络，其特征是，所述的递归块层包括：依次连接的空洞卷积层、具有SRelu的批归一化层和用于逐点卷积的瓶颈层，将批归一化层的输出作为空洞卷积层的输入以实现三次递归空洞卷积处理。
3.根据权利要求2所述的轻量卷积神经网络，其特征是，所述的常规卷积层接收输入图像并输出尺寸为20×20×3的特征图至空洞卷积层，空洞卷积层输出尺寸为20×20×32的特征图至具有SRelu的批归一化层进行归一化操作，经空洞反卷积层扩大分辨率后得到尺寸为40×40×32的特征图至具有SRelu的批归一化层进行归一化操作，空洞卷积层根据归一化后的特征图输出尺寸为40×40×32的特征图，进一步通过具有SRelu的批归一化层进行归一化操作，池化层根据归一化后的特征图进行分辨率减半并输出尺寸为20×20×32的特征图至递归模块；递归模块通过三次递归得到特征图至具有SRelu的批归一化层进行归一化操作，池化层对归一化后的特征图进行分辨率减半后输出至全连接层，最终输出尺寸为1×4096的向量，即图像的最终特征向量。
4.根据权利要求1所述的轻量卷积神经网络，其特征是，所述的递归块层包括：空洞卷积层、具有SRelu的批归一化层和瓶颈层，其中：空洞卷积层接收来自池化层的尺寸为20×20×32的特征图，得到尺寸为20×20×32的特征图至具有SRelu的批归一化层，得到尺寸为20×20×32的特征图并重新传递至空洞卷积层继续循环计算，经过三次递归后得到尺寸为20×20×96的特征图，瓶颈层通过逐点卷积得到尺寸为20×20×32的特征图。
5.根据权利要求1所述的轻量卷积神经网络，其特征是，所述的空洞卷积层均采用逐层结构和逐点结构，即将传统的卷积层分成两部分来完成。
CN201911099020.8A 2018-11-10 2019-11-10 用于检测图像中极小物体的轻量卷积神经网络 Active CN111178495B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862758514P 2018-11-10 2018-11-10
USUS62/758,514 2018-11-10

Publications (2)

Publication Number Publication Date
CN111178495A CN111178495A (zh) 2020-05-19
CN111178495B true CN111178495B (zh) 2023-06-30

Family

ID=70657114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911099020.8A Active CN111178495B (zh) 2018-11-10 2019-11-10 用于检测图像中极小物体的轻量卷积神经网络

Country Status (1)

Country Link
CN (1) CN111178495B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270331A (zh) * 2020-11-04 2021-01-26 哈尔滨理工大学 一种基于yolov5改进的广告牌检测方法
CN112560919A (zh) * 2020-12-07 2021-03-26 杭州智瑞思科技有限公司 基于一维可解释卷积神经网络的人机不同步识别方法
CN114022366B (zh) * 2022-01-06 2022-03-18 深圳鲲云信息科技有限公司 基于数据流架构的图像尺寸调整装置、调整方法及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722698B (zh) * 2012-05-17 2014-03-12 上海中原电子技术工程有限公司 多姿态人脸检测与跟踪方法及系统
CN105654129A (zh) * 2015-12-30 2016-06-08 成都数联铭品科技有限公司 一种光学文字序列识别方法
CN105701460B (zh) * 2016-01-07 2019-01-29 王跃明 一种基于视频的篮球进球检测方法和装置
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
US10657364B2 (en) * 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107808122B (zh) * 2017-09-30 2020-08-11 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN107766820A (zh) * 2017-10-20 2018-03-06 北京小米移动软件有限公司 图像分类方法及装置
CN108399361A (zh) * 2018-01-23 2018-08-14 南京邮电大学 一种基于卷积神经网络cnn和语义分割的行人检测方法
CN108062756B (zh) * 2018-01-29 2020-04-14 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法

Also Published As

Publication number Publication date
CN111178495A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178495B (zh) 用于检测图像中极小物体的轻量卷积神经网络
US11151361B2 (en) Dynamic emotion recognition in unconstrained scenarios
US10628961B2 (en) Object tracking for neural network systems
US9786036B2 (en) Reducing image resolution in deep convolutional networks
US10509952B2 (en) Fast, embedded, hybrid video face recognition system
CN110059710B (zh) 用于利用卷积神经网络进行图像分类的装置和方法
CN112990219B (zh) 用于图像语义分割的方法和装置
US20120224789A1 (en) Noise suppression in low light images
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN113326930A (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
US20210279509A1 (en) Method and System For Processing Images Using Cross-Stage Skip Connections
US20220108545A1 (en) Method and device for high-speed image recognition using 3d cnn
CN108830377B (zh) 一种神经网络电路及其自循环多级迭代方法
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN112926595B (zh) 深度学习神经网络模型的训练装置、目标检测系统及方法
US20230039592A1 (en) Image sensor with integrated efficient multiresolution hierarchical deep neural network (dnn)
CN111882053A (zh) 一种基于拼接卷积的神经网络模型压缩方法
CN110837786A (zh) 基于空间通道的密度图产生方法、装置、电子终端及介质
WO2022072199A1 (en) Sparse optical flow estimation
CN113313162A (zh) 一种多尺度特征融合目标检测的方法及系统
US9953448B2 (en) Method and system for image processing
CN115409991B (zh) 目标识别方法、装置、电子设备和存储介质
US11947631B2 (en) Reverse image search based on deep neural network (DNN) model and image-feature detection model
CN113688783B (zh) 人脸特征提取方法、低分辨率人脸识别方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant