CN111832576A - 一种用于移动端的轻量级目标检测方法及系统 - Google Patents

一种用于移动端的轻量级目标检测方法及系统 Download PDF

Info

Publication number
CN111832576A
CN111832576A CN202010690770.9A CN202010690770A CN111832576A CN 111832576 A CN111832576 A CN 111832576A CN 202010690770 A CN202010690770 A CN 202010690770A CN 111832576 A CN111832576 A CN 111832576A
Authority
CN
China
Prior art keywords
module
training
optimization
model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010690770.9A
Other languages
English (en)
Inventor
李雪
李锐
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN202010690770.9A priority Critical patent/CN111832576A/zh
Publication of CN111832576A publication Critical patent/CN111832576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于移动端的轻量级目标检测方法及系统，属于深度学习目标检测领域；所述的方法具体步骤如下：S1利用MOGO‑SSD网络架构搭建Depthwise与Pointwise的组合卷积；S2利用ImageNet数据集进行权重预训练；S3保留训练后的参数，作为预训练模型进行二次优化；S4将二次优化后的训练模型用于目标数据检测；在本发明方法中，采用SSD目标检测算法，SSD可以替代普通网络中的全局池化和全连接层，抽取6层不同尺度的卷积特征用作检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体，可以有效提高网络的检测速度和精度。

Description

一种用于移动端的轻量级目标检测方法及系统
技术领域
本发明公开一种用于移动端的轻量级目标检测方法及系统，涉及深度学习目标检测技术领域。
背景技术
近年来，深度学习领域涌现出多种目标检测网络，在模型大小、推理速度、识别精度等多个方面表现优异。目标检测多用于视频监控追踪领域，随着边缘计算的发展，通常要求移动端设备具有一定的智能检测能力，受限于设备端的存储资源、计算资源等，要求模型不能太大，且保持一定的推理速度和检测精度。
目标检测是计算机视觉领域的最主要的问题之一，广泛用于安防监控、自动驾驶、人机交互等领域。目标检测结合了定位与分类任务，近年来，深度学习在目标检测任务中取得了突破性进展，但普遍存在模型过大，移动端设备部署困难等问题，量化、剪枝、知识蒸馏等方法虽然解决了模型大小的问题，但是存在一定的损失精度，在多目标、小目标的检测问题中表现一般。
故现为解决上述问题，发明一种用于移动端的轻量级目标检测方法及系统。
就此本专利设计了一种轻量级的目标检测网络，结合SSD算法，
发明内容
本发明针对现有技术的问题，提供一种用于移动端的轻量级目标检测方法及系统，所采用的技术方案为：一种用于移动端的轻量级目标检测方法，其特征是所述的方法具体步骤如下：
S1利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积；
S2利用ImageNet数据集进行权重预训练；
S3保留训练后的参数，作为预训练模型进行二次优化；
S4将二次优化后的训练模型用于目标数据检测。
所述S1利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积的具体步骤包括：
S101利用DW在每个输入数据的通道层面操作得到每个通道的空间特征；
S102利用PW对通道进行卷积操作。
所述S3保留训练后的参数，作为预训练模型进行二次优化的具体步骤包括：
S301将训练后的权重参数作为预训练模型；
S302设置新的全连接层和类别数目；
S303保存训练后的参数进行二次训练优化。
所述S3中还可以将MOGO Module嵌入到网络结构中作为骨干网络进行训练优化。
一种用于移动端的轻量级目标检测系统，所述的方系统具体包括组合搭建模块、权重训练模块、优化训练模块和目标检测模块：
组合搭建模块：利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积；
权重训练模块：利用ImageNet数据集进行权重预训练；
优化训练模块：保留训练后的参数，作为预训练模型进行二次优化；
目标检测模块：将二次优化后的训练模型用于目标数据检测。
所述组合搭建模块具体包括特征提取模块和通道操作模块：
特征提取模块：利用DW在每个输入数据的通道层面操作得到每个通道的空间特征；
通道操作模块：利用PW对通道进行卷积操作
所述优化训练模块具体包括模型选取模块、模型设置模块和二次优化模块：
模型选取模块：将训练后的权重参数作为预训练模型；
模型设置模块：设置新的全连接层和类别数目；
二次优化模块：保存训练后的参数进行二次训练优化。
所述优化训练模块中还可以将MOGO Module嵌入到网络结构中作为骨干网络进行训练优化。
本发明的有益效果为：本发明方法的一种用于移动端的轻量级目标检测方法，在VGG16、ResNet等经典网络结构中，通常采用标准卷积，参数量多且计算量大，本发明方法利用MOGO-SSD网络，主要设计了一种组合卷积方式，利用Depthwise与Pointwise组合替代普通卷积，在网络中大量应用该种卷积可以有效减少参数；在本发明方法中，采用SSD目标检测算法，SSD可以替代普通网络中的全局池化和全连接层，抽取6层不同尺度的卷积特征用作检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体，可以有效提高网络的检测速度和精度；本发明在降低训练模型大小的同时，有效保持模型精度，可用于多目标、小目标的设备端智能检测场景
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是MOGO-SSD网络结构示意图；图2是正常卷积的结构示意图；图3是MOGOModule卷积的结构示意图；图4是本发明方法的流程图；图5是本发明系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种用于移动端的轻量级目标检测方法，所述的方法具体步骤如下：
S1利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积；
S2利用ImageNet数据集进行权重预训练；
S3保留训练后的参数，作为预训练模型进行二次优化；
S4将二次优化后的训练模型用于目标数据检测；
本发明方法的一种用于移动端的轻量级目标检测方法的主要构架如图1所示，在VGG16、ResNet等经典网络结构中，通常采用标准卷积，参数量多且计算量大，本发明方法利用MOGO-SSD网络，主要设计了一种组合卷积方式，利用Depthwise与Pointwise组合替代普通卷积，在网络中大量应用该种卷积可以有效减少参数。
假设输入数据维度为Dk×Dk×C×N，其中C表示每个输入的通道数，N表示输入个数，正常卷积如图2所示，用Conv表示标准Convolution，参数量为k×k×C×M，M表示卷积核个数，计算量为Dk×Dk×C×k×k×M。MOGO-SSD中采用Depthwise+Pointwise的组合卷积方式；
在本发明方法中，采用SSD目标检测算法，SSD可以替代普通网络中的全局池化和全连接层，抽取6层不同尺度的卷积特征用作检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体，可以有效提高网络的检测速度和精度；
进一步的，所述S1利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积的具体步骤包括：
S101利用DW在每个输入数据的通道层面操作得到每个通道的空间特征；
S102利用PW对通道进行卷积操作；
如图3所示，DW表示Depthwise Convolution,PW表示Pointwise Convolution；DW在每个输入数据的通道层面进行操作，得到每个通道的空间特征，其参数量为C×k×k，计算量为Dk×Dk×C×k×k。PW则是对N个输入的所有通道做1×1卷积操作，参数量为1×1×C×M，计算量为Dk×Dk×C×k。普通卷积经过DW和PW的拆分，可以有效压缩参数量，从而减小模型大小；
进一步的，所述S3保留训练后的参数，作为预训练模型进行二次优化的具体步骤包括：
S301将训练后的权重参数作为预训练模型；
S302设置新的全连接层和类别数目；
S303保存训练后的参数进行二次训练优化；
再进一步的，所述S3中还可以将MOGO Module嵌入到网络结构中作为骨干网络进行训练优化。
实施例二：
一种用于移动端的轻量级目标检测系统，所述的方系统具体包括组合搭建模块、权重训练模块、优化训练模块和目标检测模块：
组合搭建模块：利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积；
权重训练模块：利用ImageNet数据集进行权重预训练；
优化训练模块：保留训练后的参数，作为预训练模型进行二次优化；
目标检测模块：将二次优化后的训练模型用于目标数据检测；
本发明系统的一种用于移动端的轻量级目标检测方法的主要构架如图1所示，在VGG16、ResNet等经典网络结构中，通常采用标准卷积，参数量多且计算量大，本发明系统利用MOGO-SSD网络，主要设计了一种组合卷积方式，利用Depthwise与Pointwise组合替代普通卷积，在网络中大量应用该种卷积可以有效减少参数；
假设输入数据维度为Dk×Dk×C×N，其中C表示每个输入的通道数，N表示输入个数，正常卷积如图2所示，用Conv表示标准Convolution，参数量为k×k×C×M，M表示卷积核个数，计算量为Dk×Dk×C×k×k×M。MOGO-SSD中采用Depthwise+Pointwise的组合卷积方式；
在本发明系统中，采用SSD目标检测算法，SSD可以替代普通网络中的全局池化和全连接层，抽取6层不同尺度的卷积特征用作检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体，可以有效提高网络的检测速度和精度；
进一步的，所述组合搭建模块具体包括特征提取模块和通道操作模块：
特征提取模块：利用DW在每个输入数据的通道层面操作得到每个通道的空间特征；
通道操作模块：利用PW对通道进行卷积操作；
如图3所示，DW表示Depthwise Convolution,PW表示Pointwise Convolution；DW在每个输入数据的通道层面进行操作，得到每个通道的空间特征，其参数量为C×k×k，计算量为Dk×Dk×C×k×k。PW则是对N个输入的所有通道做1×1卷积操作，参数量为1×1×C×M，计算量为Dk×Dk×C×k。普通卷积经过DW和PW的拆分，可以有效压缩参数量，从而减小模型大小；
进一步的，所述优化训练模块具体包括模型选取模块、模型设置模块和二次优化模块：
模型选取模块：将训练后的权重参数作为预训练模型；
模型设置模块：设置新的全连接层和类别数目；
二次优化模块：保存训练后的参数进行二次训练优化。
再进一步的，所述优化训练模块中还可以将MOGO Module嵌入到网络结构中作为骨干网络进行训练优化。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种用于移动端的轻量级目标检测方法，其特征是所述的方法具体步骤如下：
S1利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积；
S2利用ImageNet数据集进行权重预训练；
S3保留训练后的参数，作为预训练模型进行二次优化；
S4将二次优化后的训练模型用于目标数据检测。
2.根据权利要求1所述的用于移动端的轻量级目标检测方法，其特征是所述S1利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积的具体步骤包括：
S101利用DW在每个输入数据的通道层面操作得到每个通道的空间特征；
S102利用PW对通道进行卷积操作。
3.根据权利要求2所述的用于移动端的轻量级目标检测方法，其特征是所述S3保留训练后的参数，作为预训练模型进行二次优化的具体步骤包括：
S301将训练后的权重参数作为预训练模型；
S302设置新的全连接层和类别数目；
S303保存训练后的参数进行二次训练优化。
4.根据权利要求3所述的用于移动端的轻量级目标检测方法，其特征是所述S3中还可以将MOGO Module嵌入到网络结构中作为骨干网络进行训练优化。
5.一种用于移动端的轻量级目标检测系统，其特征是所述的方系统具体包括组合搭建模块、权重训练模块、优化训练模块和目标检测模块：
组合搭建模块：利用MOGO-SSD网络架构搭建Depthwise与Pointwise的组合卷积；
权重训练模块：利用ImageNet数据集进行权重预训练；
优化训练模块：保留训练后的参数，作为预训练模型进行二次优化；
目标检测模块：将二次优化后的训练模型用于目标数据检测。
6.根据权利要求5所述的用于移动端的轻量级目标检测系统，其特征是所述组合搭建模块具体包括特征提取模块和通道操作模块：
特征提取模块：利用DW在每个输入数据的通道层面操作得到每个通道的空间特征；
通道操作模块：利用PW对通道进行卷积操作
7.根据权利要求6所述的用于移动端的轻量级目标检测系统，其特征是所述优化训练模块具体包括模型选取模块、模型设置模块和二次优化模块：
模型选取模块：将训练后的权重参数作为预训练模型；
模型设置模块：设置新的全连接层和类别数目；
二次优化模块：保存训练后的参数进行二次训练优化。
8.根据权利要求7所述的用于移动端的轻量级目标检测系统，其特征是所述优化训练模块中还可以将MOGO Module嵌入到网络结构中作为骨干网络进行训练优化。
CN202010690770.9A 2020-07-17 2020-07-17 一种用于移动端的轻量级目标检测方法及系统 Pending CN111832576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010690770.9A CN111832576A (zh) 2020-07-17 2020-07-17 一种用于移动端的轻量级目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010690770.9A CN111832576A (zh) 2020-07-17 2020-07-17 一种用于移动端的轻量级目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN111832576A true CN111832576A (zh) 2020-10-27

Family

ID=72923516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010690770.9A Pending CN111832576A (zh) 2020-07-17 2020-07-17 一种用于移动端的轻量级目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN111832576A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743190A (zh) * 2021-07-13 2021-12-03 淮阴工学院 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统
CN114468977A (zh) * 2022-01-21 2022-05-13 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型
CN110490188A (zh) * 2019-07-02 2019-11-22 天津大学 一种基于ssd网络改进型的目标物体快速检测方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110751214A (zh) * 2019-10-21 2020-02-04 山东大学 一种基于轻量级可变形卷积的目标检测方法及系统
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型
CN110490188A (zh) * 2019-07-02 2019-11-22 天津大学 一种基于ssd网络改进型的目标物体快速检测方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110751214A (zh) * 2019-10-21 2020-02-04 山东大学 一种基于轻量级可变形卷积的目标检测方法及系统
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743190A (zh) * 2021-07-13 2021-12-03 淮阴工学院 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统
CN113743190B (zh) * 2021-07-13 2023-12-22 淮阴工学院 一种基于BiHR-Net和YOLOv3-head的火焰检测方法及系统
CN114468977A (zh) * 2022-01-21 2022-05-13 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质

Similar Documents

Publication Publication Date Title
CN110222769B (zh) 一种基于YOLOV3-tiny的改进目标检测方法
CN111860693A (zh) 一种轻量级视觉目标检测方法及系统
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
CN111832576A (zh) 一种用于移动端的轻量级目标检测方法及系统
CN113109816B (zh) 雷达回波图像的回波块追踪方法、装置及存储介质
CN114449343A (zh) 一种视频处理方法、装置、设备及存储介质
CN115100238A (zh) 基于知识蒸馏的轻量化单目标跟踪器训练方法
CN114882530A (zh) 一种面向行人检测的轻量级卷积神经网络模型
CN111354016A (zh) 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
CN111222534A (zh) 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN112668416A (zh) 无人机配网巡检视频实时分析识别方法和嵌入式巡检装置
CN117611549A (zh) 一种芯片焊接质量实时监测方法、系统、设备及存储介质
CN112164065A (zh) 一种基于轻量化卷积神经网络的实时图像语义分割方法
CN115331048B (zh) 图像分类方法、装置、设备以及存储介质
CN116662509A (zh) 大规模语言模型的开放域问答实现方法、装置及设备
CN114187606B (zh) 一种采用分支融合网络轻量化的车库行人检测方法及系统
CN114363988B (zh) 分簇方法、装置和电子设备
CN115665805A (zh) 一种面向点云分析任务的边缘计算资源调度方法和系统
CN113269301A (zh) 基于神经网络估计多目标跟踪系统参数的方法及系统
CN110674687A (zh) 一种鲁棒高效的无人驾驶行人检测方法
CN116958952B (zh) 一种适用于高速公路监控视频下的车牌目标检测方法
CN117217499B (zh) 一种基于多源数据驱动的校园电动滑板车调度优化方法
CN114757972B (zh) 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN117749832A (zh) 结合区块链的物联网设备管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027