CN115861646A - 一种基于结构重参数化的轻量级目标检测方法及系统 - Google Patents
一种基于结构重参数化的轻量级目标检测方法及系统 Download PDFInfo
- Publication number
- CN115861646A CN115861646A CN202211466939.8A CN202211466939A CN115861646A CN 115861646 A CN115861646 A CN 115861646A CN 202211466939 A CN202211466939 A CN 202211466939A CN 115861646 A CN115861646 A CN 115861646A
- Authority
- CN
- China
- Prior art keywords
- convolution
- parameterization
- branch
- network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于结构重参数化的轻量级目标检测方法及系统，包括：获取待目标检测的数据样本并进行预处理；将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。通过结构重参数化方式解耦训练和推理阶段，在训练阶段采用多分支结构获取更多语义信息和特征表示，迭代更新权重参数，同时在推理阶段采用带有训练权重信息的单路结构，在加快模型的推理速度的同时保证模型精度。
Description
技术领域
本发明属于深度学习计算机视觉相关技术领域，尤其涉及一种基于结构重参数化的轻量级目标检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
深度学习技术的发展迅速，借神经网络的模型泛化能力和特征提取能力在计算机视觉领域也取得了瞩目成就。其中目标检测作为一种计算机视觉任务在智能安防、工业检测、医学诊断等领域起到举足轻重的作用。学术界大多追求高精度的模型，但高精度模型大多参数量大，计算量高，难以满足实际需求。从学术界到工业界的应用落地部署，神经网络模型通常受制于计算资源和内存的限制，造成落地部署困难的情况，为此设计轻量化模型，部署于资源有限的移动端和边缘设备一直是一项研究难点。
目标检测主要分为单阶和双阶检测方法，其中单阶目标检测如SSD算法是一种比较流行的检测器，原始SSD算法骨干网络部分采用的VGG16网络，但VGG16网络的模型参数量大，难以应用于轻量化目标检测任务。RepVGG模型是对VGG16提出的改进算法，其集VGGNet和ResNet网络的优势为一体，使用结构重参数化方式，将训练阶段和推理阶段解耦分离，在训练阶段更关注模型的精度，在推理阶段更关注于模型的推理速度。但RepVGG较少关注模型的参数量和理论计算量，为此为切合轻量化检测任务，需进一步改进RepVGG网络。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于结构重参数化的轻量级目标检测方法及系统，将(RWNet)作为骨干网络，通过端到端的训练机制，提取数据特征信息，实现轻量化目标检测任务。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于结构重参数化的轻量级目标检测方法，包括：
获取待目标检测的数据样本并进行预处理；
将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。
本发明的第二个方面提供一种基于结构重参数化的轻量级目标检测系统，包括：
数据获取模块：获取待目标检测的数据样本并进行预处理；
检测输出模块：将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。
本发明的第三个方面提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
本发明的第四个方面提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
以上一个或多个技术方案存在以下有益效果：
在本发明中，通过多尺度混合结构和多尺度感受野模块，分别用于增强神经网络的特征提取能力以及扩大模型感受野，适应图像尺寸的变化。通过多分支结构高效表达特征的稀疏性，聚集模型的局部特征，采用带有不同膨胀率的空洞卷积在保证参数量几乎不变的情况下扩大模型感受野范围，依赖瓶颈结构实现模型的维度变化，降低模型参数。
在本发明中，通过结构重参数化方式解耦训练和推理阶段，在训练阶段采用多分支结构获取更多语义信息和特征表示，迭代更新权重参数，同时在推理阶段采用带有训练权重信息的单路结构，在加快模型的推理速度的同时保证模型精度。
本发明可有效应用于目标检测任务中，同时所设计的轻量化网络结构，更方便应用于嵌入式端、移动端设备中，具有较好的鲁棒性，避免了模型复杂、参数量大难以应用部署的问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一的检测流程图；
图2为本发明实施例一中的RWNet-SSD模型的结构图；
图3为本发明实施例一中部分模型组件结构图；
图4为本发明实施例一中RWNet-SSD模型经过结构重参数化后的结构图；
图5为本发明实施例一中应用于流水线时模型检测及机器抓取示例图；
图6为本发明中实施例一中模型训练精度及Loss示例图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本实施例公开了一种基于结构重参数化的轻量级目标检测方法，包括：
获取待目标检测的数据样本并进行预处理；
提取预处理后的数据样本的特征；
将所提取的特征输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用分支合并和卷积序列合并的方式，运用结构重参数转换成的单路结构的网络模型。
在本实施例中，对采集的采集的数据样本进行标注，使用数据标注工具LabelImg软件进行人工标注并设置为VOC格式数据。获取数据样本集后进行数据划分，构建出训练和测试样本集；通过数据预处理环节，实现对数据样本集的扩充以及数据增强操作。设置不同参数的旋转角度，通过旋转角(如30°、270°、330°)、水平镜像等操作实现数据样本的扩充；后采用数据增强方法对图像的亮度、色域等进行调整和增强采用光度变形(PhotometricDistortions)、几何变换(Geometric Distortions)等方法。
如图2所示，本实施例通过训练和测试样本建立多分支网络训练模块即RWNet骨干网络和SSD，RWNet骨干网络用于特征提取，并实现图像类别分类；通过SSD(Single ShotMultiBox Detector)检测器实现图像样本的位置定位，训练样本集，得到训练好的深度学习模型。然后通过结构重参数化，解耦训练和推理，以网络推理模型作为输入检测测试样本集，验证数据的类别和位置。其中，RWNet模型置于SSD检测器中，配置深度学习模型框架，实现端到端的模型训练和优化迭代。
在本实施例中，RWNet包括依次顺序连接的5个stage层(即stage0、stage1、stage2、stage3、stage4)以及2个extras层，stage0和stage1沿用RepVGG网络的结构形式(block_3×3)，block_3×3结构包含一个3×3卷积、1×1卷积分支以及一个identity残差分支组成。stage2和stage3均由一个多尺度混合结构(MHS)和一个多尺度感受野模块(MRFM)结构组成，stage4包含block_3×3结构，SSD辅助卷积层包含2个extras层，extras层均由block_3×3结构组成。
多尺度混合结构(MHS)包括依次顺序连接的block_1×1结构、bottleneck_1×3、block_3×3结构；多尺度感受野模块(MRFM)包括膨胀率不同的两个空洞卷积模块和block_1×1结构。
具体的，输入图像尺寸为300×300×3，在stage0阶段采用block_3×3模块进行卷积特征提取，通道数由3变为48，此时特征图大小成为150×150。然后在stage1阶段会连续经过两次block_3×3层，该阶段未改变通道数，仍为48，但特征图修改为75×75，此时的特征矩阵为[-1,48,75,75]。在stage2层首先经过block_1×1结构，通道数由48变为96，设置步长为1，特征图大小为75×75；再经过bottleneck_1×3模块，bottleneck_1×3模块为一个瓶颈结构(bottleneck)模块，在bottleneck_1×3模块中首先经过卷积核为1的卷积，该卷积带有残差分支和1×1卷积分支，实现降维操作，特征图为75×75，通道数为48，后经过卷积核为3的卷积，该卷积带有残差分支和1×1卷积分支，实现升维操作，特征图为75×75，通道数变为96；然后通过膨胀率分别为3和5的空洞卷积模块，最后再次经过一个block_1×1结构后，得到stage2的输出特征图为38×38，通道数为96,记作特征图为f1。
在stage3中采用跟stage2一致的操作，得到的特征图为19×19，通道数变为192，所得特征图记作f2。
在stage4中采用block_3×3结构，将通道数192变为1280此时特征图为10×10，通道数为1280，记作特征图为f3。在extras层中首先经过第一个block_3×3模块，特征图为5×5，通道数为256，记作特征图为f4；再经过一个block_3×3模块，特征图为3×3，通道数为256，记作特征图为f5。在extras2中也是先经过一个block_3×3模块，特征图为2×2，通道数为256，后经过第二个block_3×3模块，特征图为1×1，通道数为256，记作特征图为f6。以骨干网络部分中stage2、stage3以及stage4提取到的特征信息(即f1-f3)结合SSD辅助卷积层(f4-f6)，共6个大小不等的特征图，在6个不同尺度的特征图中设立候选框，实现模型预测。
如图3所示，其中，block_1×1结构包括残差分支、Conv1×1分支和Conv1×1分支三个分支，三个分支的输出相加后通过ReLU激活函数。
block_3×3结构包括残差分支、Conv3×3分支和Conv1×1分支三个分支，三个分支的输出相加后通过ReLU激活函数。
在本实例中，在RWNet中，具备K个卷积结构块(如Conv1×1、Conv3×3等)，每个卷积结构块均由卷积、BN(Batch Normalization)和激活函数ReLU构成。同时根据卷积的同质性，采用卷积Conv(x)和BN融合加速的方式，BN层在推理阶段无需更新参数，有利于加快模型推理速度。
需要说明的是，本实施例中提到的卷积结构块均采用采用卷积和BN融合加速方法。
具体的，逐层堆叠卷积神经网络并从中迭代更新权重(ω)信息，并通过偏置b拟合预测数据，得到最终的预测向量，卷积可由以下公式所表示：
Conv(x)＝ω(x)+b (1)
BN层中为不影响网络所学的特征分布，引入可学习的变换重构参数γ和β，恢复原始网络所学习的特征分布并实现网络模型的归一化处理，其公式如下所示，：
其中，mean指均值，var为方差。
将卷积和BN作融合加速，所得公式如下：
其中，ωfused为
bfused为/>
如图6所示，在本实施例中，在f1-f6的6个特征图中设立候选框，实现不同尺度的特征图预测，得到候选框的分类与回归预测。将得到的预测框进行得分排序与非极大抑制筛选(NMS)。同时训练过程采用位置误差(locatization loss,loc)和置信度误差(confidence loss,conf)的加权和定义损失函数，公式如下：
其中，Lconf(x,c)表示置信度损失，Lloc(x,l,g)表示定位损失，N为Ground Truth的候选框数量，α为加权系数，调整置信度损失与定位损失的比例，c为置信度，l和g分别指代候选框和真实框的位置参数。
以标注出的候选框(prior bbox)作为基准，N为匹配到的ground Truth的候选框数量，即用于比较预测情况与真实情况之间的误差。
其中Lloc(x,l,g)可以用公式表示为公式为。
其中，i表示第i个prior box(候选框)，j为第j个ground truth box(真实框)；
的取值为0或1，用于判断第i个预测框与第j个真实框关于类别k是否匹配；smoothL1为回归loss，用于计算回归损失，/>
为预测框，/>
指真实框。
其中Lconf(x,c)可以用公式表示为：
其中，
表示预测框i与真实框j关于类别p的匹配，/>
表示第i个候选框对应类别p的预测概率。
在模型预测中，采用端到端的模型训练方式，设置训练优化器为SGD模型优化器，设置迭代学习率，初始学习率设置为1e-4，在60k时学习率降为1e-5。同时在六种不同尺度的特征图中每个像素点生成default box，通过NMS进行筛选，得到正负样本及训练模型loss，实现数据样本的定位。
在本实施例中，采用分支合并和卷积序列合并思路，运用结构重参数化方法解耦训练阶段和推理阶段，训练阶段采用多分支结构获取高精度的同时，在推理阶段采用单路结构加快模型推理速度。
如图4所示，具体的，分支合并是借助卷积的可加性特征，在两个卷积核大小形状相同的情况下可满足卷积的可加性，为此block_1×1可转化为Conv1×1结构。同时在block_3×3结构中，1×1卷积可通过padding补0操作成为卷积核大小为3的卷积，为此block_3×3可借助该方法实现卷积相加，在推理阶段将多分支结构的block_3×3转为Conv3×3结构形式。
卷积序列合并具体为：在卷积核为F的卷积中，输入特征图I，则输出特征图O可表示为：
其中，b为偏置。
若经过连续两个卷积时，输入特征图为I，卷积核为F1，偏置为b1，则输出特征图为O1。连续经过第二个卷积时，其输入特征图变为O1，卷积核大小为F2，偏置为b2后，其输出特征图为O2，如公式所示：
为此，经过两组连续卷积结合后，可将其表示为：
则可称为：
为此可满足卷积序列合并。
如图5所示，为本实施例的模型应用在流水线时模型检测及机器抓取示例图，经过实验验证，本方案的平均检测精度(mAP)为94.61％，同时参数量(Params)为8.71M，计算量为3.21GFLOPs，每秒传输帧数(FPS)达101FPS。
实施例二
本实施例的目的是提供一种基于结构重参数化的轻量级目标检测系统，包括：
数据获取模块：获取待目标检测的数据样本并进行预处理；
检测输出模块：将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。
实施例三
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于结构重参数化的轻量级目标检测方法，其特征在于，包括：
获取待目标检测的数据样本并进行预处理；
将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。
2.如权利要求1所述的一种基于结构重参数化的轻量级目标检测方法，其特征在于，所述多分支网络训练模块包括5个stage层以及SSD辅助卷积层；具体的：stage0、stage1、stage4采用RepVGG网络的结构块；stage2和stage3均由顺序连接的多尺度混合结构和多尺度感受野模块组成，所述多尺度混合结构包括block_1×1结构、bottleneck_1×3模块和block_3×3结构；所述多尺度感受野模块包括不同膨胀率的空洞卷积和block_1×1结构；SSD辅助卷积层包括两个extras层，所述extras层包括两个block_3×3结构。
3.如权利要求1所述的一种基于结构重参数化的轻量级目标检测方法，其特征在于，所述block_1×1结构由1×1卷积、残差结构、1×1卷积三个分支组成；所述Bottleneck结构由1×1卷积、3×3卷积、残差结构三个分支组成。
4.如权利要求2所述的一种基于结构重参数化的轻量级目标检测方法，其特征在于，采用分支合并的方式，具体为：
将训练好的多分支网络训练模块中block_1×1可转化为Conv1×1结构；
在训练好的多分支网络训练模块中block_3×3转为Conv3×3结构形式。
5.如权利要求4所述的一种基于结构重参数化的轻量级目标检测方法，其特征在于，将训练好的多分支网络训练模块中block_3×3中的1×1卷积通过padding补0操作成为卷积核大小为3的卷积，实现卷积相加。
6.如权利要求2所述的一种基于结构重参数化的轻量级目标检测方法，其特征在于，经过连续的两个卷积采用卷积序列合并的方式为：
其中，I为第一卷积的输入特征图，F1为第一卷积的卷积核，b1为第一卷积的偏置，F2为第二卷积的卷积核，b2为第二卷积的偏置，O2为第二卷积的输出特征图。
7.如权利要求2所述的一种基于结构重参数化的轻量级目标检测方法，其特征在于，将stage2、stage3以及stage4提取到的特征信息结合SSD辅助卷积层中每个extras层的输出作为SSD检测器的输入得到预测类别和位置定位。
8.一种基于结构重参数化的轻量级目标检测系统，其特征在于，包括：
数据获取模块：获取待目标检测的数据样本并进行预处理；
检测输出模块：将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于结构重参数化的轻量级目标检测方法中的步骤。
10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于结构重参数化的轻量级目标检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211466939.8A CN115861646A (zh) | 2022-11-22 | 2022-11-22 | 一种基于结构重参数化的轻量级目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211466939.8A CN115861646A (zh) | 2022-11-22 | 2022-11-22 | 一种基于结构重参数化的轻量级目标检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861646A true CN115861646A (zh) | 2023-03-28 |
Family
ID=85664942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211466939.8A Pending CN115861646A (zh) | 2022-11-22 | 2022-11-22 | 一种基于结构重参数化的轻量级目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861646A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206188A (zh) * | 2023-05-04 | 2023-06-02 | 浪潮电子信息产业股份有限公司 | 一种图像识别方法、系统、设备及存储介质 |
| CN116416531A (zh) * | 2023-04-17 | 2023-07-11 | 北京卫星信息工程研究所 | 基于动态重参数化的遥感图像目标检测方法、设备及介质 |
-
2022
- 2022-11-22 CN CN202211466939.8A patent/CN115861646A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116416531A (zh) * | 2023-04-17 | 2023-07-11 | 北京卫星信息工程研究所 | 基于动态重参数化的遥感图像目标检测方法、设备及介质 |
| CN116416531B (zh) * | 2023-04-17 | 2023-12-19 | 北京卫星信息工程研究所 | 基于动态重参数化的遥感图像目标检测方法、设备及介质 |
| CN116206188A (zh) * | 2023-05-04 | 2023-06-02 | 浪潮电子信息产业股份有限公司 | 一种图像识别方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188765B (zh) | 图像语义分割模型生成方法、装置、设备及存储介质 | |
| CN110175671B (zh) | 神经网络的构建方法、图像处理方法及装置 | |
| EP3540652B1 (en) | Method, device, chip and system for training neural network model | |
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| EP3537349A1 (en) | Machine learning model training method and device | |
| CN115861646A (zh) | 一种基于结构重参数化的轻量级目标检测方法及系统 | |
| CN111507370B (zh) | 获得自动标注图像中检查标签的样本图像的方法和装置 | |
| CN109035779B (zh) | 基于DenseNet的高速公路交通流预测方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN112184508A (zh) | 一种用于图像处理的学生模型的训练方法及装置 | |
| CN111967594A (zh) | 一种神经网络压缩方法、装置、设备及存储介质 | |
| CN112381763A (zh) | 一种表面缺陷检测方法 | |
| US20220083843A1 (en) | System and method for balancing sparsity in weights for accelerating deep neural networks | |
| CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
| CN115438215A (zh) | 图文双向搜索及匹配模型训练方法、装置、设备及介质 | |
| CN113298032A (zh) | 基于深度学习的无人机视角图像的车辆目标检测方法 | |
| CN112508099A (zh) | 一种实时目标检测的方法和装置 | |
| CN115797808A (zh) | 一种无人机巡检缺陷图像的识别方法、系统、装置及介质 | |
| WO2023087063A1 (en) | Method and system for analysing medical images to generate a medical report | |
| CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及系统 | |
| CN112465737A (zh) | 图像处理模型训练方法、图像处理方法及图像处理装置 | |
| CN112085001A (zh) | 一种基于多尺度边缘特征检测的隧道识别模型及方法 | |
| CN117132910A (zh) | 一种用于无人机的车辆检测方法、装置及存储介质 | |
| CN110647917B (zh) | 一种模型复用方法与系统 | |
| US11494613B2 (en) | Fusing output of artificial intelligence networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |