CN116090517A - 模型训练方法、目标检测方法、装置以及可读存储介质 - Google Patents
模型训练方法、目标检测方法、装置以及可读存储介质 Download PDFInfo
- Publication number
- CN116090517A CN116090517A CN202211734826.1A CN202211734826A CN116090517A CN 116090517 A CN116090517 A CN 116090517A CN 202211734826 A CN202211734826 A CN 202211734826A CN 116090517 A CN116090517 A CN 116090517A
- Authority
- CN
- China
- Prior art keywords
- feature map
- model
- channel
- layer
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000000605 extraction Methods 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 23
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 2
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种模型训练方法、目标检测方法、目标检测装置以及计算机可读存储介质。该模型训练方法包括：将第一阶段处理层融合为一个逐通道卷积层，逐通道卷积层的模型参数由第一模型参数、第二模型参数以及第三模型参数叠加所得；将第二阶段处理层融合为一个卷积层，卷积层的模型参数由第四模型参数和第五模型参数叠加所得；利用融合后的逐通道卷积层和卷积层所组成的处理层替换待训练模型中的各个处理层。通过上述方式，目标检测装置通过训练时，使用多路结构，追求模型的高性能、高精度；推理时，基于结构重参数化思想对网络重构，转换为单路结构，保留了多分支结构网络的高性能优点，降低了模型参数量和运行模型所需的内存资源以及计算资源。
Description
技术领域
本申请涉及模型轻量化技术领域，特别是涉及一种模型训练方法、目标检测方法、目标检测装置以及计算机可读存储介质。
背景技术
近年来，随着深度学习领域的快速发展，目标检测作为计算机视觉领域最重要的研究方向之一，各种高性能目标检测网络结构相继提出。同时，模型结构重参数化思想受到广泛重视，RepVGG、ACNet、MobileOne等网络致力于重参数化网络的研究。结构重参数思想在模型压缩、轻量化，提升在移动平台的推理速度等方面，具有相当大的优势。
在各种实际应用场景中，如移动机器人、安防监控等，常用的大规模参数的检测模型受限于移动平台的设备计算资源、存储资源、运行速度有限等问题，可行性不高，部署存在困难，难以落地。普遍存在精度高的模型需要计算资源、存储资源过大，推理速度慢的问题。不少研究致力于解决模型大小的问题，但仍存在模型压缩瓶颈，对所需计算资源与存储资源考虑不足、移动端设备实际部署困难等问题。
发明内容
本申请提供了一种模型训练方法、目标检测方法、目标检测装置以及计算机可读存储介质。
本申请提供了一种模型训练方法，所述模型训练方法包括：
获取待训练模型训练后各个处理层的模型参数，其中，所述处理层包括第一阶段处理层和第二阶段处理层；
基于所述模型参数获取所述第一阶段处理层中第一逐通道卷积层分支的第一模型参数，第二逐通道卷积层分支的第二模型参数，以及第一批量归一化层分支的第三模型参数；
将所述第一阶段处理层转换为单路结构，融合为一个逐通道卷积层，其中，所述逐通道卷积层的模型参数由所述第一模型参数、所述第二模型参数以及所述第三模型参数叠加所得；
基于所述模型参数获取所述第二阶段处理层中卷积层分支的第四模型参数，以及第二批量归一化层分支的第五模型参数；
将所述第二阶段处理层转换为单路结构，融合为一个卷积层，其中，所述卷积层的模型参数由第四模型参数和第五模型参数叠加所得；
利用融合后的所述逐通道卷积层和融合后的所述卷积层所组成的处理层替换所述待训练模型中的各个处理层，输出替换后的目标检测模型。
其中，所述获取待训练模型训练后各个处理层的模型参数之前，所述模型训练方法还包括：
删除所述待训练模型中的辅助头及其模型参数；
删除所述辅助头对应的处理层的网络结构及其模型参数。
其中，所述获取待训练模型训练后各个处理层的模型参数之后，所述模型训练方法还包括：
获取所述处理层中连接的卷积层和批量归一化层的组合；
将所述卷积层和批量归一化层融合为一个卷积层；
利用所述组合内所述卷积层的第六模型参数和所述批量归一化层的第七模型参数计算融合的卷积层的第八模型参数。
其中，所述利用所述组合内所述卷积层的第六模型参数和所述批量归一化层的第七模型参数计算融合的卷积层的第八模型参数，包括：
获取所述第六模型参数的卷积层权重参数和卷积层偏置参数；
获取所述第七模型参数的批量归一化层的均值和方差；
利用所述卷积层权重参数、所述方差以及第一融合因子，获取所述第八模型参数中的权重参数；
利用所述卷积层偏置参数、所述均值、所述方差以及第二融合因子，获取所述第八模型参数中的偏置参数。
其中，所述将所述第一阶段处理层转换为单路结构，融合为一个逐通道卷积层，包括：
将所述第一逐通道卷积层分支中的若干逐通道卷积层融合为一个分支逐通道卷积层；
将所述分支逐通道卷积层的卷积核尺寸、所述第二逐通道卷积层分支的卷积核尺寸以及第一批量归一化层分支的卷积核尺寸填充为统一的卷积核尺寸；
将填充后的所述分支逐通道卷积层，填充后的所述第二逐通道卷积层分支以及填充后的所述第一批量归一化层分支融合为一个逐通道卷积层。
其中，所述待训练模型包括主干网络模块、特征增强提取模块、辅助头以及引导头，其中，所述主干网络模块以及所述特征增强提取模块分别包括若干处理层；
所述模型训练方法还包括：
将待训练图像输入所述主干网络模块，利用所述主干网络模块依次叠加的若干处理层提取不同降采样分辨率的输出特征图，包括第一输出特征图、第二输出特征图以及第三输出特征图；
将所述第一输出特征图、所述第二输出特征图以及所述第三输出特征图输入所述特征增强提取模块，将所述第三输出特征图与所述第二输出特征图进行通道维度融合，获取第四输出特征图；
将所述第四输出特征图与所述第一输出特征图进行通道维度融合，获取第一候选特征图；
将所述第一候选特征图与所述第三输出特征图进行通道维度融合，获取第二候选特征图；
将所述第二候选特征图与所述第四输出特征图进行通道维度融合，获取第三候选特征图；
利用所述处理层分别对所述第一候选特征图、所述第二候选特征图以及所述第三候选特征图进行特征提取，获取第一预测特征图、第二预测特征图以及第三预测特征图；
利用所述处理层分别对所述第一候选特征图、所述第四输出特征图以所述第三输出特征图进行特征提取，获取第四预测特征图、第五预测特征图以及第六预测特征图
将所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图输入引导头进行预测，获取所述引导头的第一损失函数值；
将所述第四预测特征图、所述第五预测特征图以及所述第六预测特征图输入辅助头进行预测，获取所述辅助头的第二损失函数值；
利用所述第一损失函数值和所述第二损失函数值对所述待训练模型进行训练，得到多路结构的检测网络。
其中，所述将所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图输入引导头进行预测，获取所述引导头的第一损失函数值，包括：
对所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图分别进行网格化处理，获取若干预测目标框坐标以及预测类别；
按照每一预测类别，获取每一预测目标框坐标对应的真实边界框中心点所在网格及其第一预设数量的相邻网格，作为引导匹配正样本；
获取每一引导匹配正样本的代价损失，按照所述代价损失排序，获取第一预设数量的引导正样本输入所述引导头进行预测，获取所述引导头的第一损失函数值。
其中，输入辅助头的辅助正样本为：在所述第四预测特征图、所述第五预测特征图以及所述第六预测特征图按照第三预设数量的相邻网格搜索辅助匹配正样本，并按照所述代价损失排序，获取第四预设数量的辅助正样本；
其中，所述第三预设数量大于第一预设数量，所述第四预设数量大于所述第二预设数量。
其中，所述对所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图分别进行网格化处理之前，所述模型训练方法还包括：
获取所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图中，每一预测特征图的先验锚框数量以及类别数量；
按照所述先验锚框数量以及所述类别数量获取所述每一预测特征图的通道数；
按照所述每一预测特征图的通道数对所述每一预测特征图进行卷积层处理。
本申请还提供了一种目标检测方法，所述目标检测方法包括：
将待检测图像输入移动平台；
利用所述移动平台中预设的目标检测模型获取所述待检测目标的检测结果；
其中，所述目标检测模型通过上述的模型训练方法训练得到。
本申请还提供了一种目标检测装置，所述目标检测装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的模型训练方法，和/或目标检测方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的模型训练方法，和/或目标检测方法。
本申请的有益效果是：目标检测装置获取待训练模型训练后各个处理层的模型参数，其中，处理层包括第一阶段处理层和第二阶段处理层；基于模型参数获取第一阶段处理层中第一逐通道卷积层分支的第一模型参数，第二逐通道卷积层分支的第二模型参数，以及第一批量归一化层分支的第三模型参数；将第一阶段处理层转换为单路结构，融合为一个逐通道卷积层，其中，逐通道卷积层的模型参数由第一模型参数、第二模型参数以及第三模型参数叠加所得；基于模型参数获取第二阶段处理层中卷积层分支的第四模型参数，以及第二批量归一化层分支的第五模型参数；将第二阶段处理层转换为单路结构，融合为一个卷积层，其中，卷积层的模型参数由第四模型参数和第五模型参数叠加所得；利用融合后的逐通道卷积层和融合后的卷积层所组成的处理层替换待训练模型中的各个处理层，输出替换后的目标检测模型。通过上述方式，目标检测装置通过训练时，使用多路结构，追求模型的高性能、高精度；推理时，基于结构重参数化思想对网络重构，转换为单路结构，保留了多分支结构网络的高性能优点，降低了模型参数量和运行模型所需的内存资源以及计算资源。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的模型训练方法一实施例的流程示意图；
图2是本申请提供的应用于移动平台的轻量化目标检测方法的整体流程示意图；
图3是本申请提供的多路结构的目标检测训练网络的框架示意图；
图4是图3中MobileOne-Block的框架示意图；
图5是本申请提供的模型训练方法另一实施例的流程示意图；
图6是本申请提供的单路结构的目标检测训练网络的框架示意图；
图7是本申请提供的目标检测方法一实施例的流程示意图；
图8是本申请提供的目标检测装置一实施例的结构示意图；
图9是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
具体请参阅图1和图2，图1是本申请提供的模型训练方法一实施例的流程示意图，图2是本申请提供的应用于移动平台的轻量化目标检测方法的整体流程示意图。
其中，本申请的模型训练方法应用于一种目标检测装置，其中，本申请的目标检测装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，目标检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的模型训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图1所示，本申请实施例的模型训练方法具体包括以下步骤：
步骤S11：将待训练图像输入主干网络模块，利用主干网络模块依次叠加的若干处理层提取不同降采样分辨率的输出特征图，包括第一输出特征图、第二输出特征图以及第三输出特征图。
在本申请实施例中，目标检测装置获取若干张目标图像数据，对其进行目标检测边界框及其目标检测类别的标注，从而构建训练数据集，测试数据集。
本申请以YOLOv7框架、MobileOne网络为基础，利用结构重参数化思想，构建一个多路结构的目标检测训练网络，具体请查阅图3，图3是本申请提供的多路结构的目标检测训练网络的框架示意图。
如图3所示，本申请实施例的目标检测训练网络包括主干网络模块、特征增强提取模块以及检测模块，其中，检测模块包括引导头和辅助头。
具体地，本申请的主干网络模块以MobileOne网络为基础，其核心模块为MobileOne-Block，改进优化建立了MobileOneLite网络结构，共包含Stage1、Stage2、Stage3、Stage4、Stage5五个部分。MobileOneLite网络结构的详细网络结构参数如以下表1所示：
表1MobileOneLite网络结构参数
其中，主干网络模块基于MobileOne，对各Stage的MobileOne-Block通道数进行了降维，以避免过多冗余通道特征。进一步，相较于MobileOne网络，MobileOneLite网络剔除了MobileOne网络的Stage5，增加了其Stage6中MobileOne-Block的数量并作为MobileOneLite的Stage5部分，以保证深层特征提取能力，并降低模型参数量。
主干网络模块的核心为MobileOne-Block，融合了深度可分离卷积(Depthwiseseparable convolution)以及结构重参数化思想所设计，其具体结构如图4所示。每个MobileOne-Block包含了两阶段操作：第一阶段包括一个1×1的逐通道卷积(Depthwiseconvolution，DWConv)分支，一个使用超参数k控制的3×3的DWConv分支和一个批量归一化(Batch Normalization，BN)层分支。其中在MobileOneLite网络中，超参数k＝4，所使用的激活函数均为计算延迟较低的ReLU函数。
进一步，第二阶段包括一个1×1的普通卷积分支和一个批量归一化(BatchNormalization，BN)层分支，其中所使用的激活函数同样为计算延迟较低的ReLU函数。
主干网络模块利用Stage1至Stage5对输入图像数据经过特征提取后，输出不同降采样分辨率的输出特征图，具体包括Stage3输出的第一输出特征图F1，对应8倍降采样分辨率；Stage4输出的第二输出特征图F2，对应16倍降采样分辨率；Stage5输出的第三输出特征图F3，对应32倍降采样分辨率。
步骤S12：将第一输出特征图、第二输出特征图以及第三输出特征图输入特征增强提取模块，将第三输出特征图与第二输出特征图进行通道维度融合，获取第四输出特征图。
在本申请实施例中，特征增强提取模块的设计融合了MobileOne-Block与路径聚合网络PANet思想，构建了YOLOv7-Lite-Rep网络结构。其中，MobileOne-Block超参数k＝4。
具体地，特征增强提取模块采用卷积核为1×1，通道数为48的普通卷积层对主干网络模块输出的第三输出特征图F3进行通道降维，得到特征图S1-1；进一步，对特征图进行最邻近插值上采样，得到特征图S1-2。
特征增强提取模块对特征图S1-2与主干网络模块输出的第二输出特征图F2进行通道维度融合。进一步，使用通道数为48，步长为1的MobileOne-Block层进行特征提取，采用卷积核为11，通道数为48的普通卷积层对特征提取的输出特征图进行特征提取，得到特征图S3-1。进一步，对特征图S3-1进行最邻近插值上采样，得到特征图S3-2，即第四输出特征图。
步骤S13：将第四输出特征图与第一输出特征图进行通道维度融合，获取第一候选特征图。
在本申请实施例中，特征增强提取模块对第四输出特征图与主干网络模块输出的第一输出特征图F1进行通道维融合，进一步，使用通道数为48，步长为1的MobileOne-Block层进行特征提取，输出第一候选特征图R1。
步骤S14：将第一候选特征图与第三输出特征图进行通道维度融合，获取第二候选特征图。
在本申请实施例中，特征增强提取模块使用通道数为48，步长为2的MobileOne-Block层对第一候选特征图R1进行降采样及特征提取，接着，与特征图S1-1进行通道维度融合；进一步，使用通道数为48，步长为1的MobileOne-Block层进行特征提取，输出第二候选预测特征图R2。
步骤S15：将第二候选特征图与第四输出特征图进行通道维度融合，获取第三候选特征图。
在本申请实施例中，特征增强提取模块使用通道数为48，步长为2的MobileOne-Block层对第二候选特征图R2进行降采样及特征提取，接着，与特征图S3-1进行通道维融合；进一步，使用通道数为48，步长为1的MobileOne-Block层进行特征提取，输出第三候选特征图R3。
步骤S16：利用处理层分别对第一候选特征图、第二候选特征图以及第三候选特征图进行特征提取，获取第一预测特征图、第二预测特征图以及第三预测特征图。
在本申请实施例中，特征增强提取模块对第一候选特征图R1、第二候选特征图R2、第三候选特征图R3，分别使用通道数为48，步长为1的MobileOne-Block层进行特征提取，得到第一预测特征图P1、第二预测特征图P2、第三预测特征图P3。
步骤S17：利用处理层分别对第一候选特征图、第四输出特征图以第三输出特征图进行特征提取，获取第四预测特征图、第五预测特征图以及第六预测特征图。
在本申请实施例中，特征增强提取模块对第一候选特征图R1、S3-1、S1-1，分别使用通道数为48，步长为1的MobileOne-Block层进行特征提取，得到第四预测特征图P4、第五预测特征图P5、第五预测特征图P6。
步骤S18：将第一预测特征图、第二预测特征图以及第三预测特征图输入引导头进行预测，获取引导头的第一损失函数值。
步骤S19：将第四预测特征图、第五预测特征图以及第六预测特征图输入辅助头进行预测，获取辅助头的第二损失函数值。
在本申请实施例中，引导头依次对第一预测特征图P1、第二预测特征图P2、第三预测特征图P3采用卷积核为1×1的卷积层处理，得到不同尺度的特征图，该卷积层的通道数基于公式1确定：
C＝Numpriors*(5+Numclasses) (1)
其中C表示该层的通道数，Numpriors表示每层特征图分配的先验锚框数量，Numclasses表示目标数据集包含的类别数量。同样地，辅助头依次对第四预测特征图P4、第五预测特征图P5、第六预测特征图P6采用卷积核为1×1的卷积层处理。
进一步，检测模块对各特征图进行网格化处理，得到若干个预测目标框坐标及类别。基于先验锚框(Anchor)与真实边界框(GT)，根据宽高比阈值的跨网格匹配策略及SimOTA样本分配策略分配正负样本，从而，使用CIoU(Complete-IoU)损失函数及交叉熵损失函数分别计算边框损失及类别损失。
引导头的正负样本分配策略中，宽高比阈值设置为4，取GT框中心点在特征图中网格之外，上、下、左、右四个网格离中心点最近的两个网格，共三个网格作为匹配正样本。进一步，SimOTA中根据代价损失，选取topk(k＝10)个样本计算IoU求和取整，最终根据代价损失排序，得到每个GT分配的若干个相应正样本。
相应地，辅助头的正负样本分配策略中，宽高比阈值不变，取GT框中心点在特征图中网格之外，上、下、左、右四个网格，共五个网格作为匹配正样本。进一步，SimOTA中根据代价损失，选取topk(k＝20)个样本计算IoU求和取整，最终根据代价损失排序，得到每个GT分配的若干个相应正样本。
步骤S10：利用第一损失函数值和第二损失函数值对待训练模型进行训练。
在本申请实施例中，检测模块按照0.25:1的比例，将辅助头与引导头的计算损失相加，并利用随机梯度下降方法更新各网络节点的权重参数，直到损失值收敛，得到训练好的多路结构的轻量级目标检测训练网络。
基于上述训练过程，本申请可以得到多路结构的轻量级目标检测训练网络，进一步地，还需要利用结构重参数化思想将多路结构的训练网络转换为单路结构的推理网络。
请继续参阅图5，图5是本申请提供的模型训练方法另一实施例的流程示意图。
具体而言，如图5所示，本申请实施例的模型训练方法具体包括以下步骤：
步骤S21：获取待训练模型训练后各个处理层的模型参数，其中，处理层包括第一阶段处理层和第二阶段处理层。
在本申请实施例中，如图2所示，目标检测装置利用结构重参数化思想将训练网络转换为单路结构的轻量化推理网络。
具体的，目标检测装置在对待训练模型训练完成后，将待训练模型中的辅助头以及辅助头对应的处理层的网络结构及其模型参数删除。待训练模型转换前的模型结构具体请参阅图3，如图3所述，辅助头连接三个MobileOne-Block层，目标检测装置需要将三个MobileOne-Block层的网络结构和权重参数删除；同时，利用结构重参数化思想将多路结构的训练网络转换为单路结构的推理网络，其核心技术为将MobileOne-Block中多个卷积核的权重和偏置参数进行相加，并赋值给全新的相同尺寸单个卷积核。
进一步地，目标检测装置通过公式2将训练网络使用的MobileOne-Block中的卷积层和批量归一化(Batch Normalization，BN)层进行融合，同时普通卷积层和BN层也进行融合。
其中，Wi表示转换前的卷积层参数，μi表示BN层的均值，σi表示BN层的方差，γi和βi分别表示BN层的尺度因子和偏移因子，Wi ′和bi ′分别表示融合之后的卷积的权重和偏置。
步骤S22：基于模型参数获取第一阶段处理层中第一逐通道卷积层分支的第一模型参数，第二逐通道卷积层分支的第二模型参数，以及第一批量归一化层分支的第三模型参数。
步骤S23：将第一阶段处理层融合为一个逐通道卷积层，其中，逐通道卷积层的模型参数由第一模型参数、第二模型参数以及第三模型参数叠加所得。
在本申请实施例中，目标检测装置将MobileOne-Block中包含融合后的k个3×3DWConv层的权重和偏置叠加；同时，将MobileOne-Block中包含的融合后的1×1DWConv层卷积核，通过零填充的方式，转换为3×3卷积核；进一步，将BN层视为一个权重值为1的1×1单位卷积核，通过零填充的方式，转换为3×3的卷积核。
目标检测装置将MobileOne-Block所有分支的权重W和偏置b叠加起来，从而获得一个融合之后的全新3×3DWConv层，其权重为W′，偏置为b′，计算公式如公式3所示。
进一步，
对输入，
有输出，其最终对应关系如公式4所示，对于
有：
X: ′ ,i,:,:＝(X*W′):,i,:,:+b′.(4)
步骤S24：基于模型参数获取第二阶段处理层中卷积层分支的第四模型参数，以及第二批量归一化层分支的第五模型参数。
步骤S25：将第二阶段处理层融合为一个卷积层，其中，卷积层的模型参数由第四模型参数和第五模型参数叠加所得。
在本申请实施例中，目标检测装置将MobileOne-Block中包含融合后的k个1×1普通卷积层的权重和偏置叠加；同时，将BN层映射为一个权重值为1的1×1单位卷积核。进一步，将两个分支的权重和偏置叠加，获得一个融合之后的全新1×1普通卷积层。
步骤S26：利用融合后的逐通道卷积层和融合后的卷积层所组成的处理层替换待训练模型中的各个处理层，输出替换后的目标检测模型。
在本申请实施例中，目标检测装置保存删除检测模块辅助头，并且融合后的网络模型结构与权重参数，得到最终的单路结构的重参数轻量化推理网络，其最终网络结构图如图6所示。MobileOne-Block结构经过重参数融合后，转换为图4中推理阶段显示的结构，即为深度可分离卷积(Depthwise Separable Conv)。
在本申请实施例中，目标检测装置获取待训练模型训练后各个处理层的模型参数，其中，处理层包括第一阶段处理层和第二阶段处理层；基于模型参数获取第一阶段处理层中第一逐通道卷积层分支的第一模型参数，第二逐通道卷积层分支的第二模型参数，以及第一批量归一化层分支的第三模型参数；将第一阶段处理层融合为一个逐通道卷积层，其中，逐通道卷积层的模型参数由第一模型参数、第二模型参数以及第三模型参数叠加所得；基于模型参数获取第二阶段处理层中卷积层分支的第四模型参数，以及第二批量归一化层分支的第五模型参数；将第二阶段处理层融合为一个卷积层，其中，卷积层的模型参数由第四模型参数和第五模型参数叠加所得；利用融合后的逐通道卷积层和融合后的卷积层所组成的处理层替换待训练模型中的各个处理层，输出替换后的目标检测模型。通过上述方式，目标检测装置通过训练时，使用多路结构，追求模型的高性能、高精度；推理时，基于结构重参数化思想对网络重构，转换为单路结构，保留了多分支结构网络的高性能优点，降低了模型参数量和运行模型所需的内存资源以及计算资源。
本申请的模型训练方法使用融合了深度可分离卷积及结构重参数化思想的MobileOne-Block，区别于一般结构重参数化卷积层，使模型推理时使用的33卷积层改进为33深度可分离卷积层，并通过控制超参数k，提升卷积层的特征提取能力，进一步降低模型参数量；基于MobileOne-Block，融合了路径聚合网络PANet思想，构建了YOLOv7-Lite-Rep特征增强提取模块，对主干模块输出进行多尺度特征提取。推理阶段，MobileOne-Block可转换为单路结构；相较于单纯使用深度可分离卷积的结构，YOLOv7-Lite-Rep在模型参数不变的条件下，提高模型特征表征能力，保持高效的推理速度。
请继续参阅图7，图7是本申请提供的目标检测方法一实施例的流程示意图。
具体而言，如图7所示，本申请实施例的目标检测方法具体包括以下步骤：
步骤S31：将待检测图像输入移动平台。
步骤S32：利用移动平台中预设的目标检测模型获取待检测目标的检测结果。
在本申请实施例中，目标检测装置将上述模型训练方法训练所得的单路结构的重参数轻量化推理网络及其权重参数，进行模型转化，量化等操作，进一步，部署到移动平台上，完成对目标数据的检测及结果输出。
在一种具体实施方式中，最终推理网络所使用的单路网络结构，其参数量约为1.02MB，浮点计算数约为1.2GFLOPS，对于移动平台的内存资源和计算资源需求小，便于部署和应用。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的模型训练方法，和/或目标检测方法，本申请还提出了一种目标检测装置，具体请参阅图8，图8是本申请提供的目标检测装置一实施例的结构示意图。
本申请实施例的目标检测装置400包括存储器41和处理器42，其中，存储器41和处理器42耦接。
存储器41用于存储程序数据，处理器42用于执行程序数据以实现上述实施例所述的模型训练方法，和/或目标检测方法。
在本实施例中，处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器42也可以是任何常规的处理器等。
为实现上述实施例的模型训练方法，和/或目标检测方法，本申请还提供了一种计算机可读存储介质，如图9所示，计算机可读存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的模型训练方法，和/或目标检测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的模型训练方法，和/或目标检测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的模型训练方法，和/或目标检测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种模型训练方法，其特征在于，所述模型训练方法包括：
获取待训练模型训练后各个处理层的模型参数，其中，所述处理层包括第一阶段处理层和第二阶段处理层；
基于所述模型参数获取所述第一阶段处理层中第一逐通道卷积层分支的第一模型参数，第二逐通道卷积层分支的第二模型参数，以及第一批量归一化层分支的第三模型参数；
将所述第一阶段处理层转换为单路结构，融合为一个逐通道卷积层，其中，所述逐通道卷积层的模型参数由所述第一模型参数、所述第二模型参数以及所述第三模型参数叠加所得；
基于所述模型参数获取所述第二阶段处理层中卷积层分支的第四模型参数，以及第二批量归一化层分支的第五模型参数；
将所述第二阶段处理层转换为单路结构，融合为一个卷积层，其中，所述卷积层的模型参数由第四模型参数和第五模型参数叠加所得；
利用融合后的所述逐通道卷积层和融合后的所述卷积层所组成的处理层替换所述待训练模型中的各个处理层，输出替换后的目标检测模型。
2.根据权利要求1所述的模型训练方法，其特征在于，
所述获取待训练模型训练后各个处理层的模型参数之前，所述模型训练方法还包括：
删除所述待训练模型中的辅助头及其模型参数；
删除所述辅助头对应的处理层的网络结构及其模型参数。
3.根据权利要求1所述的模型训练方法，其特征在于，
所述获取待训练模型训练后各个处理层的模型参数之后，所述模型训练方法还包括：
获取所述处理层中连接的卷积层和批量归一化层的组合；
将所述卷积层和批量归一化层融合为一个卷积层；
利用所述组合内所述卷积层的第六模型参数和所述批量归一化层的第七模型参数计算融合的卷积层的第八模型参数。
4.根据权利要求3所述的模型训练方法，其特征在于，
所述利用所述组合内所述卷积层的第六模型参数和所述批量归一化层的第七模型参数计算融合的卷积层的第八模型参数，包括：
获取所述第六模型参数的卷积层权重参数和卷积层偏置参数；
获取所述第七模型参数的批量归一化层的均值和方差；
利用所述卷积层权重参数、所述方差以及第一融合因子，获取所述第八模型参数中的权重参数；
利用所述卷积层偏置参数、所述均值、所述方差以及第二融合因子，获取所述第八模型参数中的偏置参数。
5.根据权利要求1所述的模型训练方法，其特征在于，
所述将所述第一阶段处理层转换为单路结构，融合为一个逐通道卷积层，包括：
将所述第一逐通道卷积层分支中的若干逐通道卷积层融合为一个分支逐通道卷积层；
将所述分支逐通道卷积层的卷积核尺寸、所述第二逐通道卷积层分支的卷积核尺寸以及第一批量归一化层分支的卷积核尺寸填充为统一的卷积核尺寸；
将填充后的所述分支逐通道卷积层，填充后的所述第二逐通道卷积层分支以及填充后的所述第一批量归一化层分支融合为一个逐通道卷积层。
6.根据权利要求1所述的模型训练方法，其特征在于，
所述待训练模型包括主干网络模块、特征增强提取模块、辅助头以及引导头，其中，所述主干网络模块以及所述特征增强提取模块分别包括若干处理层；
所述模型训练方法还包括：
将待训练图像输入所述主干网络模块，利用所述主干网络模块依次叠加的若干处理层提取不同降采样分辨率的输出特征图，包括第一输出特征图、第二输出特征图以及第三输出特征图；
将所述第一输出特征图、所述第二输出特征图以及所述第三输出特征图输入所述特征增强提取模块，将所述第三输出特征图与所述第二输出特征图进行通道维度融合，获取第四输出特征图；
将所述第四输出特征图与所述第一输出特征图进行通道维度融合，获取第一候选特征图；
将所述第一候选特征图与所述第三输出特征图进行通道维度融合，获取第二候选特征图；
将所述第二候选特征图与所述第四输出特征图进行通道维度融合，获取第三候选特征图；
利用所述处理层分别对所述第一候选特征图、所述第二候选特征图以及所述第三候选特征图进行特征提取，获取第一预测特征图、第二预测特征图以及第三预测特征图；
利用所述处理层分别对所述第一候选特征图、所述第四输出特征图以所述第三输出特征图进行特征提取，获取第四预测特征图、第五预测特征图以及第六预测特征图
将所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图输入引导头进行预测，获取所述引导头的第一损失函数值；
将所述第四预测特征图、所述第五预测特征图以及所述第六预测特征图输入辅助头进行预测，获取所述辅助头的第二损失函数值；
利用所述第一损失函数值和所述第二损失函数值对所述待训练模型进行训练，得到多路结构的检测网络。
7.根据权利要求1所述的模型训练方法，其特征在于，
所述将所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图输入引导头进行预测，获取所述引导头的第一损失函数值，包括：
对所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图分别进行网格化处理，获取若干预测目标框坐标以及预测类别；
按照每一预测类别，获取每一预测目标框坐标对应的真实边界框中心点所在网格及其第一预设数量的相邻网格，作为引导匹配正样本；
获取每一引导匹配正样本的代价损失，按照所述代价损失排序，获取第一预设数量的引导正样本输入所述引导头进行预测，获取所述引导头的第一损失函数值。
8.根据权利要求7所述的模型训练方法，其特征在于，
输入辅助头的辅助正样本为：在所述第四预测特征图、所述第五预测特征图以及所述第六预测特征图按照第三预设数量的相邻网格搜索辅助匹配正样本，并按照所述代价损失排序，获取第四预设数量的辅助正样本；
其中，所述第三预设数量大于第一预设数量，所述第四预设数量大于所述第二预设数量。
9.根据权利要求7所述的模型训练方法，其特征在于，
所述对所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图分别进行网格化处理之前，所述模型训练方法还包括：
获取所述第一预测特征图、所述第二预测特征图以及所述第三预测特征图中，每一预测特征图的先验锚框数量以及类别数量；
按照所述先验锚框数量以及所述类别数量获取所述每一预测特征图的通道数；
按照所述每一预测特征图的通道数对所述每一预测特征图进行卷积层处理。
10.一种目标检测方法，其特征在于，所述目标检测方法包括：
将待检测图像输入移动平台；
利用所述移动平台中预设的目标检测模型获取所述待检测目标的检测结果；
其中，所述目标检测模型通过权利要求1至9任一项所述的模型训练方法训练得到。
11.一种目标检测装置，其特征在于，所述目标检测装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-9任一项所述的模型训练方法，和/或权利要求10所述的目标检测方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-9任一项所述的模型训练方法，和/或权利要求10所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211734826.1A CN116090517A (zh) | 2022-12-30 | 2022-12-30 | 模型训练方法、目标检测方法、装置以及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211734826.1A CN116090517A (zh) | 2022-12-30 | 2022-12-30 | 模型训练方法、目标检测方法、装置以及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116090517A true CN116090517A (zh) | 2023-05-09 |
Family
ID=86203844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211734826.1A Pending CN116090517A (zh) | 2022-12-30 | 2022-12-30 | 模型训练方法、目标检测方法、装置以及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116090517A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116805423A (zh) * | 2023-08-23 | 2023-09-26 | 江苏源驶科技有限公司 | 一种基于结构重参数化的轻量级人体姿态估计算法 |
| CN117671573A (zh) * | 2024-02-01 | 2024-03-08 | 苏州凌影云诺医疗科技有限公司 | 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置 |
-
2022
- 2022-12-30 CN CN202211734826.1A patent/CN116090517A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116805423A (zh) * | 2023-08-23 | 2023-09-26 | 江苏源驶科技有限公司 | 一种基于结构重参数化的轻量级人体姿态估计算法 |
| CN116805423B (zh) * | 2023-08-23 | 2023-11-17 | 江苏源驶科技有限公司 | 一种基于结构重参数化的轻量级人体姿态估计算法 |
| CN117671573A (zh) * | 2024-02-01 | 2024-03-08 | 苏州凌影云诺医疗科技有限公司 | 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置 |
| CN117671573B (zh) * | 2024-02-01 | 2024-04-12 | 苏州凌影云诺医疗科技有限公司 | 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112257794B (zh) | 一种基于yolo的轻量级的目标检测方法 | |
| CN116090517A (zh) | 模型训练方法、目标检测方法、装置以及可读存储介质 | |
| CN111126472A (zh) | 一种基于ssd改进的目标检测方法 | |
| CN111507521A (zh) | 台区电力负荷预测方法及预测装置 | |
| CN111915660A (zh) | 基于共享特征和注意力上采样的双目视差匹配方法及系统 | |
| CN114049381A (zh) | 一种融合多层语义信息的孪生交叉目标跟踪方法 | |
| WO2022213395A1 (zh) | 轻量化的目标检测方法、设备、存储介质 | |
| CN116824413A (zh) | 一种基于多尺度空洞卷积的航拍图像目标检测方法 | |
| US20230083518A1 (en) | Image segmentation method, system, and device, and readable storage medium | |
| Cheng et al. | Tiny-RetinaNet: a one-stage detector for real-time object detection | |
| CN111079767B (zh) | 一种用于分割图像的神经网络模型及其图像分割方法 | |
| CN114021603B (zh) | 一种基于模型重参数化的雷达信号调制方式识别方法 | |
| KR20210024126A (ko) | 특징 맵 확대 방법, 장치, 디바이스 및 컴퓨터 판독 가능 기록 매체 | |
| CN110555461A (zh) | 基于多结构卷积神经网络特征融合的场景分类方法及系统 | |
| CN112464743A (zh) | 一种基于多尺度特征加权的小样本目标检测方法 | |
| CN115223009A (zh) | 基于改进型YOLOv5的小目标检测方法及装置 | |
| CN115861841A (zh) | 一种结合轻量化大卷积核的sar图像目标检测方法 | |
| CN110135428A (zh) | 图像分割处理方法和装置 | |
| CN117892773A (zh) | 模型部署方法、系统、电子设备以及存储介质 | |
| CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、系统及存储介质 | |
| Liu et al. | Real-time object detection in UAV vision based on neural processing units | |
| CN109558819B (zh) | 一种用于遥感图像目标检测的深度网络轻量化方法 | |
| CN116777842A (zh) | 基于深度学习的轻量化纹理表面缺陷检测方法和系统 | |
| CN116433686A (zh) | 基于Transformer上下文信息融合的医学图像分割方法及相关设备 | |
| CN116468902A (zh) | 图像的处理方法、装置和非易失性计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |