CN115564030A - 目标检测模型的压缩方法、检测方法、装置及相关设备 - Google Patents
目标检测模型的压缩方法、检测方法、装置及相关设备 Download PDFInfo
- Publication number
- CN115564030A CN115564030A CN202211480682.1A CN202211480682A CN115564030A CN 115564030 A CN115564030 A CN 115564030A CN 202211480682 A CN202211480682 A CN 202211480682A CN 115564030 A CN115564030 A CN 115564030A
- Authority
- CN
- China
- Prior art keywords
- model
- pruning
- layer
- compressed
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 111
- 230000006835 compression Effects 0.000 title claims abstract description 62
- 238000007906 compression Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013138 pruning Methods 0.000 claims abstract description 132
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000000694 effects Effects 0.000 claims abstract description 30
- 230000008859 change Effects 0.000 claims abstract description 23
- 238000004821 distillation Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 42
- 238000002474 experimental method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 241000283690 Bos taurus Species 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 244000141353 Prunus domestica Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域，公开了一种目标检测模型的压缩方法、检测方法、装置及相关设备。其中，该压缩方法包括：获取训练数据以及基于训练数据训练得到的待压缩模型；测量待压缩模型各层的通道参数，基于通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系；根据变化关系确定目标剪枝策略，按照目标剪枝策略对待压缩模型进行剪枝处理，获得剪枝后的模型；基于训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；基于待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。通过上述方式，本发明能够大幅度压缩模型的体积以及提高模型的运行效率。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种目标检测模型的压缩方法、检测方法、装置及相关设备。
背景技术
近年来，卷积神经网络在各种计算机视觉任务中取得了较佳的性能，如图像识别、目标检测。在具备充足数据集的情况下，一个典型的计算机视觉任务可以训练一个性能较为理想的模型。然而，卷积神经网络模型在带来优异性能的同时，也带来了巨大的计算复杂度和存储成本。在资源有限的情况下，直接应用这种网络存在巨大障碍。
以保险类业务为例，牛脸识别和牛脸检测抓拍算法可以有效辅助协保员在牛的承保和理赔环节时进行快速对比和鉴定，较好地提高用户体验满意度。但该算法被部署在手机移动端，该算法的运行效果好坏直接影响了工作人员和用户的感受和体验。目前，在手机移动端部署的牛脸检测抓拍算法主要有以下问题：手机在抓拍牛脸时实时抓拍速率较低，导致抓拍时间过长影响现场作业体验；抓拍的牛脸准确率较低，导致后续牛脸识别和比对过程错误率较高；牛脸检测模型手机端SDK文件较大，无法满足轻量级条件。
发明内容
本发明提供一种目标检测模型的压缩方法、检测方法、装置及相关设备，能够大幅度压缩模型的体积以及提高模型的运行效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种目标检测模型的压缩方法，包括：
获取训练数据以及基于所述训练数据训练得到的待压缩模型；
测量所述待压缩模型各层的通道参数，基于所述通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系；
根据所述变化关系确定目标剪枝策略，按照所述目标剪枝策略对所述待压缩模型进行剪枝处理，获得剪枝后的模型；
基于所述训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；
基于所述待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。
根据本发明的一个实施例，所述待压缩模型包括主干网络层、脖颈网络层以及头部网络层，所述通道参数包括所述主干网络层的通道宽度比例、所述脖颈网络层的通道数量以及所述头部网络层的通道数量；所述测量所述待压缩模型各层的通道参数，基于所述通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系包括：
测量所述待压缩模型各层的通道参数；
根据所述通道参数依次对各层的通道数量进行剪枝实验并对各层的剪枝结果进行检测；
根据各层的剪枝结果确定所述剪枝策略，根据各层的检测结果确定所述剪枝效果，根据各层的剪枝策略和对应的剪枝效果确定各层的剪枝策略与剪枝效果的变化关系。
根据本发明的一个实施例，所述根据所述通道参数依次对各层的通道数量进行剪枝实验并对各层的剪枝结果进行检测包括：
在每层剪枝实验后，对剪枝实验后的模型进行重新训练，利用重新训练的剪枝实验后的模型处理图像，获得图像处理结果的准确率和处理速度；
基于图像处理结果的准确率和处理速度检测该层剪枝实验是否有效；
若是，则继续下一层的剪枝实验操作以及检测操作，直至完成各层的剪枝实验操作以及检测操作。
根据本发明的一个实施例，所述基于所述待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型包括：
将所述待压缩模型中的主干网络替换为ResNext101，使用所述训练数据训练替换后的所述待压缩模型，并将经过训练的替换后的所述待压缩模型作为所述蒸馏算法的老师网络，将经过参数微调的剪枝后的模型作为所述蒸馏算法的学生网络；
将所述训练数据分别输入到所述老师网络和所述学生网络中，采用所述学生网络输出的特征图分布去拟合所述老师网络输出的特征图分布以对所述学生网络的参数进行调整，得到压缩模型。
根据本发明的一个实施例，所述将所述训练数据分别输入到所述老师网络和所述学生网络中，采用所述学生网络输出的特征图分布去拟合所述老师网络输出的特征图分布以对所述学生网络的参数进行调整，得到压缩模型包括：
将所述训练数据分别输入到所述老师网络和所述学生网络中，获得所述学生网络输出的特征图分布以及所述老师网络输出的特征图分布；
根据所述学生网络输出的特征图分布以及所述老师网络输出的特征图分布计算损失函数；
利用所述损失函数对所述学生网络进行训练直至收敛，得到所述压缩模型。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种目标检测模型的检测方法，目标检测模型为所获得的压缩模型，部署在移动终端上；所述检测方法包括：
获取待检测图像，对所述待检测图像进行尺寸压缩处理；
将压缩处理后的所述待检测图像输入所述压缩模型中进行目标检测，得到检测结果。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种目标检测模型的压缩装置，包括：
获取模块，用于获取训练数据以及基于所述训练数据训练得到的待压缩模型；
测量模块，用于测量所述待压缩模型各层的通道参数，基于所述通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系；
剪枝模块，用于根据所述变化关系确定目标剪枝策略，按照所述目标剪枝策略对所述待压缩模型进行剪枝处理，获得剪枝后的模型；
参数微调模块，用于基于所述训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；
蒸馏模块，用于基于所述待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种目标检测模型的检测装置，所述目标检测模型为所获得的压缩模型，部署在移动终端上；所述检测装置包括：
尺寸压缩模块，用于获取待检测图像，对所述待检测图像进行尺寸压缩处理；
检测模块，用于将压缩处理后的所述待检测图像输入所述压缩模型中进行目标检测，得到检测结果。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的目标检测模型的压缩方法以及目标检测模型的检测方法。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标检测模型的压缩方法以及目标检测模型的检测方法。
本发明的有益效果是：通过测量待压缩模型各层的通道参数，基于通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系，根据变化关系确定目标剪枝策略，按照目标剪枝策略对待压缩模型进行剪枝处理，获得剪枝后的模型，能够大幅度压缩模型的体积以及提高模型的运行效率，通过基于训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；基于待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型，能够恢复模型检测的准确率。
附图说明
图1是本发明一实施例的目标检测模型的架构示意图。
图2是本发明一实施例的目标检测模型的压缩方法的流程示意图。
图3是本发明实施例的目标检测模型的压缩方法中步骤S202的流程示意图。
图4是本发明一实施例的目标检测模型的检测方法的流程示意图。
图5是本发明实施例的目标检测模型的压缩装置的结构示意图。
图6是本发明实施例的目标检测模型的检测装置的结构示意图。
图7是本发明实施例的计算机设备的结构示意图。
图8是本发明实施例的计算机存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明的目标检测模型为人工智能模型，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
进一步地，目标检测模型为Centernet模型，可以用于3D目标检测和人物关键点检测，例如在动物的承保和理赔过程中，对动物的脸部进行检测识别。该目标检测模型可以部署到移动终端上进行使用，移动终端包括但不限于手机、平板电脑、笔记本等设备。
图1是本发明一实施例的目标检测模型的架构示意图，请参见图1，该目标检测模型100包括主干网络层10、脖颈网络层20以及头部网络层30，其中，主干网络层10用于对输入图像进行特征提取，并对提取的特征图进行降维压缩处理。主干网络层10采用MobileNetv2网络，包括7个瓶颈网络模块、3个二维卷积模块和1个平均池化模块，主干网络层10输入为320x320x3的图像，输出为10x10x80的特征图。脖颈网络层20用于对主干网络层10输出的特征图进行特征融合、上采样以及扩大特征维度，脖颈网络层20采用CTResNet网络，包括3个卷积和反卷积网络模块，脖颈网络层20的输入为10x10x80的特征图，输出为80x80x64的特征图。头部网络层30用于对脖颈网络层20输出的特征图进行特征提取，将特征图映射成需要输出的各种信息，头部网络层30采用CenternetHead网络，包括1个分类中心点特征图网络模块31、1个检测框宽高特征图网络模块32和1个中心点偏移特征图网络模块33，头部网络层30的输入为80x80x64的特征图，三个模块分别输出80x80x3、80x80x2以及80x80x2的特征图，例如，对牛脸进行检测时，三个模块的输出分别对应牛脸角度三种分类、牛脸检测框宽高和牛脸中心点横纵坐标偏移的特征信息。
图2是本发明一实施例的目标检测模型的压缩方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该方法包括步骤：
步骤S201：获取训练数据以及基于训练数据训练得到的待压缩模型。
在步骤S201中，训练数据为带有人工标注的图像数据，例如，在牛的承保和理赔应用场景中，训练数据可以为若干张人工标注的牛脸数据。待压缩模型为待压缩的目标检测模型，本实施例的目标检测模型为Centernet模型。
步骤S202：测量待压缩模型各层的通道参数，基于通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系。
在步骤S202中，通过对模型剪枝的粒度划分，可以分为三种主要的剪枝方法，基于权重的模型剪枝、基于通道的模型剪枝和基于层的模型剪枝。基于权重的剪枝会将权重较低的一些参数进行去除，该方法虽然可以最大程度保证模型准确率且小幅度减少计算量，但是对于模型加速方面帮助甚微；而基于层的剪枝会将模型中的参数以层为单位（如卷积层、BatchNorm层、全链接层等）直接全部去除，这种做法虽然可以大幅度提升模型的推理速度，但是由于参数削减程度较大往往导致准确率下降过多，无法通过后续参数调优的方法恢复准确率；而基于通道的剪枝方法则是以模型各层中的通道为单位进行纬度的缩减，例如将参数维度为32x32x128的卷积核缩减50%的通道深度，变为维度为32x32x64的卷积核，而不是将整个卷积层都去除，从而使得模型参数的削减幅度相对可控并且可以有效增加模型的推理速度。本实施例选用基于通道的模型剪枝方法。
本实施例的待压缩模型包括主干网络层、脖颈网络层以及头部网络层，主干网络层采用MobileNetv2网络，脖颈网络层采用CTResNet网络，头部网络层采用CenternetHead网络。通道参数包括主干网络层的通道宽度比例、脖颈网络层的通道数量以及头部网络层的通道数量，具体地，主干网络层的通道宽度比例为MobileNetv2网络的通道宽度比例，脖颈网络层的通道数量为CTResNet网络的通道数量，头部网络层的通道数量为CenternetHead网络的输入通道数量。在一实施例中，首先确定目标检测模型被压缩之前各层的通道参数，然后锁定主干网络层、脖颈网络层以及头部网络层中的其中一层作为目标层，减少目标层的通道数量，并控制其他层的通道数量不变，接着重新训练该模型，并根据重新训练后的模型的检测结果判断此次剪枝是否有效，若有，则在此基础上，继续按照相同的控制变量法对其他层进行试验。由于试验时间和次数有效，在其他实施例中，也可以同时调整多个层的通道参数。该实施例通过控制变量法确定各层的剪枝策略与剪枝效果的变化关系可以有效提高后续确定目标剪枝策略的准确率。
进一步地，请参见图3，步骤S202还包括以下步骤：
步骤S301：测量待压缩模型各层的通道参数。
在步骤S301中，待压缩模型为被剪枝前的目标检测模型，在一实施例中，以待压缩模型的准确率为99%，部署到移动终端上的运行速度为20fps为例，例如待压缩模型各层的通道参数包括MobileNetv2网络的通道宽度比例为0.25，CTResNet网络的通道数量为（128、96、64），CenternetHead网络的通道数量为64。
步骤S302：根据通道参数依次对各层的通道数量进行剪枝实验并对各层的剪枝结果进行检测。
在步骤S302中，在每层剪枝实验后，对剪枝实验后的模型进行重新训练，利用重新训练的剪枝实验后的模型处理图像，获得图像处理结果的准确率和处理速度；基于图像处理结果的准确率和处理速度检测该层剪枝实验是否有效；若是，则继续下一层的剪枝实验操作以及检测操作，直至完成各层的剪枝实验操作以及检测操作。在该实施例中，若图像处理结果的准确率下降幅度小于第一预设值且处理速度上升幅度大于第二预设值，则认为该层剪枝实验有效，第一预设值和第二预设值可以根据实际情况进行调整，例如，第一预设值为1%，第二预设值为1fps。
在一实施例中，例如，首先对MobileNetv2网络的通道宽度比例进行试验调整，然后在MobileNetv2网络的通道宽度比例调整好的基础上，再调整CTResNet网络的通道数量，最后在CTResNet网络的通道数量调整好的基础上再调整CenternetHead网络的通道数量。在其他实施例中，不仅限于以上调整顺序。
步骤S303：根据各层的剪枝结果确定剪枝策略，根据各层的检测结果确定剪枝效果，根据各层的剪枝策略和对应的剪枝效果确定各层的剪枝策略与剪枝效果的变化关系。
在步骤S303中，剪枝策略包括各层的通道数量，剪枝效果包括模型的准确率，模型的大小以及处理速度。各层的剪枝策略与剪枝效果的变化关系如表1所示：
表1为各层的剪枝策略与剪枝效果的变化关系表。
步骤S203：根据变化关系确定目标剪枝策略，按照目标剪枝策略对待压缩模型进行剪枝处理，获得剪枝后的模型。
在步骤S203中，根据变化关系选择最优的剪枝效果对应的剪枝策略作为目标剪枝策略，以步骤S303中各层的剪枝策略与剪枝效果的变化关系表为例，实验4的剪枝策略为目标剪枝策略，该剪枝策略所达到的剪枝效果：模型的大小由原始数据的2.0MB压缩至0.8MB，处理速度由原始数据的20fps提升到28fps，压缩效果和处理速度提升效果显著，但准确率下降2%，后续将通过步骤S204和步骤S205对模型的准确率进行恢复。
步骤S204：基于训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调。
在步骤S204中，对剪枝后的模型进行fine-tune训练以提升模型的准确率。
步骤S205：基于待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。
在步骤S205中，模型蒸馏是通过一个性能更强的“教师模型”来指导“学生模型”，让“学生模型”能够学习到“教师模型”的推理过程中间参数，使得“学生模型”的性能可以接近“教师模型”的性能，进而提升“学生模型”的准确率。该实施例将待压缩模型中的主干网络替换为ResNext101，使用训练数据训练替换后的待压缩模型，并将经过训练的替换后的待压缩模型作为蒸馏算法的老师网络，将经过参数微调的剪枝后的模型作为蒸馏算法的学生网络；将训练数据分别输入到老师网络和学生网络中，采用学生网络输出的特征图分布去拟合老师网络输出的特征图分布以对学生网络的参数进行调整，得到压缩模型，经试验，压缩模型的可恢复至99%。
进一步地，将训练数据分别输入到老师网络和学生网络中，获得学生网络输出的特征图分布以及老师网络输出的特征图分布；根据学生网络输出的特征图分布以及老师网络输出的特征图分布计算损失函数；利用损失函数对学生网络进行训练直至收敛，得到压缩模型。
具体地，损失函数按照如下公式进行计算：
其中，
为损失函数，
为学生网络的头部网络层输出的第i张特征图，
的维度是80x80，
为老师网络输出的第i张特征图，其中，i属于[1, n]，KL(X, Y)函数表示求解X和Y两个分布的KL散度，Log(X)函数表示求X的对数，Softmax(X)函数表示求X的Softmax归一化分布。
本发明一实施例的目标检测模型的压缩方法通过测量待压缩模型各层的通道参数，基于通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系，根据变化关系确定目标剪枝策略，按照目标剪枝策略对待压缩模型进行剪枝处理，获得剪枝后的模型，能够大幅度压缩模型的体积以及提高模型的运行效率，通过基于训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；基于待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型，能够恢复模型检测的准确率。
图4是本发明一实施例的目标检测模型的检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图4所示的流程顺序为限。本实施例的目标检测模型为上述的压缩模型，将目标检测模型部署在移动终端上，如图4所示，该方法包括步骤：
步骤S401：获取待检测图像，对待检测图像进行尺寸压缩处理。
在步骤S401中，在移动终端使用时，只需要将待检测图像等比例缩放到固定值即可满足模型的输入要求，与常规使用padding方法优化待检测图像相比，可节省了25%的参数推理过程，从而提高模型的处理速度，经过尺寸压缩处理，可以使模型的处理速度从28fps提升至30fps。
步骤S402：将压缩处理后的待检测图像输入压缩模型中进行目标检测，得到检测结果。
在步骤S402中，将320x320x3的待检测图像输入压缩模型，经过主干网络层对待检测图像进行特征提取，输出10x10x80的特征图，经过脖颈网络层对主干网络层的输出图征图进行特征融合、上采样以及扩大特征维度，得到80x80x64的特征图，将脖颈网络层的输出分别输入头部网络层的三个模块进行预测，预测分类中心点特征图（尺寸为80x80x3）、检测框宽高特征图（尺寸为80x80x2）以及中心点偏移特征图（尺寸为80x80x2）。
本发明实施例的目标检测模型的检测方法在第一实施例的基础上，通过将目标检测模型部署在移动终端上，在检测时，对待检测图像进行尺寸压缩处理，与常规使用padding方法优化待检测图像相比，可节省了25%的参数推理过程，从而提高模型的处理速度，经过尺寸压缩处理，可以使模型的处理速度从28fps提升至30fps。
图5是本发明实施例的目标检测模型的压缩装置的结构示意图。如图5所示，该装置50包括获取模块51、测量模块52、剪枝模块53、参数微调模块54以及蒸馏模块55。
获取模块51用于获取训练数据以及基于训练数据训练得到的待压缩模型；
测量模块52用于测量待压缩模型各层的通道参数，基于通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系；
剪枝模块53用于根据变化关系确定目标剪枝策略，按照目标剪枝策略对待压缩模型进行剪枝处理，获得剪枝后的模型；
参数微调模块54用于基于训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；
蒸馏模块55用于基于待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。
图6是本发明实施例的目标检测模型的检测装置的结构示意图。如图6所示，该装置60包括尺寸压缩模块61、检测模块62。
尺寸压缩模块61用于获取待检测图像，对待检测图像进行尺寸压缩处理；
检测模块62用于将压缩处理后的待检测图像输入压缩模型中进行目标检测，得到检测结果。
请参阅图7，图7为本发明实施例的计算机设备的结构示意图。如图7所示，该计算机设备70包括处理器71及和处理器71耦接的存储器72。
存储器72存储有用于实现上述任一实施例所述的目标检测模型的压缩方法以及目标检测模型的检测方法的程序指令。
处理器71用于执行存储器72存储的程序指令以压缩目标检测模型以及检测目标。
其中，处理器71还可以称为CPU（Central Processing Unit，中央处理单元）。处理器71可能是一种集成电路芯片，具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图8，图8为本发明实施例的计算机存储介质的结构示意图。本发明实施例的计算机存储介质存储有能够实现上述所有方法的程序文件81，其中，该程序文件81可以以软件产品的形式存储在上述计算机存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的计算机存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种目标检测模型的压缩方法，其特征在于，包括：
获取训练数据以及基于所述训练数据训练得到的待压缩模型；
测量所述待压缩模型各层的通道参数，基于所述通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系；
根据所述变化关系确定目标剪枝策略，按照所述目标剪枝策略对所述待压缩模型进行剪枝处理，获得剪枝后的模型；
基于所述训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；
基于所述待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。
2.根据权利要求1所述的压缩方法，其特征在于，所述待压缩模型包括主干网络层、脖颈网络层以及头部网络层，所述通道参数包括所述主干网络层的通道宽度比例、所述脖颈网络层的通道数量以及所述头部网络层的通道数量；所述测量所述待压缩模型各层的通道参数，基于所述通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系包括：
测量所述待压缩模型各层的通道参数；
根据所述通道参数依次对各层的通道数量进行剪枝实验并对各层的剪枝结果进行检测；
根据各层的剪枝结果确定所述剪枝策略，根据各层的检测结果确定所述剪枝效果，根据各层的剪枝策略和对应的剪枝效果确定各层的剪枝策略与剪枝效果的变化关系。
3.根据权利要求2所述的压缩方法，其特征在于，所述根据所述通道参数依次对各层的通道数量进行剪枝实验并对各层的剪枝结果进行检测包括：
在每层剪枝实验后，对剪枝实验后的模型进行重新训练，利用重新训练的剪枝实验后的模型处理图像，获得图像处理结果的准确率和处理速度；
基于图像处理结果的准确率和处理速度检测该层剪枝实验是否有效；
若是，则继续下一层的剪枝实验操作以及检测操作，直至完成各层的剪枝实验操作以及检测操作。
4.根据权利要求1所述的压缩方法，其特征在于，所述基于所述待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型包括：
将所述待压缩模型中的主干网络替换为ResNext101，使用所述训练数据训练替换后的所述待压缩模型，并将经过训练的替换后的所述待压缩模型作为所述蒸馏算法的老师网络，将经过参数微调的剪枝后的模型作为所述蒸馏算法的学生网络；
将所述训练数据分别输入到所述老师网络和所述学生网络中，采用所述学生网络输出的特征图分布去拟合所述老师网络输出的特征图分布以对所述学生网络的参数进行调整，得到压缩模型。
5.根据权利要求4所述的压缩方法，其特征在于，所述将所述训练数据分别输入到所述老师网络和所述学生网络中，采用所述学生网络输出的特征图分布去拟合所述老师网络输出的特征图分布以对所述学生网络的参数进行调整，得到压缩模型包括：
将所述训练数据分别输入到所述老师网络和所述学生网络中，获得所述学生网络输出的特征图分布以及所述老师网络输出的特征图分布；
根据所述学生网络输出的特征图分布以及所述老师网络输出的特征图分布计算损失函数；
利用所述损失函数对所述学生网络进行训练直至收敛，得到所述压缩模型。
6.一种目标检测模型的检测方法，其特征在于，所述目标检测模型为权利要求1至5任一项所获得的压缩模型，部署在移动终端上；所述检测方法包括：
获取待检测图像，对所述待检测图像进行尺寸压缩处理；
将压缩处理后的所述待检测图像输入所述压缩模型中进行目标检测，得到检测结果。
7.一种目标检测模型的压缩装置，其特征在于，包括：
获取模块，用于获取训练数据以及基于所述训练数据训练得到的待压缩模型；
测量模块，用于测量所述待压缩模型各层的通道参数，基于所述通道参数通过控制变量法获得各层的剪枝策略与剪枝效果的变化关系；
剪枝模块，用于根据所述变化关系确定目标剪枝策略，按照所述目标剪枝策略对所述待压缩模型进行剪枝处理，获得剪枝后的模型；
参数微调模块，用于基于所述训练数据训练剪枝后的模型以对剪枝后的模型进行参数微调；
蒸馏模块，用于基于所述待压缩模型，利用蒸馏算法对经过参数微调的剪枝后的模型的参数进行调整，得到压缩模型。
8.一种目标检测模型的检测装置，其特征在于，所述目标检测模型为权利要求1至5任一项所获得的压缩模型，部署在移动终端上；所述检测装置包括：
尺寸压缩模块，用于获取待检测图像，对所述待检测图像进行尺寸压缩处理；
检测模块，用于将压缩处理后的所述待检测图像输入所述压缩模型中进行目标检测，得到检测结果。
9.一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的目标检测模型的压缩方法以及如权利要求6所述的目标检测模型的检测方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的目标检测模型的压缩方法以及如权利要求6所述的目标检测模型的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211480682.1A CN115564030A (zh) | 2022-11-24 | 2022-11-24 | 目标检测模型的压缩方法、检测方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211480682.1A CN115564030A (zh) | 2022-11-24 | 2022-11-24 | 目标检测模型的压缩方法、检测方法、装置及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115564030A true CN115564030A (zh) | 2023-01-03 |
Family
ID=84770697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211480682.1A Pending CN115564030A (zh) | 2022-11-24 | 2022-11-24 | 目标检测模型的压缩方法、检测方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564030A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117057413A (zh) * | 2023-09-27 | 2023-11-14 | 珠高智能科技(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
| CN117540780A (zh) * | 2024-01-09 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 一种神经网络模型的压缩方法和相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488989A (zh) * | 2020-04-16 | 2020-08-04 | 济南浪潮高新科技投资发展有限公司 | 一种在手机端实现轻量级目标检测的方法及模型 |
| US20200311552A1 (en) * | 2019-03-25 | 2020-10-01 | Samsung Electronics Co., Ltd. | Device and method for compressing machine learning model |
| CN112927173A (zh) * | 2021-04-12 | 2021-06-08 | 平安科技（深圳）有限公司 | 模型压缩方法、装置、计算设备及存储介质 |
| CN113159173A (zh) * | 2021-04-20 | 2021-07-23 | 北京邮电大学 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
-
2022
- 2022-11-24 CN CN202211480682.1A patent/CN115564030A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200311552A1 (en) * | 2019-03-25 | 2020-10-01 | Samsung Electronics Co., Ltd. | Device and method for compressing machine learning model |
| CN111488989A (zh) * | 2020-04-16 | 2020-08-04 | 济南浪潮高新科技投资发展有限公司 | 一种在手机端实现轻量级目标检测的方法及模型 |
| CN112927173A (zh) * | 2021-04-12 | 2021-06-08 | 平安科技（深圳）有限公司 | 模型压缩方法、装置、计算设备及存储介质 |
| CN113159173A (zh) * | 2021-04-20 | 2021-07-23 | 北京邮电大学 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117057413A (zh) * | 2023-09-27 | 2023-11-14 | 珠高智能科技(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
| CN117057413B (zh) * | 2023-09-27 | 2024-03-15 | 传申弘安智能(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
| CN117540780A (zh) * | 2024-01-09 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 一种神经网络模型的压缩方法和相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| CN106909888B (zh) | 应用于移动设备端的人脸关键点跟踪系统及方法 | |
| CN115564030A (zh) | 目标检测模型的压缩方法、检测方法、装置及相关设备 | |
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| CN111666857A (zh) | 基于环境语义理解的人体行为识别方法、装置及存储介质 | |
| CN111291637A (zh) | 一种基于卷积神经网络的人脸检测方法、装置及设备 | |
| CN111414946B (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN111914782A (zh) | 人脸及其特征点的检测方法、装置、电子设备和存储介质 | |
| CN110765865B (zh) | 基于改进的yolo算法的水下目标检测方法 | |
| CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
| CN111524145A (zh) | 图片智能裁剪方法、系统、计算机设备及存储介质 | |
| CN110555417A (zh) | 一种基于深度学习的视频图像识别系统及方法 | |
| CN111783997B (zh) | 一种数据处理方法、装置及设备 | |
| WO2023151237A1 (zh) | 人脸位姿估计方法、装置、电子设备及存储介质 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| CN111401192A (zh) | 基于人工智能的模型训练方法和相关装置 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN115880558A (zh) | 农事行为检测方法、装置、电子设备及存储介质 | |
| CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
| CN116863522A (zh) | 痤疮分级方法、装置、设备及介质 | |
| CN115880562A (zh) | 一种基于改进YOLOv5的轻量级目标检测网络 | |
| CN113762049B (zh) | 内容识别方法、装置、存储介质和终端设备 | |
| CN114359787A (zh) | 目标属性识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230103 |