CN118485125A - 自适应模型剪枝方法、装置、电子设备、存储介质 - Google Patents
自适应模型剪枝方法、装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN118485125A CN118485125A CN202410767615.0A CN202410767615A CN118485125A CN 118485125 A CN118485125 A CN 118485125A CN 202410767615 A CN202410767615 A CN 202410767615A CN 118485125 A CN118485125 A CN 118485125A
- Authority
- CN
- China
- Prior art keywords
- pruning
- model algorithm
- target
- target model
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 250
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 110
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000012163 sequencing technique Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000000750 progressive effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100295776 Drosophila melanogaster onecut gene Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开公开了自适应模型剪枝方法、装置、电子设备、存储介质，涉及数据处理技术领域，对目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；对加权后特征图的各通道进行通道间相似度计算，得到相似度评估结果；基于相似度评估结果对各通道进行排序和聚类，得到各通道对应的显著性得分；对显著性得分进行二值化处理，得到各显著性得分对应的二值化值；基于二值化值和初始剪枝率对各通道中的部分通道进行剪枝，并评估剪枝后的目标模型算法的目标性能；基于目标性能对初始剪枝率进行调整，得到调整后剪枝率；基于调整后剪枝率对目标模型算法进行剪枝，直至目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及一种自适应模型剪枝方法、装置、电子设备、存储介质。
背景技术
在当今数字化转型的大潮中，物联网（Internet of Things，IoT）技术和人工智能科技革命正在重塑各行各业，特别是在智能建筑和现代化园区的运营管理中。建筑与园区中的系统较为复杂，涵盖了从环境控制、能源管理、安防监控到设施维护等多个维度，每一个环节都高度依赖于精准且高效的设备状态监测。随着设备互联程度的加深，数据量呈指数级增长，使得传统监测方法面临严峻挑战。海量数据不仅要求更强大的数据处理能力，还对网络带宽、存储资源和计算效率提出了更高要求，尤其是在边缘计算和嵌入式设备场景下，资源受限的环境成为部署先进监测技术的主要障碍。
深度学习，特别是卷积神经网络（Convolutional Neural Network ，CNN），因其在图像识别、异常检测等领域的卓越表现，被视为提升监测系统智能化水平的关键技术。然而，标准的CNN模型往往具有复杂的结构和大量的参数，这对于计算资源有限的设备而言，直接部署变得不切实际，容易导致响应延迟增加、功耗增大、数据传输拥堵、资源过度消耗、运维成本上升等问题。模型剪枝作为一种有效手段，可减少模型体积、加速推理过程，同时尽量保持模型性能。然而，传统静态滤波器剪枝方法存在局限性，它们往往需要经过耗时的预训练和微调过程，这不仅增加了模型部署的成本，而且对于资源受限环境来说，反复的训练和调整过程更是难以承受的负担。此外，一刀切的剪枝策略忽视了模型内部各层复杂度和敏感度的差异，导致剪枝效果较差。因此提供一种自适应模型剪枝方法以实现较好的剪枝效果是目前亟需解决的问题。
发明内容
本公开提供了一种自适应模型剪枝方法、装置、电子设备、存储介质，主要目的在于提供一种自适应模型剪枝方法以实现较好的剪枝效果。
根据本公开的第一方面，提供了一种自适应模型剪枝方法，其中，包括：
构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；
对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；
基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；
对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；
基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；
基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；
在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
可选的，所述基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率包括：
根据所述目标性能确定所述目标模型算法中各网络层对目标任务执行时的贡献度；
将所述贡献度大于预设贡献度阈值的网络层的初始剪枝率调整为第一调整后剪枝率，以及对所述贡献度小于或等于所述预设贡献度阈值的网络层的初始剪枝率调整为第二调整后剪枝率，所述第一调整后剪枝率小于所述第二调整后剪枝率，所述调整后剪枝率包括所述第一调整后剪枝率和所述第二调整后剪枝率。
可选的，所述方法包括：
根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项。
可选的，所述根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项包括：
将所述显著性得分大于预设显著性得分阈值的通道对应的稀疏性惩罚项的权重增加；或
将所述显著性得分小于或等于所述预设显著性得分阈值的通道对应的稀疏性惩罚项的权重减小。
可选的，所述对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值包括：
基于渐进二元激活函数将所述显著性得分映射到目标区间；
将所述目标区间中小于中间值的数值对应的显著性得分设置为第一预设值，所述中间值为所述目标区间的起始值与结束值的二分之一；
将所述目标区间中大于或等于所述中间值的数值对应的显著性得分设置为第二预设值，其中，当所述第一预设值表示剪枝时，所述第二预设值表示不剪枝或当所述第一预设值表示不剪枝时，所述第二预设值表示剪枝。
可选的，在对所述目标模型算法进行迭代训练之前，所述方法包括：
采集原始数据，并对所述原始数据进行降噪处理，将降噪处理后的原始数据设置为标准化数据格式；
将设置为标准化数据格式的原始数据输入所述目标模型算法进行训练，所述目标模型算法为神经网络模型。
根据本公开的第二方面，提供了一种自适应模型剪枝装置，包括：
构建单元，用于构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；
计算单元，用于对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；
聚类单元，用于基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；
处理单元，用于对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；
第一剪枝单元，用于基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；
调整单元，用于基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；
第二剪枝单元，用于在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
可选的，所述调整单元还用于：
根据所述目标性能确定所述目标模型算法中各网络层对目标任务执行时的贡献度；
将所述贡献度大于预设贡献度阈值的网络层的初始剪枝率调整为第一调整后剪枝率，以及对所述贡献度小于或等于所述预设贡献度阈值的网络层的初始剪枝率调整为第二调整后剪枝率，所述第一调整后剪枝率小于所述第二调整后剪枝率，所述调整后剪枝率包括所述第一调整后剪枝率和所述第二调整后剪枝率。
可选的，所述装置包括：
调节单元，用于根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项。
可选的，所述调节单元还用于：
将所述显著性得分大于预设显著性得分阈值的通道对应的稀疏性惩罚项的权重增加；或
将所述显著性得分小于或等于所述预设显著性得分阈值的通道对应的稀疏性惩罚项的权重减小。
可选的，所述处理单元还用于：
基于渐进二元激活函数将所述显著性得分映射到目标区间；
将所述目标区间中小于中间值的数值对应的显著性得分设置为第一预设值，所述中间值为所述目标区间的起始值与结束值的二分之一；
将所述目标区间中大于或等于所述中间值的数值对应的显著性得分设置为第二预设值，其中，当所述第一预设值表示剪枝时，所述第二预设值表示不剪枝或当所述第一预设值表示不剪枝时，所述第二预设值表示剪枝。
可选的，所述装置包括：
采集单元，用于采集原始数据，并对所述原始数据进行降噪处理，将降噪处理后的原始数据设置为标准化数据格式；
输入单元，用于将设置为标准化数据格式的原始数据输入所述目标模型算法进行训练，所述目标模型算法为神经网络模型。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。
本公开提供的自适应模型剪枝方法、装置、电子设备、存储介质，构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。与相关技术相比，通过计算所述各通道的显著性得分并结合所述初始剪枝率对所述各通道进行剪枝，且在下一次迭代训练时，基于所述目标模型算法的目标性能动态调整所述初始剪枝率，并基于调整后剪枝率对所述目标模型算法进行剪枝，极大程度的结合了所述目标模型算法内部各层复杂度和敏感度的差异，提升了剪枝效果。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本公开实施例所提供的一种自适应模型剪枝方法流程示意图；
图2为本公开实施例所提供的另一种自适应模型剪枝方法流程示意图；
图3为本公开实施例所提供的一种自适应模型剪枝装置的结构示意图；
图4为本公开实施例所提供的另一种自适应模型剪枝装置的结构示意图；
图5为本公开实施例提供的示例电子设备300的示意性框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
此外，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二” 等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
下面参考附图描述本公开实施例的自适应模型剪枝方法、装置、电子设备、存储介质。
为了至少供一种自适应模型剪枝方法以实现较好的剪枝效果。本实施例提供了一种自适应模型剪枝方法。
图1为本公开实施例所提供的一种自适应模型剪枝方法流程示意图。如图1所示，所述方法包括以下步骤：
步骤101，构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；
步骤102，对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；
步骤103，基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；
步骤104，对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；
步骤105，基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；
步骤106，基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率。
步骤107，在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
本公开提供的自适应模型剪枝方法，构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。与相关技术相比，通过计算所述各通道的显著性得分并结合所述初始剪枝率对所述各通道进行剪枝，且在下一次迭代训练时，基于所述目标模型算法的目标性能动态调整所述初始剪枝率，并基于调整后剪枝率对所述目标模型算法进行剪枝，极大程度的结合了所述目标模型算法内部各层复杂度和敏感度的差异，提升了剪枝效果。
作为本公开实施例的细化，在执行步骤106所述基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率时，还可以采用但不限于以下实现方式，例如：根据所述目标性能确定所述目标模型算法中各网络层对目标任务执行时的贡献度；将所述贡献度大于预设贡献度阈值的网络层的初始剪枝率调整为第一调整后剪枝率，以及对所述贡献度小于或等于所述预设贡献度阈值的网络层的初始剪枝率调整为第二调整后剪枝率，所述第一调整后剪枝率小于所述第二调整后剪枝率，所述调整后剪枝率包括所述第一调整后剪枝率和所述第二调整后剪枝率。
在一些实施例中，所述贡献度可以根据所述目标性能包括的性能数据，如准确率、损失值等并结合如敏感性分析、梯度重要性、特征复用性等方法以分析不同网络层对性能数据的影响，从而评估各网络层对目标任务的贡献度。
作为上述实施例的细化，所述方法还可以采用但不限于以下实现方式，例如：根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项 。
作为上述实施例的细化，在执行所述根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项时，还可以采用但不限于以下实现方式，例如：将所述显著性得分大于预设显著性得分阈值的通道对应的稀疏性惩罚项的权重增加；或将所述显著性得分小于或等于所述预设显著性得分阈值的通道对应的稀疏性惩罚项的权重减小。
例如：遍历每个通道，根据其显著性得分与预设的显著性得分阈值进行比较，并相应地调整其对应的稀疏性惩罚项的权重。所述稀疏性惩罚项包括但不限于为L1正则化项；如果某个通道的显著性得分大于预设的显著性得分阈值，说明这个通道对模型性能的影响较大，因此应该减小其稀疏性惩罚项的权重，以便在训练过程中更多地保留这个通道的信息。相反，如果某个通道的显著性得分小于或等于预设的显著性得分阈值，说明这个通道对模型性能的影响较小，因此可以增加其稀疏性惩罚项的权重，以鼓励模型在训练过程中将这个通道的权重推向零，从而实现稀疏性。根据上一步中确定的稀疏性惩罚项权重，修改模型的损失函数。损失函数应该包含原始的任务损失（如分类损失、回归损失等）和根据显著性得分调整后的稀疏性惩罚项。使用修改后的损失函数来训练模型。在训练过程中，模型将根据每个通道的显著性得分自动调整其稀疏性惩罚项的权重，从而实现对不同通道重要性的自适应学习
作为上述实施例的细化，在执行步骤104所述对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值时，还可以采用但不限于以下实现方式，例如：基于渐进二元激活函数将所述显著性得分映射到目标区间；将所述目标区间中小于中间值的数值对应的显著性得分设置为第一预设值，所述中间值为所述目标区间的起始值与结束值的二分之一；将所述目标区间中大于或等于所述中间值的数值对应的显著性得分设置为第二预设值，其中，当所述第一预设值表示剪枝时，所述第二预设值表示不剪枝或当所述第一预设值表示不剪枝时，所述第二预设值表示剪枝。
在一些实施例中，在对所述目标模型算法进行迭代训练之前，所述方法还可以采用但不限于以下实现方式，例如：采集原始数据，并对所述原始数据进行降噪处理，将降噪处理后的原始数据设置为标准化数据格式；将设置为标准化数据格式的原始数据输入所述目标模型算法进行训练，所述目标模型算法为神经网络模型。
为了便于对上述实施例涉及的过程进行理解，图2为本公开实施例所提供的另一种自适应模型剪枝方法流程示意图，本实施例结合图2提供示例性说明，包括：数据预处理：部署物联网终端传感器网络，收集原始数据，包括但不限于温度、湿度、光照、能耗等。利用预处理算法去除噪声，标准化数据格式，为模型训练准备高质量数据集。构建模型：根据监测任务选择或设计深度学习模型架构，如卷积神经网络（CNN）或循环神经网络（RNN），进行模型初始化，包括定义网络架构、初始化权重等。
自适应结构化稀疏控制（ASCS）：这一模块通过引入注意力机制，深入挖掘并利用这一特性，以实现更为智能和精细的通道剪枝。首先进行特征图加权，在模型的训练初期，ACSC模块介入，通过注意力机制为每个特征图（Feature Maps）的通道计算权重。这一步骤通过网络前向传播产生特征图，然后使用一个可学习的注意力网络为每个通道进行加权，这一过程不仅增强了关键特征的表达，同时也抑制了背景噪声，提高了特征图间相似性度量的准确性和鲁棒性。注意力权重由前一层的特征图经过一个可学习的注意力网络计算得出，反映了每个位置特征的重要性。其次进行通道相似性评估。利用加权后的特征图，采用互相关或余弦相似性等度量方法计算通道间的相似度，以识别具有高度冗余或低贡献度的通道 。最后生成通道显著性得分。根据相似性评估结果，对通道进行排序或聚类，生成每个通道的显著性得分。高得分通道被认为是对模型输出贡献较大的重要通道，为后续剪枝提供重要依据。
自适应结构化稀疏控制（ASCS）：ASCS模块是实现自动、高效剪枝策略的核心，它通过动态调整各层的剪枝率来优化整体模型结构，确保剪枝过程的智能化和高效性。首先进行通道得分离散化。ASCS模块开始工作，基于ACSC产生的通道显著性得分，通过渐进二元激活函数映射到{0, 1}区间，逐步实现通道的二值化，其中1代表保留通道，0代表剪枝。该过程在训练过程中逐步进行，允许模型适应性地调整通道权重，逐步逼近预设的剪枝率目标。其次进行动态剪枝率分配。通过在损失函数中引入稀疏性惩罚项，直接引导网络学习更加稀疏的结构。该惩罚项与通道得分紧密相连，根据通道显著性动态调整，确保在追求高性能的同时，模型的稀疏度也能达到预定目标。根据预设的全局剪枝目标，ASCS模块会分析网络各层对任务的贡献，自动调整每一层的具体剪枝率。贡献大的层可能被分配较低的剪枝率，以保护关键特征，而贡献较小的层则可能承受更高的剪枝率。ASCS模块根据网络各层对最终任务贡献的差异，自动确定每层的最优剪枝策略。它综合考虑了网络的深度、宽度、以及不同层的功能特性，实现了从粗粒度到细粒度的自适应剪枝控制。最后进行迭代优化与平衡。在整个训练过程中，ACSC和ASCS模块不断互动。ACSC持续提供通道的重要性反馈，帮助ASCS动态调整剪枝策略；同时，ASCS的剪枝操作反馈至网络，影响后续的特征提取过程。这个循环持续进行，直到模型收敛或达到预定的剪枝标准。
模型剪枝后训练与验证：完成上述剪枝后，模型进入重新训练阶段，以恢复因剪枝可能造成的性能损失。本发明中使用的方法无需额外微调，因为在剪枝过程中模型已通过持续训练进行了自我调整。最后，使用验证集测试剪枝后模型的性能，确保监测效果未受负面影响，同时检查资源占用情况，验证剪枝策略的有效性。
以上基于注意力的通道相似性计算(ACSC)与自适应结构化稀疏控制(ASCS)的方法流程具体可见图2，主要是针对深度学习模型的优化流程，旨在提高模型的效率并减少资源消耗。这种优化技术理论上可以应用于任何依赖深度学习算法的监测系统中，尤其是在建筑和园区环境中，应用范围广泛，包括但不限于建筑能耗监测系统，空气质量监测系统，在线扬尘监测系统，园区环境与安全监测系统等，通过整合环境参数、能源数据、安全隐患、应急相应等多维数据，优化后的模型能够更快地识别异常情况，不仅可以提高监测系统的响应速度和准确性，还能在有限的计算资源下处理更多的数据，降低维护成本，同时增强对复杂环境变化的适应能力，促进智慧建筑和智慧园区的可持续发展。
简而言之，ACSC模块在模型剪枝初期即参与，利用注意力机制为特征图的每个通道赋予权重，强化关键特征表达，同时抑制无关信息，基于加权特征图计算通道相似性，生成通道显著性得分，指导后续剪枝决策。ASCS模块则根据通道得分动态调整各层的剪枝率，通过渐进二元激活函数实现通道的自适应二值化，并在损失函数中引入稀疏性惩罚项，确保模型在训练过程中向既定的稀疏度目标优化，同时保持监测精度。此轻量化剪枝方法无需传统的预训练-剪枝-finetune流程，减少部署成本，且在保持监测系统精确度的同时，极大减轻了边缘计算和嵌入式设备的资源负担，提升了系统实时性和能效。该技术通过自适应学习机制，能够随运行时数据变化自动优化，确保长期监测的稳定性与准确性，为智慧建筑与园区的高效可持续运营提供关键技术支撑。
综上所述，本公开实施例能达到以下效果：
1. 通过计算所述各通道的显著性得分并结合所述初始剪枝率对所述各通道进行剪枝，且在下一次迭代训练时，基于所述目标模型算法的目标性能动态调整所述初始剪枝率，并基于调整后剪枝率对所述目标模型算法进行剪枝，极大程度的结合了所述目标模型算法内部各层复杂度和敏感度的差异，提升了剪枝效果。
2. 针对深度学习模型，尤其是卷积神经网络(CNN)在实际部署中面临的高计算需求与资源消耗问题，本发明创新性地融合了注意力机制与自适应剪枝策略，通过两个核心模块——基于注意力的通道相似性计算模块(ACSC)与自适应结构化稀疏控制模块(ASCS)，实现模型的智能化与高效剪枝，不仅减少部署成本，且在保持监测系统精确度的同时，极大减轻了边缘计算和嵌入式设备的资源负担，提升了系统实时性和能效。该方法可应用于智慧建筑与园区的能源管理、环境监控、安防等多个领域，推动了智能监测技术在资源受限环境中的实际应用与效能升级。
3. 通过智能识别并移除模型中的冗余参数，同时考虑各层的实际贡献，动态调整剪枝比例，以达到在保证监测精度的前提下，最大化减少资源消耗的目的。这种自适应方法不仅能够显著减轻边缘设备的计算负担，提高监测系统的实时性与能效，还能灵活应对不同应用场景下的资源限制，实现模型的高效部署与运行。此外，通过引入自适应学习机制，该技术能够随着运行时数据的变化自动优化剪枝策略，确保长期监测的稳定性和准确性，从而为智慧建筑与园区的高效、可持续运营提供了强有力的支撑。
4.基于注意力的通道相似性计算模块（ACSC）和自适应结构化稀疏控制模块（ASCS），基于注意力的通道相似性计算模块（ACSC）在提炼特征的同时计算通道显著性得分以辅助网络训练，自适应结构化稀疏控制模块（ASCS）逐步离散化通道显著得分并根据预设的剪枝率目标分配每层的剪枝率，修建后的模型在训练后输出，不需要额外的微调。实现了监测系统在保障监测效果的同时，大幅度减少资源占用。
与上述的自适应模型剪枝方法相对应，本发明还提出一种自适应模型剪枝装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。
图3为本公开实施例所提供的一种自适应模型剪枝装置的结构示意图，如图3所示，包括：
构建单元21，用于构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；
计算单元22，用于对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；
聚类单元23，用于基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；
处理单元24，用于对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；
第一剪枝单元25，用于基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；
调整单元26，用于基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；
第二剪枝单元27，用于在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
本公开提供的自适应模型剪枝装置，构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。与相关技术相比，通过计算所述各通道的显著性得分并结合所述初始剪枝率对所述各通道进行剪枝，且在下一次迭代训练时，基于所述目标模型算法的目标性能动态调整所述初始剪枝率，并基于调整后剪枝率对所述目标模型算法进行剪枝，极大程度的结合了所述目标模型算法内部各层复杂度和敏感度的差异，提升了剪枝效果。
图4为本公开实施例所提供的另一种自适应模型剪枝装置的结构示意图，如图4所示，所述调整单元26还用于：
根据所述目标性能确定所述目标模型算法中各网络层对目标任务执行时的贡献度；
将所述贡献度大于预设贡献度阈值的网络层的初始剪枝率调整为第一调整后剪枝率，以及对所述贡献度小于或等于所述预设贡献度阈值的网络层的初始剪枝率调整为第二调整后剪枝率，所述第一调整后剪枝率小于所述第二调整后剪枝率，所述调整后剪枝率包括所述第一调整后剪枝率和所述第二调整后剪枝率。
进一步的，在本公开实施例一种可能得实现方式中，如图4所示，所述装置包括：
调节单元28，用于根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项。
进一步的，在本公开实施例一种可能得实现方式中，如图4所示，所述调节单元28还用于：
将所述显著性得分大于预设显著性得分阈值的通道对应的稀疏性惩罚项的权重增加；或
将所述显著性得分小于或等于所述预设显著性得分阈值的通道对应的稀疏性惩罚项的权重减小。
进一步的，在本公开实施例一种可能得实现方式中，如图4所示，所述处理单元24还用于：
基于渐进二元激活函数将所述显著性得分映射到目标区间；
将所述目标区间中小于中间值的数值对应的显著性得分设置为第一预设值，所述中间值为所述目标区间的起始值与结束值的二分之一；
将所述目标区间中大于或等于所述中间值的数值对应的显著性得分设置为第二预设值，其中，当所述第一预设值表示剪枝时，所述第二预设值表示不剪枝或当所述第一预设值表示不剪枝时，所述第二预设值表示剪枝。
进一步的，在本公开实施例一种可能得实现方式中，如图4所示，所述装置包括：
采集单元29，用于采集原始数据，并对所述原始数据进行降噪处理，将降噪处理后的原始数据设置为标准化数据格式；
输入单元210，用于将设置为标准化数据格式的原始数据输入所述目标模型算法进行训练，所述目标模型算法为神经网络模型。
需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，本实施例中不再限定。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，设备300包括计算单元301，其可以根据存储在ROM（Read-OnlyMemory，只读存储器）302中的计算机程序或者从存储单元308加载到RAM（Random AccessMemory，随机访问/存取存储器） 303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM303通过总线304彼此相连。I/O（Input/Output，输入/输出） 接口305也连接至总线304。
设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于CPU（Central Processing Unit，中央处理单元）、GPU（Graphic Processing Units，图形处理单元） 、各种专用的AI（ArtificialIntelligence，人工智能） 计算芯片、各种运行机器学习模型算法的计算单元、DSP（Digital Signal Processor，数字信号处理器） 、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如自适应模型剪枝方法。例如，在一些实施例中，自适应模型剪枝方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由计算单元301执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行前述自适应模型剪枝方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA（Field Programmable Gate Array，现场可编程门阵列）、ASIC（Application-Specific Integrated Circuit，专用集成电路）、ASSP（Application Specific StandardProduct，专用标准产品）、SOC（System On Chip，芯片上系统的系统）、CPLD（ComplexProgrammable Logic Device，复杂可编程逻辑设备） 、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM（Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器） 或快闪存储器、光纤、CD-ROM（Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器） 、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（Cathode-Ray Tube， 阴极射线管）或者LCD（Liquid Crystal Display， 液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：LAN（LocalArea Network，局域网）、WAN（Wide Area Network，广域网） 、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
Claims (10)
1.一种自适应模型剪枝方法，其特征在于，包括：
构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；
对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；
基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；
对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；
基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；
基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；
在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率包括：
根据所述目标性能确定所述目标模型算法中各网络层对目标任务执行时的贡献度；
将所述贡献度大于预设贡献度阈值的网络层的初始剪枝率调整为第一调整后剪枝率，以及对所述贡献度小于或等于所述预设贡献度阈值的网络层的初始剪枝率调整为第二调整后剪枝率，所述第一调整后剪枝率小于所述第二调整后剪枝率，所述调整后剪枝率包括所述第一调整后剪枝率和所述第二调整后剪枝率。
3.根据权利要求1所述的方法，其特征在于，所述方法包括：
根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项。
4.根据权利要求3所述的方法，其特征在于，所述根据所述显著性得分调整所述各通道对应的损失函数的稀疏性惩罚项包括：
将所述显著性得分大于预设显著性得分阈值的通道对应的稀疏性惩罚项的权重增加；或
将所述显著性得分小于或等于所述预设显著性得分阈值的通道对应的稀疏性惩罚项的权重减小。
5.根据权利要求1所述的方法，其特征在于，所述对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值包括：
基于渐进二元激活函数将所述显著性得分映射到目标区间；
将所述目标区间中小于中间值的数值对应的显著性得分设置为第一预设值，所述中间值为所述目标区间的起始值与结束值的二分之一；
将所述目标区间中大于或等于所述中间值的数值对应的显著性得分设置为第二预设值，其中，当所述第一预设值表示剪枝时，所述第二预设值表示不剪枝或当所述第一预设值表示不剪枝时，所述第二预设值表示剪枝。
6.根据权利要求1所述的方法，其特征在于，在对所述目标模型算法进行迭代训练之前，所述方法包括：
采集原始数据，并对所述原始数据进行降噪处理，将降噪处理后的原始数据设置为标准化数据格式；
将设置为标准化数据格式的原始数据输入所述目标模型算法进行训练，所述目标模型算法为神经网络模型。
7.一种自适应模型剪枝装置，其特征在于，包括：
构建单元，用于构建目标模型算法，在每次对所述目标模型算法进行迭代训练时，基于注意力机制对所述目标模型算法生成的特征图中的特征值进行加权，得到加权后特征图；
计算单元，用于对所述加权后特征图的各通道进行通道间相似度计算，得到所述各通道间的相似度评估结果；
聚类单元，用于基于所述相似度评估结果对所述各通道进行排序和聚类，得到所述各通道分别对应的显著性得分；
处理单元，用于对所述显著性得分进行二值化处理，得到各显著性得分分别对应的二值化值；
第一剪枝单元，用于基于所述二值化值和初始剪枝率对所述各通道中的部分通道进行剪枝，并评估对所述部分通道进行剪枝后的所述目标模型算法的目标性能；
调整单元，用于基于所述目标性能对所述初始剪枝率进行调整，得到调整后剪枝率；
第二剪枝单元，用于在对所述目标模型算法进行下一次迭代训练时，基于所述调整后剪枝率对所述目标模型算法进行剪枝，直至所述目标模型算法的剪枝率调整为预设剪枝率，得到训练完成的目标模型算法。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6任一项所述的方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410767615.0A CN118485125A (zh) | 2024-06-14 | 2024-06-14 | 自适应模型剪枝方法、装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410767615.0A CN118485125A (zh) | 2024-06-14 | 2024-06-14 | 自适应模型剪枝方法、装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118485125A true CN118485125A (zh) | 2024-08-13 |
Family
ID=92188079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410767615.0A Pending CN118485125A (zh) | 2024-06-14 | 2024-06-14 | 自适应模型剪枝方法、装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118485125A (zh) |
-
2024
- 2024-06-14 CN CN202410767615.0A patent/CN118485125A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110600017B (zh) | 语音处理模型的训练方法、语音识别方法、系统及装置 | |
| EP4140845A1 (en) | Method and apparatus for predicting motion track of obstacle and autonomous vehicle | |
| KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| CN105845128B (zh) | 基于动态剪枝束宽预测的语音识别效率优化方法 | |
| CN110288978A (zh) | 一种语音识别模型训练方法及装置 | |
| CN113657465A (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN113870334B (zh) | 深度检测方法、装置、设备以及存储介质 | |
| CN106682702A (zh) | 深度学习方法和系统 | |
| CN113947188A (zh) | 目标检测网络的训练方法和车辆检测方法 | |
| KR20220116395A (ko) | 사전 훈련 모델의 결정 방법, 장치, 전자 기기 및 저장 매체 | |
| CN112560981A (zh) | 生成对抗模型的训练方法、装置、设备、程序和存储介质 | |
| CN113420792A (zh) | 图像模型的训练方法、电子设备、路侧设备及云控平台 | |
| CN113961765A (zh) | 基于神经网络模型的搜索方法、装置、设备和介质 | |
| CN114037052A (zh) | 检测模型的训练方法、装置、电子设备及存储介质 | |
| CN110705695B (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
| CN118485125A (zh) | 自适应模型剪枝方法、装置、电子设备、存储介质 | |
| CN112133100B (zh) | 一种基于r-cnn的车辆检测方法 | |
| CN113128479B (zh) | 一种学习噪声区域信息的人脸检测方法及装置 | |
| CN110874553A (zh) | 一种识别模型训练方法及装置 | |
| CN115410048A (zh) | 图像分类模型的训练及图像分类方法、装置、设备及介质 | |
| CN115170919A (zh) | 图像处理模型训练及图像处理方法、装置、设备和存储介质 | |
| CN114822562A (zh) | 声纹识别模型的训练方法、声纹识别方法及相关设备 | |
| CN114841338A (zh) | 训练模型参数的方法、决策确定方法、装置及电子设备 | |
| CN115249281A (zh) | 图像遮挡和模型训练方法、装置、设备以及存储介质 | |
| CN116705013B (zh) | 语音唤醒词的检测方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |