CN116188878A - 基于神经网络结构微调的图像分类方法、装置和存储介质 - Google Patents

基于神经网络结构微调的图像分类方法、装置和存储介质 Download PDF

Info

Publication number
CN116188878A
CN116188878A CN202310450659.6A CN202310450659A CN116188878A CN 116188878 A CN116188878 A CN 116188878A CN 202310450659 A CN202310450659 A CN 202310450659A CN 116188878 A CN116188878 A CN 116188878A
Authority
CN
China
Prior art keywords
pruning
neural network
image classification
image
pruned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310450659.6A
Other languages
English (en)
Inventor
常璟飞
曾令仿
李勇
程稳
蒋科
吴洵进
陈�光
朱健
王鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310450659.6A priority Critical patent/CN116188878A/zh
Publication of CN116188878A publication Critical patent/CN116188878A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于神经网络结构微调的图像分类方法、装置和存储介质，用于对特征图进行处理，所述特征图由图像数据集输入神经网络所获得，所述方法包括：基于图像数据集的训练集和验证集，获取待剪枝神经网络各特征图的最小绝对偏差，从而确定各特征图的剪枝阈值对特征图进行剪枝，得到剪枝结构；量化剪枝结构，获取量化后剪枝结构的图像分类精度的损失值；基于损失值和剪枝结构的最大迭代周期，对剪枝结构进行微调，得到图像分类特征模型；最后将待测图像输入图像分类特征模型得到分类结果，实现图像分类神经网络模型剪枝范围的自适应调整和对剪枝模型的结构微调量化，提高利用显著压缩的图像分类特征模型进行图像分类处理的分类精度和速度。

Description

基于神经网络结构微调的图像分类方法、装置和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种基于神经网络结构微调的图像分类方法、装置和存储介质。
背景技术
随着神经网络技术的发展，无论是在计算机视觉、自然语言处理还是图像生成方面，目前深度神经网络表现出来的性能都是最优的。然而，它们在计算能力、内存以及能源消耗方面的高昂成本，使得大部分企业因为有限的硬件资源而完全负担不起训练的费用，并且随着模型结构和规模越来越复杂，极大地限制了高性能模型在资源受限场景中的部署和应用。此外，较大的模型在处理部分任务时存在明显的参数冗余性，导致在训练过程中出现过拟合现象，直接影响模型的最终性能。冗余的模型规模所带来的存储开销、时间开销、能耗开销、性能损失等都极大地阻碍了人工智能技术的进一步发展和应用，但是许多领域都受益于神经网络，尤其是针对图像数据分类的场景，因此对图像分类神经网络进行压缩无疑是一个降低成本的办法。
基于上述问题和困难，如何在可接受的精度损失范围内尽可能地对图像分类神经网络模型进行压缩和加速已经成为十分重要又迫切的研究热点。现有的对图像分类神经网络的压缩方法主要包括剪枝、量化、低秩分解和知识蒸馏等，其中剪枝和量化凭借易于实施和加速效果显著的优点受到了广泛关注。主流的剪枝方法较为依赖人工干预，但部分自动剪枝策略又存在内存占用和能耗成本较高的问题；主流的量化方法直接量化图像分类数据的原实值模型的参数，忽略了对图像分类模型结构的调整优化，且量化通常会造成一定程度的图像分类精度的下降。因此如何将剪枝与量化高效地结合，使得在进行图像数据分类处理时，既能够保证利用图像分类神经网络模型进行图像分类时输出的图像分类精度，又能实现图像分类模型的显著压缩和加速是目前研究和应用领域的难点。
发明内容
基于此，有必要针对上述技术问题，提供能够在图像数据处理时自适应调整图像分类模型的剪枝和量化过程并提高图像分类模型在显著压缩和加速后进行图像分类处理的图像分类精度的一种基于神经网络结构微调的图像分类方法、装置和存储介质。
第一方面，本申请提供了一种基于神经网络结构微调的图像分类方法，用于对特征图进行处理，所述特征图由图像数据集输入神经网络所获得，所述方法包括：
基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；
基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差，其中所述最小绝对偏差为生成特征图的图像数据绝对值之和；
基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；
训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；
基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；
将待测图像输入所述图像分类特征模型，得到分类结果。
在其中一个实施例中，基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值包括：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数；
基于所述重要性分数和所述待剪枝神经网络的剪枝因子，确定各所述特征图的剪枝阈值。
在其中一个实施例中，基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数包括：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，对每一个卷积层中的特征图进行最大正则化，获取各所述特征图的重要性分数。
在其中一个实施例中，训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值包括：
基于余弦退火学习率算法，训练所述剪枝结构；
量化所述剪枝结构中各卷积层的权重参数，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值。
在其中一个实施例中，基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型包括：
若所述损失值小于设定的最大损失值或者所述剪枝结构的迭代次数大于所述最大迭代周期，则输出所述图像分类特征模型；
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则对所述剪枝结构进行微调，并对微调后的所述剪枝结构重新训练量化，直至所述损失值小于所述最大损失值或者所述迭代次数大于所述最大迭代周期。
在其中一个实施例中，若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则对所述剪枝结构进行微调包括：
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则计算所述剪枝结构的各卷积层中特征图对应的通道数的微调速度；
基于所述微调速度，更新所述剪枝结构。
在其中一个实施例中，所述将待测图像输入所述图像分类特征模型，得到分类结果包括：
将所述待测图像输入所述图像分类特征模型，得到所述分类结果；
基于所述分类结果，获取所述图像分类特征模型的图像分类精度的实际数据。
第二方面，本申请还提供了一种基于神经网络结构微调的图像分类装置，用于对特征图进行处理，所述特征图由图像数据集输入神经网络所获得，所述装置包括：
图像训练模块，用于基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；
数据获取模块，用于基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差，其中所述最小绝对偏差为生成特征图的图像数据绝对值之和；
结构剪枝模块，基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；
损失计算模块，用于训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；
模型输出模块，用于基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；
模型测试模块，用于将待测图像输入所述图像分类特征模型，得到分类结果。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的内容。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的内容。
上述基于神经网络结构微调的图像分类方法、装置和存储介质，通过基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差；基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；将待测图像输入所述图像分类特征模型，得到分类结果，实现了图像分类神经网络模型剪枝范围的自适应调整以及对整个剪枝模型的结构微调量化，提高了利用显著压缩后的图像分类特征模型进行图像分类处理时的图像分类精度和分类速度。
附图说明
图1为一个实施例中一种基于神经网络结构微调的图像分类方法的流程示意图；
图2为其中一个实施例中执行S104具体步骤的流程示意图；
图3为其中一个实施例中执行S103具体步骤的流程示意图；
图4为一个实施例中执行S105具体步骤的流程示意图；
图5为其中一个实施例中执行S402具体步骤的流程示意图；
图6为一个实施例中一种基于神经网络结构微调的图像分类装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请的各个技术可以广泛应用于自动驾驶、智能机器人、可穿戴设备以及其他资源受限终端的应用部署场景中对这些场景下的图像数据进行分类处理。
在一个实施例中，如图1所示，提供了一种基于神经网络结构微调的图像分类方法，用于对将图像数据集输入神经网络所获得的特征图进行处理，包括以下步骤：
S101，基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络。
具体地，对选取的数据集使用K折交叉验证法分割为训练集、验证集和测试集，并将该图像数据集中的训练集输入神经网络，对神经网络进行预训练，得到待剪枝神经网络。
S102，基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差。
具体地，将图像数据集中的验证集输入待剪枝神经网络，对待剪枝神经网络进行验证推理，计算待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差。
S103，基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构。
其中，最小绝对偏差，即L1范数，是指卷积层中生成各特征图的图像数据向量中各个元素绝对值之和。此外，每一个卷积层的特征图都是根据神经网络的图像数据集中验证集所有样本生成的相同层中相同位置的特征图叠加后求平均值得到的。
具体地，基于各层特征图的剪枝阈值，对应删除各卷积层内重要性分数小于各层剪枝阈值的特征图，同时删除与之相关的前后层卷积核，从而得到待剪枝神经网络剪枝后的剪枝结构。
S104，训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值。
示例性地，在其中一个实施例中，如图2所示，S104训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值具体包括以下步骤：
S201，基于余弦退火学习率算法，训练所述剪枝结构。
具体地，将获得的剪枝结构进行重新训练，训练周期根据最终输出的图像分类特征模型的需求自定义。在训练过程中，利用余弦退火学习率算法调整剪枝结构的训练策略，使剪枝结构的输出图像分类精度在短时间内恢复到接近待剪枝神经网络的程度。
S202，量化所述剪枝结构中各卷积层的权重参数，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值。
具体地，量化就是对神经网络中全精度的浮点权重参数的存储单位进行低比特替换的过程，在神经网络中权重参数通常以32位浮点数的形式存储，此时的权重参数往往对应非常大的熵，对重新训练后剪枝结构中各卷积层的权重参数进行量化处理，将32位的存储形式量化为更小的存储单位，例如8bit、4bit或者2bit的形式，减小了剪枝结构的模型体量，同时降低了剪枝结构的计算量。
S105，基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型。
具体地，基于对输出的图像分类特征模型的分类精度需要，设置待剪枝神经网络的最大损失值。在剪枝结构进行量化微调的迭代过程中，任意某次训练量化后的剪枝结构相较于待剪枝神经网络的图像分类精度的损失值小于最大损失值，或者此次训练量化的迭代次数大于最大迭代周期，则输出此次训练量化的剪枝结构，该剪枝结构为待剪枝神经网络剪枝量化后最优的图像分类特征模型。
可选地，图像分类特征模型至少包括以下之一：VGGNet（VGG模型）、ResNet（残差网络模型）、GoogLeNet（GoogLe模型）、MobileNet（Mobile模型）等。
S106，将待测图像输入所述图像分类特征模型，得到分类结果。
具体地，在其中一个实施例中，将待测图像输入所述图像分类特征模型，得到分类结果，基于分类结果，获取所述图像分类特征模型的图像分类精度的实际数据。
上述基于神经网络结构微调的图像分类方法中，通过基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差；基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；将待测图像输入所述图像分类特征模型，得到分类结果，实现了图像分类神经网络模型剪枝范围的自适应调整以及对整个剪枝模型的结构微调量化，提高了利用压缩后图像分类特征模型进行图像分类处理时的图像分类精度和分类速度。
在一个实施例中，如图3所示，S103中基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值包括以下步骤：
S301，基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数。
示例性地，基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，对每一个卷积层中的特征图进行最大正则化，获取各个特征图的重要性分数。
S302，基于所述重要性分数和所述待剪枝神经网络的剪枝因子，确定各所述特征图的剪枝阈值。
其中，剪枝因子是基于对待剪枝神经网络模型的预期压缩率人为设置的，用于控制待剪枝神经网络模型的剪枝幅度。
具体地，在常规的剪枝方法中，通常是直接采用卷积核参数的绝对值或者特征图参数的绝对值来充当对应的神经网络的参数重要度进行剪枝，而基于这些方法对图像分类神经网络模型进行剪枝后输出的图像分类精度较低，在本实施例中，通过对各卷积层的特征图求L1范数（即最小绝对偏差），并对每一层特征图利用L1范数进行最大正则化，得到各层特征图的重要性分数；接着通过待剪枝神经网络的剪枝因子作用于各特征图重要性分数的平均值，确定每一层卷积的剪枝阈值，实现图像分类网络模型中的不同卷积层自适应调整裁剪的比例，提高图像分类神经网络模型的剪枝精度。
在一个实施例中，如图4所示，S105基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型包括以下步骤：
S401，若所述损失值小于设定的最大损失值或者所述剪枝结构的迭代次数大于所述最大迭代周期，则输出所述图像分类特征模型。
S402，若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代次数，则对所述剪枝结构进行微调，并对微调后的所述剪枝结构重新训练量化，直至所述损失值小于所述最大损失值或者所述迭代次数大于所述最大迭代周期。
示例性地，在其中一个实施例中，如图5所示，S402中若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代次数，则对所述剪枝结构进行微调具体包括以下步骤：
S501，若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则计算所述剪枝结构中各卷积层中特征图对应的通道数的微调速度。
具体地，若损失值大于最大损失值且迭代次数小于最大迭代周期，则基于该剪枝结构的动态惯性因子，计算图像分类神经网络模型进行剪枝量化后的剪枝结构中各卷积层中特征图对应的通道数的微调速度。其中，动态惯性因子是基于原始神经网络的初始惯性因子、迭代至最大周期数时的惯性因子、剪枝结构的最大迭代周期数以及当前迭代周期数确定的，相比于固定的惯性因子，动态惯性因子采用线性递减权值策略能够获得更好的优化效果；微调速度是基于当前迭代周期的动态惯性因子、前一次迭代周期中各层通道数的微调速度、迭代周期中量化后性能最优的剪枝结构、前一次迭代周期得到的剪枝结构、剪枝结构的学习因子以及[0，1]之间的随机数确定的。
S502，基于所述微调速度，更新所述剪枝结构。
具体地，在损失值大于最大损失值且迭代次数小于最大迭代周期时，基于剪枝结构的各卷积层中特征图对应的通道数的微调速度、前一次迭代周期的剪枝结构以及剪枝结构的学习率，对剪枝结构进行更新。对更新后的剪枝结构重新训练量化，直至其损失值小于最大损失值或者迭代次数大于最大迭代周期。
在上述步骤S501~S502中，通过在损失值大于最大损失值且迭代次数小于最大迭代周期的情况下，计算剪枝结构的各卷积层中特征图对应的通道数的微调速度，并基于微调速度对剪枝结构进行更新，能够在以剪枝结构为中心的较小范围内搜索适合于量化的图像分类神经网络模型的通道数配置，避免对剪枝结构的初始压缩率造成影响，从而破坏剪枝结构，降低图像分类精度。其中，初始压缩率是指待剪枝神经网络进行剪枝后得到的剪枝结构的模型压缩率。
在一个示例实施例中，提供一种基于神经网络结构微调的图像分类方法，用于特征图进行处理，其中特征图由图像数据集输入神经网络所获得，将该方法应用于给定的一个L层的卷积神经网络为例进行说明，其中C=(C1，C2，...,CL)为图像分类的原始神经网络结构，
Figure SMS_1
为第l层图像分类神经网络的通道数，Cout为输出通道数，Cin为输入通道数，该卷积神经网络的卷积核尺寸为k×k，卷积核参数/>
Figure SMS_2
，第l层卷积生成的特征图为
Figure SMS_3
，w×h为特征图的尺寸，具体包括以下步骤：
S1，利用K折交叉验证法将卷积神经网络的图像数据集分割为训练集、验证集和测试集，并将原始神经网络C在图像数据集的训练集上进行预训练，得到待剪枝神经网络。
S2，利用验证集对待剪枝神经网络进行验证推理，计算待剪枝神经网络的卷积层中生成各特征图M的L1范数，并对每一层中的特征图M进行最大正则化，得到每一个特征图的重要性分数
Figure SMS_4
，公式如下：
Figure SMS_5
其中，
Figure SMS_6
为第l层中每一个特征图M的索引，| |1表示L1范数。
S3，设置剪枝因子k作用于各特征图重要性分数
Figure SMS_7
的平均值，确定第l层卷积神经网络的剪枝阈值/>
Figure SMS_8
，通过调节剪枝因子k的值使不同卷积层根据层内特征自适应地确定要裁剪的比例，公式如下：
Figure SMS_9
其中，剪枝因子
Figure SMS_10
。
S4，删除卷积神经网络各层中重要性分数
Figure SMS_11
小于对应的剪枝阈值/>
Figure SMS_12
的特征图，同时删除与其相关的前后层卷积核W，得到剪枝结构/>
Figure SMS_13
。
S5，对剪枝结构
Figure SMS_14
进行重新训练50个周期，并利用余弦退火学习率算法调整训练策略，将剪枝结构/>
Figure SMS_15
的图像分类精度恢复到接近待剪枝神经网络的程度。
S6，量化剪枝结构
Figure SMS_16
中各卷积层的权重参数。
S7，在验证集上验证量化后的剪枝结构
Figure SMS_17
的图像分类精度，计算量化后的剪枝结构/>
Figure SMS_18
相比于待剪枝神经网络的图像分类精度的损失值Acc.loss。
S8，若损失值Acc.loss小于该待剪枝神经网络的最大损失值s或者剪枝结构的迭代次数t大于最大迭代周期T，则输出剪枝和量化联合压缩后的图像分类特征模型，若否，则执行S10。其中，可接受的最大性能损失值s=0.5%，最大迭代周期T=8。
S9，基于图像数据集中测试集的待测图像，测试所述图像分类特征模型的图像分类精度，并输出分类结果。
S10，若损失值Acc.loss大于该待剪枝神经网络的最大损失值s且剪枝结构
Figure SMS_19
的迭代次数t小于最大迭代周期T，则计算剪枝结构/>
Figure SMS_20
中各层特征图对应的通道数的微调速度vt，公式如下：
Figure SMS_21
其中，vt表示第t次迭代中剪枝结构
Figure SMS_22
中各层特征图对应的通道的通道改变速度，wt为第t次迭代中剪枝结构/>
Figure SMS_23
对应的动态惯性因子，vt-1为前一次迭代周期中各层通道数的微调速度，α是用于控制通道更新速度的学习因子，根据实验数据此处学习因子α=2，ct-1为前一次迭代周期得到的剪枝结构，rand为[0，1]之间的随机数。需要说明的是，剪枝结构/>
Figure SMS_24
始终为整个迭代过程中量化性能最优的剪枝结构。
动态惯性因子wt随着剪枝结构
Figure SMS_25
迭代次数的不同相应的发生变化，动态惯性因子wt具体的更新公式如下：
Figure SMS_26
其中，wini为原始神经网络C的初始惯性因子，wsnd为迭代至最大周期数时的惯性因子。
S11，根据微调速度vt，对剪枝结构
Figure SMS_27
进行更新，公式如下：
Figure SMS_28
其中，ct为更新的剪枝结构，r为控制通道更新幅度的学习率，根据实验数据，此处学习率r=2。将更新的剪枝结构ct与原有最优的剪枝结构
Figure SMS_29
进行比较，若更新的剪枝结构ct更优，则将其赋值为剪枝结构/>
Figure SMS_30
；若原有最优的剪枝结构/>
Figure SMS_31
更优，则保持该剪枝结构/>
Figure SMS_32
。
S12，迭代次数t = t +1，重复上述S5~S9。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于神经网络结构微调的图像分类方法的基于神经网络结构微调的图像分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于神经网络结构微调的图像分类装置实施例中的具体限定可以参见上文中对于基于神经网络结构微调的图像分类方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种基于神经网络结构微调的图像分类装置，包括：图像训练模块61、数据获取模块62、结构剪枝模块63、损失计算模块64、模型输出模块65以及模型测试模块66，其中：
图像训练模块61，用于基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；
数据获取模块62，用于基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差，其中所述最小绝对偏差为生成特征图的图像数据绝对值之和；
结构剪枝模块63，基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；
损失计算模块64，用于训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；
模型输出模块65，用于基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；
模型测试模块66，用于将待测图像输入所述图像分类特征模型，得到分类结果。
在一个实施例中，图像训练模块61还包括：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数；基于所述重要性分数和所述待剪枝神经网络的剪枝因子，确定各所述特征图的剪枝阈值。
在一个实施例中，图像训练模块61还包括：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，对每一个卷积层中的特征图进行最大正则化，获取各所述特征图的重要性分数。
在一个实施例中，损失计算模块64还包括：
基于余弦退火学习率算法，训练所述剪枝结构；量化所述剪枝结构中各卷积层的权重参数，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值。
在一个实施例中，模型输出模块65还包括：
若所述损失值小于设定的最大损失值或者所述剪枝结构的迭代次数大于所述最大迭代周期，则输出所述图像分类特征模型；
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则对所述剪枝结构进行微调，并对微调后的所述剪枝结构重新训练量化，直至所述损失值小于所述最大损失值或者所述迭代次数大于所述最大迭代周期。
在一个实施例中，模型输出模块65还包括：
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则计算所述剪枝结构的各卷积层中特征图对应的通道数的微调速度；基于所述微调速度，更新所述剪枝结构。
在一个实施例中，模型测试模块66还包括：将所述待测图像输入所述图像分类特征模型，得到所述分类结果；基于所述分类结果，获取所述图像分类特征模型的图像分类精度的实际数据。
上述基于神经网络结构微调的图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于神经网络结构微调的图像分类方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；
基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差，其中所述最小绝对偏差为生成特征图的图像数据绝对值之和；
基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；
训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；
基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；
将待测图像输入所述图像分类特征模型，得到分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数；基于所述重要性分数和所述待剪枝神经网络的剪枝因子，确定各所述特征图的剪枝阈值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，对每一个卷积层中的特征图进行最大正则化，获取各所述特征图的重要性分数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于余弦退火学习率算法，训练所述剪枝结构；量化所述剪枝结构中各卷积层的权重参数，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述损失值小于设定的最大损失值或者所述剪枝结构的迭代次数大于所述最大迭代周期，则输出所述图像分类特征模型；
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则对所述剪枝结构进行微调，并对微调后的所述剪枝结构重新训练量化，直至所述损失值小于所述最大损失值或者所述迭代次数大于所述最大迭代周期。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则计算所述剪枝结构的各卷积层中特征图对应的通道数的微调速度；基于所述微调速度，更新所述剪枝结构。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述待测图像输入所述图像分类特征模型，得到所述分类结果；基于所述分类结果，获取所述图像分类特征模型的图像分类精度的实际数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于神经网络结构微调的图像分类方法，用于对特征图进行处理，所述特征图由图像数据集输入神经网络所获得，其特征在于，所述方法包括：
基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；
基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差，其中所述最小绝对偏差为生成特征图的图像数据绝对值之和；
基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；
训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；
基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；
将待测图像输入所述图像分类特征模型，得到分类结果。
2.根据权利要求1所述的基于神经网络结构微调的图像分类方法，其特征在于，所述基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值包括：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数；
基于所述重要性分数和所述待剪枝神经网络的剪枝因子，确定各所述特征图的剪枝阈值。
3.根据权利要求2所述的基于神经网络结构微调的图像分类方法，其特征在于，所述基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，获取各所述特征图的重要性分数包括：
基于待剪枝神经网络的卷积层中生成各特征图的最小绝对偏差，对每一个卷积层中的特征图进行最大正则化，获取各所述特征图的重要性分数。
4.根据权利要求1所述的基于神经网络结构微调的图像分类方法，其特征在于，所述训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值包括：
基于余弦退火学习率算法，训练所述剪枝结构；
量化所述剪枝结构中各卷积层的权重参数，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值。
5.根据权利要求1所述的基于神经网络结构微调的图像分类方法，其特征在于，所述基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型包括：
若所述损失值小于设定的最大损失值或者所述剪枝结构的迭代次数大于所述最大迭代周期，则输出所述图像分类特征模型；
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则对所述剪枝结构进行迭代微调，并对微调后的所述剪枝结构重新训练量化，直至所述损失值小于所述最大损失值或者所述迭代次数大于所述最大迭代周期。
6.根据权利要求5所述的基于神经网络结构微调的图像分类方法，其特征在于，所述若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则对所述剪枝结构进行微调包括：
若所述损失值大于所述最大损失值且所述迭代次数小于所述最大迭代周期，则计算所述剪枝结构的各卷积层中特征图对应的通道数的微调速度；
基于所述微调速度，更新所述剪枝结构。
7.根据权利要求1所述的基于神经网络结构微调的图像分类方法，其特征在于，所述将待测图像输入所述图像分类特征模型，得到分类结果包括：
将所述待测图像输入所述图像分类特征模型，得到所述分类结果；
基于所述分类结果，获取所述图像分类特征模型的图像分类精度的实际数据。
8.一种基于神经网络结构微调的图像分类装置，用于对特征图进行处理，所述特征图由图像数据集输入神经网络所获得，其特征在于，所述装置包括：
图像训练模块，用于基于所述图像数据集中的训练集，对所述神经网络进行预训练，获取待剪枝神经网络；
数据获取模块，用于基于所述图像数据集中的验证集，获取所述待剪枝神经网络的卷积层各特征图的最小绝对偏差，其中所述最小绝对偏差为生成特征图的图像数据绝对值之和；
结构剪枝模块，基于各所述特征图的最小绝对偏差，确定各所述特征图的剪枝阈值，对所述待剪枝神经网络的特征图进行剪枝，获取剪枝后的剪枝结构；
损失计算模块，用于训练并量化所述剪枝结构，获取量化后的所述剪枝结构相较于所述待剪枝神经网络的图像分类精度的损失值；
模型输出模块，用于基于所述损失值和所述剪枝结构的最大迭代周期，对所述剪枝结构进行迭代微调，输出所述剪枝结构微调后的图像分类特征模型；
模型测试模块，用于将待测图像输入所述图像分类特征模型，得到分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。
CN202310450659.6A 2023-04-25 2023-04-25 基于神经网络结构微调的图像分类方法、装置和存储介质 Pending CN116188878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310450659.6A CN116188878A (zh) 2023-04-25 2023-04-25 基于神经网络结构微调的图像分类方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310450659.6A CN116188878A (zh) 2023-04-25 2023-04-25 基于神经网络结构微调的图像分类方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN116188878A true CN116188878A (zh) 2023-05-30

Family

ID=86449303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310450659.6A Pending CN116188878A (zh) 2023-04-25 2023-04-25 基于神经网络结构微调的图像分类方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN116188878A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958703A (zh) * 2023-08-02 2023-10-27 德智鸿(上海)机器人有限责任公司 一种基于髋臼骨折的识别方法、装置
CN117058525A (zh) * 2023-10-08 2023-11-14 之江实验室 一种模型的训练方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232436A (zh) * 2019-05-08 2019-09-13 华为技术有限公司 卷积神经网络的修剪方法、装置及存储介质
CN114037844A (zh) * 2021-11-18 2022-02-11 西安电子科技大学 基于滤波器特征图的全局秩感知神经网络模型压缩方法
CN115661511A (zh) * 2022-09-30 2023-01-31 西安电子科技大学 通道全局排序指导剪枝和量化联合的神经网络压缩方法
CN116011550A (zh) * 2022-12-22 2023-04-25 际络科技(上海)有限公司 一种模型剪枝方法、图像处理方法及相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232436A (zh) * 2019-05-08 2019-09-13 华为技术有限公司 卷积神经网络的修剪方法、装置及存储介质
CN114037844A (zh) * 2021-11-18 2022-02-11 西安电子科技大学 基于滤波器特征图的全局秩感知神经网络模型压缩方法
CN115661511A (zh) * 2022-09-30 2023-01-31 西安电子科技大学 通道全局排序指导剪枝和量化联合的神经网络压缩方法
CN116011550A (zh) * 2022-12-22 2023-04-25 际络科技(上海)有限公司 一种模型剪枝方法、图像处理方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGFEI CHANG等: "ACP: Automatic channel pruning viaclustering and swarm intelligence optimization for CNN", ARXIV.ORG, pages 5 *
明悦: "《多源视觉信息感知与识别》", pages: 132 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958703A (zh) * 2023-08-02 2023-10-27 德智鸿(上海)机器人有限责任公司 一种基于髋臼骨折的识别方法、装置
CN117058525A (zh) * 2023-10-08 2023-11-14 之江实验室 一种模型的训练方法、装置、存储介质及电子设备
CN117058525B (zh) * 2023-10-08 2024-02-06 之江实验室 一种模型的训练方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111488986B (zh) 一种模型压缩方法、图像处理方法以及装置
US20190171935A1 (en) Robust gradient weight compression schemes for deep learning applications
CN116188878A (zh) 基于神经网络结构微调的图像分类方法、装置和存储介质
JP6950756B2 (ja) ニューラルネットワークのランク最適化装置および最適化方法
CN114241230A (zh) 目标检测模型剪枝方法和目标检测方法
KR20200089588A (ko) 전자 장치 및 이의 제어 방법
CN114677548A (zh) 基于阻变存储器的神经网络图像分类系统及方法
CN112598123A (zh) 神经网络的权值的量化方法、量化装置及存储介质
CN115860100A (zh) 一种神经网络模型训练方法、装置及计算设备
CN115392594B (zh) 一种基于神经网络和特征筛选的用电负荷模型训练方法
CN115905546B (zh) 基于阻变存储器的图卷积网络文献识别装置与方法
CN112418388A (zh) 一种实现深度卷积神经网络处理的方法及装置
CN113378866B (zh) 图像分类方法、系统、存储介质及电子设备
CN113033804B (zh) 一种面向遥感图像的卷积神经网络压缩方法
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
CN115310709A (zh) 一种基于粒子群算法的电力工程项目信息优化方法
CN114638823A (zh) 基于注意力机制序列模型的全切片图像分类方法及装置
CN114155388A (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN113705589A (zh) 数据处理方法、装置及设备
Zhao et al. U-net for satellite image segmentation: Improving the weather forecasting
CN117235584B (zh) 图数据分类方法、装置、电子装置和存储介质
CN112508194B (zh) 模型压缩方法、系统和计算设备
CN115601550B (zh) 模型确定方法、装置、计算机设备及计算机可读存储介质
CN114239684A (zh) 变电站设备异常检测模型优化方法、装置和计算机设备
CN117017277A (zh) 基于光电容积脉搏波的身份识别方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230530

RJ01 Rejection of invention patent application after publication