CN116363428A - 模型微调方法、图像处理方法、装置及电子设备 - Google Patents

模型微调方法、图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN116363428A
CN116363428A CN202310316063.7A CN202310316063A CN116363428A CN 116363428 A CN116363428 A CN 116363428A CN 202310316063 A CN202310316063 A CN 202310316063A CN 116363428 A CN116363428 A CN 116363428A
Authority
CN
China
Prior art keywords
parameters
network block
scaling
target
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310316063.7A
Other languages
English (en)
Inventor
张国生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202310316063.7A priority Critical patent/CN116363428A/zh
Publication of CN116363428A publication Critical patent/CN116363428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种模型微调方法、图像处理方法、装置及电子设备，涉及人工智能技术领域，具体涉及图像处理、图像识别等技术领域。具体实现方案为：获取预训练模型，预训练模型包括多个网络块；基于每个网络块的网络结构，在多个网络块中选择目标网络块，目标网络块为网络块中参数待调整的网络块；基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型，缩放参数为预先学习的用于对网络块中的参数进行缩放的参数，偏置参数为预先学习的用于对网络块中的参数进行偏置的参数，目标模型为用于图像分类的模型。本公开可以提高目标模型进行图像分类的精度和效率。

Description

模型微调方法、图像处理方法、装置及电子设备
技术领域
本公开涉及人工智能技术领域，具体涉及图像处理、图像识别等技术领域，尤其涉及一种模型微调方法、图像处理方法、装置及电子设备。
背景技术
在应用网络模型执行图像分类任务，即对图像进行分类的过程中，为了提高图像分类结果的精度，通常在模型的训练阶段，根据图像分类任务对通过大量无标注的数据训练得到的预训练模型进行微调。
在相关技术中，可以对预训练模型的模型参数进行全量微调，也可以将预训练模型主干网络参数冻结，只微调预训练模型中的全链接层。
发明内容
本公开提供了一种模型微调方法、图像处理方法、装置及电子设备。
根据本公开的一方面，提供了一种模型微调方法，包括：
获取预训练模型，所述预训练模型包括多个网络块；
基于每个网络块的网络结构，在所述多个网络块中选择目标网络块，所述目标网络块为网络块中参数待调整的网络块；
基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型，所述缩放参数为预先学习的用于对网络块中的参数进行缩放的参数，所述偏置参数为预先学习的用于对网络块中的参数进行偏置的参数，所述目标模型为用于图像分类的模型。
根据本公开的一方面，提供了一种图像处理方法，包括：
获取待分类图像；
将所述待分类图像输入至目标模型进行图像分类，得到分类结果，所述目标模型为采用如上所述的模型微调方法得到的目标模型。
根据本公开的一方面，提供了一种模型微调装置，包括：
第一获取模块，用于获取预训练模型，所述预训练模型包括多个网络块；
选择模块，用于基于每个网络块的网络结构，在所述多个网络块中选择目标网络块，所述目标网络块为网络块中参数待调整的网络块；
处理模块，用于基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型，所述缩放参数为预先学习的用于对网络块中的参数进行缩放的参数，所述偏置参数为预先学习的用于对网络块中的参数进行偏置的参数，所述目标模型为用于图像分类的模型。
根据本公开的一方面，提供了一种图像处理装置，包括：
第二获取模块，用于获取待分类图像；
分类模块，用于将所述待分类图像输入至目标模型进行图像分类，得到分类结果，所述目标模型为采用如上所述的模型微调方法得到的目标模型。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的模型微调方法，或者执行本公开提供的图像处理方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开提供的模型微调方法，或者执行本公开提供的图像处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的模型微调方法，或者执行本公开提供的图像处理方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开提供的一种模型微调方法的流程示意图；
图2是本公开提供的一种网络块的结构示意图；
图3是本公开提供的一种图像处理方法的流程示意图；
图4是本公开提供的模型微调装置的结构图；
图5是本公开提供的图像处理装置的结构图；
图6是用来实现本公开实施例的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
请参见图1，图1是本公开提供的一种模型微调方法的流程图，如图1所示，包括以下步骤：
步骤S101，获取预训练模型。
需要说明的是，模型的训练过程包括预训练过程和模型微调过程，在预训练过程中，通过大量无标注的数据对模型进行训练，得到预训练模型；对预训练模型进行微调，得到训练完成的模型。
上述预训练模型可以是预先训练的图像分类模型，例如，预先训练的Transformer模型，Bert模型或其他模型，在此不做具体限定。其中，上述预训练模型包括多个网络块(Block)，上述网络块是指用于构建网络的基本结构，且网络块可以理解为是对预训练模型包括的多个网络层的抽象的概率。
步骤S102，基于每个网络块的网络结构，在多个网络块中选择目标网络块。
应理解，网络块由多个网络层构成，上述网络层包括但不限于归一化层、卷积层和池化层等。本步骤中，可以根据每个网络块的网络结构，在预训练模型包括的多个网络块中选择目标网络块，具体的实施方式，请参阅后续实施例。
其中，目标网络块为网络块中参数待调整的网络块。
步骤S103，基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型。
上述缩放参数为预先学习的用于对网络块中的参数进行缩放操作的参数，上述偏置参数为预先学习的用于对网络块中的参数进行偏置操作的参数。可选地，上述可学习的缩放参数可以表示为α，上述可学习的偏置参数可以表示为β。
应理解，上述缩放参数α和偏置参数β可以通过梯度优化更新，具体而言，在模型的每次训练过程中，计算得到一个损失函数，进而根据损失函数对模型进行随机梯度下降(Stochastic Gradient Descent，SGD)，实现模型的优化，在模型优化的过程中，更新上述缩放参数α和偏置参数β。
本步骤中，上述目标网络块可以是预训练模型中的一个网络块，或者是预训练模型中的部分网络块，或者是预训练模型中的全部网络块。
一种可能存在的情况为，目标网络块是预训练模型中的一个网络块，这种情况下，基于可学习的缩放参数对目标网络块的参数进行缩放操作，以及基于可学习的偏置参数，对目标网络块的参数进行偏置操作，从而实现预训练模型的微调，得到目标模型。其中，上述对目标网络块的参数进行缩放和偏置的目的在于对目标网络块输入的向量进行缩放和偏置，对输入向量的特征分布进行调整，从而实现由预训练模型向下游任务的高效迁移。
另一种可能存在的情况为，目标网络块是预训练模型中的多个网络块，这种情况下，基于可学习的缩放参数对每个目标网络块的参数进行缩放操作，以及基于可学习的偏置参数对每个目标网络块的参数进行偏置操作，从而实现预训练模型的微调，得到目标模型。
应理解，可以将一个缩放参数和一个偏置参数抽象为特征缩放模块。基于缩放参数目标网络块的参数进行缩放操作，以及基于偏置参数对目标网络块的参数进行偏置操作的过程，可以理解为，在目标网络块中插入特征缩放模块，通过对目标网络块的参数进行缩放操作和偏置操作，调整目标网络块的输出，从而实现预训练模型的微调。可选地，上述缩放参数的初始化数值可以为1，上述偏置参数的初始化数值可以为0。
可选地，上述目标模型为用于图像分类的模型，例如，Transformer模型和Bert模型。
本公开提供的模型微调方法，基于预训练模型中每个网络块的网络结构，在多个网络块中选择目标网络块；设置有预先学习的缩放参数和偏置参数，通过缩放参数对目标网络块的参数进行缩放操作，以及通过偏置参数对目标网络块的参数进行偏置操作，得到目标模型，以此实现对预训练模型的微调。由于本公开提供的模型微调方法不会改变预训练模型原本的网络结构以及增加模型参数，因此，在后续应用目标模型进行图像分类的过程中，没有增加模型的占用内存以及推理时间，进而提高图像分类的精度和效率。
可选地，所述基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，包括：
通过所述缩放参数对所述目标网络块的权重参数进行缩放操作，以及；
通过所述缩放参数对所述目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过所述偏置参数对所述缩放偏差参数进行偏置操作。
本实施例提供的目标网络块包括权重参数和偏差参数，上述权重参数可以表示为w，上述偏差参数可以表示为b，应理解，上述权重参数w和偏差参数b为预训练模型本身具有的模型参数。
本实施例中，可以通过缩放参数对目标网络块的权重参数进行缩放操作，以及通过缩放参数对目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过偏置参数对缩放偏差参数进行偏置操作，以此实现对目标网络块中权重参数和偏差参数的调整。
本实施例中，通过缩放参数和偏置参数对目标网络块输入的向量执行线性操作，而不是在模型微调的过程中增加模型参数。进而在后续模型推理阶段，即应用微调后的目标模型进行图像分类的阶段，没有增加模型的占用内存以及推理时间，进而提高了图像分类的精度和效率。
可选地，所述通过所述缩放参数对所述目标网络块的权重参数进行缩放操作，包括：
将所述目标网络块的权重参数与所述缩放参数之间的第一乘法结果，确定为所述目标网络块调整后的权重参数。
本实施例中，可以通过以下公式(1)表示调整后的权重参数。
Figure BDA0004155927270000061
其中，w1表示目标网络块调整后的权重参数，w表示目标网络块的权重参数，α表示缩放参数，⊙表示点乘操作。
本实施例中，通过缩放参数对目标网络块的权重参数进行缩放操作，将缩放参数α合并至目标网络块包括的权重参数w中，实现模型的重参数化，确保在模型微调的过程中，不增加额外的模型参数。
可选地，所述通过所述缩放参数对所述目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过所述偏置参数对所述偏差参数进行偏置操作，包括：
将所述目标网络块的偏差参数与所述权重参数之间的乘积，确定为第二乘法结果；
将第二乘法结果与所述偏置参数的和值，确定为所述目标网络块调整后的偏差参数。
本实施例中，可以通过以下公式(2)表示调整后的偏差参数。
Figure BDA0004155927270000062
其中，b1表示目标网络块调整后的偏差参数，b表示目标网络块的偏差参数，α表示缩放参数，β表示偏置参数，α⊙b表示缩放偏差参数。
本实施例中，通过缩放参数对目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过偏置参数对偏差参数进行偏置操作，以此将缩放参数α和偏置参数β合并至目标网络块包括的偏差参数b中，实现模型的重参数化，确保在模型微调的过程中，不增加额外的模型参数。
可选地，所述多个网络块包括多个卷积层，所述在所述多个网络块中选择目标网络块，包括：
基于神经结构搜索技术对每个网络块的网络结构进行性能评估，按照性能从高到低的排序，从所述多个网络块包括的多个卷积层中选择目标卷积层；
将包括所述目标卷积层的网络块确定为目标网络块。
本实施例中，每个网络块包括多个卷积层，可以基于神经结构搜索(NeuarlArchitecture Search，NAS)技术对每个网络块包括的卷积层进行性能评估，确定目标卷积层。
神经结构搜索技术的应用原理为：给定一个神经网络结构集合，上述集合又称为搜索空间，应用搜索策略从搜索空间中搜索出网络结构，并应用性能评估策略对上述网络结构进行评估，进而按照性能从高到低的排序，从神经网络结构集合中选择性能较高的神经网络结构。
本实施例中，一种可选地实施方式为，搜索空间包括预训练模型中多个网络块包括的多个卷积层，搜索策略为强化学习，性能评估策略为图像分类任务的分类精度。这种实施方式下，应用强化学习的搜索策略从搜索空间中搜索得到卷积层，并应用上述性能评估策略对该卷积层的性能进行评估，在对搜索空间包括的至少部分卷积层进行性能评估之后，按照性能从高到低的排序，从多个卷积层中选择目标卷积层，进而将包括目标卷积层的网络块确定为目标网络块。
本实施例中，基于神经结构搜索(Neuarl Architecture Search，NAS)技术对每个网络块包括的卷积层进行性能评估，确定目标卷积层。后续通过对目标卷积层的参数进行缩放和偏置，不需要对预训练模型原本的网络结构进行改变，在应用目标模型进行图像分类的过程中，没有增加模型的占用内存以及推理时间，提高了图像分类的精度和效率。
如上所述，可以将一个缩放参数和一个偏置参数抽象为特征缩放模块。需要说明的是。上述基于缩放参数和偏置参数，对目标网络块的参数进行缩放和偏置的步骤可以理解为，在目标网络块的卷积层之后插入特征缩放模块，调整卷积层的输出，实现对于模型的微调。
具体而言，上述基于缩放参数和偏置参数，对目标网络块的参数进行缩放操作和偏置操作的步骤也可以通过以下公式(3)表示。
y＝α⊙x+β＝α⊙(w*x+b)+β＝(α⊙w)*x+(α⊙b+β) (3)
其中，x表示目标网络块的输入，y表示目标网络块的输出，w表示目标网络块的权重参数，α表示缩放参数，⊙表示点乘操作，b表示目标网络块的偏差参数，β表示偏置参数，*表示操作方式，例如，当特征缩放模块插入在多头注意力层之后时，上述操作方式为卷积操作，又例如，当特征缩放模块插入在多层感知机层之后时，上述操作方式为多层感知机操作。
可选地，所述目标卷积层的数量为所述多个卷积层的数量与预设的微调系数之间的乘积。
本实施例中，预先设置有微调系数，上述微调系数可以表示为δ，其中，上述微调系数大于或等于0且小于或等于1，微调系数的具体数值可以根据下游任务的难度进行自定义设置，应理解，在预训练模型为图像分类模型的情况下，该预训练模型的下游任务为图像分类任务。
如上所述，可以将一个缩放参数和一个偏置参数抽象为特征缩放模块，上述基于缩放参数和偏置参数，对目标网络块的参数进行缩放和偏置的步骤可以理解为，在目标网络块的卷积层之后插入特征缩放模块。应理解，上述微调系数也可以表示在预训练模型中插入的特征缩放模块的数量，当微调系数为0时，表示不插入特征缩放模块，即不使用缩放参数和偏置参数调整模型参数；当微调系数为1时，表示在所有的卷积层之后均插入特征缩放模块。
本实施例中，通过预先设置的微调系数，可以根据下游任务的实际难度自定义要调整的卷积层的数量，从而构造出符合实际下游任务情况的微调模型结构。
可选地，所述卷积层包括多头注意力层和多层感知机层中的至少一种。
需要说明的是，上述卷积层包括多头注意力层(Multi-head Attention)和多层感知机层(Multi Layer Perceptron，MLP)中的至少一种。
为便于理解，请参阅图2，图2是本公开提供的一种网络块的结构示意图。图2示出的网络块包括2个归一化层、1个多头注意力层和1个多层感知机层。其中，特征缩放模块可插入在多头注意力层之后，和/或，插入在多层感知机层之后。
在一可选地应用场景中，特征缩放模块可以插入在多头注意力层和多层感知机层之后，图2示出的网络块的输入向量的尺寸可以表示为N×d，其中，N表示令牌(token)数量，d表示token特征维度。
本实施例中，在模型微调的过程中，通过可学习的缩放参数和可学习的偏置参数，调整卷积层的输出，从而实现预训练模型向下游任务的高效迁移。
本公开提供的模型微调方法，基于预训练模型中每个网络块的网络结构，在多个网络块中选择目标网络块；设置有预先学习的缩放参数和偏置参数，通过缩放参数对目标网络块的参数进行缩放操作，以及通过偏置参数对目标网络块的参数进行偏置操作，得到目标模型，以此实现对预训练模型的微调。由于本公开提供的模型微调方法不会改变预训练模型原本的网络结构以及增加模型参数，因此，在后续应用目标模型进行图像分类的过程中，没有增加模型的占用内存以及推理时间，进而提高图像分类的精度和效率。
请参见图3，图3是本公开提供的一种图像处理方法的流程图，如图3所示，包括以下步骤：
步骤301，获取待分类图像。
本步骤中，可以从预先设置的数据库中获取待分类图像，或者获取另一终端传输的待分类图像，或者通过其他方式获取待分类图像，在此不做具体限定。
步骤302，将所述待分类图像输入至目标模型进行图像分类，得到分类结果。
上述目标模型为采用上述模型微调方法获得的目标模型。
本步骤中，将待分类图像输入至目标模型进行图像分类，获得待分类图像的分类结果，上述分类结果表征待分类图像的图像类别。
本公开提供的图像处理方法，应用目标模型对待分类图像进行图像分类，上述目标模型的模型微调过程未改变模型原本的网络结构以及增加模型参数，因此，在应用目标模型进行图像分类的过程中，没有增加模型的占用内存以及推理时间，进而提高了图像分类的精度和效率。
请参见图4，图4是本公开提供的一种模型微调装置，如图4所示，模型微调装置400包括：
第一获取模块401，用于获取预训练模型，所述预训练模型包括多个网络块；
选择模块402，用于基于每个网络块的网络结构，在所述多个网络块中选择目标网络块，所述目标网络块为网络块中参数待调整的网络块；
处理模块403，用于基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型，所述缩放参数为预先学习的用于对网络块中的参数进行缩放的参数，所述偏置参数为预先学习的用于对网络块中的参数进行偏置的参数，所述目标模型为用于图像分类的模型。
一个实施例中，所述处理模块403，具体用于：
通过所述缩放参数对所述目标网络块的权重参数进行缩放操作，以及；
通过所述缩放参数对所述目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过所述偏置参数对所述缩放偏差参数进行偏置操作。
一个实施例中，所述处理模块403，还具体用于：
将所述目标网络块的权重参数与所述缩放参数之间的第一乘法结果，确定为所述目标网络块调整后的权重参数。
一个实施例中，所述处理模块403，还具体用于：
将所述目标网络块的偏差参数与所述权重参数之间的乘积，确定为第二乘法结果；
将第二乘法结果与所述偏置参数的和值，确定为所述目标网络块调整后的偏差参数。
一个实施例中，所述多个网络块包括多个卷积层，所述选择模块402，具体用于：
基于神经结构搜索技术对每个网络块的网络结构进行性能评估，按照性能从高到低的排序，从所述多个网络块包括的多个卷积层中选择目标卷积层；
将包括所述目标卷积层的网络块确定为目标网络块。
一个实施例中，所述目标卷积层的数量为所述所述多个卷积层的数量与预设的微调系数之间的乘积。
一个实施例中，所述卷积层包括多头注意力层和多层感知机层中的至少一种。
本公开提供的模型微调装置能够实现本公开提供的模型微调方法实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
请参见图5，图5是本公开提供的一种图像处理装置，如图5所示，图像处理装置500包括：
第二获取模块501，用于获取待分类图像；
分类模块502，用于将所述待分类图像输入至目标模型进行图像分类，得到分类结果。
本公开提供的图像处理装置能够实现本公开提供的图像处理方法实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
其中，上述电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的模型微调方法，或者执行本公开提供的图像处理方法。
上述可读存储介质存储有计算机指令，其中，所述计算机指令用于使所述计算机执行本公开提供的模型微调方法，或者执行本公开提供的图像处理方法。
上述计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的模型微调方法，或者执行本公开提供的图像处理方法。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网格和/或各种电信网格与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如舆情信息匹配方法。例如，在一些实施例中，舆情信息匹配方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的舆情信息匹配方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行舆情信息匹配方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网格浏览器的用户计算机，用户可以通过该图形用户界面或者该网格浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网格)来将系统的部件相互连接。通信网格的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网格进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种模型微调方法，包括：
获取预训练模型，所述预训练模型包括多个网络块；
基于每个网络块的网络结构，在所述多个网络块中选择目标网络块，所述目标网络块为网络块中参数待调整的网络块；
基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型，所述缩放参数为预先学习的用于对网络块中的参数进行缩放的参数，所述偏置参数为预先学习的用于对网络块中的参数进行偏置的参数，所述目标模型为用于图像分类的模型。
2.根据权利要求1所述的方法，其中，所述基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，包括：
通过所述缩放参数对所述目标网络块的权重参数进行缩放操作，以及；
通过所述缩放参数对所述目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过所述偏置参数对所述缩放偏差参数进行偏置操作。
3.根据权利要求2所述的方法，其中，所述通过所述缩放参数对所述目标网络块的权重参数进行缩放操作，包括：
将所述目标网络块的权重参数与所述缩放参数之间的第一乘法结果，确定为所述目标网络块调整后的权重参数。
4.根据权利要求2所述的方法，其中，所述通过所述缩放参数对所述目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过所述偏置参数对所述偏差参数进行偏置操作，包括：
将所述目标网络块的偏差参数与所述权重参数之间的乘积，确定为第二乘法结果；
将第二乘法结果与所述偏置参数的和值，确定为所述目标网络块调整后的偏差参数。
5.根据权利要求1所述的方法，其中，所述多个网络块包括多个卷积层，所述在所述多个网络块中选择目标网络块，包括：
基于神经结构搜索技术对每个网络块的网络结构进行性能评估，按照性能从高到低的排序，从所述多个网络块包括的多个卷积层中选择目标卷积层；
将包括所述目标卷积层的网络块确定为目标网络块。
6.根据权利要求5所述的方法，其中，所述目标卷积层的数量为所述多个卷积层的数量与预设的微调系数之间的乘积。
7.根据权利要求5所述的方法，其中，所述卷积层包括多头注意力层和多层感知机层中的至少一种。
8.一种图像处理方法，包括：
获取待分类图像；
将所述待分类图像输入至目标模型进行图像分类，得到分类结果，所述目标模型为采用如权利要求1-7中任一项所述模型微调方法得到的目标模型。
9.一种模型微调装置，包括：
第一获取模块，用于获取预训练模型，所述预训练模型包括多个网络块；
选择模块，用于基于每个网络块的网络结构，在所述多个网络块中选择目标网络块，所述目标网络块为网络块中参数待调整的网络块；
处理模块，用于基于缩放参数对所述目标网络块的参数进行缩放操作，以及基于偏置参数对所述目标网络块的参数进行偏置操作，得到目标模型，所述缩放参数为预先学习的用于对网络块中的参数进行缩放的参数，所述偏置参数为预先学习的用于对网络块中的参数进行偏置的参数，所述目标模型为用于图像分类的模型。
10.根据权利要求9所述的装置，其中，所述处理模块，具体用于：
通过所述缩放参数对所述目标网络块的权重参数进行缩放操作，以及；
通过所述缩放参数对所述目标网络块的偏差参数进行缩放操作，得到缩放偏差参数，通过所述偏置参数对所述缩放偏差参数进行偏置操作。
11.根据权利要求10所述的装置，其中，所述处理模块，还具体用于：
将所述目标网络块的权重参数与所述缩放参数之间的第一乘法结果，确定为所述目标网络块调整后的权重参数。
12.根据权利要求10所述的装置，其中，所述处理模块，还具体用于：
将所述目标网络块的偏差参数与所述权重参数之间的乘积，确定为第二乘法结果；
将第二乘法结果与所述偏置参数的和值，确定为所述目标网络块调整后的偏差参数。
13.根据权利要求9所述的装置，其中，所述多个网络块包括多个卷积层，所述选择模块，具体用于：
基于神经结构搜索技术对每个网络块的网络结构进行性能评估，按照性能从高到低的排序，从所述多个网络块包括的多个卷积层中选择目标卷积层；
将包括所述目标卷积层的网络块确定为目标网络块。
14.根据权利要求13所述的装置，其中，所述目标卷积层的数量为所述多个卷积层的数量与预设的微调系数之间的乘积。
15.根据权利要求13所述的装置，其中，所述卷积层包括多头注意力层和多层感知机层中的至少一种。
16.一种图像处理装置，包括：
第二获取模块，用于获取待分类图像；
分类模块，用于将所述待分类图像输入至目标模型进行图像分类，得到分类结果，所述目标模型为采用如权利要求1-7中任一项所述模型微调方法得到的目标模型。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法，或者执行权利要求8所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法，或者执行权利要求8所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法，或者执行权利要求8所述的方法。
CN202310316063.7A 2023-03-28 2023-03-28 模型微调方法、图像处理方法、装置及电子设备 Pending CN116363428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310316063.7A CN116363428A (zh) 2023-03-28 2023-03-28 模型微调方法、图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310316063.7A CN116363428A (zh) 2023-03-28 2023-03-28 模型微调方法、图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116363428A true CN116363428A (zh) 2023-06-30

Family

ID=86936105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310316063.7A Pending CN116363428A (zh) 2023-03-28 2023-03-28 模型微调方法、图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116363428A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200210837A1 (en) * 2018-12-29 2020-07-02 Cambricon Technologies Corporation Limited Network structure processing method and device and related products
CN114998648A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于梯度架构搜索的表现预测压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200210837A1 (en) * 2018-12-29 2020-07-02 Cambricon Technologies Corporation Limited Network structure processing method and device and related products
CN114998648A (zh) * 2022-05-16 2022-09-02 电子科技大学 一种基于梯度架构搜索的表现预测压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIAN D, ZHOU D, FENG J, ET AL.: "Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 30 November 2022 (2022-11-30), pages 109 - 123 *

Similar Documents

Publication Publication Date Title
US20220147877A1 (en) System and method for automatic building of learning machines using learning machines
US20230206024A1 (en) Resource allocation method, resource allocation apparatus, device, medium and computer program produ
CN115456167B (zh) 轻量级模型训练方法、图像处理方法、装置及电子设备
CN112580733A (zh) 分类模型的训练方法、装置、设备以及存储介质
CN115147680B (zh) 目标检测模型的预训练方法、装置以及设备
CN113902010A (zh) 分类模型的训练方法和图像分类方法、装置、设备和介质
CN115222046A (zh) 神经网络结构搜索方法、装置、电子设备及存储介质
CN113642654B (zh) 图像特征的融合方法、装置、电子设备和存储介质
CN113516185B (zh) 模型训练的方法、装置、电子设备及存储介质
CN116363428A (zh) 模型微调方法、图像处理方法、装置及电子设备
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN113313049A (zh) 超参数的确定方法、装置、设备、存储介质以及计算机程序产品
CN115578583B (zh) 图像处理方法、装置、电子设备和存储介质
CN115936094B (zh) 文本处理模型的训练方法、装置、电子设备和存储介质
CN112507197B (zh) 模型搜索方法、装置、电子设备、存储介质和程序产品
CN115878783B (zh) 文本处理方法、深度学习模型训练方法以及样本生成方法
CN115018009B (zh) 对象描述方法、网络模型的训练方法及装置
CN115860077B (zh) 状态数据的处理方法、装置、设备以及存储介质
CN114494818B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN116151215B (zh) 文本处理方法、深度学习模型训练方法、装置以及设备
CN113362428B (zh) 用于配置颜色的方法、装置、设备、介质和产品
CN116416500B (zh) 图像识别模型训练方法、图像识别方法、装置及电子设备
CN115965070B (zh) 计算图处理方法、装置、设备、存储介质以及程序产品
CN115482422B (zh) 深度学习模型的训练方法、图像处理方法和装置
CN112528123A (zh) 模型搜索方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination