CN114972877A - 一种图像分类模型训练方法、装置及电子设备 - Google Patents

一种图像分类模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN114972877A
CN114972877A CN202210658888.2A CN202210658888A CN114972877A CN 114972877 A CN114972877 A CN 114972877A CN 202210658888 A CN202210658888 A CN 202210658888A CN 114972877 A CN114972877 A CN 114972877A
Authority
CN
China
Prior art keywords
network model
backbone network
image
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210658888.2A
Other languages
English (en)
Other versions
CN114972877B (zh
Inventor
魏胜禹
崔程
郭若愚
郜廷权
吕健
周颖
杜宇宁
吕雪莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210658888.2A priority Critical patent/CN114972877B/zh
Publication of CN114972877A publication Critical patent/CN114972877A/zh
Application granted granted Critical
Publication of CN114972877B publication Critical patent/CN114972877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像分类模型训练方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习和计算机视觉技术领域。具体实现方案为：获取目标图像样本集；将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率；基于所述第一分类概率和所述第二分类概率确定损失函数；基于所述损失函数调整所述目标骨干网络模型的参数；其中，所述目标骨干网络模型用于确定输入至所述目标骨干网络模型的图像的类别，所述目标骨干网络模型的初始参数基于第二学生模型确定。

Description

一种图像分类模型训练方法、装置及电子设备
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习和计算机视觉技术领域的图像分类模型训练方法、装置及电子设备。
背景技术
在基于深度学习的计算机视觉任务中，如图像分类等均需要工作人员根据不同的场景和任务，对图像处理模型的参数进行调整，导致图像分类的效率低；因此，提高图像分类的效率是计算机视觉领域一直追求的目标。
发明内容
本公开提供了一种图像分类模型训练方法、装置及电子设备。
根据本公开的第一方面，提供了一种图像分类模型训练方法，包括：
获取目标图像样本集；
将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率；
基于所述第一分类概率和所述第二分类概率确定损失函数；
基于所述损失函数调整所述目标骨干网络模型的参数；
其中，所述目标骨干网络模型用于确定输入至所述目标骨干网络模型的图像的类别，所述目标骨干网络模型的初始参数基于第二学生模型确定。
根据本公开的第二方面，提供了一种图像分类模型训练装置，所述图像分类模型训练装置包括：
样本集获取模块，用于获取目标图像样本集；
分类概率确定模块，用于将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率；
损失函数确定模块，用于基于所述第一分类概率和所述第二分类概率确定损失函数；
模型训练模块，用于基于所述损失函数调整所述目标骨干网络模型的参数；
其中，所述目标骨干网络模型用于确定输入至所述目标骨干网络模型的图像的类别，所述目标骨干网络模型的初始参数基于第二学生模型确定。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像分类模型训练方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的图像分类模型训练方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据上述的图像分类模型训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的图像分类模型训练方法的一种可选处理流程示意图；
图2是本公开实施例提供的获取目标图像样本集的一种可选处理流程示意图；
图3是本公开实施例提供的初始图像样本的示意图；
图4是本公开实施例提供的对初始图像样本进行图像剪裁得到的图像样本示意图；
图5是本公开实施例提供的对剪裁得到的图像样本进行图像变换得到的图像样本示意图；
图6是本公开实施例提供的对剪裁得到的图像样本进行数据增强得到的图像样本示意图；
图7是本公开实施例提供的对剪裁得到的图像样本进行图像擦除得到的图像样本示意图；
图8是本公开实施例提供的图像分类模型训练方法的一种可选详细处理流程示意图；
图9是本公开实施例提供的训练第二学生模型的一种可选处理流程示意图；
图10是本公开实施例提供的确定目标骨干网络模型的一种可选处理流程示意图；
图11是本公开实施例提供的图像分类模型训练方法的整体流程示意图；
图12是本公开实施例提供的图像分类模型训练装置的组成结构示意图；
图13是用来实现本公开实施例的图像分类模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
在对本公开实施例进行详细描述之前，对本公开涉及的相关名词进行说明。
1)人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的及其模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。机器学习(Machine Learning，ML)是人工智能的核心，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
2)知识蒸馏，是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。大模型称之为教师模型(teacher)，小模型称之为学生模型(Student)。来自教师模型输出的监督信息称之为知识(knowledge)，而学生模型学习迁移来自教师模型的监督信息的过程称之为蒸馏(Distillation)。
3)骨干网络，也称为backbone，用于特征提取，骨干网络为基于大型数据集(例如ImageNet|COCO等)上完成预训练的网络，拥有预训练参数的卷积神经网络，例如：ResNet-50、Darknet53等。
4)损失函数，用来度量模型的预测值与真实值的差异程度的运算函数，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。
图1是本公开提供的图像分类模型训练方法的一种可选处理流程示意图，图像分类模型训练方法至少可以包括以下步骤：
步骤S101，获取目标图像样本集。
在一些可选实施例中，目标图像样本集用于对目标骨干网络模型进行训练，目标图像样本集中包括至少一张图像。目标图像样本集中的各目标图像样本包括带标注的图像样本和不带标注的图像样本；其中，带标注的图像样本中标注了图像样本所对应的图像类别；如图像样本对应的图像类别为美食、或景物、或建筑物、或人物等。
步骤S102，将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率。
在一些可选实施例中，输入目标骨干网络模型的图像样本与输入第一教师模型的图像样本完全相同。
在一些可选实施例中，目标骨干网络模型的初始参数基于第二学生模型确定，第二学生模型基于第二教师模型蒸馏训练得到。如此，使得目标骨干网络模型针对各种图像分类任务都具有优良的分类精度。
在一些可选实施例中，目标骨干网络模型可以使用PP-LCNet作为基础模型，是针对CPU优化的轻量级骨干网络模型，具有很强的鲁棒性。在CPU上运行目标骨干网络模型，使得目标骨干网络模型具有更高的预测精度和预测效率。
在一些可选实施例中，第一教师模型可以预先利用标注样本集对分类神经网络模型进行有监督训练得到。
步骤S103，基于所述第一分类概率和所述第二分类概率确定损失函数。
在一些可选实施例中，损失函数可以表征第一分类概率和第二分类概率之间的差异。
步骤S104，基于所述损失函数调整所述目标骨干网络模型的参数。
在一些可选实施例中，可以基于梯度下降对损失函数进行反向传播，以调整目标骨干网络模型的参数。
在具体实施时，对于每轮迭代训练，可以先确定在该轮迭代训练中计算出的损失函数是否最小化。若损失函数最小化，则表征目标骨干网络模型收敛，目标骨干网络模型训练结束。若损失函数非最小化，则表征目标骨干网络模型尚未上收敛，可基于梯度下降对损失函数进行反向传播，调整目标骨干网络模型的参数，进行下一轮的迭代训练。需要说明的是，迭代训练的轮数越多，训练得到的目标骨干网络模型对图像分类的准确度越高。
在一些可选实施例中，训练完成的目标骨干网络模型能够对输入至目标骨干网络模型的图像进行分类，以确定图像的类别。
下面分别对图1所示的图像分类模型训练方法中的各步骤进行详细说明。
针对步骤S101，获取目标图像样本集的一种可选处理流程，如图2所示，至少可以包括以下步骤：
步骤S201，获取初始图像样本集。
在一些实施例中，初始图像样本集可采用现有的图像集，例如ImageNet-1k图像数据集，也可以是从现有图像中收集的、包括一定数量图像的图像集。初始图像样本集中包括至少一张图像。初始图像样本集中的各初始图像样本包括带标注的图像样本和不带标注的图像样本；其中，带标注的图像样本中标注了图像样本所对应的图像类别；如图像样本对应的图像类别为美食、或景物、或建筑物、或人物等。
步骤S202，对所述初始图像样本集中的各初始图像样本进行数据增强处理，得到候选图像样本集。
在一些可选实施例中，对所述初始图像样本集中的各初始图像样本进行数据增强处理，可以包括：对所述初始图像样本集中的各初始图像样本执行下述至少一种处理：图像变换、图像剪裁、图像擦除和图像混叠。
在一些可选实施例中，针对如图3所示的初始图像样本，可以对初始图像样本进行图像剪裁(RandomCrop)，得到如图4所示的图像样本。可以针对图4所示的图像样本进行图像变换(RandomFlip)，得到图5所示的图像样本；其中，图像变换也可以称为图像翻转。还可以针对图4所示的图像样本进行数据增强(AutoAugment)，得到如图6所示的图像样本。还可以针对图4所示的图像样本进行图像擦除，得到如图7所示的图像样本。在具体实施时，针对图4所示的图像进行图像变换、或数据增强的概率可根据实际的应用场景灵活设置。上述仅以对初始图像样本进行图像剪裁和图像变换，图像剪裁和数据增强，图像剪裁和图像擦除三种组合处理方式为例进行说明；在具体实施时，可以对初始图像样本采用图像剪裁、图像变换、图像擦除和图像混叠中的任意一种、或多种组合的方式进行处理。其中，图像混叠是将两个或两个以上的图像按照上下关系部分重叠处理。
步骤S203，确定所述初始图像样本集以及所述候选图像样本集构成的图像样本集合为所述目标图像样本集。
在一些可选实施例中，目标图像样本集包括初始图像样本集和候选图像样本集。
本公开实施例中，通过对初始图像样本集中的图像样本进行数据增强处理，能够增加目标骨干网络模型的鲁棒性。
针对步骤S102，将目标图像样本集中的每个图像样本分别输入目标骨干网络模型和第一教师模型，得到目标骨干网络模型和第一教师模型针对同一个图像样本输出的第一分类概率和第二分类概率。
在一些可选实施例中，第一教师模型和目标骨干网络模型分别对应知识蒸馏技术中的教师模型和学生模型。
针对步骤S103，在一些可选实施例中，损失函数可以是交叉熵损失函数、或感知损失函数、或其他任意类型的损失函数，采用的学习率可以是余弦下降策略，采用的优化器可以是动量梯度下降优化器。
由于目标骨干网络模型为轻量级模型，轻量级模型虽然具有数据处理速度快的优点，但是，轻量级模型的参数量和计算量远不及大模型，通过步骤S102至步骤S104所采用的知识蒸馏方案，使得轻量级模型在保持高速的处理速度的同时，具有与大模型相似的精度。
本公开提供的图像分类模型训练方法的一种可选详细处理流程示意图，如图8所示，至少可以包括以下步骤：
步骤S301，训练第二学生模型。
在一些可选实施例中，训练第二学生模型的一种可选处理流程，如图9所示，至少可以包括以下步骤：
步骤S301a，获取第一图像样本集。
在一些实施例中，第一图像样本集可采用现有的图像集，例如ImageNet-1k图像数据集，也可以是从现有图像中收集的、包括一定数量图像的图像集。
步骤S301b，将所述第一图像样本集中的各图像分别输入第二教师模型，得到所述第二教师模型输出的图像类别分布概率。
在一些可选实施例中，第二教师模型可以预先利用标注样本集对分类神经网络模型进行有监督训练得到；因此，第二教师模型具备确定输入至第二教师模型的图像的图像类别分布概率的性能。
在一些实施例中，可以包括多种图像类别，针对输入至第二教师模型的图像，第二教师模型能够输出图像类别分布概率，该图像类别分布概率能够表征该图像属于每种图像类别的概率。
步骤S301c，将所述第一图像样本集中的各图像作为所述第二学生模型的输入，将所述图像类别分布概率作为所述第二学生模型的输出，训练所述第二学生模型。
在一些可选实施例中，第二学生模型可以为任意用于分类的神经网络模型；第二学生模型可以是预先训练的神经网络模型，也可以是未经训练的、初始的神经网络模型。第二学生模型与第二教师模型相比，模型的复杂度更低、模型更精简。
本公开实施例中，将第二教师模型输出的图像类别分布概率作为对应的图像的标签，无需关注图像的真实标签，对第二学生模型进行有监督训练，使得训练第二学生模型的过程不依赖标注样本，能够充分利用无标注样本提高第二学生模型的精度，降低图像分类中的样本标注成本。
本公开实施例中，由于图像类别分布概率中还可以包括不同类别之间关系的信息，利用类别分布概率代替图像的真实标签，能够提高训练第二学生模型的精度。
步骤S302，确定目标骨干网络模型。
在一些可选实施例中，确定目标骨干网络模型的一种可选处理流程，如图10所示，至少可以包括以下步骤：
步骤S302a，获取第二图像样本集、预测图像样本集以及初始骨干网络模型集合。
在一些可选实施例中，第二图像样本集用于对初始骨干网络模型集合中的初始骨干网络模型进行训练，第二图像集中包括至少一张图像。第二图像样本集可采用现有的图像集，例如ImageNet-1k图像数据集，也可以是从现有图像中收集的、包括一定数量图像的图像集，本实施例对此不做具体限定。预测图像样本集中包括至少一张图像，训练完成的骨干网络模型可以对预测图像样本集中的图像进行预测。且初始骨干网络模型集合中包括至少一个初始骨干网络模型，初始骨干网络模型可以是现有的骨干网络模型，也可以是通过训练得到的骨干网络模型，本实施例中对此不做具体限定。
步骤S302b，针对所述初始骨干网络模型集合中的每个初始骨干网络模型，利用所述第二图像样本集和所述预测图像样本集对所述初始骨干网络模型进行训练和图像分类预测，得到训练完成的初始骨干网络模型在图像分类预测过程中的预测耗时与预测精度。
在一些实施例中，使用第二图像样本集对初始骨干网络模型进行训练，从而得到训练完成的骨干网络模型；然后再使用上述训练完成的骨干模型对预测图像样本集中的图像进行预测，从而得到训练完成的骨干网络模型在预测过程中的预测耗时与预测精度。由于预测图像样本集中可以包括至少一张图像，在预测图像样本集中只包含一张图像的情况下，使用训练完成的骨干网络模型对上述图像进行预测时所用的耗时以及预测结果的精度，作为训练完成的骨干网络模型在预测过程中的预测耗时与预测精度；而在预测图像样本集中包含多张图像的情况下，记录使用训练完成的骨干网络模型对上述每张图像进行预测时所用的预测耗时以及预测结果的精度，然后分别对所有图像的预测耗时以及对所有图像的预测精度取平均值，并将该结果作为训练完成的骨干网络模型在预测过程中的预测耗时与预测精度。
步骤S302c，基于各个训练完成的初始骨干网络模型在图像分类预测过程中的预测耗时与预测精度，确定基础骨干网络模型。
在一些可选实施例中，基础骨干网络模型即为上述训练完成的骨干网络模型中预测耗时小且预测精度高的骨干网络模型，也即初始骨干网络模型集合中效果最好的骨干网络模型。
在一些可选实施例中，预测耗时越小、预测精度越高的骨干网络模型越好；或者预测耗时相同时，预测精度越高的骨干网络模型越好；或者预测精度相同时，预测耗时越小的骨干网络越好；而当不同的骨干网络模型的预测耗时与预测精度均不相同时，可以基于预测耗时与预测精度对应的比例关系来确定基础骨干网络模型。
步骤S302d，基于所述基础骨干网络模型确定目标骨干网络模型。
在一些可选实施例中，确定目标骨干网络模型时，可以首先获取目标网络模型；其中，目标网络模型可以为预先构建的、可以进一步提升基础骨干网络模型的预测精度，但却几乎不会影响基础骨干网络模型的预测耗时的网络模型，所述目标网络模型可以包括以下至少一项：激活函数、全连接层。再将所述目标网络模型添加至所述基础骨干网络模型中，得到所述目标骨干网络模型。
步骤S303，基于第二学生模型的参数确定目标骨干网络模型。
在一些实施例中，将第二学生模型的参数作为目标骨干网络模型的初始参数。
步骤S304，获取目标图像样本集。
步骤S305，将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率。
步骤S306，基于所述第一分类概率和所述第二分类概率确定损失函数。
步骤S307，基于所述损失函数调整所述目标骨干网络模型的参数。
需要说明的是，步骤S304至步骤S307的具体处理过程可以与步骤S101至步骤S104的具体处理过程相同，这里不再赘述。
步骤S308，针对所述目标骨干网络模型中的第一超参数，遍历所述第一超参数对应的超参数值，确定全部所述超参数值对应的各目标骨干网络模型中的最优目标骨干网络模型。
在一些可选实施例中，第一超参数可以是目标骨干网络模型中的任意一个超参数。针对每个超参数，都可能存在与该超参数对应的多个超参数值；遍历该超参数对应的全部超参数值，选择全部超参数值对应的各目标骨干网络模型中的最优目标骨干网络模型。
在一些可选实施例中，第一超参数可以包括下述中的至少一项：学习率(LearningRate)、图像的输入分辨率(Input Resolution)、分阶段学习率倍数(Stagelrmult)、随机擦除概率(RE ratio)、随机数据增强概率(RA ratio)和第一教师模型(Distillteacher)选择。其中，学习率为目标骨干网络模型训练过程中的一个参数，用于控制目标骨干网络模型迭代的快慢。输入分辨率用于控制输入图像的尺寸，如根据输入分辨率对初始图像进行处理，得到满足输入分辨率的图像。分阶段学习率倍数为目标骨干网络模型内的每个阶段中用于与学习率相乘的系数。随机擦除概率，表示在一张图像上随机选择一个区域进行擦除的概率。教师模型的选择，是用于从多个教师模型中选择一个最好的教师模型的参数。
本公开实施例中，通过对部分超参数对应的超参数值进行遍历，实现了对该部分超参数的搜索，减少了对全部超参数搜索的依赖，降低了运算量；通过对部分超参数的搜索，能够保证目标骨干网络模型的训练精度。
步骤S309，确定所述最优目标骨干网络模型对应的超参数值为所述第一超参数对应的超参数值。
作为示例，所第一超参数为学习率，学习率有N个学习率数值；则第一个学习率数值至第N个学习率数值分别对应一个目标骨干网络模型，确定N个目骨干网络模型中的最优目标骨干网络模型。将最优目标骨干网络模型对应的学习率数值作为学习率的值。
上述图1至图10所述的图像分类模型训练方法的整体流程示意图，可以如图11所示，对初始样本集进行处理，得到目标图像样本集；目标图像样本集中的图像样本可以是标注图像。利用知识蒸馏技术训练基于第二教师模型的知识学习第二学生模型，将第二学生模型的参数作为目标骨干网络模型的初始参数；计算预先训练的第一教师模型与目标骨干网络模型针对同一输入图像所输出的第一分类概率和第二分类概率之间的损失函数，基于损失函数调整目标骨干网络模型，以实现对目标骨干网络模型的训练。在训练完成目标骨干网络模型之后，再基于贪心算法遍历各超参数对应的超参数值，更新目标骨干网络模型的超参数，得到用于对图像进行分类的目标骨干网络模型。
基于图1至图11所示的图像分类模型训练方法，本公开实施例还提供一种图像分类方法，所述图像分类方法所采用的图像分类模型是基于图1至图11所示的图像分类模型训练完成的。在具体实施时，将待分类的图像输入基于图1至图11所示的图像分类模型训练方法所训练的目标骨干网络模型(也可以称为图像分类模型)，目标骨干网络模型输出该待分类的图像在多种图像类别中的分类概率。
本公开实施例还提供一种图分类模型训练装置，所述图分类模型训练装置的组成结构，如图12所示，包括：
样本集获取模块401，用于获取目标图像样本集；
分类概率确定模块402，用于将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率；
损失函数确定模块403，用于基于所述第一分类概率和所述第二分类概率确定损失函数；
模型训练模块404，用于基于所述损失函数调整所述目标骨干网络模型的参数；
其中，所述目标骨干网络模型用于确定输入至所述目标骨干网络模型的图像的类别，所述目标骨干网络模型的初始参数基于第二学生模型确定。在一些可选实施例中，样本集获取模块401，用于获取初始图像样本集；
对所述初始图像样本集中的各初始图像样本进行数据增强处理，得到候选图像样本集；
确定所述初始图像样本集以及所述候选图像样本集构成的图像样本集合为所述目标图像样本集。
在一些可选实施例中，样本集获取模块401，用于对所述初始图像样本集中的各初始图像样本执行下述至少一种处理：图像变换、图像剪裁和图像擦除。
在一些可选实施例中，模型训练模块404，还用于获取第一图像样本集；
将所述第一图像样本集中的各图像分别输入第二教师模型，得到所述第二教师模型输出的图像类别分布概率；
将所述第一图像样本集中的各图像作为所述第二学生模型的输入，将所述图像类别分布概率作为所述第二学生模型的输出，训练所述第二学生模型。
在一些可选实施例中，模型训练模块404，还用于确定训练完成的所述第二学生模型的参数为所述目标骨干网络模型的初始参数。
在一些可选实施例中，模型训练模块404，还用于针对所述目标骨干网络模型中的第一超参数，遍历所述第一超参数对应的超参数值，确定全部所述超参数值对应的各目标骨干网络模型中的最优目标骨干网络模型；
确定所述最优目标骨干网络模型对应的超参数值为所述第一超参数对应的超参数值。
在一些可选实施例中，第一超参数包括下述中的至少一项：
学习率、图像的输入分辨率、分阶段学习率倍数、随机擦除概率、随机数据增强概率和第一教师模型选择。
在一些可选实施例中，模型训练模块404，用于获取第二图像样本集、预测图像样本集以及初始骨干网络模型集合；
针对所述初始骨干网络模型集合中的每个初始骨干网络模型，利用所述第二图像样本集和所述预测图像样本集对所述初始骨干网络模型进行训练和图像分类预测，得到训练完成的初始骨干网络模型在图像分类预测过程中的预测耗时与预测精度；
基于各个训练完成的初始骨干网络模型在图像分类预测过程中的预测耗时与预测精度，确定基础骨干网络模型；
基于所述基础骨干网络模型确定目标骨干网络模型。
在一些可选实施例中，模型训练模块404，用于获取目标网络模型，所述目标网络模型包括以下至少一项：激活函数、全连接层；
将所述目标网络模型添加至所述基础骨干网络模型中，得到所述目标骨干网络模型。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图13示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。在一些可选实施例中，电子设备800可以是终端设备，也可以是服务器。在一些可选实施例中，电子设备800可以通过运行计算机程序来实现本申请实施例提供的图像分类模型训练方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(Application，APP)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
在实际应用中，电子设备800可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。电子设备800可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。
电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像分类模型训练方法。例如，在一些可选实施例中，图像分类模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些可选实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的图像分类模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为图像分类模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的图像分类模型训练方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种图像分类模型训练方法，包括：
获取目标图像样本集；
将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率；
基于所述第一分类概率和所述第二分类概率确定损失函数；
基于所述损失函数调整所述目标骨干网络模型的参数；
其中，所述目标骨干网络模型用于确定输入至所述目标骨干网络模型的图像的类别，所述目标骨干网络模型的初始参数基于第二学生模型确定。
2.根据权利要求1所述的方法，其中，所述获取目标图像样本集包括：
获取初始图像样本集；
对所述初始图像样本集中的各初始图像样本进行数据增强处理，得到候选图像样本集；
确定所述初始图像样本集以及所述候选图像样本集构成的图像样本集合为所述目标图像样本集。
3.根据权利要求2所述的方法，其中，所述对所述初始图像样本集中的各初始图像样本进行数据增强处理，包括：
对所述初始图像样本集中的各初始图像样本执行下述至少一种处理：
图像变换、图像剪裁和图像擦除。
4.根据权利要求1所述的方法，其中，所述方法还包括：
获取第一图像样本集；
将所述第一图像样本集中的各图像分别输入第二教师模型，得到所述第二教师模型输出的图像类别分布概率；
将所述第一图像样本集中的各图像作为所述第二学生模型的输入，将所述图像类别分布概率作为所述第二学生模型的输出，训练所述第二学生模型。
5.根据权利要求4所述的方法，其中，所述方法还包括：
确定训练完成的所述第二学生模型的参数为所述目标骨干网络模型的初始参数。
6.根据权利要求1所述的方法，其中，所述方法还包括：
针对所述目标骨干网络模型中的第一超参数，遍历所述第一超参数对应的超参数值，确定全部所述超参数值对应的各目标骨干网络模型中的最优目标骨干网络模型；
确定所述最优目标骨干网络模型对应的超参数值为所述第一超参数对应的超参数值。
7.根据权利要求1所述的方法，其中，所述第一超参数包括下述中的至少一项：
学习率、图像的输入分辨率、分阶段学习率倍数、随机擦除概率、随机数据增强概率和第一教师模型选择。
8.根据权利要求1所述的方法，其中，所述方法还包括：
获取第二图像样本集、预测图像样本集以及初始骨干网络模型集合；
针对所述初始骨干网络模型集合中的每个初始骨干网络模型，利用所述第二图像样本集和所述预测图像样本集对所述初始骨干网络模型进行训练和图像分类预测，得到训练完成的初始骨干网络模型在图像分类预测过程中的预测耗时与预测精度；
基于各个训练完成的初始骨干网络模型在图像分类预测过程中的预测耗时与预测精度，确定基础骨干网络模型；
基于所述基础骨干网络模型确定目标骨干网络模型。
9.根据权利要求8所述的方法，其中，所述基于所述基础骨干网络模型确定目标骨干网络模型，包括：
获取目标网络模型，所述目标网络模型包括以下至少一项：激活函数、全连接层；
将所述目标网络模型添加至所述基础骨干网络模型中，得到所述目标骨干网络模型。
10.一种图像分类模型训练装置，所述图像分类模型训练装置包括：
样本集获取模块，用于获取目标图像样本集；
分类概率确定模块，用于将所述目标图像样本集中的各图像样本分别输入目标骨干网络模型和第一教师模型，得到所述目标骨干网络模型输出的第一分类概率和所述第一教师模型输出的第二分类概率；
损失函数确定模块，用于基于所述第一分类概率和所述第二分类概率确定损失函数；
模型训练模块，用于基于所述损失函数调整所述目标骨干网络模型的参数；
其中，所述目标骨干网络模型用于确定输入至所述目标骨干网络模型的图像的类别，所述目标骨干网络模型的初始参数基于第二学生模型确定。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1至9中任一项所述的方法。
CN202210658888.2A 2022-06-09 2022-06-09 一种图像分类模型训练方法、装置及电子设备 Active CN114972877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210658888.2A CN114972877B (zh) 2022-06-09 2022-06-09 一种图像分类模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658888.2A CN114972877B (zh) 2022-06-09 2022-06-09 一种图像分类模型训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114972877A true CN114972877A (zh) 2022-08-30
CN114972877B CN114972877B (zh) 2024-08-23

Family

ID=82962078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658888.2A Active CN114972877B (zh) 2022-06-09 2022-06-09 一种图像分类模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114972877B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564992A (zh) * 2022-09-26 2023-01-03 北京百度网讯科技有限公司 图像分类方法和图像分类模型的训练方法
CN116863278A (zh) * 2023-08-25 2023-10-10 摩尔线程智能科技(北京)有限责任公司 模型训练方法、图像分类方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US20200082224A1 (en) * 2018-09-10 2020-03-12 Sri International Weakly supervised learning for classifying images
US20210241041A1 (en) * 2020-01-31 2021-08-05 Element Ai Inc. Method of and system for joint data augmentation and classification learning
CN113326764A (zh) * 2021-05-27 2021-08-31 北京百度网讯科技有限公司 训练图像识别模型和图像识别的方法和装置
CN113627545A (zh) * 2021-08-16 2021-11-09 山东大学 一种基于同构多教师指导知识蒸馏的图像分类方法及系统
CN113792876A (zh) * 2021-09-16 2021-12-14 北京百度网讯科技有限公司 骨干网络的生成方法、装置、设备以及存储介质
CN114049515A (zh) * 2021-10-29 2022-02-15 携程旅游信息技术（上海）有限公司 图像分类方法、系统、电子设备和存储介质
CN114494809A (zh) * 2021-12-30 2022-05-13 深圳云天励飞技术股份有限公司 特征提取模型优化方法、装置及电子设备
CN114596497A (zh) * 2022-05-09 2022-06-07 北京世纪好未来教育科技有限公司 目标检测模型的训练方法、目标检测方法、装置及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US20200082224A1 (en) * 2018-09-10 2020-03-12 Sri International Weakly supervised learning for classifying images
US20210241041A1 (en) * 2020-01-31 2021-08-05 Element Ai Inc. Method of and system for joint data augmentation and classification learning
CN113326764A (zh) * 2021-05-27 2021-08-31 北京百度网讯科技有限公司 训练图像识别模型和图像识别的方法和装置
CN113627545A (zh) * 2021-08-16 2021-11-09 山东大学 一种基于同构多教师指导知识蒸馏的图像分类方法及系统
CN113792876A (zh) * 2021-09-16 2021-12-14 北京百度网讯科技有限公司 骨干网络的生成方法、装置、设备以及存储介质
CN114049515A (zh) * 2021-10-29 2022-02-15 携程旅游信息技术（上海）有限公司 图像分类方法、系统、电子设备和存储介质
CN114494809A (zh) * 2021-12-30 2022-05-13 深圳云天励飞技术股份有限公司 特征提取模型优化方法、装置及电子设备
CN114596497A (zh) * 2022-05-09 2022-06-07 北京世纪好未来教育科技有限公司 目标检测模型的训练方法、目标检测方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONG YANG ET AL.: "Ultra-lightweight CNN design based on neural architecture search and knowledge distillation:A novel method to build the automatic recognition model of space target ISAR images", 《DEFENCE TECHNOLOGY》, 30 April 2021 (2021-04-30), pages 1073 - 1095 *
冯于树: "卷积神经网络模型中的知识蒸馏研究", 《中国优秀硕士学位论文全文数据库社会科学Ⅱ辑》, 15 February 2021 (2021-02-15), pages 127 - 358 *
甘俊英;项俐;翟懿奎;何国辉;曾军英;白振峰;: "结合多任务迁移学习与知识蒸馏的人脸美丽预测研究", 信号处理, no. 07, 31 July 2020 (2020-07-31), pages 127 - 134 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564992A (zh) * 2022-09-26 2023-01-03 北京百度网讯科技有限公司 图像分类方法和图像分类模型的训练方法
CN116863278A (zh) * 2023-08-25 2023-10-10 摩尔线程智能科技(北京)有限责任公司 模型训练方法、图像分类方法、装置、设备及存储介质
CN116863278B (zh) * 2023-08-25 2024-01-26 摩尔线程智能科技(北京)有限责任公司 模型训练方法、图像分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114972877B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
CN110807515B (zh) 模型生成方法和装置
KR102170199B1 (ko) 비교 세트를 사용한 입력 예시들 분류
CN110766142A (zh) 模型生成方法和装置
JP2022058915A (ja) 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111708876B (zh) 生成信息的方法和装置
CN114972877B (zh) 一种图像分类模型训练方法、装置及电子设备
CN111340220B (zh) 用于训练预测模型的方法和装置
CN113961765B (zh) 基于神经网络模型的搜索方法、装置、设备和介质
CN111582479A (zh) 神经网络模型的蒸馏方法和装置
US20220101199A1 (en) Point-of-interest recommendation
CN112580733B (zh) 分类模型的训练方法、装置、设备以及存储介质
CN111353601B (zh) 用于预测模型结构的延时的方法和装置
CN113705628B (zh) 预训练模型的确定方法、装置、电子设备以及存储介质
CN114648676A (zh) 点云处理模型的训练和点云实例分割方法及装置
CN116684330A (zh) 基于人工智能的流量预测方法、装置、设备及存储介质
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN114037052A (zh) 检测模型的训练方法、装置、电子设备及存储介质
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
CN114817476A (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN115081630A (zh) 多任务模型的训练方法、信息推荐方法、装置和设备
CN114037060A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN114611609A (zh) 一种图网络模型节点分类方法、装置、设备及存储介质
CN113361621A (zh) 用于训练模型的方法和装置
CN112560987A (zh) 图像样本处理方法、装置、设备、存储介质和程序产品
CN113807391A (zh) 任务模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant