CN113343979A - 用于训练模型的方法、装置、设备、介质和程序产品 - Google Patents

用于训练模型的方法、装置、设备、介质和程序产品 Download PDF

Info

Publication number
CN113343979A
CN113343979A CN202110601890.1A CN202110601890A CN113343979A CN 113343979 A CN113343979 A CN 113343979A CN 202110601890 A CN202110601890 A CN 202110601890A CN 113343979 A CN113343979 A CN 113343979A
Authority
CN
China
Prior art keywords
model
constraint
training
trained
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110601890.1A
Other languages
English (en)
Other versions
CN113343979B (zh
Inventor
郭若愚
杜宇宁
李晨霞
杨烨华
刘其文
赵乔
毕然
胡晓光
于佃海
马艳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110601890.1A priority Critical patent/CN113343979B/zh
Publication of CN113343979A publication Critical patent/CN113343979A/zh
Application granted granted Critical
Publication of CN113343979B publication Critical patent/CN113343979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

根据本公开的实施例，提供了一种用于训练模型的方法、装置、设备、介质和程序产品。涉及人工智能领域，尤其涉及深度学习和图像处理技术领域。具体实现方案为：获取第一模型和第二模型，其中第一模型至少包括一个或多个第一层级组，第一层级组包括第一特征提取层和第一降采样层，第二模型包括一个或多个第二层级组，第二层级组包括第二特征提取层、第三特征提取层和第二降采样层；基于训练样本，根据第一模型和第二模型来确定第一约束，第一约束与对应层级组中的第一降采样层和第二降采样层针对训练样本的输出之间的差异有关；以及至少基于第一约束，训练第一模型和第二模型，以获取经训练的第一模型。由此，能够优化训练所得的模型的性能。

Description

用于训练模型的方法、装置、设备、介质和程序产品
技术领域
本公开涉及人工智能领域，并且更具体地，涉及用于训练模型的方法、装置、设备、计算机可读存储介质和计算机程序产品。
背景技术
随着信息技术的发展，神经网络被广泛用于诸如计算机视觉、语音识别和信息检索等的各种机器学习任务。光学字符识别(OCR)是一项可以将图片信息转换为更易编辑和存储的文本信息的技术。利用神经网络进行OCR识别被验证为是一种有效的识别装置。然而，所训练的模型的准确性还有待提高。
发明内容
根据本公开的示例实施例，提供了一种用于训练模型的方法、装置、设备、计算机可读存储介质和计算机程序产品。
在本公开的第一方面中，提供了一种用于训练模型的方法。该方法包括：获取第一模型和第二模型，其中第一模型至少包括一个或多个第一层级组，第一层级组包括第一特征提取层和第一降采样层，第二模型包括一个或多个第二层级组，第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，第一模型和第二模型被初始化以具有不同的模型参数；基于训练样本，根据第一模型和第二模型来确定第一约束，第一约束与第一模型和第二模型中的对应层级组中的第一降采样层和第二降采样层针对训练样本的输出之间的差异有关；以及至少基于第一约束，训练第一模型和第二模型，以获取经训练的第一模型。
在本公开的第二方面中，提供了一种用于训练模型的装置。该装置包括：模型获取模块，被配置为获取第一模型和第二模型，其中第一模型至少包括一个或多个第一层级组，第一层级组包括第一特征提取层和第一降采样层，第二模型包括一个或多个第二层级组，第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，第一模型和第二模型被初始化以具有不同的模型参数；第一约束确定模块，被配置为基于训练样本，根据第一模型和第二模型来确定第一约束，第一约束与第一模型和第二模型中的对应层级组中的第一降采样层和第二降采样层针对训练样本的输出之间的差异有关；以及第一模型训练模块，被配置为至少基于第一约束，训练第一模型和第二模型，以获取经训练的第一模型。
在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第二方面的方法。
在本公开的第五方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第六方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第二方面的方法。
在本公开的第七方面中，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器实现如本公开的第一方面的方法。
在本公开的第八方面中，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器实现如本公开的第二方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。附图用于更好地理解本方案，不构成对本公开的限定，其中：
图1A示出了本公开的一些实施例能够在其中实现的数据处理的环境的示例的示意图；
图1B示出了本公开的一些实施例能够在其中实现的训练模型的环境的示例的示意图；
图2示出了根据本公开的一些实施例的用于训练模型的示例过程的流程图；
图3示出了根据本公开的一些实施例的第一模型和第二模型的示例过程的示意图；
图4示出了根据本公开的实施例的用于训练模型的装置的示意框图；
图5示出了根据本公开的实施例的用于处理数据的装置的示意框图；以及
图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本公开的实施例中，术语“模型”能够处理输入并且提供相应输出。以神经网络模型为例，其通常包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的模型(也称为“深度学习模型”)通常包括许多隐藏层，从而延长网络的深度。神经网络模型的各个层按顺序相连以使得前一层的输出被用作后一层的输入，其中输入层接收神经网络模型的输入，而输出层的输出作为神经网络模型的最终输出。神经网络模型的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。
如以上提及的，需要提高所训练的模型的准确性。在传统方案中，通常存在如下两种情况：(1)使用两个完全相同的模型分别作为学生模型和教师模型。其缺陷在于两者的模型一般都较小，学生模型难以学到更加复杂的信息，导致所训练的模型的准确性较低；(2)使用不同的大小的模型分别作为教师模型与学生模型。其缺陷在于学生模型与教师模型的结构相差教导，导致所训练的模型的准确性较低。因此，传统方案的缺陷在于所训练的模型精度不足。
本公开的示例实施例提出了一种用于训练模型的方案。在该方案中，首先获取第一模型和第二模型，其中第一模型至少包括一个或多个第一层级组，第一层级组包括第一特征提取层和第一降采样层，第二模型包括一个或多个第二层级组，第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，并且第一模型和第二模型被初始化以具有不同的模型参数。然后基于训练样本，根据第一模型和第二模型来确定第一约束，第一约束与第一模型和第二模型中的对应层级组中的第一降采样层和第二降采样层针对训练样本的输出之间的差异有关。并且最后至少基于第一约束，训练第一模型和第二模型，以获取经训练的第一模型。以此方式，通过建立两个结构相似的模型，并通过两个模型的中间输出的差异来监督模型训练。在模型相似的同时确保模型可以学习到更复杂的信息，使得所训练的模型精度更高。
图1A示出本公开的一些实施例能够在其中实现的数据处理环境100的示例的示意图。如图1A所示，环境100包括计算设备110。计算设备110可以是具有计算能力的任何设备，例如个人计算机、平板计算机、可穿戴设备、云服务器、大型机和分布式计算系统等。
计算设备110获取输入120。例如，输入120可以是图像、视频、音频、文本、和/或多媒体文件等。计算设备110可以将输入120应用于网络模型130，以利用网络模型130，生成与输入120相对应的处理结果140。在一些实施例中，网络模型130可以是但不限于OCR识别模型、图像分类模型、语义分割模型、目标检测模型，或者其他与图像处理相关的神经网络模型。可以利用任何合适的网络结构来实现网络模型130，包括但不限于支持向量机(SVM)模型，贝叶斯模型，随机森林模型，各种深度学习/神经网络模型，诸如卷积神经网络(CNN)、循环神经网络(RNN)、深度神经网络(DNN)、深度强化学习网路(DQN)等。本公开的范围在此方面不受限制。
环境100还可以包括训练数据获取装置、模型训练装置和模型应用装置(未示出)。在一些实施例中，上述多个装置可以分别实现在不同的物理计算设备中。备选地，上述多个装置中的至少一部分装置可以被实现在同一计算设备中。例如，训练数据获取装置、模型训练装置和可以被实现在同一计算设备中，而模型应用装置可以被实现在另一计算设备中。
在一些实施例中，在模型训练阶段，训练数据获取装置可以获取输入120，并将其提供给模型。输入120可以是原始样本和与原始样本相对应的不同的增广样本，并且网络模型130是待训练模型。模型训练装置可以基于输入对网络模型130进行训练。处理结果140可以针对该模型的不同约束，计算设备110可以通过不同约束对网络模型130的训练参数(例如，权重和偏置等)进行调整，使得模型在训练样本上的误差降低。
备选地，在一些实施例中，在模型训练的最后阶段，输入可以是测试样本，并且处理结果140可以是对经训练的网络模型130的性能指标(例如，准确性)的表征，这可以例如通过测试损失来表示。
下面参考1B详细描述用于训练模型的环境150。环境150可以包括作为输入120的训练样本122，虽然图示为一个训练样本，但还可以存在多个训练样本，本公开在此不做限制。在一些实施例中，样本可以是图像数据。训练样本122可以由原始样本124和增广样本126构成，计算设备110(例如，计算设备的训练数据获取装置)可以被配置为对原始样本124进行数据增广处理，以获取增广样本126。在一些实施例中，对于图像样本，可以通过对其中的图像进行图像裁剪、旋转和翻转，而获得图像的增广样本。在另一些示例中，对于图像样本，可以应用诸如自动数据增广的自动样本增广的策略，获得图像的增广训练样本。
计算设备110可以将训练样本122作为第一模型132和第二模型134的输入，以分别确定第一特征图152和第二特征图154以及第一输出162和第二输出164。计算设备110然后可以根据上述输出以及训练样本的标签160分别确定第一约束141、第二约束143、第三约束145。然后计算设备110可以根据上述约束训练第一模型132和第二模型134。
第一模型132和第二模型134是待训练的模型，第一模型132可以是学生模型并且第二模型134可以是教师模型。第二模型134的结构可以比第一模型132的结构复杂。这将在下文详细描述。
回到参考图1A，经训练的网络模型可以被提供给模型应用装置。模型应用装置可以获取经训练模型以及输入120，并确定针对输入120的处理结果140。在模型应用阶段，输入120可以是待处理的输入数据(例如，图像数据)，网络模型130是经训练模型(例如，经训练的图像分类模型)，处理结果140可以是与输入120(例如，图像数据)相对应的预测结果(例如，图像的分类结果、语义分割结果或目标识别结果)。
应当理解，图1A所示的环境100以及图1B所示的环境150仅仅是本公开的实施例可实现于其中的一种示例，不旨在限制本公开的范围。本公开的实施例同样适用于其他系统或架构。
以下结合图2至图3来进一步描述详细的训练模型的过程。图2图示了根据本公开的实施例的用于训练模型的过程200的流程图。过程200可以由图1中的计算设备110来实施。为便于描述，将参照图1A和图1B来描述过程200。
在图2的框210，计算设备110获取第一模型132和第二模型134，其中第一模型132至少包括一个或多个第一层级组，第一层级组包括第一特征提取层和第一降采样层，第二模型132包括一个或多个第二层级组，第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，第一模型132和第二模型134被初始化以具有不同的模型参数。例如，计算设备110可以首先配置用于训练的第一模型132和第二模型134。
首先参考图3描述第一模型132和第二模型134的网络结构。第一模型132可以被理解为包括多个层的神经网络模型。例如，如图3所示，第一模型132可以包括一个或多个第一层级组，第一个第一层级组包括第一特征提取层310-1和第一降采样层312-1、第二个第一层级组包括第一特征提取层310-2和第一降采样层312-2。虽然图示为第一模型132包括两个第一层级组，但可以理解，针对不同的应用场景，可以设置N个第一层级组(N≥1)。与第一模型132不同的是，第二模型134在每个层级组中还包括一个附加的特征提取层。例如，如图3所示，第二模型134可以包括一个或多个第二层级组，第一个第二层级组包括第二特征提取层320-1、第三特征提取层322-1和第二降采样层324-1，第二个第一层级组包括第二特征提取层320-2、第三特征提取层322-2和第二降采样层324-2。与第一模型132类似，可以设置N个第二层级组(N≥1)。请注意，上述数目仅仅是示例性的，其不旨在限制本公开的范围。
上述特征提取层和降采样层可以是卷积层。特征提取层可以是用于提取输入，例如训练样本的特征的卷积层。降采样层可以是用于提取输入的特征并且降低特征图的维度的卷积层。特征提取层和降采样层可以被设置有不同的步长(stride)和填充(pad)以获取期望的特征图。例如特征提取层的步长可以被设置为1，而降采样层的步长可以被设置为2。请注意，上述关于模型的结构的描述仅仅是示例性的，模型还可以包括全连接层等。
可以理解的是，上述两个模型对应的层级中的降采样层(例如，第一个第一层级组中的第一降采样层312-1和第一个第二层级组中的第二降采样层324-1)输出的特征图维度可以相同，而由于第二模型134在每个层级组中还包括一个附加的特征提取层，所以第二降采样层324-1输出的特征图包括更丰富的输入数据的特征。由此，可以在结构相似的情况下使第一模型132学习到更多特征，从而使经训练的模型的性能更强(例如预测准确率更高)。
回到图2进行描述。在图2的框220，计算设备110基于训练样本122，根据第一模型132和第二模型134来确定第一约束141，第一约束141与第一模型132和第二模型134中的对应层级组中的第一降采样层和第二降采样层针对训练样本的输出之间的差异有关。例如，计算设备110可以将训练样本122作为模型的输入，以获得其输出的特征图。然后对特征图进行处理以确定用于监督模型训练的约束。
在一些实施例中，训练样本122可以包括原始样本124和基于原始样本增广所得的增广样本126中的至少一项。例如，计算设备110可以从图像集中随机选取图像作为原始样本124，接着计算设备110可以对图像分别进行亮度变换、随机剪裁、随机旋转等数据增广操作以形成增广样本。上述数据增广的示例仅仅是示例性的，计算设备110例如还可以对视频数据中的不同图像帧进行各种组合来处理视频数据、或者还可以以合适的方式处理文本和语音数据，本公开在此不做限制。
在一些实施例中，为了减少模型的计算量，计算设备110可以由原始样本124和增广样本126构成的训练样本122进行进一步处理。例如，计算设备110可以对上述图片进行尺寸重新设定和归一化操作，以形成预处理图像。
在一些实施例中，训练样本包括以下至少一项：图像、视频、音频和文本。
在确定了训练样本122后，计算设备110可以将训练样本122分别输入到第一模型132和第二模型134中，以得到输出。在这里，输出可以分别为第一特征图152和第二特征图154，其可以是训练样本经过第一模型132和第二模型134中的对应层级组中的降采样层后的输出。特征图可以是矩阵形式，其表示训练样本的特征。可以理解的是，由于第一模型132和第二模型134的结构不同且其模型参数不同，第一特征图152和第二特征图154可以为维度相同而参数不同像个向量矩阵。
在一些实施例中，计算设备110可以确定对应层级组中的第一降采样层针对训练样本输出的第一特征图152。然后确定对应层级组中的第二降采样层针对训练样本输出的第二特征图154。并且最后基于第一特征图152和第二特征图154之间的差异，来确定第一约束141。例如，计算设备110可以确定训练样本经过第一降采样层312-1和第二降采样层324-1后的第一特征图152和第二特征图154，然后计算第一特征图152和第二特征图154之间的欧几里得距离、余弦距离、L1距离和L2距离等作为其之间的差异。还可以利用其他合适的算法来计算特征之间的差异，本公开在此不做限制。上述过程仅仅是示例性的，还可以确定多个相应的特征图之间的差异，然后根据该差异来确定第一约束。由于第一模型132和第二模型134的结构相似性，且第二模型134输出的特征图比第一模型132输出的特征图包括更丰富的特征，这使得差异的确定较准确，进而通过该差异训练的模型的性能更加强。
在图2的框230，计算设备110至少基于第一约束141，训练第一模型132和第二模型134，以获取经训练的第一模型。例如，计算设备110可以根据上述确定的约束来调整第一模型和第二模型的参数，以获取经训练的模型。
除了上述第一约束之外，计算设备110还可以根据第一模型132和第二模型134的最终输出与真值之间的差异确定其他约束来训练模型。在一个实施例中，训练样本122具有指示训练样本的类别的标签160。计算设备110可以基于训练样本122，根据第一模型132来确定第二约束143，第二约束143与第一模型132针对训练样本122的输出和标签160的差异有关。类似地，计算设备110可以基于训练样本122，根据第二模型134来确定第三约束145，第三约束145与第二模型134针对训练样本122的输出和标签160的差异有关。例如，训练样本122可以为包括数字的文本或者红绿灯，标签160可以指示图片中的数字为1或者正在亮着的灯的颜色为绿灯。第一模型132针对该训练样本122的第一输出162可以为多个数字的预测概率(例如0的概率为10％，1的概率为60％，7的概率为30％，其余数字的概率为0％)或者灯的多个颜色概率。第二模型134针对训练样本122的第二输出164与上述第一输出类似，只是概率的数字可能不同。计算设备110可以确定第一输出162和第二输出164和标签160之间的CTC损失函数作为输出和标签之间的差异，以分别确定第二约束143和第三约束145。还可以在输出和标签之间应用任何合适的算法来确定其间的差异，本公开在此不做限制。
在计算设备110确定上述约束后，计算设备110可以基于第一约束141、第二约束143和第三约束145以及与其相关联的权重，来训练第一模型132和第二模型134，以获取经训练的第一模型。
在一些实施例中，计算设备110可以根据上述约束和权重来确定总约束来训练第一模型132和第二模型134。例如，计算设备110可以根据如下等式(1)来计算总约束：
总约束＝a*第一约束+b*第二约束+c*第三约束等式(1)
其中a、b、c为相关联的权重。该权重可以由用户设置或者由计算设备根据模型的类型、约束的类型、模型测试的结果等动态地调整。并且每个约束可以存在相同的权重或者各自不同的权重，本公开在此不做限制。计算设备110最后可以根据总约束调整第一模型132和第二模型134的模型参数，以使得总约束最小化，从而实现模型的训练。
在一些实施例中，计算设备110可以根据对第一模型132的测试结果来不断调整上述权重。例如，如果计算设备110在模型的测试阶段确定模型的输出和真值标签间的差异较大，则可以将权重b和c的值设置为远高于权重a的值。由此，通过调整表征不同约束的权重，可以有针对性的对模型进行训练。从而实现高效、准确地模型训练。
在一些实施例中，在第一模型132和第二模型134被训练收敛后，计算设备110可以将经训练的第一模型132确定为目标模型。
备选地，在一些实施例中，计算设备110可以将经训练的第一模型132和第二模型134中的精度较高的模型确定为目标模型。例如，计算设备110可以利用相同的测试集对经训练的第一模型132和经训练的第二模型134进行测试，从而将与真值标签差异最小的模型作为目标模型。通过进一步对所训练的模型进行挑选，可以进一步提升最终获得的模型的精度。
根据本公开的实施例，在让较小模型(第一模型)精度提升的情况下，保持其在预测时的计算量完全不变，提升了模型的实用性。考虑到结构较小的模型在特征提取方面的能力娇弱，从而通过增加附加的特征提取层，保证了较大模型(第二模型)的特征提取能力。在互学习知识蒸馏过程中，充分考虑到了第一模型与第二模型的结构相似性，从而保证了蒸馏的效果，由此可以提高所训练的模型的精度。根据模型的类型和测试结果来动态地调整针对不同约束的权重可以进一步提高所训练的模型的精度。
图3示出了根据本公开的实施例的用于处理数据的示例过程300的流程图。例如，过程300可以由如图1A所示的计算设备来执行。
在图3的框310处，计算设备110可以获取输入数据。计算设备110处可以部署有根据上文所描述的方式训练过的经训练模型。在一些实施例中，输入数据可以是待进行图像分类的图像数据，并且经训练模型是图像分类模型、语义分割模型以及目标识别模型中的一项。
在图3的框320处，计算设备110可以利用经训练模型，确定针对所述输入数据的预测结果。例如，在上述输入数据可以是待进行图像分类的图像数据，并且经训练模型是图像分类模型的实施例中，预测结果是所述图像的分类结果。在上述输入数据可以是待进行语义分割的图像数据，并且经训练模型是语义分割模型的实施例中，预测结果是语义分割结果。在上述输入数据可以是待进行语义分割的图像数据，并且经训练模型是目标识别模型的实施例中，预测结果是目标识别结果。根据本公开的方案还可以应用于其他与图像处理相关的任务中、或者基于图像处理技术而进行的任务(例如，自动驾驶、自主泊车等)中。
图4示出了根据本公开的实施例的用于训练模型的装置400的示意框图。如图4所示，装置400包括：模型获取模块410，被配置为获取第一模型和第二模型，其中第一模型至少包括一个或多个第一层级组，第一层级组包括第一特征提取层和第一降采样层，第二模型包括一个或多个第二层级组，第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，第一模型和第二模型被初始化以具有不同的模型参数；第一约束确定模块420，被配置为基于训练样本，根据第一模型和第二模型来确定第一约束，第一约束与第一模型和第二模型中的对应层级组中的第一降采样层和第二降采样层针对训练样本的输出之间的差异有关；以及第一模型训练模块430，被配置为至少基于第一约束，训练第一模型和第二模型，以获取经训练的第一模型。
在一些实施例中，其中第一约束确定模块420可以包括：第一特征图确定模块，被配置为确定对应层级组中的第一降采样层针对训练样本输出的第一特征图；第二特征图确定模块，被配置为确定对应层级组中的第二降采样层针对训练样本输出的第二特征图；以及第一约束计算模块，被配置为基于第一特征图和第二特征图之间的差异，来确定第一约束。
在一些实施例中，其中装置400还可以包括：第二约束确定模块，被配置为基于训练样本，根据第一模型来确定第二约束，第二约束与第一模型针对训练样本的输出和标签的差异有关；以及第三约束确定模块，被配置为基于训练样本，根据第二模型来确定第三约束，第三约束与第二模型针对训练样本的输出和标签的差异有关。
在一些实施例中，其中第一模型训练模块430可以包括：第一模型获取模块，被配置为基于第一约束、第二约束和第三约束以及与其相关联的权重，来训练第一模型和第二模型，以获取经训练的第一模型。
在一些实施例中，其中训练样本可以包括原始样本和基于原始样本增广所得的增广样本中的至少一项。
在一些实施例中，其中训练样本可以包括以下至少一项：图像、视频、音频和文本。
图5示出了根据本公开的实施例的用于处理数据的装置500的示意框图。如图5所示，装置500包括：数据获取模块510，被配置为获取输入数据；以及预测模块520，被配置为利用根据装置400训练的经训练模型，确定针对输入数据的预测结果。
在一些实施例中，其中输入数据可以是图像的数据，经训练模型可以是图像分类模型、语义分割模型以及目标识别模型中的一项，并且预测结果可以是图像的分类结果、语义分割结果、目标识别结果中的对应的一项。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个装置和处理，例如过程200。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM603并由计算单元601执行时，可以执行上文描述的过程200的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的装置的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务增广性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种用于训练模型的方法，包括：
获取第一模型和第二模型，其中所述第一模型至少包括一个或多个第一层级组，所述第一层级组包括第一特征提取层和第一降采样层，所述第二模型包括一个或多个第二层级组，所述第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，所述第一模型和所述第二模型被初始化以具有不同的模型参数；
基于训练样本，根据所述第一模型和第二模型来确定第一约束，所述第一约束与所述第一模型和第二模型中的对应层级组中的所述第一降采样层和所述第二降采样层针对所述训练样本的输出之间的差异有关；以及
至少基于所述第一约束，训练所述第一模型和所述第二模型，以获取经训练的所述第一模型。
2.根据权利要求1所述的方法，其中基于所述训练样本，根据所述第一模型和第二模型来确定所述第一约束包括：
确定所述对应层级组中的所述第一降采样层针对所述训练样本输出的第一特征图；
确定所述对应层级组中的所述第二降采样层针对所述训练样本输出的第二特征图；以及
基于所述第一特征图和所述第二特征图之间的差异，来确定所述第一约束。
3.根据权利要求1所述的方法，其中所述训练样本具有指示所述训练样本的类别的标签，所述方法还包括：
基于所述训练样本，根据第一模型来确定第二约束，所述第二约束与所述第一模型针对所述训练样本的输出和所述标签的差异有关；以及
基于所述训练样本，根据第二模型来确定第三约束，所述第三约束与所述第二模型针对所述训练样本的输出和所述标签的差异有关。
4.根据权利要求3所述的方法，其中至少基于所述第一约束，训练所述第一模型和所述第二模型，以获取经训练的所述第一模型包括：
基于所述第一约束、所述第二约束和所述第三约束以及与其相关联的权重，来训练所述第一模型和所述第二模型，以获取经训练的所述第一模型。
5.根据权利要求1所述的方法，其中所述训练样本包括原始样本和基于所述原始样本增广所得的增广样本中的至少一项。
6.根据权利要求1所述的方法，其中所述训练样本包括以下至少一项：图像、视频、音频和文本。
7.一种用于处理数据的方法，包括：
获取输入数据；以及
利用根据权利要求1-6中任一项所述的方法训练的经训练模型，确定针对所述输入数据的预测结果。
8.根据权利要求7所述的方法，其中所述输入数据是图像的数据，所述经训练模型是图像分类模型、语义分割模型以及目标识别模型中的一项，并且所述预测结果是所述图像的分类结果、语义分割结果、目标识别结果中的对应的一项。
9.一种用于训练模型的装置，包括：
模型获取模块，被配置为获取第一模型和第二模型，其中所述第一模型至少包括一个或多个第一层级组，所述第一层级组包括第一特征提取层和第一降采样层，所述第二模型包括一个或多个第二层级组，所述第二层级组包括第二特征提取层、第三特征提取层和第二降采样层，所述第一模型和所述第二模型被初始化以具有不同的模型参数；
第一约束确定模块，被配置为基于训练样本，根据所述第一模型和第二模型来确定第一约束，所述第一约束与所述第一模型和第二模型中的对应层级组中的所述第一降采样层和所述第二降采样层针对所述训练样本的输出之间的差异有关；以及
第一模型训练模块，被配置为至少基于所述第一约束，训练所述第一模型和所述第二模型，以获取经训练的所述第一模型。
10.根据权利要求9所述的装置，其中所述第一约束确定模块包括：
第一特征图确定模块，被配置为确定所述对应层级组中的所述第一降采样层针对所述训练样本输出的第一特征图；
第二特征图确定模块，被配置为确定所述对应层级组中的所述第二降采样层针对所述训练样本输出的第二特征图；以及
第一约束计算模块，被配置为基于所述第一特征图和所述第二特征图之间的差异，来确定所述第一约束。
11.根据权利要求9所述的装置，其中所述装置还包括：
第二约束确定模块，被配置为基于所述训练样本，根据第一模型来确定第二约束，所述第二约束与所述第一模型针对所述训练样本的输出和所述标签的差异有关；以及
第三约束确定模块，被配置为基于所述训练样本，根据第二模型来确定第三约束，所述第三约束与所述第二模型针对所述训练样本的输出和所述标签的差异有关。
12.根据权利要求11所述的装置，其中所述第一模型训练模块包括：
第一模型获取模块，被配置为基于所述第一约束、所述第二约束和所述第三约束以及与其相关联的权重，来训练所述第一模型和所述第二模型，以获取经训练的所述第一模型。
13.根据权利要求9所述的装置，其中所述训练样本包括原始样本和基于所述原始样本增广所得的增广样本中的至少一项。
14.根据权利要求9所述的装置，其中所述训练样本包括以下至少一项：图像、视频、音频和文本。
15.一种用于处理数据的装置，包括：
数据获取模块，被配置为获取输入数据；以及
预测模块，被配置为利用根据权利要求9-14中任一项所述的装置训练的经训练模型，确定针对所述输入数据的预测结果。
16.根据权利要求15所述的装置，其中所述输入数据是图像的数据，所述经训练模型是图像分类模型、语义分割模型以及目标识别模型中的一项，并且所述预测结果是所述图像的分类结果、语义分割结果、目标识别结果中的对应的一项。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的装置。
18.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7-8中任一项所述的装置。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的装置。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求7-8中任一项所述的装置。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的装置。
22.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求7-8中任一项所述的装置。
CN202110601890.1A 2021-05-31 2021-05-31 用于训练模型的方法、装置、设备、介质和程序产品 Active CN113343979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110601890.1A CN113343979B (zh) 2021-05-31 2021-05-31 用于训练模型的方法、装置、设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110601890.1A CN113343979B (zh) 2021-05-31 2021-05-31 用于训练模型的方法、装置、设备、介质和程序产品

Publications (2)

Publication Number Publication Date
CN113343979A true CN113343979A (zh) 2021-09-03
CN113343979B CN113343979B (zh) 2022-11-08

Family

ID=77472969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110601890.1A Active CN113343979B (zh) 2021-05-31 2021-05-31 用于训练模型的方法、装置、设备、介质和程序产品

Country Status (1)

Country Link
CN (1) CN113343979B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090313294A1 (en) * 2008-06-11 2009-12-17 Microsoft Corporation Automatic image annotation using semantic distance learning
CN108122234A (zh) * 2016-11-29 2018-06-05 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN110751261A (zh) * 2018-07-23 2020-02-04 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
US20200134506A1 (en) * 2018-10-29 2020-04-30 Fujitsu Limited Model training method, data identification method and data identification device
CN112115783A (zh) * 2020-08-12 2020-12-22 中国科学院大学 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN112200318A (zh) * 2020-10-10 2021-01-08 广州云从人工智能技术有限公司 一种目标检测方法、装置、机器可读介质及设备
CN112232106A (zh) * 2020-08-12 2021-01-15 北京工业大学 一种二维到三维人体姿态估计方法
CN112784749A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 目标模型的训练方法、目标对象的识别方法、装置及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090313294A1 (en) * 2008-06-11 2009-12-17 Microsoft Corporation Automatic image annotation using semantic distance learning
CN108122234A (zh) * 2016-11-29 2018-06-05 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
CN110751261A (zh) * 2018-07-23 2020-02-04 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
US20200134506A1 (en) * 2018-10-29 2020-04-30 Fujitsu Limited Model training method, data identification method and data identification device
CN112115783A (zh) * 2020-08-12 2020-12-22 中国科学院大学 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN112232106A (zh) * 2020-08-12 2021-01-15 北京工业大学 一种二维到三维人体姿态估计方法
CN112200318A (zh) * 2020-10-10 2021-01-08 广州云从人工智能技术有限公司 一种目标检测方法、装置、机器可读介质及设备
CN112784749A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 目标模型的训练方法、目标对象的识别方法、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANKERYEAH: ""FitNets: Hints for thin deep nets论文笔记"", 《CSDN》, 5 April 2020 (2020-04-05), pages 1 - 5 *
罗善威 等: ""基于双重相似度孪生网络的小样本实例分割"", 《武汉科技大学学报》 *
罗善威 等: ""基于双重相似度孪生网络的小样本实例分割"", 《武汉科技大学学报》, vol. 43, no. 1, 28 February 2020 (2020-02-28), pages 59 - 66 *

Also Published As

Publication number Publication date
CN113343979B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN113033537B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN113326764B (zh) 训练图像识别模型和图像识别的方法和装置
CN112528976B (zh) 文本检测模型的生成方法和文本检测方法
CN113642583B (zh) 用于文本检测的深度学习模型训练方法及文本检测方法
CN112949767A (zh) 样本图像增量、图像检测模型训练及图像检测方法
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN113393371B (zh) 一种图像处理方法、装置及电子设备
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
CN111274981A (zh) 目标检测网络构建方法及装置、目标检测方法
CN114648676A (zh) 点云处理模型的训练和点云实例分割方法及装置
CN113627536A (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN114202648B (zh) 文本图像矫正方法、训练方法、装置、电子设备以及介质
CN114266937A (zh) 模型训练、图像处理方法，装置，设备以及存储介质
CN113963186A (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN113657411A (zh) 神经网络模型的训练方法、图像特征提取方法及相关装置
CN113139463B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
KR20230133808A (ko) Roi 검출 모델 훈련 방법, 검출 방법, 장치, 설비 및 매체
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN113343979B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN114549904A (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
CN114282664A (zh) 自反馈模型训练方法、装置、路侧设备及云控平台
CN113361524B (zh) 图像处理方法及装置
CN118015269A (zh) 图像处理方法
CN115760864A (zh) 图像分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant