CN117218474A

CN117218474A - 模型训练方法、装置、电子设备及存储介质

Info

Publication number: CN117218474A
Application number: CN202310461871.2A
Authority: CN
Inventors: 朱城
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2023-04-23
Filing date: 2023-04-23
Publication date: 2023-12-12

Abstract

本申请实施例提供了一种模型训练方法、装置、电子设备以及存储介质，涉及人工智能技术领域。模型训练方法包括：获取样本图像集合；确定各个图像识别模型分别输出的第一预测结果；将各所述第一预测结果融合，得到第二预测结果；对初始集成模型进行至少一次训练操作，将符合预设训练条件的初始集成模型作为训练好的集成模型；训练操作包括：将样本图像集合输入到初始集成模型中，得到第三预测结果；确定第一训练损失，确定第二训练损失；基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，并将调整部分参数后的初始集成模型作为下一次训练操作前的初始集成模型。能够在召回和准确之间取得平衡，同时能够保证准确率。

Description

模型训练方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能领域，具体而言，本申请涉及一种模型训练方法、装置、电子设备及存储介质。

背景技术

近年来互联网信息体量呈指数级增长，产生了很多图像识别相关类型的业务。例如，业务中需要根据输入的图片，判断属于具体客户需要处理的类别还是正常类别。

随着模型的不断迭代，有些模型会偏向于保召回，也就是模型会尽可能把相关疑似的图片数据召回，在业务上会造成大量的误判；有些模型会偏向于保准确，也就是模型会尽可能保证召回的图片是对的，这种会造成业务中很多图片无法召回，影响实际效果。为了保证线上效果，召回和准确往往不能同时优化，因此，需要尽可能融合多个模型的效果能力，在召回和准确之间取得足够的平衡。

发明内容

本申请实施例的目的旨在提供一种模型训练方法、装置及电子设备，本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种模型训练的方法，该方法包括：

获取样本图像集合；样本图像集合包括多个样本图像，各个样本图像分别有对应的样本识别结果；

将样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；

将各第一预测结果融合，得到第二预测结果；

基于样本识别结果和第二预测结果对初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型；

其中，训练操作包括：

将样本图像集合输入到初始集成模型中，得到第三预测结果；

基于第二预测结果和第三预测结果之间的差异确定第一训练损失，并基于第三预测结果和样本识别结果之间的差异确定第二训练损失；

基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，并将调整部分参数后的初始集成模型作为下一次训练操作前的初始集成模型。

在一些可能的实施方式中，将各第一预测结果融合，得到第二预测结果，包括：

基于第一预测结果和各样本图像的样本识别结果，确定每一图像识别模型针对多个样本图像的识别准确信息；识别准确信息包括图像识别模型针对每一样本图像是否识别正确；

基于各个图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重；

基于各第一预测结果的第一权重，确定各个第一预测结果的加权和，得到第二预测结果。

在一些可能的实施方式中，基于各个图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重，包括：

针对每一图像识别模型，基于图像识别模型的识别准确信息，从多个样本图像中确定出对应的第一样本图像；其中，第一样本图像为图像识别模型识别错误的样本图像；

分别确定各第一样本图像的第二权重；其中，预设顺序中第一个图像识别模型对应的各第一样本图像的第二权重为预设初始权重；除第一个图像识别模型以外的图像识别模型对应的各第一样本图像的第二权重是基于预设顺序中上一个图像识别模型的识别准确信息所确定的；

基于各第一样本图像的第二权重确定第一预测结果的第一权重。

在一些可能的实施方式中，初始集成模型包括多个依次级联的卷积层和多个依次级联的网络模块；

将样本图像集合输入到初始集成模型中，得到第三预测结果，包括：

针对样本图像集合中的每一样本图像，执行特征提取操作，得到样本图像的预测结果；

基于各样本图像的预测结果确定第三预测结果；

其中，特征提取操作包括：

通过多个依次级联的网络模块，依次对样本图像进行特征提取，得到每一网络模块的第一输出特征；

基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征；

基于最后一个卷积层的第二输出特征，确定样本图像的预测结果。

在一些可能的实施方式中，各个图像识别模型均包含对应的第一特征提取子网络；第一特征提取子网络的网络结构与第二特征提取子网络的网络结构相同；第二特征提取子网络包括多个依次级联的网络模块。

在一些可能的实施方式中，基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征，包括：

针对多个依次级联的卷积层中的第一个卷积层，基于样本图像的初始特征和多个依次级联的网络模块中第一个网络模块的第一输出特征，确定第一输入特征；

针对个依次级联的卷积层中出第一个卷积层以外的卷积层，基于上一个卷积层的第二输出特征和对应层级的网络模块的第一输出特征，确定第一输入特征。

在一些可能的实施方式中，每一卷积层的第一尺寸与对应层级的网络模块中最后一层网络单元的第二尺寸相同。

在一些可能的实施方式中，基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，包括：

基于第一训练损失和第二训练损失调整多个卷积层的参数。

在一些可能的实施方式中，预设训练条件为执行训练操作的次数达到预设次数；

基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，包括：

若训练操作对应的次数小于或等于第一中间次数，基于第一训练损失和第二训练损失调整初始集成模型中的部分参数；第一中间次数小于预设次数；

若训练操作对应的次数大于第一中间次数，针对每一次训练操作，基于初始集成模型输出的第三预测结果预测本次训练操作中调整参数后的初始集成模型输出的第三预测结果，基于所预测的第三预测结果调整初始集成模型中的部分参数。

另一方面，本申请实施例提供了一种模型训练装置，该装置包括：

获取模块，用于获取样本图像集合；样本图像集合包括多个样本图像，各个样本图像分别有对应的样本识别结果；

预测模块，用于将样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；

融合模块，用于将各第一预测结果融合，得到第二预测结果；

训练模块，用于基于样本识别结果和第二预测结果对初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型；

其中，训练操作包括：

在一些可能的实施方式中，融合模块在将各第一预测结果融合，得到第二预测结果时，具体用于：

在一些可能的实施方式中，融合模块在基于各个图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重时，具体用于：

训练模块在将样本图像集合输入到初始集成模型中，得到第三预测结果时，具体用于：

基于各样本图像的预测结果确定第三预测结果；

其中，特征提取操作包括：

在一些可能的实施方式中，各个所述图像识别模型均包含对应的第一特征提取子网络；所述第一特征提取子网络的网络结构与第二特征提取子网络的网络结构相同；所述第二特征提取子网络包括所述多个依次级联的网络模块。

在一些可能的实施方式中，训练模块在基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征时，具体用于：

在一些可能的实施方式中，训练模块在基于第一训练损失和第二训练损失调整初始集成模型中的部分参数时，具体用于：

基于第一训练损失和第二训练损失调整多个卷积层的参数。

训练模块在基于第一训练损失和第二训练损失调整初始集成模型中的部分参数时，具体用于：

另一方面，本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序以实现本申请任一可选实施例中提供的方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时实现本申请任一可选实施例中提供的方法。

另一方面，本申请实施例还提供了一种计算机程序产品，该计算机产品包括计算机程序，该计算机程序被处理器执行时实现本申请任一可选实施例中提供的方法。

本申请实施例提供的技术方案带来的有益效果如下：

通过融合至少两个图像识别模型的第一预测结果，得到第二预测结果，然后基于初始集成模型针对多个样本图像的第三预测结果和第二预测结果之间的差异来确定第一训练损失，使得训练后的集成模型融合的至少两个图像识别模型的识别效果，能够在召回和准确之间取得平衡；基于第三预测结果和样本图像的样本识别结果之间的差异确定第二训练损失，同时能够保证训练好的集成模型的准确率。

此外，在训练过程中，基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，可以有效减少训练过程的计算量，提高训练速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为一个示例中提供的模型训练方法的应用环境示意图；

图2为本申请实施例提供的一种模型训练方法的流程示意图；

图3为本申请实施例提供的一种确定第二预测结果的方案的示意图；

图4为本申请一个示例中初始集成模型的结构示意图；

图5为本申请一个示例中针对初始集成模型的部分参数进行调整的方案的示意图；

图6为本申请一个示例中模型训练方法的示意图；

图7为本申请实施例提供的一种模型训练装置的结构示意图；

图8为本申请实施例所适用的一种电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。在描述多个(两个或两个以上)项目时，如果没有明确限定多个项目之间的关系，这多个项目之间可以是指多个项目中的一个、多个或者全部，例如，对于“参数A包括A1、A2、A3”的描述，可以实现为参数A包括A1或A2或A3，还可以实现为参数A包括参数A1、A2、A3这三项中的至少两项。

为了更好的说明和理解本申请实施例提供的方案，首先对本申请实施例中所涉及的一些相关的技术用语进行介绍：

业务中需要根据输入的图片，判断属于具体客户需要处理的类别还是正常类别。随着业务开展，模型版本不断更新迭代以保证能力的效果，但在实际应用中，常常发现几个问题：

1.随着模型的不断迭代，有些模型会偏向于保召回，也就是模型会尽可能把相关疑似的图片数据召回，在业务上会造成大量的误判；有些模型会偏向于保准确，也就是模型会尽可能保证召回的图片是对的，这种会造成业务中很多图片无法召回，影响实际效果；

2.实际业务中，为了保证线上效果，召回和准确往往不能同时优化。对于新能力，常常在开始的版本模型偏向于保召回，后面的版本偏向于降误判(也就是保准确)，这常常会造成一个效果，那就是同一个能力，随着版本的迭代，最新的模型并不是最新的模型在某些类别或者某些数据集上的效果会比最早的版本好，有些可能在后期版本中召回能力远远下降。

这就要求我们如何尽可能融合多个模型的效果能力，在召回和准确之间取得足够的平衡。

可选的，本申请实施例所涉及的模型训练可以基于云技术(Cloud technology)实现，比如，将所述样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果等步骤可以采用云技术实现。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。云计算则是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。

本申请的模型训练模型可以基于人工智能(Artificial Intelligence,AI)中的机器学习(Machine Learning,ML)来实现。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大模型训练技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

下面通过对几个可选的实施例的描述，对本申请提供的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

本申请实施例提供的模型训练方法，可以由任意的计算机设备执行，可选的，可以由服务器执行，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。

图1为本申请实施例提供的模型训练方法的应用环境示意图。其中，应用环境可以包括服务器101和终端102。服务器101预先对模型进行训练，具体的，服务器101获取样本图像集合；服务器101将所述样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；服务器101将各所述第一预测结果融合，得到第二预测结果；服务器101基于样本识别结果和第二预测结果对所述初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型；服务器101接收终端102发送的目标图像，基于训练好的集成模型对目标图像进行识别，得到目标识别结果，将目标识别结果发送至终端102。终端102基于目标识别结果判断是否需要对目标图像进行召回。

上述应用场景中，是服务器预先训练好集成模型，然后通过集成模型识别图像，将目标识别结果发送至终端，终端再基于目标识别结果判断是否需要对目标图像召回，在其他应用场景中，可以是服务器直接基于目标识别记过判断是否需要对目标图像进行召回，对此申请人在此不进行限定。

本技术领域技术人员可以理解，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、笔记本电脑、数字广播接收器、MID(Mobile Internet Devices，移动互联网设备)、PDA(个人数字助理)、台式计算机、智能家电、车载终端(例如车载导航终端、车载电脑等)、智能音箱、智能手表等，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，但并不局限于此。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。具体也可基于实际应用场景需求确定，在此不作限定。

终端(也可以称为用户终端或用户设备)可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备(例如智能音箱)、可穿戴电子设备(例如智能手表)、车载终端、智能家电(例如智能电视)、AR/VR设备、飞行器等，但并不局限于此。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

在一些可能的实施方式中，提供了一种模型训练方法，可以由服务器执行。

图2示出了本申请实施例提供的一种模型训练方法的流程示意图，以执行主体为服务器为例，本申请提供的模型训练方法，可以包括如下步骤：

步骤S201，获取样本图像集合。

其中，样本图像集合包括多个样本图像，各个样本图像分别有对应的样本识别结果。

具体的，样本识别结果可以包括样本图像中是否具有预设目标，例如预设目标可以是指定的敏感信息。

步骤S202，将样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果。

其中，图像识别模型可以预先进行训练好的，可以对多个样本图像分别进行识别。

具体的，至少两个图像识别模型中至少部分子网络的结构相同，结构相同的至少部分子网络的模型参数可能不同，例如图像识别模型可以均为resnet(残差网络模型)或regnet模型，其中，regnet模型是由简单、规则的网络组成的低维设计空间。

具体的，至少两个图像识别模型可以针对性不同，例如一些图像识别模型可以是保召回，即尽可能把相关疑似的图片数据召回，也就是识别出包含特定目标的相对概率更大；也有一些图像识别模型可以是保准确的，即尽可能保证召回的图片是对的，也就是会更加严格的判定图像是否包含特定目标的。

在具体实施过程中，多个不同的图像识别模型还可以是由不同的训练样本训练得到的。

具体的，第一预测结果可以包括针对多个样本图像的识别结果，即包括多个样本图像是否包含预设目标。

步骤S203，将各第一预测结果融合，得到第二预测结果。

具体的，可以先确定各个图像识别模型分别对应的第一权重，然后再基于各个第一权重对各个第一预测结果融合，得到第二预测结果，具体针对第一预测结果的融合过程，将在下文进行进一步详细阐述。

步骤S204，基于样本识别结果和第二预测结果对初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型。

其中，训练操作包括：

(1)将样本图像集合输入到初始集成模型中，得到第三预测结果；

(2)基于第二预测结果和第三预测结果之间的差异确定第一训练损失，并基于第三预测结果和样本识别结果之间的差异确定第二训练损失；

(3)基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，并将调整部分参数后的初始集成模型作为下一次训练操作前的初始集成模型。

其中，初始集成模型可以包括预设网络和多个卷积层，其中预设网络可以是残差网络，例如resnet50，resnet50为残差网络中的一种。

具体的，初始集成模型中至少部分子网络与各个图像识别模型中的至少部分子网络结构相同，例如，图像识别模型可以均为resnet模型，则初始集成模型也可以为resnet模型；图像识别模型可以均为regnet模型，则初始集成模型也可以为regnet模型。

在具体实施过程中，初始集成模型的初始参数是基于第二预测结果确定的。

具体的，可以基于第一训练损失和第二训练损失调整初始集成模型中卷积层的参数，可以有效减少训练过程的计算量，提高训练速度。

在具体实施过程中，将基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，并将调整部分参数后的初始集成模型作为下一次训练操作前的初始集成模型，然后重复执行将样本图像集合输入到初始集成模型中，得到第三预测结果、并确定第一训练损失、确定第二训练损失的过程，直至符合预设训练结束条件。

其中，训练结束条件可以是执行训练操作的次数达到预设次数，也可以是第一训练损失和第二训练损失符合预设条件，如第一训练损失和第二训练损失的和小于预设阈值，或者第一训练损失和第二训练损失的和收敛；还可以是第一训练损失符合第一预设条件，且同时第二训练损失符合第二预设条件。

上述的模型训练方法，通过融合至少两个图像识别模型的第一预测结果，得到第二预测结果，然后基于初始集成模型针对多个样本图像的第三预测结果和第二预测结果之间的差异来确定第一训练损失，使得训练后的集成模型融合的至少两个图像识别模型的识别效果，能够在召回和准确之间取得平衡；基于第三预测结果和样本图像的样本识别结果之间的差异确定第二训练损失，同时能够保证训练好的集成模型的准确率。

以下将结合实施例进一步阐述对多个第一预测结果进行融合得到第二预测结果的具体过程。

a、基于第一预测结果和各样本图像的样本识别结果，确定每一图像识别模型针对多个样本图像的识别准确信息。

其中，识别准确信息包括图像识别模型针对每一样本图像是否识别正确，例如，有10个样本图像，识别准确信息即这10个样本图像中哪几个是正确识别的，哪几个识别的第一预测结果是错误的。

在具体实施过程中，可以将图像识别模型针对各个样本图像的第一预测结果与样本识别进行对比，从而确定识别准确信息。

b、基于各个图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重。

具体的，基于各个图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重，可以包括：

b1、针对每一图像识别模型，基于图像识别模型的识别准确信息，从多个样本图像中确定出对应的第一样本图像。

其中，第一样本图像为图像识别模型识别错误的样本图像。

具体的，通过对比第一预测结果和样本识别信息，确定出图像识别模型对于哪些样本图像是识别错误的，即可得到第一样本图像。

b2、分别确定各第一样本图像的第二权重。

其中，预设顺序中第一个图像识别模型对应的各第一样本图像的第二权重为预设初始权重。

具体的，预设初始权重可以是根据多个样本图像的总数量确定的，例如总共有D个样本数据，则每一样本图像，其中包括第一样本图像的预设初始权重都可以为

在具体实施过程中，除第一个图像识别模型以外的图像识别模型对应的各第一样本图像的第二权重是基于预设顺序中上一个图像识别模型的识别准确信息所确定的。

具体的，若一个样本图像，被一个图像识别模型识别错误，即为该图像识别模型对应的第一样本图像，则该第一样本图像对应的第二权重会变更。

b3、基于各第一样本图像的第二权重确定第一预测结果的第一权重。

具体的，可以基于各第一样本图像的第二权重确定该图像识别模型的识别错误率，然后基于该图像识别模型的识别错误率确定该图像识别模型的第一预测结果对应的第一权重。

c、基于各第一预测结果的第一权重，确定各个第一预测结果的加权和，得到第二预测结果。

以下将结合示例阐述确定第二预测结果的过程。

在一个示例中，如图3所示，假定有M个图像识别模型，其中既有保召回，也有保准确的，有D个样本图像，每个样本图像的初始权重均为

多个样本图像经过第一个图像识别模型，记录划分错误的第一样本图像的数量为E，那么可以得到经过第一个图像识别模型的划分错误率为各第一样本图像的加权和/样本图像的总数量，参见如下公式：

其中，ratio为划分错误率；为样本图像的预设初始权重，即为各第一样本图像的第二权重；E为第一样本图像的数量；D为样本图像的总数量；

则第一预测结果对应的第一权重为：

其中，ratio为划分错误率。

此时第二预测结果F(x)可以为：

F(x)＝ α₁f₁(x) (3)

其中，F(x)为经过第一个图像识别模型得到的第二预测结果；f₁(x)为第一个图像识别模型的第一预测结果；

将划分错误的第一样本图像的权重更新，对于正确划分的样本图像的权重仍为对于第一样本图像的权重变更为如下：

其中，γ为经过第一个图像识别模型后的第一样本图像的第二权重；

依此类推，同一批数据经过第2个模型，比如此时分错的点有2个，一个权重为一个为/>此时计算划分错误率则为：

依据公式(2)同样计算α₂，得到：

F(x)＝α₁f₁(x)+α₂f₂(x) (5)

其中，F(x)为经过两个图像识别模型得到的第二预测结果；f₁(x)为第一个图像识别模型的第一预测结果；f₂(x)为第二个图像识别模型的第一预测结果。

依据上述方式进行迭代，即可得到最终的第二预测结果：

其中，F(x)为经过M个图像识别模型得到的第二预测结果；M为大于2的正整数；α_i为第i个图像识别模型的第一预测结果的第一权重；f_i(x)为第i个图像识别模型的第一预测结果。

在一些可能的实施方式中，初始集成模型包括多个依次级联的卷积层和多个依次级联的网络模块。

具体的，将样本图像集合输入到初始集成模型中，得到第三预测结果，可以包括：

(1)针对样本图像集合中的每一样本图像，执行特征提取操作，得到样本图像的预测结果；

(2)基于各样本图像的预测结果确定第三预测结果。

其中，特征提取操作包括：

A、通过多个依次级联的网络模块，依次对样本图像进行特征提取，得到每一网络模块的第一输出特征。

具体的，第一个网络模块的第一输出特征作为下一个网络模块的输入特征，依次进行特征提取。

B、基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征。

具体的，基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征，可以包括：

B1、针对多个依次级联的卷积层中的第一个卷积层，基于样本图像的初始特征和多个依次级联的网络模块中第一个网络模块的第一输出特征，确定第一输入特征；

B2、针对个依次级联的卷积层中出第一个卷积层以外的卷积层，基于上一个卷积层的第二输出特征和对应层级的网络模块的第一输出特征，确定第一输入特征。

如图4所示，图中第一个卷积层的输入为样本图像的初始特征以及第一个网络模块的第一输出特征；其他每一个卷积层的输入为上一个卷积层的第二输出特征和对应层级的网络模块的第一输出特征。

C、基于最后一个卷积层的第二输出特征，确定样本图像的预测结果。

具体的，可以将最后一个卷积层的第二输出特征，作为初始集成模型针对样本图像的预测结果。

具体的，各个所述图像识别模型均包含对应的第一特征提取子网络；所述第一特征提取子网络的网络结构与第二特征提取子网络的网络结构相同；所述第二特征提取子网络包括多个依次级联的网络模块。

也就是说，各个图像识别网络中均包括与多个依次级联的网络模块结构相同的子网络结构。

在具体实施过程中，初始集成模型中，多个依次级联的网络模块的初始参数，是基于多个图像识别模型的各个第一预测结果融合确定的，也就是基于第二预测结果确定的。

具体的，针对每一个网络模块，确定该网络模块的最后一层网络单元的参数，外接一个同等大小的卷积层。

在一些可能的实施方式中，基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，可以包括：

基于第一训练损失和第二训练损失调整多个卷积层的参数。

如图5所示，各个网络模块对应的部分，即图中所示的501部分的参数保持不变；针对各卷积层的参数，即图中所示的502部分的参数进行调整。

上述实施例中，通过在初始集成模型的每一网络模块外接一个卷积层，训练过程中调整卷积层的参数，保持各个网路模块的参数不变，可以有效减少训练过程中的计算量，提高训练效率。

在一些可能的实施方式中，预设训练条件为执行训练操作的次数达到预设次数。

(1)若训练操作对应的次数小于或等于第一中间次数，基于第一训练损失和第二训练损失调整初始集成模型中的部分参数。

其中，第一中间次数小于预设次数。

具体的，若训练操作对应的次数小于或等于第一中间次数，也就是在整个训练过程的前半程，都是基于第一训练损失和第二训练损失来调整部分参数。

具体的，可以基于第一训练损失和第二训练损失确定训练总损失。

在具体实施过程中，可以基于如下公式确定训练总损失：

L_total＝L_cls+βL_cal (7)

其中，L_total表示训练总损失；L_cal表示第一训练损失；L_cls表示第二训练损失；β表示第二训练损失的预设系数。

在一些可能的实施方式中，β可以设为0.2。

(2)若训练操作对应的次数大于第一中间次数，针对每一次训练操作，基于初始集成模型输出的第三预测结果预测本次训练操作中调整参数后的初始集成模型输出的第三预测结果，基于所预测的第三预测结果调整初始集成模型中的部分参数。

其中，本次训练操作中调整参数后的初始集成模型输出的第三预测结果，也就是下一次训练操作对应的初始集成模型输出的第三预测结果。

具体的，若训练操作对应的次数大于第一中间次数，也就是在整个训练过程的后半程，此时可以基于每一次训练操作对应的初始集成模型输出的第三预测结果，迭代计算下一次训练操作对应的第三预测结果，从而对本次训练操作对应的初始集成模型的参数进行调整。

具体的，可以参考如下公式迭代：

其中，θ_t为第t次训练周期对应的初始集成模型输出的第三预测结果；t为训练次数。

上述实施例中，在整个训练过程的前半周期通过第一训练损失和第二训练损失调整初始集成模型中的部分参数，使得调整后的初始集成模型的输出能够更加接近多个图像识别模型的融合效果；在整个训练过程的后半周期通过对每一次训练操作中初始集成模型的第三预测结果迭代计算，可以在初始集成模型的参数接近训练结束条件的情况下，结合多次训练的第三预测结果进一步调整初始集成模型的参数，进一步提高最终得到的集成模型的识别准确率和稳定性。

以下将结合示例进一步阐述本申请的模型训练方法。

如图6所示，在一个示例中，本申请的模型训练方法，可以包括：

获取样本图像集合；样本图像集合包括多个样本图像；即图中所示的Data(数据)；

将样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；即图中所示的输入M个图像识别模型中；

将各第一预测结果融合，得到第二预测结果；即图中所示的得到

基于第二预测结果和第三预测结果之间的差异确定第一训练损失，即图中所示的L_cal；并基于第三预测结果和样本识别结果之间的差异确定第二训练损失，即图中所示的L_cls；

基于第一训练损失和第二训练损失调整初始集成模型中的部分参数，即调整初始集成模型中的卷积层的参数，并将调整部分参数后的初始集成模型作为下一次训练操作前的初始集成模型，重复进行训练操作，直至符合预设训练结束条件，得到训练好的集成模型。

进一步的，通过在初始集成模型的每一网络模块外接一个卷积层，训练过程中调整卷积层的参数，保持各个网路模块的参数不变，可以有效减少训练过程中的计算量，提高训练效率。

进一步的，在整个训练过程的前半周期通过第一训练损失和第二训练损失调整初始集成模型中的部分参数，使得调整后的初始集成模型的输出能够更加接近多个图像识别模型的融合效果；在整个训练过程的后半周期通过对每一次训练操作中初始集成模型的第三预测结果迭代计算，可以在初始集成模型的参数接近训练结束条件的情况下，结合多次训练的第三预测结果进一步调整初始集成模型的参数，进一步提高最终得到的集成模型的识别准确率和稳定性。

如图7所示，在一些可能的实施方式中，提供了一种模型训练装置，包括：

获取模块701，用于获取样本图像集合；样本图像集合包括多个样本图像，各个样本图像分别有对应的样本识别结果；

预测模块702，用于将样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；

融合模块703，用于将各第一预测结果融合，得到第二预测结果；

训练模块704，用于基于样本识别结果和第二预测结果对初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型；

其中，训练操作包括：

在一些可能的实施方式中，融合模块703在将各第一预测结果融合，得到第二预测结果时，具体用于：

在一些可能的实施方式中，融合模块703在基于各个图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重时，具体用于：

训练模块704在将样本图像集合输入到初始集成模型中，得到第三预测结果时，具体用于：

基于各样本图像的预测结果确定第三预测结果；

其中，特征提取操作包括：

在一些可能的实施方式中，训练模块704在基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征时，具体用于：

在一些可能的实施方式中，训练模块704在基于第一训练损失和第二训练损失调整初始集成模型中的部分参数时，具体用于：

基于第一训练损失和第二训练损失调整多个卷积层的参数。

训练模块704在基于第一训练损失和第二训练损失调整初始集成模型中的部分参数时，具体用于：

上述的模型训练装置，通过融合至少两个图像识别模型的第一预测结果，得到第二预测结果，然后基于初始集成模型针对多个样本图像的第三预测结果和第二预测结果之间的差异来确定第一训练损失，使得训练后的集成模型融合的至少两个图像识别模型的识别效果，能够在召回和准确之间取得平衡；基于第三预测结果和样本图像的样本识别结果之间的差异确定第二训练损失，同时能够保证训练好的集成模型的准确率。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行存储器中存储的计算机程序时可实现本申请任一可选实施例中的方法。

图8示出了本发明实施例所适用的一种电子设备的结构示意图，如图8所示，该电子设备可以为服务器或者用户终端，该电子设备可以用于实施本发明任一实施例中提供的方法。

如图8中所示，该电子设备800主要可以包括至少一个处理器801(图8中示出了一个)、存储器802、通信模块803和输入/输出接口804等组件，可选的，各组件之间可以通过总线805实现连接通信。需要说明的是，图8中示出的该电子设备800的结构只是示意性的，并不构成对本申请实施例提供的方法所适用的电子设备的限定。

其中，存储器802可以用于存储操作系统和应用程序等，应用程序可以包括在被处理器801调用时实现本发明实施例所示方法的计算机程序，还可以包括用于实现其他功能或服务的程序。存储器802可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和计算机程序的其他类型的动态存储设备，也可以是EEPROM(ElectricallyErasable Programmable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(CompactDisc Read Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

处理器801通过总线805与存储器802连接，通过调用存储器802中所存储的应用程序实现相应的功能。其中，处理器801可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合，其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器801也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

电子设备800可以通过通信模块803(可以包括但不限于网络接口等组件)连接到网络，以通过网络与其它设备(如用户终端或服务器等)的通信，实现数据的交互，如向其他设备发送数据或从其他设备接收数据。其中，通信模块803可以包括有线网络接口和/或无线网络接口等，即通信模块可以包括有线通信模块或无线通信模块中的至少一项。

电子设备800可以通过输入/输出接口804可以连接所需要的输入/输出设备，如键盘、显示设备等，电子设备80自身可以具有显示设备，还可以通过接口804外接其他显示设备。可选的，通过该接口804还可以连接存储装置，如硬盘等，以可以将电子设备800中的数据存储到存储装置中，或者读取存储装置中的数据，还可以将存储装置中的数据存储到存储器802中。可以理解的，输入/输出接口804可以是有线接口，也可以是无线接口。根据实际应用场景的不同，与输入/输出接口804连接的设备，可以是电子设备800的组成部分，也可以是在需要时与电子设备800连接的外接设备。

用于连接各组件的总线805可以包括一通路，在上述组件之间传送信息。总线805可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。根据功能的不同，总线805可以分为地址总线、数据总线、控制总线等。

可选的，对于本发明实施例所提供的方案而言，存储器802可以用于存储执行本发明方案的计算机程序，并由处理器801来运行，处理器801运行该计算机程序时实现本发明实施例提供的方法或装置的动作。

基于与本申请实施例提供的方法相同的原理，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的相应内容。

本申请实施例还提供了一种计算机程序产品，该产品包括计算机程序，该计算机程序被处理器执行时可实现前述方法实施例的相应内容。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims

1.一种模型训练方法，其特征在于，所述方法包括：

获取样本图像集合；所述样本图像集合包括多个样本图像，各个样本图像分别有对应的样本识别结果；

将所述样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；

将各所述第一预测结果融合，得到第二预测结果；

基于样本识别结果和第二预测结果对所述初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型；

其中，所述训练操作包括：

将所述样本图像集合输入到初始集成模型中，得到第三预测结果；

基于第二预测结果和第三预测结果之间的差异确定第一训练损失，并基于所述第三预测结果和所述样本识别结果之间的差异确定第二训练损失；

基于所述第一训练损失和所述第二训练损失调整所述初始集成模型中的部分参数，并将调整部分参数后的初始集成模型作为下一次训练操作前的初始集成模型。

2.根据权利要求1所述的方法，其特征在于，所述将各所述第一预测结果融合，得到第二预测结果，包括：

基于所述第一预测结果和各样本图像的样本识别结果，确定每一图像识别模型针对多个所述样本图像的识别准确信息；所述识别准确信息包括所述图像识别模型针对每一样本图像是否识别正确；

基于各个所述图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重；

基于各所述第一预测结果的第一权重，确定各个第一预测结果的加权和，得到所述第二预测结果。

3.根据权利要求2所述的方法，其特征在于，所述基于各个所述图像识别模型的识别准确信息，按照预设顺序依次确定每一图像识别模型的第一预测结果分别对应的第一权重，包括：

针对每一图像识别模型，基于所述图像识别模型的识别准确信息，从多个所述样本图像中确定出对应的第一样本图像；其中，所述第一样本图像为所述图像识别模型识别错误的样本图像；

分别确定各所述第一样本图像的第二权重；其中，所述预设顺序中第一个图像识别模型对应的各第一样本图像的第二权重为预设初始权重；除第一个图像识别模型以外的图像识别模型对应的各第一样本图像的第二权重是基于所述预设顺序中上一个图像识别模型的识别准确信息所确定的；

基于各第一样本图像的第二权重确定所述第一预测结果的第一权重。

4.根据权利要求1所述的方法，其特征在于，所述初始集成模型包括多个依次级联的卷积层和多个依次级联的网络模块；

所述将所述样本图像集合输入到初始集成模型中，得到第三预测结果，包括：

针对所述样本图像集合中的每一样本图像，执行特征提取操作，得到所述样本图像的预测结果；

基于各样本图像的预测结果确定所述第三预测结果；

其中，所述特征提取操作包括：

通过所述多个依次级联的网络模块，依次对所述样本图像进行特征提取，得到每一网络模块的第一输出特征；

基于最后一个卷积层的第二输出特征，确定所述样本图像的预测结果。

5.根据权利要求4所述的方法，其特征在于，各个所述图像识别模型均包含对应的第一特征提取子网络；所述第一特征提取子网络的网络结构与第二特征提取子网络的网络结构相同；所述第二特征提取子网络包括所述多个依次级联的网络模块。

6.根据权利要求4所述的方法，其特征在于，基于各个网络模块的第一输入特征，按照级联顺序依次确定各个卷积层的输入特征，包括：

针对多个依次级联的卷积层中的第一个卷积层，基于所述样本图像的初始特征和多个依次级联的网络模块中第一个网络模块的第一输出特征，确定所述第一输入特征；

针对个依次级联的卷积层中出第一个卷积层以外的卷积层，基于上一个卷积层的第二输出特征和对应层级的网络模块的第一输出特征，确定所述第一输入特征。

7.根据权利要求4所述的方法，其特征在于，每一卷积层的第一尺寸与对应层级的网络模块中最后一层网络单元的第二尺寸相同。

8.根据权利要求4所述的方法，其特征在于，所述基于所述第一训练损失和所述第二训练损失调整所述初始集成模型中的部分参数，包括：

基于所述第一训练损失和所述第二训练损失调整所述多个卷积层的参数。

9.根据权利要求4所述的方法，其特征在于，所述预设训练条件为执行训练操作的次数达到预设次数；

所述基于所述第一训练损失和所述第二训练损失调整所述初始集成模型中的部分参数，包括：

若所述训练操作对应的次数小于或等于第一中间次数，基于所述第一训练损失和所述第二训练损失调整所述初始集成模型中的部分参数；所述第一中间次数小于所述预设次数；

若所述训练操作对应的次数大于所述第一中间次数，针对每一次训练操作，基于所述初始集成模型输出的第三预测结果预测本次训练操作中调整参数后的初始集成模型输出的第三预测结果，基于所预测的第三预测结果调整所述初始集成模型中的部分参数。

10.一种模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取样本图像集合；所述样本图像集合包括多个样本图像，各个样本图像分别有对应的样本识别结果；

预测模块，用于将所述样本图像集合分别输入到至少两个图像识别模型中，得到各个图像识别模型分别输出的第一预测结果；

融合模块，用于将各所述第一预测结果融合，得到第二预测结果；

训练模块，用于基于样本识别结果和第二预测结果对所述初始集成模型进行至少一次训练操作，直至符合预设训练条件，将符合预设训练条件的初始集成模型作为训练好的集成模型；

其中，所述训练操作包括：

11.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。