CN111860840A

CN111860840A - 深度学习模型训练方法、装置、计算机设备及存储介质

Info

Publication number: CN111860840A
Application number: CN202010736381.5A
Authority: CN
Inventors: 吕杨
Original assignee: Shanghai United Imaging Healthcare Co Ltd
Current assignee: Shanghai United Imaging Healthcare Co Ltd
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2020-10-30
Anticipated expiration: 2040-07-28
Also published as: CN111860840B

Abstract

本申请涉及一种深度学习模型训练方法、装置、计算机设备及存储介质，其中该方法包括构建初始深度学习模型，初始深度学习模型的损失函数包括多个子损失函数，多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关；将初始深度学习模型转化为具有多个同等结构的克隆模型，且每个克隆模型对应一个子损失函数；分别对每一克隆模型进行训练，得到多个训练完备的克隆模型；根据每一训练完备的克隆模型对应的权重系数，将多个训练完备的克隆模型的输出数据进行加权组合，得到训练完备的深度学习模型，解决了相关技术中子损失函数的权重难以确定以及复合损失函数模型使用灵活性较差的问题。

Description

深度学习模型训练方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种深度学习模型训练方法、装置、计算机设备及存储介质。

背景技术

在机器学习中，损失函数(loss function)是衡量深度学习模型的输出和目标结果之间差异的指标。机器学习算法以最小化损失函数为目标进行模型的训练。损失函数的选择依赖于参数数量、机器学习算法、梯度下降的效率、导数求取的难易等等。根据机器学习的任务的不同，损失函数有不同的设计。在图像处理中最常用的损失函数包括：均方误差，即L2损失，它定义为预测值与目标值之间差值的平方和；平均绝对误差，即L1损失，它定义为预测值与目标值之间差绝对值的和；结构相似性误差，即SSIM损失，它将图像的结构信息定义为独立于亮度、对比度的属性，并将失真建模为亮度、对比度和结构三个要素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的估计。

在实际的应用场景中，单个损失函数往往不能满足需求，研究者倾向于使用复合损失函数，复合损失函数由多个子损失函数组合而成。复合损失函数用多个指标对模型的输出做了约束，使结果更符合预期。但是，由于复合函数内部的子损失函数的权重系数往往难以确定，需要根据经验人为设定，且复合损失函数模型中子损失函数的权重一旦确定后，该复合损失函数模型只能针对固定场景使用，使用灵活性较差。

发明内容

本申请提供一种深度学习模型训练方法、装置、计算机设备及存储介质，以至少解决相关技术中子损失函数的权重难以确定以及复合损失函数模型使用灵活性较差的问题。

第一方面，本申请实施例提供了一种深度学习模型训练方法，所述方法包括：

构建初始深度学习模型，所述初始深度学习模型的损失函数包括多个子损失函数，所述多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关；

将所述初始深度学习模型转化为具有多个同等结构的克隆模型，且每个所述克隆模型对应一个所述子损失函数；

分别对每一所述克隆模型进行训练，得到多个训练完备的克隆模型；

根据每一训练完备的所述克隆模型对应的权重系数，将多个训练完备的所述克隆模型的输出数据进行加权组合，得到训练完备的深度学习模型。

在其中一些实施例中，所述分别对每一所述克隆模型进行训练，得到多个训练完备的克隆模型包括：

将训练样本分别输入至每一所述克隆模型；

通过误差反向传播更新每一所述克隆模型的参数，直至误差收敛，得到多个训练完备的克隆模型。

在其中一些实施例中，多个训练完备的所述克隆模型对应的权重系数之和为1。

在其中一些实施例中，所述方法还包括：

根据所述子损失函数的类型，对至少一个训练完备的所述克隆模型对应的所述权重系数进行调整，改变训练完备的深度学习模型的输出结果。

在其中一些实施例中，所述根据所述子损失函数的类型，对至少一个训练完备的所述克隆模型对应的权重系数进行调整，改变训练完备的深度学习模型的输出结果包括：

在预先存储的权重系数组合库中选择与目标处理结果对应的权重系数组合；所述权重系数组合库中包括多个权重系数组合以及所述权重系数组合对应的输出结果。

根据所述子损失函数的类型，通过选择方式或数据输入方式调整训练完备的所述克隆模型对应的权重系数。

第二方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取待处理数据；

将所述待处理数据分别输入至上述的多个训练完备的克隆模型；

根据每一训练完备的所述克隆模型对应的权重系数，将多个训练完备的所述克隆模型的输出数据进行加权处理，得到处理结果。

第三方面，本申请实施例提供了一种深度学习模型训练装置，所述装置包括：

构建模块，用于构建初始深度学习模型，所述初始深度学习模型的损失函数包括多个子损失函数，所述多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关；

转化模块，用于将所述初始深度学习模型转化为具有多个同等结构的克隆模型，且每个所述克隆模型对应一个所述子损失函数；

训练模块，用于分别对每一所述克隆模型进行训练，得到多个训练完备的克隆模型；

组合模块，用于将多个训练完备的所述克隆模型的输出端进行加权组合，得到训练完备的深度学习模型。

第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的深度学习模型训练方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的深度学习模型训练方法。

相比于相关技术，本申请提供的深度学习模型训练方法、装置以及数据处理方法、计算机设备和可读存储介质，通过构建初始深度学习模型，所述初始深度学习模型的损失函数包括多个子损失函数，所述多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关；将所述初始深度学习模型转化为具有多个同等结构的克隆模型，且每个所述克隆模型对应一个所述子损失函数；分别对每一所述克隆模型进行训练，得到多个训练完备的克隆模型；根据每一训练完备的所述克隆模型对应的权重系数，将多个训练完备的所述克隆模型的输出数据进行加权组合，得到训练完备的深度学习模型，解决了相关技术中多个子损失函数的权重难以确定以及复合损失函数模型使用灵活性较差的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为一个实施例提供的深度学习模型训练方法的流程图；

图2为一个实施例提供的将初始深度学习模型转化为具有多个同等结构的克隆模型的结构示意图；

图3为一个实施例提供的Encoder-Decoder深度学习降噪模型的结构示意图；

图4为一个实施例提供的数据处理方法的流程图；

图5为一个实施例中深度学习模型训练装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本发明实施例所提供的深度学习模型的训练方法可应用于深度学习模型的训练装置，其中，该深度学习模型的训练装置运行于电子设备中。在具体应用中，该电子设备可以为：终端设备或服务器。

图1为一实施例提供的深度学习模型训练方法的流程图，如图1所示，深度学习模型训练方法包括步骤110至步骤140，其中：

步骤110，构建初始深度学习模型，初始深度学习模型的损失函数包括多个子损失函数，多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关。

初始深度学习模型的神经网络构架可以是卷积神经网络(Convolutional NeuralNetworks，简称为CNN)，例如全卷积神经网络(Fully Convolutional Neural Network，简称为FCN)，或者是基于FCN的变形架构U-Net卷积神经网络、基于多层神经元的自编码神经网络或者深度置信神经网络等其他的深度学习人工神经网络构架。

以卷积神经网络为例进行说明，卷积神经网络包括：输入层、卷积层、归一化层、池化层、全连接层、损失层和输出层。其中：

输入层用于数据的输入。

卷积层用于进行特征提取和特征映射。低卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。

归一化层用于把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。

池化层用于对数据做下采样，对多尺度数据特征进行学习分类，提高模型分类辨识度，并提供了非线性，减少模型参数数量，减少过拟合问题。

全连接层用于在CNN的尾部进行重新拟合，减少特征信息的损失。

损失层接受两个输入，其中的一个是CNN的预测值，另一个是真实值。损失层将这两个输入进行一系列运算，得到当前网络的损失函数的值。深度学习的目的是在权值空间中找到让损失函数最小的权值。正确的损失函数，可以起到让预测值一直逼近真实值的效果，当预测值和真实值相等时，损失值最小。

输出层用于输出结果。

本申请中的初始深度学习模型的损失层包括多个子损失函数，且多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关。

在实际的应用场景中，单个损失函数往往不能满足需求，目前通常倾向于使用复合损失函数，复合损失函数由多个子损失函数组合而成。

以图像降噪为例。典型Encoder-Decoder深度学习降噪模型设计如图2所示。

其中Input为输入的高噪声图像，Output为输出的低噪声图像。虚线连接在不同层之间形成残差网络。

该网络的损失函数表示为：

其中：

这三个子损失函数分别用于噪声抑制、图像边界保持及图像结构相似性保持。

需要说明的是，初始深度学习模型的损失函数包括两个、四个等数量的子损失函数，子损失函数的数量可以根据实际情况选择，本实施例不作具体限定。

可以理解的是，复合损失函数采用多个参数指标对深度学习模型的输出进行了约束，使深度学习模型的输出结果更加符合预期。但是，由于复合损失函数包含了多个子损失函数，多个子损失函数对应不同的评价指标，若使得深度学习模型的输出结果更加符合预期，需要合理设置多个子损失函数之间的权重系数。

步骤120，将初始深度学习模型转化为具有多个同等结构的克隆模型，且每个克隆模型对应一个子损失函数。

由于初始深度学习模型的损失层为具有多个子损失函数的复合损失函数，本实施例根据子损失函数的数量，将初始深度学习模型转化为具有多个同等结构的克隆模型，且每个克隆模型对应一个子损失函数。如图3所示，初始深度学习模型的损失层为：u(∑λ_iL_i)，λ_i为复合损失函数中序号为i的子损失函数的权重系数，L_i为复合损失函数中序号为i的子损失函数，i为子损失函数的序号。将初始深度学习模型转化得到i个具有同等结构的克隆模型，每个克隆模型对应一个子损失函数。初始深度学习模型的损失层转化为克隆模型的损失函数和克隆模型的输出数据，包括：u(L₁)和Output_1、u(L₂)和Output_2......u(L_i)和Output_i。

步骤130，分别对每一克隆模型进行训练，得到多个训练完备的克隆模型。

步骤140，根据每一训练完备的克隆模型对应的权重系数，将多个训练完备的克隆模型的输出数据进行加权组合，得到训练完备的深度学习模型。

对每个克隆模型单独进行训练，训练完成后，得到多个训练完备的克隆模型，每个克隆模型单独输出数据，将克隆模型的数据进行加权组合，得到训练完备的完整的深度学习模型。

具体实施方式举例如下，参考图2：

复制Encoder-Decoder深度学习降噪模型为三个结构相同的克隆模型u₁、u₂和u₃；u₁的子损失函数设为L₁，u₂的子损失函数设为L₂，u₃的子损失函数设为L₃；分别对克隆模型u₁、u₂和u₃进行训练；对克隆模型训练完成后，将高噪声图像分别输入至训练完备的u₁、u₂和u₃，经过克隆模型的处理得到输出图像f₁、f₂和f₃；将f₁、f₂和f₃进行加权求和，得到最终结果即：

f＝μ₁f₁+μ₃f₂+μ₃f₃，μ₁+μ₂+μ₃＝1 (5)

本申请通过对每个克隆模型单独进行训练，训练完成后，对每个克隆模型单独输出的数据进行加权组合，得到训练完备的完整的深度学习模型。与现有技术相比，本申请通过将单模型复合损失函数转化为复合模型单损失函数的形式，从而将子损失函数权重系数的设置与模型训练的过程独立，在对应单个子损失函数的克隆模型训练完备后，只需要根据使用场景的需要，单独调整对应克隆模型的权重系数即可使深度学习模型的输出符合用户需求的数据，从而在用户不同需求时无需再次对模型进行训练，提高了复合损失函数模型使用的灵活性，同时避免了深度学习模型的复合损失函数中子损失函数之间权重系数难以确定的问题。

在其中一些实施例中，分别对每一克隆模型进行训练，得到多个训练完备的克隆模型包括：

将训练样本分别输入至每一克隆模型；

通过误差反向传播更新每一克隆模型的参数，直至误差收敛，得到多个训练完备的克隆模型。

在其中一些实施例中，多个训练完备的克隆模型对应的权重系数之和为1。

训练样本可以包括待处理数据和目标数据，目标数据为目标处理结果。具体地，将训练样本分别输入至每一克隆模型，得到每一克隆模型对待处理数据的实际处理结果，计算每一克隆模型输出的实际处理结果与对应的目标处理结果的误差，根据差异程度调整克隆模型的参数。通过不断地迭代对克隆模型的参数进行调整，使实际处理结果和对应目标处理结果尽可能小，从而使克隆模型的处理结果更接近真实目标，得到训练完备的多个克隆模型。

在一实施方式中，可以从分类和回归两方面衡量检测结果和对应目标区域差异，分类误差可以使用交叉熵损失函数，回归误差可以使用Smooth L1损失函数。

需要说明的是，在训练过程中，也可以在迭代次数达到预设次数时完成训练过程。预设次数可以根据实际情况进行选取，本实施例不作具体限定。当迭代次数达到预设次数时，说明此时模型已经具备良好的特征提取和检测的能力，停止模型参数更新操作，即可以得到训练完备的多个克隆模型。

在其中一些实施例中，深度学习模型训练方法还包括：根据子损失函数的类型，对至少一个训练完备的克隆模型对应的权重系数进行调整，改变训练完备的深度学习模型的输出结果。

参考图2，本实施例将模型的输入等价的分配到每个克隆模型，单独对同等结构的克隆模型进行训练，可以得到多个训练完备的克隆模型。多个训练完备的克隆模型对应的子损失函数的权重系数开放给模型的使用者，根据使用者的需要进行权重系数的调整。具体地，在数据处理时，只需要调整多个训练完备的克隆模型对应的子损失函数之间的权重系数即可得到不同需求的处理结果，不再需要对整个深度学习模型进行重复训练，从而提高了深度学习模型的灵活性和便利性。

在其中一些实施例中，根据子损失函数的类型，对至少一个训练完备的克隆模型对应的权重系数进行调整，改变训练完备的深度学习模型的输出结果包括：

在预先存储的权重系数组合库中选择与目标处理结果对应的权重系数组合；权重系数组合库中包括多个权重系数组合以及权重系数组合对应的输出结果。

本实施例预先将权重系数组合以及权重系数组合对应的输出结果进行存储，使用者在得到每一训练完备的克隆的模型的输出结果后，根据实际需要在权重系数组合库中直接选择对应的权重系数组合，得到满足需求的处理结果。例如，权重系数组合可以是μ₁＝0.2,μ₂＝0.6,μ₃＝0.2，在该设定下深度学习模型的输出结果偏向噪声抑制；权重系数组合也可以是μ₁＝0.2,μ₂＝0.2,μ₃＝0.6，在该设定下深度学习模型的输出结果偏向结构相似性保持。通过上述选择权重系数的方法可以提高数据处理效率。

根据子损失函数的类型，通过选择方式或数据输入方式调整训练完备的克隆模型对应的权重系数。

克隆模型的输出图像f₁、f₂和f₃可同时展示给用户，用户可以通过子损失函数的类型，调整对应子损失函数的权重系数。例如，若用户期望深度模型的输出结果偏向结构相似性，则将与图像结构相似性保持参数相关的子损失函数L₃的权重系数调高，对应其他子损失函数的权重系数调低。权重系数的具体调整方式可以是通过滑条滑动选择，也可以是通过数据输入的方式设置子损失函数的大小或其他交互方式让用户按实际需要调整加权系数，具体调整方式本实施例不作限定。

本实施例将子损失函数的权重系数的设置权限开放给模型的使用者，使用者可以根据实际需求调整权重系数，调整权重系数可直接改变最终结果，从而无需再次对模型进行训练，模型的使用灵活性更高。

本申请还提供一种数据处理方法，所述方法包括步骤410至步骤430；其中：

步骤410，获取待处理数据；

步骤420，将所述待处理数据分别输入至上述的多个训练完备的克隆模型；

步骤430，根据每一训练完备的所述克隆模型对应的权重系数，将多个训练完备的所述克隆模型的输出数据进行加权处理，得到处理结果。

本申请提供的数据处理方法，只需要根据需要采用对应的权重系数即可以得到满足需求的处理结果，使用更加灵活，提高了数据处理的效率。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在一个实施例中，如图5所示，提供了一种深度学习模型训练装置，包括：构建模块510、转化模块520、训练模块530和组合模块540，其中：

构建模块510，用于构建初始深度学习模型，初始深度学习模型的损失函数包括多个子损失函数，多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关；

转化模块520，用于将初始深度学习模型转化为具有多个同等结构的克隆模型，且每个克隆模型对应一个子损失函数；

训练模块530，用于分别对每一克隆模型进行训练，得到多个训练完备的克隆模型；

组合模块540，用于将多个训练完备的克隆模型的输出端进行加权组合，得到训练完备的深度学习模型。

本实施例提供的深度学习模型训练装置，包括构建模块510、转化模块520、训练模块530和组合模块540，通过构建模块510，用于构建初始深度学习模型，初始深度学习模型的损失函数包括多个子损失函数，多个子损失函数中的至少一个与图像噪声抑制、图像边界保持以及图像结构相似性保持三个参数中的一个参数相关；转化模块520，用于将初始深度学习模型转化为具有多个同等结构的克隆模型，且每个克隆模型对应一个子损失函数；训练模块530，用于分别对每一克隆模型进行训练，得到多个训练完备的克隆模型；组合模块540，用于将多个训练完备的克隆模型的输出端进行加权组合，得到训练完备的深度学习模型。上述装置通过将单模型复合损失函数转化为复合模型单损失函数的形式，从而将子损失函数权重系数的设置与模型训练的过程独立，在对应单个子损失函数的克隆模型训练完备后，只需要根据使用场景的需要，单独调整对应克隆模型的权重系数即可使深度学习模型的输出符合用户需求的数据，从而在用户不同需求时无需再次对模型进行训练，提高了复合损失函数模型使用的灵活性，同时避免了深度学习模型的复合损失函数中子损失函数之间权重系数难以确定的问题。

在其中一些实施例中，训练模块530还用于：将训练样本分别输入至每一克隆模型；通过误差反向传播更新每一克隆模型的参数，直至误差收敛，得到多个训练完备的克隆模型。

在其中一些实施例中，深度学习模型训练装置还包括调整模块，用于根据子损失函数的类型，对至少一个训练完备的克隆模型对应的权重系数进行调整，改变训练完备的深度学习模型的输出结果。

在其中一些实施例中，调整模块还用于在预先存储的权重系数组合库中选择与目标处理结果对应的权重系数组合；权重系数组合库中包括多个权重系数组合以及权重系数组合对应的输出结果。

在其中一些实施例中，调整模块还用于根据子损失函数的类型，通过选择方式或数据输入方式调整训练完备的克隆模型对应的权重系数。

关于深度学习模型训练装置的具体限定可以参见上文中对于深度学习模型训练方法的限定，在此不再赘述。上述深度学习模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

另外，结合图1描述的本申请实施例深度学习模型训练方法可以由计算机设备来实现。图6为根据本申请实施例的计算机设备的硬件结构示意图。

计算机设备可以包括处理器61以及存储有计算机程序指令的存储器62。

具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器62所执行的可能的计算机程序指令。

处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种深度学习模型训练方法。

在其中一些实施例中，计算机设备还可包括通信接口63和总线60。其中，如图6所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。

通信接口63用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口63还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线60包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该计算机设备可以基于获取到的程序指令，执行本申请实施例中的深度学习模型训练方法，从而实现结合图1描述的深度学习模型训练方法。

另外，结合上述实施例中的深度学习模型训练方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种深度学习模型训练方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种深度学习模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述分别对每一所述克隆模型进行训练，得到多个训练完备的克隆模型包括：

将训练样本分别输入至每一所述克隆模型；

3.根据权利要求1所述的方法，其特征在于，多个训练完备的所述克隆模型对应的权重系数之和为1。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述子损失函数的类型，对至少一个训练完备的所述克隆模型对应的权重系数进行调整，改变训练完备的深度学习模型的输出结果包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述子损失函数的类型，对至少一个训练完备的所述克隆模型对应的权重系数进行调整，改变训练完备的深度学习模型的输出结果包括：

7.一种数据处理方法，其特征在于，所述方法包括：

获取待处理数据；

将所述待处理数据分别输入至权利要求1至6任一项所述的多个训练完备的克隆模型；

8.一种深度学习模型训练装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。