CN115170833A - 任务模型迁移方法及装置、计算机可读存储介质、终端 - Google Patents

Abstract

一种任务模型迁移方法及装置计算机可读存储介质、终端，所述方法包括：获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数；确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；基于第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，得到迁移后任务模型。上述方案可以在降低运算或研发复杂度、提高效率的基础上对任务模型实现有效迁移。

Description

任务模型迁移方法及装置、计算机可读存储介质、终端

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种任务模型迁移方法及装置、计算机可读存储介质、终端。

背景技术

用于提升图像画质的深度学习任务中，有些任务和图像的色彩空间具有明显的相关性，如色调映射、风格迁移等任务，该类任务一般应用在RGB色彩空间，而有些任务的输入数据或输出结果所处的色彩空间可能会是YUV色彩空间或其他类型色彩空间(以下称为目标域色彩空间)，此时目标域色彩空间和任务模型所处的源域色彩空间(也是训练所述任务模型的样本图像所处的色彩空间)不一致，此种情况下如果直接将处于RGB空间的图像输入该任务模型，由于输入图像与任务模型的色彩空间不一致，可能无法得到准确、有效的输出结果，造成任务模型的性能下降。

在现有技术中，往往采取如下几种解决方案：

第一种，直接将输入数据的色彩空间(目标域色彩空间)转换至任务模型所处的色彩空间(源域色彩空间)后输入任务模型，再将任务模型的输出结果从源域色彩空间转化至目标域色彩空间，此种方案将带来较大的运算开销和时间成本；

第二种，修改任务模型或者损失函数，即在原有的任务模型基础上修改模型的组成结构和参数等，如修改卷积层参数、激活函数等等，或者在原来的损失函数的基础上添加参数或者增加一个新的损失函数，或者逐个尝试全新的任务模型来完成任务，根据输出效果选定合适的任务模型，上述方案均存在较大的不确定性，成本高、耗时长。

因此，亟需一种任务模型迁移方法，可以在降低运算或研发复杂度、提高效率的基础上对任务模型实现有效迁移，使得迁移后任务模型能适应处于目标域色彩空间的输入数据，并提高输出结果的准确性。

发明内容

本发明实施例实现的目的之一是在降低运算或研发复杂度、提高效率的基础上对任务模型实现有效迁移，使得迁移后任务模型能适应处于目标域色彩空间的输入数据，并提高输出结果的准确性。

为实现上述目的，本发明实施例提供一种任务模型迁移方法，包括以下步骤：获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，所述第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。

可选的，在采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练之前，所述方法还包括：确定所述目标域色彩空间图像。

可选的，所述确定所述目标域色彩空间图像包括：获取作为所述原始训练数据的所述源域色彩空间图像；将所述源域色彩空间图像进行色彩空间转换，以得到所述目标域色彩空间图像。

可选的，所述源域色彩空间与所述目标域色彩空间不同，并满足以下一项或多项：所述源域色彩空间选自：RGB色彩空间、YUV色彩空间、HSB色彩空间、LAB色彩空间；所述目标域色彩空间选自：RGB色彩空间、YUV色彩空间、HSB色彩空间、LAB色彩空间。

可选的，所述第一损失函数选自以下任一项：L1损失函数、L2损失函数、均方MSE损失函数。

可选的，所述确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值包括：根据所述源域色彩通道与所述目标域色彩通道之间的色彩空间转换矩阵，确定所述目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值。

可选的，采用下述色彩空间转换矩阵，确定所述各个目标域色彩通道的损失函数的目标域权重值：

其中，r₁，r₂……r_n用于指示所述源域色彩空间的各个源域色彩通道的损失函数的源域权重值，r_{1_new}，r_{2_new}……r_{n_new}用于指示所述目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，R用于指示所述色彩空间转换矩阵。

可选的，所述源域色彩空间的每个源域色彩通道的损失函数是根据所述源域色彩空间的多个像素点在该源域色彩通道的标签值以及在该源域色彩通道的像素值确定的。

可选的，所述采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数包括：采用所述目标域色彩空间的多个像素点在每个目标域色彩通道的标签值和像素值，分别替换所述源域色彩空间的多个像素点在每个源域色彩通道的标签值和像素值，从而得到各个目标域色彩通道的损失函数；基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数。

可选的，所述目标域色彩空间的多个像素点与所述源域色彩空间的多个像素点一致。

可选的，所述源域色彩空间的每个源域色彩通道的损失函数均为L1损失函数：

其中，loss()为L1损失函数，用于指示所述源域色彩通道的损失函数，f()用于指示所述任务模型，x_i用于指示第i个像素点在所述源域色彩通道的像素值，并作为所述任务模型的输入数据，f(x_i)是将x_i输入所述任务模型后的输出结果，y_i用于指示第i个像素点在所述源域色彩通道上的标签值，n用于指示像素点个数。

可选的，采用下述公式，基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数：

Loss＝r₁×loss₁+r₂×loss₂+…+r_n×loss_n；

Loss_new＝r_{1_new}×loss_{1_new}+r_{2_new}×loss_{2_new}+…+r_{m_new}×loss_{m_new}；

其中，Loss用于指示所述第一损失函数，loss₁，loss₂……loss_n用于指示所述源域色彩空间的各个源域色彩通道的损失函数，r₁，r₂……r_n用于指示各个源域色彩通道的损失函数的源域权重值，Loss_new用于指示所述第二损失函数，loss_{1_new}，loss_{2_new}……loss_{m_new}用于指示所述目标域色彩空间的各个目标域域色彩通道的损失函数，r_{1_new}，r_{2_new}……r_{m_new}用于指示各个目标域色彩通道的损失函数的目标域权重值。

本发明实施例还提供一种任务模型迁移装置，包括：源域色彩空间损失函数获取模块，用于获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；目标域色彩空间损失函数确定模块，用于确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，所述第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；模型训练模块，用于基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任务模型迁移方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任务模型迁移方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例中，获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数；基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。采用上述方案，相比于现有技术在解决任务模型所处的源域色彩空间与输入数据/输出结果所处的目标域色彩空间不一致问题时，往往采用先将输入数据迁移至源域色彩空间进行任务模型应用，然后再将输出结果迁移至目标域色彩空间的方法，运算开销大、耗时长；或者直接修改任务模型或者损失函数结构或参数，或者逐个尝试全新的任务模型的方法，存在较大的不确定性，成本高、耗时也长。本发明实施例直接基于第一损失函数的表达式以及所述目标域权重值构建第二损失函数，也即在第一损失函数的一级表达式及其中的各个源域色彩通道的损失函数自身的二级表达式均保持不变的基础上构建得到第二损失函数，然后基于所述第二损失函数，采用目标域色彩空间图像作为训练数据重新训练任务模型，从而可以在降低运算或研发复杂度、提高效率的基础上对任务模型实现有效迁移，使得迁移后任务模型能适应处于目标域色彩空间的输入数据，并提高输出结果的准确性。

进一步，所述采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数包括：采用所述目标域色彩空间的多个像素点在每个目标域色彩通道的标签值和像素值，分别替换所述源域色彩空间的多个像素点在每个源域色彩通道的标签值和像素值，从而得到各个目标域色彩通道的损失函数；基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数。在本发明实施例中，第二损失函数的一级表达式和其中各个目标域色彩通道的二级表达式均与第一损失函数的一级表达式和其中各个源域色彩通道的二级表达式相同，在基于第二损失函数训练所述任务模型的过程中，直接以及表达式和各个二级表达式中的输入参数进行替换，可以大幅降低运算和研发复杂度及开销，提高模型迁移的效率，使得迁移后任务模型能可以输出准确、有效的结果。

附图说明

图1是本发明实施例中一种任务模型迁移方法的流程图；

图2是图1中步骤S12的一种具体实施方式的流程图；

图3是本发明实施例中一种任务模型迁移装置的结构示意图。

具体实施方式

如前所述，在图像处理技术领域，用于提升图像画质的深度学习任务中，可能会由于输入图像/输出结果的色彩空间(目标域色彩空间)与任务模型的色彩空间(源域色彩空间)不一致，导致无法得到准确、有效的输出结果，造成任务模型的性能下降。

在现有技术中，往往采取如下几种解决方案：第一种是直接将输入数据的色彩空间(目标域色彩空间)转换至任务模型所处的色彩空间(源域色彩空间)后输入任务模型，再将任务模型的输出结果转换至目标域色彩空间，此种方案将带来较大的运算开销和时间成本；第二种是修改任务模型或者损失函数，即在原有的任务模型基础上修改模型的组成结构和参数等，或者在原来的损失函数的基础上添加参数或者增加一个新的损失函数，或者逐个尝试全新的任务模型来完成任务，根据输出效果选定合适的任务模型，上述方案均存在较大的不确定性，成本高、耗时长。

在本发明实施例中，获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数；基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。采用上述方案，相比于现有技术在解决任务模型所处的源域色彩空间与输入数据/输出结果所处的目标域色彩空间不一致问题时，往往采用先将输入数据迁移至源域色彩空间进行任务模型应用，然后再将输出结果迁移至目标域色彩空间的方法，运算开销大、耗时长；或者直接修改任务模型或者损失函数结构或参数，或者逐个尝试全新的任务模型的方法，存在较大的不确定性，成本高、耗时也长。本发明实施例直接基于第一损失函数的表达式以及所述目标域权重值构建第二损失函数，也即在第一损失函数的一级表达式及其中的各个源域色彩通道的损失函数自身的二级表达式均保持不变的基础上构建得到第二损失函数，然后基于所述第二损失函数，采用目标域色彩空间图像作为训练数据重新训练任务模型，从而可以在降低运算或研发复杂度、提高效率的基础上对任务模型实现有效迁移，使得迁移后任务模型能适应处于目标域色彩空间的输入数据，并提高输出结果的准确性。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细说明。

参照图1，图1是本发明实施例中一种任务模型迁移方法的流程图。所述方法可以包括步骤S11至步骤S13：

步骤S11：获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；

步骤S12：确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，所述第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；

步骤S13：基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。

在步骤S11的具体实施中，所述任务模型可以是图像处理技术领域用于实现图像处理的机器学习模型，例如用于提升图像画质的深度学习任务模型，包括但不限于深度估计、超分辨率、色调映射、风格迁移等任务模型。

可以理解的是，有些深度学习任务和色彩空间具有明显的相关性，如色调映射、风格迁移等任务一般应用在RGB色彩空间，直接迁移至其他颜色空间如YUV色彩空间时，往往会导致模型效果的降低，造成模型性能的下降。造成模型性能下降的原因之一可以是损失函数约束不够。例如，以RGB色彩空间为源色彩空间、YUV色彩空间为目标域色彩空间，以L1损失函数(以下称L1loss)作为示例损失函数，在RGB域色彩空间，可将L1Loss进行如下表示：

Loss_RGB＝1/3×LR+1/3×LG+1/3×LB；

其中，LR代表在R通道的L1Loss，LG代表在G通道的L1Loss，LB代表在B通道的L1Loss。

同理，在YUV域色彩空间，可将L1loss进行如下表示：

Loss_YUV＝1/3×LY+1/3×LU+1/3×LV；

其中，LY代表在Y通道的L1Loss，LU代表在U通道的L1Loss，LV代表在V通道的L1Loss；

当把RGB和YUV的数值都缩放至[0-255]的范围内时，其转换公式一般为：

Y＝0.299R+0.587G+0.114B；

U＝-0.169R-0.331G+0.500B+128；

V＝0.500R-0.419G-0.081B+128；

若将模型直接迁移至YUV域色彩空间时，由YUV域色彩空间Loss_YUV表达式和色彩空间转换公式可以推知，其损失函数可表示为：

Loss_YUV＝1/3×0.63×LR-1/3×0.163×LG+1/3×0.538×LB；

从上述公式可以看出，由于将图像迁移至YUV域色彩空间，导致对原RGB色彩空间不同通道的约束不再一致。由于权重越高，约束越强，对于具有相似权重的R通道和B通道，我们可以认为约束是一致的，而对于G通道，由于权重大幅度降低，因此会出现约束变弱的情况，这可能是造成模型效果降低的重要原因。

在具体实施中，所述第一损失函数可以根据所述任务模型唯一确定。在一些非限制性的实施例中，所述第一损失函数可以选自以下任一项：L1损失函数、L2损失函数、均方MSE损失函数，但并不限于此。在具体实施中，需要迁移的任务模型的不同，所述第一损失函数可能不同。

进一步，所述源域色彩空间与所述目标域色彩空间不同，并满足以下一项或多项：所述源域色彩空间选自：RGB色彩空间、YUV色彩空间、HSB色彩空间、LAB色彩空间；所述目标域色彩空间选自：RGB色彩空间、YUV色彩空间、HSB色彩空间、LAB色彩空间；但并不限于上述列举的色彩空间，在具体实施中，执行的图像处理任务(深度学习任务)不同，所述源域色彩空间(或目标域色彩空间)可能是其他不同的色彩空间类型。

在步骤S12的具体实施中，第二损失函数是采用第一损失函数的表达式构建的，其中，第一损失函数的表达式可以用于表示所述源域色彩空间的各个源域色彩通道的损失函数的加权运算。

具体地，第一损失函数的表达式可以包含一级表达式和二级表达式，所述一级表达式用于表示加权运算，二级表达式用于表示待加权运算的具体参数(如各个源域色彩通道的损失函数)。

以所述加权运算为加权求和运算为例，非限制性的，可以采用下述公式表示所述一级表达式：

或者，

Loss＝r₁×loss₁+r₂×loss₂+…+r_n×loss_n；

其中，第一表达式中的变量参数为r₁至r_n以及loss₁至loss_n，可以根据具体需求确定变量参数的值或变量参数的表达式(又称为二级表达式)，r₁至r_n用于表示第一损失函数中各个源域色彩通道的损失函数的源域权重值，loss₁至loss_n用于表示各个源域色彩通道的损失函数。

非限制性的，可以采用下述公式表示所述二级表达式，也即各个源域色彩通道的损失函数的表达式：

其中，在确定函数f(x)的基础上，二级表达式中的变量参数为x_i以及y_i，可以根据具体需求确定变量参数的值或变量参数的表达式(又称为三级表达式)，x_i用于指示第i个像素点在所述源域色彩通道的像素值，y_i用于指示第i个像素点在所述源域色彩通道上的标签值，n用于指示像素点个数。

在具体实施中，还可以采用其他适当的表达式表示各个源域色彩通道的损失函数，并不限于上述公式。

在本发明实施例中，通过直接采用第一损失函数中包含的两级表达式构建第二损失函数，相当于省略了在大量可选的损失函数类型中通过分析、运算确定适当的损失函数类型(即确定适当的二级表达式)的过程，以及省略了在大量可选的基于各个源域色彩通道的损失函数构建第二损失函数的构建方式中通过分析、运算确定适当的构建表达式(即确定适当的一级表达式)的过程，可以有效降低研发复杂度，提高运算效率。

进一步，所述确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值包括：根据所述源域色彩通道与所述目标域色彩通道之间的色彩空间转换矩阵，确定所述目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值。

进一步，可以采用下述色彩空间转换矩阵，确定所述各个目标域色彩通道的损失函数的目标域权重值：

其中，r₁，r₂……r_n用于指示所述源域色彩空间的各个源域色彩通道的损失函数的源域权重值，r_{1_new}，r_{2_new}……r_{n_new}用于指示所述目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，R用于指示所述色彩空间转换矩阵。

作为一个非限制性的实施例，将所述色彩空间转换矩阵通过色彩空间转换公式可以表达为：

B＝1.164(Y-16)+2.108(U-128)；

G＝1.164(Y-16)-0.183(V-128)-0.391(U-128)；

R＝1.164(Y-16)+1.596(V-128)；

上述公式可以是对步骤S11中示例性描述的YUV色彩空间转换至RGB色彩空间的转换公式(转换矩阵)进行矩阵逆运算确定的。

在步骤S13的具体实施中，作为所述新训练数据的目标域色彩空间图像的色彩空间与作为所述原始训练数据的源域色彩空间图像的色彩空间不同，而与所述任务模型的待处理任务中输入的图像和/或输出的结果的色彩空间一致。

进一步，在采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练之前，所述方法还包括：确定所述目标域色彩空间图像。

更进一步地，所述确定所述目标域色彩空间图像包括：获取作为所述原始训练数据的所述源域色彩空间图像；将所述源域色彩空间图像进行色彩空间转换，以得到所述目标域色彩空间图像。

需要指出的是，在具体实施中，所述新训练数据并不限于基于所述原始训练数据进行色彩空间转换得到所述目标域色彩空间图像，还可以采取图像处理技术领域中，可以应用于所述任务模型的深度学习任务的其他处于目标域色彩空间的样本图像作为所述新训练数据训练所任务模型，本发明实施例对此不做限制。

在本发明实施例中，采用前文及步骤S11至步骤S13中描述的方案，相比于现有技术在解决任务模型所处的源域色彩空间与输入数据/输出结果所处的目标域色彩空间不一致问题时，往往采用先将输入数据迁移至源域色彩空间进行任务模型应用，然后再将输出结果迁移至目标域色彩空间的方法，运算开销大、耗时长；或者直接修改任务模型或者损失函数结构或参数，或者逐个尝试全新的任务模型的方法，存在较大的不确定性，成本高、耗时也长。本发明实施例直接基于第一损失函数的表达式以及所述目标域权重值构建第二损失函数，也即在第一损失函数的一级表达式及其中的各个源域色彩通道的损失函数自身的二级表达式均保持不变的基础上构建得到第二损失函数，然后基于所述第二损失函数，采用目标域色彩空间图像作为训练数据重新训练任务模型，从而可以在降低运算或研发复杂度、提高效率的基础上对任务模型实现有效迁移，使得迁移后任务模型能适应处于目标域色彩空间的输入数据，并提高输出结果的准确性。

参照图2，图2是图1中步骤S12的一种具体实施方式的流程图。所述采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数可以包括步骤S21至步骤S22，以下对各个步骤进行说明。

在步骤S21中，采用所述目标域色彩空间的多个像素点在每个目标域色彩通道的标签值和像素值，分别替换所述源域色彩空间的多个像素点在每个源域色彩通道的标签值和像素值，从而得到各个目标域色彩通道的损失函数。

需要指出的是，在具体实施中，构成所述第一损失函数的每个源域色彩通道的损失函数是根据所述源域色彩空间的多个像素点在该源域色彩通道的标签值以及在该源域色彩通道的像素值确定的。

具体而言，根据所述源域色彩空间的多个像素点在每个源域色彩通道的标签值以及在该源域色彩通道的像素值确定该源域色彩通道的损失函数包括：确定所述源域色彩空间的多个像素点在该源域色彩通道的像素值输入所述任务模型后的函数输出值(任务模型的输出结果)；基于所述多个像素点在该源域色彩通道的标签值与函数输出值的差值确定所述第一损失函数。

例如，可以对多个像素点在该源域色彩通道的标签值与函数输出值的差值的绝对值进行平均或加权运算确定所述源域色彩通道的损失函数。

作为一个非限制性的实施例，所述源域色彩空间的每个源域色彩通道的损失函数均为L1损失函数：

其中，loss()为L1损失函数，用于指示所述源域色彩通道的损失函数，f()用于指示所述任务模型，x_i用于指示第i个像素点在所述源域色彩通道的像素值，并作为所述任务模型的输入数据，f(x_i)是将x_i输入所述任务模型后的输出结果，y_i用于指示第i个像素点在所述源域色彩通道上的标签值，n用于指示像素点个数。

在一些具体实施方式中，所述目标域色彩空间的多个像素点与所述源域色彩空间的多个像素点一致。

在另一些具体实施方式中，由于所述源域色彩空间的各个源域色彩通道的损失函数的函数值和所述目标域色彩空间的各个目标域色彩通道的损失函数的函数值，均可以采用多个像素点的运算值均值确定(例如L1损失函数)，因此是否采用相同的像素点，甚至是否采用相同数量的像素点对损失函数的函数值影响有限，因此，在具体运算过程中，所述目标域色彩空间的多个像素点与所述源域色彩空间的多个像素点可以不一致。

在步骤S22中，基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数。

进一步，可以采用下述公式，基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数：

Loss＝r₁×loss₁+r₂×loss₂+…+r_n×loss_n；

Loss_new＝r_{1_new}×loss_{1_new}+r_{2_new}×loss_{2_new}+…+r_{m_new}×loss_{m_new}；

其中，Loss用于指示所述第一损失函数，loss₁，loss₂……loss_n用于指示所述源域色彩空间的各个源域色彩通道的损失函数，r₁，r₂……r_n用于指示各个源域色彩通道的损失函数的源域权重值，Loss_new用于指示所述第二损失函数，loss_{1_new}，loss_{2_new}……loss_{m_new}用于指示所述目标域色彩空间的各个目标域域色彩通道的损失函数，r_{1_new}，r_{2_new}……r_{m_new}用于指示各个目标域色彩通道的损失函数的目标域权重值。

在本发明实施例中，所述第二损失函数的一级表达式和其中各个目标域色彩通道的二级表达式均与所述第一损失函数的一级表达式和其中各个源域色彩通道的二级表达式相同，在基于第二损失函数训练所述任务模型的过程中，直接以及表达式和各个二级表达式中的输入参数进行替换，可以省略在大量可选的损失函数类型中通过分析、运算确定适当的损失函数类型(即确定适当的二级表达式)的过程，以及省略了在大量可选的第二损失函数的构建方式中通过分析、运算确定适当的构建表达式(即确定适当的一级表达式)的过程，从而可以大幅降低运算和研发复杂度及开销，提高模型迁移的效率，并且实现迁移后任务模型能可以输出准确、有效的结果。

在具体实施中，有关步骤S21至步骤S22的更多详细内容请参照前文以及图1中的步骤描述进行执行，此处不再赘述。

参照图3，图3是本发明实施例中一种任务模型迁移装置的结构示意图。所述任务模型迁移装置可以包括：

源域色彩空间损失函数获取模块31，用于获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；

目标域色彩空间损失函数确定模块32，用于确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，所述第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；

模型训练模块33，用于基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。

关于该任务模型迁移装置的原理、具体实现和有益效果请参照前文及图1至图2示出的关于任务模型迁移方法的相关描述，此处不再赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任务模型迁移方法的步骤。所述计算机可读存储介质可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现场可编程门阵列(fieldprogrammable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，简称DR RAM)。

本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任务模型迁移方法的步骤。所述终端可以包括但不限于手机、计算机、平板电脑等终端设备，还可以为服务器、云平台等。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种任务模型迁移方法，其特征在于，包括：

获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；

确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，所述第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；

基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。

2.根据权利要求1所述的方法，其特征在于，在采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练之前，所述方法还包括：

确定所述目标域色彩空间图像。

3.根据权利要求2所述的方法，其特征在于，所述确定所述目标域色彩空间图像包括：

获取作为所述原始训练数据的所述源域色彩空间图像；

将所述源域色彩空间图像进行色彩空间转换，以得到所述目标域色彩空间图像。

4.根据权利要求1所述的方法，其特征在于，所述源域色彩空间与所述目标域色彩空间不同，并满足以下一项或多项：

所述源域色彩空间选自：RGB色彩空间、YUV色彩空间、HSB色彩空间、LAB色彩空间；

所述目标域色彩空间选自：RGB色彩空间、YUV色彩空间、HSB色彩空间、LAB色彩空间。

5.根据权利要求1所述的方法，其特征在于，所述第一损失函数选自以下任一项：

L1损失函数、L2损失函数、均方MSE损失函数。

6.根据权利要求1所述的方法，其特征在于，所述确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值包括：

根据所述源域色彩通道与所述目标域色彩通道之间的色彩空间转换矩阵，确定所述目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值。

7.根据权利要求6所述的方法，其特征在于，采用下述色彩空间转换矩阵，确定所述各个目标域色彩通道的损失函数的目标域权重值：

其中，r₁，r₂……r_n用于指示所述源域色彩空间的各个源域色彩通道的损失函数的源域权重值，r_{1_new}，r_{2_new}……r_{n_new}用于指示所述目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，R用于指示所述色彩空间转换矩阵。

8.根据权利要求1所述的方法，其特征在于，所述源域色彩空间的每个源域色彩通道的损失函数是根据所述源域色彩空间的多个像素点在该源域色彩通道的标签值以及在该源域色彩通道的像素值确定的。

9.根据权利要求8所述的方法，其特征在于，所述采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数包括：

采用所述目标域色彩空间的多个像素点在每个目标域色彩通道的标签值和像素值，分别替换所述源域色彩空间的多个像素点在每个源域色彩通道的标签值和像素值，从而得到各个目标域色彩通道的损失函数；

基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数。

10.根据权利要求9所述的方法，其特征在于，所述目标域色彩空间的多个像素点与所述源域色彩空间的多个像素点一致。

11.根据权利要求9所述的方法，其特征在于，所述源域色彩空间的每个源域色彩通道的损失函数均为L1损失函数：

其中，loss()为L1损失函数，用于指示所述源域色彩通道的损失函数，f()用于指示所述任务模型，x_i用于指示第i个像素点在所述源域色彩通道的像素值，并作为所述任务模型的输入数据，f(x_i)是将x_i输入所述任务模型后的输出结果，y_i用于指示第i个像素点在所述源域色彩通道上的标签值，n用于指示像素点个数。

12.根据权利要求9所述的方法，其特征在于，采用下述公式，基于所述第一损失函数的表达式，对所得到的各个目标域色彩通道的损失函数及其对应的目标域权重值进行加权运算，得到所述第二损失函数：

Loss＝r₁×loss₁+r₂×loss₂+…+r_n×loss_n；

Loss_new＝r_{1_new}×loss_{1_new}+r_{2_new}×loss_{2_new}+…+r_{m_new}×loss_{m_new}；

其中，Loss用于指示所述第一损失函数，loss₁，loss₂……loss_n用于指示所述源域色彩空间的各个源域色彩通道的损失函数，r₁，r₂……r_n用于指示各个源域色彩通道的损失函数的源域权重值，Loss_new用于指示所述第二损失函数，loss_{1_new}，loss_{2_new}……loss_{m_new}用于指示所述目标域色彩空间的各个目标域域色彩通道的损失函数，r_{1_new}，r_{2_new}……r_{m_new}用于指示各个目标域色彩通道的损失函数的目标域权重值。

13.一种任务模型迁移装置，其特征在于，包括：

源域色彩空间损失函数获取模块，用于获取采用源域色彩空间图像作为原始训练数据对所述任务模型进行训练时的第一损失函数，所述第一损失函数是所述源域色彩空间的各个源域色彩通道的损失函数的加权运算结果；目标域色彩空间损失函数确定模块，用于确定目标域色彩空间的各个目标域色彩通道的损失函数的目标域权重值，采用所述第一损失函数的表达式以及所述目标域权重值构建第二损失函数，其中，所述第一损失函数的表达式包含由源域色彩空间的各个源域色彩通道的损失函数构成所述第一损失函数的一级表达式以及各个源域色彩通道的损失函数的二级表达式；

模型训练模块，用于基于所述第二损失函数，采用目标域色彩空间图像作为新训练数据对所述任务模型进行训练，直至所述第二损失函数收敛时停止训练，得到迁移后任务模型。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至12任一项所述任务模型迁移方法的步骤。

15.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至12任一项所述任务模型迁移方法的步骤。

Images