CN112927319B - 模型训练方法、图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了模型训练方法、图像处理方法、装置、设备及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案为：将待上色样本图像输入特征抽取模型，利用特征抽取模型输出待上色样本图像的图像特征；将待上色样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色样本图像的第一轮廓信息；将待上色样本图像的图像特征和第一轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的样本图像；利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。本公开实施例可提升图像轮廓边缘的处理效果，提供逼真自然的上色效果。

Description

模型训练方法、图像处理方法、装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域。

背景技术

在图像处理技术中，通常是针对特定的图像处理任务训练一个神经网络模型，利用训练好的神经网络模型对图像进行分割、上色等处理。但现有技术中图像上色效果不够真实自然，对图像轮廓的边缘处理的效果不够理想。例如，在经过上色处理得到的彩色图像中，不同物体边界之间往往存在容易串色的问题。

发明内容

本公开提供了一种模型训练方法、图像处理方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种模型训练方法，包括：

将待上色样本图像输入特征抽取模型，利用特征抽取模型输出待上色样本图像的图像特征；

将待上色样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色样本图像的第一轮廓信息；

将待上色样本图像的图像特征和第一轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的样本图像；

利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

根据本公开的另一方面，提供了一种图像处理方法，包括：

将待上色图像输入特征抽取模型，利用特征抽取模型输出待上色图像的图像特征；

将待上色图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色图像的第三轮廓信息；

将待上色图像的图像特征和第三轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的图像。

根据本公开的另一方面，提供了一种模型训练装置，包括：

第一抽取单元，用于将待上色样本图像输入特征抽取模型，利用特征抽取模型输出待上色样本图像的图像特征；

第一分割单元，用于将待上色样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色样本图像的第一轮廓信息；

第一处理单元，用于将待上色样本图像的图像特征和第一轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的样本图像；

训练单元，用于利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

根据本公开的另一方面，提供了一种图像处理装置，包括：

第三抽取单元，用于将待上色图像输入特征抽取模型，利用特征抽取模型输出待上色图像的图像特征；

第三分割单元，用于将待上色图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色图像的第三轮廓信息；

第二处理单元，用于将待上色图像的图像特征和第三轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的图像。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的图像处理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的图像处理方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的图像处理方法。

上述申请中的一个实施例具有如下优点或有益效果：通过对轮廓信息进行监督，可提升图像轮廓边缘的处理效果，避免发生边界串色问题，能够提供更加逼真自然的图像上色效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的模型训练方法的流程图；

图2是根据本公开另一实施例的模型训练方法的流程图；

图3是根据本公开另一实施例的模型训练方法的训练流程示意图；

图4是根据本公开另一实施例的图像处理方法的流程图；

图5是根据本公开另一实施例的图像处理方法的流程图；

图6是根据本公开一实施例的模型训练装置的示意图；

图7是根据本公开另一实施例的模型训练装置的示意图；

图8是根据本公开一实施例的图像处理装置的示意图；

图9是用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开一实施例的模型训练方法的流程图。参见图1，该模型训练方法具体可包括：

步骤S110，将待上色样本图像输入特征抽取模型，利用特征抽取模型输出待上色样本图像的图像特征；

步骤S120，将待上色样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色样本图像的第一轮廓信息；

步骤S130，将待上色样本图像的图像特征和第一轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的样本图像；

步骤S140，利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

在图像处理的相关技术中，可针对特定的图像处理任务训练一个神经网络模型对图像进行分割、上色等处理。以图像上色任务为例，相关技术中利用训练好的神经网络模型得到的彩色图像中，不同物体边界之间往往存在容易串色的问题。

本公开实施例提供了一种模型训练方法。首先利用特征抽取模型和轮廓分割模型得到待上色样本图像的图像特征和第一轮廓信息，然后将待上色样本图像的图像特征和轮廓信息作为图像处理模型的输入信息，并利用轮廓监督信息监督待上色样本图像的第一轮廓信息，对图像处理模型、特征抽取模型和轮廓分割模型进行训练。利用训练好的模型对待上色图像进行处理，可以使得图像轮廓的边缘处理得更好，避免边界串色问题。

在步骤S110中，利用特征抽取模型对待上色样本图像进行处理，得到待上色样本图像的图像特征。其中，待上色样本图像的图像特征可以包括语义特征或颜色特征。颜色特征可以包括颜色渐变特征和阴影特征中的至少一种。

在步骤S120中，利用轮廓分割模型对步骤S110得到的待上色样本图像的图像特征进行处理，得到待上色样本图像的第一轮廓信息。其中，第一轮廓信息可以包括待上色样本图像中的各个目标实例的轮廓mask(掩膜)。图像中的各个目标实例可包括图像中的物体、场景和/或人物等。图像处理中的掩膜包括利用选定的图像、图形或物体，对处理的图像的全部或局部进行遮挡，通过遮挡控制图像处理的区域或处理过程。本公开实施例中，将图像中的各个目标实例的轮廓边缘所在的图像区域作为掩膜区域。

在步骤S130中，利用图像处理模型对步骤S110得到的待上色样本图像的图像特征和步骤S120得到的第一轮廓信息进行处理，得到上色处理后的样本图像。在相关技术中仅将轮廓信息作为图像处理模型的输入信息，对图像进行上色处理。但是从轮廓信息中无法捕捉到颜色渐变和阴影等特征，使得上色处理后的图像不够自然逼真。从图像特征中可以获得颜色渐变和阴影等特征，但是图像特征对图像边缘的敏感度较弱，仅将图像特征作为图像处理模型的输入信息对图像进行上色处理，也无法得到理想的上色效果。本公开实施例中，将待上色样本图像的图像特征和第一轮廓信息作为图像处理模型的输入信息，使得图像处理模型可以准确捕捉到轮廓信息以及颜色渐变和阴影等特征，从而可以得到自然逼真的图像上色效果。

在步骤S140中，可预先获取待上色样本图像对应的轮廓标注信息，作为轮廓分割模型的理想输出信息。将待上色样本图像对应的轮廓标注信息作为第一轮廓信息的轮廓监督信息，对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。如果轮廓分割模型得到的第一轮廓信息与轮廓标注信息之间存在较大的差异，可以根据该差异对特征抽取模型、轮廓分割模型和图像处理模型中的参数进行微调，在通过多次反向传播后，可以得到上述各个模型的最优参数组合。本公开实施例中，利用轮廓监督信息对第一轮廓信息进行监督，使得上色处理后的图像的轮廓边缘处理得更好，可避免边界串色问题。

本公开实施例中的特征抽取模型、轮廓分割模型和图像处理模型都可以是机器学习模型，例如神经网络模型、深度学习模型等。

本公开实施例中，通过对轮廓信息进行监督，可提升图像轮廓边缘的处理效果，避免发生边界串色问题，能够提供更加逼真自然的图像上色效果。

在一种实施方式中，待上色样本图像的图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

在一个示例中，待上色样本图像的图像特征可以包括待上色样本图像的语义特征。图像的语义特征包括可反映图像内容的可直观理解的用文本或语言表达的信息。例如语义特征可包括图像中的物体、场景和/或人物等。在一个示例中，利用特征抽取模型得到的待上色样本图像的语义特征为：图像的内容包括一棵大树和三只小鸟。

在另一个示例中，待上色样本图像的图像特征也可以包括颜色特征。颜色特征可以包括颜色渐变特征和阴影特征中的至少一种。本公开实施例中，可利用特征抽取模型抽取待上色样本图像的颜色渐变特征和阴影特征。例如可抽取黑白图像中的灰度信息以获取图像的颜色渐变特征和阴影特征。利用特征抽取模型抽取得到的图像特征也称为图像的深层特征。抽取到图像的深层特征后，将上述特征输入图像处理模型，使得图像处理模型可以准确捕捉到语义特征以及颜色渐变和阴影等特征，从而使得上色处理后的图像颜色过渡自然，视觉效果更加真实。

在一种实施方式中，上述方法还包括：

利用待上色样本图像对应的彩色图像监督信息对上色处理后的样本图像进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

在这种实施方式中，可预先获取待上色样本图像对应的彩色图像监督信息，作为图像处理模型的理想输出信息。将待上色样本图像对应的彩色图像监督信息作为上色处理后的样本图像的监督信息，对上色处理后的样本图像进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。如果图像处理模型得到的上色处理后的样本图像与彩色图像监督信息之间存在较大的差异，可以根据该差异对特征抽取模型、轮廓分割模型和图像处理模型中的参数进行微调，在通过多次反向传播后，可以得到上述各个模型的最优参数组合。

本公开实施例中，利用彩色图像监督信息对上色处理后的样本图像进行监督，使得上色处理后的图像的视觉效果更加真实自然。

在一种实施方式中，利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练，包括：

根据轮廓监督信息与第一轮廓信息的差异，利用反向传播算法更新特征抽取模型、轮廓分割模型和图像处理模型的模型参数。

通常情况下，对于一个没有经过训练的神经网络模型而言，模型参数可以是初始化时的赋值。前向传播的过程是根据神经网络模型的输入信息得到输出信息的过程。前向传播得到的输出信息和预先设置的神经网络模型的监督信息之间通常是有差异的。可以在反向传播的过程中更新神经网络模型的模型参数以减少输出信息和监督信息之间的差异。例如，神经网络模型的模型参数可以包括权重矩阵。可利用反向传播算法得到一个使得上述差异最小的权重矩阵，将该权重矩阵作为神经网络模型最终的权重矩阵。

本公开实施例中，在反向传播的过程中，轮廓监督信息与第一轮廓信息的差异可以作为更新模型参数的依据，特征抽取模型、轮廓分割模型和图像处理模型的学习在模型参数更新过程中完成。上述差异达到预先设定的期望值时，各个模型的训练过程结束。

本公开实施例中，根据轮廓监督信息与第一轮廓信息的差异利用反向传播算法更新模型参数，使得训练好的模型对图像轮廓的边缘处理得更好，可避免发生边界串色问题。

图2是根据本公开另一实施例的模型训练方法的流程图。如图2所示，在一种实施方式中，上述方法还包括：

步骤S132，将上色处理后的样本图像输入特征抽取模型，利用特征抽取模型输出上色处理后的样本图像的图像特征；

步骤S134，将上色处理后的样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出上色处理后的样本图像的第二轮廓信息。

在步骤S132中，利用特征抽取模型对上色处理后的样本图像进行处理，得到上色处理后的样本图像的图像特征。在步骤S120中，利用轮廓分割模型对步骤S132得到的上色处理后的样本图像的图像特征进行处理，得到待上色处理后的样本图像的第二轮廓信息。其中，第二轮廓信息可以包括上色处理后的样本图像中的各个目标实例的轮廓mask(掩膜)。图像中的各个目标实例可包括图像中的物体、场景和/或人物等。

参见图2，本公开实施例的模型训练过程中，首先在步骤S110和步骤S120中利用特征抽取模型和轮廓分割模型得到待上色样本图像的图像特征和第一轮廓信息。在步骤S130中得到上色处理后的样本图像之后，再在步骤S132和步骤S134中利用特征抽取模型和轮廓分割模型对上色处理后的样本图像进行处理，得到上色处理后的样本图像的图像特征和第二轮廓信息。将步骤S132、步骤S134与步骤S110、步骤S120对比可知，在步骤S120中得到待上色样本图像的第一轮廓信息，在步骤S134中得到上色处理后的样本图像的第二轮廓信息。在步骤S140中也可以同时对第一轮廓信息和第二轮廓信息进行监督，以进一步提升图像轮廓边缘的处理效果，使得训练好的模型对图像轮廓的边缘处理得更好。

本公开实施例中，获取第二轮廓信息之后，可利用轮廓监督信息同时监督待上色样本图像的第一轮廓信息以及上色处理后的样本图像的第二轮廓信息，使得上色效果具有轮廓语义上的一致性，使得训练好的模型对图像轮廓的边缘处理得更好，可避免发生边界串色问题。

在一种实施方式中，图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。其中，图像特征包括待上色样本图像的图像特征和上色处理后的样本图像的图像特征。

上色处理后的样本图像的图像特征可以包括上色处理后的样本图像的语义特征。例如语义特征可包括图像中的物体、场景和/或人物等。

在另一个示例中，上色处理后的样本图像的图像特征也可以包括颜色特征。颜色特征可以包括颜色渐变特征和阴影特征中的至少一种。本公开实施例中，可利用特征抽取模型抽取上色处理后的样本图像的颜色渐变特征和阴影特征。例如可抽取彩色图像中的颜色信息以获取图像的颜色渐变特征和阴影特征。利用特征抽取模型抽取得到的图像特征也称为图像的深层特征。

本公开实施例中，利用特征抽取模型抽取图像特征，使得在后续处理过程中图像处理模型可以准确捕捉到图像的颜色渐变和阴影等特征，从而可以得到自然逼真的图像上色效果。

在一种实施方式中，利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练，还包括：

利用待上色样本图像对应的轮廓监督信息对第一轮廓信息和第二轮廓信息进行监督；

根据轮廓监督信息与第一轮廓信息的差异，以及轮廓监督信息与第二轮廓信息的差异，利用反向传播算法更新特征抽取模型、轮廓分割模型和图像处理模型的模型参数。

在一个示例中，在反向传播的过程中，轮廓监督信息与第二轮廓信息的差异可以作为更新模型参数的依据，特征抽取模型、轮廓分割模型和图像处理模型的学习在模型参数更新过程中完成。

在另一个示例中，在反向传播的过程中，可将轮廓监督信息与第一轮廓信息的差异，以及轮廓监督信息与第二轮廓信息的差异，作为更新模型参数的依据。例如，可根据以上两个差异的值构造损失函数，利用损失函数对特征抽取模型、轮廓分割模型和图像处理模型进行训练，更新特征抽取模型、轮廓分割模型和图像处理模型的模型参数。经过多次迭代的过程，使得损失函数收敛，则反向传播算法可以结束，各个模型的训练过程结束。

本公开实施例中，根据轮廓监督信息与第一轮廓信息的差异，以及轮廓监督信息与第二轮廓信息的差异，利用反向传播算法更新模型参数，使得上色效果具有轮廓语义上的一致性，可以进一步提升图像轮廓边缘的处理效果，使得训练好的模型对图像轮廓的边缘处理得更好，可避免发生边界串色问题。

图3是根据本公开另一实施例的模型训练方法的训练流程示意图。如图3所示，本公开实施例中，在模型训练过程中，将待上色样本图像输入特征抽取模块。在特征抽取模块中，利用特征抽取模型输出待上色样本图像的深层特征。将待上色样本图像的深层特征输入语义轮廓分割模块，在语义轮廓分割模块中，利用轮廓分割模型对待上色样本图像的轮廓和语义进行分析，输出待上色样本图像的第一轮廓信息。将待上色样本图像的深层特征和第一轮廓信息输入基于语义掩膜(mask)的图像上色模块。在图像上色模块中，利用图像处理模型输出上色处理后的样本图像。

参见图3，在得到上色处理后的样本图像之后，将上色处理后的样本图像输入特征抽取模块。在特征抽取模块中，利用特征抽取模型输出上色处理后的样本图像的深层特征。将上色处理后的样本图像的深层特征输入语义轮廓分割模块，在语义轮廓分割模块中，利用轮廓分割模型输出所述上色处理后的样本图像的第二轮廓信息。

参见图3，在上述模型训练过程中，利用待上色样本图像对应的轮廓监督信息同时对第一轮廓信息和第二轮廓信息进行监督，利用待上色样本图像对应的彩色图像监督信息对上色处理后的样本图像进行监督，利用反向传播算法对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

图4是根据本公开另一实施例的图像处理方法的流程图。参见图4，该图像处理方法具体可包括：

步骤S410，将待上色图像输入特征抽取模型，利用特征抽取模型输出待上色图像的图像特征；

步骤S420，将待上色图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色图像的第三轮廓信息；

步骤S430，将待上色图像的图像特征和第三轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的图像。

在步骤S410中，利用特征抽取模型对待上色图像进行处理，得到待上色图像的图像特征。其中，待上色图像的图像特征可以包括语义特征或颜色特征。颜色特征可以包括颜色渐变特征和阴影特征中的至少一种。

在步骤S420中，利用轮廓分割模型对步骤S410得到的待上色图像的图像特征进行处理，得到待上色图像的第三轮廓信息。其中，第三轮廓信息可以包括待上色图像中的各个目标实例的轮廓mask(掩膜)。图像中的各个目标实例可包括图像中的物体、场景和/或人物等。

在步骤S430中，利用图像处理模型对步骤S410得到的待上色图像的图像特征和步骤S420得到的第三轮廓信息进行处理，得到上色处理后的图像。在相关技术中仅将轮廓信息作为图像处理模型的输入信息，对图像进行上色处理。但是从轮廓信息中无法捕捉到颜色渐变和阴影等特征，使得上色处理后的图像不够自然逼真。从图像特征中可以获得颜色渐变和阴影等特征，但是图像特征对图像边缘的敏感度较弱，仅将图像特征作为图像处理模型的输入信息对图像进行上色处理，也无法得到理想的上色效果。

本公开实施例中，将待上色图像的图像特征和第三轮廓信息作为图像处理模型的输入信息，使得图像处理模型可以准确捕捉到轮廓信息以及颜色渐变和阴影等特征，从而可以得到自然逼真的图像上色效果。

在一种实施方式中，图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。其中，图像特征包括待上色图像的图像特征和上色处理后的图像的图像特征。

本公开实施例中，可利用特征抽取模型抽取待上色图像的颜色渐变特征和阴影特征。例如可抽取黑白图像中的灰度信息以获取图像的颜色渐变特征和阴影特征。然后将上述特征输入图像处理模型，使得图像处理模型可以准确捕捉到轮廓信息以及颜色渐变和阴影等特征，从而使得上色处理后的图像颜色过渡自然，视觉效果更加真实。

本公开实施例中，还可利用特征抽取模型抽取上色处理后的图像的颜色渐变特征和阴影特征。例如可抽取彩色图像中的颜色信息以获取图像的颜色渐变特征和阴影特征。

利用特征抽取模型抽取得到的图像特征也称为图像的深层特征。关于图像特征可参见上述模型训练方法中的相关描述，在此不再赘述。

本公开实施例中，利用特征抽取模型抽取图像特征，使得在后续处理过程中图像处理模型可以准确捕捉到图像的颜色渐变和阴影等特征，从而可以得到自然逼真的图像上色效果。

在一种实施方式中，特征抽取模型、轮廓分割模型和图像处理模型为采用上述模型训练方法得到的模型。

本公开实施例中，在模型训练过程中通过对轮廓信息进行监督，可提升图像轮廓边缘的处理效果，避免发生边界串色问题，能够提供更加逼真自然的图像上色效果。

再参见图2及图3所示的实施例，在模型训练过程中利用轮廓监督信息同时监督待上色样本图像的轮廓信息以及上色处理后的样本图像的轮廓信息，使得上色效果具有轮廓语义上的一致性，使得训练好的模型对图像轮廓的边缘处理得更好。

图5是根据本公开另一实施例的图像处理方法的流程图。如图5所示，本公开实施例中，在模型使用过程中，将待上色图像输入特征抽取模块。在特征抽取模块中，利用特征抽取模型输出待上色图像的深层特征。将待上色图像的深层特征输入语义轮廓分割模块，在语义轮廓分割模块中，利用轮廓分割模型对待上色图像的轮廓和语义进行分析，输出待上色图像的第三轮廓信息。将待上色图像的深层特征和第三轮廓信息输入基于语义掩膜(mask)的图像上色模块。在图像上色模块中，利用图像处理模型输出上色处理后的图像。

图6是根据本公开一实施例的模型训练装置的示意图。参见图6，该模型训练装置包括：

第一抽取单元610，用于将待上色样本图像输入特征抽取模型，利用特征抽取模型输出待上色样本图像的图像特征；

第一分割单元620，用于将待上色样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色样本图像的第一轮廓信息；

第一处理单元630，用于将待上色样本图像的图像特征和第一轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的样本图像；

训练单元640，用于利用待上色样本图像对应的轮廓监督信息对第一轮廓信息进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

在一种实施方式中，训练单元640还用于：

利用待上色样本图像对应的彩色图像监督信息对上色处理后的样本图像进行监督，以对特征抽取模型、轮廓分割模型和图像处理模型进行训练。

在一种实施方式中，训练单元640用于：

根据轮廓监督信息与第一轮廓信息的差异，利用反向传播算法更新特征抽取模型、轮廓分割模型和图像处理模型的模型参数。

图7是根据本公开另一实施例的模型训练装置的示意图。如图7所示，在一种实施方式中，上述装置还包括：

第二抽取单元650，用于将上色处理后的样本图像输入特征抽取模型，利用特征抽取模型输出上色处理后的样本图像的图像特征；

第二分割单元660，用于将上色处理后的样本图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出上色处理后的样本图像的第二轮廓信息。

在一种实施方式中，训练单元640还用于：

利用待上色样本图像对应的轮廓监督信息对第一轮廓信息和第二轮廓信息进行监督；

根据轮廓监督信息与第一轮廓信息的差异，以及轮廓监督信息与第二轮廓信息的差异，利用反向传播算法更新特征抽取模型、轮廓分割模型和图像处理模型的模型参数。

在一种实施方式中，图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

图8是根据本公开一实施例的图像处理装置的示意图。如图8所示，该图像处理装置包括：

第三抽取单元810，用于将待上色图像输入特征抽取模型，利用特征抽取模型输出待上色图像的图像特征；

第三分割单元820，用于将待上色图像的图像特征输入轮廓分割模型，利用轮廓分割模型输出待上色图像的第三轮廓信息；

第二处理单元830，用于将待上色图像的图像特征和第三轮廓信息输入图像处理模型，利用图像处理模型输出上色处理后的图像。

在一种实施方式中，特征抽取模型、轮廓分割模型和图像处理模型为采用上述任一项的模型训练装置得到的模型。

在一种实施方式中，图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

本公开实施例的模型训练装置、图像处理装置中的各单元的功能可以参见上述各模型训练方法、图像处理方法中的对应描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图9所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理过程，例如模型训练方法或图像处理方法。例如，在一些实施例中，模型训练方法或图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的模型训练方法或图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法或图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的模型训练方法或图像处理方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种模型训练方法，包括：

将待上色样本图像输入特征抽取模型，利用所述特征抽取模型输出所述待上色样本图像的图像特征；

将所述待上色样本图像的图像特征输入轮廓分割模型，利用所述轮廓分割模型输出所述待上色样本图像的第一轮廓信息；

将所述待上色样本图像的图像特征和所述第一轮廓信息输入图像处理模型，利用所述图像处理模型输出上色处理后的样本图像；

利用所述待上色样本图像对应的轮廓监督信息对所述第一轮廓信息进行监督，以对所述特征抽取模型、所述轮廓分割模型和所述图像处理模型进行训练；

其中，利用所述待上色样本图像对应的轮廓监督信息对所述第一轮廓信息进行监督，以对所述特征抽取模型、所述轮廓分割模型和所述图像处理模型进行训练，包括：在对所述待上色样本图像进行上色处理后，利用所述待上色样本图像对应的轮廓监督信息对所述第一轮廓信息和第二轮廓信息进行监督，其中，所述第二轮廓信息为通过所述特征抽取模型和所述轮廓分割模型对所述上色处理后的样本图像进行处理得到的；根据所述轮廓监督信息与所述第一轮廓信息的差异，以及所述轮廓监督信息与所述第二轮廓信息的差异，利用反向传播算法更新所述特征抽取模型、所述轮廓分割模型和所述图像处理模型的模型参数。

2.根据权利要求1所述的方法，所述方法还包括：

利用所述待上色样本图像对应的彩色图像监督信息对所述上色处理后的样本图像进行监督，以对所述特征抽取模型、所述轮廓分割模型和所述图像处理模型进行训练。

3.根据权利要求1所述的方法，所述方法还包括：

将所述上色处理后的样本图像输入特征抽取模型，利用所述特征抽取模型输出所述上色处理后的样本图像的图像特征；

将所述上色处理后的样本图像的图像特征输入轮廓分割模型，利用所述轮廓分割模型输出所述第二轮廓信息。

4.根据权利要求1至3中任一项所述的方法，其中，所述图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

5.一种图像处理方法，包括：

将待上色图像输入特征抽取模型，利用所述特征抽取模型输出所述待上色图像的图像特征；

将所述待上色图像的图像特征输入轮廓分割模型，利用所述轮廓分割模型输出所述待上色图像的第三轮廓信息；

将所述待上色图像的图像特征和所述第三轮廓信息输入图像处理模型，利用所述图像处理模型输出上色处理后的图像，其中，所述特征抽取模型、所述轮廓分割模型和所述图像处理模型为采用权利要求1至4中任一项所述的模型训练方法得到的模型。

6.根据权利要求5所述的方法，其中，所述图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

7.一种模型训练装置，包括：

第一抽取单元，用于将待上色样本图像输入特征抽取模型，利用所述特征抽取模型输出所述待上色样本图像的图像特征；

第一分割单元，用于将所述待上色样本图像的图像特征输入轮廓分割模型，利用所述轮廓分割模型输出所述待上色样本图像的第一轮廓信息；

第一处理单元，用于将所述待上色样本图像的图像特征和所述第一轮廓信息输入图像处理模型，利用所述图像处理模型输出上色处理后的样本图像；

训练单元，用于利用所述待上色样本图像对应的轮廓监督信息对所述第一轮廓信息进行监督，以对所述特征抽取模型、所述轮廓分割模型和所述图像处理模型进行训练；

其中，所述训练单元用于通过执行如下步骤来利用所述待上色样本图像对应的轮廓监督信息对所述第一轮廓信息进行监督，以对所述特征抽取模型、所述轮廓分割模型和所述图像处理模型进行训练：在对所述待上色样本图像进行上色处理后，利用所述待上色样本图像对应的轮廓监督信息对所述第一轮廓信息和第二轮廓信息进行监督，其中，所述第二轮廓信息为通过所述特征抽取模型和所述轮廓分割模型对所述上色处理后的样本图像进行处理得到的；根据所述轮廓监督信息与所述第一轮廓信息的差异，以及所述轮廓监督信息与所述第二轮廓信息的差异，利用反向传播算法更新所述特征抽取模型、所述轮廓分割模型和所述图像处理模型的模型参数。

8.根据权利要求7所述的装置，所述训练单元还用于：

利用所述待上色样本图像对应的彩色图像监督信息对所述上色处理后的样本图像进行监督，以对所述特征抽取模型、所述轮廓分割模型和所述图像处理模型进行训练。

9.根据权利要求7所述的装置，所述装置还包括：

第二抽取单元，用于将所述上色处理后的样本图像输入特征抽取模型，利用所述特征抽取模型输出所述上色处理后的样本图像的图像特征；

第二分割单元，用于将所述上色处理后的样本图像的图像特征输入轮廓分割模型，利用所述轮廓分割模型输出所述第二轮廓信息。

10.根据权利要求7至9中任一项所述的装置，其中，所述图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

11.一种图像处理装置，包括：

第三抽取单元，用于将待上色图像输入特征抽取模型，利用所述特征抽取模型输出所述待上色图像的图像特征；

第三分割单元，用于将所述待上色图像的图像特征输入轮廓分割模型，利用所述轮廓分割模型输出所述待上色图像的第三轮廓信息；

第二处理单元，用于将所述待上色图像的图像特征和所述第三轮廓信息输入图像处理模型，利用所述图像处理模型输出上色处理后的图像，其中，所述特征抽取模型、所述轮廓分割模型和所述图像处理模型为采用权利要求7至10中任一项所述的模型训练装置得到的模型。

12.根据权利要求11所述的装置，其中，所述图像特征包括语义特征、颜色渐变特征和阴影特征中的至少一种。

13. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。