CN114266840A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质。所述方法包括：接收待进行风格变换的原始图像对应的图像修改描述信息；对图像修改描述信息进行语义编码，得到对应的语义编码信息；获取语义编码信息对应的风格特征变化信息；获取原始图像的原始风格特征集合；基于风格特征变化信息对原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合；基于目标风格特征集合生成图像修改描述信息对应的风格变换图像。在本方案中，基于图像修改描述信对应的语义编码信息调整原始风格特征，并生成风格变换图像，无需人工调整图像，有效提高编辑效率，且通过调整风格特征即可修改图像风格，可以降低图像处理成本。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，网络中充斥着大量图像资源，例如图片或由多帧图片构成的视频。为了提升图像资源质量或出于可玩性的需求，用户往往会对图像进行编辑。

在相关技术中，用户可以基于人工方式，借助编辑软件逐一修改图像中待美化的图像内容；也可以基于深度学习模型训练出定制化模型，通过定制化模型达到美化图像的效果。

然而，基于人工的图像编辑费时费力，需要耗费较多的人工成本；基于深度学习模型的图像编辑则需要结合多个单独训练的模型，需花费大量资源进行模型训练，且使用较为不便。可见，上述的图像编辑方式处理效率低。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中图像编辑方式处理效率低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

接收待进行风格变换的原始图像对应的图像修改描述信息；

对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息；

获取所述语义编码信息所对应的风格特征变化信息，所述风格特征变化信息为图像风格所对应的特征变化信息；

获取所述原始图像对应的原始风格特征集合；

基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合；

基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像。

在一示例性实施例中，所述基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合，包括：

基于所述风格特征变化信息对所述原始风格特征集合中的第一原始风格特征进行调整，得到调整后的第一风格特征；所述第一原始风格特征为所述风格特征变化信息所对应的原始风格特征；

将第二原始风格特征以及所述调整后的第一风格特征进行组合，得到所述目标风格特征集合，所述第二原始风格特征为所述原始风格特征集合中所述第一原始风格特征之外的原始风格特征。

在一示例性实施例中，所述获取所述语义编码信息所对应的风格特征变化信息，包括：

获取预先确定的图像变化特征空间和文本语义特征空间之间的映射关系；

将所述语义编码信息作为所述文本语义特征空间中的文本语义特征，基于所述映射关系获取所述文本语义特征在所述图像变化特征空间所对应的图像变化特征；

将所述图像变化特征作为所述风格特征变化信息。

在一示例性实施例中，所述对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息，包括：

将所述图像修改描述信息输入到预先训练得到的语义编码模型中，以基于所述语义编码模型中的语义编码参数对所述图像修改描述信息进行编码，得到所述图像修改描述信息对应的语义编码信息；

所述语义编码模型是基于配对的训练文本以及训练图像进行训练得到的。

在一示例性实施例中，训练得到所述语义编码模型的步骤包括：

获取训练样本，所述训练样本包括第一训练图像和所述第一训练图像配对的训练文本；

将所述训练文本输入到待训练的语义编码模型中进行编码，得到所述训练文本的文本编码特征；

将所述第一训练图像输入到图像编码模型进行编码，得到所述第一训练图像的图像编码特征；

根据所述第一训练图像的图像编码特征和所述训练文本的文本编码特征，确定每一所述第一训练图像与每一所述训练文本之间的第一相似度；所述第一相似度表征图像模态对应的编码特征与文本模态对应的编码特征之间的相似度；

根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值；

根据所述目标损失值调整所述待训练的语义编码模型的模型参数，直到满足训练结束条件，得到已训练的所述语义编码模型。

在一示例性实施例中，所述训练样本为多个，所述根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值，包括：

根据所述第一相似度，得到所述待训练的语义编码模型对应的第一损失值，所述第一损失值与所述第一相似度成负相关关系；

根据第二相似度，得到所述待训练的语义编码模型对应的第二损失值，所述第二损失值与所述第二相似度成正相关关系；所述第二相似度为不同所述训练样本中的训练文本与第一训练文本之间的相似度；

基于所述第一损失值与所述第二损失值，得到所述待训练的语义编码模型对应的所述目标损失值。

在一示例性实施例中，所述原始风格特征集合由预先训练得到的风格特征识别模型基于输入的所述原始图像确定，训练得到所述风格特征识别模型的步骤包括：

获取第二训练图像，将所述第二训练图像输入到待训练的风格特征识别模型，以通过所述待训练的风格特征识别模型获取所述第二训练图像对应的预测风格特征集合；

基于所述预测风格特征集合，生成对应的预测图像；

根据所述预测图像和所述第二训练图像的差异，得到所述待训练的风格特征识别模型对应的第三损失值，所述第三损失值与所述差异成正相关关系；

根据所述第三损失值调整所述待训练的风格特征识别模型的模型参数，直到满足训练结束条件，得到已训练的所述风格特征识别模型。

在一示例性实施例中，在所述接收待进行风格变换的原始图像对应的图像修改描述信息之前，还包括：

获取待处理的视频，并确定所述视频中的目标视频帧，作为所述待进行风格变换的原始图像；

在所述基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像之后，还包括：

基于所述风格变换图像和所述视频中的其他视频帧，得到目标视频；所述其他视频帧为所述视频中所述目标视帧以外的视频帧。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

描述信息获取单元，被配置为执行接收待进行风格变换的原始图像对应的图像修改描述信息；

语义编码单元，被配置为执行对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息；

风格变换确定单元，被配置为执行获取所述语义编码信息所对应的风格特征变化信息，所述风格特征变化信息为图像风格所对应的特征变化信息；

原始特征集合获取单元，被配置为执行获取所述原始图像对应的原始风格特征集合；

目标特征集合获取单元，被配置为执行基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合；

风格变换图像获取单元，被配置为执行基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像。

在一示例性实施例中，所述目标特征集合获取单元，被配置为执行：

基于所述风格特征变化信息对所述原始风格特征集合中的第一原始风格特征进行调整，得到调整后的第一风格特征；所述第一原始风格特征为所述风格特征变化信息所对应的原始风格特征；

将第二原始风格特征以及所述调整后的第一风格特征进行组合，得到所述目标风格特征集合，所述第二原始风格特征为所述原始风格特征集合中所述第一原始风格特征之外的原始风格特征。

在一示例性实施例中，所述风格变换确定单元，被配置为执行：

获取预先确定的图像变化特征空间和文本语义特征空间之间的映射关系；

将所述语义编码信息作为所述文本语义特征空间中的文本语义特征，基于所述映射关系获取所述文本语义特征在所述图像变化特征空间所对应的图像变化特征；

将所述图像变化特征作为所述风格特征变化信息。

在一示例性实施例中，所述语义编码单元，被配置为执行：

将所述图像修改描述信息输入到预先训练得到的语义编码模型中，以基于所述语义编码模型中的语义编码参数对所述图像修改描述信息进行编码，得到所述图像修改描述信息对应的语义编码信息；

所述语义编码模型是基于配对的训练文本以及训练图像进行训练得到的。

在一示例性实施例中，所述装置还包括：

第一训练图像获取单元，被配置为执行获取训练样本，所述训练样本包括第一训练图像和所述第一训练图像配对的训练文本；

训练文本编码单元，被配置为执行将所述训练文本输入到待训练的语义编码模型中进行编码，得到所述训练文本的文本编码特征；

第一训练图像编码单元，被配置为执行将所述第一训练图像输入到图像编码模型进行编码，得到所述第一训练图像的图像编码特征；

第一相似度获取单元，被配置为执行根据所述第一训练图像的图像编码特征和所述训练文本的文本编码特征，确定每一所述第一训练图像与每一所述训练文本之间的第一相似度；所述第一相似度表征图像模态对应的编码特征与文本模态对应的编码特征之间的相似度；

目标损失值获取单元，被配置为执行根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值；

第一参数调整单元，被配置为执行根据所述目标损失值调整所述待训练的语义编码模型的模型参数，直到满足训练结束条件，得到已训练的所述语义编码模型。

在一示例性实施例中，所述训练样本为多个，所述目标损失值获取单元，被配置为执行：

根据所述第一相似度，得到所述待训练的语义编码模型对应的第一损失值，所述第一损失值与所述第一相似度成负相关关系；

根据第二相似度，得到所述待训练的语义编码模型对应的第二损失值，所述第二损失值与所述第二相似度成正相关关系；所述第二相似度为不同所述训练样本中的训练文本与第一训练文本之间的相似度；

基于所述第一损失值与所述第二损失值，得到所述待训练的语义编码模型对应的所述目标损失值。

在一示例性实施例中，所述原始风格特征集合由预先训练得到的风格特征识别模型基于输入的所述原始图像确定，所述装置还包括：

第二训练图像获取单元，被配置为执行获取第二训练图像，将所述第二训练图像输入到待训练的风格特征识别模型，以通过所述待训练的风格特征识别模型获取所述第二训练图像对应的预测风格特征集合；

预测图像生成单元，被配置为执行基于所述预测风格特征集合，生成对应的预测图像；

第三损失值获取单元，被配置为执行根据所述预测图像和所述第二训练图像的差异，得到所述待训练的风格特征识别模型对应的第三损失值，所述第三损失值与所述差异成正相关关系；

第二参数调整单元，被配置为执行根据所述第三损失值调整所述待训练的风格特征识别模型的模型参数，直到满足训练结束条件，得到已训练的所述风格特征识别模型。

在一示例性实施例中，所述装置还包括：

视频获取单元，被配置为执行获取待处理的视频，并确定所述视频中的目标视频帧，作为所述待进行风格变换的原始图像；

所述装置还包括：

视频更新单元，被配置为执行基于所述风格变换图像和所述视频中的其他视频帧，得到目标视频；所述其他视频帧为所述视频中所述目标视帧以外的视频帧。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上任一项所述的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

在本公开的方案中，通过输入图像修改描述信，即可基于对应的语义编码信息调整图像中关联的原始风格特征，并生成对应的风格变换图像，无需通过人工方式对图像内容调整，有效提高图像编辑效率，同时，通过调整图像的风格特征即可修改图像风格，降低了图像处理成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的应用环境图。

图2是根据一示例性实施例示出的一种图像处理方法的流程图。

图3是根据一示例性实施例示出的一种训练语义编码模型的流程图。

图4是根据一示例性实施例示出的一种特征矩阵的示意图。

图5是根据一示例性实施例示出的另一种图像处理方法的流程图。

图6是根据一示例性实施例示出的一种图像处理装置的框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

图8是根据一示例性实施例示出的另一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

随着互联网技术的发展，网络中充斥着大量图像资源，例如图片或由多帧图片构成的视频。为了提升图像资源质量或出于可玩性的需求，用户往往会对图像进行编辑。例如，用户可以对图片中人物的五官或身材等特性进行修改，或者修改图片的背景；类似地，用户可以修改视频中的视频帧，实现修改原始视频的效果。

在相关技术中，用户可以基于人工方式，借助编辑软件逐一修改图像中待美化的图像内容。也可以基于深度学习模型，针对不同的图像类型训练出对应的定制化模型，通过定制化模型达到美化图像的效果，如针对人脸单独训练模型。。

然而，基于人工的图像编辑费时费力，需要耗费较多的人工成本；基于深度学习模型的图像编辑则需要结合多个单独训练的模型，需花费大量资源进行模型训练，且使用较为不变，针对不同类型或不同部位的图像处理，则需要调用匹配的模型进行处理。可见，上述的图像编辑方式处理效率低。

本公开所提供的一种图像处理方法，可以应用于如图1所示的应用环境中。在该应用环境中，终端110通过网络与服务器120进行交互，终端110可以向服务器120发送待处理的图像，由服务器120执行本公开所提供的图像处理方法，对接收到的图像进行处理。当然，本公开中的图像处理方法也可以应用于终端110中，即终端110可以执行本公开的图像处理方法，对存储于终端110中的图像进行处理。

作为一示例，终端110可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，其中，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。

图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，以该方法用于服务器120中，包括以下步骤。

在步骤S210中，接收待进行风格变换的原始图像对应的图像修改描述信息。

作为一示例，风格变换可以是指对原始图像的图像风格进行修改，其中，图像风格可以是图像整体或图像中的对象展现出来的、可见的艺术风格和/或图像特点。

图像修改描述信息可以是通过自然语言表征的信息，具体地，图像修改描述信息可以是用户基于自然语言输入的文本信息或语音信息。图像修改描述信息可以包括拟在图像中展现的图像风格。

在实际应用中，服务器可以获取待进行风格变换原始图像，并接收针对原始图像的图像修改描述信息。

具体例如，用户在确定原始图像进行风格变换后需要展现的图像风格后，可以通过文字输入或语音输入的方式，向终端110发送对应的带有修改意图的图像修改指令。例如，原始图像为关于猫的图像，若用户希望风格变换后，图中的动物可以具有“可爱”这一风格，则可以向终端输入文本或语音“可爱的猫”。响应于用户操作，终端110可以将原始图像和图像修改指令发送到服务器120。

在接收到原始图像和图像修改指令后，若图像修改指令是通过文字输入生成的指令，则服务器可以基于图像修改指令中的文字，得到图像修改描述信息；若图像修改指令是用户输入的语音，则服务器可以对接收到的语音进行语音识别，基于识别出的文本内容获取图像修改描述信息。在本公开中，用户只需要输入图像修改描述信息，即可触发人机交互式的图像修改，无需用户拥有专业的图像处理知识或知悉负责的图像修改参数，大大降低了图像风格变换的处理门槛，同时简单快捷，有效提高图像处理效率。

在步骤S220中，对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息。

作为一示例，语义编码信息可以是表征语义变化情况的信息。

在具体实现中，图像可以通过文本进行描述概括，即可以通过文本表征图像中所包含的信息；相应地，当前获取到的原始图像，以及，通过对原始图像进行风格变换得到的图像，也可以分别通过不同的文本进行描述。针对同一对象或同一内容，在风格变换前后，原始图像和风格变换后在文本表述上的差异，可以确定为原始图像的风格变换方向，即文本内容的差异可以与图像风格的变换情况存在关联。

基于此，在获取到图像修改描述信息后，可以对图像修改描述信息进行语义编码，并基于语义编码的结果，获取图像修改描述信息对应的语义编码信息。

具体而言，由于可能是图像修改描述信息中的部分内容或全部内容表征用户对原始图像的修改意图，例如，针对“可爱的猫”，修改意图可能是“可爱的”，可能是“猫”，也可能是“可爱的猫”整体，服务器在获取图像修改描述信息对应的语义编码信息时，可以获取一参考信息，在对图像修改描述信息进行语义编码、得到对应的语义编码结果后，通过将语义编码结果与参考信息对应的编码结果进行比对，可以获取到图像修改描述信息对应的语义编码信息。当图像中包括多个对象时，也可以预先输入针对多个对象的参考信息，进而在获取到图像修改描述信息后，通过将图像修改描述信息对应的语音编码结果与参考信息对应的编码结果进行比较，根据差异确定出针对多个对象中的一个或多个的语义编码信息。

在步骤S230中，获取所述语义编码信息所对应的风格特征变化信息。

其中，风格特征变化信息为图像风格所对应的特征变化信息，其可以是同一个风格特征的特征变化信息，也可以是多个风格特征的特征变化信息。

具体而言，图像风格可以通过图像对应的一个或多个风格特征确定，其中，风格特征可以是图像中的内容或对象所对应的可见属性的特征，风格特征与可见属性之间可以存在一一对应的关系，即一个风格特征表征一个可见属性的特征。作为一示例，风格特征可以是图像中的对象所对应可见属性的特征，以“人脸”为例，可见属性可以包括以下至少一种：脸型、表情、人脸朝向、发型、人脸肤色、人脸光照；或者，风格特征也可以是图像整体或图像背景所对应的可见属性的特征，例如图像的线条、用色或构图等属性。

由于图像的风格特征直接与图像内容相关，通过改变图像的风格特征则可以对图像的可见属性进行调整，进而达到调整图像风格的效果，因此，在获取到语义编码信息后，可以获取与语义编码信息所对应的风格特征变化信息。

在步骤S240中，获取所述原始图像对应的原始风格特征集合。

在步骤S250中，基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合。

作为一示例，原始风格特征集合可以是原始图像对应的多个原始风格特征所构成的集合。

在具体实现中，可以获取原始图像对应的原始风格特征集合，并基于确定出的风格特征变化信息，对原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合。

在步骤S260中，基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像。

具体地，由于风格特征与图像内容相关联，在获取到调整后的目标风格特征集合后，可以基于目标风格特征集合，生成图像修改描述信息对应的风格变换图像。

上述图像处理方法中，可以接收待进行风格变换的原始图像对应的图像修改描述信息，对图像修改描述信息进行语义编码，得到图像修改描述信息对应的语义编码信息，获取语义编码信息所对应的风格特征变化信息，其中，风格特征变化信息为图像风格所对应的特征变化信息；在获取原始图像对应的原始风格特征集合后，可以基于风格特征变化信息对原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合，基于目标风格特征集合生成图像修改描述信息对应的风格变换图像。在本公开的方案中，通过输入图像修改描述信，即可基于对应的语义编码信息调整图像中关联的原始风格特征，并生成对应的风格变换图像，无需通过人工方式对图像内容调整，有效提高图像编辑效率，同时，通过调整图像的风格特征即可修改图像风格，降低了图像处理成本。

在一示例性实施例中，在步骤S250中，所述基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合，可以包括：

基于所述风格特征变化信息对所述原始风格特征集合中的第一原始风格特征进行调整，得到调整后的第一风格特征；将第二原始风格特征以及所述调整后的第一风格特征进行组合，得到所述目标风格特征集合。

其中，第一原始风格特征为风格特征变化信息所对应的原始风格特征；第二原始风格特征为原始风格特征集合中第一原始风格特征之外的原始风格特征。

具体地，图像风格的变换可能通过改变一种风格特征实现，也可能需要通过改变多种风格特征实现，例如头发的长短或颜色的修改，可以通过改变发型对应的风格特征即可实现，而实现“变老”这一图像风格的变换，则可能同时涉及到发型、肤色、皮肤纹理等多个可见属性对应的风格特征。

基于此，基于语义编码信息确定出的风格特征变化信息，可以是原始风格特征集合中与语义编码信息相关联的第一风格特征所对应的变化信息，进而可以基于风格特征变换信息，对原始风格特征集合中的第一原始风格特征进行调整，得到调整后的第一风格特征。

在对第一原始风格特征进行调整后，可以对原始风格特征集合中的第二原始风格特征以及调整后的第一风格特征进行组合，得到目标风格特征集合。

在本公开中，通过对原始风格特征集合中与风格特征变化信息相关的第一原始风格特征进行调整，并保持与风格特征变化信息不相关的第二原始风格特征不变的情况下，生成目标风格特征集合，能够在精准调整指定的图像风格的同时，保留图像中未指示调整的图像内容，避免改变图像其他的图像风格。

在一示例性实施例中，在步骤S230中，所述获取所述语义编码信息所对应的风格特征变化信息，可以包括：

获取预先确定的图像变化特征空间和文本语义特征空间之间的映射关系；将所述语义编码信息作为所述文本语义特征空间中的文本语义特征，基于所述映射关系获取所述文本语义特征在所述图像变化特征空间所对应的图像变化特征；将所述图像变化特征作为所述风格特征变化信息。

作为一示例，图像变化特征空间可以是风格特征所在的特征空间；文本语义特征空间可以是文本语义特征所在的特征空间。

在实际应用中，图像变化特征空间与文本语义特征空间之间存在映射关系，即当文本语义特征产生Δt的变化时，其所描述的图像也将产生变化，该变化通过图像中的一个或多个风格特征发生相应变化体现，因此，在文本语义特征产生Δt的变化时，图像的风格特征也将产生Δs的变化。

在实际应用中，可以预先确定出图像变化特征空间与文本语义特征空间之间的映射关系，在一示例中，在构建映射关系时，可以获取原始风格特征s1，原始风格特征s1可以生成对应的图像i1,图像i1可以具有对应的文本语义特征t1，当对原始风格特征s1进行Δs的调整，得到调整后的风格特征s2后，也可以获取风格特征s2对应的图像i2和文本语义特征t2，并基于t1和t2得到Δt，进而可以基于Δs和Δt，得到图像变化特征空间和文本语义特征空间之间的映射关系。

在获取到语义编码信息后，可以获取预先确定的映射关系，并将语义编码信息作为文本语义特征空间中的文本语义特征，进而可以基于预先确定的映射关系，获取文本语义特征在图像变化特征空间所对应的图像变化特征，并将图像变化特征作为风格特征变化信息。

在本公开中，可以将语义编码信息作为文本语义特征空间中的文本语义特征，基于映射关系获取文本语义特征在图像变化特征空间所对应的图像变化特征，进而可以将图像变化特征作为风格特征变化信息，能够根据用户输入的文本语义，确定出图像的风格特征所发生的变化，为图像的风格变化提供准确的特征变化指示。

并且，传统技术中可以基于像素点设计相关滤波或像素点转换算法，对图片中的人体关键部位进行处理，达到瘦脸磨皮等美化效果的方式，但该方式因只能针对指定类型的图像或图像中特定部位进行修改，效率低且存在局限性。而本公开中，由于不同的图像都可以提取出反映图像风格的风格特征，而图像处理过程中，基于风格特征变化信息修改原始风格特征集合，即可以基于修改得到的目标风格特征集合生成风格变换图像，使得针对不同的图像，都可以使用本公开的方法进行处理，快速得到风格变换图像，大大提高了模型处理的泛化性，无需训练单独针对不同类型的图片或不同的对象部位专门训练模型，能够同时支持多种修图任务而不需要重新训练模型。

在一示例性实施例中，文本语义特征空间可以是语义编码模型对应的特征空间，即文本语义特征空间中的各个文本语义特征可以通过语义编码模型确定。

在一示例性实施例中，在步骤S220中，所述对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息，可以包括：

将所述图像修改描述信息输入到预先训练得到的语义编码模型中，以基于所述语义编码模型中的语义编码参数对所述图像修改描述信息进行编码，得到所述图像修改描述信息对应的语义编码信息。

其中，语义编码模型是基于配对的训练文本以及训练图像进行训练得到的。

在实际应用中，在获取到图像修改描述信息后，可以将图像修改描述信息输入到预先训练得到的语义编码模型中，语义编码模型是基于配对的训练文本以及训练图像进行训练得到的，通过基于配对的训练文本以及训练图像对语义编码模型进行训练，可以将文本模态的信息融入到图像模态。

在输入图像修改描述信息后，可以基于语义编码模型中的语义编码参数对图像修改描述信息进行编码，得到图像修改描述信息对应的语义编码信息。

具体例如，将图像修改描述信息输入到语义编码模型后，可以通过语义编码模型获取图像修改描述信息对应的第一文本编码特征，第一文本编码特征中可以包括图像修改描述信息中多个分词对应的词向量；并且，还可以将一参考信息预先输入到语义编码模型中，以通过该语义编码模型获取参考信息对应的第二文本编码特征，第二文本编码特征中可以包括参考信息中多个分词对应的词向量，进而可以根据第一文本编码特征和第二文本编码特征之间的差异，得到语义编码信息。其中，参考信息可以是用户输入的参考信息，例如，针对输入的图像修改描述信息“可爱的猫”，用户还以输入“猫”或“可爱的人”作为参考信息。当然，用户也可以不输入参考信息，则可以将预先存储的与图像修改描述信息关联的信息作为参考信息，当然，也可以将空值作为参考信息。

在本公开中，由于语义编码模型是基于配对的训练文本以及训练图像进行训练得到的，通过语义编码模型可以得到带有图像模态的语义编码信息，使文本模态信息参与到图像模态信息的修改中，为后续基于语义编码信息确定对应的风格特征变化信息提供基础。

在一示例性实施例中，如图3所示，训练得到所述语义编码模型的步骤可以包括：

在步骤S310中，获取训练样本。

其中，训练样本可以包括第一训练图像和第一训练图像配对的训练文本。

在实际应用中，可以获取第一训练图像，以及，可以获取和第一训练图像相关联的文本，作为第一训练图像配对的训练文本，由此可以将第一训练图像及其配对的训练文本作为训练样本。

具体地，在获取与第一训练图像配对的训练文本时，可以从网络论坛或社交平台等提供的网络资源或用户上传到社交平台的图像资源或视频资源中，爬取与第一训练图像相关联的文本作为配对的训练文本，例如，可以将第一训练图像对应的标题作为配对的训练文本，也可以从视频资源中获取第一训练图像，并将视频资源对应的字幕或标题作为配对的训练文本，当然，也可以从第一训练图像对应的文案中提取配对的训练文本。

在步骤S320中，将所述训练文本输入到待训练的语义编码模型中进行编码，得到所述训练文本的文本编码特征。

作为一示例，文本编码特征可以是表征文本语义的特征，例如，可以是训练文本对应的编码特征序列，该编码特征序列中可以包含训练文本各个分词对应的特征向量。待训练的语义编码模型可以基于CNN网络(卷积神经网络，Convolutional Neural Networks)或RNN网络(循环神经网络，Recurrent Neural Network)构造得到。

在得到训练文本后，可以将训练文本输入到待训练的语义编码模型中进行编码，得到训练文本对应的文本编码特征。

在步骤S330中，将所述第一训练图像输入到图像编码模型进行编码，得到所述第一训练图像的图像编码特征。

作为一示例，图像编码特征可以是训练图像对应的特征向量，图像编码特征可以表征训练图像的多个图像特征。图像编码特征与图像的风格特征不同，通过图像编码特征表征的多个图像特征相互之间可以存在关联，耦合性较高，相互影响。

具体地，在得到第一训练图像后，可以将第一训练图像输入到图像编码模型中进行编码，得到第一训练图像对应的图像编码特征。

在步骤S340中，根据所述第一训练图像的图像编码特征和所述训练文本的文本编码特征，确定每一所述第一训练图像与每一所述训练文本之间的第一相似度。

其中，第一相似度可以表征图像模态对应的编码特征与文本模态对应的编码特征之间的相似度。具体而言，同一内容可以通过多种模态的信息表示，例如在表达一内容时，可以通过文字、语音或图像进行表述，在本实施例中，第一相似度可以表征图像模态下得到的编码特征，与文本模态下得到的编码特征之间的相似度。

在得到第一训练图像的图像编码特征以及训练文本的文本编码特征后，可以根据图像编码特征和文本编码特征，确定每一第一训练图像和每一训练文本之间的第一相似度。具体例如，图像编码特征和文本编码特征具体可以是特征向量，可以获取图像编码特征和文本编码特征之间的内积，作为第一训练图像和训练文本之间的第一相似度。

在步骤S350中，根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值。

在确定第一相似度后，则可以根据第一相似度确定待训练的语义编码模型对应的目标损失值。具体地，

在步骤S360中，根据所述目标损失值调整所述待训练的语义编码模型的模型参数，直到满足训练结束条件，得到已训练的所述语义编码模型。

在确定目标损失值后，则可以根据目标损失值调整待训练的语义编码模型的模型参数，降低下一次训练过程对应的目标损失值。重复模型训练过程，直到满足训练结束条件，如当前的目标损失值趋于平稳、目标损失值的波动小于阈值，则可以得到已训练的语义编码模型。

在本公开中，可以根据第一训练图像的图像编码特征和训练文本的文本编码特征，确定每一第一训练图像与每一训练文本之间的第一相似度，并根据第一相似度，确定待训练的语义编码模型对应的目标损失值，进而可以根据目标损失值调整待训练的语义编码模型的模型参数，直到满足训练结束条件，得到已训练的语义编码模型。通过本公开的中训练方法，使得语义编码模型生成的文本编码特征与图像编码特征的相似性不当提高，达到将文本模态的信息融入到图像模态的信息中，为后续对图像修改描述信息进行语义编码，并获取语义编码信息所对应的风格特征变化信息，提供基础。

在一示例性实施例中，训练样本可以为多个，在模型训练过程中可以对训练样本的数量(batch)进行调整。在实际应用中，可以获取多个图像和各个图像配对的文本，进而可以对当前得到的图像及其配对的文本进行数据清洗，例如，可以图像和文本对为单位进行清洗，当图像质量低于预设质量要求时，如图像大小或图像清晰度过低时，或者，在文本长度过长、过短(如文本的字符数大于或小于预设的阈值)或者包含特殊字符(如包含预设字符或敏感关键词)时，可以将图像及其配对的文本一起过滤掉，基于过滤后得到的满足数据规范的图像和配对的文本，作为第一训练图像和配对的训练文本。通过数据清洗，可以提高第一训练图像及其配对的训练文本的可靠性，为语义编码模型的准确性提供基础。

当然，为了提高待训练的语义编码模型的模型表达能力，还可以对数据清洗后得到的图像和配对的文本进行数据增强。

具体地，若图像是从视频中得到的，如视频封面，则可以对同一视频进行抽帧处理，如采用以下至少一种抽帧策略从视频中，获取与已得到的图像相类似的图像：均匀抽帧、按照固定帧数间隔抽帧，根据帧间差异抽帧。通过对视频进行抽帧处理，则可以得到视频封面在内的多个视频图像，多个视频图像可以对应同一视频标题。

若图像是直接爬取得到的，则可以对图像进行以下至少一种变换操作，得到变换后的图像：旋转操作、翻转操作、缩放变换、平移变换、尺度变换、噪声扰动、颜色变换、遮挡操作。通过对图像进行不同的变换操作，可以得到图像内容相同或相似度较高多个图像。

而针对图像配对的文本，则可以通过以下至少一种操作实现文本的数据增强：采用近义词替换文本中对应的内容、随机置换邻近的字、中文等价字替换、翻译互转、句式变换(如变换为倒装句)。通过上述操作，可以得到具有相同语义但实际表达方式不同的多个文本。

针对每一对配对的图像和文本，在进行数据增强后，可以对数据增强后得到的多个图像和文本进行配对，得到多个训练样本。当存在多对配对的图像和文本时，通过该方式可以快速得到大量的训练样本，节省人力物力，在扩大训练数据规模的同时，提升训练数据质量，从而提高后续图像处理时得到的风格变换图像的图像质量。

在步骤S350中，所述根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值，可以包括：

根据所述第一相似度，得到所述待训练的语义编码模型对应的第一损失值；根据第二相似度，得到所述待训练的语义编码模型对应的第二损失值；基于所述第一损失值与所述第二损失值，得到所述待训练的语义编码模型对应的所述目标损失值。

其中，第一损失值与第一相似度成负相关关系。第二相似度为不同训练样本中的训练文本与第一训练文本之间的相似度；第二损失值与第二相似度成正相关关系。

在具体实现中，在得到第一相似度后，可以根据第一相似度确定待训练的语义编码模型对应的第一损失值。并且，可以根据不同训练样本中的训练文本和第一训练文本之间的相似度，即根据第二相似度，确定训练的语义编码模型对应的第二损失值，进而可以基于第一损失值和第二损失值，得到待训练的语义编码模型对应的目标损失值。

具体而言，归属于同一训练样本中的训练文本与第一训练图像相互配对，可以视为正样本，由于两者相互配对，正样本中第一训练文本对应的语义编码特征与训练文本对应的文本编码特征可以具有较高的相似度；而不属于不同训练样本中的训练文本与第一训练图像相互之间并不配对，可以视为负样本，由于两者不配对的，则不同训练样本中的训练文本与第一训练文本之间的相似度较低。例如，如图4所示，可以基于多个训练样本，生成特征矩阵。训练文本1、训练文本2……训练文本n输入到语义编码模型后，可以得到对应的文本编码特征T1、T2……Tn；第一训练图像1、第一训练图像2……第一训练图像n输入到语义编码模型后，可以得到对应的图像编码特征I1、I2……In，通过计算各个文本编码特征和语义编码特征对应的内积，可以生成对应的矩阵。

当训练语义编码模型时，对应的目标函数可以最大化正样本的相似度，即最大化第一相似度，同时，最小化负样本的相似度，即最小化第二相似度。由此可以基于第一相似度对应的第一损失值和第二相似度对应的第二损失值确定目标损失值。

在本公开中，可以根据第一相似度，得到待训练的语义编码模型对应的第一损失值，第一损失值与第一相似度成负相关关系；同时，可以根据第二相似度，得到待训练的语义编码模型对应的第二损失值，第二相似度为不同所述训练样本中的训练文本与第一训练文本之间的相似度，第二损失值与第二相似度成正相关关系；进而可以基于第一损失值与第二损失值得到待训练的语义编码模型对应的目标损失值。在本公开的方案中，由于训练文本与第一训练文本之间已经存在配对关系或不配对的关系，通过对比学习的方式，可以对语义编码模型实现自监督的模型训练，能够在配对或不配对的大量第一训练图像和训练文本中，自动构造监督信息，将文本模态和图像模态对齐，得到可靠的语义编码模型。

在一示例性实施例中，在步骤S330中的图像编码模型可以是预先训练好的、具有高置信度的模型，即图像编码模型和语义编码模型可以单独训练，在训练好图像编码模型后，再基于图像编码模型的辅助，对语义编码模型进行训练，使语义编码模型对应的文本模态与图像编码模型对应的图像模态对齐。

在另一示例中，图像编码模型可以与语义编码模型进行联合训练，以图像编码模型为CNN网络为例，可以将第一训练图像输入到待训练的图像编码模型进行编码，基于待训练的图像编码模型输出第一训练图像对应的图像编码特征，进而基于对应的目标损失值，调整语义编码模型和图像编码模型各自的模型参数。在满足训练结束条件时，得到训练好的文本模态和图像模态对齐的语义编码模型和图像编码模型。

在一示例性实施例中，原始风格特征集合可以由预先训练得到的风格特征识别模型基于输入的原始图像确定，训练得到风格特征识别模型的步骤可以包括：

获取第二训练图像，将所述第二训练图像输入到待训练的风格特征识别模型，以通过所述待训练的风格特征识别模型获取所述第二训练图像对应的预测风格特征集合；基于所述预测风格特征集合，生成对应的预测图像；根据所述预测图像和所述第二训练图像的差异，得到所述待训练的风格特征识别模型对应的第三损失值；根据所述第三损失值调整所述待训练的风格特征识别模型的模型参数，直到满足训练结束条件，得到已训练的所述风格特征识别模型。

其中，第二训练图像可以是用于训练风格特征识别模型的图像。预测风格特征集合中可以包括由待训练的风格特征识别模型预测的风格特征。第三损失值与预测图像和第二训练图像之间的差异成正相关关系。

在实际应用中，可以获取第二训练图像，并将第二训练图像输入到待训练的风格特征识别模型中，其中，待训练的风格特征识别模型可以是神经网络模型。在输入第二训练图像后，待训练的风格特征识别模型可以对第二训练图像进行分析，预测第二训练图像对应的风格特征，得到第二训练图像对应的预测风格特征集合，预测风格特征集合中可以包括由待训练的风格特征识别模型预测的、第二训练图像对应的风格特征。

在获取到预测风格特征集合后，可以基于预测风格特征集合，生成对应的预测图像，进而可以根据预测图像和第二训练图像之间的差异，得到待训练的风格特征识别模型对应的第三损失值，第二损失值与差异呈正相关，即差异越大，第三损失值越大，差异越小，第三损失值越小。在得到第三损失值后，可以根据第三损失值调整待训练的风格特征识别模型的模型参数，使得待训练的风格特征识别模型所生成的预测图像与第二训练图像之间的差异不断变小，直到满足训练结束条件，可以得到已训练的风格特征识别模型。

在本公开中，通过对待训练的风格特征识别模型进行训练，得到预先训练好的风格特征识别模型，能够在获取到原始图像后，快速识别出原始图像对应的原始风格特征集合，将原始图像的图像数据特征进行解耦，得到多个相互独立的风格特征，为快速准确地调整原始图像指定的风格提供基础。

在一示例性实施例中，在基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像时，可以将目标风格特征集合输入到预先训练好的图像生成模型，由图像生成模型基于目标风格特征集合中的各个风格特征，生成风格变换图像。

在实际应用中，图像生成模型可以是生成式对抗网络(GAN,GenerativeAdversarial Networks)中的生成器。具体而言，可以预先获取多个用于训练生成式对抗网络的训练图像，例如，可以爬取开源的多种类型的图片数据集，如人脸、天空或风景等图片，在获取到图片数据集后，还可以对图片数据集进行数据增强，得到扩充后的图片数据，进而可以将扩充后的图片数据和图片数据集作为训练生成式对抗网络的训练图像。

在获取到训练图像后，可以预先定义一个生成器(generator)和一个判别器(discriminator)。其中，生成器可以基于输入的随机噪声分布向量生成对应的图像，例如可以将符合常见分布规律的随机噪声分布作为输入；而辨别器可用于判断生成器生成的图像是否为真实图像，即是否与训练图像一样。作为一示例，生成器和/或判别器可以是以下至少一种类型的神经网络：CNN、RNN或者全连接神经网络。

在对待训练的生成式对抗网络进行训练时，可以从多个训练图像中抽取M个样本，以及，由生成器利用输入的随机噪声分布生成M个样本。在训练开始时，可以固定生成器，训练辨别器，使其尽可能识别输入图像的真假，这里基于识别结果确定判别器的损失值，并根据该损失值对判别器的模型参数进行调整。

在循环更新K次辨别器后，可以固定判别器，训练生成器，使辨别器尽可能区分不了由生成器生成的图像的真假，并基于此确定生成器的损失值，对生成器的模型参数进行调整。当辨别器无法对生成器生成的图片分辨出真假，即判别概率为0.5时，可以停止训练，将当前的生成器作为图像生成模型。

在本实施例中，生成器可以是风格生成器，在风格生成器中可以设置有映射网络，用于将输入的随机噪声分布映射为控制图像风格的风格特征，进而风格生成器可以基于映射后得到的风格特征，生成对应的图像。通过该映射网络，风格生成器可以生成一个不需要跟随随机噪声分布的风格特征，有效减少图像数据特征之间的相关性，实现特征解耦。

进一步地，风格生成器中还可以包括样式模块，以达到自适应实例归一化的效果，并且，在生成图像的过程中，可以向风格生成器的各个输入层添加随机噪声，以使风格生成器可以生成更加多样的随机细节。

在得到训练好的生成器后，在待训练的风格特征识别模型进行训练时，还可以将预测风格特征集合输入到该生成器，通过该生成器生成对应的预测图像。

在一示例性实施例中，在所述接收待进行风格变换的原始图像对应的图像修改描述信息之前，还可以包括：

获取待处理的视频，并确定所述视频中的目标视频帧，作为所述待进行风格变换的原始图像。

在实际应用中，可以获取待处理的视频，如待进行风格变化或内容修改的视频，进而可以确定视频中的目标视频，作为待进行风格变换的原始图像。

具体地，服务器120在获取到待处理的视频后，可以按照预设间隔对待处理的视频进行抽帧处理，将被抽取的视频帧确定为目标视频帧。或者，用户可以通过终端110，将待处理的视频发送到服务器120，在发送待处理的视频时，可以同时向服务器120发送携带有时间信息的视频修改指令，则在接收到视频修改指令后，服务器120可以根据视频修改指令中的时间信息，确定待处理的视频中的目标视频帧。

在所述基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像之后，还可以包括：

基于所述风格变换图像和所述视频中的其他视频帧，得到目标视频。

其中，其他视频帧为视频中目标视帧以外的视频帧。

在得到风格变换图像后，可以基于风格变换图像以及视频中的其他视频帧，进行重新组装，得到目标视频。

在本公开中，通过获取待处理的视频，并确定视频中的目标视频帧，作为待进行风格变换的原始图像，进而可以在得到风格变换图像后，基于风格变换图像和视频中的其他视频帧，得到目标视频。通过人机交互方式实现了自动变换视频内容的风格，全程无需人工干涉，避免用户对视频中大量的视频逐一编辑，有效提高视频修改效率。

为了使本领域技术人员能够更好地理解上述步骤，以下通过一个例子对本申请实施例加以示例性说明，但应当理解的是，本申请实施例并不限于此。

如图5所示，在获取到原始图像后，如包含“猫”的图像，可以将原始图像输入到预先训练得到的风格特征识别模型中，通过风格特征识别模型获取原始图像对应的原始风格特征集合S，当前得到的原始风格特征集合S若输入到训练好的图像生成模型中，可以得到原始图像。

同时，可以将用户输入的图像修改描述信息，例如将“可爱的猫”作为图像修改描述信息输入到语义编码模型，通过语义编码模型获取图像修改描述信息对应的语义编码信息Δt，并基于预先确定的图像变化特征空间和文本语义特征空间之间的映射关系，得到Δt对应的风格特征变化信息Δs。

在获取到原始风格特征集合S和风格特征变化信息Δs后，可以基于风格特征变化信息Δs，对原始风格特征集合S进行调整，得到目标风格特征集合，即S+Δs，进而可以将目标风格特征集合输入到图像生成模型，得到风格变换图像。

应该理解的是，虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

图6是根据一示例性实施例示出的一种图像处理装置600框图。参照图6，该装置包括描述信息获取单元601、语义编码单元602、风格变换确定单元603、原始特征集合获取单元604、目标特征集合获取单元605和风格变换图像获取单元606。

描述信息获取单元601，被配置为执行接收待进行风格变换的原始图像对应的图像修改描述信息；

语义编码单元602，被配置为执行对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息；

风格变换确定单元603，被配置为执行获取所述语义编码信息所对应的风格特征变化信息，所述风格特征变化信息为图像风格所对应的特征变化信息；

原始特征集合获取单元604，被配置为执行获取所述原始图像对应的原始风格特征集合；

目标特征集合获取单元605，被配置为执行基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合；

风格变换图像获取单元606，被配置为执行基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像。

在一示例性实施例中，所述目标特征集合获取单元，被配置为执行：

基于所述风格特征变化信息对所述原始风格特征集合中的第一原始风格特征进行调整，得到调整后的第一风格特征；所述第一原始风格特征为所述风格特征变化信息所对应的原始风格特征；

将第二原始风格特征以及所述调整后的第一风格特征进行组合，得到所述目标风格特征集合，所述第二原始风格特征为所述原始风格特征集合中所述第一原始风格特征之外的原始风格特征。

在一示例性实施例中，所述风格变换确定单元，被配置为执行：

获取预先确定的图像变化特征空间和文本语义特征空间之间的映射关系；

将所述语义编码信息作为所述文本语义特征空间中的文本语义特征，基于所述映射关系获取所述文本语义特征在所述图像变化特征空间所对应的图像变化特征；

将所述图像变化特征作为所述风格特征变化信息。

在一示例性实施例中，所述语义编码单元，被配置为执行：

将所述图像修改描述信息输入到预先训练得到的语义编码模型中，以基于所述语义编码模型中的语义编码参数对所述图像修改描述信息进行编码，得到所述图像修改描述信息对应的语义编码信息；

所述语义编码模型是基于配对的训练文本以及训练图像进行训练得到的。

在一示例性实施例中，所述装置还包括：

第一训练图像获取单元，被配置为执行获取训练样本，所述训练样本包括第一训练图像和所述第一训练图像配对的训练文本；

训练文本编码单元，被配置为执行将所述训练文本输入到待训练的语义编码模型中进行编码，得到所述训练文本的文本编码特征；

第一训练图像编码单元，被配置为执行将所述第一训练图像输入到图像编码模型进行编码，得到所述第一训练图像的图像编码特征；

第一相似度获取单元，被配置为执行根据所述第一训练图像的图像编码特征和所述训练文本的文本编码特征，确定每一所述第一训练图像与每一所述训练文本之间的第一相似度；所述第一相似度表征图像模态对应的编码特征与文本模态对应的编码特征之间的相似度；

目标损失值获取单元，被配置为执行根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值；

第一参数调整单元，被配置为执行根据所述目标损失值调整所述待训练的语义编码模型的模型参数，直到满足训练结束条件，得到已训练的所述语义编码模型。

在一示例性实施例中，所述训练样本为多个，所述目标损失值获取单元，被配置为执行：

根据所述第一相似度，得到所述待训练的语义编码模型对应的第一损失值，所述第一损失值与所述第一相似度成负相关关系；

根据第二相似度，得到所述待训练的语义编码模型对应的第二损失值，所述第二损失值与所述第二相似度成正相关关系；所述第二相似度为不同所述训练样本中的训练文本与第一训练文本之间的相似度；

基于所述第一损失值与所述第二损失值，得到所述待训练的语义编码模型对应的所述目标损失值。

在一示例性实施例中，所述原始风格特征集合由预先训练得到的风格特征识别模型基于输入的所述原始图像确定，所述装置还包括：

第二训练图像获取单元，被配置为执行获取第二训练图像，将所述第二训练图像输入到待训练的风格特征识别模型，以通过所述待训练的风格特征识别模型获取所述第二训练图像对应的预测风格特征集合；

预测图像生成单元，被配置为执行基于所述预测风格特征集合，生成对应的预测图像；

第三损失值获取单元，被配置为执行根据所述预测图像和所述第二训练图像的差异，得到所述待训练的风格特征识别模型对应的第三损失值，所述第三损失值与所述差异成正相关关系；

第二参数调整单元，被配置为执行根据所述第三损失值调整所述待训练的风格特征识别模型的模型参数，直到满足训练结束条件，得到已训练的所述风格特征识别模型。

在一示例性实施例中，所述装置还包括：

视频获取单元，被配置为执行获取待处理的视频，并确定所述视频中的目标视频帧，作为所述待进行风格变换的原始图像；

所述装置还包括：

视频更新单元，被配置为执行基于所述风格变换图像和所述视频中的其他视频帧，得到目标视频；所述其他视频帧为所述视频中所述目标视帧以外的视频帧。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种用于执行图像处理方法的电子设备700的框图。例如，电子设备700可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件702、存储器704、电源组件706、多媒体组件708、音频组件710、输入/输出(I/O)的接口712、传感器组件714以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700组件的位置改变，用户与电子设备700接触的存在或不存在，设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备700的处理器720执行以完成上述方法。

图8是根据一示例性实施例示出的一种用于执行图像处理方法的电子设备800的框图。例如，电子设备800可以为服务器。参照图8，电子设备800包括处理组件820，其进一步包括一个或多个处理器，以及由存储器822所代表的存储器资源，用于存储可由处理组件820的执行的指令，例如应用程序。存储器822中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件820被配置为执行指令，以执行上述方法。

电子设备800还可以包括：电源组件824被配置为执行电子设备800的电源管理，有线或无线网络接口826被配置为将电子设备800连接到网络，和输入输出(I/O)接口828。电子设备800可以操作基于存储在存储器822的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器822，上述指令可由电子设备800的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备800的处理器执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

接收待进行风格变换的原始图像对应的图像修改描述信息；

对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息；

获取所述语义编码信息所对应的风格特征变化信息，所述风格特征变化信息为图像风格所对应的特征变化信息；

获取所述原始图像对应的原始风格特征集合；

基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合；

基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合，包括：

基于所述风格特征变化信息对所述原始风格特征集合中的第一原始风格特征进行调整，得到调整后的第一风格特征；所述第一原始风格特征为所述风格特征变化信息所对应的原始风格特征；

将第二原始风格特征以及所述调整后的第一风格特征进行组合，得到所述目标风格特征集合，所述第二原始风格特征为所述原始风格特征集合中所述第一原始风格特征之外的原始风格特征。

3.根据权利要求1所述的方法，其特征在于，所述获取所述语义编码信息所对应的风格特征变化信息，包括：

获取预先确定的图像变化特征空间和文本语义特征空间之间的映射关系；

将所述语义编码信息作为所述文本语义特征空间中的文本语义特征，基于所述映射关系获取所述文本语义特征在所述图像变化特征空间所对应的图像变化特征；

将所述图像变化特征作为所述风格特征变化信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息，包括：

将所述图像修改描述信息输入到预先训练得到的语义编码模型中，以基于所述语义编码模型中的语义编码参数对所述图像修改描述信息进行编码，得到所述图像修改描述信息对应的语义编码信息；

所述语义编码模型是基于配对的训练文本以及训练图像进行训练得到的。

5.根据权利要求4所述的方法，其特征在于，训练得到所述语义编码模型的步骤包括：

获取训练样本，所述训练样本包括第一训练图像和所述第一训练图像配对的训练文本；

将所述训练文本输入到待训练的语义编码模型中进行编码，得到所述训练文本的文本编码特征；

将所述第一训练图像输入到图像编码模型进行编码，得到所述第一训练图像的图像编码特征；

根据所述第一训练图像的图像编码特征和所述训练文本的文本编码特征，确定每一所述第一训练图像与每一所述训练文本之间的第一相似度；所述第一相似度表征图像模态对应的编码特征与文本模态对应的编码特征之间的相似度；

根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值；

根据所述目标损失值调整所述待训练的语义编码模型的模型参数，直到满足训练结束条件，得到已训练的所述语义编码模型。

6.根据权利要求5所述的方法，其特征在于，所述训练样本为多个，所述根据所述第一相似度，确定所述待训练的语义编码模型对应的目标损失值，包括：

根据所述第一相似度，得到所述待训练的语义编码模型对应的第一损失值，所述第一损失值与所述第一相似度成负相关关系；

根据第二相似度，得到所述待训练的语义编码模型对应的第二损失值，所述第二损失值与所述第二相似度成正相关关系；所述第二相似度为不同所述训练样本中的训练文本与第一训练文本之间的相似度；

基于所述第一损失值与所述第二损失值，得到所述待训练的语义编码模型对应的所述目标损失值。

7.一种图像处理装置，其特征在于，包括：

描述信息获取单元，被配置为执行接收待进行风格变换的原始图像对应的图像修改描述信息；

语义编码单元，被配置为执行对所述图像修改描述信息进行语义编码，得到所述图像修改描述信息对应的语义编码信息；

风格变换确定单元，被配置为执行获取所述语义编码信息所对应的风格特征变化信息，所述风格特征变化信息为图像风格所对应的特征变化信息；

原始特征集合获取单元，被配置为执行获取所述原始图像对应的原始风格特征集合；

目标特征集合获取单元，被配置为执行基于所述风格特征变化信息对所述原始风格特征集合中的原始风格特征进行调整，得到目标风格特征集合；

风格变换图像获取单元，被配置为执行基于所述目标风格特征集合生成所述图像修改描述信息对应的风格变换图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6任一项所述的图像处理方法。

Images