CN114187168A - 图像迁移方法和图像迁移模型的训练方法、装置 - Google Patents

Abstract

本公开提供了一种图像迁移方法和图像迁移模型的训练方法、装置、设备、介质，涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。图像迁移方法包括：提取第一图像包括的第一对象的第一属性特征；根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。

Description

图像迁移方法和图像迁移模型的训练方法、装置

技术领域

本公开涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。

背景技术

随着深度学习与图像处理技术的发展，图像迁移技术可以应用于诸如人脸识别、视频制作和虚拟现实等多个领域中。

相关技术中，采用三维重建技术来实现图像迁移。该方法步骤复杂，计算量大。

发明内容

提供了一种降低计算量且提高迁移精度的图像迁移方法、图像迁移模型的训练方法、装置、电子设备和存储介质。

本公开的一个方面提供了一种图像迁移方法，包括：提取第一图像包括的第一对象的第一属性特征；根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，该第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。

本公开的另一个方面提供了一种图像迁移模型的训练方法，其中，图像迁移模型包括第一编码网络、第二编码网络、第三编码网络和生成网络，训练方法包括：采用第一编码网络提取第三图像包括的第三对象的第二属性特征；根据针对第三图像的音频数据，采用第二编码网络提取第三对象包括的第一目标部位的第二形状特征；采用第三编码网络提取第四图像包括的第三对象的第二身份特征；基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像；第二迁移图像包括具有第二属性特征和第二形状特征的第三对象；以及基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。

本公开的另一个方面提供了一种图像迁移装置，包括：第一属性提取模块，用于提取第一图像包括的第一对象的第一属性特征；第一形状提取模块，用于根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征；第一身份提取模块，用于提取第二图像包括的第二对象的第一身份特征；以及第一图像生成模块，用于基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。

本公开的另一个方面提供了一种图像迁移模型的训练装置，其中，图像迁移模型包括第一编码网络、第二编码网络、第三编码网络和生成网络；训练装置包括：第二属性提取模块，用于采用第一编码网络提取第三图像包括的第三对象的第二属性特征；第二形状提取模块，用于根据针对第三图像的音频数据，采用第二编码网络提取第三对象包括的第一目标部位的第二形状特征；第二身份提取模块，用于采用第三编码网络提取第四图像包括的第三对象的第二身份特征；第二图像生成模块，用于基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像；第二迁移图像包括具有第二属性特征和第二形状特征的第三对象；以及模型训练模块，用于基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。

本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的图像迁移方法和/或图像迁移模型的训练方法。

根据本公开的另一个方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的图像迁移方法和/或图像迁移模型的训练方法。

根据本公开的另一个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的图像迁移方法和/或图像迁移模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的图像迁移方法和图像迁移模型的训练方法、装置的应用场景示意图；。

图2是根据本公开实施例的图像迁移方法的流程示意图；

图3是根据本公开实施例的提取第一属性特征的原理示意图；

图4是根据本公开实施例的提取第一形状特征的原理示意图；

图5是根据本公开实施例的获得第一图像的原理示意图；

图6是根据本公开实施例的图像迁移方法的原理示意图；

图7是根据本公开实施例的图像迁移模型的训练方法的流程示意图；

图8是根据本公开实施例的图像迁移模型的训练方法的原理示意图；

图9是根据本公开实施例的图像迁移装置的结构框图；

图10是根据本公开实施例的图像迁移模型的训练装置的结构框图；以及

图11是用来实施例本公开实施例的图像迁移方法和/或图像迁移模型的训练方法的电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种图像迁移方法，该方法包括属性提取阶段、形状提取阶段、身份提取阶段和图像生成阶段。在属性提取阶段中，提取第一图像包括的第一对象的第一属性特征。在形状提取阶段中，根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征。在身份提取阶段中，提取第二图像包括的第二对象的第一身份特征。在图像生成阶段中，基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，该第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。

以下将结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的图像迁移方法和图像迁移模型的训练方法、装置的应用场景图。

如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。

该电子设备110例如可以对输入的第一人脸的图像120和第二人脸的图像130进行表情迁移，从而生成图像140。该图像140中的人脸为第一人脸，但该第一人脸具有第二人脸的表情和姿态。例如可以从第一人脸的图像120中提取身份特征，从第二人脸的图像130中提取属性特征，将该身份特征和属性特征融合后，经由生成网络可以生成图像140。其中，生成网络例如可以为生成式对抗网络(Generative Adversarial Networks，GAN)中的生成网络Generator。属性特征例如可以包括表情特征和姿态特征等。

在一实施例中，可以采用图像迁移模型来将第二人脸的表情和姿态迁移到第一人脸，从而生成图像140。

根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器150。电子设备110可以通过网络与服务器150通信连接，该网络可以包括无线或有线通信链路。

示例性地，服务器150可以用于训练图像迁移模型，并响应于电子设备110发送的模型获取请求，将训练得到的图像迁移模型160发送给电子设备110，便于电子设备110对人脸的表情和姿态进行迁移。在一实施例中，电子设备110还可以通过网络将第一人脸的图像120和第二人脸的图像130发送给服务器150，由服务器150根据训练得到的图像迁移模型来生成图像140。

根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库170，该数据库170可以维护有海量的图像或视频。服务器150可以访问该数据库170，并从数据库170中抽取部分具有同一人脸的图像作为样本图像，对图像迁移模型进行训练。

需要说明的是，本公开所提供的图像迁移方法可以由电子设备110或服务器150执行。相应地，本公开所提供的图像迁移装置可以设置于电子设备110或服务器150中。本公开提供的图像迁移模型的训练方法可以由服务器150执行。相应地，本公开提供的图像迁移模型的训练装置可以设置于服务器150中。

应该理解，图1中的电子设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。

以下将结合图1，通过图2～图6对本公开提供的图像迁移方法进行详细描述。

图2是根据本公开实施例的图像迁移方法的流程示意图。

如图2所示，该实施例的图像迁移方法200可以包括操作S210～操作S240。

在操作S210，提取第一图像包括的第一对象的第一属性特征。

根据本公开的实施例，第一对象例如可以为人脸，或者可以为建筑物等。第一图像可以为拍摄第一对象得到的图像，或者可以为通过对拍摄的图像处理后的图像，或者可以为视频中包括第一对象的视频帧。该第一图像可以是实时拍摄得到的，也可以是预先拍摄得到的。

根据本公开的实施例，第一属性特征例如可以用于表示第一对象的姿态、表情、视线、皮肤状态等特征。

在一实施例中，可以采用第一编码网络来从第一图像中提取第一属性特征。其中，第一编码网络例如可以预训练得到。该第一编码网络可以为轻量级网络，例如MobileNet系列网络、ShuffleNet网络或SqueezeNet等。其中，MobileNet网络是使用深度可分离卷积(Depthwise Separable Convolution)构建的轻量级深度神经网络。例如，该第一编码网络可以包括有卷积层和池化层。

在一实施例中，还可以采用融合局部二值模式和局部稀疏表示的表情识别算法来提取第一属性特征。

在一实施例中，该实施例可以分别提取第一对象的表情特征和姿态特征，将该表情特征和姿态特征拼接后作为第一属性特征。也可以将第一图像输入第一编码网络，由第一编码网络同时提取表情&姿态特征，从而输出第一属性特征。

在操作S220，根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征。

根据本公开的实施例，第一图像可以包括视频数据中的视频帧，视频数据中包括与第一图像对应的音频数据。该实施例可以先对音频数据进行转换，从而得到音频数据的音频特征。该音频特征例如可以为梅尔频率倒谱系数等，本公开对此不做限定。在得到音频特征后，可以从该音频特征中提取第一形状特征。例如，可以采用时间卷积网络等从音频特征中提取第一形状特征。

例如，在第一对象为人脸的情况下，第一目标部位例如可以为嘴，通过对嘴的形状特征的单独提取，可以更好的表达第一对象的状态，利于生成更为逼真的迁移图像。

在操作S230，提取第二图像包括的第二对象的第一身份特征。

根据本公开的实施例，第二图像包括的第二对象可以与前文中的第一对象为相同类型的对象。例如第一对象和第二对象可以均为人脸，或者第一对象和第二对象可以均为建筑物等。该第一对象和第二对象还可以为同一对象，也可以为不同对象，本公开对此不做限定。

根据本公开的实施例，例如可以采用第三编码网络来从第二图像中提取第一身份特征。该第三编码网络例如可以采用残差网络(Residual Network，ResNet)、特征金字塔网络(Feature Pyramid Network，FPN)或U-Net等网络。该第三编码网络可以包括卷积层和池化层，且具有跳层连接结构，以用于提取相较于属性特征更为复杂的身份特征。

在操作S240，基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。

根据本公开的实施例，可以将第一属性特征、第一形状特征和第一身份特征拼接后输入生成网络Generator，由该生成网络Generator根据拼接后的特征生成第一迁移图像。该生成的第一迁移图像中包括具有第一属性特征和第一形状特征的第二对象。

本公开实施例通过从第一图像中提取对象属性特征，从第一图像对应的音频数据中提取目标部位的形状特征，从第二图像中提取对象的身份特征，并根据身份特征、属性特征和形状特征来生成迁移图像，相较于相关技术，无需进行对象的三维重建，因此可以在一定程度上降低图像迁移的计算量和复杂度。再者，通过单独提取目标部位的形状特征，可以使得提取的表征对象状态的特征更为丰富，便于提高得到的迁移图像的精度和真实性，并因此可以提高用户体验。

根据本公开的实施例，在基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像时，可以对第一属性特征、第一形状特征和第一身份特征进行除拼接外的其他融合，从而得到融合特征。随后将该融合特征输入生成网络，由生成网络输出第一迁移图像。其中，例如可以通过add操作对第一属性特征、第一形状特征和第一身份特征进行融合，也可以先将第一属性特征、第一形状特征和第一身份特征拼接后，经由卷积层进行卷积运算，从而得到融合特征。可以理解的是，上述融合第一属性特征、第一形状特征和第一身份特征的方法仅作为示例以利于理解本公开，本公开对此不做限定。通过特征的融合，可以便于生成网络生成更为逼真的迁移图像。

图3是根据本公开实施例的提取第一属性特征的原理示意图。

在一实施例中，前述提取的第一属性特征可以包括第一表情特征。例如可以直接采用前文描述的表情识别算法或第一编码网络来提取表情特征。

根据本公开的实施例，可以根据除第一目标部位所在区域外其他区域的图像来提取表情特征。这是因为目标部位一般会在一定程度上影响对表情的正确识别，通过该实施例的方法，可以提高表情特征的提取精度。

在一实施例中，前述提取的第一属性特征可以包括第一姿态特征。姿态特征例如可以表示第一对象的倾斜角度等。该第一姿态特征的提取方法与第一表情特征的提取方法类似。

根据本公开的实施例，可以根据除第一目标部位所在区域和第二目标部位所在区域外其他区域的图像来提取姿态特征。其中，第二目标部位例如可以为眼睛等影响姿态识别的部位。如此，可以避免第一目标部位和第二目标部位对姿态识别的影响，通过该实施例的方法，可以提高姿态特征的提取精度。

在一实施例中，如图3所示，该实施例300中，以第一对象为人脸，第一目标部位为嘴，第二目标部位为眼睛为例对提取第一属性特征的原理进行描述。

在提取第一表情特征时，可以先基于第一对象包括的第一目标部位在第一图像301中的位置信息，来确定第一图像中第一目标部位所在区域。例如，可以通过目标检测来确定第一目标部位在第一图像301中的位置信息，并得到其所在区域的图像302。随后，将除该第一目标部位所在区域外其他区域的图像，作为第一子图像303。例如，可以确定包围第一目标部位的检测框在第一图像301所包围的区域。随后，将该所包围的区域保持中心点不变，扩大到预定尺寸，得到扩大后的检测框。将该扩大后的检测框在第一图像301中包围的区域作为第一目标部位所在区域。

例如，还可以通过将第一图像301中第一目标部位所在区域的像素值均赋值为0，而其他区域的像素值不变，从而得到第一子图像303。

例如，可以根据第一子图像303提取第一表情特征304。例如，前述第一编码网络可以包括两个编码子网络。该实施例可以采用两个编码子网络中的第三编码子网络310提取第一表情特征304。其中，第三编码子网络可以为前文描述的ResNet网络等。

在一实施例中，在确定第一图像301中第一目标部位所在区域的同时，还可以基于第二目标部位在第一图像301中的位置信息，确定第一图像301中第二目标部位所在区域，从而得到第二目标部位所在区域的图像305。该第二目标部位所在区域的确定方法与第一目标部位所在区域的确定方法类似，在此不再赘述。在得到第一目标部位所在区域和第二目标部位所在区域后，可以将第一图像301中除第一目标部位所在区域和第二目标部位所在区域外其他区域的图像作为第三子图像306。

例如，还可以将第一图像301中第一目标部位所在区域的像素值和第二目标部位所在区域的像素值均赋值为0，而其他区域的像素值不变，从而得到第三子图像306。

例如，可以根据第三子图像306提取第一姿态特征307。例如，该实施例可以采用第一编码网络包括的两个编码子网络中的第四编码子网络320提取第一姿态特征307。其中，第四编码子网络320可以例如可以为前文描述的轻量级网络。该第四编码子网络的结构可以与第三编码子网络的结构类似，区别在于训练时使用的样本数据不同。

在一实施例中，在提取第一表情特征时，可以采用视频数据中与第一图像的播放时间相差较小的图像中第一目标部位所在区域的图像，来替代第一图像中第一目标部位所在区域的图像。以此可以在提取表情特征时，在一定层度上考虑第一目标部位对表情特征的影响，便于提高提取的表情特征的精度。

例如，第一图像301可以包括视频数据中的视频帧。该实例在得到第一子图像303的同时，可以确定视频数据中包括第一对象的目标图像。该目标图像即为播放时间与第一图像的播放时间之间的差值小于预定值、且包括第一对象的任一图像。随后，可以确定目标图像中第一目标部位所在区域的图像，作为第二子图像。该得到第二子图像的方法与前丈描述的得到第一目标部位所在区域的图像302的方法类似，在此不再赘述。在得到第二子图像后，可以将第二子图像与前文中的第一子图像303融合，得到融合图像。最后根据该融合图像提取第一表情特征。

其中，可以直接将第二子图像中各像素点的像素值赋给第一子图像303中像素值为0的区域中的各像素点，从而得到融合图像。在融合之前，可以先对第二子图像进行缩放，使得该第二子图像的尺寸与第一子图像303中像素值为0的区域的尺寸相等，随后再将第二子图像的像素值赋给第一子图像。

可以理解的是，由于生成迁移图像时考虑了第一形状特征，因此，该第二子图像和第一子图像的融合，不会为迁移图像的生成精度带来损失。

图4是根据本公开实施例的提取第一形状特征的原理示意图。

在一实施例中，在提取第一形状特征时，除了考虑音频数据外，还可以考虑第一目标部位的图像，以此提高提取得到的第一形状特征的精度。

根据本公开的实施例，在采用第二编码网络提取第一形状特征的情况下，该第二编码网络可以包括第一编码子网络和第二编码子网络。第一编码子网络可以用于从第一目标部位的图像中提取形状特征，第二编码子网络可以用于从音频数据中提取形状特征。最后对提取的两部分形状特征进行融合，得到第一形状特征。

如图4所示，该实施例400中，在提取第一形状特征时，可以先基于第一目标部位在第一图像401中的第一位置信息，确定第一图像401中第一目标部位所在区域的图像402。随后可以采用该图像402提取第一目标部位的形状特征，将提取的特征作为第一子特征。

例如，该实施例可以将第一目标部位所在区域的图像输入第一编码子网络，由第一编码子网络输出第一形状特征。

例如，该实施例可以先基于第一目标部位所在区域的图像402，生成针对第一目标部位的掩膜。随后采用该掩膜对第一图像401进行处理，从而得到第四子图像403。该第四子图像403中，除第一目标部位所在区域外，其他区域中各像素的像素值均为0，而第一目标部位所在区域的像素值与第一图像401中相应区域的像素值相同。随后，可以将第四子图像403作为第一编码子网络410的输入，由第一编码子网络410提取得到第一子特征404。

其中，提取第一子特征的第一编码子网络例如可以采用残差网络(ResidualNetwork，ResNet)、特征金字塔网络(Feature Pyramid Network，FPN)或U-Net等非轻量级网络，这是由于对形状特征的精度通常要求更高一些，以此便于生成逼真的迁移图像。该提取第一子特征的编码网络可以包括卷积层和池化层，且具有跳层连接结构。

在一实施例中，还可以采用边界特征法、几何参数法等来基于第四子图像提取第一子特征。

在提取第一子特征的同时，该实施例还可以根据针对第一图像的音频数据的音频特征，提取第一目标部位的形状特征，并将该形状特征作为第二子特征。

在一实施例中，可以先提取音频数据405的梅尔频率倒谱系数(Mel-scaleFrequency Cepstral Coefficients，MFCC)或线性频谱系数等，将该MFCC或线性频谱系数作为音频数据的音频特征406。随后，可以将该音频特征406输入第二编码子网络420，由第二编码子网络420输出第二子特征407。其中，第二编码子网络420可以为卷积神经网络。具体地，该第二编码子网络420可以为时间卷积网络。

在得到第一子特征404和第二子特征407后，可以对该两个子特征进行均化处理，从而得到第一形状特征408。具体可以将两个子特征中的各元素相加后除以2，从而得到第一形状特征408中的元素。或者，可以为该两个子特征预先分配权重值，将该两个子特征的加权和作为第一形状特征408。或者，第二编码网络还可以包括融合网络，通过将该两个子特征输入融合网络，由融合网络输出第一形状特征408。该融合网络可以为全连接网络，或者，该融合网络可以执行前述的均化处理或加权操作，本公开对此不做限定。

图5是根据本公开实施例的获得第一图像的原理示意图。

根据本公开的实施例，前述的第一图像例如可以为根据第一对象的位置裁剪后的图像，以此便于避免图像中除第一对象外的其他对象对提取第一属性特征的干扰，同时可以减少提取属性特征的计算量。

例如，可以将实时采集或预先采集的图像作为对象属性的模板图像。在得到模板图像后，该实施例可以先检测包括第一对象的模板图像，得到第一对象在模板图像中的第二位置信息。随后基于该第二位置信息裁剪模板图像，获得第一图像。

例如，可以对模板图像进行目标检测，检测得到包围第一对象的检测框在模板图像中的位置信息。其中，该检测得到的位置信息例如可以包括检测框的中心点在基于模板图像构建的坐标系中的坐标值，以及检测框的高度和宽度。在得到该位置信息后，可以以检测框的中心点作为中心点，根据预定高度和预定宽度裁剪该模板图像。其中，预定高度应大于检测框的高度，预定宽度应大于检测框的宽度。例如，裁剪得到的图像的大小例如可以为256像素×256像素。该实施例可以将裁剪得到的图像作为第一图像。

在一实施例中，在裁剪模板图像后，例如还可以去除裁剪得到的图像的背景图像，以此可以减少该背景图像对提取第一属性特征和第一形状特征的干扰，从而进一步提高提取的第一属性特征和第一形状特征的精度，减少提取属性特征和形状特征的计算量，利于生成更为逼真的迁移图像。

如图5所示，在该实施例500中，在获得第一图像时，可以先对获取的模板图像501进行目标检测。例如可以将模板图像501输入目标检测模型510，经由目标检测模型510得到第二位置信息502，并根据该第二位置信息裁剪模板图像501，将该裁剪得到的图像503作为中间图像。其中，目标检测模型例如可以包括Faster R-CNN模型、单发多框检测(SingleShot Multibox Detector，SSD)模型和单次查看(You Only Look Once，YOLO)检测模型等多种模型中的任意一个，本公开对此不做限定。

在得到中间图像503后，该实施例可以进一步对该中间图像进行分割处理，从而得到中间图像中目标对象的第三位置信息。其中，该目标对象包括有前述的第一对象。例如，若第一对象为人脸，则目标对象可以为人体。

例如，如图5所示，可以将该中间图像503作为图像分割模型520的输入，经由该图像分割模型520处理而得到第三位置信息504。其中，该第三位置信息504应包括有目标对象的边界线在中间图像503中的位置。图像分割模型例如可以包括全卷积网络(FullyConvolutional Networks，FCN)模型、深度掩膜(Deep Mask)模型、Snake模型或BodyPix模型等，本公开对此不做限定。

在得到第三位置信息中，可以基于该第三位置信息504，生成针对目标对象的掩膜图像505。具体地，可以将中间图像503中除第三位置信息504包围的区域外，其他区域的像素值均调整为0，而第三位置信息504包围的区域内的像素值设定为255，从而得到掩膜图像505。

在得到掩膜图像505后，可以基于该掩膜图像505去除中间图像503的背景图像，从而得到第一图像。具体地，可以将该中间图像503与掩膜图像505进行像素级的点乘，并将点乘得到的图像中各像素点的像素值除以255，从而得到第一图像506。

如图5所示，通过上述处理得到的第一图像506，仅包括有前景图像，即目标对象的图像，而该目标对象的背景均为黑色背景，可以实现背景的去除。因此，可以避免背景对提取属性特征和形状特征的影响。

根据本公开的实施例，前述的第二图像例如可以为根据第二对象的位置裁剪后的图像，以此便于避免图像中除第二对象外的其他对象对提取第一身份特征的干扰，同时可以减少身份特征提取的计算量。

例如，可以将实时采集或预先采集的图像作为对象身份的源图像。在得到源图像后，该实施例可以先检测包括第二对象的源图像，得到第二对象在源图像中的第四位置信息。随后基于该第四位置信息裁剪源图像，获得第二图像。可以理解的是，裁剪源图像得到第二图像的原理可以与前文描述的裁剪模板图像得到第一图像的原理类似，该第二图像的大小例如也可以为256×256，在此不再赘述。

需要说明的是，在获得第二图像时，例如可以无需去除背景图像，这是因为提取身份特征的网络通常较为复杂，可以较为精准地学习到身份特征，该学习过程受背景图像的影响较小。以此，可以减少对源图像的预处理流程。

根据本公开的实施例，在提取第一身份特征时，例如可以综合从包括第二对象的多个图像提取的身份特征，以此可以避免因单个图像中身份特征表征不完整或不清晰而导致的提取的身份特征不准确的问题。如此，可以提高得到的第一身份特征的精度，使得得到的迁移图像更为逼真。

例如，可以从视频中抽取包括第二对象的多帧视频，基于该多帧视频得到第二图像包括的多个图像。例如可以对多帧视频中的每帧视频均执行前文描述的裁剪操作，从而得到包括第二对象的大小为256×256的多个图像。其中，该多个图像的个数例如可以为3、5、8等任意大于1的整数，具体可以根据实际需求设定该个数，本公开对此不做限定。

该实施例可以分别提取多个图像中每个图像包括的第二对象的身份特征，从而得到多个初始身份特征。例如，对应m个图像中的每一个，均可以通过前文描述的第三编码网络得到一个身份特征，作为一个初始身份特征，由此得到m个初始身份特征。随后可以计算该多个初始身份特征的均值特征，即对m个初始身份特征累加后除以m，从而得到该特征均值。最后，确定该多个初始身份特征的均值特征为第二对象的第一身份特征。

图6是根据本公开实施例的图像迁移方法的原理示意图。

根据本公开的实施例，在提取第一属性特征时，例如还可以对包括第一对象的图像进行像素级的图像增强处理，得到增强后图像。随后根据该增强后图像，来提取第一属性特征。通过该方式，可以弱化甚至去除第一图像中第一对象的身份特征，如此便于提高第一属性特征的提取精度，提高得到的迁移图像的精度和真实性，并因此可以提高用户体验。

例如，像素级的图像增强处理例如可以包括调整像素的对比度、亮度、模糊程度或为像素进行马赛克处理。其中马赛克处理可以将像素的色阶细节劣化并造成色块打乱的效果。

在一实施例中，在提取第一表情特征时，例如还可以对增强后图像进行二次增强处理，二次增强处理例如可以包括对图像的缩放处理、平移处理。通过该二次增强处理，可以使得提取的第一表情特征不受图像尺寸和角度的影响，便于提高第一表情特征的精度。类似地，在提取第一形状特征时考虑第一目标部位的图像的情况下，该实施例可以基于二次增强处理后的图像来确定第一目标部位的图像。

该实施例可以设置有数据增强工具，将第一图像输入该数据增强工具后，数据增强工具可以随机采用前述多种数据增强处理方式中的一种或多种方式，实现对第一图像的数据增强处理，输出增强后图像。

根据本公开的实施例，在提取第一属性特征时，例如可以先对第一图像进行归一化处理，以此降低提取第一属性特征时的计算量，提高图像迁移效率。在进行归一化处理后，例如可以得到第一归一化图像，随后可基于第一归一化图像提取第一属性特征。

例如，对第一图像进行的归一化处理可以为：将第一图像中每个像素的像素值除以255，使得得到的每个像素的像素值属于取值区间[0，1]，从而得到第一归一化图像。

类似地，在提取第一身份特征时，例如也可以对第二图像进行归一化处理，以此降低提取身份特征时的计算量，提高图像迁移效率。在进行归一化处理后，例如可以得到第二归一化图像，随后可以采用编码网络来对该第二归一化图像进行编码，得到第一身份特征。具体可以将第二归一化图像输入第三编码网络，经由第三编码网络处理后得输出第一身份特征。该对第二图像的归一化处理的方法可以与前文中对增强后图像进行归一化处理的方法类似，在此不再赘述。

在一实施例中，在提取第一属性特征时，还可以先对第一图像进行数据增强处理，随后对增强后图像进行归一化处理。

例如，如图6所示，该实施例600的图像迁移方法中，第一图像可以采用前文描述的去除中间图像的背景图像后所得到的图像。第一编码网络例如可以包括姿态编码网络(Pose Encoder)611(前文描述的第四编码子网络)和表情编码网络(Emotion Encoder)612(前文描述的第三编码子网络)。第二编码网络可以包括内容编码网络(Content Encoder)613(前文描述的第一编码子网络)和音频编码网络(Audi_o Encoder)614(前文描述的第二编码子网络)。第三编码网络例如可以为身份编码网络(ID Encoder)620，该身份编码网络620可以采用前文描述的ResNet网络。姿态编码网络用于提取第一姿态特征，表情编码网络用于提取第一表情特征。内容编码网络用于提取第一子特征，该第一子特征可以在一定程度上体现出说话内容，音频编码网络用于提取第二子特征。

在该实施例600中，可以先对第一图像601进行前文描述的数据增强处理，随后根据第一目标部位所在区域和第二目标部位所在区域，得到第三子图像601-1、第一子图像601-2和第四子图像601-3。该第三子图像601-1、第一子图像601-2和第四子图像601-3例如可以为归一化处理后的图像。将该三个图像分别输入姿态编码网络611、表情编码网络612和内容编码网络613，并分别经由输入姿态编码网络611、表情编码网络612和内容编码网络613处理后，分别输出第一姿态特征604、第一表情特征605和第一子特征。同时，可以对针对第一图像的音频数据进行转换，从而得到作为音频特征的MFCC 602。随后可以将该MFCC602输入音频编码网络614，得到第二子特征。融合第一子特征和第二子特征，可以得到第一形状特征606。同时，可以对第二图像603进行归一化处理等预处理，将预处理得到的图像输入身份编码网络620，经由身份编码网络620处理后输出第一身份特征607。

在得到第一身份特征607、第一姿态特征604、第一表情特征605和第一形状特征606后，可以将该四个特征经由concat()函数拼接，得到拼接特征608。随后将该拼接特征608输入多层感知机(Multilayer Perceptron，MLP)630中，以实现对第一身份特征607、第一姿态特征604、第一表情特征605和第一形状特征606的融合。随后将该多层感知机630的输出作为生成网络Generator 640的输入，由该Generator 640输出迁移图像609，该迁移图像609中的对象为第二图像603中的第二对象，但该第二对象具有第一图像601中第一对象的表情、姿态及嘴的形状。

在一实施例中，提取的第一姿态特征例如可以为12维的向量，提取的第一形状特征可以为512维的向量，提取的第一表情特征可以为256维的向量，提取的第一身份特征可以为512维的向量，则拼接特征507则为1292维的向量。其中，该多层感知机630输出的特征例如同样为1292维的向量。生成的迁移图像609的尺寸例如可以与第一图像、第二图像的尺寸均相等，例如可以是大小为256×256的图像。

基于本公开提供的图像迁移方法，本公开还提供了一种图像迁移模型的训练方法，以下将结合图7～图8对该训练方法进行详细描述。

图7是根据本公开实施例的图像迁移模型的训练方法的流程示意图。

根据本公开的实施例，如图7所示，该实施例的图像迁移模型的训练方法700可以包括操作S710～操作S750，其中，图像迁移模型可以包括第一编码网络、第二编码网络、第三编码网络和生成网络。

在操作S710，采用第一编码网络提取第三图像包括的第三对象的第二属性特征。可以理解的是，该操作S710的实现方式与前文采用第一编码网络得到第一属性特征的实现方式类似，在此不再赘述。

在操作S720，根据针对第三图像的音频数据，采用第二编码网络提取第三对象包括的第一目标部位的第二形状特征。可以理解的是，该操作S720的实现方式与前文采用第二编码网络得到第一形状特征的实现方式类似，在此不再赘述。

在操作S730，采用第三编码网络提取第四图像包括的第三对象的第二身份特征。该操作S730的实现方式与前文得到第一身份特征的实现方式类似，在此不再赘述。需要说明的是，若第三图像和第四图像中都包括人脸，则第三图像中的人脸和第四图像中的人脸为同一个人的人脸。

在操作S740，基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像。其中，第二迁移图像包括具有第二属性特征和第二形状特征的第三对象。该操作S740的实现方式与前文描述的采用生成网络得到第一迁移图像的实现方式类似，在此不再赘述。

在操作S750，基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。

根据本公开的实施例，在第三图像为去除背景后的图像时，由于该第二迁移图像中具有背景，则首先可以采用基于第三图像得到的针对第三对象的掩膜图像，来去除第三迁移图像中的背景图像。随后根据去除了背景的第二迁移图像和第三图像的差异，来训练图像迁移模型。

例如，图像之间的差异例如可以通过对两个图像逐像素的对比得到。例如，可以采用第二迁移图像和第三图像之间的L1损失、L2损失或平滑L1损失等来表示差异。随后采用反向传播算法来对图像迁移模型进行训练。

根据本公开的实施例，该第二属性特征例如可以与第一属性特征类似，包括第二姿态特征和第二表情特征。第一编码网络可以包括第三编码子网络和第四编码子网络，以分别提取表情特征和姿态特征。第二编码网络可以包括第一编码子网络、第二编码子网络和融合子网络。上述提取第二形状特征的操作可以先基于第一目标部位在第三图像中的第五位置信息，确定第三图像中针对第一目标部位所在区域的图像。随后基于该第一目标部位所在区域的图像，获得第五子图像。随后根据该第五子图像，采用第一编码子网络提取第一目标部位的形状特征，得到第三子特征。同时根据针对第三图像的音频数据的音频特征，采用第二编码子网络提取第一目标部位的形状特征，得到第四子特征。最后采用融合网络融合第三子特征和第四子特征，得到所述第二形状特征。

图8是根据本公开实施例的图像迁移模型的训练方法的原理示意图。

根据本公开的实施例，在对图像迁移模型进行训练时，例如除了前述通过逐像素对比得到的损失外，还可以考虑生成网络生成图像的损失。同时还可以为生成网络对应的设置判别网络，如此，由生成网络和判别网络构成生成式对抗网络，并通过计算生成式对抗损失来对生成网络进行训练。通过该方式，可以提高训练得到的图像迁移模型中生成网络的精度，使得生成网络生成的迁移图像更为逼真。

例如，如图8所示，该实施例800的图像迁移方法中，第三图像可以采用前文描述的去除中间图像的背景图像后所得到的图像。第一编码网络例如可以包括姿态编码网络(Pose Encoder)811(前文描述的第四编码子网络)和表情编码网络(Emotion Encoder)812(前文描述的第三编码子网络)。第二编码网络可以包括内容编码网络(Content Encoder)813(前文描述的第一编码子网络)和音频编码网络(Audi_o Encoder)814(前文描述的第二编码子网络)。第三编码网络例如可以为身份编码网络(ID Encoder)820，该身份编码网络820可以采用前文描述的ResNet网络。姿态编码网络用于提取第二姿态特征，表情编码网络用于提取第二表情特征。内容编码网络用于提取第三子特征，该第三子特征可以在一定程度上体现出说话内容，音频编码网络用于提取第四子特征。

如图8所示，该实施例800在训练图像迁移模型时，可以与前文描述的类似，对第三图像801进行数据增强处理。随后根据第一目标部位所在区域和第二目标部位所在区域，得到第六子图像801-1、第七子图像801-2和第五子图像801-3。其中，第六子图像801.1、第七子图像801.2和第五子图像801-3分别与前文描述的第三子图像、第一子图像和第四子图像类似。该第六子图像801-1、第七子图像801-2和第五子图像801-3例如可以为归一化处理后的图像。将该三个图像分别输入姿态编码网络811、表情编码网络812和内容编码网络813，并分别经由输入姿态编码网络811、表情编码网络812和内容编码网络813处理后，分别输出第二姿态特征804、第二表情特征805和第三子特征。同时，可以对针对第三图像801的音频数据进行转换，从而得到作为音频特征的MFCC 802。随后可以将该MFCC802输入音频编码网络814，得到第四子特征。融合第三子特征和第四子特征，可以得到第二形状特征806。同时，可以对第四图像803进行归一化处理等预处理，将预处理得到的图像输入身份编码网络820，经由身份编码网络820处理后输出第二身份特征807。

随后可以将该第二姿态特征804、第二形状特征806、第二表情特征805和第二身份特征807拼接后得到的拼接特征808输入多层感知机830，将多层感知机830的输出作为生成网络840的输入，经由生成网络840输出第二迁移图像809。需要说明的是，在第三图像为去除背景的图像时，还可以对生成网络840输出的图像去除背景后，得到第二迁移图像809。

随后，可以基于第二迁移图像809和第三图像801之间的像素级差异，来确定图像迁移模型的第一损失810-1。该第一损失可以采用前文描述的L1损失等。同时，可以将第二迁移图像809和第三图像801分别输入判别网络850中，由该判别网络850输出第二迁移图像为真实图像的第一真值概率和第三图像为真实图像的第二真实概率。该实施例可以根据第二迁移图像、第三图像、第一真值概率和第二真值概率，确定生成对抗损失810-2。

在得到第一损失810-1和生成对抗损失810-2后，例如先根据第一损失810-1和生成对抗损失810-2中生成网络部分的损失来训练图像迁移模型。随后根据生成对抗损失810-2中判别网络部分的损失来训练判别网络，从而完成一次迭代训练。

在一实施例中，如图8所示，除了前述的第一损失810-1和生成对抗损失810-2外，例如还可以对第三图像801与第二迁移图像809进行特征级别的对比，并根据对比结果生成第二损失810-3。

例如，可以将第三图像801和第二迁移图像809分别输入特征提取网络860，该特征提取网络860例如可以为VGG网络、ResNet网络等，本公开对此不做限定。在提取得到两个特征后，可以根据该两个特征之间的差异计算第二损失810-3。该实施例中，第二损失810-3例如可以采用感知损失函数来计算得到，或者也可以采用前文描述的L1损失、L2损失等。

在得到第一损失、生成对抗损失和第二损失后，可以计算该第一损失、生成对抗损失中生成网络部分的损失及第二损失的加权和。根据该加权和对图像迁移模型进行训练。随后，基于生成对抗损失中判别器部分的损失，对判别器进行训练，完成一次迭代训练。

通过进行多次迭代训练，可以使得图像迁移模型的损失达到损失阈值，从而完成对图像迁移模型的训练。该实施例通过同时考虑第二迁移图像和第三图像的特征差异来训练图像迁移模型，可以进一步提高训练得到的图像迁移模型的精度。并因此可以使得训练得到的图像迁移模型能够生成更为逼真的迁移图像。

可以理解的是，可以采用与前文描述的根据音频数据确定第一形状特征的方法类似的方法，来确定第二形状特征。也可以采用与前文描述的结合音频数据和图像数据来确定第一形状特征的方法类似的方法，来确定第二形状特征。

在一实施例中，在对图像迁移模型训练之前，还可以对前文描述的第一编码部分和第二编码部分进行预训练。预训练时采用的样本数据可以包括图像样本和音频样本。具体可以将图像样本作为第一编码部分的输入，获得第三子特征。将音频样本作为第二编码部分的输入，获得第四子特征。最后，以第三子特征与第四子特征趋于一致为目标，训练该第一编码部分和第二编码部分。例如，可以根据第三子特征和第四子特征之间的距离，对第一编码部分和第二编码部分进行训练。

在一实施例中，预训练采用的样本数据可以既包括正样本，也包括负样本。其中，正样本中的图像样本与音频样本相对应。负样本中的图像样本与音频样本不对应。样本数据中的图像样本例如可以为连续的图像序列，相应地，样本数据中的音频样本可以为与图像序列的长度对应的音频段。

例如，一批(batch)的样本数据中，可以包括一个正样本和多个负样本。例如，该实施例可以采用预定损失函数来确定损失，并通过最小化该损失的取值，来对第一编码部分和第二编码部分进行预训练。

其中，预定损失函数可以与根据正样本得到的两个特征之间的距离正相关，与根据负样本得到的两个特征之间的距离负相关。例如可以采用交叉熵损失函数来作为预定损失函数。

在一实施例中，预定损失函数可以采用以下公式：

其中，

表示第四子特征；

表示以正样本中的图像样本作为第一编码部分的输入获得的第三子特征；

表示以负样本中的图像样本作为第一编码部分的输入获得的第三子特征。M可以为一个batch的训练数据中负样本的个数。在一实施例中，一个batch的训练数据中，可以包括一个正样本以及M个负样本。D()表示两个特征之间的距离。

在一实施例中，可以先对得到的第三子特征和第四子特征分别进行归一化，随后根据归一化后的第三子特征和归一化后的第四子特征之间的距离，来确定损失。其中，例如可以采用L2范数归一化方法或任意的归一化方法来对第三子特征和第四子特征进行归一化，本公开对归一化方法不做限定。

根据本公开的实施例，在预训练了第一编码部分和第二编码部分后，在对整体的图像迁移模型进行训练时，可以不对第二编码部分中的权重参数进行调整。

基于本公开提供的图像迁移方法，本公开还提供了一种图像迁移装置。以下将结合图9对该装置进行详细描述。

图9是根据本公开实施例的图像迁移装置的结构框图。

如图9所示，该实施例的图像迁移装置900可以包括第一属性提取模块910、第一形状提取模块920、第一身份提取模块930和第一图像生成模块940。

第一属性提取模块910用于提取第一图像包括的第一对象的第一属性特征。在一实施例中，第一属性提取模块910可以用于执行前文描述的操作S210，在此不再赘述。

第一形状提取模块920用于根据针对第一图像的音频数据，提取第一对象包括的第一目标部位的第一形状特征。在一实施例中，第一形状提取模块920可以用于执行前文描述的操作S220，在此不再赘述。

第一身份提取模块930用于提取第二图像包括的第二对象的第一身份特征。在一实施例中，第一身份提取模块930可以用于执行前文描述的操作S230，在此不再赘述。

第一图像生成模块940用于基于第一属性特征、第一形状特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征和第一形状特征的第二对象。在一实施例中，第一图像生成模块940可以用于执行前文描述的操作S230，在此不再赘述。

根据本公开的实施例，第一属性特征包括第一表情特征。第一属性提取模块910包括：第一图像确定子模块，用于基于第一目标部位在第一图像中的第一位置信息，确定第一图像中除第一目标部位所在区域外其他区域的图像，作为第一子图像；以及表情提取子模块，用于根据第一子图像，提取第一表情特征。

根据本公开的实施例，第一图像包括视频数据中的视频帧，表情提取子模块包括：第一图像确定单元，用于确定视频数据中包括第一对象的目标图像，目标图像的播放时间与第一图像的播放时间之间的差值小于预定值；第二图像确定单元，用于确定目标图像中第一目标部位所在区域的图像，作为第二子图像；图像融合单元，用于融合第二子图像和第一子图像，得到融合图像；以及表情提取单元，用于根据融合图像，提取第一表情特征。

根据本公开的实施例，第一属性特征包括第一姿态特征，第一属性提取模块910包括：第二图像确定子模块，用于基于第一对象包括的第一目标部位和第二目标部位各自在第一图像中的位置信息，确定第一图像中除第一目标部位所在区域和第二目标部位所在区域外其他区域的图像，作为第三子图像；以及姿态提取子模块，用于根据第三子图像，提取第一姿态特征。

根据本公开的实施例，根据针对第一图像的音频数据；第一形状提取模块920包括：第三图像确定子模块，用于基于第一目标部位在第一图像中的第一位置信息，确定第一图像中第一目标部位所在区域的图像，作为第四子图像；第一特征提取子模块，用于根据第四子图像，提取第一目标部位的形状特征，作为第一子特征；第二特征提取子模块，用于根据音频数据的音频特征，提取第一目标部位的形状特征，作为第二子特征；以及第一特征融合子模块，用于融合第一子特征和第二子特征，得到第一形状特征。

根据本公开的实施例，上述图像迁移装置900还可以包括：第一检测模块，用于检测包括第一对象的模板图像，得到第一对象在模板图像中的第二位置信息；以及第一裁剪模块，用于基于第二位置信息裁剪模板图像，获得第一图像。

根据本公开的实施例，第一裁剪模块包括：裁剪单元，用于基于第二位置信息裁剪模板图像，得到第一中间图像；分割单元，用于对第一中间图像进行图像分割处理，得到第一中间图像中目标对象的第三位置信息；目标对象包括第一对象；掩膜生成单元，用于基于第三位置信息，生成针对目标对象的掩膜图像；以及背景去除单元，用于基于掩膜图像去除第一中间图像中的背景图像，得到第一图像。

根据本公开的实施例，上述图像迁移装置900还可以包括：图像增强模块，用于对包括第一对象的图像进行像素级的图像增强处理，得到增强后图像，其中，第二属性提取模块用于基于增强后图像，提取第一属性特征。

根据本公开的实施例，上述图像迁移装置900还可以包括：第二检测模块，用于检测包括第二对象的源图像，得到第二对象在源图像中的第四位置信息；以及第二裁剪模块，用于基于第四位置信息裁剪源图像，获得第二图像。

根据本公开的实施例，第二图像包括多个图像；上述第一身份提取模块930包括：身份提取子模块，用于分别提取多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及特征确定子模块，用于确定多个初始身份特征的均值特征为第二对象的第一身份特征。

根据本公开的实施例，第一图像生成模块940包括：第二特征融合子模块，用于融合第一属性特征、第一形状特征和第一身份特征，得到融合特征；以及图像生成子模块，用于将融合特征作为生成网络的输入，得到第一迁移图像。

基于本公开提供的图像迁移模型的训练方法，本公开还提供了一种图像迁移模型的训练装置。以下将结合图10对该装置进行详细描述。

图10是根据本公开实施例的图像迁移模型的训练装置的结构框图

如图10所示，该实施例的图像迁移模型的训练装置1000可以包括第二属性提取模块1010、第二形状提取模块1020、第二身份提取模块1030、第二图像生成模块1040和模型训练模块1050。其中，图像迁移模型包括第一编码网络、第二编码网络、第三编码网络和生成网络。

第二属性提取模块1010用于采用第一编码网络提取第三图像包括的第三对象的第二属性特征。在一实施例中，第二属性提取模块1010用于执行前文描述的操作S710，在此不再赘述。

第二形状提取模块1020用于根据针对第三图像的音频数据，采用第二编码网络提取第三对象包括的第一目标部位的第二形状特征。在一实施例中，第二形状提取模块1020用于执行前文描述的操作S720，在此不再赘述。

第二身份提取模块1030用于采用第三编码网络提取第四图像包括的第三对象的第二身份特征。在一实施例中，第二身份提取模块1030用于执行前文描述的操作S730，在此不再赘述。

第二图像生成模块1040用于基于第二属性特征、第二形状特征和第二身份特征，采用生成网络生成第二迁移图像；第二迁移图像包括具有第二属性特征和第二形状特征的第三对象。在一实施例中，第二图像生成模块1040用于执行前文描述的操作S740，在此不再赘述。

模型训练模块1050用于基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。在一实施例中，模型训练模块1050用于执行前文描述的操作S750，在此不再赘述。

根据本公开的实施例，模型训练模块1050包括：第一损失确定子模块，用于基于第二迁移图像和第三图像之间的像素级差异，确定图像迁移模型的第一损失；真值概率确定子模块，用于将第二迁移图像和第三图像分别输入判别网络中，得到针对第二迁移图像的第一真值概率和针对第三图像的第二真值概率；第二损失确定子模块，用于基于第二迁移图像、第三图像、第一真值概率和第二真值概率，确定图像迁移模型的生成对抗损失；以及第一训练子模块，用于基于第一损失和生成对抗损失，对图像迁移模型进行训练。

根据本公开的实施例，模型训练模块1050还包括：第三损失确定子模块，用于基于第二迁移图像和第三图像经由特征提取网络提取得到的两个特征的差异，确定图像迁移模型的第二损失。其中，模型训练子模块用于基于第一损失、生成对抗损失和第二损失，对图像迁移模型进行训练。

根据本公开的实施例，第二编码网络包括第一编码子网络、第二编码子网络和融合子网络。第二形状提取模块1020包括：第四图像确定子模块，用于基于第一目标部位在第三图像中的第五位置信息，确定第三图像中第一目标部位所在区域的图像，作为第五子图像；第三特征提取子模块，用于根据第五子图像，采用第一编码子网络提取第一目标部位的形状特征，作为第三子特征；第四特征提取子模块，用于据针对第三图像的音频数据的音频特征，采用第二编码子网络提取第一目标部位的形状特征，作为第四子特征；以及第三特征融合子模块，用于采用融合网络融合第三子特征和第四子特征，得到第二形状特征。

根据本公开的实施例，上述图像迁移模型的训练装置1000还可以包括预训练模块，用于在根据针对第三图像的音频数据，采用第二编码网络提取第三对象包括的第一目标部位的第二形状特征之前，对第一编码子网络和第二编码子网络进行训练。预训练模块包括：第五特征提取子模块，用于以样本数据中的图像样本作为第一编码子网络的输入，获得第五子特征；第六特征提取子模块，用于以样本数据中的音频样本的音频特征作为第二编码子网络的输入，获得第六子特征；以及第二训练子模块，用于根据第五子特征与第六子特征之间的差异，对第一编码子网络和第二编码子网络进行训练。

根据本公开的实施例，样本数据包括第一样本和第二样本；第一样本包括第一图像样本和针对第一图像样本的第一音频样本；第二样本包括第二图像样本和除针对第二图像样本的音频外任意的音频样本。第二训练子模块包括：损失确定单元，用于根据第五子特征和第六子特征之间的差异，确定预定损失函数的取值；以及训练单元，用于根据预定损失函数的取值，对第一编码子网络和第二编码子网络进行训练，其中，预定损失函数的取值与第一差异正相关，且与第二差异负相关，其中，第一差异为输入第一图像样本获得的第五子特征与输入第一音频样本获得的第六子特征之间的差异；第二差异为输入第二图像样本获得的第五子特征与输入第二音频样本获得的第六子特征之间的差异。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开实施例的图像迁移方法和/或图像迁移模型的训练方法的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如图像迁移方法和/或图像迁移模型的训练方法。例如，在一些实施例中，图像迁移方法和/或图像迁移模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的图像迁移方法和/或图像迁移模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像迁移方法和/或图像迁移模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (37)

1.一种图像迁移方法，包括：

提取第一图像包括的第一对象的第一属性特征；

根据针对所述第一图像的音频数据，提取所述第一对象包括的第一目标部位的第一形状特征；

提取第二图像包括的第二对象的第一身份特征；以及

基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征和所述第一形状特征的第二对象。

2.根据权利要求1所述的方法，其中，所述第一属性特征包括第一表情特征；所述提取第一图像包括的第一对象的第一属性特征包括：

基于所述第一目标部位在所述第一图像中的第一位置信息，确定所述第一图像中除所述第一目标部位所在区域外其他区域的图像，获得第一子图像；以及

根据所述第一子图像，提取所述第一表情特征。

3.根据权利要求2所述的方法，其中，所述第一图像包括视频数据中的视频帧；所述根据所述第一图像中除所述第一子图像外的图像，提取所述第一表情特征包括：

确定所述视频数据中包括所述第一对象的目标图像，所述目标图像的播放时间与所述第一图像的播放时间之间的差值小于预定值；

确定所述目标图像中所述第一目标部位所在区域的图像，作为第二子图像；

融合所述第二子图像和所述第一子图像，得到融合图像；以及

根据所述融合图像，提取所述第一表情特征。

4.根据权利要求1所述的方法，其中，所述第一属性特征包括第一姿态特征；所述提取第一图像包括的第一对象的第一属性特征包括：

基于所述第一对象包括的第一目标部位和第二目标部位各自在所述第一图像中的位置信息，确定所述第一图像中除所述第一目标部位所在区域和第二目标部位所在区域外其他区域的图像，获得第三子图像；以及

根据所述第三子图像，提取所述第一姿态特征。

5.根据权利要求1所述的方法，其中，所述根据针对所述第一图像的音频数据；提取所述第一对象包括的第一目标部位的第一形状特征包括：

基于所述第一目标部位在所述第一图像中的第一位置信息，确定所述第一图像中所述第一目标部位所在区域的图像，获得第四子图像；

根据所述第四子图像，提取所述第一目标部位的形状特征，作为第一子特征；

根据所述音频数据的音频特征，提取所述第一目标部位的形状特征，作为第二子特征；以及

融合所述第一子特征和所述第二子特征，得到所述第一形状特征。

6.根据权利要求1所述的方法，还包括：

检测包括所述第一对象的模板图像，得到所述第一对象在所述模板图像中的第二位置信息；以及

基于所述第二位置信息裁剪所述模板图像，获得所述第一图像。

7.根据权利要求6所述的方法，其中，所述基于所述第二位置信息裁剪所述模板图像，获得所述第一图像包括：

基于所述第二位置信息裁剪所述模板图像，得到第一中间图像；

对所述第一中间图像进行图像分割处理，得到所述第一中间图像中目标对象的第三位置信息；所述目标对象包括所述第一对象；

基于所述第三位置信息，生成针对所述目标对象的掩膜图像；以及

基于所述掩膜图像去除所述第一中间图像中的背景图像，得到所述第一图像。

8.根据权利要求1～4中任一项所述的方法，其中，提取第一图像包括的第一对象的第一属性特征包括：

对所述第一图像进行数据增强处理，得到增强后图像；以及

基于所述增强后图像，提取所述第一属性特征。

9.根据权利要求1所述的方法，还包括：

检测包括所述第二对象的源图像，得到所述第二对象在所述源图像中的第四位置信息；以及

基于所述第四位置信息裁剪所述源图像，获得所述第二图像。

10.根据权利要求1～9中任一项所述的方法，其中，所述第二图像包括多个图像；所述提取第二图像包括的第二对象的第一身份特征包括：

分别提取所述多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及

确定所述多个初始身份特征的均值特征为所述第二对象的第一身份特征。

11.根据权利要求1所述的方法，其中，所述基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像包括：

融合所述第一属性特征、所述第一形状特征和所述第一身份特征，得到融合特征；以及

将所述融合特征作为生成网络的输入，得到所述第一迁移图像。

12.一种图像迁移模型的训练方法，其中，所述图像迁移模型包括第一编码网络、第二编码网络、第三编码网络和生成网络；所述方法包括：

采用所述第一编码网络提取第三图像包括的第三对象的第二属性特征；

根据针对所述第三图像的音频数据，采用所述第二编码网络提取所述第三对象包括的第一目标部位的第二形状特征；

采用所述第三编码网络提取第四图像包括的第三对象的第二身份特征；

基于所述第二属性特征、所述第二形状特征和所述第二身份特征，采用所述生成网络生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征和所述第二形状特征的第三对象；以及

基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练。

13.根据权利要求12所述的方法，其中，基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练包括：

基于所述第二迁移图像和所述第三图像之间的像素级差异，确定所述图像迁移模型的第一损失；

将所述第二迁移图像和所述第三图像分别输入判别网络中，得到针对所述第二迁移图像的第一真值概率和针对所述第三图像的第二真值概率；

基于所述第二迁移图像、所述第三图像、所述第一真值概率和所述第二真值概率，确定所述图像迁移模型的生成对抗损失；以及

基于所述第一损失和所述生成对抗损失，对所述图像迁移模型进行训练。

14.根据权利要求13所述的方法，其中，基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练还包括：

基于所述第二迁移图像和所述第三图像经由特征提取网络提取得到的两个特征的差异，确定所述图像迁移模型的第二损失；以及

基于所述第一损失、所述生成对抗损失和所述第二损失，对所述图像迁移模型进行训练。

15.根据权利要求12所述的方法，其中，所述第二编码网络包括第一编码子网络、第二编码子网络和融合子网络；所述根据针对所述第三图像的音频数据，采用所述第二编码网络提取所述第三对象包括的第一目标部位的第二形状特征包括：

基于所述第一目标部位在所述第三图像中的第五位置信息，确定所述第三图像中所述第一目标部位所在区域的图像，获得第五子图像；

根据所述第五子图像，采用所述第一编码子网络提取所述第一目标部位的形状特征，得到第三子特征；

根据针对所述第三图像的音频数据的音频特征，采用所述第二编码子网络提取所述第一目标部位的形状特征，得到第四子特征；以及

采用所述融合网络融合所述第三子特征和所述第四子特征，得到所述第二形状特征。

16.根据权利要求15所述的方法，还包括在根据针对所述第三图像的音频数据，采用所述第二编码网络提取所述第三对象包括的第一目标部位的第二形状特征之前：

以样本数据中的图像样本作为所述第一编码子网络的输入，获得第五子特征；

以样本数据中的音频样本的音频特征作为所述第二编码子网络的输入，获得第六子特征；以及

根据所述第五子特征与所述第六子特征之间的差异，对所述第一编码子网络和所述第二编码子网络进行训练。

17.根据权利要求16所述的方法，其中，所述样本数据包括第一样本和第二样本；所述第一样本包括第一图像样本和针对所述第一图像样本的第一音频样本；所述第二样本包括第二图像样本和除针对所述第二图像样本的音频外任意的音频样本；所述根据所述第五子特征与所述第六子特征之间的差异，对所述第一编码子网络和所述第二编码子网络进行训练包括：

根据所述第五子特征和所述第六子特征之间的差异，确定预定损失函数的取值；以及

根据所述预定损失函数的取值，对所述第一编码子网络和所述第二编码子网络进行训练，

其中，所述预定损失函数的取值与第一差异正相关，且与第二差异负相关，其中，所述第一差异为输入所述第一图像样本获得的第五子特征与输入所述第一音频样本获得的第六子特征之间的差异；所述第二差异为输入所述第二图像样本获得的第五子特征与输入所述第二音频样本获得的第六子特征之间的差异。

18.一种图像迁移装置，包括：

第一属性提取模块，用于提取第一图像包括的第一对象的第一属性特征；

第一形状提取模块，用于根据针对所述第一图像的音频数据，提取所述第一对象包括的第一目标部位的第一形状特征；

第一身份提取模块，用于提取第二图像包括的第二对象的第一身份特征；以及

第一图像生成模块，用于基于所述第一属性特征、所述第一形状特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征和所述第一形状特征的第二对象。

19.根据权利要求18所述的装置，其中，所述第一属性特征包括第一表情特征；所述第一属性提取模块包括：

第一图像确定子模块，用于基于所述第一目标部位在所述第一图像中的第一位置信息，确定所述第一图像中除所述第一目标部位所在区域外其他区域的图像，作为第一子图像；以及

表情提取子模块，用于根据所述第一子图像，提取所述第一表情特征。

20.根据权利要求19所述的装置，其中，所述第一图像包括视频数据中的视频帧；所述表情提取子模块包括：

第一图像确定单元，用于确定所述视频数据中包括所述第一对象的目标图像，所述目标图像的播放时间与所述第一图像的播放时间之间的差值小于预定值；

第二图像确定单元，用于确定所述目标图像中所述第一目标部位所在区域的图像，作为第二子图像；

图像融合单元，用于融合所述第二子图像和所述第一子图像，得到融合图像；以及

表情提取单元，用于根据所述融合图像，提取所述第一表情特征。

21.根据权利要求18所述的装置，其中，所述第一属性特征包括第一姿态特征；所述第一属性提取模块包括：

第二图像确定子模块，用于基于所述第一对象包括的第一目标部位和第二目标部位各自在所述第一图像中的位置信息，确定所述第一图像中除所述第一目标部位所在区域和第二目标部位所在区域外其他区域的图像，作为第三子图像；以及

姿态提取子模块，用于根据所述第三子图像，提取所述第一姿态特征。

22.根据权利要求18所述的装置，其中，所述根据针对所述第一图像的音频数据；所述第一形状提取模块包括：

第三图像确定子模块，用于基于所述第一目标部位在所述第一图像中的第一位置信息，确定所述第一图像中所述第一目标部位所在区域的图像，作为第四子图像；

第一特征提取子模块，用于根据所述第四子图像，提取所述第一目标部位的形状特征，作为第一子特征；

第二特征提取子模块，用于根据所述音频数据的音频特征，提取所述第一目标部位的形状特征，作为第二子特征；以及

第一特征融合子模块，用于融合所述第一子特征和所述第二子特征，得到所述第一形状特征。

23.根据权利要求18所述的装置，还包括：

第一检测模块，用于检测包括所述第一对象的模板图像，得到所述第一对象在所述模板图像中的第二位置信息；以及

第一裁剪模块，用于基于所述第二位置信息裁剪所述模板图像，获得所述第一图像。

24.根据权利要求23所述的装置，其中，所述第一裁剪模块包括：

裁剪单元，用于基于所述第二位置信息裁剪所述模板图像，得到第一中间图像；

分割单元，用于对所述第一中间图像进行图像分割处理，得到所述第一中间图像中目标对象的第三位置信息；所述目标对象包括所述第一对象；

掩膜生成单元，用于基于所述第三位置信息，生成针对所述目标对象的掩膜图像；以及

背景去除单元，用于基于所述掩膜图像去除所述第一中间图像中的背景图像，得到所述第一图像。

25.根据权利要求18～21中任一项所述的装置，还包括：

图像增强模块，用于对包括所述第一对象的图像进行像素级的图像增强处理，得到增强后图像，

其中，所述第二属性提取模块用于基于所述增强后图像，提取所述第一属性特征。

26.根据权利要求18所述的装置，还包括：

第二检测模块，用于检测包括所述第二对象的源图像，得到所述第二对象在所述源图像中的第四位置信息；以及

第二裁剪模块，用于基于所述第四位置信息裁剪所述源图像，获得所述第二图像。

27.根据权利要求18～26中任一项所述的装置，其中，所述第二图像包括多个图像；所述第一身份提取模块包括：

身份提取子模块，用于分别提取所述多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及

特征确定子模块，用于确定所述多个初始身份特征的均值特征为所述第二对象的第一身份特征。

28.根据权利要求18所述的装置，其中，所述第一图像生成模块包括：

第二特征融合子模块，用于融合所述第一属性特征、所述第一形状特征和所述第一身份特征，得到融合特征；以及

图像生成子模块，用于将所述融合特征作为生成网络的输入，得到所述第一迁移图像。

29.一种图像迁移模型的训练装置，其中，所述图像迁移模型包括第一编码网络、第二编码网络、第三编码网络和生成网络；所述装置包括：

第二属性提取模块，用于采用所述第一编码网络提取第三图像包括的第三对象的第二属性特征；

第二形状提取模块，用于根据针对所述第三图像的音频数据，采用所述第二编码网络提取所述第三对象包括的第一目标部位的第二形状特征；

第二身份提取模块，用于采用所述第三编码网络提取第四图像包括的第三对象的第二身份特征；

第二图像生成模块，用于基于所述第二属性特征、所述第二形状特征和所述第二身份特征，采用所述生成网络生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征和所述第二形状特征的第三对象；以及

模型训练模块，用于基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练。

30.根据权利要求29所述的装置，其中，所述模型训练模块包括：

第一损失确定子模块，用于基于所述第二迁移图像和所述第三图像之间的像素级差异，确定所述图像迁移模型的第一损失；

真值概率确定子模块，用于将所述第二迁移图像和所述第三图像分别输入判别网络中，得到针对所述第二迁移图像的第一真值概率和针对所述第三图像的第二真值概率；

第二损失确定子模块，用于基于所述第二迁移图像、所述第三图像、所述第一真值概率和所述第二真值概率，确定所述图像迁移模型的生成对抗损失；以及

第一训练子模块，用于基于所述第一损失和所述生成对抗损失，对所述图像迁移模型进行训练。

31.根据权利要求30所述的装置，其中，所述模型训练模块还包括：

第三损失确定子模块，用于基于所述第二迁移图像和所述第三图像经由特征提取网络提取得到的两个特征的差异，确定所述图像迁移模型的第二损失，

其中，所述模型训练子模块用于基于所述第一损失、所述生成对抗损失和所述第二损失，对所述图像迁移模型进行训练。

32.根据权利要求29所述的装置，其中，所述第二编码网络包括第一编码子网络、第二编码子网络和融合子网络；所述第二形状提取模块包括：

第四图像确定子模块，用于基于所述第一目标部位在所述第三图像中的第五位置信息，确定所述第三图像中所述第一目标部位所在区域的图像，作为第五子图像；

第三特征提取子模块，用于根据所述第五子图像，采用所述第一编码子网络提取所述第一目标部位的形状特征，作为第三子特征；

第四特征提取子模块，用于据针对所述第三图像的音频数据的音频特征，采用所述第二编码子网络提取所述第一目标部位的形状特征，作为第四子特征；以及

第三特征融合子模块，用于采用所述融合网络融合所述第三子特征和所述第四子特征，得到所述第二形状特征。

33.根据权利要求32所述的装置，还包括预训练模块，用于在根据针对所述第三图像的音频数据，采用所述第二编码网络提取所述第三对象包括的第一目标部位的第二形状特征之前，对所述第一编码子网络和所述第二编码子网络进行训练；所述预训练模块包括：

第五特征提取子模块，用于以样本数据中的图像样本作为所述第一编码子网络的输入，获得第五子特征；

第六特征提取子模块，用于以样本数据中的音频样本的音频特征作为所述第二编码子网络的输入，获得第六子特征；以及

第二训练子模块，用于根据所述第五子特征与所述第六子特征之间的差异，对所述第一编码子网络和所述第二编码子网络进行训练。

34.根据权利要求33所述的装置，其中，所述样本数据包括第一样本和第二样本；所述第一样本包括第一图像样本和针对所述第一图像样本的第一音频样本；所述第二样本包括第二图像样本和除针对所述第二图像样本的音频外任意的音频样本；所述第二训练子模块包括：

损失确定单元，用于根据所述第五子特征和所述第六子特征之间的差异，确定预定损失函数的取值；以及

训练单元，用于根据所述预定损失函数的取值，对所述第一编码子网络和所述第二编码子网络进行训练，

其中，所述预定损失函数的取值与第一差异正相关，且与第二差异负相关，其中，所述第一差异为输入所述第一图像样本获得的第五子特征与输入所述第一音频样本获得的第六子特征之间的差异；所述第二差异为输入所述第二图像样本获得的第五子特征与输入所述第二音频样本获得的第六子特征之间的差异。

35.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～17中任一项所述的方法。

36.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～17中任一项所述的方法。

37.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～17中任一项所述的方法。

Images