CN111277912B - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本申请公开了图像处理方法、装置和电子设备，涉及图像处理技术领域。具体实现方案为：获取第一合成音频；将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；根据所述预测唇形索引，获得目标唇形图像；将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。由于根据预测模型可获取到与第一合成音频对应的预测唇形索引，并进一步的根据预测唇形索引获得目标唇形图像，使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

Description

图像处理方法、装置和电子设备

技术领域

本申请涉及计算机技术领域中的图像处理技术，尤其涉及一种图像处理方法、装置和电子设备。

背景技术

真人虚拟形象合成技术是指根据给定的文本或者语音合成一段真人形象的合成视频，合成的虚拟形象的唇形动作与输入声音或文本匹配，可以应用到直播解说、智能客服以及应对突发的新闻事件的播报等需要人物形象的场景里。

目前，合成的真人虚拟形象的唇动与声音的匹配度较差，导致真人虚拟形象的合成效果较差。

发明内容

本申请实施例提供一种图像处理方法、装置和电子设备，以解决现有真人虚拟形象的合成效果较差的问题。

为解决上述技术问题，本申请是这样实现的：

本申请第一方面提供一种图像处理方法，包括：

获取第一合成音频；

将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；

根据所述预测唇形索引，获得目标唇形图像；

将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。

进一步的，所述根据所述预测唇形索引，获得目标唇形图像，包括：

根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

根据所述第一候选唇形图像，获得所述目标唇形图像。

进一步的，所述将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像，包括：

将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

进一步的，所述预测模型获取过程包括：

获取所述预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。

进一步的，所述根据所述第一候选唇形图像，获得所述目标唇形图像，包括：

若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。

本申请第二方面提供一种图像处理装置，包括：

第一获取模块，用于获取第一合成音频；

第二获取模块，用于将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；

第三获取模块，用于根据所述预测唇形索引，获得目标唇形图像；

第四获取模块，用于将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。

进一步的，述第三获取模块，包括：

第一获取子模块，用于根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

第二获取子模块，用于根据所述第一候选唇形图像，获得所述目标唇形图像。

进一步的，所述第四获取模块，包括：

第三获取子模块，用于将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

第四获取子模块，用于提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

第五获取子模块，用于对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

第六获取子模块，用于将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

进一步的，所述预测模型获取过程包括：

获取所述预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。

进一步的，所述第二获取子模块，用于若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。

本申请第三方面提供一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

本申请第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。

上述申请中的一个实施例具有如下优点或有益效果：获取第一合成音频；将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；根据所述预测唇形索引，获得目标唇形图像；将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。由于根据预测模型可获取到与第一合成音频对应的预测唇形索引，并进一步的根据预测唇形索引获得目标唇形图像，使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；根据所述第一候选唇形图像，获得所述目标唇形图像，可使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；提取所述合成下巴图像的第一特征点，以及所述模板人脸目标面部下巴图像的第二特征点；对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；将调整后的所述合成下巴图像投影到所述模板人脸目标面部上，获得合成人脸图像合成面部图像，可使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

由于训练样本为第二合成音频的每一帧语音，以及所述语音对应的唇形索引，这样获得的预测模型，可根据合成音频中的一帧语音，预测对应的唇形索引，使得合成的合成面部图像的唇形与合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。通过对多张唇形图像进行像素加权计算，可提高目标唇形图像的精准度。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的图像处理方法的流程图；

图2是本申请实施例提供的图像处理装置的结构图；

图3是用来实现本申请实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

参见图1，图1是本申请实施例提供的图像处理方法的流程图之一，如图1所示，本实施例提供一种图像处理方法，应用于电子设备，包括以下步骤：

步骤101、获取第一合成音频。

第一合成音频可根据文本进行合成，例如，给定一段文字，合成一段语音，合成的语音即为第一合成音频。

步骤102、将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得。

具体的，第二合成音频为用于训练预测模型的音频，本说明中的第一第二仅是用于区别不同的合成音频，并无特殊含义。采集发音对象在预设时间段内发出的原始语音，同时，对发音对象的唇部动作进行采集，例如，采集发音对象在1小时发出的原始语音，同时，采集发音对象在这一小时的唇部动作。然后根据原始语音获得对应的文本，再根据文本获得第二合成音频。

唇形索引可理解为唇形图像的特征信息，例如，唇形图像的唇形点、特征点或缩略图等等，可根据实际情况确定唇形图像的特征信息。发音对象可为主播、主持人等等。

第二合成音频可包括多帧音频，每一帧音频对应一个唇形索引。在将第一合成音频输入至预设模型后，预测模型输出的预测唇形索引可包括多个预测索引，即第一合成音频中的每一帧对应一个预测索引。

在本发明一个实施例中，所述预测模型获取过程包括：

获取所述预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。

具体的，获取所述预设时间段内对所述发音对象的唇部采集的唇形图像，具体可为：获取所述预设时间段内对所述发音对象的唇部采集的面部图像，并从面部图像中截取唇部图像。进一步的，将唇部图像经过三维人脸网格模型转正对齐，获得唇形图像。三维人脸网格模型即目标面部。

对第二合成音频按照音素进行切分，每个音素对应一个时间段，获取唇形图像中音素对应的时间段内的图像，该图像为第二候选唇形图像。对第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引。基础模型可为单向循环神经网络(Recurrent Neural Network，简称RNN)。由于训练样本为第二合成音频的每一帧语音，以及所述语音对应的唇形索引，这样获得的预测模型，可根据合成音频中的一帧语音，预测对应的唇形索引，使得合成的合成面部图像的唇形与合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

步骤103、根据所述预测唇形索引，获得目标唇形图像。

根据预测模型获取到预测唇形索引，然后根据获取的预测唇形索引，获得目标唇形图像。预测唇形索引可包括一个或多个预测索引，目标唇形图像可包括一个或多个目标唇形子图像，一个预测索引对应一个目标唇形子图像。

预测唇形索引包括多个预测索引时，按照预测索引对应的第一合成音频中的帧在时间轴上的先后顺序，依次对各个预测索引进行处理，获得预测索引对应的目标唇形子图像。例如，可根据预测索引，获取唇形图像中到与预测索引相似度最高的图像，并将该图像作为预测索引对应的目标唇形子图像；或者，将唇形图像中的图像，按照其与预测索引的相似度从大到小排序，获取排序在前的多张图像，并将这多张图像进行加权平均处理，将处理结果作为预测索引对应的目标唇形子图像。

步骤104、将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。

目标面部可根据发音对象的面部图像确定，例如，对于发音对象为主播来说，可获取主播的人脸图像，然后根据人脸图像确定主播的三维人脸网格模型，该三维人脸网格模型即目标面部。目标面部也可不根据发音对象确定，而是根据其他对象的面部确定，目标面部可为三维网格模型。本实施例中的合成面部图像，可使声音与形象解耦，即目标面部不一定是发音对象的面部，发音与形象可以自由组合搭配。

合成面部图像包括一个或多个合成面部子图像。将目标唇形子图像，投影到目标面部上的唇形区域，获得合成面部子图像。这样，合成面部子图像中的唇形区域替换成了目标唇形子图像。按照目标唇形子图像对应的时间轴，依次将各目标唇形子图像投影到目标面部上，获得多张合成面部子图像，此种情况下，合成面部图像为包括多张合成面部子图像的视频。

本实施例中，获取第一合成音频；将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；根据所述预测唇形索引，获得目标唇形图像；将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。由于根据预测模型可获取到与第一合成音频对应的预测唇形索引，并进一步的根据预测唇形索引获得目标唇形图像，使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

在本发明一个实施例中，步骤103、根据所述预测唇形索引，获得目标唇形图像，包括：

根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

根据所述第一候选唇形图像，获得所述目标唇形图像。

具体的，第一候选唇形图像可包括一张或N张图像，N为32或者48。第一候选唇形图像可以为唇形图像中唇形索引与预测唇形索引匹配度(或相似度)最高的图像，或者，第一候选唇形图像可以将唇形图像中的图像，按照其与预测唇形索引的相似度从大到小排序，获取的排序在前的N张图像。

若预测唇形索引包括多个预测索引，则分别获取各个预测索引匹配的第一候选唇形图像，然后根据第一候选唇形图像，获得目标唇形图像。

为了提高匹配速度，方便对唇形图像中的图像进行快速索引，可根据唇形图像包括的多张图像建立kdtree(K dimensional树，是一种分割k维数据空间的数据结构，主要应用于多维空间关键数据的搜索)。

本实施例中，根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；根据所述第一候选唇形图像，获得所述目标唇形图像，可使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

若获取的第一候选唇形图像包括一张图像，则将该图像作为目标唇形图像，若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。通过对多张唇形图像进行像素加权计算，可提高目标唇形图像的精准度。

在本发明一个实施例中，步骤104、将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像，包括：

将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

具体的，第一预设阈值可根据实际情况进行设置，在此不做限定。

若目标唇形图像包括多张目标唇形子图像，则分别根据各目标唇形子图像，获取合成下巴子图像，并进一步的对各合成下巴子图像进行调整。合成下巴图像包括多张合成下巴子图像，一张目标唇形子图像对应一张合成下巴子图像。

对所述合成下巴子图像进行调整，具体可为对合成下巴子图像进行三角剖分和图像空间的仿射变换，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值，消除合成下巴子图像和目标面部下巴图像的轮廓差异。

按照目标唇形子图像对应的时间轴，依次将调整后的合成下巴子图像投影到目标面部上，获得多张合成面部子图像，此种情况下，合成面部图像为包括多张合成面部子图像的视频。

本实施例中，将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；提取所述合成下巴图像的第一特征点，以及所述模板人脸目标面部下巴图像的第二特征点；对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；将调整后的所述合成下巴图像投影到所述模板人脸目标面部上，获得合成人脸图像合成面部图像，可使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

进一步的，为使得合成效果更佳，可调整合成面部图像的鼻尖区域，使得合成面部图像的鼻尖区域与目标面部的鼻尖区域的重合度大于第二预设阈值，第二预设阈值可根据实际情况进行设置，在此不做限定。这可以通过求解稳定高效的姿态变换矩阵(外参矩阵)，例如采用金字塔搜索的方式，进行并行化索引得到姿态稳定的合成效果。

以下对上述过程进行详细说明。

整个合成流程可以概括为后端的唇形回归，和前端的包含嘴唇的下巴区域的纹理合成两部分。首先，获取主播1个小时的人脸图片，并根据人脸图片获得唇部图像，然后使用三维形变模型(3D Morphable Models，简称3DMM)方式建立主播的三维人脸网格模型，所有的人脸图像和唇部图像经过了三维人脸网格模型的转正对齐，转正对齐后的唇部图像称为唇形图像，并根据唇形图像建立kdtree，方便对唇形图片(即唇形图像)进行快速索引。

由于原始语音跟合成语音时长信息不同，因此与原始语音对应的唇形图片跟合成语音不匹配。为了提高合成语音与唇形图片的匹配度，首先根据音素切分的时长信息，对时长信息对应的唇形图片进行超采样插值，使得唇形图片对齐到合成语音的每一帧。进一步的，进行语音特征(一帧语音)到唇形索引的单向RNN索引回归，使用单向RNN回归进行索引的方式可以使合成过程按流式的方式进行。

上述过程可理解为：对训练合成音频按照音素进行切分，获取音素对应的唇形图片(一张或多张)，每张唇形图片对应有唇形索引(唇形索引可为唇形图片缩略图、唇形特征点等，具体可根据实际情况设置，唇形索引可认为是表征唇形图片的一种信息)，对唇形索引进行超采样插值，使得训练合成音频的每一帧语音对应一个唇形索引，经过本步骤处理之后，可获得训练合成音频中，每一帧语音对应的唇形索引；将每一帧语音与对应的唇形索引作为训练样本，对RNN模型进行训练；

获取第二合成音频，将第二合成音频中的每帧输入至RNN模型中，获得预测唇形索引；

根据预测唇形索引，获取唇形图像中唇形索引与预测唇形索引最为相近的N(N＝32，48)个候选唇形图像；

将多个候选唇形图像进行像素加权，获得一张目标唇形图像；

将目标唇形图像与主播的下巴进行拼接，获得合成下巴图像；

提取合成下巴图像的第一特征点，以及模板人脸(即目标面部)下巴的第二特征点，以第二特征点为目标，对合成下巴图片进行三角剖分和图像空间的仿射变换，使得第一特征点与第二特征点之间的误差小于第一预设阈值；

将变换后的合成下巴图像，反投影到模板人脸上，获得合成人脸图像；

进一步的，为使得合成效果更佳，调整合成人脸图像的鼻尖区域，使得合成人脸图像的鼻尖区域与模板人脸的鼻尖区域的重合度大于第二预设阈值。例如，通过求解稳定高效的姿态变换矩阵(外参矩阵)，采用了金字塔搜索的方式，进行并行化索引得到姿态稳定的合成效果。

最后，在肢体动作方面对合成人脸图像进行改造，变成为首尾动作循环的方式，采用3D骨骼动画跟2D人脸视频相结合的方式，支持了标签化的肢体动作。

在计算架构上，采用预计算与实时合成解耦，合成过程中采用中央处理器(central processing unit，简称CPU)多帧并行和GPU交叉运行的异构计算方式。例如，采用CPU多帧并行的步骤包括：根据预测唇形索引，获取候选唇形图像、对合成下巴图片进行三角剖分和图像空间的仿射变换、3D头部姿态对齐、图像仿射变换和融合。采用GPU处理的步骤包括：多帧纹理拼接合成、合成图的人脸关键点检测、稳定性外参矩阵的搜索。

计算并行化程度高，4台计算机能达到0.5倍实时率，可进行流式的实时合成。

本发明的图像处理方法，建立合成声音与唇形索引之间的映射；高并行性的像素和面片结合的人脸面部纹理合成方法，结合单向RNN唇形预测和CPU多帧并行，以及GPU交叉运行的异构计算方式，可以以流式的方式，在200ms的硬延时上进行实时率低于1的流式合成，同时能够很好地保持面部动作细节；通过2D视频与3D骨骼动画融合的方式增加了标签化的肢体动作。

另外，上述方法计算并行化程度高，4台计算机能达到0.5倍实时率，可进行流式的实时合成；高保真的唇动，高保真能够保持面部动作细节；声音与形象解耦，发音人与形象可以自由组合搭配。本发明中基于合成声音进行驱动，合成效果好，且由于合成声音多种多样，使得虚拟真人音视频合成的灵活性更好。

参见图2，图2是本申请实施例提供的图像处理装置的结构图，如图2所示，本实施例提供一种图像处理装置200，包括：

第一获取模块201，用于获取第一合成音频；

第二获取模块202，用于将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；

第三获取模块203，用于根据所述预测唇形索引，获得目标唇形图像；

第四获取模块204，用于将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。

进一步的，所述第三获取模块203，包括：

第一获取子模块，用于根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

第二获取子模块，用于根据所述第一候选唇形图像，获得所述目标唇形图像。

进一步的，所述第四获取模块204，包括：

第三获取子模块，用于将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

第四获取子模块，用于提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

第五获取子模块，用于对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

第六获取子模块，用于将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

进一步的，所述预测模型获取过程包括：

获取所述预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。

进一步的，所述第二获取子模块，用于若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。

图像处理装置200能够实现图1所示的方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

本申请实施例的图像处理装置200，获取第一合成音频；将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；根据所述预测唇形索引，获得目标唇形图像；将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。由于根据预测模型可获取到与第一合成音频对应的预测唇形索引，并进一步的根据预测唇形索引获得目标唇形图像，使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图3所示，是根据本申请实施例的图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图3所示，该电子设备包括：一个或多个处理器301、存储器302，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图3中以一个处理器301为例。

存储器302即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。

存储器302作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块(例如，附图2所示的调整模块201、第一获取模块202、第二获取模块203和第三获取模块204)。处理器301通过运行存储在存储器302中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现图像处理方法的电子设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至实现图像处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现图像处理方法的电子设备还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。

输入装置303可接收输入的数字或字符信息，以及产生与实现图像处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置304可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的图像处理装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，获取第一合成音频；将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；根据所述预测唇形索引，获得目标唇形图像；将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。由于根据预测模型可获取到与第一合成音频对应的预测唇形索引，并进一步的根据预测唇形索引获得目标唇形图像，使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；根据所述第一候选唇形图像，获得所述目标唇形图像，可使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；提取所述合成下巴图像的第一特征点，以及所述模板人脸目标面部下巴图像的第二特征点；对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；将调整后的所述合成下巴图像投影到所述模板人脸目标面部上，获得合成人脸图像合成面部图像，可使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

由于训练样本为第二合成音频的每一帧语音，以及所述语音对应的唇形索引，这样获得的预测模型，可根据合成音频中的一帧语音，预测对应的唇形索引，使得合成的合成面部图像的唇形与合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。通过对多张唇形图像进行像素加权计算，可提高目标唇形图像的精准度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取第一合成音频；

将所述第一合成音频输入至预测模型中，获得预测唇形索引，所述预测模型为单向循环神经网络；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得，其中，所述唇形索引为所述唇形图像的特征信息；

根据所述预测唇形索引，获得目标唇形图像；

将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像，其中，所述目标面部为根据所述发音对象的面部图像确定；

其中，所述获得合成面部图像之后，还包括：调整所述合成面部图像的鼻尖区域，调整后的所述合成面部图像的鼻尖区域与所述目标面部的鼻尖区域的重合度大于第二预设阈值；

所述根据所述预测唇形索引，获得目标唇形图像，包括：

根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

根据所述第一候选唇形图像，获得所述目标唇形图像；

所述根据所述第一候选唇形图像，获得所述目标唇形图像，包括：若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像，包括：

将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

3.根据权利要求1所述的方法，其特征在于，所述预测模型获取过程包括：

获取预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。

4.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取第一合成音频；

第二获取模块，用于将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得，其中，所述唇形索引为所述唇形图像的特征信息，所述预测模型为单向循环神经网络；

第三获取模块，用于根据所述预测唇形索引，获得目标唇形图像；

第四获取模块，用于将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像，其中，所述目标面部为根据所述发音对象的面部图像确定；

其中，所述获得合成面部图像之后，还包括：调整所述合成面部图像的鼻尖区域，调整后的所述合成面部图像的鼻尖区域与所述目标面部的鼻尖区域的重合度大于第二预设阈值；

所述第三获取模块，包括：

第一获取子模块，用于根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

第二获取子模块，用于根据所述第一候选唇形图像，获得所述目标唇形图像；

所述第二获取子模块，用于若所述第一候选唇形图像包括多张唇形图像，则将所述多张唇形图像进行像素加权计算，获得所述目标唇形图像。

5.根据权利要求4所述的装置，其特征在于，所述第四获取模块，包括：

第三获取子模块，用于将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

第四获取子模块，用于提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

第五获取子模块，用于对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

第六获取子模块，用于将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

6.根据权利要求4所述的装置，其特征在于，所述预测模型获取过程包括：

获取预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。

Images