CN116524129A - 用户虚拟形象生成方法、系统、电子设备及可读存储介质 - Google Patents

Abstract

本发明涉及图像模型技术领域，公开了一种用户虚拟形象生成方法、系统、电子设备及可读存储介质，该方法通过在预设观测视角下对目标用户的三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并通过目标用户在预设观测视角下的用户面部视频确定静态坐标点中待调整坐标点的坐标变化，进而根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征，并根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型，从而避免三维面部模型由于单一图片生成，造成的在不同角度下形象呆板和展现效果差的问题，在不同角度都能够自然展现用户面部模型，从而提高用户使用体验。

Description

用户虚拟形象生成方法、系统、电子设备及可读存储介质

技术领域

本发明涉及图像模型技术领域，尤其涉及一种用户虚拟形象生成方法、系统、电子设备及可读存储介质。

背景技术

随着智能汽车的不断发展，出现了依赖车辆显示设备存在的数字虚拟形象，由于虚拟形象拥有人的外观，具有特定的相貌、性别和性格等人物特征，还能够拓展人的行为，具有用语言、面部表情和肢体动作表达的能力，以及具有识别外界环境、并能与人交流互动的能力，使得用户与车辆之间的交互体验，增加用户粘度。为了贴近用户真实形象、提高数字虚拟形象的生成响应率，常常从用户相关的图像源、声音源、文本源中确定虚拟形象的基础特征参数，再通过3D模型的搭建，将基础特征参数进行结合渲染，得到数字虚拟对象。

但是，由于数字虚拟对象的面部特征是从二维图片中提取而来，使得数字虚拟对象的面部模型无法在不同角度都贴近用户形象自然展现，数字虚拟对象的形象呆板，展现效果较差，无法达到用户要求。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

鉴于以上所述现有技术的缺点，本发明公开了一种用户虚拟形象生成方法、系统、电子设备及可读存储介质，以提高数字虚拟对象的形象展现效果。

本发明提供了一种用户虚拟形象生成方法，包括：获取目标用户的三维面部模型，并获取所述目标用户在预设观测视角下的用户面部视频，其中，所述用户面部视频包含至少一部分面部区域；在所述预设观测视角下对所述三维面部模型进行坐标定位，得到所述预设观测视角对应的静态坐标点，并从所述静态坐标点中确定所述面部区域对应的待调整坐标点；记录所述待调整坐标点在所述用户面部视频中的坐标变化，并根据记录到的坐标变化对所述待调整坐标点进行调整，得到区域动态特征；根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型。

可选地，获取目标用户的三维面部模型，包括：获取所述目标用户的完整人脸图片；对所述完整人脸图片进行特征提取，得到面部姿态特征，并对所述完整人脸图片中的面部颜色进行识别，得到面部颜色要素；对所述面部姿态特征进行降噪处理，并对降噪处理后的面部姿态特征进行识别，得到面部特征要素；根据所述面部颜色要素和所述面部特征要素进行三维模型渲染，得到所述目标用户的三维面部模型。

可选地，获取所述目标用户在预设观测视角下的用户面部视频，包括：获取指定用户动作；指示所述目标用户进行所述指定用户动作，并在预设观测视角下采集所述目标用户进行所述指定用户动作的用户面部视频。

可选地，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型之后，所述方法还包括：对所述用户面部视频进行图像帧提取，得到验证图像帧；记录所述待调整坐标点在所述验证图像帧中的坐标位置，得到所述验证图像帧对应的待对比坐标；根据所述指定用户动作生成所述虚拟形象模型对应的模型动作指令，使得所述虚拟形象模型根据所述模型动作指令进行所述指定用户动作，并在所述虚拟形象模型进行所述指定用户动作时，记录所述待调整坐标点对应的模型坐标；根据所述指定用户动作与所述用户面部视频之间的对应关系从所述模型坐标中确定所述验证图像帧对应的参考坐标，并根据所述参考坐标和所述待对比坐标进行相似度计算，得到坐标相似度；若所述坐标相似度大于或等于预设的相似度阈值，则保留所述虚拟形象模型；若所述坐标相似度小于所述相似度阈值，则根据所述三维面部模型更新所述虚拟形象模型。

可选地，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型，包括：获取所述目标用户在进行预设身体动作时的用户身体参数；对所述用户身体参数进行特征提取，得到所述目标用户的身体参数特征；根据所述身体参数特征进行三维模型渲染，得到用户身体模型；通过预设模型拟合器对所述用户身体模型和所述虚拟形象模型进行模型拟合，得到所述目标用户的全身形象模型，其中，所述预设模型拟合器通过身体模型样本和形象模型样本对预设的神经网络模型训练得到；将所述全身形象模型加入所述虚拟形象模型。

可选地，所述预设模型拟合器包括：第一拟合模型，用于从所述虚拟形象模型的坐标点中确定第一预测点；第二拟合模型，用于从所述用户身体模型的坐标点中确定第二预测点；第三拟合模型，用于从所述第一预测点中确定第一结合点，从所述第二预测点中确定第二结合点，并将所述第一结合点和所述第二结合点作为拟合位置，将所述用户身体模型和所述虚拟形象模型进行拟合，得到全身形象模型。

可选地，得到所述目标用户的全身形象模型之后，所述方法还包括：建立所述全身形象模型对应的身体动作生成器；通过所述身体动作生成器接收身体动作指令，并根据所述身体动作指令匹配得到所述身体动作指令对应的指令运动信息，其中，所述指令运动信息包括所述全身形象模型中至少一部分坐标点的运动轨迹；根据所述指令运动信息控制所述全身形象模型完成所述身体动作指令。

可选地，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型之后，所述方法还包括以下至少一种：建立各形象特征参数对应的参数调整接口，使得所述目标用户通过所述参数调整接口对所述形象特征参数进行调整，其中，所述形象特征参数通过对所述虚拟形象模型进行划分得到；建立所述形象特征参数之间的关联关系，使得任一形象特征参数在调整后，根据所述关联关系对至少一部分形象特征参数进行相应调整。

本发明提供了一种用户虚拟形象生成系统，包括：获取模块，用于获取目标用户的三维面部模型，并获取所述目标用户在预设观测视角下的用户面部视频，其中，所述用户面部视频包含至少一部分面部区域；定位模块，用于在所述预设观测视角下对所述三维面部模型进行坐标定位，得到所述预设观测视角对应的静态坐标点，并从所述静态坐标点中确定所述面部区域对应的待调整坐标点；调整模块，用于记录所述待调整坐标点在所述用户面部视频中的坐标变化，并根据记录到的坐标变化对所述待调整坐标点进行调整，得到区域动态特征；渲染模块，用于根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型。

本发明提供了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。

本发明提供了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。

本发明的有益效果：

通过在预设观测视角下对目标用户的三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并通过目标用户在预设观测视角下的用户面部视频确定静态坐标点中待调整坐标点的坐标变化，进而根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征，并根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。这样，通过预设观测视角下的用户面部视频对同一预设观测视角下三维面部模型的待调整坐标点进行调整，在得到三维面部模型之后，又在不同角度对三维面部模型再次进行调整，从而避免三维面部模型由于单一图片生成，造成的在不同角度下形象呆板和展现效果差的问题，在不同角度都能够自然展现用户面部模型，从而提高用户使用体验。

附图说明

图1是本发明实施例中一个用户虚拟形象生成方法的流程示意图；

图2是本发明实施例中另一个用户虚拟形象生成方法的流程示意图；

图3是本发明实施例中一个用户虚拟形象生成系统的结构示意图；

图4是本发明实施例中一个电子设备的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

结合图1所示，本公开实施例提供了一种用户虚拟形象生成方法，包括：

步骤S101，获取目标用户的三维面部模型，并获取目标用户在预设观测视角下的用户面部视频；

其中，用户面部视频包含至少一部分面部区域；

步骤S102，在预设观测视角下对三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并从静态坐标点中确定面部区域对应的待调整坐标点；

步骤S103，记录待调整坐标点在用户面部视频中的坐标变化，并根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征；

步骤S104，根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。

采用本公开实施例提供的用户虚拟形象生成方法，通过在预设观测视角下对目标用户的三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并通过目标用户在预设观测视角下的用户面部视频确定静态坐标点中待调整坐标点的坐标变化，进而根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征，并根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。这样，通过预设观测视角下的用户面部视频对同一预设观测视角下三维面部模型的待调整坐标点进行调整，在得到三维面部模型之后，又在不同角度对三维面部模型再次进行调整，从而避免三维面部模型由于单一图片生成，造成的在不同角度下形象呆板和展现效果差的问题，在不同角度都能够自然展现用户面部模型，从而提高用户使用体验。同时，相较于完全根据三维视频生成虚拟形象模型，减少了运算数据量，提高了用户虚拟形象的生成效率。

可选地，获取目标用户的三维面部模型，包括：获取目标用户的完整人脸图片；对完整人脸图片进行特征提取，得到面部姿态特征，并对完整人脸图片中的面部颜色进行识别，得到面部颜色要素；对面部姿态特征进行降噪处理，并对降噪处理后的面部姿态特征进行识别，得到面部特征要素；根据面部颜色要素和面部特征要素进行三维模型渲染，得到目标用户的三维面部模型。

在一些实施例中，获取目标用户的完整人脸图片，包括：获取包含目标用户的完整人脸的图片或画面，从而根据完整人脸对应的图片或画面进行特征提取，得到目标用户的面部姿态特征。

在一些实施例中，面部特征要素包括骨骼要素、肌肉要素和皮肤要素等。

可选地，获取目标用户在预设观测视角下的用户面部视频，包括：获取指定用户动作；指示目标用户进行指定用户动作，并在预设观测视角下采集目标用户进行指定用户动作的用户面部视频。

在一些实施例中，指定用户动作包括用户说话、用户点头、用户转头、用户低头等。

在一些实施例中，采集目标用户在跟读预设音频下的嘴部轮廓视频，得到用户面部视频。

在一些实施例中，预设观测视角的数量包括多个；在每个预设观测视角下对三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并从静态坐标点中确定嘴部轮廓坐标点；根据目标用户在跟读预设音频下的嘴部轮廓视频进行截图和识别，得到嘴部轮廓视频中嘴部轮廓坐标点的坐标变化；根据坐标变化和嘴部轮廓坐标点生成嘴部轮廓的区域动态特征；根据嘴部轮廓的区域动态特征和三维面部模型生成目标用户的虚拟形象模型。

可选地，根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型之后，该方法还包括：对用户面部视频进行图像帧提取，得到验证图像帧；记录待调整坐标点在验证图像帧中的坐标位置，得到验证图像帧对应的待对比坐标；根据指定用户动作生成虚拟形象模型对应的模型动作指令，使得虚拟形象模型根据模型动作指令进行指定用户动作，并在虚拟形象模型进行指定用户动作时，记录待调整坐标点对应的模型坐标；根据指定用户动作与用户面部视频之间的对应关系从模型坐标中确定验证图像帧对应的参考坐标，并根据参考坐标和待对比坐标进行相似度计算，得到坐标相似度；若坐标相似度大于或等于预设的相似度阈值，则保留虚拟形象模型；若坐标相似度小于相似度阈值，则根据三维面部模型更新虚拟形象模型。

在一些实施例中，采集目标用户在跟读预设音频下的嘴部轮廓视频，从嘴部轮廓视频中确定验证图像帧，并得到验证图像帧的对应时刻T；对嘴部轮廓视频中的验证图像帧进行截图，得到该图像帧下嘴部轮廓的各像素点坐标，得到待对比坐标；控制虚拟形象模型播报该预设音频，并在时刻T对虚拟形象模型进行暂停和拍照，得到嘴部轮廓在虚拟形象模型中的参考坐标；若参考坐标和待对比坐标之间的相似度大于或等于相似度阈值，则确定虚拟形象模型合格，若参考坐标和待对比坐标之间的相似度小于相似度阈值，则定虚拟形象模型不合格。

可选地，根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型，包括：获取目标用户在进行预设身体动作时的用户身体参数；对用户身体参数进行特征提取，得到目标用户的身体参数特征；根据身体参数特征进行三维模型渲染，得到用户身体模型；通过预设模型拟合器对用户身体模型和虚拟形象模型进行模型拟合，得到目标用户的全身形象模型，其中，预设模型拟合器通过身体模型样本和形象模型样本对预设的神经网络模型训练得到；将全身形象模型加入虚拟形象模型。

在一些实施例中，预设身体动作包括下蹲、举手、双手叉腰、双臂抬起等。

在一些实施例中，获取目标用户在进行预设身体动作时的用户身体参数，形成身体参数集，并通过预设的身体渲染模型对身体参数集进行特征训练和三维模型渲染，得到用户身体模型。

可选地，预设模型拟合器包括：第一拟合模型，用于从虚拟形象模型的坐标点中确定第一预测点；第二拟合模型，用于从用户身体模型的坐标点中确定第二预测点；第三拟合模型，用于从第一预测点中确定第一结合点，从第二预测点中确定第二结合点，并将第一结合点和第二结合点作为拟合位置，将用户身体模型和虚拟形象模型进行拟合，得到全身形象模型。

在一些实施例中，将第一结合点和第二结合点作为最佳拟合位置，从而将用户身体模型和虚拟形象模型在最佳拟合位置进行拟合，得到全身形象模型。

在一些实施例中，通过以下方法对通过身体模型样本和形象模型样本对预设的神经网络模型进行训练：将身体模型样本输入神经网络模型的第一拟合模型，得到身体模型样本对应的第一样本预测点集，并将形象模型样本输入神经网络模型的第二拟合模型，得到形象模型样本对应的第二样本预测点集；将第一样本预测点集和第二样本预测点集输入神经网络模型的第三拟合模型，得到模型输出结果；根据预设损失函数确定第一拟合模型、第二拟合模型和第三拟合模型的模型损失值，并对神经网络模型的模型参数进行迭代更新，直到更新后的模型损失值达到预设损失值阈值。

可选地，得到目标用户的全身形象模型之后，该方法还包括：建立全身形象模型对应的身体动作生成器；通过身体动作生成器接收身体动作指令，并根据身体动作指令匹配得到身体动作指令对应的指令运动信息，其中，指令运动信息包括全身形象模型中至少一部分坐标点的运动轨迹；根据指令运动信息控制全身形象模型完成身体动作指令。

在一些实施例中，对全身形象模型进行特征提取，并根据提取得到的特征进行特征训练，得到全身形象模型对应的身体动作生成器；身体动作生成器从预先设置的指令库中确定身体动作指令对应的指令运动信息，并根据指令运动信息控制全身形象模型完成身体动作指令。

在一些实施例中，身体动作指令通过用户语音、文本、按钮点触等方式输入。

在一些实施例中，若接收到用户通过语音输入的身体动作指令为“拜年”，则从预先设置的指令库中确定“拜年”对应的指令运动信息包括作揖、发红包等。

在一些实施例中，若接收到用户通过语音输入的身体动作指令为“做运动”，则从预先设置的指令库中确定“做运动”对应的指令运动信息包括跑步、跳绳等。

可选地，根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型之后，该方法还包括以下至少一种：建立各形象特征参数对应的参数调整接口，使得目标用户通过参数调整接口对形象特征参数进行调整，其中，形象特征参数通过对虚拟形象模型进行划分得到；建立形象特征参数之间的关联关系，使得任一形象特征参数在调整后，根据关联关系对至少一部分形象特征参数进行相应调整。

在一些实施例中，使得目标用户通过参数调整接口对形象特征参数进行调整，包括以下至少一种：控制虚拟形象模型戴上眼镜；控制虚拟形象模型更换服装；控制虚拟形象模型更换发型。

在一些实施例中，通过建立各形象特征参数对应的参数调整接口或形象特征参数之间的关联关系，开放了用户对虚拟形象模型的在塑造功能，从而调整虚拟形象模型的身高、体重等形象特征参数。

结合图2所示，本公开实施例提供了一种用户虚拟形象生成方法，包括：

步骤S201，获取目标用户的完整人脸图片；

步骤S202，根据完整人脸图片生成目标用户的三维面部模型；

步骤S203，获取目标用户在预设观测视角下的用户面部视频；

步骤S204，在预设观测视角下对三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点；

其中，从静态坐标点中确定面部区域对应的待调整坐标点；

步骤S205，记录待调整坐标点在用户面部视频中的坐标变化；

步骤S206，根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征；

步骤S207，根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型；

步骤S208，获取目标用户在进行预设身体动作时的用户身体参数；

步骤S209，根据身体参数特征进行三维模型渲染，得到用户身体模型；

步骤S210，通过预设模型拟合器对用户身体模型和虚拟形象模型进行模型拟合，得到目标用户的全身形象模型。

采用本公开实施例提供的用户虚拟形象生成方法，通过在预设观测视角下对目标用户的三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并通过目标用户在预设观测视角下的用户面部视频确定静态坐标点中待调整坐标点的坐标变化，进而根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征，并根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。这样，通过预设观测视角下的用户面部视频对同一预设观测视角下三维面部模型的待调整坐标点进行调整，在得到三维面部模型之后，又在不同角度对三维面部模型再次进行调整，从而避免三维面部模型由于单一图片生成，造成的在不同角度下形象呆板和展现效果差的问题，在不同角度都能够自然展现用户面部模型，从而提高用户使用体验。

结合图3所示，本公开实施例提供了一种用户虚拟形象生成系统，包括获取模块301、定位模块302、调整模块303和渲染模块304。获取模块301用于获取目标用户的三维面部模型，并获取目标用户在预设观测视角下的用户面部视频，其中，用户面部视频包含至少一部分面部区域；定位模块302用于在预设观测视角下对三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并从静态坐标点中确定面部区域对应的待调整坐标点；调整模块303用于记录待调整坐标点在用户面部视频中的坐标变化，并根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征；渲染模块304用于根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。

采用本公开实施例提供的用户虚拟形象生成系统，通过在预设观测视角下对目标用户的三维面部模型进行坐标定位，得到预设观测视角对应的静态坐标点，并通过目标用户在预设观测视角下的用户面部视频确定静态坐标点中待调整坐标点的坐标变化，进而根据记录到的坐标变化对待调整坐标点进行调整，得到区域动态特征，并根据区域动态特征和三维面部模型进行三维模型渲染，得到目标用户的虚拟形象模型。这样，通过预设观测视角下的用户面部视频对同一预设观测视角下三维面部模型的待调整坐标点进行调整，在得到三维面部模型之后，又在不同角度对三维面部模型再次进行调整，从而避免三维面部模型由于单一图片生成，造成的在不同角度下形象呆板和展现效果差的问题，在不同角度都能够自然展现用户面部模型，从而提高用户使用体验。

图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图4示出的电子设备的计算机系统400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CentralProcessingUnit，CPU)401，其可以根据存储在只读存储器(Read-OnlyMemory，ROM)402中的程序或者从储存部分408加载到随机访问存储器(RandomAccessMemory，RAM)403中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM403中，还存储有系统操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(Input/Output，I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CathodeRayTube，CRT)、液晶显示器(LiquidCrystalDisplay，LCD)等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN(LocalAreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable ProgrammableReadOnlyMemory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(CompactDiscRead-OnlyMemory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本公开实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、图形处理器(GraphicsProcessingUnit，简称GPU)，网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (11)

1.一种用户虚拟形象生成方法，其特征在于，包括：

获取目标用户的三维面部模型，并获取所述目标用户在预设观测视角下的用户面部视频，其中，所述用户面部视频包含至少一部分面部区域；

在所述预设观测视角下对所述三维面部模型进行坐标定位，得到所述预设观测视角对应的静态坐标点，并从所述静态坐标点中确定所述面部区域对应的待调整坐标点；

记录所述待调整坐标点在所述用户面部视频中的坐标变化，并根据记录到的坐标变化对所述待调整坐标点进行调整，得到区域动态特征；

根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型。

2.根据权利要求1所述的方法，其特征在于，获取目标用户的三维面部模型，包括：

获取所述目标用户的完整人脸图片；

对所述完整人脸图片进行特征提取，得到面部姿态特征，并对所述完整人脸图片中的面部颜色进行识别，得到面部颜色要素；

对所述面部姿态特征进行降噪处理，并对降噪处理后的面部姿态特征进行识别，得到面部特征要素；

根据所述面部颜色要素和所述面部特征要素进行三维模型渲染，得到所述目标用户的三维面部模型。

3.根据权利要求1所述的方法，其特征在于，获取所述目标用户在预设观测视角下的用户面部视频，包括：

获取指定用户动作；

指示所述目标用户进行所述指定用户动作，并在预设观测视角下采集所述目标用户进行所述指定用户动作的用户面部视频。

4.根据权利要求3所述的方法，其特征在于，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型之后，所述方法还包括：

对所述用户面部视频进行图像帧提取，得到验证图像帧；

记录所述待调整坐标点在所述验证图像帧中的坐标位置，得到所述验证图像帧对应的待对比坐标；

根据所述指定用户动作生成所述虚拟形象模型对应的模型动作指令，使得所述虚拟形象模型根据所述模型动作指令进行所述指定用户动作，并在所述虚拟形象模型进行所述指定用户动作时，记录所述待调整坐标点对应的模型坐标；

根据所述指定用户动作与所述用户面部视频之间的对应关系从所述模型坐标中确定所述验证图像帧对应的参考坐标，并根据所述参考坐标和所述待对比坐标进行相似度计算，得到坐标相似度；

若所述坐标相似度大于或等于预设的相似度阈值，则保留所述虚拟形象模型；

若所述坐标相似度小于所述相似度阈值，则根据所述三维面部模型更新所述虚拟形象模型。

5.根据权利要求1所述的方法，其特征在于，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型，包括：

获取所述目标用户在进行预设身体动作时的用户身体参数；

对所述用户身体参数进行特征提取，得到所述目标用户的身体参数特征；

根据所述身体参数特征进行三维模型渲染，得到用户身体模型；

通过预设模型拟合器对所述用户身体模型和所述虚拟形象模型进行模型拟合，得到所述目标用户的全身形象模型，其中，所述预设模型拟合器通过身体模型样本和形象模型样本对预设的神经网络模型训练得到；

将所述全身形象模型加入所述虚拟形象模型。

6.根据权利要求5所述的方法，其特征在于，所述预设模型拟合器包括：

第一拟合模型，用于从所述虚拟形象模型的坐标点中确定第一预测点；

第二拟合模型，用于从所述用户身体模型的坐标点中确定第二预测点；

第三拟合模型，用于从所述第一预测点中确定第一结合点，从所述第二预测点中确定第二结合点，并将所述第一结合点和所述第二结合点作为拟合位置，将所述用户身体模型和所述虚拟形象模型进行拟合，得到全身形象模型。

7.根据权利要求5所述的方法，其特征在于，得到所述目标用户的全身形象模型之后，所述方法还包括：

建立所述全身形象模型对应的身体动作生成器；

通过所述身体动作生成器接收身体动作指令，并根据所述身体动作指令匹配得到所述身体动作指令对应的指令运动信息，其中，所述指令运动信息包括所述全身形象模型中至少一部分坐标点的运动轨迹；

根据所述指令运动信息控制所述全身形象模型完成所述身体动作指令。

8.根据权利要求1至7所述的方法，其特征在于，根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型之后，所述方法还包括以下至少一种：

建立各形象特征参数对应的参数调整接口，使得所述目标用户通过所述参数调整接口对所述形象特征参数进行调整，其中，所述形象特征参数通过对所述虚拟形象模型进行划分得到；

建立所述形象特征参数之间的关联关系，使得任一形象特征参数在调整后，根据所述关联关系对至少一部分形象特征参数进行相应调整。

9.一种用户虚拟形象生成系统，其特征在于，包括：

获取模块，用于获取目标用户的三维面部模型，并获取所述目标用户在预设观测视角下的用户面部视频，其中，所述用户面部视频包含至少一部分面部区域；

定位模块，用于在所述预设观测视角下对所述三维面部模型进行坐标定位，得到所述预设观测视角对应的静态坐标点，并从所述静态坐标点中确定所述面部区域对应的待调整坐标点；

调整模块，用于记录所述待调整坐标点在所述用户面部视频中的坐标变化，并根据记录到的坐标变化对所述待调整坐标点进行调整，得到区域动态特征；

渲染模块，用于根据所述区域动态特征和所述三维面部模型进行三维模型渲染，得到所述目标用户的虚拟形象模型。

10.一种电子设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：

所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。