CN110942501B - 虚拟形象切换方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种虚拟形象切换方法、装置、电子设备及存储介质，该方法包括：当播放包括目标人物的虚拟图像的视频时，获取所述目标人物的真实图像；从所述虚拟图像中提取第一关键点并从所述真实图像中提取第二关键点，所述第一关键点与所述第二关键点属于所述目标人物的同一特征点；确定所述第一关键点和所述第二关键点之间的距离是否不大于预设距离；当所述第一关键点与所述第二关键点之间的距离不大于预设距离时，在所述视频中将所述虚拟图像切换为所述真实图像。可以在真人画面和虚拟形象相互切换画面时，使画面过渡更平滑、更自然，从而提升了用户的体验感。

Description

虚拟形象切换方法、装置、电子设备及存储介质

技术领域

本申请涉及电子设备技术领域，更具体地，涉及一种虚拟形象切换方法、装置、电子设备及存储介质。

背景技术

目前，手机等移动终端设备的普及率越来越高，智能手机已成为人们出行的必备随身物品。随着移动互联网发展迅速，移动终端上出现了各种各样的应用程序，这其中许多应用程序可以为用户提供客服功能，使得用户能够通过客服来进行产品咨询等业务。

一般而言，在移动终端应用程序内，企业为用户提供的客服功能通常包含机器人客服和人工客服两部分。面对一些简单或常见的问题，通常可以由机器人客服对用户的问题进行回答，而对一些复杂或特殊的问题，则可通过转接人工客服来进行处理。

然而，当移动终端显示的机器人客服切换到人工客服时，显示机器人虚拟形象画面通常会直接跳转至显示真人客服画面，由于两个画面没有进行衔接，导致画面过渡不平滑，从而让用户感到画面切换突兀，影响用户的体验。

发明内容

鉴于上述问题，本申请提出了一种虚拟形象切换方法、装置、电子设备及存储介质，可以在真人画面和虚拟形象相互切换画面时，使画面过渡更平滑、更自然，从而提升了用户的体验感。

第一方面，本申请实施例提供了一种虚拟形象切换方法，该方法包括：当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像；从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点；确定第一关键点和第二关键点之间的距离是否不大于预设距离；当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

可选地，该方法还包括：当第一关键点和第二关键点之间的距离大于预设距离时，判断第一关键点和第二关键点之间的距离是否不大于距离阈值，距离阈值大于预设距离；当第一关键点和第二关键点之间的距离不大于距离阈值时，对第一关键点进行平滑处理，以缩小第一关键点和第二关键点之间的距离，直到第一关键点与第二关键点之间的距离不大于预设距离。

可选地，该方法还包括：当第一关键点和第二关键点之间的距离大于距离阈值时，输出调整信息，其中，调整信息用于指示目标人物调整姿势，以缩小第一关键点和第二关键点之间的距离。

可选地，该方法还包括：当第一关键点和第二关键点之间的距离大于距离阈值时，基于第一关键点和第二关键点，得到目标关键点，目标关键点和第二关键点之间的距离小于第一关键点和第二关键点之间的距离；基于目标关键点获取目标虚拟图像；将视频中的虚拟图像更新为目标虚拟图像。

可选地，第一关键点与第二关键点的数量均为多个且数量相同，多个第一关键点与多个第二关键点一一对应形成多个关键点组，且每个关键点组包括相互对应的一个第一关键点和一个第二关键点；确定第一关键点和第二关键点之间的距离是否不大于预设距离。该虚拟形象切换方法还包括：分别获取多个关键点组中的每个关键点组中第一关键点和第二关键点之间的距离，得到多个距离结果；分别将多个距离结果中的每个距离结果与预设距离进行比较，得到距离结果不大于预设距离的关键点组的数量；判断数量是否超过预设数量；当数量超过预设数量时，确定第一关键点和第二关键点之间的距离不大于预设距离。

可选地，当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像之前，还包括：获取待播放的语音信息；根据语音信息，确定与语音信息对应的第一关键点；将第一关键点输入到预先训练好的虚拟形象模型，得到虚拟图像；根据虚拟图像与语音信息生成视频。

可选地，在将第一关键点输入到预先训练好的虚拟形象模型之前，还包括：采集目标人物的图像；从图像中提取出与目标人物对应的样本关键点和样本虚拟图像；将样本关键点和样本虚拟图像输入到机器学习模型中进行训练，得到虚拟形象模型。

可选地，在视频中将虚拟图像切换为真实图像之后，还包括：当播放包括目标人物的真实图像的视频时，判断是否接收到切换指令，切换指令用于指示将真实图像切换至虚拟图像；当接收到切换指令时，响应切换指令，从虚拟图像中提取第三关键点并从真实图像中提取第四关键点，第三关键点与第四关键点属于目标人物的同一特征点；确定第三关键点和第四关键点之间的距离是否不大于预设距离；当第三关键点与第四关键点之间的距离不大于预设距离时，在视频中将真实图像切换为虚拟图像。

第二方面，本申请实施例提供了一种虚拟形象切换装置，该装置包括：真实图像获取模块、关键点提取模块、判断模块以及第一切换模块。其中，真实图像获取模块用于当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像；关键点提取模块用于从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点；判断模块用于确定第一关键点和第二关键点之间的距离是否不大于预设距离；第一切换模块用于当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

第三方面，本申请实施例提供了一种电子设备，其包括：存储器；一个或多个处理器，与存储器耦接；一个或多个程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。

本申请实施例提供的虚拟形象切换方法、装置、电子设备及存储介质，通过在播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像，并从虚拟图像中提取第一关键点以及从真实图像中提取第二关键点，其中，第一关键点与第二关键点属于目标人物的同一特征点，再确定第一关键点和第二关键点之间的距离是否不大于预设距离。当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像，从而保证在虚拟图像和真实图像切换时，真实图像中的关键点与虚拟图像中的关键点相接近，使得切换后虚拟图像显示的目标人物能和真实图像显示的目标人物在动作、表情等特征能保持一致，进而使得虚拟图像和真实图像之间的切换更加平滑，更加自然，让用户感觉不到有切换的过程，从而提高了用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的虚拟形象切换方法的流程示意图。

图2示出了本申请另一个实施例提供的虚拟形象切换方法的流程示意图。

图3示出了本申请一个实施例提供的电子设备的显示界面示意图。

图4示出了本申请又一个实施例提供的虚拟形象切换方法的流程示意图。

图5示出了本申请另一个实施例提供的电子设备的显示界面示意图。

图6示出了本申请再一个实施例提供的虚拟形象切换方法的流程示意图。

图7示出了本申请又另一个实施例提供的虚拟形象切换方法的流程示意图。

图8示出了本申请实施例提供的虚拟形象切换装置的模块框图。

图9是本申请实施例的用于执行根据本申请实施例的虚拟形象切换方法的电子设备的框图。

图10是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟形象切换方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，手机等移动终端设备的普及率越来越高，智能手机已成为人们出行的必备随身物品。随着移动互联网发展迅速，移动终端上出现了各种各样的应用程序，这其中许多应用程序可以为用户提供客服功能，使得用户能够通过客服来进行产品咨询等业务。

随着科技发展，人们对各种智能产品使用过程中人性化体验的需求也在逐渐增加，在与客服沟通过程中，用户也希望可以不仅仅只是得到文字或语音的回复，而是可以通过与实际生活中的人际沟通相似的更为自然的交互方式进行沟通。因此目前的智能产品可以通过播放包含机器人客服的虚拟图像的视频来与用户沟通从而满足用户的视觉需求。

然而，当客服机器人遇到无法回答的问题时，需要切换到人工客服来对用户的问题进行解答，与此同时，视频显示的客服机器人对应的虚拟图像也要转换成人工客服对应的真实图像。但目前的切换方式往往是直接停止虚拟图像的播放，然后开始播放真实图像，因此，在虚拟图像切换到真实图像时没有一个衔接的过程，画面切换会让用户感到比较突兀，不自然，从而降低了用户体验。

发明人在研究中发现，如果将虚拟图像中的客服机器人的虚拟形象与真实图像中的人工客服的动作、表情等特征尽量保持一致以后再进行切换，能够使得两个图像切换的过程看起来更加平滑，从而能够提高用户体验。

然而，在实际的研究过程中，发明人还发现，如果客服机器人的虚拟形象与真实图像中的人工客服的样貌不相似的话，即使让两个图像切换的过程看起来更加平滑，用户也会察觉到图像发生了变化，而导致两个图像切换时看起来得不太自然，从而降低了用户的体验。

为了改善上述问题，发明人提出了本申请实施例中的虚拟形象切换方法、装置、电子设备及存储介质。可以在虚拟图像的关键点和真实图像的关键点接近时，将虚拟图像切换成真实图像，从而实现视频中虚拟形象到真人的平滑切换，进而提升了用户体验。

下面将通过具体实施例对本申请实施例提供的虚拟形象切换方法、装置、电子设备及存储介质进行详细说明。

请参阅图1，图1示出了本申请一个实施例提供的虚拟形象切换方法的流程示意图。该方法可以应用于电子设备。其中，电子设备可以是具有显示屏、具有拍摄相机、具有音频输出功能且支持数据输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的，数据输入可以是基于电子上具有的语音模块输入语音、字符输入模块输入字符等。

该方法可以包括如下步骤：

步骤S110,当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像。

在一些实施方式中，电子设备可以播放包括目标人物的虚拟图像的视频。另外，电子设备的摄像头可以实时采集目标人物当前的真实图像。需要说明的是，目标人物是一个真实的人物。目标人物的虚拟图像可以是根据目标人物的人物特征生成的图像，因此，虚拟图像中显示的目标人物(以下可称虚拟形象)与现实中的目标人物的样貌、体型等可以非常相似。其中，人物特征可以包括脸部特征、体型特征等等。真实图像可以是电子设备通过摄像头采集的现实中目标人物的图像。其中，虚拟图像和真实图像至少显示出目标人物的脸部，可选地，虚拟图像和真实图像还可以显示出目标人物的体型、手势、动作等等。

步骤S120,从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点。

其中，提取第一关键点和第二关键点具体可以是指提取第一个关键点的坐标和第二关键点的坐标。而第一关键点与第二关键点属于目标人物的同一特征点，例如第一关键点与第二关键点均属于目标人物的眼睛部位的特征点。

在一些实施方式中，从虚拟图像中提取第一关键点的方式可以是，先采用图像识别技术识别出虚拟图像目标人物的指定部位，例如鼻子。当识别出虚拟图像目标人物的鼻子后，确定鼻子在该虚拟图像中的位置，并计算出该位置在虚拟图像中的坐标，则得到的该坐标即为第一关键点。同理，从真实图像中提取出第二关键点的方式可以参照第一关键点的提取方式。

步骤S130,确定第一关键点和第二关键点之间的距离是否不大于预设距离。

在一些实施方式中，可以将第一关键点和第二关键点放入同一个坐标系中，例如将当前电子设备上显示的虚拟图像和当前电子设备采集到的真实图像进行对准以使虚拟图像中显示的目标人物和真实图像中显示的目标人物的尺寸大小、显示角度等参数保持一致。当对准时，可以确定第一关键点和第二关键点处于同一个坐标系。然后通过第一关键点的坐标和第二关键点的坐标计算出第一关键点与第二关键点之间的距离，再比较第一关键点与第二关键点之间的距离是否小于或等于预设阈值。可以理解的是，第一关键点与第二关键点之间的距离越小，说明虚拟图像与真实图像中目标人物的同一个部位的位置越接近，当两个位置非常接近时，虚拟图像切换到真实图像时，视频目标人物的动作、表情等特征不会发生太大的变化，从而可以达到平滑切换的作用。

步骤S140,当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

作为一种示例，例如预设距离为3cm，当第一个关键点和第二关键点之间的距离为2cm时，在电子设备的播放的视频中将虚拟图像切换成真实图像，切换后，真实图像中显示的目标人物与现实的目标人物同步，相当于对现实的目标人物进行直播。

在一些实施方式中，可以当第一关键点与第二关键点之间的距离为0cm时，将虚拟图像切换成真实图像。此时，第一关键点的位置完全与第二关键点重合，从而保证虚拟图像切换到真实图像时，真实图像中显示的目标人物与虚拟图像中显示的目标人物完全一致，可以达到了最优的切换效果。

在本实施例中，通过在播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像，并从虚拟图像中提取第一关键点以及从真实图像中提取第二关键点，其中，第一关键点与第二关键点属于目标人物的同一特征点，再确定第一关键点和第二关键点之间的距离是否不大于预设距离。当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像，从而保证在虚拟图像和真实图像切换时，真实图像中的关键点与虚拟图像中的关键点相接近，使得切换后真实图像显示的目标人物能和虚拟图像显示的目标人物在动作、表情等特征能保持一致，从而让虚拟图像和真实图像之间的切换更加平滑，更加自然。另外，由于虚拟图像和真实图像均对应于目标人物，使得切换后真实图像中显示的人物与虚拟图像中的人物相貌、体型等特征不会有太大差别，能让用户感觉不到有切换的过程，从而提高了用户体验。

请参阅图2，图2示出了本申请另一个实施例提供的虚拟形象切换方法的流程示意图。该方法可以包括如下步骤：

步骤S210,当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像。

步骤S220,从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点。

步骤S230,确定第一关键点和第二关键点之间的距离是否不大于预设距离。

步骤S240,当第一关键点和第二关键点之间的距离大于预设距离时，判断第一关键点和第二关键点之间的距离是否不大于距离阈值，距离阈值大于预设距离。

考虑到第一关键点和第二关键点之间的距离可能远大于预设距离，在一些实施方式中，当第一关键点和第二关键点之间的距离大于预设距离时，可以继续判断第一关键点和第二关键点之间的距离是否不大于距离阈值，由于距离阈值大于预设距离，如果第一关键点和第二关键点之间的距离是大于距离阈值，则说明真实图像中显示的目标人物与虚拟图像中显示的目标人物差异太大，此时，可以由目标人物调整自己的姿势或位置去接近虚拟图像中显示的目标人物，从而缩小第一关键点和第二关键点之间的距离。

步骤S250,当第一关键点和第二关键点之间的距离不大于距离阈值时，对第一关键点进行平滑处理，以缩小第一关键点和第二关键点之间的距离，直到第一关键点与第二关键点之间的距离不大于预设距离。

当第一关键点和第二关键点之间的距离不大于距离阈值时，可以说明真实图像中显示的目标人物与虚拟图像中显示的目标人物差异不算太大，但仍然没有达到小于预设距离的要求，因此可以稍微调节第一关键点的位置即可让第一关键点和第二关键点之间的距离不超过预设距离，具体地，可以对第一关键点进行平滑处理，让第一关键点去靠近第二关键点，从而使虚拟图像中显示的目标人物去接近真实图像中显示的目标人物。作为一种示例，例如第一关键点和第二关键点之间的距离为3cm，预设距离为2cm，距离阈值为5cm，此时可以通过平滑处理对第一关键点进行微调，以使第一关键点和第二关键点之间的距不超过2cm。

在一些实施方式中，可以通过图像插帧的方式进行平滑处理。具体地，可以先获取当前时刻的第一关键点坐标和第二关键点坐标，并根据第一关键点坐标和第二关键点坐标计算出第一关键点和第二关键点的距离D₁，当第一关键点和第二关键点之间的距离D₁大于预设距离D时，可以从虚拟图像数据库中获取一帧第一虚拟图像，其中，第一虚拟图像中的第一关键点与真实图像中的第二关键点之间的距离D₂小于虚拟图像中的第一关键点与真实图像中的第二关键点之间的距离D₁，然后将第一虚拟图像作为视频中下一帧显示的虚拟图像。当视频播放到第一虚拟图像时，判断第一虚拟图像的第一关键点与真实图像的第二关键点之间的距离D₂是否大于预设距离D。若大于，则再从虚拟图像数据库中获取一帧第二虚拟图像，其中，第二虚拟图像中的第一关键点与真实图像中的第二关键点之间的距离D₃小于第一虚拟图像中的第一关键点与真实图像中的第二关键点之间的距离D₂，并将第二虚拟图像作为视频中下一帧显示的虚拟图像。以此类推，直到第n虚拟图像的第一关键点与真实图像的第二关键点之间的距离D_n+1不大于预设距离D时，将视频中的虚拟图像切换成真实图像，实现虚拟图像中的第一关键点向真实图像中的第二关键点平滑过渡，其中，n为大于0的整数。

在本实施方式中，通过第一关键点和第二关键点之间的距离大于预设距离且小于距离阈值时，对第一关键点可以快速、精准地使第一关键点靠近第二关键点，从而实现虚拟图像向真实图像平滑过渡。

步骤S260,当第一关键点和第二关键点之间的距离大于距离阈值时，输出调整信息，其中，调整信息用于指示目标人物调整姿势，以缩小第一关键点和第二关键点之间的距离。

当第一关键点和第二关键点之间的距离大于距离阈值时，说明第一关键点和第二关键点之间的距离与预设距离相差较大，此时，如果通过对第一关键点进行平滑处理来满足第一关键点和第二关键点的距离不超过预设距离的要求，则需要较多次数的图像插帧才能实现，从而会导致电子设备产生较多的功耗。

因此，在一些实施方式中，电子设备可以输出调整信息，其中，调整信息可以是音频、文字、图片、图案等信息。例如，当调整信息为音频信息时，电子设备可以播放如“请将头部向左移动”的音频，以提醒目标人物进行调整姿势。在一些实施方式中，当调整信息为图案信息时，图案信息可以是指向目标人物需要将指定部位调整到对应位置的箭头。

如图3所示，在一些实施方式中，当调整信息图片信息时，该图片信息可以包括虚拟形象的轮廓，以方便现实中的目标人物可以根据轮廓调整自己的姿势。可选地，在电子设备显示轮廓的同时可以在指定的显示区域显示文字“请将头部向左移动”，还可以同时在轮廓内显示虚拟图像中目标人物的多个第一关键点。在另一些实施方式中，电子设备的摄像头采集显示中目标人物的影像，并在电子设备的显示屏上回显目标人物的相貌，同时回显的显示屏上还会显示当前虚拟形象的第一关键点，以方便目标人物进行调整。

可以理解的是，调整信息包括但不限于上述的指示轮廓线、方向指示箭头、关键点。例如，还可以是指示动画等等。

在本实施方式中，通过在第一关键点和第二关键点之间的距离大于距离阈值时，输出调整信息，可以方便目标人物调整自己的姿态以快速地让真实图像中第二关键点接近虚拟图像中的第一关键点，避免了在第一关键点和第二关键点距离较远时，电子设备需使用较多次图像插帧而花费较多的时间及功耗。

在另一些实施方式中，当第一关键点和第二关键点之间的距离大于距离阈值时，还可以通过如下方式来使虚拟形象接近真实图像中的目标人物：首先，基于第一关键点和第二关键点，得到目标关键点，其中，目标关键点和第二关键点之间的距离小于第一关键点和第二关键点之间的距离。其次，基于目标关键点获取目标虚拟图像；将视频中的虚拟图像更新为目标虚拟图像。

需要说明的是，目标关键点、第一关键点和第二关键点属于目标人物的同一特征点。

在本实施方式中，由于基于第一关键点和第二关键点，得到目标关键点，其中，目标关键点和第二关键点之间的距离小于第一关键点和第二关键点之间的距离，所以基于目标关键点获取的目标虚拟图像比当前视频中的虚拟图像更加接近与真实图像中的目标人物。当重复执行上述步骤则可以生成多个目标虚拟图像，而多个目标虚拟图像可以形成一个虚拟形象接近真实图像中的目标人物的过渡视频。从而可以保证虚拟图像和真实图像能够更平滑、自然地过渡。

步骤S270,当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

在本实施例中，通过在第一关键点和第二关键点之间距离较大时，指示目标人物调整自己的姿势，从而可以快速地缩短第一关键点和第二关键点之间距离。在通过在第一关键点和第二关键点之间距离较小，但仍大于预设距离时，通过平滑处理可以更加准确地、平滑地将第一关键点和第二关键点之间距离调整到小于或等于预设距离。同时也提升了虚拟图像和真实图像之间的切换效率，进而提高了用户体验。

请参阅图4，图4示出了本申请又一个实施例提供的虚拟形象切换方法的流程示意图。该方法可以包括如下步骤：

步骤S310,当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像。

步骤S320,从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点；其中，第一关键点与第二关键点的数量均为多个且数量相同，多个第一关键点与多个第二关键点一一对应形成多个关键点组，且每个关键点组包括相互对应的一个第一关键点和一个第二关键点。

作为一种示例，如图5所示：如第一关键点数量为3个，3个第一关键点分别为虚拟图像中目标人物的眼睛部位、嘴唇部位以及鼻子部位，相应地，第二关键的数量也为3个，且分别为真实图像中目标人物的眼睛部位、嘴唇部位以及鼻子部位。其中，处于相同部位的第一关键点和第二关键点对应。如图4中，第一关键点1对应第二关键点1，第一关键点2对应第二关键点2，第一关键点3对应第二关键点3。

步骤S330,分别获取多个关键点组中的每个关键点组中第一关键点和第二关键点之间的距离，得到多个距离结果。

分别计算目标人物各个部位对应第一关键点和第二关键点之间的距离，得到多个距离结果。例如，在目标人物的鼻子部位，第一关键点和第二关键点的距离为3cm。在目标人物的眼睛部位，第一关键点和第二关键点的距离为5cm。在目标人物的嘴唇部位，第一关键点和第二关键点的距离为2cm。

步骤S340,分别将多个距离结果中的每个距离结果与预设距离进行比较，得到距离结果不大于预设距离的关键点组的数量。

作为一种示例，假设预设距离为3cm，则距离结果不大于预设距离的关键点组为鼻子部位对应的关键点组和嘴唇部位对应的关键点组，即不大于预设距离的关键组的数量为2个。

步骤S350,判断数量是否超过预设数量。

作为一种示例，当预设数量为1时，则不大于预设距离的关键点组的数量超过了预设数量。

步骤S360,当数量超过预设数量时，确定第一关键点和第二关键点之间的距离不大于预设距离，并在视频中将虚拟图像切换为真实图像。

当不大于预设距离的关键点组的数量超过了预设数量，则确定第一关键点和第二关键点之间的距离不大于预设距离，并在视频中将虚拟图像切换为真实图像。

在本实施例中，通过判断多个部位的第一关键点和第二关键点之间的距离是否不大于预设距离，当满足条件的部位越多则说明虚拟图像中显示的目标人物和真实图像中显示的目标人物越接近。因此当满足条件的部位的数量超过预设数量时在视频中将虚拟图像切换为真实图像，可以保证虚拟图像和真实图像切换时更加平滑、自然。

请参阅图6，图6示出了本申请再一个实施例提供的虚拟形象切换方法的流程示意图。该方法可以包括如下步骤：

步骤S410,获取待播放的语音信息。

作为一种示例，如在一些产品的客服系统中，可以根据用户提出的问题，从语音信息数据库中选取出与该问题对应的语音信息，该语音信息用于回答该问题。

步骤S420,根据语音信息，确定与语音信息对应的第一关键点。

在一些实施方式中，可以将该语音信息输入到预先训练好的关键点模型，由关键点模型输出与语音信息对应的第一关键点，其中，关键点模型预先通过样本语音信息和样本第一关键点进行训练得到，训练后，一个语音信息可以对应一个或多个第一关键点的坐标。

步骤S430,将第一关键点输入到预先训练好的虚拟形象模型，得到虚拟图像。

在一些实施方式中，可以在步骤S430之前，可以先通过训练得到虚拟形象模型，训练的方法可以包括：采集目标人物的图像，可选地，可以通过摄像头采集目标人物的图像，其中图像可以包括图片、视频等等。当电子设备本地或云端存储有目标人物的图像时，还可以从电子设备本地或云端提取图像；从图像中提取出与目标人物对应的样本关键点和样本虚拟图像；将样本关键点和样本虚拟图像输入到机器学习模型中进行训练，得到虚拟形象模型。在本实施方式中，通过建立虚拟模型可以快速地通过人物的关键点生成虚拟图像，从而提高虚拟图像的效率。

步骤S440,根据虚拟图像与语音信息生成视频。

可以将语音信息中的多个时刻与多帧虚拟图像进行对应，从而使虚拟图像和语音信息同步以生成视频。

步骤S450,当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像。

步骤S460,从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点。

步骤S470,确定第一关键点和第二关键点之间的距离是否不大于预设距离。

步骤S480,当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

在本实施例中，通过提取出目标人物的特征来生成虚拟形象，使得虚拟形象与目标人物的外貌可以达到高度相似，从而可以让用户不容易察觉到在虚拟形象和真实的目标人物的切换，使切换更加自然，提升了用户体验。

请参阅图7，图7示出了本申请又另一个实施例提供的虚拟形象切换方法的流程示意图。该方法可以包括如下步骤：

步骤S510,当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像。

步骤S520,从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点。

步骤S530,确定第一关键点和第二关键点之间的距离是否不大于预设距离。

步骤S540,当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

其中，步骤S510至步骤S540具体可以参照步骤S110至步骤S140，故不在此赘述。

步骤S550,当播放包括目标人物的真实图像的视频时，判断是否接收到切换指令，切换指令用于指示将真实图像切换至虚拟图像。

电子设备实施检测是否有用户输入将真实图像切换到虚拟图像的切换指令，其中，切换指令可以是语音指令、手势指令、文字指令、触碰指令等等。

步骤S560,当接收到切换指令时，响应切换指令，从虚拟图像中提取第三关键点并从真实图像中提取第四关键点，第三关键点与第四关键点属于目标人物的同一特征点。

其中，第三关键点具体可以参照第一关键点，第四关键点可以参照第二关键点。可以理解的是，通常当虚拟图像切换为真实图像后，虚拟图像件不再显示，所以当接收到切换指令时，虚拟图像会从初始状态向真实图像切换。

步骤S570,确定第三关键点和第四关键点之间的距离是否不大于预设距离。

步骤S580,当第三关键点与第四关键点之间的距离不大于预设距离时，在视频中将真实图像切换为虚拟图像。

在本实施例中，通过当第三关键点与第四关键点之间的距离不大于预设距离时，在视频中将真实图像切换为虚拟图像，从而保证在真实图像向虚拟图像切换时，虚拟图像中的关键点与真实图像中的关键点相接近，使得切换后虚拟形象和真实图像显示的目标人物在动作、表情等特征能保持一致，从而让虚拟图像和真实图像之间的切换更加平滑，更加自然。

请参阅图8，图8示出了本申请一个实施例提供的虚拟形象切换装置600的模块框图。该装置600应用于具有显示屏或其他图像输出装置600的电子设备，电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备。

下面将针对图8所示的模块框图进行阐述，该装置600包括：真实图像获取模块610、关键点提取模块620、判断模块630以及第一切换模块640。其中，真实图像获取模块610用于当播放包括目标人物的虚拟图像的视频时，获取目标人物的真实图像；关键点提取模块620用于从虚拟图像中提取第一关键点并从真实图像中提取第二关键点，第一关键点与第二关键点属于目标人物的同一特征点；判断模块630用于确定第一关键点和第二关键点之间的距离是否不大于预设距离；第一切换模块640用于当第一关键点与第二关键点之间的距离不大于预设距离时，在视频中将虚拟图像切换为真实图像。

进一步的，该装置600还包括：

距离阈值判断模块630，用于当第一关键点和第二关键点之间的距离大于预设距离时，判断第一关键点和第二关键点之间的距离是否不大于距离阈值，距离阈值大于预设距离。

平滑处理模块，用于当第一关键点和第二关键点之间的距离不大于距离阈值时，对第一关键点进行平滑处理，以缩小第一关键点和第二关键点之间的距离，直到第一关键点与第二关键点之间的距离不大于预设距离。

进一步的，该装置600还包括：

调整信息输出模块，用于当第一关键点和第二关键点之间的距离大于距离阈值时，输出调整信息，其中，调整信息用于指示目标人物调整姿势，以缩小第一关键点和第二关键点之间的距离。

进一步的，该装置600还包括：虚拟图像更新模块，用于当第一关键点和第二关键点之间的距离大于距离阈值时，基于第一关键点和第二关键点，得到目标关键点，目标关键点和第二关键点之间的距离小于第一关键点和第二关键点之间的距离；基于目标关键点获取目标虚拟图像；将视频中的虚拟图像更新为目标虚拟图像。

进一步的，第一关键点与第二关键点的数量均为多个且数量相同，多个第一关键点与多个第二关键点一一对应形成多个关键点组，且每个关键点组包括相互对应的一个第一关键点和一个第二关键点；确定第一关键点和第二关键点之间的距离是否不大于预设距离。该虚拟形象切换装置600还包括：数量判断模块630，用于分别获取多个关键点组中的每个关键点组中第一关键点和第二关键点之间的距离，得到多个距离结果；分别将多个距离结果中的每个距离结果与预设距离进行比较，得到距离结果不大于预设距离的关键点组的数量；判断数量是否超过预设数量；当数量超过预设数量时，确定第一关键点和第二关键点之间的距离不大于预设距离。

进一步的，该装置600还包括：视频生成模块，用于获取待播放的语音信息；根据语音信息，确定与语音信息对应的第一关键点；将第一关键点输入到预先训练好的虚拟形象模型，得到虚拟图像；根据虚拟图像与语音信息生成视频。

进一步的，该装置600还包括：虚拟形象模型生成模块，用于采集目标人物的图像；从图像中提取出与目标人物对应的样本关键点和样本虚拟图像；将样本关键点和样本虚拟图像输入到机器学习模型中进行训练，得到虚拟形象模型。

进一步的，该装置600还包括：第二切换模块，用于当播放包括目标人物的真实图像的视频时，判断是否接收到切换指令，切换指令用于指示将真实图像切换至虚拟图像；当接收到切换指令时，响应切换指令，从虚拟图像中提取第三关键点并从真实图像中提取第四关键点，第三关键点与第四关键点属于目标人物的同一特征点；确定第三关键点和第四关键点之间的距离是否不大于预设距离；当第三关键点与第四关键点之间的距离不大于预设距离时，在视频中将真实图像切换为虚拟图像。

本申请实施例提供的虚拟形象切换装置600用于实现前述方法实施例中相应的虚拟形象切换方法，并具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的技术人员可以清楚地了解到，本申请实施例提供的虚拟形象切换装置能够实现前述方法实施例中的各个过程，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参阅前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图9，其示出了本申请实施例提供的一种电子设备700的结构框图。该电子设备700可以是智能手机、平板电脑等能够运行应用程序的电子设备。本申请中的电子设备700可以包括一个或多个如下部件：处理器710、存储器720以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器720中并被配置为由一个或多个处理器710执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备700在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种虚拟形象切换方法，其特征在于，应用于电子设备，所述方法包括：

当播放包括目标人物的虚拟图像的视频时，通过所述电子设备的摄像头获取所述目标人物的真实图像；

从所述虚拟图像中实时提取第一关键点并从所述真实图像中实时提取第二关键点，所述第一关键点与所述第二关键点属于所述目标人物的同一特征点；

确定所述第一关键点和所述第二关键点之间的距离是否不大于预设距离；

当所述第一关键点与所述第二关键点之间的距离不大于预设距离时，在所述视频中将所述虚拟图像切换为所述真实图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一关键点和所述第二关键点之间的距离大于预设距离时，判断所述第一关键点和所述第二关键点之间的距离是否不大于距离阈值，所述距离阈值大于所述预设距离；

当所述第一关键点和所述第二关键点之间的距离不大于距离阈值时，对所述第一关键点进行平滑处理，以缩小所述第一关键点和所述第二关键点之间的距离，直到所述第一关键点与所述第二关键点之间的距离不大于所述预设距离。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述第一关键点和所述第二关键点之间的距离大于距离阈值时，输出调整信息，其中，所述调整信息用于指示所述目标人物调整姿势，以缩小所述第一关键点和所述第二关键点之间的距离。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述第一关键点和所述第二关键点之间的距离大于距离阈值时，基于所述第一关键点和所述第二关键点，得到目标关键点，所述目标关键点和所述第二关键点之间的距离小于所述第一关键点和所述第二关键点之间的距离；

基于所述目标关键点获取目标虚拟图像；

将所述视频中的虚拟图像更新为所述目标虚拟图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一关键点与所述第二关键点的数量均为多个且数量相同，多个所述第一关键点与多个所述第二关键点一一对应形成多个关键点组，且每个所述关键点组包括相互对应的一个第一关键点和一个第二关键点；所述确定所述第一关键点和所述第二关键点之间的距离是否不大于预设距离，包括：

分别获取所述多个关键点组中的每个关键点组中第一关键点和第二关键点之间的距离，得到多个距离结果；

分别将所述多个距离结果中的每个距离结果与所述预设距离进行比较，得到所述距离结果不大于所述预设距离的关键点组的数量；

判断所述数量是否超过预设数量；

当所述数量超过预设数量时，确定所述第一关键点和所述第二关键点之间的距离不大于预设距离。

6.根据权利要求1所述的方法，其特征在于，所述当播放包括目标人物的虚拟图像的视频时，获取所述目标人物的真实图像之前，还包括：

获取待播放的语音信息；

根据所述语音信息，确定与所述语音信息对应的第一关键点；

将所述第一关键点输入到预先训练好的虚拟形象模型，得到所述虚拟图像；

根据所述虚拟图像与所述语音信息生成视频。

7.根据权利要求6所述的方法，其特征在于，在所述将所述第一关键点输入到预先训练好的虚拟形象模型之前，还包括：

采集目标人物的图像；

从所述图像中提取出与所述目标人物对应的样本关键点和样本虚拟图像；

将所述样本关键点和所述样本虚拟图像输入到机器学习模型中进行训练，得到虚拟形象模型。

8.根据权利要求1所述的方法，其特征在于，所述在所述视频中将所述虚拟图像切换为所述真实图像之后，还包括：

当播放包括所述目标人物的真实图像的视频时，判断是否接收到切换指令，所述切换指令用于指示将所述真实图像切换至所述虚拟图像；

当接收到切换指令时，响应所述切换指令，从所述虚拟图像中提取第三关键点并从所述真实图像中提取第四关键点，所述第三关键点与所述第四关键点属于所述目标人物的同一特征点；

确定所述第三关键点和所述第四关键点之间的距离是否不大于所述预设距离；

当所述第三关键点与所述第四关键点之间的距离不大于所述预设距离时，在所述视频中将所述真实图像切换为所述虚拟图像。

9.一种虚拟人物切换装置，其特征在于，应用于电子设备，所述装置包括：

真实图像获取模块，用于当播放包括目标人物的虚拟图像的视频时，通过所述电子设备的摄像头获取所述目标人物的真实图像；

关键点提取模块，用于从所述虚拟图像中实时提取第一关键点并从所述真实图像中实时提取第二关键点，所述第一关键点与所述第二关键点属于所述目标人物的同一特征点；

判断模块，用于确定所述第一关键点和所述第二关键点之间的距离是否不大于预设距离；

第一切换模块，用于当所述第一关键点与所述第二关键点之间的距离不大于预设距离时，在所述视频中将所述虚拟图像切换为所述真实图像。

10.一种电子设备，其特征在于，包括：

存储器；

一个或多个处理器，与所述存储器耦接；

一个或多个程序，其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至8任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至8任一项所述的方法。

Images