CN109035415A - 虚拟模型的处理方法、装置、设备和计算机可读存储介质 - Google Patents

Abstract

本发明提供一种虚拟模型的处理方法、装置、设备和计算机可读存储介质，该方法包括：获取用户的处理请求，所述处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息；在AR场景下，根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，以对所述待处理的虚拟模型进行处理。该方案实现了实时根据用户的处理请求对AR场景下的虚拟模型进行处理。实现了AR场景下虚拟模型的个性化定制，丰富了AR场景下虚拟模型的多样性和趣味性，提高了用户体验。

Description

虚拟模型的处理方法、装置、设备和计算机可读存储介质

技术领域

本发明涉及增强现实技术领域，尤其涉及一种虚拟模型的处理方法、装置、设备和计算机可读存储介质。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品CPU运算能力的提升，以及人们生活水平的提高，AR技术具有非常广阔的发展前景。

AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，比如视觉信息、声音、味道、触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。在AR场景下，真实环境和虚拟模型实时地叠加到了同一个画面或空间同时存在。

但是现有的方案中，AR场景下的虚拟模型一般由三维美术师通过建模软件制作而成，AR用户不能按照自己的需要来定制，因此现有的虚拟模型风格比较单一，趣味性一般，而且三维美术师需要较长时间来制作虚拟模型。

发明内容

本发明提供一种虚拟模型的处理方法、装置、设备和计算机可读存储介质，实现了实时根据用户的处理请求对AR场景下的虚拟模型进行处理。实现了AR场景下虚拟模型的个性化定制，丰富了AR场景下虚拟模型的多样性和趣味性，提高了用户体验。作为举例而非限定，本发明可以由一张图片或者多张图片(或者包括用户的视频)，生成一个AR场景下的三维虚拟模型。

本发明的第一方面提供一种基于AR场景的虚拟模型的处理方法，包括：获取用户的处理请求，所述处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息；在AR场景下，根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，以对所述待处理的虚拟模型进行处理。

可选地，所述目标对象的信息包括所述目标对象的第二标识；则所述根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，包括：根据所述处理请求，获取当前用户的第一面部表情；在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述第一面部表情映射至所述虚拟对象的面部。

可选地，还包括：获取所述当前用户的第一肢体动作；将所述第一肢体动作映射至所述虚拟对象，以驱动所述虚拟对象执行所述第一肢体动作。

可选地，所述目标对象的信息包括所述目标对象的第二标识和图像信息；则所述根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，包括：根据所述处理请求，获取所述图像信息中与所述第二标识对应的目标对象特征；在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述目标对象特征映射至所述虚拟对象上。

可选地，所述目标对象特征包括如下一种或者几种的组合：所述目标对象的第二面部表情，所述目标对象的肢体动作，所述目标对象的运动轨迹、所述目标对象的大小，所述目标对象的位置信息。

本发明的第二方面提供一种基于AR场景的虚拟模型的处理装置，包括：获取模块，用于获取用户的处理请求，所述处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息；建立模块，用于在AR场景下，根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，以对所述待处理的虚拟模型进行处理。

可选地，所述目标对象的信息包括所述目标对象的第二标识；则所述建立模块具体用于：根据所述处理请求，获取当前用户的第一面部表情；在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述第一面部表情映射至所述虚拟对象的面部。

可选地，所述建立模块具体还用于：获取所述当前用户的第一肢体动作；将所述第一肢体动作映射至所述虚拟对象，以驱动所述虚拟对象执行所述第一肢体动作。

可选地，所述目标对象的信息包括所述目标对象的第二标识和图像信息；则建立模块具体还用于：根据所述处理请求，获取所述图像信息中与所述第二标识对应的目标对象特征；在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述目标对象特征映射至所述虚拟对象上。

可选地，所述目标对象特征包括如下一种或者几种的组合：所述目标对象的第二面部表情，所述目标对象的肢体动作，所述目标对象的运动轨迹、所述目标对象的大小，所述目标对象的位置信息。

本发明的第三方面提供一种AR设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行本发明第一方面及其任一可选地方案所述的方法。

本发明的第四方面提供一种计算机可读存储介质，包括：程序，当其在计算机上运行时，使得计算机执行本发明第一方面及其任一可选地方案所述的方法。

本发明提供的虚拟模型的处理方法、装置、设备和计算机可读存储介质，通过实时获取用户的处理请求，并在AR场景下，根据所述处理请求，在待处理的虚拟模型的第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，进而实现了实时根据用户的处理请求对AR场景下的虚拟模型进行处理。实现了AR场景下虚拟模型的个性化定制，丰富了AR场景下虚拟模型的多样性和趣味性，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一示例性实施例示出的基于AR场景的虚拟模型的处理方法的流程图；

图2为本发明另一示例性实施例示出的基于AR场景的虚拟模型的处理方法的流程图；

图3为本发明一示例性实施例示出的基于AR场景的虚拟模型的处理装置的结构图；

图4为本发明一示例性实施例示出的AR设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一示例性实施例示出的基于AR场景的虚拟模型的处理方法的流程图。

如图1所示，本实施例的执行主体为基于AR场景的虚拟模型的处理装置，该基于AR场景的虚拟模型的处理装置可以集成在AR设备中。则本实施例提供一种基于AR场景的虚拟模型的处理方法，该方法包括如下步骤：

步骤101：获取用户的处理请求，处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息。

其中，第一标识用来标记待处理的虚拟模型的类别，可以是数字或字母，也可以是符号或图案，本实施例对于第一标识的形式不做限定。目标对象可以是人物或者动物，也可以是工具、植物等，本实施例对目标对象的具体内容不做限定。

在本步骤中，可以实时获取用户的处理请求。具体地，在AR场景下，如果用户想要对某个虚拟模型进行处理(处理包含但不限于新建或修改)，则可以实时将自己的处理请求输入至AR设备。其中处理请求包含但须限于：待处理的虚拟模型的第一标识和目标对象的信息。这里的目标对象是用户用来处理虚拟模型的参照对象。比如用户想要照着自己的样子新建一个虚拟模型，则此时的待处理的虚拟模型是人体模型，第一标识就是人体模型的标识。而目标对象就可以是用户自身。

步骤102：在AR场景下，根据处理请求，在第一标识对应的虚拟模型中建立与目标对象的信息对应的虚拟对象，以对待处理的虚拟模型进行处理。

在本步骤中，在AR场景下，根据用户的处理请求中的第一标识，可以确定用户想要处理的虚拟模型，然后，在该虚拟模型中建立目标对象的信息对应的虚拟对象，如此便可以实现对该虚拟模型的实时处理。举例来说，假设用户的处理请求中的第一标识是人体模型标识，目标对象信息是用户自身的人体特征信息，则可以确定用户想要根据自身特征建立AR场景下的虚拟人体模型，此时可以在AR场景中的人体模型中，建立具有自身的人体特征的虚拟对象。

本发明提供的基于AR场景的虚拟模型的处理方法，通过实时获取用户的处理请求，并在AR场景下，根据处理请求，在待处理的虚拟模型的第一标识对应的虚拟模型中建立与目标对象的信息对应的虚拟对象，进而实现了实时根据用户的处理请求对AR场景下的虚拟模型进行处理。实现了AR场景下虚拟模型的个性化定制，丰富了AR场景下虚拟模型的多样性和趣味性，提高了用户体验。

图2为本发明另一示例性实施例示出的基于AR场景的虚拟模型的处理方法的流程图。

如图2所示，本实施例提供一种基于AR场景的虚拟模型的处理方法，是在本发明一示例性实施例示出的基于AR场景的虚拟模型的处理方法的基础上，还包括了目标对象的信息的具体内容以及对应的在第一标识对应的虚拟模型中建立与目标对象的信息对应的虚拟对象的步骤等。该方法包括如下步骤：

步骤201：获取用户的处理请求，处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息。可选地，目标对象的信息包括目标对象的第二标识；

其中，第一标识用来标记待处理的虚拟模型的类别，可以是数字或字母，也可以是符号或图案，本实施例对于第一标识的形式不做限定。目标对象可以是人物或者动物，也可以是工具、植物等，本实施例对目标对象的具体内容不做限定。第二标识用来标记目标对象的类别，可以是目标对象的特征参数等，比如面部，头部，肢体等，在此不做限定。

在本步骤中，可以实时获取用户的处理请求。具体地，在AR场景下，如果用户想要对某个虚拟模型进行处理(处理包含但不限于新建或修改)，则可以实时将自己的处理请求输入至AR设备。其中处理请求包含但须限于：待处理的虚拟模型的第一标识和目标对象的信息。这里的目标对象是用户用来处理虚拟模型的参照对象。比如用户想要照着自己的样子新建一个虚拟模型，则此时的待处理的虚拟模型是人体模型，第一标识就是人体模型的标识。而目标对象就可以是用户自身。

步骤202：根据处理请求，获取当前用户的第一面部表情。

其中，当前用户的第一面部表情可以通过用户的图像信息来获取，比如可以通过图像采集设备实时采集用户的单张或多张面部图像，然后从面部图像中提取用户的第一面部表情。当然也可以通过用户的视频信息来提取第一面部表情。本实施例对于第一面部图像的获取方式不做限定。用于采集图像或视频的采集设备可以是电脑摄像头、手机摄像头或者摄影专用无人机等，本实施例对此不做限定。

在本步骤中，如果用户想要在AR场景下模拟自己的面部表情，则可以根据处理请求，获取当前用户的第一面部表情。

步骤203：在第一标识对应的虚拟模型中建立与第二标识对应的虚拟对象，并将第一面部表情映射至虚拟对象的面部。

在本步骤中，在AR场景下，根据用户的处理请求中的第一标识，可以确定用户想要处理的虚拟模型，然后，根据目标对象信息中的第二标识可以确定目标对象需要处理的特征参数等，比如面部、头部等特征。假设第二标识标记的是面部，则可以在该虚拟模型的面部建立第二标识对应的虚拟对象(虚拟面部)，以便实现对该虚拟模型的实时处理。举例来说，假设用户的处理请求中的第一标识是人体模型标识，目标对象是用户自身，第二标识标记的是用户的面部特征，则可以确定用户想要根据自身的面部表情建立AR场景下的面部表情的虚拟模型，此时可以在AR场景中的人体模型中，建立具有用户自身的面部特征的虚拟对象，然后将当前用户的第一面部表情映射至虚拟对象的面部，该虚拟模型便可以模拟用户的表情动作。如此便实现了采用用户的面部表情驱动AR场景下的虚拟模型的面部表情。

步骤204：获取当前用户的第一肢体动作。

在本步骤中，用户也可以将自己的肢体动作，比如手势等添加到AR场景下的虚拟模型上，以对其进行改进。第一肢体动作(一个肢体动作或者多个动作构成的序列)可以由一张图片或者多张图片或者视频生成，本实施例对第一肢体动作的内容和获取方式不做限定。

步骤205：将第一肢体动作映射至虚拟对象，以驱动虚拟对象执行第一肢体动作。

在本步骤中，在AR场景下，目标对象信息中的第二标识可以确定目标对象需要处理的特征参数等，比如可以是肢体部位的特征等。假设第二标识标记的是手臂，则可以在AR场景中的虚拟模型的手臂处建立第二标识对应的虚拟对象(虚拟手臂)，以便实现对该虚拟模型的实时处理。举例来说，假设用户的处理请求中的第一标识是人体模型标识，目标对象是用户自身，第二标识标记的是用户的肢体特征，则可以确定用户想要根据自身的肢体动作建立AR场景下的肢体动作的虚拟模型，此时可以在AR场景中的人体模型中，建立具有用户自身的肢体特征的虚拟对象，然后将当前用户的第一肢体动作映射至虚拟对象的对应部位，该虚拟模型便可以模拟用户的肢体动作。如此便实现了采用用户的肢体动作驱动AR场景下的虚拟模型的肢体动作。进一步地，用户可以为每个肢体动作自定义相关的指令，比如手掌划过，可以定义为打开门，左右滑动定义为开关虚拟世界中的电器等。可以大大丰富AR场景的趣味性。

可选地，目标对象的信息包括目标对象的第二标识和图像信息。本实施例还可以包括：

步骤206：根据处理请求，获取图像信息中与第二标识对应的目标对象特征。

其中，目标对象的信息包含但不限于目标对象的第二标识和图像信息。第二标识用来标记目标对象的类别，可以是目标对象的特征参数等，比如面部，头部，肢体等，在此不做限定。图像信息可以通过图像采集设备实时采集用户的单张或多张面部图像，也可以从存储设备中获取历史记录图像信息，本实施例对于图像信息的采集方式不做限定。

在本步骤中，可以根据处理请求，获取图像信息中与第二标识对应的目标对象特征。假设第二标识标记的是目标对象的面部，则可以从图像信息中获取到的目标对象特征就是该目标对象的面部表情等信息。比如用户在处理请求中设置第二标识标记面部，然后图像信息是自己的照片，那么就会自动从照片中提取用户的面部特征作为目标对象特征。可选地，目标对象特征包含但不限于如下一种或者几种的组合：目标对象的第二面部表情，目标对象的肢体动作，目标对象的运动轨迹、目标对象的大小，目标对象的位置信息。即可以根据第二标识从用户的图像信息中提取不同的目标对象特征，以满足用户的个性化需求。

步骤207：在第一标识对应的虚拟模型中建立与第二标识对应的虚拟对象，并将目标对象特征映射至虚拟对象上。

在本步骤中，在第一标识对应的虚拟模型中建立与第二标识对应的虚拟对象后，可以将步骤206中获取到的目标对象特征映射至虚拟对象上。目标对象信息的多样性，有利于丰富AR场景下虚拟模型的多样性。如此，用户可以基于自定义，构建AR虚拟场景，比如自定义的虚拟模型、表情、动作等，可以将其作为虚拟场景和现实场景交互的良好手段，实现了对虚拟场景中的交互形式和内容的自定义。

本实施例提供的基于AR场景的虚拟模型的处理方法，在AR虚拟场景中，实时采集用户的表情或肢体动作等信息，或者实时采集用户当前一张或多张图片，或者采集用户视频，从图片或者视频中识别出用户当前的表情或/和肢体动作；将获取到的表情或肢体动作映射到AR场景下的虚拟模型上，进而建立用户自定义的虚拟模型。实现了AR场景下虚拟模型的个性化定制，丰富了AR场景下虚拟模型的多样性和趣味性，扩大了AR场景的适用范围，提高了用户体验。

图3为本发明一示例性实施例示出的基于AR场景的虚拟模型的处理装置的结构图。

如图3所示，本实施例提供一种基于AR场景的虚拟模型的处理装置，该基于AR场景的虚拟模型的处理装置可以集成在AR设备中，该装置包括：获取模块301和建立模块302。

其中，获取模块301，用于获取用户的处理请求，处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息；

建立模块302，用于在AR场景下，根据处理请求，在第一标识对应的虚拟模型中建立与目标对象的信息对应的虚拟对象，以对待处理的虚拟模型进行处理。

上述各个模块的详细内容参见上述图1对应的实施例中的描述。

本实施例提供的基于AR场景的虚拟模型的处理装置是在本发明如图3所示的一示例性实施例示出的基于AR场景的虚拟模型的处理装置的基础上，进一步地，还包括了：

可选地，目标对象的信息包括目标对象的第二标识；则建立模块302具体用于：根据处理请求，获取当前用户的第一面部表情；在第一标识对应的虚拟模型中建立与第二标识对应的虚拟对象，并将第一面部表情映射至虚拟对象的面部。

可选地，建立模块302具体还用于：获取当前用户的第一肢体动作；将第一肢体动作映射至虚拟对象，以驱动虚拟对象执行第一肢体动作。

可选地，目标对象的信息包括目标对象的第二标识和图像信息；则建立模块302具体还用于：根据处理请求，获取图像信息中与第二标识对应的目标对象特征；在第一标识对应的虚拟模型中建立与第二标识对应的虚拟对象，并将目标对象特征映射至虚拟对象上。

可选地，目标对象特征包括如下一种或者几种的组合：目标对象的第二面部表情，目标对象的肢体动作，目标对象的运动轨迹、目标对象的大小，目标对象的位置信息。

上述各个模块的详细内容参见上述图2对应的实施例中的描述。

本发明实施例还提供一种AR设备，包括：存储器；处理器；以及计算机程序；其中，计算机程序存储在存储器中，并被配置为由处理器执行本发明如图1对应一示例性实施例示出的基于AR场景的虚拟模型的处理方法或本发明如图2对应的另一示例性实施例示出的基于AR场景的虚拟模型的处理方法。图4为本发明一示例性实施例示出的AR设备的结构图。

如图4所示，本实施例提供一种AR设备，包括：至少一个处理器41和存储器42，可选地，还可以包括图像采集设备43。图4中以一个处理器41为例，处理器41、存储器42和图像采集设备43通过总线40连接，图像采集设备43可用于采集当前用户的图像信息。存储器42存储有可被至少一个处理器41执行的指令，指令被至少一个处理器41执行，以使至少一个处理器41执行如上述实施例中图1或图2的基于AR场景的虚拟模型的处理方法。

相关说明可以对应参见图1至图2的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

本发明实施例还提供了一种计算机可读存储介质，包括：程序，当其在计算机上运行时，使得计算机可执行上述图1或图2对应的实施例中方法的全部或部分流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种基于AR场景的虚拟模型的处理方法，其特征在于，包括：

获取用户的处理请求，所述处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息；

在AR场景下，根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，以对所述待处理的虚拟模型进行处理。

2.根据权利要求1所述的方法，其特征在于，所述目标对象的信息包括所述目标对象的第二标识；

则所述根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，包括：

根据所述处理请求，获取当前用户的第一面部表情；

在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述第一面部表情映射至所述虚拟对象的面部。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取所述当前用户的第一肢体动作；

将所述第一肢体动作映射至所述虚拟对象，以驱动所述虚拟对象执行所述第一肢体动作。

4.根据权利要求1所述的方法，其特征在于，所述目标对象的信息包括所述目标对象的第二标识和图像信息；

则所述根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，包括：

根据所述处理请求，获取所述图像信息中与所述第二标识对应的目标对象特征；

在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述目标对象特征映射至所述虚拟对象上。

5.根据权利要求4所述的方法，其特征在于，所述目标对象特征包括如下一种或者几种的组合：

所述目标对象的第二面部表情，所述目标对象的肢体动作，所述目标对象的运动轨迹、所述目标对象的大小，所述目标对象的位置信息。

6.一种基于AR场景的虚拟模型的处理装置，其特征在于，包括：

获取模块，用于获取用户的处理请求，所述处理请求包括：待处理的虚拟模型的第一标识和目标对象的信息；

建立模块，用于在AR场景下，根据所述处理请求，在所述第一标识对应的虚拟模型中建立与所述目标对象的信息对应的虚拟对象，以对所述待处理的虚拟模型进行处理。

7.根据权利要求6所述的装置，其特征在于，所述目标对象的信息包括所述目标对象的第二标识；

则所述建立模块具体用于：

根据所述处理请求，获取当前用户的第一面部表情；

在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述第一面部表情映射至所述虚拟对象的面部。

8.根据权利要求7所述的装置，其特征在于，所述建立模块具体还用于：

获取所述当前用户的第一肢体动作；

将所述第一肢体动作映射至所述虚拟对象，以驱动所述虚拟对象执行所述第一肢体动作。

9.根据权利要求6所述的装置，其特征在于，所述目标对象的信息包括所述目标对象的第二标识和图像信息；

则建立模块具体还用于：

根据所述处理请求，获取所述图像信息中与所述第二标识对应的目标对象特征；

在所述第一标识对应的虚拟模型中建立与所述第二标识对应的虚拟对象，并将所述目标对象特征映射至所述虚拟对象上。

10.根据权利要求9所述的装置，其特征在于，所述目标对象特征包括如下一种或者几种的组合：

所述目标对象的第二面部表情，所述目标对象的肢体动作，所述目标对象的运动轨迹、所述目标对象的大小，所述目标对象的位置信息。

11.一种AR设备，其特征在于，包括：

存储器；处理器；以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，包括：程序，当其在计算机上运行时，使得计算机执行权利要求1至5中任一项所述的方法。