CN116430990A - 虚拟环境中的交互方法、装置、设备和存储介质 - Google Patents

Abstract

本公开的实施例提供了一种虚拟环境中的交互方法。根据在此描述的方法，用户设备的控制模块经由用户设备在虚拟环境中显示虚拟对象、与所述虚拟对象相关联的至少一个可交互元素以及虚拟操纵部件。该方法进一步包括检测用户经由该虚拟操纵部件输入的针对至少一个可交互元素中的特定可交互元素的第一预定操作，以及响应于检测到针对特定可交互元素第一预定操作，使用与特定可交互元素相关联的图像渲染数据来渲染虚拟对象的相应皮肤。以此方式，用户可以根据个人喜好来选择虚拟对象的皮肤，增强了交互的趣味性，提高了用户的交互体验。

Description

虚拟环境中的交互方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及人机交互领域，并且更具体地，涉及用于在虚拟环境中的交互方法、装置、设备和计算机可读存储介质。

背景技术

在基于三维技术的虚拟环境的应用中，可以经由用户设备为用户呈现形象生动的虚拟环境。在该虚拟环境中，可以向用户显示至少一个虚拟对象并且可选地向用户显示一个或多个真实世界中的物理对象。在一些实现中，可以在虚拟环境中向用户显示虚拟操纵部件，以使得用户可以在虚拟环境中通过该虚拟操纵部件实现与虚拟环境中的其他虚拟对象的交互。以此方式来实现更加直观的人机交互体验。在一些实现中，设备/服务提供商通常将虚拟操纵部件的虚拟对象渲染为缺省的三维模型。然而，这种缺省的三维模型的视觉效果单一，无法满足用户的个性化需求。

发明内容

在本公开的第一方面，提供一种虚拟环境中的交互方法。该方法包括：经由用户设备，在虚拟环境中，与虚拟对象关联地显示至少一个可交互元素，所述可交互元素与用于渲染所述虚拟对象的相应皮肤的图像渲染数据相关联；检测用户对所述至少一个可交互元素中的特定可交互元素的预定操作；以及响应于检测到针对所述特定可交互元素第一预定操作，使用与所述特定可交互元素相关联的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

在本公开的第二方面，提供一种虚拟环境中的交互装置。该装置包括：显示模块，被配置为经由用户设备，在虚拟环境中，与虚拟对象关联地显示至少一个可交互元素，所述可交互元素与用于渲染所述虚拟对象的相应皮肤的图像渲染数据相关联；检测模块，被配置为检测用户对所述至少一个可交互元素中的特定可交互元素的预定操作；以及渲染模块，被配置为响应于检测到针对所述特定可交互元素第一预定操作，使用与所述特定可交互元素相关联的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

在本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行根据本公开的第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以执行根据本公开的第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的各实施例能够在其中实现的示例环境的示意图；

图2A示出了根据本公开一些实施例的虚拟环境中的示例交互过程的流程图；

图2B示出了根据本公开一些实施例的检测第一预定操作的示例过程的流程图；

图3示出了根据本公开一些实施例的虚拟环境中的示例交互系统框图；

图4示出了根据本公开一些实施例的示例虚拟环境；

图5示出了根据本公开的一些实施例的用于增强现实的装置的框图；以及

图6示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。

术语“响应于”表示相应的事件发生或者条件得以满足。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的。在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

如上文所简要讨论的，在基于三维技术的虚拟环境的应用中，可以经由用户设备为用户呈现形象生动的虚拟环境。在一些实现中，可以在虚拟环境中向用户显示虚拟操纵部件，以使得用户可以在虚拟环境中通过该虚拟操纵部件实现与虚拟环境中的其他虚拟对象的交互，由此实现身临其境的交互体验。

在一些实现中，设备/服务提供商通常将虚拟对象的视觉效果呈现为缺省的三维模型。然而，这种缺省的三维模型无法满足用户的个性化需求。换句话说，在传统的方案中，虚拟对象的视觉呈现被局限于系统的默认配置，缺乏个性化的定制机制。

有鉴于此，需要一种虚拟环境下的交互方案，使得用户可以根据个人的喜好为虚拟形象定制个性化的三维模型。

本公开的实施例提出了一种虚拟环境中的交互方案。根据在此描述的方法，用户设备的控制模块经由用户设备在虚拟环境中与虚拟对象关联地显示至少一个可交互元素，其中可交互元素与用于渲染虚拟对象的相应皮肤的图像渲染数据相关联。该方案进一步包括检测用户对至少一个可交互元素中的特定可交互元素的预定操作，以及响应于检测到针对特定可交互元素预定操作，使用与特定可交互元素相关联的图像渲染数据来渲染虚拟对象的相应皮肤。

以此方式，用户可以根据个人喜好来选择虚拟对象的皮肤，以使得虚拟形象呈现出不同的视觉效果，即增强了交互的趣味性，又提高了用户的交互体验。

本文所使用的术语“皮肤”指代可以应用于虚拟环境中的虚拟对象的元素。虚拟元素可以在不同的皮肤间切换以呈现不同的视觉效果，其中视觉效果的改变涉及以下至少一种：颜色、亮度、样式、动态效果等。

在下文的一些实施例中，将以虚拟操纵部件作为虚拟对象的示例来进行讨论。但应当理解，上述示例虚拟对象不应理解为对本公开的限定。事实上，本公开的方案适用于虚拟环境中的任意支持通过更换皮肤来呈现不同视觉效果的虚拟对象。本公开在此方面不受限制。

进一步地，在下文的一些实施例中，手柄将被作为操纵部件的示例来进行讨论。但应当理解，上述示例操纵部件不应理解为对本公开的限定。事实上，操纵部件可以被实现为手柄、键盘等任意形式。换言之，本公开在操纵部件的具体实现形式方面不受限制。

在下文的一些实施例中，将以虚拟现实VR环境作为虚拟环境的示例来进行讨论。但应当理解，上述示例虚拟环境不应理解为对本公开的限定。事实上，本公开的方案适用于任意虚拟环境，包括但不限于，VR环境、增强现实AR环境、扩展现实XR环境以及其他任意基于三维模型的虚拟环境等。当虚拟环境为AR/XR环境时，AR/XR装置可以将虚拟对象与真实世界中的画面叠加在一起呈现在AR/XR环境中。这样，出现在用户视野中的图像既包括真实世界的物理对象，也包括虚拟对象，使得用户可以同时看到虚拟对象和物理对象。在这种情况下，用户可以通过本公开所讨论的交互过程来更改虚拟形象的皮肤。

在下文的一些实施例中，虚拟商城被作为用户执行交互过程的示例应用场景。但应当理解，上述示例应用场景不应理解为对本公开的限定。事实上，交互过程，诸如，选择可交互元素/切换皮肤的过程，可以在任意适当的应用场景中经由用户的请求而被实施。本公开在此方面不受限制。

下面将结合附图来描述本公开的各个示例实施例。

示例环境

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。示例环境100包括用户110及其用户设备120。在该示例环境100中，用户设备120安装和运行有支持虚拟环境的应用(以下简称为控制模块)，由此支持在用户设备120处或者由用户设备120向用户110呈现虚拟环境130。

在一些实施例中，虚拟环境130为VR环境。如图1所示，用户用设备120可以为头戴式VR设备。当用户110佩戴用户设备120后，可以为用户110显示虚拟环境130，该虚拟环境中可以包括多个虚拟对象。

附加地，用户110可以经由操纵部件在虚拟环境130中输入指令。具体而言，虚拟环境130中可以呈现虚拟操纵部件，诸如，虚拟手柄。在一些实施例中，虚拟操纵部件可以与真实世界中的物理操纵部件(如图1所示的物理操纵部件112)相对应。在这种情况下，控制模块可以检测用户110经由该物理操纵部件输入的第一操作指令，并基于物理操作部件和虚拟操作部件之间的关联关系，将真实世界中的第一操作指令映射为虚拟环境中的第二操作指令。以此方式来实现虚拟环境中的人机交互。

在一些实施例中，虚拟环境为AR/XR环境。在该特定虚拟环境中，用户设备120可以是任意类型的AR/XR设备，包括但不限于，移动终端、固定终端或便携式终端，包括移动电话、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、游戏设备、可穿戴设备、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，用户设备120也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。

如图1所示，环境100可选地包括远程设备140，用户设备120可以与远程设备140进行通信。在一些实施例中，远程设备140可以为云端服务器。

应当理解，远程设备140可以包括一台或多台服务器、云计算平台和虚拟化中心中的至少一种。还应当理解，在一些实施例中，远程设备140为支持三维虚拟环境应用的后台服务。在一些实施例中，特定的过程可以由远程设备140和用户设备120协同实现。例如，在一些实施例中，远程设备140承担主要计算工作，计算设备120承担次要计算工作。备选地，在另一些实施例中，远程设备140承担次要计算工作，用户设备120承担主要计算工作。备选地，在一些实施例中，特定的过程可以由远程设备140或用户设备120独立实现。

简言之，尽管在一些实施例中，一些操作被描述为由用户设备120来实现，但是这些操作至少部分地可以由远程设备140来实现。相应的，尽管一些操作被描述为由远程设备140来实现，但是这些操作至少部分地可以由用户设备120来实现。仅出于简要的目的，相同或类似的描述将被省略。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。

示例过程

图2示出了根据本公开一些实施例的虚拟环境中的交互方法200的流程图。在一些实施例中，方法200例如可以在图1所示的用户设备120处实现，例如，由用户设备120的控制模块来实现。

根据本公开的实施例，控制模块可以在虚拟环境130中显示至少一个虚拟对象。根据如下所描述的示例实施例，控制模块可以通过为虚拟形象更换皮肤来实现虚拟形象的个性化显示。

在框210，用户设备120的控制模块经由用户设备120，在虚拟环境130显示虚拟对象、与该虚拟对象相关联的至少一个可交互元素以及虚拟操纵部件，其中可交互元素与用于渲染虚拟对象的相应皮肤的图像渲染数据相关联并且该虚拟操纵部件与真实世界中的物理操纵部件相对应。

为便于理解，参考图3和图4，其中，图3示出了根据本公开一些实施例的虚拟环境中的示例交互系统框图300，图4示出了根据本公开一些实施例的示例虚拟环境400。

在图3的特定实施例中，可交互元素320-1至320-M(其中M为大于等于1的正整数)分别对应适用于虚拟对象的皮肤A至皮肤M。在这种情况下，控制模块将可交互元素320-1至320-4显示在虚拟环境130中。在图3的特定实施例中，虚拟对象可以为虚拟操纵部件，皮肤A至皮肤M为适用于虚拟操纵部件的皮肤。

在图4的特定实施例中，虚拟对象为虚拟操控部件，如图4所示出的虚拟手柄410。此时，虚拟环境400中可以显示可交互元素420-1至420-N(其中M为大于等于1的正整数)。

以此方式，可以使得用户110直观且明了地知晓虚拟对象的候选皮肤信息。

在一些实施例中，用户设备120可以经由远程设备140获取可交互元素的信息。例如，其他用户或者服务提供商可以为虚拟形象设计相应的皮肤，并将用于渲染该相应皮肤的图像渲染数据上传至远程设备140。用户设备120可以与远程服务140建立连接以获取候选皮肤的相应的信息，并以可交互元素的形式显示在虚拟环境400中。

在框220，控制模块检测用户对至少一个可交互元素中的特定可交互元素的第一预定操作。在框230，响应于检测到针对特定可交互元素第一预定操作，控制模块使用与该特定可交互元素相关联的图像渲染数据来渲染虚拟对象的相应皮肤。在图4的特定实施例中，虚拟对象为虚拟手柄410，当检测到针对可交互元素420-2的第一预定操作时(例如，可交互元素420-2被选择)，则虚拟手柄410的皮肤将使用与可交互元素420-2相关联的图像渲染数据来渲染，即，虚拟手柄410将被渲染为可交互元素420-2所示出的三维模型。

应当理解，与可交互元素420-2相关联的图像渲染数据的下载可以是预先下载，也可以是响应于第一预定操作而被动态触发的。本公开在图像渲染数据的下载时机方面不受限制。

以此方式，虚拟环境中的虚拟对象不再局限于单一的渲染模型和渲染效果。用户110可以通过第一预定操作，在多个候选皮肤之间进行选择和切换来为虚拟形象选择个性化的皮肤。上述交互过程直观且便捷，既满足了用户的个性化需求又提升了用户的交互体验。

在虚拟对象为虚拟手柄的特定实施例中，由于虚拟手柄通常为两个。在使用与可交互元素420-2相关联的图像渲染数据来渲染虚拟手柄时，两个虚拟手柄将被同时渲染。

接下来将参考图2B来进一步描述控制模块检测特定可交互元素的第一预定操作的示例过程220。

在框222，控制模块可以在虚拟环境130中显示虚拟操纵部件，其中虚拟操纵部件可以与真实世界中的物理操纵部件相对应。为便于理解，参考图1和图4。在图4的特定实施例中，虚拟环境400中显示被示为虚拟手柄410的虚拟操纵部件。进一步地，虚拟操纵部件可以对应于图1中的物理操纵部件112。

在一些实施例中，用户设备120还可以被操作在手势模式。在手势模式下，用户110可以通过各种手势来实现各种预定操作。在这种情况下，物理操纵部件可以为用户身体的一部分(诸如，用户110的手)，而虚拟操作部件可以被显示成手的模型。此时，多个可交互元素可以对应不同的手模。

在框224，控制模块检测用户经由物理操纵部件输入的第一操作指令。在框226，控制模块基于物理操作部件和虚拟操作部件之间的关联关系，将真实世界中的第一操作指令映射为虚拟环境130中的第二操作指令，其中第二操作指令用于选择特定可交互元素。接下来，在框228，控制模块可以基于第二操作指令来检测用户对特定可交互元素的第一预定操作。

在本公开的一些实施例中，用户设备120可以根据待交互的虚拟对象(诸如，可交互元素)在虚拟环境130中距离用户110的距离来控制用户设备120的虚拟操纵部件操作在不同的操作模式。

具体而言，用户设备120可以将虚拟对象呈现在虚拟环境130的特定空间位置上。用户110可以通过用户设备120(诸如，头戴式VR设备)来观察该虚拟对象，并且从视觉上直观地感受到其与该虚拟对象在虚拟环境130中的空间距离。也就是说，用户设备120通过将不同的虚拟对象呈现在虚拟环境130的不同空间位置上，可以为用户110呈现出一个空间上错落有致的虚拟环境130。

根据本公开的一些实施例，该空间距离可以被用户设备120所确定，进一步地，用户设备120可以根据虚拟对象与用户110在虚拟环境130中的空间距离来控制虚拟操纵部件操作在不同的操作模式间进行切换。以此方式，用户110在虚拟环境130中的操纵体验将更加真实。

在一些实施例中，该空间距离指代虚拟对象与用户110/用户110的一部分(诸如，眼睛)/用户设备120/用户设备120的一部分(诸如，VR成像部件)之间的在虚拟空间中的距离。

在一些实施例中，如果待交互的虚拟对象在虚拟环境130中距离用户110的距离小于(或小于等于)阈值距离，则将虚拟操纵部件操作在近景模式。此时，用户110可以通过虚拟操纵部件直接接触/触碰/控制虚拟对象。

在一些实施例中，控制模块在虚拟环境130中显示由虚拟操纵部件发出的虚拟射线，其中虚拟射线的方向是基于第二操作指令来控制的。

附加地，虚拟射线的显示基于一定的条件而被触发。在一些实施例中，如果待交互的虚拟对象在虚拟环境130中距离用户110的距离大于阈值距离，则将虚拟操纵部件操作在远景模式。当虚拟操纵部件被操作在远景模式时，控制模块在虚拟环境130中显示由虚拟操纵部件发出的虚拟射线，其中虚拟射线的方向是基于第二操作指令来控制的。

进一步地，在一些实施例中，控制模块检测虚拟射线的是否指向特定可交互元素，如果检测到虚拟射线指向特定可交互元素，确定特定可交互元素被选择。

虚拟射线可以延展用户110在虚拟环境中的可操控范围。此外，虚拟射线使得用户110更加精准地选择期望的可交互元素。最重要的，虚拟射线使得在虚拟环境中的交互更加真实、更加趣味性，提高了用户体验。

在图4的特定实施中，控制模块可以显示由虚拟手柄410发出的虚拟射线，并基于第二操作指令来控制虚拟射线的方向以指向不同的可交互元素420。以此方式，实现对不同可交互元素420的选择。

在一些实施例中，虚拟射线作为虚拟操作部件的一部分，当虚拟操纵部件的渲染方式/数据发生改变时，虚拟射线的渲染方式/数据也随之发生改变。

接下来将结合图3来具体描述如何检测针对特定可交互元素的第一预定操作。

在图3的特定实施中，包括多个三维节点和多个具有特定功能的组件。此外，本公开所讨论的交互过程可以由相应的系统逻辑来驱动和控制。

如图3所示，在一些实施例中，每个可交互元素320均可以具有渲染组件，其中渲染组件定义了待展示的皮肤的渲染样式。如下数据中的至少一项可以被封装在渲染组件中：渲染数据、渲染套件以及渲染素材等。以此方式，每个可交互元素320/皮肤可以独立地管理，系统维护成本将被降低。

备选地或附加地，在一些实施例中，每个可交互元素320还可以具有碰撞组件，其中碰撞组件用于检测该可交互元素是否被选择。在一特定实施例中，控制模块可以确定每个可交互元素320在虚拟环境130中的空间位置，并进一步地基于该空间位置确定每个可交互元素的碰撞范围。当在碰撞范围内检测到碰撞信号时，则认为该可交互元素被选择。例如，用户110可以控制虚拟操纵装置的虚拟射线指向该预定的碰撞范围，并进一步地通过按下确定按键等操作确定选择该可交互元素。

备选地或附加地，在一些实施例中，每个可交互元素320还可以包括逻辑组件，逻辑组件用于实现可交互元素320的处理逻辑。在一些实施例中，当虚拟射线指向可交互元素320时，逻辑组件可以以诸如动画的方式来展示与该可交互元素320相关联的多媒体信息。进一步地，当该可交互元素320被选择时，逻辑组件还可以协助触发对应皮肤的切换。

图3的特定实施例还包括用户设备120，其可以作为虚拟操纵部件的。在一些实施例中，用户设备120可以被实现为一个全局通用的交互操纵节点。进一步地，用户设备120可以实现基于三维模型的虚拟环境下的人机交互。

在一些实施例中，用户设备120可以包括跟踪组件，其可以实时地跟踪物理操纵部件的惯性测量单元IMU的位置和姿态，使得虚拟环境130中的虚拟操纵部件可以与真实世界中的物理操纵部件相匹配。

备选地或附加地，用户设备120还可以包括当前操纵部件模型节点。如图3所示，当前操纵部件模型节点可以具有渲染组件，其定义了虚拟操纵节点当前的皮肤的渲染样式。如下数据中的至少一项可以被封装在渲染组件中：渲染数据、渲染套件以及渲染素材等。

备选地或附加地，在一些实施例中，用户设备120还可以包括当前虚拟射线节点。当前虚拟射线节点可以包括渲染组件，其中渲染组件用于绘制当前碰撞交互的虚拟射线的渲染样式。备选地或附加地，当前虚拟射线节点还可以包括射线交互组件，其中射线交互组件可以按照跟踪数据生成虚拟射线数据，与可交互元素320的碰撞组件协作以实现碰撞检测。备选地或附加地，当前虚拟射线节点还可以包括逻辑组件，其中逻辑组件用于根据碰撞结果执行更新虚拟射线显示的长度等处理逻辑。

在图3的特定实施例中，与可交互元素320进行的交互过程的整体流程可以由控制模块来实现。具体而言，控制模块驱动用户设备120的射线交互组件与可交互元素320的各碰撞组件进行碰撞检测。如果检测到用户110针对特定可交互元素320的第一预定操作，则触发虚拟操纵部件和/或虚拟射线的渲染更新。例如，检测到可交互元素320-1的碰撞组件发生碰撞，并且用户110点击了物理操纵部件上的确认按键，则可交互元素320-1的逻辑组件会通知控制模块，以触发控制模块使用与可交互元素320-1相关联的图像渲染数据来渲染虚拟操纵部件和/或虚拟射线的相应皮肤。

在一些实施例中，控制模块缓存当前操纵部件模型节点的渲染组件以及当前虚拟射线节点的渲染组件，并使用可交互元素320-1的渲染组件替换当前操纵部件模型节点的渲染组件和/或当前虚拟射线节点的渲染组件。

根据本公开的一些实施例，至少一个可交互元素可以仅在虚拟环境切换到特定的应用场景时才显示，在该特定的应用场景中，用户110可以通过第一预定操作来为虚拟形象选择自己的喜欢的皮肤。进一步地，在该特定的应用场景中，用户110可以通过第二预定操作将特定的可交互元素与该用户110建立关联。接下来，当虚拟环境切换到另一应用场景时，在特定可交互元素已经与用户110相关联的情况下，继续使用所述特定可交互元素的图像渲染数据来渲染虚拟对象的相应皮肤，并且在特定可交互元素尚未与用户相关联的情况下，停止使用所述特定可交互元素的图像渲染数据来渲染虚拟对象的相应皮肤。

作为一特定实施例，控制模块响应于接收到用户的第一场景切换指令，将虚拟环境切换至第一应用场景，并且如果控制模块在第一应用场景下检测到针对特定可交互元素的第二预定操作，则将特定可交互元素与用户110相关联。

进一步地，在一些实施例中，控制模块接收到用户的第二场景切换指令，将虚拟环境由第一应用场景切换至第二应用场景。此时，如果特定可交互元素已经与用户相关联，则控制模块继续使用该特定可交互元素的图像渲染数据来渲染虚拟对象的相应皮肤，否则，控制模块停止使用该特定可交互元素的图像渲染数据来渲染虚拟对象的相应皮肤。

进一步地，控制模块可以通过以标记位来记录是否检测到第二预定操作。在这种情况，当切换至第二场景后，如果控制模块确定该标记位被标记，则允许继续使用该特定可交互元素的图像渲染数据来渲染虚拟对象的相应皮肤，否则，控制模块停止使用该特定可交互元素的图像渲染数据来渲染虚拟对象的相应皮肤。可选地，该标记位可以与可交互元素叠加显示。以此方式，可交互元素的图像渲染数据可以被更加合理地维护。

在虚拟商城为第一应用场景、虚拟对象为虚拟操纵部件的特定实施例中，用户可以通过第一场景切换指令切换至虚拟商城，尤其是虚拟商城中的皮肤商店。在虚拟商城场景下，可以呈现多个可交互元素，每个可交互元素对应虚拟操纵部件的一种相应的皮肤，如图4所示。在该第一应用场景中，用户110可以通过第一预定操作在多个可交互元素间切换。随着用户110的不同选择，虚拟手柄410被渲染为不同的三维模型，每个三维模型与相应的可交互元素420相对应。

进一步地，如果在第一应用场景下检测到针对特定可交互元素的第二预定操作，诸如用户110购买了该特定皮肤，则可以将特定可交互元素与用户110相关联，即，确定用户110对该皮肤的所有权。

接下来，在进入第二应用场景后，如果之前已经检测到该第二预定操作/建立了该特定可交互元素与用户110的关联/检测到标记被标记/确定用户110已经购买该皮肤，则在用户110离开虚拟商城后依然可以继续使用该皮肤。反之，如果之前未检测到该第二预定操作/尚未建立了该特定可交互元素与用户110的关联/检测到标记未被标记/确定用户110未购买该皮肤，则在用户110离开虚拟商城后，虚拟手柄410的视觉效果将被回退到之前的三维模型。

进一步参考图3的特定实施例，如果确定用户110未购买可交互元素320-1对应的皮肤，则当进入第二应用场景时，控制模块将使用之前缓存在当前操纵部件模型节点的渲染组件以及当前虚拟射线节点的渲染组件来渲染虚拟操纵部件和虚拟射线。如果确定用户110已购买可交互元素320对应的皮肤，则当进入第二应用场景时，控制模块可以继续使用可交互元素320的渲染组件来渲染虚拟操纵部件。

进一步地，在一些实施例中，响应于特定可交互元素的被选择，控制模块在虚拟环境130中隐藏显示特定可交互元素或改变特定可交互元素的显示方式。

在图4的特定实施例中，如果可交互元素420-2被选择，则虚拟手柄410被渲染为与可交互元素420-2相对应的三维模型，并且可交互420-2被隐藏或者显示方式被改变，诸如，颜色和/或形状和/或透明度被改变，或者可交互元素420-2与其他图标叠加显示等。以此方式，用户110可以更加清楚地了解候选皮肤的信息。

通过上述实施例，用户可以根据个人喜好来选择虚拟对象的皮肤，以使得虚拟形象呈现出不同的视觉效果，既增强了交互的趣味性，又提高了用户的交互体验。

示例装置和设备

图5示出了用于虚拟环境中的交互装置500的框图。如图所示，装置500包括：显示模块510，被配置为经由用户设备在虚拟环境中显示虚拟对象、与所述虚拟对象相关联的至少一个可交互元素以及虚拟操纵部件，所述可交互元素与用于渲染所述虚拟对象的相应皮肤的图像渲染数据相关联，所述虚拟操纵部件与真实世界中的物理操纵部件相对应；检测模块520，被配置为检测用户经由所述虚拟操纵部件输入的针对所述至少一个可交互元素中的特定可交互元素的预定操作；以及渲染模块530，被配置为响应于检测到针对所述特定可交互元素第一预定操作，使用与所述特定可交互元素相关联的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

在一些实施例中，检测模块520还被配置为：检测所述用户经由所述物理操纵部件输入的第一操作指令；基于所述物理操作部件和所述虚拟操作部件之间的关联关系，将所述真实世界中的所述第一操作指令映射为所述虚拟环境中的第二操作指令，所述第二操作指令用于选择所述特定可交互元素；以及基于所述第二操作指令来检测所述用户对所述特定可交互元素的所述第一预定操作。

在一些实施例中，装置500还包括虚拟射线模块(未示出)，被配置为在所述虚拟环境中显示由所述虚拟操纵部件发出的虚拟射线；以及基于所述第二操作指令，控制所述虚拟射线的方向。

在一些实施例中，虚拟射线模块还被配置为响应于所述特定可交互元素在所述虚拟环境中与所述用户之间的距离大于阈值距离，显示所述虚拟射线。

在一些实施例中，检测模块520还被配置为：检测所述虚拟射线的是否指向所述特定可交互元素；并且其中所述交互方法还包括：响应于检测到虚拟射线指向所述特定可交互元素，确定所述特定可交互元素被选择。

在一些实施例中，所述物理操纵部件为以下之一：所述用户设备的物理操纵部件，或所述用户的身体的一部分。

在一些实施例中，装置500还包括关联检测模块(未示出)，被配置为响应于接收到所述用户的第一场景切换指令，将所述虚拟环境切换至第一应用场景；以及响应于在所述第一应用场景下检测到针对所述特定可交互元素的第二预定操作，将所述特定可交互元素与所述用户相关联。

在一些实施例中，装置500还包括更新显示模块(未示出)，被配置为：响应于接收到所述用户的第二场景切换指令，将所述虚拟环境由所述第一应用场景切换至第二应用场景；在所述特定可交互元素已经与所述用户相关联的情况下，继续使用所述特定可交互元素的图像渲染数据来渲染所述虚拟对象的所述相应皮肤；以及在所述特定可交互元素尚未与所述用户相关联的情况下，停止使用所述特定可交互元素的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

在一些实施例中，装置500还包括隐藏显示模块(未示出)，被配置为：响应于所述特定可交互元素的被选择，在所述虚拟环境中，隐藏显示所述特定可交互元素或改变所述特定可交互元素的显示方式。

在一些实施例中，所述用户设备为头戴式虚拟现实VR设备，所述虚拟对象为虚拟操纵部件。

装置500中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置500中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。

图6示出了其中可以实施本公开的一个或多个实施例的计算设备600的框图。应当理解，图6所示出的计算设备600仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图6所示出的计算设备600可以用于实现图1的用户设备110。

如图6所示，计算设备600是通用电子设备的形式。计算设备600的组件可以包括但不限于一个或多个处理器或处理单元610、存储器620、存储设备630、一个或多个通信单元640、一个或多个输入设备650以及一个或多个输出设备660。处理单元610可以是实际或虚拟处理器并且能够根据存储器620中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备600的并行处理能力。

计算设备600通常包括多个计算机存储介质。这样的介质可以是计算设备600可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器620可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备630可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备600内被访问。

计算设备600可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图6中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器620可以包括计算机程序产品625，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元640实现通过通信介质与其他电子设备进行通信。附加地，计算设备600的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备600可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备650可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备660可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备600还可以根据需要通过通信单元640与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备600交互的设备进行通信，或者与使得计算设备600与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。

Claims (13)

1.一种虚拟环境中的交互方法，包括：

经由用户设备在虚拟环境中显示：

虚拟对象，

与所述虚拟对象相关联的至少一个可交互元素，所述可交互元素与用于渲染所述虚拟对象的相应皮肤的图像渲染数据相关联，以及

虚拟操纵部件，所述虚拟操纵部件与真实世界中的物理操纵部件相对应；

检测用户经由所述虚拟操纵部件输入的针对所述至少一个可交互元素中的特定可交互元素的预定操作；以及

响应于检测到针对所述特定可交互元素第一预定操作，使用与所述特定可交互元素相关联的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

2.根据权利要求1所述的交互方法，其中检测所述用户对所述特定可交互元素的所述第一预定操作包括：

检测所述用户经由所述物理操纵部件输入的第一操作指令；

基于所述物理操作部件和所述虚拟操作部件之间的关联关系，将所述真实世界中的所述第一操作指令映射为所述虚拟环境中的第二操作指令，所述第二操作指令用于选择所述特定可交互元素；以及

基于所述第二操作指令来检测所述用户对所述特定可交互元素的所述第一预定操作。

3.根据权利要求2所述的交互方法，还包括：

在所述虚拟环境中显示由所述虚拟操纵部件发出的虚拟射线；以及

基于所述第二操作指令，控制所述虚拟射线的方向。

4.根据权利要求3所述的交互方法，其中在所述虚拟环境中显示由所述虚拟操纵部件发出的所述虚拟射线包括：

响应于所述特定可交互元素在所述虚拟环境中与所述用户之间的距离大于阈值距离，显示所述虚拟射线。

5.根据权利要求3所述的交互方法，其中基于所述第二操作指令来检测所述用户对所述特定可交互元素的所述第一预定操作包括：检测所述虚拟射线的是否指向所述特定可交互元素；并且其中所述交互方法还包括：

响应于检测到虚拟射线指向所述特定可交互元素，确定所述特定可交互元素被选择。

6.根据权利要求2所述的交互方法，其中所述物理操纵部件为以下之一：

所述用户设备的物理操纵部件，或

所述用户的身体的一部分。

7.根据权利要求1所述的交互方法，还包括：

响应于接收到所述用户的第一场景切换指令，将所述虚拟环境切换至第一应用场景；以及

响应于在所述第一应用场景下检测到针对所述特定可交互元素的第二预定操作，将所述特定可交互元素与所述用户相关联。

8.根据权利要求7所述的交互方法，还包括：

响应于接收到所述用户的第二场景切换指令，将所述虚拟环境由所述第一应用场景切换至第二应用场景；

在所述特定可交互元素已经与所述用户相关联的情况下，继续使用所述特定可交互元素的图像渲染数据来渲染所述虚拟对象的所述相应皮肤；以及

在所述特定可交互元素尚未与所述用户相关联的情况下，停止使用所述特定可交互元素的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

9.根据权利要求1所述的交互方法，还包括：

响应于所述特定可交互元素的被选择，在所述虚拟环境中，隐藏显示所述特定可交互元素或改变所述特定可交互元素的显示方式。

10.根据权利要求1所述的交互方法，其中所述用户设备为头戴式虚拟现实VR设备，所述虚拟对象为虚拟操纵部件。

11.一种虚拟环境中的交互装置，包括：

显示模块，被配置为经由用户设备在虚拟环境中显示虚拟对象、与所述虚拟对象相关联的至少一个可交互元素以及虚拟操纵部件，所述可交互元素与用于渲染所述虚拟对象的相应皮肤的图像渲染数据相关联，所述虚拟操纵部件与真实世界中的物理操纵部件相对应；

检测模块，被配置为检测用户经由所述虚拟操纵部件输入的针对所述至少一个可交互元素中的特定可交互元素的预定操作；以及

渲染模块，被配置为响应于检测到针对所述特定可交互元素第一预定操作，使用与所述特定可交互元素相关联的图像渲染数据来渲染所述虚拟对象的所述相应皮肤。

12.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行根据权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至10中任一项所述的方法。

Images