CN110413109A - 虚拟内容的生成方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种虚拟内容的生成方法、装置、系统、电子设备以及存储介质。获取远程会话中的第一电子设备对应的第一用户数据，将第一用户数据发送至远程会话中的一个或多个第二电子设备，接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成，根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。本申请通过第一电子设备请求第二电子设备基于第一用户数据做出响应，并基于双方的用户进行的交互生成对应的虚拟内容，提升远程交互效果，并提高远程交互中的真实感及沉浸感。

Description

虚拟内容的生成方法、装置、系统、电子设备及存储介质

技术领域

本申请涉及远程交互领域，更具体地，涉及一种虚拟内容的生成方法、装置、系统、电子设备及存储介质。

背景技术

由于通讯技术的发展，远程会议、远程协助、远程教育等远程会话场景已经越来越深入到人们的生活之中，但是传统远程会话通常是以语音通信的方式进行，或是利用摄像头实时采集会话参与者的画面进行视频通信，也可以是文字通信等。

发明内容

本申请实施例提出了一种虚拟内容的生成方法、装置、系统、电子设备及存储介质，以解决远程交互效果不佳的问题。

第一方面，本申请实施例提供了一种虚拟内容的生成方法，所述方法包括：获取远程会话中的第一电子设备对应的第一用户数据，所述第一用户数据为所述第一电子设备在显示第一虚拟内容时，采集的所述第一电子设备对应的用户数据；将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备；接收所述一个或多个第二电子设备对应的第二用户数据，所述第二用户数据为所述一个或多个第二电子设备响应所述第一用户数据生成；根据所述第一用户数据和所述第二用户数据生成第二虚拟内容，将所述第一虚拟内容更新为所述第二虚拟内容。

第二方面，本申请实施例提供了一种虚拟内容的生成装置，所述装置包括：第一用户数据获取模块，用于获取远程会话中的第一电子设备对应的第一用户数据，所述第一用户数据为所述第一电子设备在显示第一虚拟内容时，采集的所述第一电子设备对应的用户数据；数据发送模块，用于将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备；第二用户数据接收模块，用于接收所述一个或多个第二电子设备对应的第二用户数据，所述第二用户数据为所述一个或多个第二电子设备响应所述第一用户数据生成；内容生成模块，用于根据所述第一用户数据和所述第二用户数据生成第二虚拟内容，将所述第一虚拟内容更新为所述第二虚拟内容。

第三方面，本申请实施例提供了一种虚拟内容的生成系统，所述系统包括远程会话中的第一电子设备、一个或多个第二电子设备以及服务器，其中：所述第一电子设备，用于在显示第一虚拟内容时，采集所述第一电子设备对应的第一用户数据；所述服务器，用于接收所述第一电子设备对应的第一用户数据；所述服务器，用于将所述第一用户数据发送至所述一个或多个第二电子设备；所述一个或多个第二电子设备，用于响应所述第一用户数据并生成第二用户数据；所述服务器，用于接收所述一个或多个第二电子设备对应的第二用户数据；所述服务器，用于根据所述第一用户数据和所述第二用户数据生成第二虚拟内容并发送至所述第一电子设备；所述第一电子设备，用于将所述第一虚拟内容更新为所述第二虚拟内容。

第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的虚拟内容的生成方法。

第五方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的虚拟内容的生成方法。

本申请实施例提供的方案，通过获取远程会话中的第一电子设备对应的第一用户数据，该第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据，将第一用户数据发送至远程会话中的一个或多个第二电子设备，接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成，根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。从而通过第一电子设备请求第二电子设备基于第一用户数据做出响应，并基于双方的用户进行的交互生成对应的虚拟内容，提升了远程交互效果，并提高了远程交互中的真实感及沉浸感。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的虚拟内容的生成方法的一种应用环境示意图；

图2示出了本申请实施例提供的虚拟内容的生成方法的另一种应用环境示意图；

图3示出了本申请实施例提供的远程会话场景的一种示例图；

图4示出了本申请一实施例提供的虚拟内容的生成方法的流程示意图；

图5示出了本申请实施例提供的远程会话场景的另一种示例图

图6示出了本申请另一实施例提供的虚拟内容的生成方法的流程示意图；

图7示出了本申请又一实施例提供的虚拟内容的生成方法的流程示意图；

图8示出了本申请的图7所示的实施例提供的虚拟内容的生成方法的步骤S350的流程示意图；

图9示出了本申请再一实施例提供的虚拟内容的生成方法的流程示意图；

图10示出了本申请又再一实施例提供的虚拟内容的生成方法的流程示意图；

图11示出了本申请实施例提供的虚拟内容的生成装置的结构框图；

图12示出了本申请实施例用于执行根据本申请实施例的虚拟内容的生成方法的电子设备的结构框图；

图13示出了本申请实施例用于执行根据本申请实施例的虚拟内容的生成方法的服务器的框图；

图14示出了本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的生成方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

由于通讯技术的发展，远程会议、远程协助、远程教育等远程会话场景已经越来越深入到人们的生活之中，但是传统远程会话通常是以语音通信的方式进行，或是利用摄像头实时采集会话参与者的画面进行视频通信，也可以是文字通信等。传统的远程会话通信方式单一，沉浸感较差。

于是，发明人提出了本申请实施例提供的虚拟内容的生成方法、装置、系统、电子设备以及存储介质，通过第一电子设备请求第二电子设备基于第一用户数据做出响应，并基于双方的用户进行的交互生成对应的虚拟内容，提升了远程交互效果，并提高了远程交互中的真实感及沉浸感。

下面对本申请实施例提供的虚拟内容的生成方法的应用场景进行介绍。

请参见图1，图1示出了本申请实施例提供的虚拟内容的生成方法的一种应用环境示意图，该应用场景包括交互系统10，该交互系统10可以应用于远程会话。该交互系统10包括：多个电子设备100以及服务器200，其中，电子设备100与服务器200连接。

在一些实施方式中，电子设备100通过网络与服务器200通信连接，从而电子设备100与服务器200之间可以进行数据交互。其中，电子设备100可以通过接入路由器所在网络，而通过路由器所在网络与服务器200之间的通信，也可以通过数据网络与服务器200之间进行通信。

在一些实施方式中，电子设备100可以是头戴显示装置，也可以是手机、平板等移动设备。电子设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。电子设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即电子设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。在远程会话中，电子设备100可用于对远程会话的虚拟会话场景进行显示，实现将虚拟会话场景的场景画面进行AR(Augmented Reality，增强现实技术)显示或者VR(Virtual Reality，虚拟现实技术)显示，提升远程会话中场景画面的显示效果。在其他实施方式中，电子设备100也可以是电脑、平板电脑、电视等显示设备，电子设备100可以将虚拟会话场景对应的2D画面进行显示。

在一些实施方式中，电子设备100还可以采集远程会话中的信息数据(例如，采集用户的脸部信息、声音数据等)，对采集的信息数据进行建模得到模型数据，并将模型数据传输至服务器200或者其他电子设备100。进一步地，还可以与预先存储的模型数据(例如脸部数据、声音数据等)结合建模，并将模型数据传输至服务器200或者其他终端设备100。

请参阅图2，图2示出了本申请实施例提供的虚拟内容的生成方法的另一种应用环境示意图。在一些实施方式中，交互系统10也还可以包括信息采集装置300，信息采集装置300用于采集上述信息数据(例如，采集用户的脸部信息、声音数据等)，并将采集的信息数据传输至电子设备100或者服务器200。在一些实施方式中，信息采集装置300可包括摄像头、音频模块等，也可以包括光传感器、声传感器等各类传感器。在一些实施方法中，电子设备100是头戴显示装置时，信息采集装置300可以与头戴显示装置在同一现场，其中，头戴显示装置与信息采集装置300可连接，也可不连接。

在一些实施方式中，上述服务器200可以是本地服务器，也可以是云服务器，具体服务器200的类型在本申请实施例中可以不作为限定。在远程会话中，服务器200可用于实现多个电子设备100/信息采集装置300之间的数据交互，从而保证多个电子设备100/信息采集装置300之间的数据传输和同步，实现远程会话中虚拟会话场景、音视频数据的同步、电子设备100/信息采集装置300之间的数据传输等。

在一些实施方式中，当远程会话中的多个电子设备100中存在至少两个电子设备100处于同一现场环境(例如，处于同一室内)时，处于同一现场环境的至少两个电子设备100之间也可以通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，也可以通过数据线等有线通信方式进行连接，从而实现处于同一现场环境的至少两个电子设备100之间数据的交互。当然，处于同一现场环境的至少两个电子设备100之间的连接方式在本申请实施例中可以不作为限定。

下面对具体的虚拟内容的生成方法进行介绍。

在一些实施例中，虚拟内容的生成方法可以是应用在远程会话场景中，该远程会话场景可包括但不限于远程会议、远程教学、远程协助、远程聊天等场场。以远程会议为例，一般远程会议场景中包括有多个参会人员，其中参会人员可以处于不同的环境，通过远程会话中的电子设备进行通信，例如图3所示的远程会话场景中，电子设备100为头戴显示装置，参会人员甲401和参会人员乙402处于会议桌的不同位置，其他会议参与者不在该会议桌旁，而是远程参与会议，参会人员甲401和参会人员乙402通过佩戴的头戴显示装置，看到的虚拟画面可以为其他会议参与者中每个会议参与者对应的3D(3Dimensions，三维)虚拟人物510。

请参阅图4，图4示出了本申请一实施例提供的虚拟内容的生成方法的流程示意图。下面将针对图4所示的实施例进行详细的阐述，方法具体可以包括以下步骤：

步骤S110：获取远程会话中的第一电子设备对应的第一用户数据，第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据。

在一些实施方式中，远程会话指的是通过数据通信建立的多端进行远程交互、通讯的过程，当电子设备处于远程会话中时，可以显示第一虚拟内容，其中，对于远程会话中的每个电子设备而言，第一虚拟内容可以是远程会话中其他电子设备对应的3D虚拟人物，也可以是虚拟文档、虚拟图片、虚拟聊天窗口、虚拟个人信息等，在此不做限定。

在一些实施例中，对于需要显示第一虚拟内容的电子设备，该第一虚拟内容可以根据其他电子设备的数据信息进行构建，并根据该需要显示的电子设备的位置及姿态信息进行渲染生成。作为一种方式，可以是在远程会话中各个电子设备上传数据信息至服务器后，该需要显示的电子设备直接从服务器处下载其他电子设备的数据信息，并进行第一虚拟内容的生成。其中，该数据信息可包括第一虚拟内容的模型数据，模型数据为用于渲染第一虚拟内容的数据。例如，模型数据可包括用于建立第一虚拟内容对应的颜色数据、顶点坐标数据、轮廓数据等。在一些实施方式中，数据信息可以是分享的文档、视频、图片、3D人物、3D物体等对应的数据信息，也可以是电子设备所处环境的图像传感器采集到的场景图像、音频等对应的数据信息，在此不做限定。

该第一虚拟内容也可以是由服务器根据其他电子设备上传的数据信息进行构建，并根据该需要显示的电子设备自身的位置及姿态信息重新进行渲染生成，即该需要显示的电子设备不同的位置及姿态信息，对应渲染不同的第一虚拟内容。

在一些实施例中，当远程会话中的电子设备较多时，第一虚拟内容可能仅包含部分其他电子设备对应的虚拟对象。因此，服务器可实时获取电子设备的位置及姿态信息，以根据电子设备的位置及姿态信息，对应显示第一虚拟内容。这样，虽然用户通过佩戴的头戴显示装置，仅能看到显示在当前视野内的部分虚拟对象，但是用户可通过转动头部来改变头戴显示装置的位置及姿态信息，以看到远程会话中的所有其他用户的电子设备对应的虚拟对象。例如，请参阅图5，在远程会议场景下，P2用户为真实世界中的参会人员，P2用户通过佩戴的头戴显示装置，在该姿态及位置下，可以看见的虚拟参会人员为P5用户、P6用户、P7用户对应的虚拟对象，以及P1用户对应的部分虚拟对象，当P2用户向左转动头部时，也可以看见P0用户等其他用户。

在一些实施例中，可以通过第一电子设备在显示第一虚拟内容时采集第一用户数据，从而获取到该第一电子设备对应的第一用户数据。其中，第一电子设备可指的是向其他电子设备发起交互行为的电子设备，第一用户数据可以是第一电子设备对应的用户的动作数据，可以通过实时采集用户的动作图像，并基于该动作图像确定动作数据。第一用户数据也可以是声音数据，则可以是第一电子设备通过传感器阵列或麦克风的收音装置进行采集，也可以是通过外置的信息采集装置进行采集。其中，传感器阵列包括声音传感器，第一用户数据还可以是用户分享的文件数据等，在此不做限定。

作为一种方式，第一电子设备可以在采集到第一用户数据后，将第一用户数据上传至服务器，并由服务器进行存储。

步骤S120：将第一用户数据发送至远程会话中的一个或多个第二电子设备。

在一些实施方式中，可以由第一电子设备将采集到的第一用户数据发送至远程会话中的一个或多个第二电子设备，其中，第二电子设备可指的是接收第一电子设备发起的交互行为的电子设备，第二电子设备可以是远程会话中与第一电子设备处于不同环境的电子设备，例如图5中，第一电子设备可以是参会人员P2用户对应的电子设备，第二电子设备则可以是虚拟参会人员P5用户、P6用户、P7用户对应的电子设备，若第一用户数据为采集到的P2用户发出的握手动作图像，P2用户对应的第一电子设备则可以将该握手动作图像发送至P5用户、P6用户、P7用户中一个或多个对应的第二电子设备。

进一步地，第一电子设备可以将采集到的第一用户数据上传至服务器，由服务器将第一用户数据发送至远程会话中的一个或多个第二电子设备。

步骤S130：接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成。

在一些实施方式中，第二电子设备接收到第一用户数据后，可以响应第一用户数据生成第二用户数据，其中，第二用户数据可以是第二电子设备对应的用户在接收到第一用户数据后，反馈的相对应的动作数据，例如，如图5所示的远程会话场景，用户P2可以做出“握手”的动作，由用户P2对应的第一电子设备采集用户P2“握手”的动作图像，并将该“握手”的动作图像发送给用户P5对应的第二电子设备，用户P5可以根据其对应的第二电子设备接收到的“握手”的动作图像反馈同样的“握手”动作，即第二用户数据，第二电子设备则可以将第二用户数据发送至第一电子设备或服务器上。

步骤S140：根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。

在一些实施方式中，第一电子设备可以根据获取的第一用户数据以及接收到的第二用户数据生成相应的第二虚拟内容，其中，第二虚拟内容可以包括第一用户数据对应的虚拟图像以及第二用户数据对应的虚拟图像，例如，如图5所示的远程会话场景，用户P2可以做出“握手”的动作，由用户P2对应的第一电子设备采集用户P2“握手”的动作图像，并将该“握手”的动作图像发送给用户P5对应的第二电子设备，用户P5可以根据其对应的第二电子设备接收到的“握手”的动作图像反馈同样的“握手”动作，即第二用户数据，则第一电子设备可以根据第一用户数据和第二用户数据生成第二虚拟内容，第二虚拟内容可以包括用户P2的手的虚拟图像以及用户P5的手的虚拟图像。

在一些实施方式中，第二虚拟内容也可以是根据第一用户数据和第二用户数据生成的虚拟交互图像，例如，第一用户向第二用户做出“举杯”动作，第二用户响应第一用户的“举杯”动作，也做出“举杯”动作，当第一电子设备获取到第二用户响应的“举杯”动作时，可生成“碰杯”的第二虚拟内容。

进一步地，第一电子设备还可以将第一虚拟内容更新为第二虚拟内容，例如，上述用户P2对应的第一电子设备显示的第一虚拟内容可以是该远程会话场景的虚拟图像，则可以将该第一虚拟内容更新为上述第二虚拟内容，即可以在用户P2对应的第一电子设备上显示包括用户P2的手的虚拟图像以及用户P5的手进行“握手”动作的虚拟图像。

在一些实施例中，还可以由服务器根据第一用户数据和第二用户数据生成第二虚拟内容，并将第一虚拟内容更新为第二虚拟内容。

上述实施例提供的虚拟内容的生成方法，获取远程会中的第一电子设备对应的第一用户数据，该第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据，将第一用户数据发送至远程会话中的一个或多个第二电子设备，接收一个或多个第二电子设备对应的第二用户数据，该第二用户数据为一个或多个第二电子设备响应第一用户数据生成，根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。本申请通过第一电子设备请求第二电子设备基于第一用户数据做出响应，并基于双方的用户进行的交互生成对应的虚拟内容，提升了远程交互效果，并提高了远程交互中的真实感及沉浸感。

请参阅图6，图6示出了本申请另一实施例提供的虚拟内容的生成方法的流程示意图。下面将针对图6所示的实施例进行详细的阐述，方法具体可以包括以下步骤：

步骤S210：获取远程会话中的第一电子设备对应的第一用户数据，第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据。

其中，步骤S210的具体描述请参阅步骤S110，在此不再赘述。

步骤S220：提取第一用户数据中的指向数据。

在一些实施方式中，第一电子设备可以从采集到的第一用户数据中提取到对应的指向数据，其中，第一用户数据包括动作数据，指向数据可以用于表示用户动作所对应的方向信息，根据该指向数据可以确定第一电子设备需要进行交互的第二电子设备。该指向数据可通过动作图像进行提取，第一电子设备可对动作图像进行分析，得到用户的动作姿态，以得到对应的方向信息；指向数据也可以通过采集用户的眼球注视方向获取，可采用户的眼睛图像，分析眼睛图像得到注视方向，该注视方向可作为动作对应的方向信息；指向数据还可以通过第一用户数据中包含的声音数据提取，可分析声音数据，得到带有指向性的语句，例如分析声音数据得到其他用户的身份信息等，以确定用户动作所对应的方向信息。指向数据的获取方式在此不做限定。

步骤S230：基于指向数据确定至少一个第二电子设备。

在一些实施方式中，基于指向数据可以确定用户想要进行交互的其他用户，第一电子设备则可以通过解析指向数据从而从其他电子设备中确定第二电子设备，该第二电子设备即为第一电子设备需要进行交互的电子设备。

步骤S240：将第一用户数据发送至至少一个第二电子设备。

在一些实施方式中，可以根据指向数据将第一用户数据发送给目标用户对应的第二电子设备。例如，请参阅图5，用户P2想要与用户P5握手，则可以通过用户P2对应的第一电子设备采集用户P2的第一用户数据，即握手的动作图像，并进一步根据该动作图像提取出指向数据，即握手的方向，根据握手的方向指向用户P5则可以从多个用户中确定用户P2想要与用户P5进行握手的操作，于是可以将用户P2握手的动作图像发送给用户P5对应的第二电子设备，以使用户P5做出响应。

步骤S250：接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成。

步骤S260：根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。

其中，步骤S250-步骤S260的具体描述请参阅步骤S130-步骤S140，在此不再赘述。

上述实施例提供的虚拟内容的生成方法，获取远程会话中的第一电子设备对应的第一用户数据，基于该指向数据确定至少一个第二电子设备，将第一用户数据发送至至少一个第二电子设备，从而通过从第一用户数据中提取到指向数据，确定用户想要进行交互的目标用户，并将第一用户数据发送给该目标用户对应的第二电子设备，使得用户能够更准确的与目标用户进行交互，而不是将用户数据发送给不相关的用户，提高交互效率。

请参阅图7，图7示出了本申请又一实施例提供的虚拟内容的生成方法的流程示意图。下面针对图7所示的实施例进行详细的阐述，方法具体可以包括以下步骤：

步骤S310：获取远程会话中的第一电子设备对应的第一用户数据，第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据。

步骤S320：将第一用户数据发送至远程会话中的一个或多个第二电子设备。

步骤S330：接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成。

其中，步骤S310-步骤S330的具体描述请参阅步骤S110-步骤S130，在此不再赘述。

步骤S340：将第一用户数据和第二用户数据进行匹配，获得匹配结果。

在一些实施方式中，第一电子设备可以将第一用户数据与第二用户数据进行匹配，从而获得匹配结果，当用户数据包括动作图像时，则可以利用图像识别技术分别识别出第一用户数据、第二用户数据对应的动作，将第一用户数据对应的动作与第二用户数据对应的动作进行匹配，从而得到匹配结果。其中，若第一用户数据对应的动作与第二用户数据对应的动作相互呼应，则可以说明第一用户数据与第二用户数据匹配。例如，如图5所示的远程会话场景，用户P2可以做出“干杯”的动作，由用户P2对应的第一电子设备将该“干杯”的动作图像发送给用户P5对应的第二电子设备，用户P5做出“干杯”的动作，即第二用户数据，第一电子设备则可以将第一用户数据与第二用户数据进行匹配，可以看出，第一用户数据与第二用户数据同为“干杯”的动作，则可以说明用户P2对应的第一用户数据与用户P5对应的第二用户数据匹配。

在一些实施例中，当用户数据包括音频数据时，可以分别提取第一用户数据、第二用户数据的音频数据做语义分析，判断第二用户数据的语义是否与第一用户数据的语义相互呼应，其中，若第一用户数据的语义与第二用户数据的语义相互呼应，则可以说明第一用户数据与第二用户数据匹配，例如，第一用户数据为音频“你好”，第二用户数据也为音频“你好”，则可以说第一用户数据与第二用户数据匹配。进一步地，判断匹配还可以通过判断是否符合预先设置的对话模板，例如，第一用户数据为音频“你好”，预先设置的对话模板可以是接收到“你好”后，可以回应“你好”、“见到你很高兴”、“hello”等，若第二用户数据为音频“hello”，也可以说明第一用户数据与第二用户数据匹配。

在一些实施例中，也可以由服务器将第一用户数据和第二用户数据进行匹配，得到匹配结果。

步骤S350：基于匹配结果、第一用户数据以及第二用户数据，生成第二虚拟内容。

在一些实施方式中，第一电子设备可以基于匹配结果、第一用户数据以及第二用户数据，生成第二虚拟内容。当匹配结果表示第一用户数据与第二用户数据匹配时，第二虚拟内容可以包括第一用户数据对应的虚拟图像以及第二用户数据对应的虚拟图像，当匹配结果表示第一用户数据与第二用户数据不匹配时，第二虚拟内容则可以包括显示不匹配的结果。例如，如图5所示的远程会话场景，用户P2可以做出“干杯”的动作，由用户P2对应的第一电子设备将该“干杯”的动作图像发送给用户P5对应的第二电子设备，若用户P5做出“握手”的动作，与用户P2“干杯”的动作不匹配，则第二虚拟内容可以包括向用户P2提示用户P5的动作与其不匹配的提示内容。

在一些实施例中，也可以由服务器基于匹配结果、第一用户数据以及第二用户数据，生成第二虚拟内容。

请参阅图8，图8示出了本申请的图7所示的实施例提供的虚拟内容的生成方法的步骤S350的流程示意图。下面将针对图8所示的流程进行详细的阐述，方法具体可以包括以下步骤：

步骤S351：当匹配结果为匹配成功时，基于第一用户数据和第二用户数据获取交互信息。

在一些实施方式中，当匹配结果为匹配成功时，第一电子设备可以基于第一用户数据和第二用户数据获取交互信息。其中，交互信息可以包括第一电子设备和第二电子设备之间进行的交互内容、交互方式等。

步骤S352：根据交互信息生成第二虚拟内容和与第二虚拟内容对应的虚拟音效。

在一些实施方式中，第一电子设备可以根据交互信息获取相应的模型数据及音频数据，以根据模型数据及音频数据生成第二虚拟内容和与第二虚拟内容对应的虚拟音效。例如，如图5所示的远程会话场景，用户P2可以做出“干杯”的动作，由用户P2对应的第一电子设备将该“干杯”的动作图像发送给用户P5对应的第二电子设备，若用户P5同样做出“干杯”的动作，即第二用户数据，则可以得出第一用户数据与第二用户数据匹配成功，则可以生成包括用户P2与用户P5“碰杯”的虚拟图像的第二虚拟内容，同时还可以生成与第二虚拟内容对应的碰杯的音效。

在一些实施例中，也可以由服务器根据交互信息生成第二虚拟内容和与第二虚拟内容对应的虚拟音效。

上述实施例提供的虚拟内容的生成方法，将第一用户数据和第二用户数据进行匹配，获得匹配结果，基于匹配结果、第一用户数据以及第二用户数据，生成第二虚拟内容。从而通过将第一用户数据与第二用户数据进行匹配，并基于匹配结果生成第二虚拟内容，提升远程交互的效果。

请参阅图9，图9示出了本申请再一实施例提供的虚拟内容的生成方法的流程示意图。下面针对图9所示的实施例进行详细的阐述，第一用户数据包括行为数据和分享数据，方法具体可以包括以下步骤：

步骤S410：获取远程会话中的第一电子设备对应的第一用户数据，第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据。

其中，步骤S410的具体描述请参阅步骤S110，在此不再赘述。

步骤S420：根据行为数据确定行为动作。

在一些实施方式中，第一用户数据可以包括行为数据和分享数据，其中，行为数据可以包括通过采集的用户的动作图像，也可以包括语音数据，在此不做限定。电子设备可以根据分析行为数据从而确定行为动作，行为数据包括动作图像时，则可以通过图像识别技术，分析动作图像中所包含的动作，从而确定该动作图像对应的行为动作。

进一步地，也可以由服务器根据行为数据确定行为动作。

步骤S430：当行为动作满足预设分享动作时，将分享数据发送至一个或多个第二电子设备。

在一些实施方式中，当处于远程会话中时，第一电子设备可以向第二电子设备分享数据，第一电子设备可以根据行为数据确定行为动作，将行为动作与预设分享动作进行匹配，其中，预设分享动作可以是用户、远程会话系统、服务器预先设置的，当该行为动作满足预设分享动作，则可以将分享数据发送至一个或多个第二电子设备。例如，请再次参阅图5，当用户P2想分享会议资料给用户P5时，可以选择想要分享的资料并做出“投掷”的动作，P2用户对应的第一电子设备可以采集P2用户的动作图像和分享数据，在根据动作图像确定行为动作为“投掷”时，可以将该动作数据与预设分享动作进行匹配，当预设分享动作为“投掷”时，则用户P2的行为动作满足预设分享动作，则可以基于该行为动作将分享的会议资料发送至相应的其他用户。

上述实施例提供的虚拟内容的生成方法，获取远程会话中的第一电子设备对应的第一用户数据，该第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据，根据行为数据确定行为动作，当该行为动作满足预设分享动作时，将分享数据发送至一个或多个第二电子设备。从而基于用户的行为动作等将数据分享给其他用户，增强了文件分享的便利性与趣味性。

请参阅图10，图10示出了本申请又再一实施例提供的虚拟内容的生成方法的流程示意图。下面针对图10所示的实施例进行详细的阐述，方法具体可以包括以下步骤：

步骤S510：获取远程会话中的第一电子设备对应的第一用户数据和标识信息，标识信息用于标识第一电子设备。

在一些实施方式中，第一电子设备在采集到第一用户数据后，也可以获取其对应的标识信息，其中，标识信息用于标识该第一电子设备，标识信息可以是该第一电子设备的设备ID(IDentity，身份标识)，也可以是第一电子设备对应的用户的用户ID，在此不做限定。

在一些实施例中，第一电子设备可以将采集到的第一用户数据和标识信息上传至服务器，并由服务器进行存储。

步骤S520：将第一用户数据和标识信息发送至一个或多个第二电子设备，标识信息用于指示一个或多个第二电子设备判断是否响应第一用户数据。

在一些实施方式中，第一电子设备可以将第一用户数据和标识信息发送至一个或多个第二电子设备，第二电子设备在接收到标识信息后，可以根据标识信息确定第一电子设备或第一电子设备对应的用户，从而判断是否响应第一用户数据，或者可以由第二电子设备对应的用户选择是否响应第一用户数据。

作为一种方式，第一电子设备将第一用户数据和标识信息上传至服务器后，可以由服务器将该第一用户数据和标识信息发送至一个或多个第二电子设备。

步骤S530：接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成。

步骤S540：根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。

其中，步骤S530-步骤S540的具体描述请参阅步骤S130-步骤S140，在此不再赘述。

上述实施例提供的虚拟内容的生成方法，获取远程会话中的第一电子设备对应的第一用户数据和标识信息，标识信息用于标识第一电子设备，将第一用户数据和标识信息发送至一个或多个第二电子设备，标识信息用于指示一个或多个第二电子设备判断是否响应第一用户数据，接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成，根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。从而通过将标识信息发送给第二电子设备，以使第二电子设备可以基于标识信息确定交互发起者的身份，从而确定是否对交互进行响应，提升了交互双方的交互体验。

请参阅图11，图11示出了本申请实施例提供的虚拟内容的生成装置600的模块框图。下面将针对图11所示的框图进行阐述，虚拟内容的生成装置600包括：第一用户数据获取模块610、数据发送模块620、第二用户数据接收模块630以及内容生成模块640，其中：

第一用户数据获取模块610，用于获取远程会话中的第一电子设备对应的第一用户数据，第一用户数据为第一电子设备在显示第一虚拟内容时，采集的第一电子设备对应的用户数据。

在一些实施例中，第一用户数据获取模块610可以包括：获取子模块，其中：

获取子模块，用于获取远程会话中的第一电子设备对应的第一用户数据和标识信息，标识信息用于标识第一电子设备。

数据发送模块620，用于将第一用户数据发送至远程会话中的一个或多个第二电子设备。

在一些实施例中，数据发送模块620也可以包括：提取子模块、确定子模块以及第一发送子模块，其中：

提取子模块，用于提取第一用户数据中的指向数据。

确定子模块，用于基于指向数据从一个或多个第二电子设备中确定至少一个目标第二电子设备。

第一发送子模块，用于将第一用户数据发送至至少一个目标第二电子设备。

在一些实施例中，第一用户数据包括行为数据和分享数据，数据发送模块620还可以包括：行为动作确定子模块以及第二发送子模块，其中：

行为动作确定子模块，用于根据行为数据确定行为动作。

第二发送子模块，用于当行为动作满足预设分享动作时，将分享数据发送至一个或多个第二电子设备。

在一些实施例中，数据发送模块620还可以包括：第三发送子模块，其中：

第三发送子模块，用于将第一用户数据和标识信息发送至一个或多个第二电子设备，标识信息用于指示一个或多个第二电子设备判断是否响应第一用户数据。

第二用户数据接收模块630，用于接收一个或多个第二电子设备对应的第二用户数据，第二用户数据为一个或多个第二电子设备响应第一用户数据生成。

内容生成模块640，用于根据第一用户数据和第二用户数据生成第二虚拟内容，将第一虚拟内容更新为第二虚拟内容。

在一些实施例中，内容生成模块540也可以包括：匹配子模块以及内容生成子模块，其中：

匹配子模块，用于将第一用户数据和第二用户数据进行匹配，获得匹配结果。

内容生成子模块，用于基于匹配结果、第一用户数据以及第二用户数据，生成第二虚拟内容。

进一步地，内容生成子模块还包括：交互信息获取单元以及内容生成单元，其中：

交互信息获取单元，用于当匹配结果为匹配成功时，基于第一用户数据和第二用户数据获取交互信息。

内容生成单元，用于根据交互信息生成第二虚拟内容和与第二虚拟内容对应的虚拟音效。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本申请实施例还提供了一种虚拟内容的生成系统，该系统包括远程会话中的第一电子设备、一个或多个第二电子设备以及服务器，其中：

第一电子设备，用于在显示第一虚拟内容时，采集第一电子设备对应的第一用户数据。

服务器，用于接收第一电子设备对应的第一用户数据。

服务器，用于将第一用户数据发送至一个或多个第二电子设备。

一个或多个第二电子设备，用于响应第一用户数据并生成第二用户数据。

服务器，用于接收一个或多个第二电子设备对应的第二用户数据。

服务器，用于根据第一用户数据和第二用户数据生成第二虚拟内容并发送至第一电子设备。

第一电子设备，用于将第一虚拟内容更新为第二虚拟内容。

请参考图12，其示出了本申请实施例提供的一种电子设备的结构框图，电子设备100可以包括一个或多个如下部件：处理器110、存储器120、图像传感器130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据等。

在本申请实施例中，图像传感器130用于采集现实物体的图像以及采集目标场景的场景图像。图像传感器130可以为红外相机，也可以是可见光相机，具体类型在本申请实施例中并不作为限定。

在一个实施例中，电子设备为头戴显示装置，除了包括上述的处理器、存储器及图像传感器外，还可包括如下一个或多个部件：显示模组、光学模组、通信模块以及电源。

显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像，然后将该显示图像显示并投射至光学模组上，使用户能够通过光学模组观看到虚拟内容。其中，显示装置可以是显示屏或投射装置等，可用于显示图像。

光学模组可采用离轴光学系统或波导光学系统，显示装置显示的显示图像经光学模组后，能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中，用户还能够透过光学模组观察到现实环境，感受虚拟内容与现实环境叠加后的增强现实效果。

通信模块可以是蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等模块，头戴显示装置可通过通信模块与电子设备建立通信连接。与电子设备通信连接的头戴显示装置，可以与电子设备进行信息以及指令的交互。例如，头戴显示装置可以通过通信模块接收电子设备的发送的图像数据，根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。

电源可为整个头戴显示装置进行供电，保证头戴显示装置各个部件的正常运行。

请参考图13，其示出了本申请实施例提供的一种服务器的结构框图。该服务器200可以为云服务器、本地服务器等，服务器200可以包括一个或多个如下部件：处理器210、存储器220以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

请参考图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟内容的生成方法，其特征在于，所述方法包括：

获取远程会话中的第一电子设备对应的第一用户数据，所述第一用户数据为所述第一电子设备在显示第一虚拟内容时，采集的所述第一电子设备对应的用户数据；

将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备；

接收所述一个或多个第二电子设备对应的第二用户数据，所述第二用户数据为所述一个或多个第二电子设备响应所述第一用户数据生成；

根据所述第一用户数据和所述第二用户数据生成第二虚拟内容，将所述第一虚拟内容更新为所述第二虚拟内容。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备，包括：

提取所述第一用户数据中的指向数据；

基于所述指向数据确定至少一个第二电子设备；

将所述第一用户数据发送至所述至少一个第二电子设备。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一用户数据和所述第二用户数据生成第二虚拟内容，包括：

将所述第一用户数据和所述第二用户数据进行匹配，获得匹配结果；

基于所述匹配结果、所述第一用户数据以及所述第二用户数据，生成第二虚拟内容。

4.根据权利要求3所述的方法，其特征在于，所述基于所述匹配结果、所述第一用户数据以及所述第二用户数据，生成第二虚拟内容，包括：

当所述匹配结果为匹配成功时，基于所述第一用户数据和所述第二用户数据获取交互信息；

根据所述交互信息生成第二虚拟内容和与所述第二虚拟内容对应的虚拟音效。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一用户数据包括行为数据和分享数据，所述将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备，包括：

根据所述行为数据确定行为动作；

当所述行为动作满足预设分享动作时，将所述分享数据发送至所述一个或多个第二电子设备。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述获取远程会话中的第一电子设备对应的第一用户数据，包括：

获取远程会话中的第一电子设备对应的第一用户数据和标识信息，所述标识信息用于标识所述第一电子设备；

所述将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备，包括：

将所述第一用户数据和所述标识信息发送至所述一个或多个第二电子设备，所述标识信息用于指示所述一个或多个第二电子设备判断是否响应所述第一用户数据。

7.一种虚拟内容的生成装置，其特征在于，所述装置包括：

第一用户数据获取模块，用于获取远程会话中的第一电子设备对应的第一用户数据，所述第一用户数据为所述第一电子设备在显示第一虚拟内容时，采集的所述第一电子设备对应的用户数据；

数据发送模块，用于将所述第一用户数据发送至所述远程会话中的一个或多个第二电子设备；

第二用户数据接收模块，用于接收所述一个或多个第二电子设备对应的第二用户数据，所述第二用户数据为所述一个或多个第二电子设备响应所述第一用户数据生成；

内容生成模块，用于根据所述第一用户数据和所述第二用户数据生成第二虚拟内容，将所述第一虚拟内容更新为所述第二虚拟内容。

8.一种虚拟内容的生成系统，其特征在于，所述系统包括远程会话中的第一电子设备、一个或多个第二电子设备以及服务器，其中：

所述第一电子设备，用于在显示第一虚拟内容时，采集所述第一电子设备对应的第一用户数据；

所述服务器，用于接收所述第一电子设备对应的第一用户数据；

所述服务器，用于将所述第一用户数据发送至所述一个或多个第二电子设备；

所述一个或多个第二电子设备，用于响应所述第一用户数据并生成第二用户数据；

所述服务器，用于接收所述一个或多个第二电子设备对应的第二用户数据；

所述服务器，用于根据所述第一用户数据和所述第二用户数据生成第二虚拟内容并发送至所述第一电子设备；

所述第一电子设备，用于将所述第一虚拟内容更新为所述第二虚拟内容。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。