CN117014482A - 虚实交互方法、装置、终端设备以及存储介质 - Google Patents

Abstract

本发明公开了一种虚实交互方法、装置、终端设备以及存储介质，通过在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。通过在虚拟应用场景中由虚拟人物发起与现实用户的交互，实现了虚拟场景向现实场景发起交互请求，打通虚实场景，形成了虚实交互新模式，提高了虚拟现实交互的灵活性，同时增强了用户交互的趣味性。

Description

虚实交互方法、装置、终端设备以及存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种虚实交互方法、装置、终端设备以及存储介质。

背景技术

目前的虚拟场景社交是一种可以在虚拟世界场景中通过虚拟人物之间进行交互实现现实人物之间交互的方式，但相关技术中的虚拟场景社交，都需要社交双方用户登录应用内才能发起后续的交互流程，导致虚拟交互模式单一。

因此，有必要提出一种提高虚拟现实交互灵活性的解决方案。

发明内容

本发明的主要目的在于提供一种虚实交互方法、装置、终端设备以及存储介质，旨在提高虚拟现实交互的灵活性。

为实现上述目的，本发明提供一种虚实交互方法，所述虚实交互方法包括：

在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

可选地，所述在虚拟应用场景中通过虚拟人物对现实用户发起交互请求的步骤包括：

获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份，以供所述终端用户通过所述虚拟人物对所述现实用户发起交互请求；或

获取触发事件，并基于所述触发事件在所述虚拟应用场景中通过所述虚拟人物对所述现实用户发起交互请求。

可选地，所述获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份的步骤之前还包括：

获取所述终端用户的登录信息；

根据所述登录信息识别用户配置等级，并根据所述用户配置等级建立所述终端用户与媒体网络之间的物理链路，以用于获取所述终端用户的操作请求。

可选地，所述在虚拟应用场景中通过虚拟人物对现实用户发起交互请求的步骤之后还包括：

判断所述现实用户的连接状态是否为长连接；

若所述现实用户的连接状态为长连接，则获取所述现实用户的媒体网络信息，并将所述现实用户的媒体网络信息传输至所述虚拟人物；

若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路。

可选地，所述若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路的步骤之后还包括：

判断所述现实用户是否接受所述交互请求；

若所述现实用户未接受所述交互请求，则销毁所述现实用户与所述媒体网络之间的物理链路。

可选地，所述基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互的步骤包括：

基于所述交互请求建立互动连接，以用于所述虚拟人物与所述现实用户之间的媒体数据传输；

通过虚拟设备对所述虚拟应用场景的环境内容进行采集，得到采集内容；

将所述采集内容通过所述互动连接传输至所述现实用户对应的现实用户终端，以供所述现实用户终端对所述采集内容进行渲染呈现。

可选地，所述基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互的步骤之后还包括：

判断所述虚拟人物与所述现实用户之间的交互是否结束；

若所述虚拟人物与所述现实用户之间的交互结束，则判断所述现实用户对应的服务级别协议保障是否为长连接；

若所述现实用户对应的服务级别协议保障不是长连接，则销毁所述现实用户与所述媒体网络之间的物理链路；

若所述现实用户对应的服务级别协议保障是长连接，则保留所述现实用户与所述媒体网络之间的物理链路，并停止所述虚拟人物与所述现实用户之间的媒体数据传输。

此外，为实现上述目的，本发明还提供一种虚实交互装置，所述虚实交互装置包括：

发起模块，用于在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

交互模块，用于基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚实交互程序，所述虚实交互程序被所述处理器执行时实现如上所述的虚实交互方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有虚实交互程序，所述虚实交互程序被处理器执行时实现如上所述的虚实交互方法的步骤。

本发明实施例提出的一种虚实交互方法、装置、终端设备以及存储介质，通过在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。通过在虚拟应用场景中由虚拟人物发起与现实用户的交互，实现了虚拟场景向现实场景发起交互请求，打通虚实场景，形成了虚实交互新模式，提高了虚拟现实交互的灵活性，同时增强了用户交互的趣味性。

附图说明

图1为本发明虚实交互装置所属终端设备的功能模块示意图；

图2为本发明虚实交互方法第一示例性实施例的流程示意图；

图3为图2实施例中步骤S10的第一具体流程示意图；

图4为图2实施例中步骤S10的第二具体流程示意图；

图5为本发明虚实交互方法第二示例性实施例的流程示意图；

图6为本发明虚实交互方法第三示例性实施例的流程示意图；

图7为本发明虚实交互方法第四示例性实施例的流程示意图；

图8为图2实施例中步骤S20的具体流程示意图；

图9为本发明虚实交互方法第五示例性实施例的流程示意图；

图10为本发明实施例中整体场景示意图；

图11为本发明实施例中场景功能模块划分示意图；

图12为本发明实施例中用户主动发起任务通知交互请求示意图；

图13为本发明实施例中虚拟人发起任务通知示意图；

图14为本发明实施例中用户主动发起任务通知交互请求的流程示意图；

图15为本发明实施例中虚拟人发起任务通知的流程示意图；

图16为本发明实施例中用户主动发起任务通知交互请求的实施时序示意图；

图17为本发明实施例中虚拟人发起任务通知的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：通过在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。通过在虚拟应用场景中由虚拟人物发起与现实用户的交互，实现了虚拟场景向现实场景发起交互请求，打通虚实场景，形成了虚实交互新模式，提高了虚拟现实交互的灵活性，同时增强了用户交互的趣味性。

相关技术中，对用户进行任务通知的方法主要包括短信通知方法、软件APP推送通知方法以及用户主动通知方法。其中，短信通知方法经由传统短信触点，实现信息通知或5G消息的任务通知，由用户的终端手机接收通知信息，一般由通告者运营者配置或主动调用实现任务信息的下发，形式一般为文字、图片或视频等媒体内容；软件APP推送通知方法，安卓手机通过后台进展接收服务器端的任务通知，iOS系统通过统一APNs服务实现应用任务通知，但是传统的软件通知一般为文字通知；用户主动通知方法，如传统的语音电话、视频电话等，一些办公/社交软件也融合了拨打电话或发起视频会议的功能，同时随着终端、服务端AI和虚拟建模技术的发展，在视频类互动过程中可以使用虚拟数字形象，或者用户通过登录至应用虚拟场景内进行社交，实现现实用户与虚拟数字人的交互、虚拟数字人与虚拟数字人之间的交互。

然而，短信或软件APP推送通知，一般是异步方式，用户收到的内容以文字、图片或视频为主，形式较为单一，无法承载实时交互；当前的实时通知方式，主要以语音电话或视频电话为主，但是对于语音电话而言，现实用户或者虚拟客服只能传递语音，缺少了视觉交互；对于视频通话而言，当前技术方案中，都依赖现实用户通过设备采集当前现实场景，通过终端侧或服务端AI和虚拟建模组件进行处理，达到实时互动的效果，但是都需基于现实场景采集，缺少通过虚拟场景中的虚拟设备，完成虚拟场景和现实场景混合交互的实施方案。并且当前的虚拟场景社交，都需要社交双方用户登录应用内才能发起后续的交互流程，缺少从虚拟场景虚拟人物唤起对现实场景用户交互请求的方案，或者现实场景用户通过虚拟场景中的数字人发起对好友交互请求的方案。

本发明提供一种解决方案，主要涉及虚拟人物被动通知和用户主动通知两种交互模式，通过用户等级制的媒体转发网络，实现终端应用内或通话服务拓展启动两种虚实交互唤起模式。

具体地，参照图1，图1为本发明虚实交互装置所属终端设备的功能模块示意图。该虚实交互装置可以为独立于终端设备的、能够进行虚实交互的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。

在本实施例中，该虚实交互装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及虚实交互程序，虚实交互装置可以将在虚拟应用场景中通过虚拟人物对现实用户发起的交互请求等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的虚实交互程序被处理器执行时实现以下步骤：

在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

进一步地，存储器130中的虚实交互程序被处理器执行时还实现以下步骤：

获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份，以供所述终端用户通过所述虚拟人物对所述现实用户发起交互请求；或

获取触发事件，并基于所述触发事件在所述虚拟应用场景中通过所述虚拟人物对所述现实用户发起交互请求。

进一步地，存储器130中的虚实交互程序被处理器执行时还实现以下步骤：

获取所述终端用户的登录信息；

根据所述登录信息识别用户配置等级，并根据所述用户配置等级建立所述终端用户与媒体网络之间的物理链路，以用于获取所述终端用户的操作请求。

进一步地，存储器130中的虚实交互程序被处理器执行时还实现以下步骤：

判断所述现实用户的连接状态是否为长连接；

若所述现实用户的连接状态为长连接，则获取所述现实用户的媒体网络信息，并将所述现实用户的媒体网络信息传输至所述虚拟人物；

若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路。

进一步地，存储器130中的虚实交互程序被处理器执行时还实现以下步骤：

判断所述现实用户是否接受所述交互请求；

若所述现实用户未接受所述交互请求，则销毁所述现实用户与所述媒体网络之间的物理链路。

进一步地，存储器130中的虚实交互程序被处理器执行时还实现以下步骤：

基于所述交互请求建立互动连接，以用于所述虚拟人物与所述现实用户之间的媒体数据传输；

通过虚拟设备对所述虚拟应用场景的环境内容进行采集，得到采集内容；

将所述采集内容通过所述互动连接传输至所述现实用户对应的现实用户终端，以供所述现实用户终端对所述采集内容进行渲染呈现。

进一步地，存储器130中的虚实交互程序被处理器执行时还实现以下步骤：

判断所述虚拟人物与所述现实用户之间的交互是否结束；

若所述虚拟人物与所述现实用户之间的交互结束，则判断所述现实用户对应的服务级别协议保障是否为长连接；

若所述现实用户对应的服务级别协议保障不是长连接，则销毁所述现实用户与所述媒体网络之间的物理链路；

若所述现实用户对应的服务级别协议保障是长连接，则保留所述现实用户与所述媒体网络之间的物理链路，并停止所述虚拟人物与所述现实用户之间的媒体数据传输。

本实施例通过上述方案，具体通过在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。通过在虚拟应用场景中由虚拟人物发起与现实用户的交互，实现了虚拟场景向现实场景发起交互请求，打通虚实场景，形成了虚实交互新模式，提高了虚拟现实交互的灵活性，同时增强了用户交互的趣味性。

基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。

本实施例方法的执行主体可以为一种虚实交互装置或终端设备等，本实施例以虚实交互装置进行举例。

参照图2，图2为本发明虚实交互方法第一示例性实施例的流程示意图。所述虚实交互方法包括：

步骤S10，在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

具体地，虚拟应用场景中的虚拟人物可以是应用本身设置的NPC非玩家角色、智能客服等角色，也可以是用户在虚拟社交场景中的数字化身，能够执行虚拟场景中的社交、娱乐等活动，完成对现实用户的主动任务互动请求。在虚拟人物是终端用户的数字身份的模式下，在虚拟人物对现实用户发起交互请求之前，终端用户需要通过终端设备登入应用，由应用通过终端设备根据用户配置等级发送链路建连指令，并在媒体网络中实例化对应物理链路，进而用户可以通过现实终端接入虚拟应用场景，并以用户身份对应的虚拟人物进行活动，进而基于对应的虚拟人物向现实用户发起交互请求。在虚拟人物是应用本身设置的NPC或智能客服等角色的模式下，虚拟人物可以根据触发事件等情况向现实用户发起交互请求。

步骤S20，基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

进一步地，当虚拟人物对现实用户发起交互请求后，还需根据被叫现实用户的用户等级，通过指令网络申请并实例化对应级别的物理传输链路。如果被叫的现实用户不接受交互请求，则发起响应指令销毁物理传输链路，释放资源；如果被叫的现实用户接受交互请求，则虚拟人物通过虚拟摄像头等虚拟设备进行拍摄采集，完成多虚拟视点的虚拟场景内容采集。基于交互请求建立互动连接，进而进行虚拟人物与现实用户之间的媒体数据传输，实现虚拟人物与现实用户之间的虚实交互。

更进一步地，当双方结束交互后，即可发起响应指令处理物理传输链路，释放资源，在此过程中，如果用户等级制SLA服务级别协议保障为长连接时，则不销毁物理传输链路，只停止媒体数据传输；如果用户等级SLA为短连接时，则销毁物理传输链路，后续需要交互时再重新建立连接。

在本实施例中，通过在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。通过在虚拟应用场景中由虚拟人物发起与现实用户的交互，实现了虚拟场景向现实场景发起交互请求，打通虚实场景，形成了虚实交互新模式，提高了虚拟现实交互的灵活性，同时增强了用户交互的趣味性。

参照图3与图4，图3与图4分别为图2实施例中步骤S10的第一具体流程示意图与第二具体流程示意图。本实施例基于上述图2所示的实施例，在本实施例中，上述步骤S10包括：

步骤S101，获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份，以供所述终端用户通过所述虚拟人物对所述现实用户发起交互请求；或

步骤S102，获取触发事件，并基于所述触发事件在所述虚拟应用场景中通过所述虚拟人物对所述现实用户发起交互请求。

本发明实施例中，可以采用两种模式实现对现实用户发起交互，一种是虚拟人物被动通知模式，另一种是用户主动通知模式，也即虚拟应用场景中的虚拟人物可以是应用本身设置的NPC非玩家角色、智能客服等角色，也可以是用户在虚拟社交场景中的数字化身，能够执行虚拟场景中的社交、娱乐等活动，完成对现实用户的主动任务互动请求。

具体地，在用户主动通知模式中，由发起用户通过手机、VR头盔或AR眼镜等终端登入虚拟场景应用，进而由应用通过终端，根据用户用户付费等实际情况对应的等级配置，发送链路建连指令，并在媒体网络中实例化对应的物理链路。在本发明实施例中，等级制配置对应不同级别的SLA保障，例如包括但不限于{带宽>10Mbps,时延<30ms,丢包率<1％，长连接保障等}，根据SLA等级，媒体网络对相应链路提供不同的QoS保障，同时，SLA配置可根据用户付费情况灵活调整，等级高的SLA保障付费较高，链路质量同样也会越高，反之亦然。用户可通过终端，操作虚拟人物，并以用户身份对应的虚拟人物进行活动，例如娱乐、发起互动请求等。在用户基于虚拟人物使用虚拟设备发起对现实用户的交互请求过程中，例如电话或视频等，可以在虚拟应用场景中实例化对应的虚拟屏幕、虚拟键盘等设备，以满足用户的交互输入。

类似地，在虚拟人物被动通知模式中，虚拟人物可以通过事件触发等模式，唤起对现实用户的交互请求，事件触发可作为虚拟人物发起通知的执行条件，可以是缴费提醒、余额通知以及各类任务通知等事件，虚拟人物唤起通知，如虚拟视频或语音通话请求，进而判断现实用户是否接受，如果现实用户接受，虚拟人物则可使用智能聊天机器人或检索式问答方法实现与现实用户的自动交流。此时，在被通知用户所在终端上，与普通虚拟人客户通话相比，本发明实施例中现实用户可以收到虚拟人物的视频图像，从而达到沉浸式虚实交互的目的。

本实施例通过上述方案，具体通过获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份，以供所述终端用户通过所述虚拟人物对所述现实用户发起交互请求；或获取触发事件，并基于所述触发事件在所述虚拟应用场景中通过所述虚拟人物对所述现实用户发起交互请求。实现虚拟人物被动通知和用户主动通知两种模式，相较于传统的短信、图片、视频等非实时通知方式，增加了通知交互的趣味性。相较于用户都登录到虚拟场景中才能进行社交的设计，实现虚拟场景向现实场景主动发起交互请求的方法，虚拟世界内虚拟人或用户数字人通过虚拟设备播放现实画面，现实设备可呈现虚拟场景内容，打通虚实场景，形成了虚实交互新玩法。

参照图5，图5为本发明虚实交互方法第二示例性实施例的流程示意图。基于上述图3所示的实施例，在本实施例中，在步骤S101之前，所述虚实交互方法还包括：

步骤S001，获取所述终端用户的登录信息；

终端用户通过终端设备接入应用后，用户向指令服务发起媒体网络的接入请求，并提供SLA保障请求。应用可对终端用户的登录信息进行识别，其中用户的登录信息包括但不限于用户身份、SLA保障等信息，根据用户的登录信息中的SLA保障可以判断用户等级制是否满足订购权益内容，进而确定是否进行物理传输链路的实例化。

步骤S002，根据所述登录信息识别用户配置等级，并根据所述用户配置等级建立所述终端用户与媒体网络之间的物理链路，以用于获取所述终端用户的操作请求。

获取到终端用户的登录信息后，根据登录信息可识别出用户的配置等级，如果SLA不满足权益内容，则直接终止；如果SLA满足权益内容，则将用户的信息传递至媒体网络，进行物理链路的实例化。例如，用户的指令请求内容为{JOIN，带宽>10Mbps,时延<30ms,丢包率<1％，长连接保障}，则由此建立用户与媒体网络之间的物理链路，由媒体网络将实例化后的接入传输地址返回给指令服务存储，并透传给终端用户。

本实施例通过上述方案，具体通过获取所述终端用户的登录信息；根据所述登录信息识别用户配置等级，并根据所述用户配置等级建立所述终端用户与媒体网络之间的物理链路，以用于获取所述终端用户的操作请求。通过用户的登录信息识别用户配置等级，从而建立相应的物理链路，配置等级可根据用户的实际情况灵活调整，可实现资源的充分调配。

参照图6，图6为本发明虚实交互方法第三示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在步骤S10之后，所述虚实交互方法还包括：

步骤S11，判断所述现实用户的连接状态是否为长连接；

具体地，当虚拟人物发起对现实用户的交互请求后，向指令服务发起传输指令，由指令服务判断现实用户的连接状态，即判断现实用户的连接状态是否为长连接，从而确定是否需要发起建连指令。

步骤S12，若所述现实用户的连接状态为长连接，则获取所述现实用户的媒体网络信息，并将所述现实用户的媒体网络信息传输至所述虚拟人物；

如果现实用户的连接状态是长连接，则可以直接获取该现实用户的媒体网络信息，进而将该现实用户的媒体网络信息发送给虚拟人物，实现虚拟人物与现实用户之间的信息交互。

步骤S13，若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路

如果现实用户的连接状态不是长连接，即现实用户目前处于无连接状态，则需要先每天网络发起建连指令，进而根据现实用户的配置等级建立现实用户与媒体网络之间的物理链路，用于进行现实用户与虚拟人物之间媒体信息的传输。

本实施例通过上述方案，具体通过判断所述现实用户的连接状态是否为长连接；若所述现实用户的连接状态为长连接，则获取所述现实用户的媒体网络信息，并将所述现实用户的媒体网络信息传输至所述虚拟人物；若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路。通过对现实用户的连接状态进行判断，确定是否需要重新建立物理链路，在现实用户为长连接状态，即保留了物理链路的情况下，避免了需要多长重新建立物理链路，节约时间成本，提高响应速度，从而提升了虚实交互的效率。

参照图7，图7为本发明虚实交互方法第四示例性实施例的流程示意图。基于上述图6所示的实施例，在本实施例中，在步骤S13之后，所述虚实交互方法还包括：

步骤S14，判断所述现实用户是否接受所述交互请求；

步骤S15，若所述现实用户未接受所述交互请求，则销毁所述现实用户与所述媒体网络之间的物理链路。

当虚拟人物向现实用户发起交互请求后，需判断现实用户是否接受该交互请求，如果现实用户没有接受该交互请求，则无需向现实用户发送媒体信息数据，在所述现实用户的配置等级不是长连接的情况下，也即该现实用户为短连接，则需要对建立的现实用户与媒体网络之间的物理链路进行销毁，从而释放资源，与此同时，虚拟人物可挂起交互任务，等待下次触发再重新发起交互请求。

本实施例通过上述方案，具体通过判断所述现实用户是否接受所述交互请求；若所述现实用户未接受所述交互请求，则销毁所述现实用户与所述媒体网络之间的物理链路。通过判断现实用户是否接受交互请求，确定是否对建立的物理链路进行销毁，实现对资源的灵活配置，避免资源浪费。

参照图8，图8为图2实施例中步骤S20的具体流程示意图。本实施例基于上述图2所示的实施例，在本实施例中，上述步骤S20包括：

步骤S201，基于所述交互请求建立互动连接，以用于所述虚拟人物与所述现实用户之间的媒体数据传输；

当现实用户接受虚拟人物的交互请求后，可以通过虚拟摄像头等虚拟设备，使虚拟人物与现实用户之间建立连接，开启实时对话，进行音频流与视频流等媒体数据的传输与交互。

步骤S202，通过虚拟设备对所述虚拟应用场景的环境内容进行采集，得到采集内容；

在终端用户主动发起请求的场景下，终端用户可以通过虚拟设备的虚拟拍摄采集，完成多虚拟视点的虚拟场景内容采集。以N个虚拟视点采集设备为例，N个采集设备分别拍摄当前虚拟场景的平面图像，以RGBD(RGB色彩、D深度)形式存储，并经由场景服务器中的成像服务，完成对3D虚拟场景的建模。一般当用户SLA保障满足传输3D场景内容时，可使用传统2D转3D算法、深度学习神经辐射场等方式实现还原，以2D转3D为例，输入为N个视点的2D平面的RGBD信息，通过建模计算，实现包含深度位置的3D模型，并结合传输采集点的位置，将对应需传输模型渲染数据传输至现实设备上进行呈现；以神经辐射场为例，输入为N个虚拟拍摄采集对应每个视点虚拟3D场景下像素点的位置(x,y,z)，以及每个视点围绕虚拟形象中心点的视角信息(倾斜角θ，方位角Φ)，输出为在每个视点下对应包含深度的3D渲染图像，并传输至现实设备上进行呈现。

在虚拟人物通过事件触发被动发起交互请求的场景下，与终端用户的数字人类似，虚拟人物可通过虚拟拍摄设备，实现将3D场景的采集传输，同时，虚拟人物可使用智能聊天机器人或检索式问答方法实现与用户的自动交流。此时，被通知用户在终端上，与虚拟人客户通话相比，本实施例中现实用户可以收到虚拟人物的视频图像，达到沉浸式虚实交互的目的。

步骤S203，将所述采集内容通过所述互动连接传输至所述现实用户对应的现实用户终端，以供所述现实用户终端对所述采集内容进行渲染呈现。

虚拟设备采集到的内容传输到现实用户所在的终端后，可由现实用户所在的终端对采集内容进行渲染及呈现，这相较于在服务端或终端应用内实现虚拟形象叠加渲染的模式，本申请实施例中所涉及的交互请求发起方，将虚拟场景内的环境内容采集，并传输至被通知方的现实用户终端侧进行渲染呈现，实现了虚拟世界场景、人物与现实世界内的用户进行交互，实现了虚拟和现实场景两种媒体流的传输。

本实施例通过上述方案，具体通过基于所述交互请求建立互动连接，以用于所述虚拟人物与所述现实用户之间的媒体数据传输；通过虚拟设备对所述虚拟应用场景的环境内容进行采集，得到采集内容；将所述采集内容通过所述互动连接传输至所述现实用户对应的现实用户终端，以供所述现实用户终端对所述采集内容进行渲染呈现。通过虚拟设备对虚拟应用场景的环境内容进行采集，并将采集内容传输至现实用户所在的终端进行渲染呈现，实现了虚拟世界场景、人物与现实世界内的用户进行交互，实现了虚拟和现实场景两种媒体流的传输。

参照图9，图9为本发明虚实交互方法第五示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在步骤S20之后，所述虚实交互方法还包括：

步骤S21，判断所述虚拟人物与所述现实用户之间的交互是否结束；

当虚拟人物或现实用户任意一方终止交互后，即可判定所述虚拟人物与现实用户之间的交互结束，则需要进一步根据双方用户配置等级确定是否需要销毁相应的物理链路。

步骤S22，若所述虚拟人物与所述现实用户之间的交互结束，则判断所述现实用户对应的服务级别协议保障是否为长连接；

如果虚拟人物或现实用户任意一方终止交互，向指令网络发起停止请求，即所述虚拟人物与现实用户之间的交互结束，指令服务可根据双方的SLA保障，向媒体网络发起链路销毁指令，并叠加对双方的SLA保障，确认长连接链路的维持，以及短连接链路的销毁。

步骤S23，若所述现实用户对应的服务级别协议保障不是长连接，则销毁所述现实用户与所述媒体网络之间的物理链路；

如果现实用户对应的SLA保障不是长连接，则需要销毁该现实用户与媒体网络之间的物理链路，类似地，如果终端用户对应的SLA保障不是长连接，同样可销毁该终端用户与媒体网络之间的物理链路。

步骤S24，若所述现实用户对应的服务级别协议保障是长连接，则保留所述现实用户与所述媒体网络之间的物理链路，并停止所述虚拟人物与所述现实用户之间的媒体数据传输。

如果现实用户对应的SLA保障是长连接，则无需销毁该现实用户与媒体网络之间的物理链路，只需停止虚拟人物与现实用户之间的媒体数据传输，保留的物理链路可以用于现实用户下一次的交互。类似地，如果终端用户对应的SLA保障是长连接，则无需销毁该终端用户与媒体网络之间的物理链路，保留的物理链路可以用于该终端用户下一次的交互过程。

在本实施例中，通过判断所述虚拟人物与所述现实用户之间的交互是否结束；若所述虚拟人物与所述现实用户之间的交互结束，则判断所述现实用户对应的服务级别协议保障是否为长连接；若所述现实用户对应的服务级别协议保障不是长连接，则销毁所述现实用户与所述媒体网络之间的物理链路；若所述现实用户对应的服务级别协议保障是长连接，则保留所述现实用户与所述媒体网络之间的物理链路，并停止所述虚拟人物与所述现实用户之间的媒体数据传输。通过在交互结束后根据用户配置等级确定是否销毁对应的物理链路，有助于保证长连接链路的维持，提高用户体验。

此外，本发明实施例还提出一种虚实交互装置，所述虚实交互装置包括：

发起模块，用于在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

交互模块，用于基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

参照图10，图10为本发明实施例中整体场景示意图，如图10所示，虚拟世界指应用服务器执行的应用本身，包含以虚拟社交场景为主的逻辑功能。现实世界包含虚实中继模块，主要完成虚拟应用和现实用户之间的媒体分发网络实例化、媒体流转发等功能；现实场景包括现实终端设备和现实用户，主要作为任务交互通知的发起方或被动接收方。

参照图11，图11为本发明实施例中场景功能模块划分示意图，如图11所示，虚拟社交场景包括虚拟人、数字人和虚拟设备。

虚拟人指应用本身设置的NPC、智能客服等角色，完成对现实用户的通知发起。

数字人指用户在虚拟社交场景中的数字化身，能够执行虚拟场景中的社交、娱乐等活动，完成对现实好友的主动任务互动请求。

虚拟设备指虚拟人或数字人向现实用户发起任务通知时使用的工具，包括虚拟拍摄、虚拟连接、虚拟呈现三个部分。其中，虚拟拍摄使用虚拟视点，类似相机等设备，完成对虚拟场景下的媒体内容采集；虚拟连接主要完成与媒体网络的连接，接受指令服务的配置信息，完成与媒体网络的建连，并实际传输虚拟场景下的媒体数据流；虚拟呈现主要完成对现实用户媒体数据的渲染呈现，具体实施包括但不限于虚拟屏幕、虚拟键盘等方式，完成数字人在虚拟场景互动过程中的互动操作。

虚实中继传输模块，主要包括指令服务和媒体网络两部分。

指令服务，主要接受互动操作的控制层面指令，转化并对接与媒体网络的信令服务，完成实际媒体网络传输的实例化。例如，指令包括但不限于{JOIN(加入)、CALL(呼叫)、NOTIFICATION(通告)、STOP(停止)}，同时，指令服务存储用户等级制的服务级别协议(Service-level agreement，SLA)，根据用户付费订购的不同质量保障的配置信息，实例化不同QoS保障的媒体传输网络。

媒体网络，主要接受指令服务的指令控制，并根据实际媒体网络中的信令协议，完成媒体联路的建立和媒体数据传输。例如，传统通信网络互通，将指令服务发送的指令信息转化为SIP协议完成建连传输；互联网媒体网络互通，将指令服务发送的指令信息转化为SIP、XMPP等信令协议完成建连传输。同时，物理连接包括长连接和短连接，长连接代表互动交互结束后，链路仍然存在，但不再传输媒体数据，待下次交互时无需再实例化对应物理链路；短连接代表互动交互结束后，物理链路销毁，不再传输媒体数据，待下次交互请求时，重新实例化物理链路，此模式可减少物理资源使用，但会增加链路实例化的时延。

现实场景，主要包括现实设备和现实用户。

现实设备，包括媒体传输处理、渲染处理和交互界面。媒体传输处理，对接媒体网络，完成实际数据传输的链路建立和数据传输，常用协议包括但不限于RTP/RTCP、RMTP、RTSP等协议类型；渲染处理，将媒体数据流对应的协议解析，并完成渲染呈现；交互界面，包括输入、呈现等功，完成现实用户与虚拟场景中虚拟人或数字人的交互操作。一般实施过程中，现实设备可包括手机、VR头盔、AR眼睛等设备。

现实用户，即用户本身，主动发起或被动接受虚拟场景中的任务通知、交互请求等。

参照图12，图12为本发明实施例中用户主动发起任务通知交互请求示意图，如图12所示，在用户主动发起请求的场景下，用户A首先登陆场景应用，并操作对应的数字人形象，通过虚拟设备的虚拟拍摄采集，完成多虚拟视点的虚拟场景内容采集。

以N个虚拟视点采集设备为例，N个采集设备分别拍摄当前虚拟场景的平面图像，以RGBD(RGB色彩、D深度)形式存储，并经由场景服务器中的成像服务，完成对3D虚拟场景的建模。一般当用户SLA保障满足传输3D场景内容时，可使用传统2D转3D算法、深度学习神经辐射场等方式实现还原，以2D转3D为例，输入为N个视点的2D平面的RGBD信息，通过建模计算，实现包含深度位置的3D模型，并结合传输采集点的位置，将对应需传输模型渲染数据传输至现实设备上进行呈现；以神经辐射场为例，输入为N个虚拟拍摄采集对应每个视点虚拟3D场景下像素点的位置(x,y,z)，以及每个视点围绕虚拟形象中心点的视角信息(倾斜角θ，方位角Φ)，输出为在每个视点下对应包含深度的3D渲染图像，并传输至现实设备上进行呈现。

以上所有功能均以组件模块的形式运行在场景服务器中。

媒体网络包括互联网媒体面，以及通信网媒体面或第三方互联网媒体。一般实施过程中，场景服务器承载虚拟场景应用，互联网媒体面为应用提供方输出的媒体网络。以图11为例，用户A可通过媒体节点，接入场景服务后，发起对用户B的任务交互请求，此时，用户B跟用户A均在应用提供方的同一网络内。

此外，应用提供方的互联网媒体面，还可以对接通信网媒体面或第三方互联网媒体面，实施过程通过边界网关进行实现。例如，边界网关可实现指令服务的转化，对接通信网边界网关，以SIP协议形式接入通信网媒体传输界面；或者，边界网关可对接其他第三方互联网平面，通过指令到信令的转化，实现互通，例如SIP、XMPP等协议。

参照图13，图13为本发明实施例中虚拟人发起任务通知示意图，如图13所示，与用户数字人类似，虚拟人可通过虚拟拍摄设备，实现将3D场景的采集传输，同时，虚拟人可使用智能聊天机器人或检索式问答方法实现与用户的自动交流。此时，被通知用户在终端上，与虚拟人客户通话相比，本发明内容可以收到虚拟人的视频图像，达到沉浸式虚实交互的目的。

参照图13，图13为本发明实施例中用户主动发起任务通知交互请求的流程示意图，如图13所示，用户主动发起任务通知交互请求主要包括6个步骤：

步骤1.发起用户用手机、VR头盔或AR眼镜等终端登入虚拟场景应用；

步骤2.应用通过终端，根据用户付费对应的等级制配置，发送链路建连指令，并在媒体网络中实例化对应的物理链路。具体实施过程中，等级制配置对应不同级别的SLA保障，例如包括但不限于{带宽>10Mbps,时延<30ms,丢包率<1％，长连接保障等}，根据SLA等级，媒体网络对相应链路提供不同的QoS保障，同时，SLA配置可根据用户付费情况灵活调整，等级高的SLA保障付费较高，链路质量同样也会越高，反之亦然。

步骤3.用户通过终端，操作数字人，并以用户身份对应的数字人进行虚拟活动，如娱乐、发起互动请求等。

步骤4.用户基于数字人，使用虚拟设备发起对好友的交互请求，如电话、视频等。此时，虚拟场景中，实例化对应的虚拟屏幕、虚拟键盘等设备，满足用户的交互输入。

步骤5.被叫好友收到对应的交互请求后，使用接入设备接受请求与主叫方的虚拟数字人开始交互。本步骤中，也会相应建立被叫好友与媒体网络之间的物理链路。

步骤6.当双方挂断互动通话后，发起响应指令处理物理传输链路，释放资源。此时，如果用户等级制SLA保障为长连接保持，则不销毁物理链路，只停止媒体数据传输；SLA保障为短连接时，则销毁物理链路，后续重新建立连接。

参照图14，图14为本发明实施例中虚拟人发起任务通知的流程示意图，如图14所示，虚拟人发起任务通知包括6个步骤：

步骤1.虚拟人物通过事件触发等模式，唤起对现实用户的交互请求。此时事件触发即虚拟人发起通知的执行条件。

步骤2.根据被叫用户的用户等级，通过指令网络申请并实例化对应级别的传输物理链路。

步骤3.用户终端唤起通知，如虚拟视频或语音通话请求，判断用户是否接受，若接受跳至步骤4，否则跳至步骤6。

步骤4.虚拟人物通过虚拟摄像头等设备，与用户建立互动连接，开启实时对话。此时，用户可通过终端设备看到虚拟人在虚拟场景中的视频流或语音流。

步骤5.当双方挂断互动通话后，发起响应指令销毁物理传输链路，释放资源。若SLA保障为长连接，则物理链路不销毁，只暂停媒体流传输。

步骤6.用户设备发起响应指令销毁物理传输链路，释放资源，虚拟人物挂起交互任务，等待下次触发。

参照图15，图15为本发明实施例中用户主动发起任务通知交互请求的实施时序示意图，如图15所示，具体步骤如下：

步骤a.用户A通过终端设备接入应用。

步骤b.1.用户A向指令服务发起媒体网络的接入请求，并提供SLA保障请求。指令请求内容包括但不限于{JOIN，SLA}，举例可为{JOIN，带宽>10Mbps,时延<30ms,丢包率<1％，长连接保障}。

步骤b.2.指令服务判断用户等级制是否满足订购权益，若SLA不满足权益内容，则直接终止；若满足，判断为链路重建，则将用户A的信息传递至媒体网络，进行物理链路的实例化。其中，用户A的信息包括但不限于{身份、SLA保障}，否则，将长连接存储内容反馈给用户A进行传输使用。

步骤b.3.媒体网络将实例化后的接入传输地址返回给指令服务存储，为{UserA，netConfig}，并透传给用户A。

步骤c.1.用户A发起对用户B的交互请求，向指令服务发起传输{CALL,UserB}指令。

步骤c.2.指令服务判断用户B的连接状态，若用户B长连接存在，则返回媒体网络信息给用户A；若用户B无连接，则向媒体网络发起建连指令{UserB,SLA}。

步骤c.3.-步骤c.4.媒体网络与被叫设备之间，建立满足用户B对应的等级制SLA物理传输网络。

步骤c.5.用户B的网络信息反馈给用户A，用户A发起对用户B的物理数据传输。

步骤d.用户A和用户B通过媒体网络中继，完成互动媒体数据的传输。

当用户任意一方终止交互后，将对指令网络发起停止指令。

步骤e.1.任意一方终止交互，向指令网络发起{STOP，SLA}请求。。

步骤e.2.-步骤e.3.指令服务根据双方的SLA保障，向媒体网络发起链路销毁指令，并叠加对用用户的SLA保障，确认长连接链路的维持，以及短连接链路的销毁。

步骤f.双方数据流传输终止。

参照图16，图16为本发明实施例中虚拟人发起任务通知的流程示意图，如图16所示，虚拟人物为服务器中的应用元素，根据触发事件，发起对用户的任务通知。具体步骤如下：

步骤a.1.虚拟人物模拟真实用户，发起指令服务的加入指令{JOIN，SLA}。一般实施过程中，服务器的SLA保障为最高级别，并且媒体网络始终为长连接，保证在大并发条件下，能够快速向用户发起通知交互请求。

步骤a.2.-步骤a.3.媒体网络根据指令服务，反馈服务器的网络配置信息，并由指令服务存储。

步骤b.1.虚拟人物发起通知指令，并指定对应要通知交互的用户，指令内容为{NOTIFICATION，User}。

步骤b.2.指令服务根据通知用户内容，判断是否需要重建物理链路，向媒体网络发送对应的物理链接建立请求，并附加SLA配置{User，SLA}。

步骤b.3-b.5.媒体网络根据被叫用户对应的SLA保障，实例化对应的物理链接，并把用户对应的网络配置信息{User,netConfig}，反馈给指令服务进行存储，并透传给服务器中的虚拟人物。

步骤c.虚拟人物与被通知用户之间进行媒体数据传输。此时，用户通过现实设备，能够进行语音交互或视频交互，观察到虚拟人物所在的虚拟3D场景。

当用户终止或虚拟人物达到超时条件后，用户向指令服务发起停止指令。

步骤d.1.用户终止交互，发送{STOP,SLA}指令给指令服务。

步骤d.2-步骤d.4.指令服务通过用户的SLA保障，控制媒体网络进行相应资源的释放，例如长连接的媒体数据停止传输，以及短连接的链路销毁。

步骤e.双方媒体数据的终止。

本实施例通过上述方案，具体通过虚拟人物被动通知和用户主动通知两种交互模式，通过应用软件或者终端直接启动的两种唤起方法，可通过应用开发或者终端电话功能拓展，从而实现对虚拟场景的播放支持，相较于传统的短信、图片、视频等非实时通知方式，增加了通知交互的趣味性；相较于服务端或终端应用内实现虚拟形象叠加渲染的模式，本发明内所涉及的通知发起方，将虚拟场景内的环境内容采集，并传输至被通知方终端侧进行渲染呈现，实现了虚拟世界场景、人物与现实世界内的用户进行交互，实现了虚拟和现实场景两种媒体流的传输；相较于用户都登录到虚拟场景中才能进行社交的设计，本发明实现虚拟场景向现实场景主动发起交互请求的方法，虚拟世界内虚拟人或用户数字人通过虚拟设备播放现实画面，现实设备可呈现虚拟场景内容，打通虚实场景，形成了虚实交互模式，提高了虚拟现实交互的灵活性。

此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚实交互程序，所述虚实交互程序被所述处理器执行时实现如上所述的虚实交互方法的步骤。

由于本虚实交互程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有虚实交互程序，所述虚实交互程序被处理器执行时实现如上所述的虚实交互方法的步骤。

由于本虚实交互程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

相比现有技术，本发明实施例提出的虚实交互方法、装置、终端设备以及存储介质，通过在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。通过在虚拟应用场景中由虚拟人物发起与现实用户的交互，实现了虚拟场景向现实场景发起交互请求，打通虚实场景，形成了虚实交互新模式，提高了虚拟现实交互的灵活性，同时增强了用户交互的趣味性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种虚实交互方法，其特征在于，所述虚实交互方法包括以下步骤：

在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

2.如权利要求1所述的虚实交互方法，其特征在于，所述在虚拟应用场景中通过虚拟人物对现实用户发起交互请求的步骤包括：

获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份，以供所述终端用户通过所述虚拟人物对所述现实用户发起交互请求；或

获取触发事件，并基于所述触发事件在所述虚拟应用场景中通过所述虚拟人物对所述现实用户发起交互请求。

3.如权利要求2所述的虚实交互方法，其特征在于，所述获取终端用户的操作请求，根据所述操作请求将现实终端接入所述虚拟应用场景，并提供对应的虚拟人物的身份的步骤之前还包括：

获取所述终端用户的登录信息；

根据所述登录信息识别用户配置等级，并根据所述用户配置等级建立所述终端用户与媒体网络之间的物理链路，以用于获取所述终端用户的操作请求。

4.如权利要求1所述的虚实交互方法，其特征在于，所述在虚拟应用场景中通过虚拟人物对现实用户发起交互请求的步骤之后还包括：

判断所述现实用户的连接状态是否为长连接；

若所述现实用户的连接状态为长连接，则获取所述现实用户的媒体网络信息，并将所述现实用户的媒体网络信息传输至所述虚拟人物；

若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路。

5.如权利要求4所述的虚实交互方法，其特征在于，所述若所述现实用户的连接状态不是长连接，则根据所述现实用户的配置等级建立所述现实用户与所述媒体网络之间的物理链路的步骤之后还包括：

判断所述现实用户是否接受所述交互请求；

若所述现实用户未接受所述交互请求，则销毁所述现实用户与所述媒体网络之间的物理链路。

6.如权利要求1所述的虚实交互方法，其特征在于，所述基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互的步骤包括：

基于所述交互请求建立互动连接，以用于所述虚拟人物与所述现实用户之间的媒体数据传输；

通过虚拟设备对所述虚拟应用场景的环境内容进行采集，得到采集内容；

将所述采集内容通过所述互动连接传输至所述现实用户对应的现实用户终端，以供所述现实用户终端对所述采集内容进行渲染呈现。

7.如权利要求4所述的虚实交互方法，其特征在于，所述基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互的步骤之后还包括：

判断所述虚拟人物与所述现实用户之间的交互是否结束；

若所述虚拟人物与所述现实用户之间的交互结束，则判断所述现实用户对应的服务级别协议保障是否为长连接；

若所述现实用户对应的服务级别协议保障不是长连接，则销毁所述现实用户与所述媒体网络之间的物理链路；

若所述现实用户对应的服务级别协议保障是长连接，则保留所述现实用户与所述媒体网络之间的物理链路，并停止所述虚拟人物与所述现实用户之间的媒体数据传输。

8.一种虚实交互装置，其特征在于，所述虚实交互装置包括：

发起模块，用于在虚拟应用场景中通过虚拟人物对现实用户发起交互请求；

交互模块，用于基于所述交互请求进行所述虚拟人物与所述现实用户之间的虚实交互。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚实交互程序，所述虚实交互程序被所述处理器执行时实现如权利要求1-7中任一项所述的虚实交互方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有虚实交互程序，所述虚实交互程序被处理器执行时实现如权利要求1-7中任一项所述的虚实交互方法的步骤。