CN114666562A - 3d场景交互方法、装置和系统 - Google Patents

Abstract

本发明提出了一种3D场景交互方法、装置和系统，方法包括：信令服务器响应终端发送的连接请求信息生成连接请求指令，将连接请求指令发送至渲染服务器；渲染服务器响应连接请求指令与终端建立连接并生成3D场景模型启动视频流，将3D场景模型启动视频流发至终端进行解码展示；信令服务器获取终端发送的操作信息，将操作信息解析成相对应的3D场景应用控制指令，将3D场景应用控制指令发送至安装有3D场景模型的渲染服务器；渲染服务器响应3D场景应用控制指令生成操作结果动作视频流，并将操作结果动作视频流发送至终端进行解码展示；本发明通过服务器端渲染技术减弱终端对GPU的需求，节省用户成本，扩大应用范围，提升用户体验。

Description

3D场景交互方法、装置和系统

技术领域

本发明涉及3D场景展示的技术领域，特别涉及一种3D场景交互方法、装置和系统。

背景技术

目前，3D大场景渲染一般用CIM系统中，但展现3D场景的终端设备都需要强大的GPU支持，否则很难很好的展现大场景的3D模型。GPU在个人电脑或者移动设备上处理能力弱，往往由于条件限制CIM模型只用于中心大屏展示。这是因为终端GPU处理能力不足，不能集群并行处理，经常出现卡顿，无法操作等现象；而且GPU成本高，费用高，增加终端的GPU需要较高的成本。

发明内容

本发明提出一种3D场景交互方法、装置和系统，能够降低终端对GPU的需求，节省用户成本，扩大应用范围，提升用户体验。

第一方面，本发明提供了一种3D场景交互方法，所述方法应用于信令服务器，所述方法包括：

获取终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；

根据所述连接请求信息向所述安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；

获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；

将所述操作信息解析成相对应的3D场景应用控制指令；

将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。

在可选的实施方式中，所述操作信息包括流媒体控制信息和3D场景模型控制信息；

获取终端发送的操作信息，包括：

获取所述终端通过socket tcp/udp协议发送的流媒体控制信息或者3D场景模型控制信息；

将所述操作信息解析成相对应的3D场景应用控制指令，包括：

将所述流媒体控制信息按GB/28181规范处理，得到流媒体控制指令；或者，将所述3D场景模型控制信息按照GB/28181规范的扩展信息部分处理，得到3D场景模型操作指令；

将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示，包括：

将所述流媒体控制指令或者所述3D场景模型操作指令通过socket tcp/udp协议发送至渲染服务器，以使所述渲染服务器根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

在可选的实施方式中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息，包括：

所述终端响应于用户对所述3D场景应用的操作事件，将所述操作事件进行封装后得到所述操作信息。

第二方面，本发明提供了一种3D场景交互方法，所述方法应用于渲染服务器，所述渲染服务器上安装有3D场景模型，所述方法包括：

获取信令服务器发送的连接请求指令；其中，所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有3D场景应用；

与终端建立连接；

生成3D场景模型启动视频流；

将所述3D场景模型启动视频流发送至所述终端进行解码展示；

获取信令服务器发送的3D场景应用控制指令；其中，所述3D场景应用控制指令是所述信令服务器响应所述终端发送的操作信息生成的，所述终端响应于用户对3D场景应用的操作生成所述操作信息；

生成操作结果动作视频流；

将所述操作结果动作视频流发送至所述终端进行解码展示。

在可选的实施方式中，所述3D场景应用控制指令通过socket tcp/udp协议从所述信令服务器获取，所述3D场景应用控制指令包括流媒体控制指令和3D场景模型操作指令，所述操作信息包括流媒体控制信息和3D场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述3D场景模型操作指令是所述信令服务器响应所述终端发送的3D场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述3D场景模型控制信息发送至所述信令服务器；

响应所述3D场景应用控制指令生成操作结果动作视频流，包括：

根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；

将所述操作结果动作视频流发送至所述终端进行解码展示，包括：

将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

第三方面，本发明提供了一种3D场景交互方法，所述终端上安装有3D场景应用，所述方法包括：

向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至渲染服务器；

与所述渲染服务器建立连接；

接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；其中，所述渲染服务器安装有3D场景模型，所述3D场景模型启动视频流是所述渲染服务器响应所述连接请求指令生成的；

响应于用户对所述3D场景应用的操作并生成操作信息；

将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的3D场景应用控制指令并将所述3D场景应用控制指令发送至渲染服务器；

接收所述渲染服务器发送的操作结果动作视频流并解码展示，其中，所述操作结果动作视频流是所述渲染服务器响应所述3D场景应用控制指令生成的。

第四方面，本发明提供了一种3D场景交互装置，所述装置应用于信令服务器，所述装置包括：

信令服务器第一获取模块，用于获取所述终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；

信令服务器第一发送模块，用于根据所述连接请求信息向安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；

信令服务器第二获取模块，用于获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；

信令服务器处理模块，用于将所述操作信息解析成相对应的3D场景应用控制指令；

信令服务器第二发送模块，用于将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。

第五方面，本发明提供了一种3D场景交互装置，所述装置应用于渲染服务器，所述渲染服务器上安装有3D场景模型，所述装置包括：

渲染服务器第一获取模块，用于获取信令服务器发送的连接请求指令；其中，所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有3D场景应用；

渲染服务器连接模块，用于与终端建立连接；

渲染服务器第一处理模块，用于生成3D场景模型启动视频流；

渲染服务器第一发送模块，用于将所述3D场景模型启动视频流发送至所述终端进行解码展示；

渲染服务器第二获取模块，用于获取信令服务器发送的3D场景应用控制指令；其中，所述3D场景应用控制指令是所述信令服务器响应终端发送的操作信息生成的，所述终端响应于用户对3D场景应用的操作生成所述操作信息；

渲染服务器第二处理模块，用于生成操作结果动作视频流；

渲染服务器第二发送模块，用于将所述操作结果动作视频流发送至所述终端进行解码展示。

第六方面，本发明提供了一种3D场景交互装置，所述装置应用于终端，所述终端上安装有3D场景应用，所述装置包括：

终端第一获取模块，用于向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至渲染服务器；

终端连接模块，用于与所述渲染服务器建立连接；

终端第一接收模块，用于接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；其中，所述渲染服务器安装有3D场景模型，所述3D场景模型启动视频流是所述渲染服务器响应所述连接请求指令生成的；

终端第二获取模块，响应于用户对所述3D场景应用的操作并生成操作信息；

终端发送模块，用于将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的3D场景应用控制指令并将所述3D场景应用控制指令发送至渲染服务器；

终端第二接收模块，用于接收所述渲染服务器发送的操作结果动作视频流并解码展示，其中，所述操作结果动作视频流是所述渲染服务器响应所述3D场景应用控制指令生成的。

第七方面，本发明提供了一种3D场景交互系统，所述系统包括终端、信令服务器和渲染服务器；所述终端上安装有3D场景应用，所述渲染服务器上安装有3D场景模型；

所述终端，用于向信令服务器发送连接请求信息，与所述渲染服务器建立连接；接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；还用于响应于用户对所述3D场景应用的操作生成操作信息，将所述操作信息发送至信令服务器；接收所述渲染服务器发送的操作结果动作视频流并解码展示；

所述信令服务器，用于响应所述连接请求信息生成连接请求指令，并将连接请求指令发送至渲染服务器；还用于将所述操作信息解析成相对应的3D场景应用控制指令，将所述3D场景应用控制指令发送至渲染服务器；

所述渲染服务器，用于响应所述连接请求指令与终端建立连接，响应所述连接请求指令生成3D场景模型启动视频流，将所述3D场景模型启动视频流发送至终端；还用于响应所述3D场景应用控制指令生成操作结果动作视频流，将所述操作结果动作视频流发送至终端。

第八方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如第一方面所述的方法步骤。

本发明的有益效果是：本发明的3D场景交互方法、装置和系统，终端上安装有3D场景应用，3D场景模型安装在渲染服务器上；终端向信令服务器发送连接请求信息，信令服务器将连接请求信息解析成连接请求指令并发送至渲染服务器，渲染服务器与终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；终端响应于用户对3D场景应用的操作生成操作信息，并将操作信息发送至信令服务器；信令服务器获取终端发送的操作信息，并将操作信息解析成相对应的3D场景应用控制指令，并将3D场景应用控制指令发送至渲染服务器；渲染服务器响应3D场景应用控制指令并生成操作结果动作视频流，并将操作结果动作视频流发送至终端；终端对操作结果动作视频流进行展示；本发明通过服务器端渲染技术减弱终端对GPU的需求，从而节省用户成本，扩大应用范围，提升用户体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一示例性实施例所示的3D场景交互方法的流程图；

图2为本发明一示例性实施例所示的3D场景交互方法的信令流程图；

图3为本发明一示例性实施例所示的3D场景交互方法的另一个流程图；

图4为本发明一示例性实施例所示的3D场景交互方法的又一个流程图；

图5为本发明一示例性实施例所示的3D场景交互装置的结构原理图；

图6为本发明一示例性实施例所示的3D场景交互装置的结构原理图；

图7为本发明一示例性实施例所示的3D场景交互装置的结构原理图；

图8为本发明一示例性实施例所示的3D场景交互系统的结构原理图；

图9位本发明一示例性实施例所示的电子设备的结构原理图。

在图中：10-信令服务器；11-信令服务器第一获取模块；12-信令服务器第一发送模块；13-信令服务器第二获取模块；14-信令服务器处理模块；15-信令服务器第二发送模块；20-渲染服务器；21-渲染服务器第一获取模块；22-渲染服务器连接模块；23-渲染服务器第一处理模块；24-渲染服务器第一发送模块；25-渲染服务器第二获取模块；26-渲染服务器第二处理模块；27-渲染服务器第二发送模块；30-终端；31-终端第一获取模块；32-终端连接模块；33-终端第一接收模块；34-终端第二获取模块；35-终端发送模块；36-终端第二接收模块；91-处理器；92-通信接口；93-存储器；94-通信总线。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，3D（3-dimension，三维）大场景渲染一般用CIM（City InformationModeling，城市信息模型）系统中，3D大场景渲染存在如下缺点：①3D渲染在终端展现时需要GPU（graphics processing unit，图形处理器）的支持，限制3D展现的应用范围；②终端GPU处理能力不足，因而经常出现卡顿、无法操作等现象，影响用户体验；③GPU成本高，费用高，加大了用户成本；④终端渲染能力有限，不能集群并行处理。

基于此，本发明提供了一种3D场景交互方法、装置和系统，为便于对本发明进行理解，下面通过示例性实施例对本发明进行详细介绍。

参照图1，本发明一示例性实施例提供的一种3D场景交互方法，应用于信令服务器，该方法包括如下步骤S110~S150：

S110，获取终端发送的连接请求信息；其中，终端上安装有3D场景应用。

具体地，S110~S120为初始化的过程；终端通过socket tcp/udp协议发送连接请求信息至信令服务器，信令服务器响应连接请求信息生成连接请求指令，并按GB/28181规范以及socket tcp/udp协议将连接请求指令发送至渲染服务器。

S120，根据连接请求信息向渲染服务器发送连接请求指令，以使渲染服务器响应连接请求指令与终端建立连接并生成3D场景模型启动视频流，并将3D场景模型启动视频流发送至终端进行解码展示。

具体地，终端向信令服务器发送连接请求信息，信令服务器接收到连接请求信息向终端发送渲染服务器的信息，并将终端的信息发送至渲染服务器，这样终端与渲染服务器建立了连接。

如图2所示，初始化操作的信令流程为：终端发送连接请求，信令服务器将连接请求发送至渲染服务器，渲染服务器与终端建立连接。渲染服务器对3D场景模型进行场景渲染、压缩编码和视频封装，得到3D场景模型启动视频流；然后，将3D场景模型启动视频流发送至终端进行展示。因此，终端还用于与信令服务器建立连接以及关闭，其中，信令服务器启动后进入监听状态。

S130，获取终端发送的操作信息；其中，终端响应于用户对3D场景应用的操作生成操作信息。

在这里，本申请一实施例中，终端可以是桌面终端，移动终端，Web终端。终端主要实现的功能包含连接的建立以及关闭；流媒体播放；鼠标，键盘，触屏等外部输入设备输入截获以及事件的业务封装，事件指令传送。

具体地，用户通过鼠标、键盘、触屏等外部输入设备对安装在终端上的3D场景应用进行操作。终端响应于这些操作生成响应的事件，并对这些事件安装系统统一约定的规则进行封装，得到操作信息。如，终端利用操作系统hook进行截获，获取外部输入的相关参数（例如，相对于屏幕的位置信息，键盘key code信息等），根据事件类型以及参数转换为内部预定义操作信息（即操作信息对象）。

终端还将操作信息通过Socket并遵循GB28181规范（指《安全防范视频监控联网系统信息传输、交换、控制技术要求》）发送至信令服务器。其中，Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口；网络中的进程是通过socket来通信的。

例如，用户操作键盘“W”键，终端接收“W”键的键值，终端对用户“W”键的键值以及相关按键参数按照系统统一约定的规则进行封装，封装后通过Socket以及遵循GB28181规范传送到信令服务器。

S140，将操作信息解析成相对应的3D场景应用控制指令。

具体地，信令服务器通过统一实现约定的事件Map（即key-value pairs，键值对）对操作信息进行解析，解析成事件对应的3D场景应用控制指令。

例如，信令服务器接收到封装后的信息，通过统一实现约定的事件Map对事件进行解析，解析成“W”键对应的3D场景应用控制指令。

S150，将3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使渲染服务器响应3D场景应用控制指令生成操作结果动作视频流，并将操作结果动作视频流发送至终端进行解码展示。

具体地，信令服务器按照GB28181规范将3D场景应用控制指令发送到渲染服务器。渲染服务器接收到3D场景应用控制指令后对3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

渲染服务器接收到3D场景应用控制指令后进行解析，并按事先约定的规则完成“W”键对应的3D场景模型的操作并进行渲染；并将这一操作过程通过视频编码的形成视频流，即操作结果动作视频流，然后将操作结果动作视频流进行压缩编码后遵循RTP协议和GB/28181规范发送至终端。终端对操作结果动作视频流进行视频解码、展示，反应用户操作的结果。在这里，操作结果动作视频流展示的是操作结果。

如图2所示，上述交互操作的信令流程为：终端捕获鼠标键盘事件，进行事件封装并将传送至信令服务器；信令服务器进行事件处理后得到相应的指令，然后进行指令发送；渲染服务器接受指令，并进行场景渲染、压缩编码和视频封装，得到了操作结果动作视频流，操作结果动作视频流被发送至终端进行场景展示。

本实施例通过在服务器端利用集群GPU的强大图形处理能力在渲染服务器渲染3D场景模型，然后把渲染结果经过视频压缩编码处理，通过视频流的方式传输到终端，终端只要具有视频解码算力就可以展示城市乃至国家级大规模3D场景模型，终端的交互通过终端展示区域鼠标、touch事件（移动触摸事件）或者键盘等的输入截获，通过信令通道传输到信令服务器，信令服务器端接受到信令后和内存镜像区域进行Mapping(映射)计算，转换为针对3D场景模型的事件，触发3D场景模型的旋转、放大、缩小以及照相机移动等交互操作，交互操作的结果实时按照上述流程压缩编码为视频流传输到终端进行展现，从而实现3D场景模型的渲染服务器端渲染。具体应用时，服务器端可以部署多台服务器进行并行计算，达到负载分散的效果，可以支持多用户并发处理。

本实施例能够实现城市级大规模3D模型交互展示，实现手机，Web端3D交互展现。本实施例的服务器端（包括渲染服务器和信令服务器）支持大规模3D模型渲染，支持多GPU并行处理增强渲染能力，支持服务器集群负载均衡；本实施例的终端支持多用户，多种设备（含移动端，WEB端）并发操作。本实施例中终端和服务器端支持GB/28181国标规范，利用服务器端GPU处理能力节约终端成本，提升用户体验，扩大3D场景的应用范围。

可选地，操作信息包括流媒体控制信息和3D场景模型控制信息；

步骤S130包括：获取终端通过socket tcp/udp协议发送的流媒体控制信息或者3D场景模型控制信息；

步骤S140包括：将流媒体控制信息按GB/28181规范处理，得到流媒体控制指令；或者，将3D场景模型控制信息按照GB/28181规范的扩展信息部分处理，得到3D场景模型操作指令；

步骤S150包括：将流媒体控制指令或者3D场景模型操作指令通过socket tcp/udp协议发送至渲染服务器，以使渲染服务器根据流媒体控制指令或者3D场景模型操作指令对3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

具体地，终端响应于用户对3D场景应用的操作事件，该操作事件包括针对流媒体的控制操作（例如，播放，暂停、快进以及流媒体码率，分辨率等参数的控制操作）和对3D场景模型的控制操作，对将操作事件进行处理后分别得到流媒体控制信息和3D场景模型控制信息。

信令服务器启动后进入监听状态，终端通过socket tcp/udp协议和信令服务器建立连接，渲染服务器也采用相同的方式和信令服务器建立连接，信令服务器撮合终端和渲染服务器建立P2P流媒体连接，信令（包括流媒体控制指令和3D场景模型操作指令）统一通过信令服务器转发至渲染服务器。

信令服务器主要处理两类信令，第一类为流媒体控制指令，第二类为3D场景模型操作指令。两类指令采用不同的信令传输通道进行通讯，相互不影响。流媒体控制指令按照GB/28181规范进行处理，3D场景模型操作指令在遵循GB/28181规范的基础上，通过该规范的扩展信息部分进行信息存储传送。因此，尽管两类指令的处理方式稍有不同，但整体上遵守GB/28181规范规定。

渲染服务器主要功能包含同信令服务器的连接建立与关闭，该部分渲染服务作为socket的终端进行接入，同终端实现方案一致。流媒体P2P传输协议建立，该部分遵守RTP协议，同时也符合GB/28181协议。渲染服务器安装有3D模型渲染引擎，还具有流媒体编码封装传输几项功能。

渲染服务器底层支持DirectX，OpenGL协议，支持GPU图形加速处理，支持多GPU处理。渲染服务器对流媒体编码以及封装采用H264/H265编码协议，按照GB/28181规范进行视频以及信令编码。

如图3所示，本发明的一示例性实施例提供了一种3D场景交互方法，该方法应用于渲染服务器，该渲染服务器上安装有3D场景模型，该方法包括如下步骤S210~步骤S270：

S210，获取信令服务器发送的连接请求指令；其中，连接请求指令是信令服务器响应终端发送的连接请求信息得到的；终端上安装有3D场景应用；

S220，与终端建立连接；

S230，生成3D场景模型启动视频流；

S240，将3D场景模型启动视频流发送至终端进行解码展示；

S250，获取信令服务器发送的3D场景应用控制指令；其中，3D场景应用控制指令是信令服务器响应终端发送的操作信息生成的，终端响应于用户对3D场景应用的操作生成操作信息；

S260，生成操作结果动作视频流；

S270，将操作结果动作视频流发送至终端进行解码展示。

进一步地，3D场景应用控制指令通过socket tcp/udp协议从信令服务器获取，3D场景应用控制指令包括流媒体控制指令和3D场景模型操作指令，操作信息包括流媒体控制信息和3D场景模型控制信息；其中，流媒体控制指令是信令服务器响应终端发送的流媒体控制信息并按GB/28181规范处理的，3D场景模型操作指令是信令服务器响应终端发送的3D场景模型控制信息按GB/28181规范的扩展信息部分处理得到的；终端通过socket tcp/udp协议将流媒体控制信息或者3D场景模型控制信息发送至信令服务器；

步骤S260包括如下步骤：根据流媒体控制指令或者3D场景模型操作指令对3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；

步骤S270包括：将操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

本实施例中提供的3D场景交互方法是在前述第一个实施例中提供的3D场景交互方法中信令服务器所对应执行的方法步骤，因此针对本实施例中的3D场景交互方法的理解也可以参照前述第一个3D场景交互方法的实施例中的介绍。

如图4所示，本发明的一示例性实施例提供了一种3D场景交互方法，应用于终端，该终端上安装有3D场景应用，该方法包括步骤S310~S360：

S310，向信令服务器发送连接请求信息，以使信令服务器响应连接请求信息生成连接请求指令并将连接请求指令发送至渲染服务器；

S320，与渲染服务器建立连接；

S330，接收渲染服务器发送的3D场景模型启动视频流并解码展示；其中，渲染服务器安装有3D场景模型，3D场景模型启动视频流是渲染服务器响应连接请求指令生成的；

S340，响应于用户对3D场景应用的操作并生成操作信息；

S350，将操作信息发送至信令服务器以使信令服务器将操作信息解析成相对应的3D场景应用控制指令并将3D场景应用控制指令发送至渲染服务器；

S360，接收渲染服务器发送的操作结果动作视频流并展示，其中，操作结果动作视频流是渲染服务器响应3D场景应用控制指令生成的。

本实施例中提供的3D场景交互方法是在前述第一个实施例中提供的3D场景交互方法中信令服务器所对应执行的方法步骤，因此针对本实施例中的3D场景交互方法的理解也可以参照前述第一个3D场景交互方法的实施例中的介绍。

如图5所示，本发明的一示例性实施例提供了一种3D场景交互装置，该装置应用于信令服务器，该装置包括如下模块：

信令服务器第一获取模块11，用于获取终端发送的连接请求信息；其中，终端上安装有3D场景应用；

信令服务器第一发送模块12，用于根据所述连接请求信息向所述渲染服务器发送连接请求指令，以使渲染服务器响应连接请求指令与终端建立连接并生成3D场景模型启动视频流，并将3D场景模型启动视频流发送至终端进行解码展示；

信令服务器第二获取模块13，用于获取终端发送的操作信息；其中，终端响应于用户对3D场景应用的操作生成操作信息；

信令服务器处理模块14，用于将操作信息解析成相对应的3D场景应用控制指令；

信令服务器第二发送模块15，用于将3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使渲染服务器响应3D场景应用控制指令生成操作结果动作视频流，并将操作结果动作视频流发送至终端进行解码展示。

如图6所示，本发明的一示例性实施例提供了一种3D场景交互装置，该装置应用于渲染服务器，该染服务器上安装有3D场景模型，该装置包括：

渲染服务器第一获取模块21，用于获取信令服务器发送的连接请求指令；其中，所述信令服务器响应终端发送的连接请求信息得到的；终端上安装有3D场景应用；

渲染服务器连接模块22，用于与终端建立连接；

渲染服务器第一处理模块23，用于生成3D场景模型启动视频流；

渲染服务器第一发送模块24，用于将3D场景模型启动视频流发送至终端进行解码展示；

渲染服务器第二获取模块25，用于获取信令服务器发送的3D场景应用控制指令；其中，3D场景应用控制指令是信令服务器响应终端发送的操作信息生成的，终端响应于用户对3D场景应用的操作生成操作信息；

渲染服务器第二处理模块26，用于生成操作结果动作视频流；

渲染服务器第二发送模块27，用于将操作结果动作视频流发送至终端进行解码展示。

如图7所示，本发明的一示例性实施例提供了一种3D场景交互装置，该装置应用于终端，该终端上安装有3D场景应用，该装置包括：

终端第一获取模块31，用于向信令服务器发送连接请求信息，以使信令服务器响应所述连接请求信息生成连接请求指令并将连接请求指令发送至渲染服务器；

终端连接模块32，用于与渲染服务器建立连接；

终端第一接收模块33，用于接收渲染服务器发送的3D场景模型启动视频流并解码展示；其中，渲染服务器安装有3D场景模型，3D场景模型启动视频流是渲染服务器响应连接请求指令生成的；

终端第二获取模块34，响应于用户对3D场景应用的操作并生成操作信息；

终端发送模块35，用于将操作信息发送至信令服务器以使信令服务器将操作信息解析成相对应的3D场景应用控制指令并将3D场景应用控制指令发送至渲染服务器；

终端第二接收模块36，用于接收渲染服务器发送的操作结果动作视频流并解码展示，其中，操作结果动作视频流是渲染服务器响应3D场景应用控制指令生成的。

如图8所示，本发明的一示例性实施例提供了一种3D场景交互系统，该系统包括终端30、信令服务器10和渲染服务器20；终端30上安装有3D场景应用，渲染服务器20上安装有3D场景模型；

终端30，用于向信令服务器10发送连接请求信息，与渲染服务器20建立连接；接收渲染服务器20发送的3D场景模型启动视频流并解码展示；还用于响应于用户对3D场景应用的操作生成操作信息，将操作信息发送至信令服务器10；接收渲染服务器20发送的操作结果动作视频流并解码展示；

信令服务器10，用于响应将连接请求信息生成连接请求指令，并将连接请求指令发送至渲染服务器20；还用于将操作信息解析成相对应的3D场景应用控制指令，将3D场景应用控制指令发送至渲染服务器20；

渲染服务器20，用于响应连接请求指令与终端30建立连接，响应连接请求指令生成3D场景模型启动视频流，将3D场景模型启动视频流发送至终端30；还用于响应3D场景应用控制指令生成操作结果动作视频流，将操作结果动作视频流发送至终端30。

还需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述实施例描述的装置和系统的具体工作过程，可以参考前述第一个实施例中的3D场景交互方法所描述的对应过程，在此不再赘述。本发明实施例提供的3D场景交互装置，与前述第一个实施例提供的3D场景交互方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

如图9所示，本发明一示例性实施例提供了一种电子设备，包括处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信；

存储器93，用于存放计算机程序；

处理器91，用于执行存储器93上所存放的程序时，实现如上述任一实施例的3D场景交互方法的步骤。

综上，本实施例的终端上安装有3D场景应用，3D场景模型安装在渲染服务器上；终端响应于用户对3D场景应用的操作生成操作信息，并将操作信息发送至信令服务器；信令服务器获取终端发送的操作信息，并将操作信息解析成相对应的3D场景应用控制指令，并将3D场景应用控制指令发送至渲染服务器；渲染服务器响应3D场景应用控制指令并生成操作结果动作视频流，并将操作结果动作视频流发送至终端；终端对操作结果动作视频流进行展示；本发明通过服务器端渲染技术减弱终端对GPU的需求，本从而节省用户成本，扩大应用范围，提升用户体验。

需要说明的是，上述实施例中的信令服务器和渲染服务器可以是相同或者是部分相同的服务器，也可以是完全独立的服务器，并且信令服务器和渲染服务器均可以是物理服务器或者是虚拟服务器，可以是单个服务器或者是服务器集群。优选地，为了满足终端多用户，多种设备（含移动端，WEB端）并发操作需求，本实施例采用服务器集群提供强大的GPU处理能力。

还需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法、装置和系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本发明实施例提供的3D场景交互装置，与前述实施例提供的3D场景交互方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种3D场景交互方法，其特征在于，所述方法应用于信令服务器，所述方法包括：

获取终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；

根据所述连接请求信息向安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；

获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；

将所述操作信息解析成相对应的3D场景应用控制指令；

将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。

2.根据权利要求1所述的3D场景交互方法，其特征在于，所述操作信息包括流媒体控制信息和3D场景模型控制信息；

获取终端发送的操作信息，包括：

获取所述终端通过socket tcp/udp协议发送的流媒体控制信息或者3D场景模型控制信息；

将所述操作信息解析成相对应的3D场景应用控制指令，包括：

将所述流媒体控制信息按GB/28181规范处理，得到流媒体控制指令；或者，将所述3D场景模型控制信息按照GB/28181规范的扩展信息部分处理，得到3D场景模型操作指令；

将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示，包括：

将所述流媒体控制指令或者所述3D场景模型操作指令通过socket tcp/udp协议发送至渲染服务器，以使所述渲染服务器根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

3.根据权利要求1所述的3D场景交互方法，其特征在于，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息，包括：

所述终端响应于用户对所述3D场景应用的操作事件，将所述操作事件进行封装后得到所述操作信息。

4.一种3D场景交互方法，其特征在于，所述方法应用于渲染服务器，所述渲染服务器上安装有3D场景模型，所述方法包括：

获取信令服务器发送的连接请求指令；其中，所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有3D场景应用；

与终端建立连接；

生成3D场景模型启动视频流；

将所述3D场景模型启动视频流发送至所述终端进行解码展示；

获取信令服务器发送的3D场景应用控制指令；其中，所述3D场景应用控制指令是所述信令服务器响应所述终端发送的操作信息生成的，所述终端响应于用户对3D场景应用的操作生成所述操作信息；

生成操作结果动作视频流；

将所述操作结果动作视频流发送至所述终端进行解码展示。

5.根据权利要求4所述的3D场景交互方法，其特征在于，所述3D场景应用控制指令通过socket tcp/udp协议从所述信令服务器获取，所述3D场景应用控制指令包括流媒体控制指令和3D场景模型操作指令，所述操作信息包括流媒体控制信息和3D场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述3D场景模型操作指令是所述信令服务器响应所述终端发送的3D场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过sockettcp/udp协议将所述流媒体控制信息或者所述3D场景模型控制信息发送至所述信令服务器；

响应所述3D场景应用控制指令生成操作结果动作视频流，包括：

根据所述流媒体控制指令或者所述3D场景模型操作指令对所述3D场景模型按照DirectX协议和OpenGL协议进行场景渲染，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；

将所述操作结果动作视频流发送至所述终端进行解码展示，包括：

将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。

6.一种3D场景交互方法，其特征在于，所述方法应用于终端，所述终端上安装有3D场景应用，所述方法包括：

向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至渲染服务器；

与所述渲染服务器建立连接；

接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；其中，所述渲染服务器安装有3D场景模型，所述3D场景模型启动视频流是所述渲染服务器响应所述连接请求指令生成的；

响应于用户对所述3D场景应用的操作并生成操作信息；

将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的3D场景应用控制指令并将所述3D场景应用控制指令发送至渲染服务器；

接收所述渲染服务器发送的操作结果动作视频流并解码展示，其中，所述操作结果动作视频流是所述渲染服务器响应所述3D场景应用控制指令生成的。

7.一种3D场景交互装置，其特征在于，所述装置应用于信令服务器，所述装置包括：

信令服务器第一获取模块，用于获取终端发送的连接请求信息；其中，所述终端上安装有3D场景应用；

信令服务器第一发送模块，用于根据所述连接请求信息向安装有3D场景模型的渲染服务器发送连接请求指令，以使所述渲染服务器响应所述连接请求指令与所述终端建立连接并生成3D场景模型启动视频流，并将所述3D场景模型启动视频流发送至所述终端进行解码展示；

信令服务器第二获取模块，用于获取终端发送的操作信息；其中，所述终端响应于用户对所述3D场景应用的操作生成所述操作信息；

信令服务器处理模块，用于将所述操作信息解析成相对应的3D场景应用控制指令；

信令服务器第二发送模块，用于将所述3D场景应用控制指令发送至安装有3D场景模型的渲染服务器，以使所述渲染服务器响应所述3D场景应用控制指令生成操作结果动作视频流，并将所述操作结果动作视频流发送至所述终端进行解码展示。

8.一种3D场景交互装置，其特征在于，所述装置应用于渲染服务器，所述渲染服务器上安装有3D场景模型，所述装置包括：

渲染服务器第一获取模块，用于获取信令服务器发送的连接请求指令；其中，所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有3D场景应用；

渲染服务器连接模块，用于与终端建立连接；

渲染服务器第一处理模块，用于生成3D场景模型启动视频流；

渲染服务器第一发送模块，用于将所述3D场景模型启动视频流发送至所述终端进行解码展示；

渲染服务器第二获取模块，用于获取信令服务器发送的3D场景应用控制指令；其中，所述3D场景应用控制指令是所述信令服务器响应终端发送的操作信息生成的，所述终端响应于用户对3D场景应用的操作生成所述操作信息；

渲染服务器第二处理模块，用于生成操作结果动作视频流；

渲染服务器第二发送模块，用于将所述操作结果动作视频流发送至所述终端进行解码展示。

9.一种3D场景交互装置，其特征在于，所述装置应用于终端，所述终端上安装有3D场景应用，所述装置包括：

终端第一获取模块，用于向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至渲染服务器；

终端连接模块，用于与所述渲染服务器建立连接；

终端第一接收模块，用于接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；其中，所述渲染服务器安装有3D场景模型，所述3D场景模型启动视频流是所述渲染服务器响应所述连接请求指令生成的；

终端第二获取模块，响应于用户对所述3D场景应用的操作并生成操作信息；

终端发送模块，用于将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的3D场景应用控制指令并将所述3D场景应用控制指令发送至渲染服务器；

终端第二接收模块，用于接收所述渲染服务器发送的操作结果动作视频流并解码展示，其中，所述渲染服务器安装有3D场景模型，所述操作结果动作视频流是所述渲染服务器响应所述3D场景应用控制指令生成的。

10.一种3D场景交互系统，其特征在于，所述系统包括终端、信令服务器和渲染服务器；所述终端上安装有3D场景应用，所述渲染服务器上安装有3D场景模型；

所述终端，用于向信令服务器发送连接请求信息，与所述渲染服务器建立连接；接收所述渲染服务器发送的3D场景模型启动视频流并解码展示；还用于响应于用户对所述3D场景应用的操作生成操作信息，将所述操作信息发送至信令服务器；接收所述渲染服务器发送的操作结果动作视频流并解码展示；

所述信令服务器，用于响应所述连接请求信息生成连接请求指令，并将连接请求指令发送至渲染服务器；还用于将所述操作信息解析成相对应的3D场景应用控制指令，将所述3D场景应用控制指令发送至渲染服务器；

所述渲染服务器，用于响应所述连接请求指令与终端建立连接，响应所述连接请求指令生成3D场景模型启动视频流，将所述3D场景模型启动视频流发送至终端；还用于响应所述3D场景应用控制指令生成操作结果动作视频流，将所述操作结果动作视频流发送至终端。

Images