CN107370714A - 面向云渲染的高效通讯方法 - Google Patents

Abstract

本发明涉及一种面向云渲染的高效通讯方法，包括数据流的通讯和控制流的通讯，所述数据流的通讯包括预渲染、捕获多媒体音视频频、音视频解码，所述控制流的通讯包括捕获客户端的交互事件、回放控制流、场景渲染。优点在于：基于渲染对象的当前状态、场景漫游行为和客户端的交互操作行为，通过空间预测和时间预测，对场景进行预渲染，从而降低了服务器向客户端传输渲染画面时的延迟时间。服务器向客户端实时传输渲染画面，渲染中间成果可以保存，避免了由于一些突发错误而导致渲染中断带来的渲染时间浪费。允许客户端在线编辑场景，客户端对场景的修改会实时传输给服务器，服务器也会实时响应客户端的交互操作，从而为客户端提供最新的渲染结果。

Description

面向云渲染的高效通讯方法

技术领域

本发明涉及通讯领域，特别涉及一种面向云渲染的高效通讯方法。在多人在线的大场景高清云渲染系统中，通过预渲染及对音视频和控制流的编码、解码来实现服务器与客户端之间音视频及控制流的传输方法。

背景技术

目前市场上的云渲染系统主要是采用大型的服务器集群，将3D程序放在远程的服务器中渲染，用户终端通过Web软件并借助高速互联网接入访问资源，指令从用户终端中发出，服务器根据指令执行对应的渲染任务，而渲染结果画面则被传送回用户终端中加以显示。在这样的云渲染系统中，服务器与客户端之间的通讯主要负责在服务器把一个渲染任务执行完毕后，把整个渲染结果传输给客户端。在渲染的过程中，一旦出现错误，之前的渲染结果没有及时传输给客户端，就会导致渲染失败，并且之前的渲染结果不能被提取。另外，当用户需要修改场景时，用户必须将场景修改后重新上传至云渲染系统，再来重新渲染，这样就会多花费大量时间，之前的渲染结果也被浪费。

现有的云渲染系统中的通讯方式过于简单，只能将渲染画面传输给客户端进行显示，且对网络带宽、客户端配置等要求都很高，通讯效率极低，无法实时响应客户端的交互事件，渲染画面的质量也无法保证。多人在线的大场景高清云渲染系统，旨在实现一个可以支持多人在线编辑、高效云渲染、高效通讯的多媒体开发渲染平台，时效性是该平台的重要指标之一，因此对通讯的效率要求很高，目前市场上的云渲染通讯技术对于实现这样一个平台是远远不够的。

发明内容

本发明的目的在于提供一种面向云渲染的高效通讯方法，克服现有的云渲染系统的通讯技术中速度慢、丢帧、无实时响应、对客户端配置要求高等问题。

本发明的上述目的通过以下技术方案实现：

面向云渲染的高效通讯方法，包括数据流的通讯和控制流的通讯，所述数据流的通讯，具体方法包括如下步骤：

（1）预渲染：基于渲染对象的当前状态、场景漫游行为和客户端的交互操作行为，通过空间预测和时间预测，对渲染对象在未来规定时间内的状态进行预测并在服务器上执行预渲染；

（2）捕获多媒体音视频：

（2.1）利用图形设备接口GDI或Direct API来捕获视频帧，被捕获的视频帧支持RGBA、BGRA和YUV420P格式，并且具备较高的扩展性，以兼容其他的像素格式，同时将捕获的视频帧加上时间戳并拷贝到视频帧缓冲区，在缓冲区里对每一视频帧进行编码；

（2.2）利用WASAPI（Windows音频会话API）从音频设备中来捕获音频帧，同时将捕获的音频帧拷贝到音频缓冲区，在缓冲区里对每一音频帧进行编码；编码后的音视频被通过RTST（Real Time Streaming Protocol实时流传输协议）、RTP（Real-time TransportProtocol实时传输协议）、RTCP（Realtime Transport Control Protocol实时传输控制协议）传输给客户端；

（3）音视频解码：客户端接收到编码的音视频帧后，将音视频帧分别存入音频缓冲区和视频缓冲区，同时解码每个音频帧，并在解码后的音频帧存入音频缓冲区，解码每个视频帧，并将解码后存的视频帧入视频缓冲区，客户端在缓冲区中依次读取解码后的音频帧和视频帧，并显示在客户端上。

所述的控制流的通讯，具体方法包括如下步骤：

（1） 捕获客户端的交互事件：将客户端的交互操作，包括鼠标操作、键盘操作、触屏操作等，转化为服务器能够识别的格式，并通过TCP协议传输给服务器；

（2）回放控制流：服务器接收客户端传输来的控制流，依次逐个解析控制流中的交互操作，并在服务器的场景中回放该交互操作，从而计算该交互操作后场景的变化；

（3）场景渲染：按照数据流的传输方法进行控制流回放后的渲染计算及数据传输。

本发明的有益效果在于：

1．基于渲染对象的当前状态、场景漫游行为和客户端的交互操作行为，通过空间预测和时间预测，对场景进行预渲染，从而降低了服务器向客户端传输渲染画面时的延迟时间。

2．服务器向客户端实时传输渲染画面，渲染中间成果可以保存，避免了由于一些突发错误而导致渲染中断带来的渲染时间浪费。

3．允许客户端在线编辑场景，客户端对场景的修改会实时传输给服务器，服务器也会实时响应客户端的交互操作，从而为客户端提供最新的渲染结果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的云服务器端各模块关系及网络连接示意图；

图2为本发明的云服务器端流程图；

图3为本发明的客户端各模块关系及网络连接示意图；

图4为本发明的客户端流程图。

具体实施方式

下面结合附图进一步说明本发明的详细内容及其具体实施方式。

参见图1至图4所示，本发明的面向云渲染的高效通讯方法，包括数据流的通讯和控制流的通讯，所述数据流的通讯，具体方法包括如下步骤：

（1）预渲染：基于渲染对象的当前状态、场景漫游行为和客户端的交互操作行为，通过空间预测和时间预测，对渲染对象在未来规定时间内的状态进行预测并在服务器上执行预渲染；

（2）捕获多媒体音视频：

（2.1）利用图形设备接口GDI或Direct API来捕获视频帧，被捕获的视频帧支持RGBA、BGRA和YUV420P格式，并且具备较高的扩展性，以兼容其他的像素格式，同时将捕获的视频帧加上时间戳并拷贝到视频帧缓冲区，在缓冲区里对每一视频帧进行编码；

（2.2）利用WASAPI（Windows音频会话API）从音频设备中来捕获音频帧，同时将捕获的音频帧拷贝到音频缓冲区，在缓冲区里对每一音频帧进行编码；编码后的音视频被通过RTST（Real Time Streaming Protocol实时流传输协议）、RTP（Real-time TransportProtocol实时传输协议）、RTCP（Realtime Transport Control Protocol实时传输控制协议）传输给客户端；

（3）音视频解码：客户端接收到编码的音视频帧后，将音视频帧分别存入音频缓冲区和视频缓冲区，同时解码每个音频帧，并在解码后的音频帧存入音频缓冲区，解码每个视频帧，并将解码后存的视频帧入视频缓冲区，客户端在缓冲区中依次读取解码后的音频帧和视频帧，并显示在客户端上。

所述的控制流的通讯，具体方法包括如下步骤：

（1） 捕获客户端的交互事件：将客户端的交互操作，包括鼠标操作、键盘操作、触屏操作等，转化为服务器能够识别的格式，并通过TCP协议传输给服务器；

（2）回放控制流：服务器接收客户端传输来的控制流，依次逐个解析控制流中的交互操作，并在服务器的场景中回放该交互操作，从而计算该交互操作后场景的变化；

（3）场景渲染：按照数据流的传输方法进行控制流回放后的渲染计算及数据传输。

实施例1：

本发明包括服务器和多台客户端，其中产生交互事件的客户端为客户端x。面向云渲染的高效通讯方法，该方法包括数据流的通讯和控制流的通讯。

数据流的通讯方法包括如下步骤：

1、预渲染：基于渲染对象的当前状态、场景漫游行为和客户端x的交互操作行为，通过空间预测和时间预测，对渲染对象在未来规定时间内的状态进行预测并在服务器上执行预渲染。

2、捕获多媒体音视频频：

a、利用GDI（图形设备接口）或Direct API来捕获渲染帧（被捕获的帧支持RGBA、BGRA和YUV420P格式，并且具备较高的扩展性，以兼容其他的像素格式），同时将捕获的视频帧加上时间戳并拷贝到视频帧缓冲区，在缓冲区里对每一视频帧进行编码；b 利用WASAPI（Windows音频会话API）从音频设备中来捕获音频帧，同时将捕获的音频帧拷贝到音频缓冲区，在缓冲区里对每一音频帧进行编码。编码后的音视频被通过RTST（Real TimeStreaming Protocol实时流传输协议）、RTP（Real-time Transport Protocol实时传输协议）、RTCP（Realtime Transport Control Protocol实时传输控制协议）传输给客户端x；

3、音视频解码：客户端接收到编码的音视频帧后，将音视频帧分别存入音频缓冲区和视频缓冲区，同时依次对每一帧解码，解码完毕后存入缓冲区，并依次将该帧显示在客户端x上。

控制流的通讯方法包括如下步骤：

1 、捕获客户端的交互事件：将客户端x的交互事件（鼠标操作、键盘操作、触屏操作等）转化为服务器能够识别的格式，并通过TCP协议传输给服务器；

2、回放控制流：服务器接收客户端x传输来的控制流，依次逐个解析控制流中的交互操作，并在服务器的场景中回放该操作，从而计算该操作后场景的变化；

3、场景渲染：按照数据流的传输方法进行控制流回放后的渲染计算及数据传输；

实施例2：

参见图1，本发明的云服务器端由云渲染集群构成，通过音视频流将音频和视频信息传给客户端，客户端通过交互控制流将交互信息传给云服务器。云服务器端主要包含网络通信模块、运行监控模块、音视频编码模块、交互控制流解码模块、轻量化模块、云渲染共五个模块。网络通信模块主要负责连接客户端、网络传输等网络控制；运行监控模块主要负责监控运行时的状态，并进行实时有效的响应；音视频编码模块主要负责将位于云服务器上的音频和视频编码，用于传输给客户端；交互控制流解码模块主要负责将客户端传来的交互控制进行解码分析，并实时响应到场景中，同时将响应结果传给客户端。服务器端的通讯方式包括数据流连接和控制流连接。数据流连接方面，服务器端将捕获到的多媒体音频放入音频源中，同时启动音频编码器，然后形成音频帧并写入音频缓冲区中，音频帧从这里被传给音频编码器，编码后的音频被发送给客户端。视频遵循同样的处理方式被发送给客户端。控制流连接方面，服务器将从客户端接收到的交互事件传给输入重播处理器，输入重播处理器将交互事件在服务器上进行重播，并继续后续的数据流处理。

参见图2，本发明的云服务器端的流程如下：（1）进行系统初始化；（2）检查硬件环境是否正常，而后启动渲染线程；（3）判断是否有新的客户端连接进入，若有，则添加新的连接，若没有，则处理当前在线的客户端发送来的请求，并处理交互控制流，同时发送渲染数据流。（4）处理一次完毕后判断某个客户端是否退出，若不退出，则继续执行（3），若退出，则断开该客户端的连接，并将该客户端退出。

实施例3：

参见图3，本发明的客户端是多个客户终端的集合，包含网络通信模块、音视频解码模块、交互控制流编码模块和交互式编辑器，共四个模块。网络通信模块主要负责连接服务器、网络传输等网络控制；音视频解码模块主要负责将云服务器端传来的音视频解码，并显示在客户端；交互控制流编码模块主要负责将客户端机器上的交互操作进行编码，并通过网络通信模块传输给云服务器端；交互式编辑器是位于客户端上带有图形编辑界面并可实时编辑场景的编辑器，包括创建几何体、创建光源、移动\旋转\缩放、物体纹理\光照、导入模型文件\包、创建脚本、创建着色器、创建材质、绑定动画\脚本\组建等功能。另外，在使用交互式编辑器的过程中，系统会将所有的交互传给交互控制流编码模块进行编码。客户端由游戏交互、SDL（Simple DirectMedia Layer，即自由的跨平台多媒体开发包）和输入事件处理模块组成。数据流连接方面，客户端将服务器传来的编码音频帧和编码视频帧分别送入音频缓冲区和视频缓冲区，然后通过SDL进行解码并渲染到客户端。控制流连接方面，在客户端的输入事件处理模块中，将交互事件传给主进程处理，在这里进行编码，并发送给服务器端。

参见图4，本发明的客户端流程如下：（1）进行系统初始化；（2）检查云端服务器状态，并判断云服务器是否存在，若存在，则尝试连接服务器，若不存在则退出。（3）判断是否成功连接服务器，若连接成功，则执行（4），若连接不成功，则退出；（4）接收从云服务器传来的数据流，并将数据流显示在客户端上，此时若有交互产生，则将交互数据流传给服务器，并判断是否退出，若不退出，则继续执行（4），若退出，则进行数据清理后退出系统。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种面向云渲染的高效通讯方法，其特征在于：包括数据流的通讯和控制流的通讯，所述数据流的通讯，具体方法包括如下步骤：

（1）预渲染：基于渲染对象的当前状态、场景漫游行为和客户端的交互操作行为，通过空间预测和时间预测，对渲染对象在未来规定时间内的状态进行预测并在服务器上执行预渲染；

（2）捕获多媒体音视频：

（2.1）利用图形设备接口GDI或Direct API来捕获视频帧，被捕获的视频帧支持RGBA、BGRA和YUV420P格式，同时将捕获的视频帧加上时间戳并拷贝到视频帧缓冲区，在缓冲区里对每一视频帧进行编码；

（2.2）利用WASAPI从音频设备中来捕获音频帧，同时将捕获的音频帧拷贝到音频缓冲区，在缓冲区里对每一音频帧进行编码；编码后的音视频被通过RTST实时流传输协议、RTP实时传输协议、RTCP实时传输控制协议传输给客户端；

（3）音视频解码：客户端接收到编码的音视频帧后，将音视频帧分别存入音频缓冲区和视频缓冲区，同时解码每个音频帧，并在解码后的音频帧存入音频缓冲区，解码每个视频帧，并将解码后存的视频帧入视频缓冲区，客户端在缓冲区中依次读取解码后的音频帧和视频帧，并显示在客户端上。

2.根据权利要求1所述的面向云渲染的高效通讯方法，其特征在于：所述的控制流的通讯，具体方法包括如下步骤：

（1） 捕获客户端的交互事件：将客户端的交互操作，包括鼠标操作、键盘操作、触屏操作，转化为服务器能够识别的格式，并通过TCP协议传输给服务器；

（2）回放控制流：服务器接收客户端传输来的控制流，依次逐个解析控制流中的交互操作，并在服务器的场景中回放该交互操作，从而计算该交互操作后场景的变化；

（3）场景渲染：按照数据流的传输方法进行控制流回放后的渲染计算及数据传输。