CN105791977B - 基于云服务的虚拟现实数据处理方法、设备及系统 - Google Patents

基于云服务的虚拟现实数据处理方法、设备及系统 Download PDF

Info

Publication number
CN105791977B
CN105791977B CN201610108738.9A CN201610108738A CN105791977B CN 105791977 B CN105791977 B CN 105791977B CN 201610108738 A CN201610108738 A CN 201610108738A CN 105791977 B CN105791977 B CN 105791977B
Authority
CN
China
Prior art keywords
image
frame
virtual reality
control message
device control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610108738.9A
Other languages
English (en)
Other versions
CN105791977A (zh
Inventor
马茜
牛长锋
韩坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu shiboyun Information Technology Co., Ltd
Original Assignee
BEIJING CYBER CLOUD TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING CYBER CLOUD TECHNOLOGY Co Ltd filed Critical BEIJING CYBER CLOUD TECHNOLOGY Co Ltd
Priority to CN201610108738.9A priority Critical patent/CN105791977B/zh
Publication of CN105791977A publication Critical patent/CN105791977A/zh
Application granted granted Critical
Publication of CN105791977B publication Critical patent/CN105791977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种基于云服务的虚拟现实数据处理方法、设备及系统，涉及虚拟现实技术领域。方法包括：根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集；将所述设备控制信息发送给网络服务器设备；接收网络服务器设备发送的图像帧码流信息；对所述图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对所述图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。本发明可以解决当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。

Description

基于云服务的虚拟现实数据处理方法、设备及系统
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种基于云服务的虚拟现实数据处理方法、设备及系统。
背景技术
虚拟现实技术是一种利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势、头部运动等自然的方式与之进行实时交互的新型技术。目前，虚拟现实技术已经在医学、电子游戏、电影、军事航天等领域得到了广泛的应用。
随着虚拟现实技术的不断发展和进步，各类虚拟现实的应用及设备浮出市场，而虚拟现实所处理的数据也逐渐呈现出大数据量和大计算量等特点，导致虚拟现实应用的正常运转对于计算设备的性能需求很高。虽然虚拟现实设备自身并没有那么贵，不过其所需配置的计算机由于计算设备性能的提升而价格不菲。这也就必然带来的是用户成本的增加，对虚拟现实的普及造成很大的影响。可见，当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
发明内容
本发明的实施例提供一种基于云服务的虚拟现实数据处理方法、设备及系统，以解决当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
为达到上述目的，本发明采用如下技术方案：
一种基于云服务的虚拟现实数据处理方法，包括：
根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集；
将所述设备控制信息发送给网络服务器设备；
接收网络服务器设备发送的图像帧码流信息；
对所述图像帧码流信息进行解码，获取得到图像解码帧；
根据预先设置的应用场景需求策略对所述图像解码帧进行处理；
将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
进一步的，在根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集之后，包括：
解析所述设备控制信息，判断所述设备控制信息是否满足预先设置的本地渲染条件；
若所述设备控制信息满足预先设置的本地渲染条件，根据所述设备控制信息对当前运动下的图像信息进行渲染，生成本地渲染图像帧；
根据预先设置的应用场景需求策略对所述本地渲染图像帧进行处理；
将处理后的本地渲染图像帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
具体的，将所述设备控制信息发送给网络服务器设备，包括：
若所述设备控制信息不满足预先设置的本地渲染条件，将所述设备控制信息发送给网络服务器设备。
一种基于云服务的虚拟现实数据处理方法，包括：
接收客户端设备发送的设备控制信息；
根据所述设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；
根据预先设置的应用场景需求策略对所述应用图像帧进行处理；
将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；
将所述图像帧码流信息发送给所述客户端设备。
具体的，根据所述设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧，包括：
将所述设备控制信息转换为网络服务器设备所对应的输入信号；
根据所述输入信号对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧。
一种客户端设备，包括：
控制设备单元，用于根据控制设备的动作指令生成设备控制信息；
控制信息采集单元，用于对所述设备控制信息进行采集；
网络收发单元，用于将所述设备控制信息发送给网络服务器设备，并接收网络服务器设备发送的图像帧码流信息；
图像帧解码解调单元，用于对所述图像帧码流信息进行解码，获取得到图像解码帧；
虚拟现实图像帧处理单元，用于根据预先设置的应用场景需求策略对所述图像解码帧进行处理；
虚拟现实图像绘图单元，用于将处理后的图像解码帧进行虚拟现实图像绘制；
显示单元，用于将绘制后的虚拟现实图像进行显示。
进一步的，该客户端设备，还包括：
渲染视角预测单元，用于解析所述设备控制信息，判断所述设备控制信息是否满足预先设置的本地渲染条件；在所述设备控制信息满足预先设置的本地渲染条件时，根据所述设备控制信息对当前运动下的图像信息进行渲染，生成本地渲染图像帧；
所述虚拟现实图像帧处理单元，还用于根据预先设置的应用场景需求策略对所述本地渲染图像帧进行处理；
所述虚拟现实图像绘图单元，还用于将处理后的本地渲染图像帧进行虚拟现实图像绘制。
此外，所述网络收发单元，具体用于：
在所述设备控制信息不满足预先设置的本地渲染条件时，将所述设备控制信息发送给网络服务器设备。
一种网络服务器设备，包括：
网络收发单元，用于接收客户端设备发送的设备控制信息；
虚拟现实应用图像渲染单元，用于根据所述设备控制信息对当前网络服务器设备应用图像进行渲染；
图像帧采集单元，用于采集渲染后的应用图像帧；
虚拟现实图像帧处理单元，用于根据预先设置的应用场景需求策略对所述应用图像帧进行处理；
图像帧编码调制单元，用于将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；
所述网络收发单元，还用于将所述图像帧码流信息发送给所述客户端设备。
进一步的，该网络服务器设备，还包括：
终端响应组件单元，用于将所述设备控制信息转换为网络服务器设备所对应的输入信号；
所述虚拟现实应用图像渲染单元，具体用于根据所述输入信号对当前网络服务器设备应用图像进行渲染。
一种基于云服务的虚拟现实数据处理系统，包括客户端设备和与客户端设备网络连接的网络服务器设备；
所述客户端设备，用于根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集；将所述设备控制信息发送给网络服务器设备；
所述网络服务器设备，用于根据所述设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对所述应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将所述图像帧码流信息发送给所述客户端设备；
所述客户端设备，还用于对所述图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对所述图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
本发明实施例提供的基于云服务的虚拟现实数据处理方法、设备及系统，客户端设备可以根据控制设备的动作指令生成设备控制信息，并将设备控制信息发送给网络服务器设备。从而使得网络服务器设备根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将图像帧码流信息发送给客户端设备。进而客户端设备对图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。可见，本发明通过将应用图像渲染和图像帧处理放置于网络服务器端，例如云服务器进行处理，大大降低了本地计算机的性能需求，避免了当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于云服务的虚拟现实数据处理方法的流程图一；
图2为本发明实施例提供的基于云服务的虚拟现实数据处理方法的流程图二；
图3为本发明实施例提供的基于云服务的虚拟现实数据处理方法的流程图三；
图4为本发明实施例提供的一种客户端设备的结构示意图；
图5为本发明实施例提供的一种网络服务器设备的结构示意图；
图6为本发明实施例提供的一种基于云服务的虚拟现实数据处理系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于云服务的虚拟现实数据处理方法，从客户端设备侧进行阐述，该方法包括：
步骤101、根据控制设备的动作指令生成设备控制信息，并对设备控制信息进行采集。
步骤102、将设备控制信息发送给网络服务器设备。
步骤103、接收网络服务器设备发送的图像帧码流信息。
步骤104、对图像帧码流信息进行解码，获取得到图像解码帧。
步骤105、根据预先设置的应用场景需求策略对图像解码帧进行处理。
步骤106、将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
此外，如图2所示，本发明实施例提供一种基于云服务的虚拟现实数据处理方法，从网络服务器设备侧进行阐述，该方法包括：
步骤201、接收客户端设备发送的设备控制信息。
步骤202、根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧。
步骤203、根据预先设置的应用场景需求策略对应用图像帧进行处理。
步骤204、将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息。
步骤205、将图像帧码流信息发送给客户端设备。
本发明实施例提供的基于云服务的虚拟现实数据处理方法，客户端设备可以根据控制设备的动作指令生成设备控制信息，并将设备控制信息发送给网络服务器设备。从而使得网络服务器设备根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将图像帧码流信息发送给客户端设备。进而客户端设备对图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。可见，本发明通过将应用图像渲染和图像帧处理放置于网络服务器端，例如云服务器进行处理，大大降低了本地计算机的性能需求，避免了当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
为了使本领域的技术人员更好的理解本发明，下面列举一个更为详细的实施例，如图3所示，本发明实施例提供的基于云服务的虚拟现实数据处理方法，包括：
步骤301、客户端设备根据控制设备的动作指令生成设备控制信息，并对设备控制信息进行采集。
此处，设备控制信息一般可以为虚拟现实控制设备的头盔运动信息，鼠标、键盘等外设操作信息、手机的陀螺仪信息等，但不仅局限于此。
步骤302、客户端设备解析设备控制信息，判断设备控制信息是否满足预先设置的本地渲染条件。
若设备控制信息满足预先设置的本地渲染条件，执行步骤303；否则，若设备控制信息不满足预先设置的本地渲染条件，执行步骤306。
此处的本地渲染条件可以是当前控制设备运动信息在本地渲染的视角阈值范围内，其视角阈值范围根据不同的应用自由定义，但不仅局限于此。
步骤303、客户端设备根据设备控制信息对当前运动下的图像信息进行渲染，生成本地渲染图像帧。
步骤304、客户端设备根据预先设置的应用场景需求策略对本地渲染图像帧进行处理。
此处，根据预先设置的应用场景需求策略对本地渲染图像帧进行处理可以包括但不限于如下例子：
例如将RGBA图像帧进行透镜扭曲化处理，得到处理后的新的RGBA图像帧。这样，处理后的图像更加适合虚拟现实眼镜等设备进行播放。
又例如，当虚拟现实应用对输出帧率要求较高时，例如需要虚拟现实设备显示帧率为90fps，然而网络服务器设备的采集帧率为60fps，则需要对解码后的图像帧进行时间扭曲化处理，即将图像帧进行时间轴的插帧渲染，以90fps的图像帧帧率输出。
步骤305、客户端设备将处理后的本地渲染图像帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
步骤306、客户端设备将设备控制信息发送给网络服务器设备。
步骤307、网络服务器设备将设备控制信息转换为网络服务器设备所对应的输入信号。
步骤308、网络服务器设备根据输入信号对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧。
步骤309、网络服务器设备根据预先设置的应用场景需求策略对应用图像帧进行处理。
步骤310、网络服务器设备将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息。
此处预先设置的终端编码格式可以有H.264、MPEG-2、AVS等，但不仅局限于此。
步骤311、网络服务器设备将图像帧码流信息发送给客户端设备。
步骤312、客户端设备对图像帧码流信息进行解码，获取得到图像解码帧。
步骤313、客户端设备根据预先设置的应用场景需求策略对图像解码帧进行处理。
步骤314、客户端设备将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
对应于上述步骤301至步骤314，下面列举一个应用实例，例如：
不失一般性，我们假设当前应用场景中终端设备采用虚拟现实头盔，服务端渲染帧率为60fps，终端显示帧率为90fps，且采集图像的格式为RGBA，编码标准采用H.264。具体过程如下：
网络服务器设备侧：
①虚拟现实应用的可执行程序运行于网络服务器设备端，并渲染输出画面。
②虚拟现实应用响应终端组件的操作信息，即根据终端当前头盔运动信息(HeadMotion)、鼠标、键盘等操作，渲染新的应用画面。
③图像帧采集单元采集当前虚拟现实应用的图像画面image.rgba，且采集帧率为60fps，即每一秒钟内均匀的采集60帧。
④对于每一帧采集到的图像image.rgba，虚拟现实图像帧处理单元进行透镜扭曲化处理，得到处理后的图像postimage.rgba。
⑤编码postimage.rgba图像帧为encoded.264码流。
⑥将编码后的码流信息encoded.264以及当前渲染图像的头盔运动信息HeadMotion打包发送给客户端设备。
客户端设备侧：
①网络收发单元接收网络服务器设备端打包发送的码流信息，并解析解码后得到解码帧图像decoded.rgba以及当前头盔运动信息HeadMotion。
②解码后的图像送入虚拟现实图像帧处理单元，进行时间扭曲处理，以90fps的帧率输出display.rgba图像给虚拟现实图像绘图单元。
③虚拟现实图像绘图单元绘制图像display.rgba并输出给虚拟现实头盔的显示设备进行显示。
④控制设备单元采集当前终端信息，即鼠标信息、键盘信息、头盔运动信息等，若图像的无平移运动，且旋转视角小于5°，则跳转至渲染视角预测单元。若不是则终端信息发送给网络服务器设备端。
⑤渲染视角预测单元根据终端信息以及前几帧图像信息渲染当前运动下的图像信息，得到图像render.rgba，并将其输出给虚拟现实图像帧处理单元，后续流程与步骤②相同。
本发明实施例提供的基于云服务的虚拟现实数据处理方法，客户端设备可以根据控制设备的动作指令生成设备控制信息，并将设备控制信息发送给网络服务器设备。从而使得网络服务器设备根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将图像帧码流信息发送给客户端设备。进而客户端设备对图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。可见，本发明通过将应用图像渲染和图像帧处理放置于网络服务器端，例如云服务器进行处理，大大降低了本地计算机的性能需求，避免了当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
对应于上述图1和图3所对应的方法实施例，如图4所示，本发明实施例提供一种客户端设备，包括：
控制设备单元41，用于根据控制设备的动作指令生成设备控制信息。
控制信息采集单元42，用于对设备控制信息进行采集。
网络收发单元43，用于将设备控制信息发送给网络服务器设备，并接收网络服务器设备发送的图像帧码流信息。
图像帧解码解调单元44，用于对图像帧码流信息进行解码，获取得到图像解码帧。
虚拟现实图像帧处理单元45，用于根据预先设置的应用场景需求策略对图像解码帧进行处理。
虚拟现实图像绘图单元46，用于将处理后的图像解码帧进行虚拟现实图像绘制。
显示单元47，用于将绘制后的虚拟现实图像进行显示。
进一步的，如图4所示，该客户端设备，还可以包括：
渲染视角预测单元48，用于解析设备控制信息，判断设备控制信息是否满足预先设置的本地渲染条件；在设备控制信息满足预先设置的本地渲染条件时，根据设备控制信息对当前运动下的图像信息进行渲染，生成本地渲染图像帧。
虚拟现实图像帧处理单元45，还可以用于根据预先设置的应用场景需求策略对本地渲染图像帧进行处理。
虚拟现实图像绘图单元46，还可以将处理后的本地渲染图像帧进行虚拟现实图像绘制。
此外，网络收发单元43，具体可以在设备控制信息不满足预先设置的本地渲染条件时，将设备控制信息发送给网络服务器设备。
本发明实施例提供的客户端设备的具体实现方式可以参见上述图1和图3所对应的方法实施例，此处不再赘述。
本发明实施例提供的客户端设备，其可以根据控制设备的动作指令生成设备控制信息，并将设备控制信息发送给网络服务器设备。并对接收到的图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。可见，本发明通过将应用图像渲染和图像帧处理放置于网络服务器端，例如云服务器进行处理，大大降低了本地计算机的性能需求，避免了当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
对应于上述图2和图3所对应的方法实施例，如图5所示，本发明实施例提供一种网络服务器设备，包括：
网络收发单元51，用于接收客户端设备发送的设备控制信息。
虚拟现实应用图像渲染单元52，用于根据设备控制信息对当前网络服务器设备应用图像进行渲染。
图像帧采集单元53，用于采集渲染后的应用图像帧。
虚拟现实图像帧处理单元54，用于根据预先设置的应用场景需求策略对应用图像帧进行处理。
图像帧编码调制单元55，用于将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；
该网络收发单元51，还用于将图像帧码流信息发送给客户端设备。
进一步的，如图6所示，该网络服务器设备，还包括：
终端响应组件单元56，用于将设备控制信息转换为网络服务器设备所对应的输入信号；
虚拟现实应用图像渲染单元52，具体可以根据输入信号对当前网络服务器设备应用图像进行渲染。
本发明实施例提供的网络服务器设备的具体实现方式可以参见上述图2和图3所对应的方法实施例，此处不再赘述。
本发明实施例提供的网络服务器设备，可以接收客户端设备的设备控制信息，从而根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将图像帧码流信息发送给客户端设备。可见，本发明通过将应用图像渲染和图像帧处理放置于网络服务器端，例如云服务器进行处理，大大降低了本地计算机的性能需求，避免了当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
如图6所示，本发明实施例提供一种基于云服务的虚拟现实数据处理系统，包括客户端设备61和与客户端设备61网络连接的网络服务器设备62。
客户端设备61，可以根据控制设备的动作指令生成设备控制信息，并对设备控制信息进行采集；将设备控制信息发送给网络服务器设备62。
网络服务器设备62，可以根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将图像帧码流信息发送给客户端设备。
客户端设备61，还可以对图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
本发明实施例提供的基于云服务的虚拟现实数据处理系统，该系统中的客户端设备可以根据控制设备的动作指令生成设备控制信息，并将设备控制信息发送给网络服务器设备。从而使得网络服务器设备根据设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对应用图像帧进行处理；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将图像帧码流信息发送给客户端设备。进而客户端设备对图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。可见，本发明通过将应用图像渲染和图像帧处理放置于网络服务器端，例如云服务器进行处理，大大降低了本地计算机的性能需求，避免了当前本地计算机在处理虚拟现实数据时，可能存在处理性能差，处理速度缓慢，且处理成本较高的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种基于云服务的虚拟现实数据处理方法，其特征在于，包括：
根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集；所述设备控制信息为虚拟现实控制设备的头盔运动信息，鼠标、键盘外设操作信息或手机的陀螺仪信息；
将所述设备控制信息发送给网络服务器设备；
接收网络服务器设备发送的图像帧码流信息；
对所述图像帧码流信息进行解码，获取得到图像解码帧；
根据预先设置的应用场景需求策略对所述图像解码帧进行处理，包括：将图像解码帧进行透镜扭曲化处理，得到适合虚拟现实眼镜播放的处理后的图像解码帧；或者，对图像解码帧进行时间扭曲化处理，得到以目标显示帧率输出的图像解码帧；
将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
2.根据权利要求1所述的基于云服务的虚拟现实数据处理方法，其特征在于，在根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集之后，包括：
解析所述设备控制信息，判断所述设备控制信息是否满足预先设置的本地渲染条件；
若所述设备控制信息满足预先设置的本地渲染条件，根据所述设备控制信息对当前运动下的图像信息进行渲染，生成本地渲染图像帧；
根据预先设置的应用场景需求策略对所述本地渲染图像帧进行处理；
将处理后的本地渲染图像帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
3.根据权利要求2所述的基于云服务的虚拟现实数据处理方法，其特征在于，将所述设备控制信息发送给网络服务器设备，包括：
若所述设备控制信息不满足预先设置的本地渲染条件，将所述设备控制信息发送给网络服务器设备。
4.一种基于云服务的虚拟现实数据处理方法，其特征在于，包括：
接收客户端设备发送的设备控制信息；所述设备控制信息为虚拟现实控制设备的头盔运动信息，鼠标、键盘外设操作信息或手机的陀螺仪信息；
根据所述设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；
根据预先设置的应用场景需求策略对所述应用图像帧进行处理，包括：将图像解码帧进行透镜扭曲化处理，得到适合虚拟现实眼镜播放的处理后的图像解码帧；或者，对图像解码帧进行时间扭曲化处理，得到以目标显示帧率输出的图像解码帧；
将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；
将所述图像帧码流信息发送给所述客户端设备。
5.根据权利要求4所述的基于云服务的虚拟现实数据处理方法，其特征在于，根据所述设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧，包括：
将所述设备控制信息转换为网络服务器设备所对应的输入信号；
根据所述输入信号对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧。
6.一种客户端设备，其特征在于，包括：
控制设备单元，用于根据控制设备的动作指令生成设备控制信息；
控制信息采集单元，用于对所述设备控制信息进行采集；所述设备控制信息为虚拟现实控制设备的头盔运动信息，鼠标、键盘外设操作信息或手机的陀螺仪信息；
网络收发单元，用于将所述设备控制信息发送给网络服务器设备，并接收网络服务器设备发送的图像帧码流信息；
图像帧解码解调单元，用于对所述图像帧码流信息进行解码，获取得到图像解码帧；
虚拟现实图像帧处理单元，用于根据预先设置的应用场景需求策略对所述图像解码帧进行处理，包括：将图像解码帧进行透镜扭曲化处理，得到适合虚拟现实眼镜播放的处理后的图像解码帧；或者，对图像解码帧进行时间扭曲化处理，得到以目标显示帧率输出的图像解码帧；
虚拟现实图像绘图单元，用于将处理后的图像解码帧进行虚拟现实图像绘制；
显示单元，用于将绘制后的虚拟现实图像进行显示。
7.根据权利要求6所述的客户端设备，其特征在于，还包括：
渲染视角预测单元，用于解析所述设备控制信息，判断所述设备控制信息是否满足预先设置的本地渲染条件；在所述设备控制信息满足预先设置的本地渲染条件时，根据所述设备控制信息对当前运动下的图像信息进行渲染，生成本地渲染图像帧；
所述虚拟现实图像帧处理单元，还用于根据预先设置的应用场景需求策略对所述本地渲染图像帧进行处理；
所述虚拟现实图像绘图单元，还用于将处理后的本地渲染图像帧进行虚拟现实图像绘制。
8.根据权利要求7所述的客户端设备，其特征在于，所述网络收发单元，具体用于：
在所述设备控制信息不满足预先设置的本地渲染条件时，将所述设备控制信息发送给网络服务器设备。
9.一种网络服务器设备，其特征在于，包括：
网络收发单元，用于接收客户端设备发送的设备控制信息；所述设备控制信息为虚拟现实控制设备的头盔运动信息，鼠标、键盘外设操作信息或手机的陀螺仪信息；
虚拟现实应用图像渲染单元，用于根据所述设备控制信息对当前网络服务器设备应用图像进行渲染；
图像帧采集单元，用于采集渲染后的应用图像帧；
虚拟现实图像帧处理单元，用于根据预先设置的应用场景需求策略对所述应用图像帧进行处理，包括：将图像解码帧进行透镜扭曲化处理，得到适合虚拟现实眼镜播放的处理后的图像解码帧；或者，对图像解码帧进行时间扭曲化处理，得到以目标显示帧率输出的图像解码帧；
图像帧编码调制单元，用于将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；
所述网络收发单元，还用于将所述图像帧码流信息发送给所述客户端设备。
10.根据权利要求9所述的网络服务器设备，其特征在于，还包括：
终端响应组件单元，用于将所述设备控制信息转换为网络服务器设备所对应的输入信号；
所述虚拟现实应用图像渲染单元，具体用于根据所述输入信号对当前网络服务器设备应用图像进行渲染。
11.一种基于云服务的虚拟现实数据处理系统，其特征在于，包括客户端设备和与客户端设备网络连接的网络服务器设备；
所述客户端设备，用于根据控制设备的动作指令生成设备控制信息，并对所述设备控制信息进行采集；将所述设备控制信息发送给网络服务器设备；所述设备控制信息为虚拟现实控制设备的头盔运动信息，鼠标、键盘外设操作信息或手机的陀螺仪信息；
所述网络服务器设备，用于根据所述设备控制信息对当前网络服务器设备应用图像进行渲染，并采集渲染后的应用图像帧；根据预先设置的应用场景需求策略对所述应用图像帧进行处理，包括：将图像解码帧进行透镜扭曲化处理，得到适合虚拟现实眼镜播放的处理后的图像解码帧；或者，对图像解码帧进行时间扭曲化处理，得到以目标显示帧率输出的图像解码帧；将处理后的应用图像帧根据预先设置的终端编码格式进行编码压缩，形成图像帧码流信息；将所述图像帧码流信息发送给所述客户端设备；
所述客户端设备，还用于对所述图像帧码流信息进行解码，获取得到图像解码帧；根据预先设置的应用场景需求策略对所述图像解码帧进行处理；将处理后的图像解码帧进行虚拟现实图像绘制，并将绘制后的虚拟现实图像进行显示。
CN201610108738.9A 2016-02-26 2016-02-26 基于云服务的虚拟现实数据处理方法、设备及系统 Active CN105791977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610108738.9A CN105791977B (zh) 2016-02-26 2016-02-26 基于云服务的虚拟现实数据处理方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610108738.9A CN105791977B (zh) 2016-02-26 2016-02-26 基于云服务的虚拟现实数据处理方法、设备及系统

Publications (2)

Publication Number Publication Date
CN105791977A CN105791977A (zh) 2016-07-20
CN105791977B true CN105791977B (zh) 2019-05-07

Family

ID=56402838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610108738.9A Active CN105791977B (zh) 2016-02-26 2016-02-26 基于云服务的虚拟现实数据处理方法、设备及系统

Country Status (1)

Country Link
CN (1) CN105791977B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979763B (zh) * 2016-10-21 2021-07-06 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统
CN106774869B (zh) * 2016-12-08 2020-05-19 广州大西洲科技有限公司 一种实现虚拟现实的方法、装置及虚拟现实头盔
CN108270992A (zh) * 2016-12-30 2018-07-10 联想新视界（北京）科技有限公司 一种智能眼镜
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
WO2018133312A1 (zh) * 2017-01-19 2018-07-26 华为技术有限公司 一种处理的方法及设备
CN108171783A (zh) 2018-03-20 2018-06-15 联想(北京)有限公司 图像渲染方法、系统以及电子设备
CN109375764B (zh) * 2018-08-28 2023-07-18 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN109257339A (zh) * 2018-08-29 2019-01-22 长春博立电子科技有限公司 远程虚拟现实仿真环境的高效交互方法及系统
CN109510990B (zh) * 2018-10-25 2022-03-29 深圳市腾讯信息技术有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN109558243A (zh) * 2018-11-30 2019-04-02 Oppo广东移动通信有限公司 虚拟数据的处理方法、装置、存储介质及终端
CN110751711B (zh) * 2019-09-03 2023-06-30 南京睿悦信息技术有限公司 应用于移动端虚拟/增强现实的远程扩展渲染系统
CN110908519A (zh) * 2019-12-04 2020-03-24 Oppo广东移动通信有限公司 数据处理方法以及电子设备、增强现实设备和存储介质
CN110941342B (zh) * 2019-12-04 2023-07-18 中国联合网络通信集团有限公司 一种数据处理方法、vr终端及服务器
CN111343478A (zh) * 2020-02-21 2020-06-26 深圳市酷开网络科技有限公司 Vr设备数据处理方法、系统、vr一体机及存储介质
CN112309187A (zh) * 2020-10-30 2021-02-02 江苏视博云信息技术有限公司 一种虚拟现实教学方法、装置及系统
CN113709520A (zh) * 2021-09-06 2021-11-26 山东维创精密电子有限公司 一种虚拟现实服务器用的数据整合平台
CN115454637A (zh) * 2022-09-16 2022-12-09 北京字跳网络技术有限公司 图像渲染方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845177A (zh) * 2006-05-17 2006-10-11 浙江大学 基于图像传输的三维远程渲染系统及其方法
CN103095828A (zh) * 2013-01-14 2013-05-08 上海电力学院 基于云渲染的Web3D同步会议系统及实现同步的方法
CN103197757A (zh) * 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实系统及其实现方法
CN104035760A (zh) * 2014-03-04 2014-09-10 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN105096373A (zh) * 2015-06-30 2015-11-25 华为技术有限公司 一种媒体内容渲染的方法、用户设备及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140074913A1 (en) * 2012-09-10 2014-03-13 Calgary Scientific Inc. Client-side image rendering in a client-server image viewing architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845177A (zh) * 2006-05-17 2006-10-11 浙江大学 基于图像传输的三维远程渲染系统及其方法
CN103197757A (zh) * 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实系统及其实现方法
CN103095828A (zh) * 2013-01-14 2013-05-08 上海电力学院 基于云渲染的Web3D同步会议系统及实现同步的方法
CN104035760A (zh) * 2014-03-04 2014-09-10 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN105096373A (zh) * 2015-06-30 2015-11-25 华为技术有限公司 一种媒体内容渲染的方法、用户设备及系统

Also Published As

Publication number Publication date
CN105791977A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105791977B (zh) 基于云服务的虚拟现实数据处理方法、设备及系统
CN110475150B (zh) 虚拟礼物特效的渲染方法和装置、直播系统
US10334238B2 (en) Method and system for real-time rendering displaying high resolution virtual reality (VR) video
CN109600666B (zh) 游戏场景中的视频播放方法、装置、介质以及电子设备
CN112543342B (zh) 虚拟视频直播处理方法及装置、存储介质、电子设备
US9008187B2 (en) Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
CN109976690A (zh) Ar眼镜远程交互方法、装置和计算机可读介质
CN103392189B (zh) 动态图像传输服务器、动态图像播放装置以及控制方法
US8897373B2 (en) Moving image distribution server, moving image reproduction apparatus, control method, and recording medium
CN102870412A (zh) 在网络环境中提供编码视频应用
US20220241689A1 (en) Game Character Rendering Method And Apparatus, Electronic Device, And Computer-Readable Medium
Han Mobile immersive computing: Research challenges and the road ahead
CN110519247B (zh) 一种一对多虚拟现实展示方法及装置
CN112581635B (zh) 一种通用的快速换脸方法、装置、电子设备和存储介质
CN116033189B (zh) 基于云边协同的直播互动视频分区智能控制方法和系统
CN111464828A (zh) 虚拟特效显示方法、装置、终端及存储介质
US10237563B2 (en) System and method for controlling video encoding using content information
US20170221174A1 (en) Gpu data sniffing and 3d streaming system and method
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN116993572A (zh) 图像处理方法、装置、电子设备及存储介质
CN110860084A (zh) 一种虚拟画面处理方法及装置
CN107659805B (zh) 一种视频转换方法和装置
CN112541858A (zh) 视频图像的增强方法、装置、设备、芯片及存储介质
CN114025219B (zh) 增强现实特效的渲染方法、装置、介质及设备
US20120289262A1 (en) Method for providing visual effect messages and associated communication system and transmitting end

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 2, Hongyang Road, Tianning District, Changzhou, Jiangsu Province, Jiangsu

Patentee after: Jiangsu shiboyun Information Technology Co., Ltd

Address before: 100085, Beijing, Haidian District, 5 East Road, Beijing, Mongolia hi tech building, block B, two

Patentee before: BEIJING SUPER DIGITAL TV TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160720

Assignee: Beijing shiboyun Information Technology Co.,Ltd.

Assignor: Jiangsu shiboyun Information Technology Co., Ltd

Contract record no.: X2021110000011

Denomination of invention: Virtual reality data processing method, equipment and system based on cloud service

Granted publication date: 20190507

License type: Common License

Record date: 20210323

EE01 Entry into force of recordation of patent licensing contract