CN106527713A - Vr的三维数据渲染系统及其方法 - Google Patents

Vr的三维数据渲染系统及其方法 Download PDF

Info

Publication number
CN106527713A
CN106527713A CN201610976248.0A CN201610976248A CN106527713A CN 106527713 A CN106527713 A CN 106527713A CN 201610976248 A CN201610976248 A CN 201610976248A CN 106527713 A CN106527713 A CN 106527713A
Authority
CN
China
Prior art keywords
display device
server end
identification code
labelling
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610976248.0A
Other languages
English (en)
Other versions
CN106527713B (zh
Inventor
周安涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN201610976248.0A priority Critical patent/CN106527713B/zh
Publication of CN106527713A publication Critical patent/CN106527713A/zh
Application granted granted Critical
Publication of CN106527713B publication Critical patent/CN106527713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种VR的三维数据渲染系统及其方法包括服务器端和客户端,其中:所述服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示;所述客户端包括头戴式显示设备和移动客户端;所述服务器端包括虚拟现实引擎;所述移动客户端安装在用户手持的智能移动设备上,所述智能移动设备通过无线通信与服务器端进行交互,所述智能移动设备为Andriod手机。结合其方法避免了现有技术中应用的显示延迟很高、显示渲染机制并不适用于VR的缺陷。

Description

VR的三维数据渲染系统及其方法
技术领域
本发明涉及一种虚拟现实技术领域,尤其是涉及一种VR的三维数据渲染系统及其方法。
背景技术
虚拟现实,简称 VR 技术,是利用电脑模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身临其境一般,可以及时、没有限制地观察三度空间内的事物。
而在虚拟现实技术下渲染方式是常见的处理手段,在目前的Android渲染体系下,每个应用会被分配三个显示缓冲用来匹配GPU渲染速度和显示屏显示速度,防止画面撕裂。显然,这样的三缓冲机制增加了从GPU到最后显示屏显示的延迟时间。
另一方面,不同的显示屏也会带来不同的延迟时间,TFT屏大约有20ms的延迟,OLED只有5ms的延迟。
因此Android应用直接用于VR环境,应用的显示延迟很高,目前的显示渲染机制并不适用于VR。
发明内容
本发明所要解决的技术问题在于提供一种VR的三维数据渲染系统及其方法,避免了现有技术中应用的显示延迟很高、显示渲染机制并不适用于VR的缺陷。
为解决上述技术问题,本发明的技术解决方案是:
一种VR的三维数据渲染系统,包括服务器端和客户端,其中:
所述服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示;
所述客户端包括头戴式显示设备和移动客户端;
所述服务器端包括虚拟现实引擎、处理器以及同处理器相连接的GPU;
所述移动客户端安装在用户手持的智能移动设备上,所述智能移动设备通过无线通信与服务器端进行交互,所述智能移动设备为Andriod手机。
所述VR的三维数据渲染系统还包括一个或多个传感器,用于即时获取头戴式显示设备的位置信息和朝向信息,进行头部运动和眼睛方向的跟踪;所述传感器为加速度计、陀螺仪、罗盘或方向传感器。
所述头戴式显示设备包括:
显示屏幕,用于将服务器端输出的图像进行显示,以使得用户可以观看;传感器,用于即时获取头戴式显示设备的位置信息和朝向信息,进行头部
运动和眼睛方向的跟踪;
消息接口,用于与服务器端交互信息;
处理模块,用于处理传感器所获得的信息,将其转化为相应的位置坐标和旋转四元数信息,并将转化后的结果发送至服务器端。
所述移动设备通过交互式操作模拟服务器端的输入指令,控制虚拟场景或人物,服务器端反馈指令给移动设备。
所述VR的三维数据渲染系统的方法,具体如下:
从传感器中获取 HMD 设备的位置信息和朝向信息进行头部跟踪, 并通过消息接口将坐标和旋转四元数信息反馈至应用程序; 应用程序通过所述虚拟现实引擎的渲染模块、物理碰撞模块、音效模块、核心模块对反馈的信息进行处理,设置坐标矩阵,将处理过的图像通过头戴式显示设备的硬件抽象层传输给所述设备,用户通过双眼看到反馈后更新的画面,还能够通过侦测用户眼睛的活动来完成通过眨眼控制的动作;
另外将现实场景进行渲染的方式包括在CPU计算完成后,物体的顶点位置确定,做具体的矩阵变换,交由GPU渲染,在渲染完成后,根据VSYNC信息送显示屏幕显示,并且渲染的机制采用FBR渲染机制,也就是将三缓冲改为唯一的前缓冲,GPU和显示屏幕共享同一块缓冲区域。
所述GPU渲染完成后,在送显示屏幕之前,根据当前头部位置信息进行ATW变换,将变换后的画面送显示屏幕。
所述VR的三维数据渲染系统的方法还构建了头部随动模型,同时兼顾空间定为中的位置平移。
所述VR的三维数据渲染系统的方法只需调用一次矩阵变化和渲染接口,在GPU层来处理分屏视图,并支持同时渲染绘制。
经由本发明的结构,与现有技术相比,本发明的优点在于:
由于共享缓冲区,GPU对缓冲的写入将直接导致显示屏幕的变化,从而产生画面撕裂。本发明采用VSYNC时间调度算法,根据VSYNC时间对渲染和ATW线程进行精准调度控制,防止画面撕裂。
附图说明
图1是所述VR的三维数据渲染系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,VR的三维数据渲染系统,包括服务器端和客户端,其中:
所述服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示;
所述客户端包括头戴式显示设备和移动客户端;
所述服务器端包括虚拟现实引擎、处理器以及同处理器相连接的GPU;
所述移动客户端安装在用户手持的智能移动设备上,所述智能移动设备通过无线通信与服务器端进行交互,所述智能移动设备为Andriod手机。
所述VR的三维数据渲染系统还包括一个或多个传感器,用于即时获取头戴式显示设备的位置信息和朝向信息,进行头部运动和眼睛方向的跟踪;所述传感器为加速度计、陀螺仪、罗盘或方向传感器。
所述头戴式显示设备包括:
显示屏幕,用于将服务器端输出的图像进行显示,以使得用户可以观看;传感器,用于即时获取头戴式显示设备的位置信息和朝向信息,进行头部
运动和眼睛方向的跟踪;
消息接口,用于与服务器端交互信息;
处理模块,用于处理传感器所获得的信息,将其转化为相应的位置坐标和旋转四元数信息,并将转化后的结果发送至服务器端。
所述移动设备通过交互式操作模拟服务器端的输入指令,控制虚拟场景或人物,服务器端反馈指令给移动设备。
所述VR的三维数据渲染系统的方法,具体如下:
从传感器中获取 HMD 设备的位置信息和朝向信息进行头部跟踪, 并通过消息接口将坐标和旋转四元数信息反馈至应用程序; 应用程序通过所述虚拟现实引擎的渲染模块、物理碰撞模块、音效模块、核心模块对反馈的信息进行处理,设置坐标矩阵,将处理过的图像通过头戴式显示设备的硬件抽象层传输给所述设备,用户通过双眼看到反馈后更新的画面,还能够通过侦测用户眼睛的活动来完成通过眨眼控制的动作;
另外将现实场景进行渲染的方式包括在CPU计算完成后,物体的顶点位置确定,做具体的矩阵变换,交由GPU渲染,在渲染完成后,根据VSYNC信息送显示屏幕显示,并且渲染的机制采用FBR渲染机制,也就是将三缓冲改为唯一的前缓冲,GPU和显示屏幕共享同一块缓冲区域。显然,由于共享缓冲区,GPU对缓冲的写入将直接导致显示屏幕的变化,从而产生画面撕裂。本发明采用VSYNC时间调度算法,根据VSYNC时间对渲染和ATW线程进行精准调度控制,防止画面撕裂。
本发明实现了异步时间扭曲算法(ATW),该算法主要有两方面的优化:首先能够降低传感器产生的延迟,所述GPU渲染完成后,在送显示屏幕之前,根据当前头部位置信息进行ATW变换,将变换后的画面送显示屏幕,弥补GPU渲染产生的画面延迟。其次,ATW能够补充帧率不足的情况,在当前帧未能渲染完成的情况下,根据之前已经渲染完成的帧做ATW变换,从而将帧率稳定在60FPS。
所述VR的三维数据渲染系统的方法还构建了头部随动模型,同时兼顾空间定为中的位置平移,因此具有更好的体验。
目前的VR根据左右眼的视差,进行分别渲染绘制,因此所有模型和视图需要计算两次。然而左右眼视差产生的视图差异其实很小,左右眼两幅画面高度相似。因此优化采用多重视图渲染技术,也就是所述VR的三维数据渲染系统的方法只需调用一次矩阵变化和渲染接口,在GPU层来处理分屏视图,并支持同时渲染绘制。降低了GPU的负载开销。
所述服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示的方式往往为预设有服务器端和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,显示设备同3G无线网络相连接,所述服务器端包括处理器,所述处理器同3G模块和触摸屏相连接,由此服务器端将渲染后的现实场景通过网络发送给显示设备的步骤就是通过3G模块同3G无线单元相通信连接,然后经由3G无线数据链路来把渲染后的现实场景发送到显示设备。
然而在采用3G无线数据链路实现渲染后的现实场景发送到显示设备还须认证显示设备的IP地址,如果无法认证显示设备的IP地址的明文或解码出来的显示设备的IP地址具有相近的特征,常常会发生混同的问题;链接之际须得到显示设备的编码或须显示设备实现认证响应,方可把服务器端与显示设备实现链接,接着方能发送渲染后的现实场景,此步骤运行复杂;另外若还结合Zigbee模块执行渲染后的现实场景的发送,须额外加大电路构造费用和对应控制程序的添加量。另外显示设备还常常出现错连、分辨形式单一、娱乐性不够强、认证时长不好把握、认证效率低下、选择性不强、无历史记录、再现性不强的问题。
另外服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示的方式为首先预设服务器端和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,显示设备同3G无线网络相连接,所述服务器端包括处理器,所述处理器同3G模块和触摸屏相连接,接着服务器端将渲染后的现实场景通过网络发送给显示设备的步骤如下:
步骤1:事先针对显示设备的识别码进行标记后运行并启动至其第二增速发送程序,服务器端获取到渲染后的现实场景后,运行并启动至第一增速发送程序;
步骤2:当服务器端处在第一增速发送程序的运行状态下后,向所述服务器端本身的识别码执行标记,所述标记同显示设备的识别码进的标记一致,另外还探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记;
步骤3:如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备;
于这样的步骤中,所述当服务器端处在第一增速发送程序的运行状态下后,向所述服务器端本身的识别码执行标记,让所述服务器端本身的识别码带有独一标记,由此在显示设备亦同步执行了第二增速发送程序后,所述服务器端即探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记,如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端就同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备;
还有就是,本发明就算若所述服务器端未处在第一增速发送程序的运行状态,通过3G模块与3G无线单元相连接,也能够同步向所述服务器端本身的识别码执行标记,所述标记同显示设备的识别码进的标记一致,另外还探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记;如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备把所述渲染后的现实场景发送给显示设备。
所述步骤2内,所述向所述服务器端本身的识别码执行标记的方式为:
于所述服务器端本身的识别码上增加独特的符码和时长的标记,也就是于执行标记之际,于所述服务器端本身的识别码上增加独特的符码和时长的标记,所述独特的符码为执行者来设置,能够为同显示设备的识别码的标记采用同样的密文来作为所述独特的符码;于是在另外不相关的显示设备运行时,就不会出现错误的连接和发送的问题。
所述服务器端的时长的标记为表示运行并启动至第一增速发送程序的时长,所述显示设备的时长的标记为表示运行并启动至第二增速发送程序的时长;比如2分33秒,这样来进一步根据设定的时长范围保证仅仅在时长范围内的所述个人集成控器才可以实现认定并发送所述渲染后的现实场景给显示设备。
由此在所述服务器端与显示设备间采用同样的转化方式后,所述服务器端与显示设备就带有一样的独特的符码的转化方式。
也能够在3G无线网络内其他需要发送所述渲染后的现实场景的显示设备上也设置同样的所述转化方式。由此不但能确保信息链路建立,也就是联结的正确性,也可改善娱乐性。
于是整体发送渲染后的现实场景的期间,执行者须执行的无非就是运行启动至第一增速发送程序、随后让所述服务器端把所述渲染后的现实场景发送给显示设备就可以了,就不必要执行者认证显示设备的IP地址是不是显示设备,亦就无须反复的触摸触摸屏来发出肯定的呼应,所述第一增速发送程序与第二增速发送程序均采用任务级程序执行。进一步实现了增速把所述渲染后的现实场景发送给显示设备的效果;另外也不需要额外的中转架构来实现发送,亦无须占用信息发送的信道,由此减少了执行者的费用。
辨别探测3G无线网络内的显示设备的识别码是不是带有所述独特的符码,还有就是3G无线网络内的显示设备的时长的标记和所述服务器端的时长的标记是不是在设定的时长范畴中。
经由本发明的结构,与现有技术相比,本发明的优点在于:
服务器端获取到渲染后的现实场景后,运行并启动至第一增速发送程序;当服务器端处在第一增速发送程序的运行状态下后,向所述服务器端本身的识别码执行标记,所述标记同显示设备的识别码进的标记一致,另外还探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记;如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备,这样就能主动分辨显示设备,实现高效信息链路的构建,并能实现依据执行者的目的来发送所述渲染后的现实场景,执行者须执行的无非就是运行启动至第一增速发送程序、随后让所述服务器端把所述渲染后的现实场景发送给显示设备就可以了,就不必要执行者认证显示设备的IP地址是不是显示设备,亦就无须反复的触摸触摸屏来发出肯定的呼应,所述第一增速发送程序与第二增速发送程序均采用任务级程序执行。进一步实现了增速把所述渲染后的现实场景发送给显示设备的效果;另外也不需要额外的中转架构来实现发送,亦无须占用信息发送的信道,由此减少了执行者的费用。在另外不相关的显示设备运行时,就不会出现错误的连接和发送的问题。根据设定的时长范围保证仅仅在时长范围内的所述服务器端才可以实现认定并发送所述渲染后的现实场景给显示设备。能防止执行者出现多余的执行;由此在所述服务器端与显示设备间采用同样的转化方式后,所述服务器端与显示设备就带有一样的独特的符码的转化方式。
所述时长的标记还能够为启动3G模块的时长。
还能辨别3G无线网络内的显示设备的识别码是不是同步带有和所述服务器端一样的独特的符码,并且辨别3G无线网络内的显示设备的时长的标记和所述服务器端的时长的标记是不是在设定的时长范畴中,所述时长范畴为3-4分钟间的随意值,时长超出范围,往往常常会使得若干显示设备同步同所述服务器端相连,时长若过低,也会发生无法相连的结果。
还有就是,所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备期间,在触摸屏上显现一个按钮,在所述执行者须把所述渲染后的现实场景发送给显示设备之际,触碰该按钮就开始发送;真正实现了整体发送渲染后的现实场景的期间,执行者须执行的无非就是运行启动至第一增速发送程序、随后让所述服务器端把所述渲染后的现实场景发送给显示设备就可以了,就不必要执行者认证显示设备的IP地址是不是显示设备,亦就无须反复的触摸触摸屏来发出肯定的呼应,这样在触摸屏上也不必显现显示设备的识别符,因此这样的发送期间很容易,触摸屏的显现形式也不复杂,执行者容易实施。
若建立的信息链路不止一个的条件下,就在触摸屏上显现出供选用的显示设备的识别码。让执行者做出对的选用。
还有就是,所述渲染后的现实场景发送给显示设备期间,在触摸屏上显现一个表示发送信息的标记,以此来说明现在正在发送信息;在所述渲染后的现实场景发送结束后,就在触摸屏上显现一个表示发送信息的标记结束的标记;以此来说明发送信息已经结束,就此终止第一增速发送程序与第二增速发送程序。
在步骤3执行结束后,所述服务器端就终止第一增速发送程序,在终止第一增速发送程序期间,把服务器端的识别码上的标记移除,同步把显示设备的识别码同所述渲染后的现实场景存放到一个映射表内。
这样在步骤3执行结束后,所述服务器端就终止第一增速发送程序,防止其他显示设备错连,在终止第一增速发送程序期间,把服务器端的识别码上的标记移除,同步把显示设备的识别码同所述渲染后的现实场景存放到一个映射表内,此类存放更容易同执行今后的发送信息之际,替执行者显现历史记录以供筛选。
所述把显示设备的识别码同所述渲染后的现实场景存放到一个映射表内后,在服务器端再次获取到渲染后的现实场景后,运行并启动至第一增速发送程序之际,在服务器端的触摸屏上列出映射表中记录的显示设备的识别码同发送过的所述渲染后的现实场景。
由此就能在若干个人集成控制同步处在第一增速发送程序的运行状态下后,就在触摸屏上展示映射表中记录的显示设备的识别码同发送过的所述渲染后的现实场景,于是执行者即会高效辨别显示设备,更高效地发现显示设备,这样建立信息链路并进行发送信息。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (9)

1.一种VR的三维数据渲染系统,其特征在于,包括服务器端和客户端,其中:
所述服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示;
所述客户端包括头戴式显示设备和移动客户端;
所述服务器端包括虚拟现实引擎、处理器以及同处理器相连接的GPU;
所述移动客户端安装在用户手持的智能移动设备上,所述智能移动设备通过无线通信与服务器端进行交互,所述智能移动设备为Andriod手机。
2.根据权利要求1所述的VR的三维数据渲染系统,其特征在于所述VR的三维数据渲染系统还包括一个或多个传感器,用于即时获取头戴式显示设备的位置信息和朝向信息,进行头部运动和眼睛方向的跟踪;所述传感器为加速度计、陀螺仪、罗盘或方向传感器。
3.根据权利要求1所述的VR的三维数据渲染系统,其特征在于所述头戴式显示设备包括:
显示屏幕,用于将服务器端输出的图像进行显示,以使得用户可以观看;传感器,用于即时获取头戴式显示设备的位置信息和朝向信息,进行头部
运动和眼睛方向的跟踪;
消息接口,用于与服务器端交互信息;
处理模块,用于处理传感器所获得的信息,将其转化为相应的位置坐标和旋转四元数信息,并将转化后的结果发送至服务器端。
4.根据权利要求1所述的VR的三维数据渲染系统,其特征在于所述移动设备通过交互式操作模拟服务器端的输入指令,控制虚拟场景或人物,服务器端反馈指令给移动设备。
5.根据权利要求1所述的VR的三维数据渲染系统的方法,其特征在于,具体如下:
从传感器中获取 HMD 设备的位置信息和朝向信息进行头部跟踪, 并通过消息接口将坐标和旋转四元数信息反馈至应用程序; 应用程序通过所述虚拟现实引擎的渲染模块、物理碰撞模块、音效模块、核心模块对反馈的信息进行处理,设置坐标矩阵,将处理过的图像通过头戴式显示设备的硬件抽象层传输给所述设备,用户通过双眼看到反馈后更新的画面,还能够通过侦测用户眼睛的活动来完成通过眨眼控制的动作;
另外将现实场景进行渲染的方式包括在CPU计算完成后,物体的顶点位置确定,做具体的矩阵变换,交由GPU渲染,在渲染完成后,根据VSYNC信息送显示屏幕显示,并且渲染的机制采用FBR渲染机制,也就是将三缓冲改为唯一的前缓冲,GPU和显示屏幕共享同一块缓冲区域。
6.根据权利要求5所述的VR的三维数据渲染系统的方法,其特征在于所述GPU渲染完成后,在送显示屏幕之前,根据当前头部位置信息进行ATW变换,将变换后的画面送显示屏幕。
7.根据权利要求5所述的VR的三维数据渲染系统的方法,其特征在于所述VR的三维数据渲染系统的方法还构建了头部随动模型,同时兼顾空间定为中的位置平移。
8.根据权利要求5所述的VR的三维数据渲染系统的方法,其特征在于所述VR的三维数据渲染系统的方法只需调用一次矩阵变化和渲染接口,在GPU层来处理分屏视图,并支持同时渲染绘制。
9.根据权利要求5所述的VR的三维数据渲染系统的方法,其特征在于另外服务器端将现实场景进行渲染,并传输至客户端的显示设备上显示的方式为首先预设服务器端和网络,所述网络包括接入实现装置,所述接入实现装置包括3G无线单元,所述3G无线单元完成3G无线网络接入,建立3G无线数据链路,显示设备同3G无线网络相连接,所述服务器端包括处理器,所述处理器同3G模块和触摸屏相连接,接着服务器端将渲染后的现实场景通过网络发送给显示设备的步骤如下:
步骤1:事先针对显示设备的识别码进行标记后运行并启动至其第二增速发送程序,服务器端获取到渲染后的现实场景后,运行并启动至第一增速发送程序;
步骤2:当服务器端处在第一增速发送程序的运行状态下后,向所述服务器端本身的识别码执行标记,所述标记同显示设备的识别码进的标记一致,另外还探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记;
步骤3:如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备;
于这样的步骤中,所述当服务器端处在第一增速发送程序的运行状态下后,向所述服务器端本身的识别码执行标记,让所述服务器端本身的识别码带有独一标记,由此在显示设备亦同步执行了第二增速发送程序后,所述服务器端即探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记,如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端就同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备;
就算若所述服务器端未处在第一增速发送程序的运行状态,通过3G模块与3G无线单元相连接,也能够同步向所述服务器端本身的识别码执行标记,所述标记同显示设备的识别码进的标记一致,另外还探测3G无线网络内的显示设备的识别码,分辨3G无线网络内的显示设备的识别码有没有一样的标记;如果3G无线网络内的显示设备的识别码有一样的标记,就让所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备把所述渲染后的现实场景发送给显示设备;
所述步骤2内,所述向所述服务器端本身的识别码执行标记的方式为:
于所述服务器端本身的识别码上增加独特的符码和时长的标记,也就是于执行标记之际,于所述服务器端本身的识别码上增加独特的符码和时长的标记,所述独特的符码为执行者来设置,能够为同显示设备的识别码的标记采用同样的密文来作为所述独特的符码;
所述服务器端的时长的标记为表示运行并启动至第一增速发送程序的时长,所述显示设备的时长的标记为表示运行并启动至第二增速发送程序的时长;这样来进一步根据设定的时长范围保证仅仅在时长范围内的所述个人集成控器才可以实现认定并发送所述渲染后的现实场景给显示设备;
由此在所述服务器端与显示设备间采用同样的转化方式后,所述服务器端与显示设备就带有一样的独特的符码的转化方式;
也能够在3G无线网络内其他需要发送所述渲染后的现实场景的显示设备上也设置同样的所述转化方式;
所述第一增速发送程序与第二增速发送程序均采用任务级程序执行;
所述时长的标记还能够为启动3G模块的时长;
还能辨别3G无线网络内的显示设备的识别码是不是同步带有和所述服务器端一样的独特的符码,并且辨别3G无线网络内的显示设备的时长的标记和所述服务器端的时长的标记是不是在设定的时长范畴中;
所述服务器端同显示设备建立信息链路来把所述渲染后的现实场景发送给显示设备期间,在触摸屏上显现一个按钮,在所述执行者须把所述渲染后的现实场景发送给显示设备之际,触碰该按钮就开始发送;
若建立的信息链路不止一个的条件下,就在触摸屏上显现出供选用的显示设备的识别码.让执行者做出对的选用;
所述渲染后的现实场景发送给显示设备期间,在触摸屏上显现一个表示发送信息的标记,以此来说明现在正在发送信息;在所述渲染后的现实场景发送结束后,就在触摸屏上显现一个表示发送信息的标记结束的标记;以此来说明发送信息已经结束,就此终止第一增速发送程序与第二增速发送程序;
在步骤3执行结束后,所述服务器端就终止第一增速发送程序,在终止第一增速发送程序期间,把服务器端的识别码上的标记移除,同步把显示设备的识别码同所述渲染后的现实场景存放到一个映射表内;
所述把显示设备的识别码同所述渲染后的现实场景存放到一个映射表内后,在服务器端再次获取到渲染后的现实场景后,运行并启动至第一增速发送程序之际,在服务器端的触摸屏上列出映射表中记录的显示设备的识别码同发送过的所述渲染后的现实场景。
CN201610976248.0A 2016-11-07 2016-11-07 Vr的三维数据渲染系统及其方法 Active CN106527713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610976248.0A CN106527713B (zh) 2016-11-07 2016-11-07 Vr的三维数据渲染系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610976248.0A CN106527713B (zh) 2016-11-07 2016-11-07 Vr的三维数据渲染系统及其方法

Publications (2)

Publication Number Publication Date
CN106527713A true CN106527713A (zh) 2017-03-22
CN106527713B CN106527713B (zh) 2019-11-08

Family

ID=58350002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610976248.0A Active CN106527713B (zh) 2016-11-07 2016-11-07 Vr的三维数据渲染系统及其方法

Country Status (1)

Country Link
CN (1) CN106527713B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085821A (zh) * 2017-04-27 2017-08-22 郑州云海信息技术有限公司 一种gpu‑box服务器vr优化的方法
CN107341842A (zh) * 2017-06-14 2017-11-10 广东网金控股股份有限公司 基于APP客户端及Web端的VR应用渲染制作方法及装置
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN108170267A (zh) * 2017-12-25 2018-06-15 天脉聚源(北京)传媒科技有限公司 一种获取三维数据的方法及装置
CN108255291A (zh) * 2017-12-05 2018-07-06 腾讯科技(深圳)有限公司 虚拟场景数据的传输方法、装置、存储介质及电子装置
CN108694738A (zh) * 2017-04-01 2018-10-23 英特尔公司 去耦的多层渲染频率
WO2018227502A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
CN109388231A (zh) * 2017-08-14 2019-02-26 广东畅响源教育科技有限公司 基于标准模型实现vr物体或场景交互操控的系统及方法
WO2019241925A1 (zh) * 2018-06-20 2019-12-26 华为技术有限公司 虚拟现实vr数据处理方法、装置及存储介质
CN110764897A (zh) * 2017-04-17 2020-02-07 英特尔公司 具有附加上下文的图形系统
CN111402349A (zh) * 2019-01-03 2020-07-10 百度在线网络技术(北京)有限公司 渲染方法、渲染装置和渲染引擎
CN111415274A (zh) * 2020-02-20 2020-07-14 浙江口碑网络技术有限公司 信息显示方法、装置、系统、存储介质及计算机设备
CN111754614A (zh) * 2020-06-30 2020-10-09 平安国际智慧城市科技股份有限公司 基于vr视频渲染方法、装置、电子设备及存储介质
CN113485851A (zh) * 2021-05-13 2021-10-08 北京创奇视界科技有限公司 面向仿真三维引擎便捷开发的虚拟现实适配器
CN114489538A (zh) * 2021-12-27 2022-05-13 炫彩互动网络科技有限公司 云游戏vr的终端显示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256110A1 (en) * 2005-05-11 2006-11-16 Yasuhiro Okuno Virtual reality presentation apparatus, virtual reality presentation method, program, image processing method, image processing apparatus, information processing method, and information processing apparatus
CN103108186A (zh) * 2013-02-21 2013-05-15 中国对外翻译出版有限公司 实现视频高清传播的方法
CN104035760A (zh) * 2014-03-04 2014-09-10 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN105850148A (zh) * 2013-12-26 2016-08-10 精工爱普生株式会社 视频传输和显示系统
CN105869215A (zh) * 2016-03-28 2016-08-17 上海米影信息科技有限公司 一种虚拟现实成像系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060256110A1 (en) * 2005-05-11 2006-11-16 Yasuhiro Okuno Virtual reality presentation apparatus, virtual reality presentation method, program, image processing method, image processing apparatus, information processing method, and information processing apparatus
CN103108186A (zh) * 2013-02-21 2013-05-15 中国对外翻译出版有限公司 实现视频高清传播的方法
CN105850148A (zh) * 2013-12-26 2016-08-10 精工爱普生株式会社 视频传输和显示系统
CN104035760A (zh) * 2014-03-04 2014-09-10 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN105869215A (zh) * 2016-03-28 2016-08-17 上海米影信息科技有限公司 一种虚拟现实成像系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694738A (zh) * 2017-04-01 2018-10-23 英特尔公司 去耦的多层渲染频率
CN108694738B (zh) * 2017-04-01 2024-05-24 英特尔公司 去耦的多层渲染频率
CN110764897A (zh) * 2017-04-17 2020-02-07 英特尔公司 具有附加上下文的图形系统
CN110764897B (zh) * 2017-04-17 2024-01-19 英特尔公司 具有附加上下文的图形系统
CN107085821A (zh) * 2017-04-27 2017-08-22 郑州云海信息技术有限公司 一种gpu‑box服务器vr优化的方法
CN107341842A (zh) * 2017-06-14 2017-11-10 广东网金控股股份有限公司 基于APP客户端及Web端的VR应用渲染制作方法及装置
US10901499B2 (en) 2017-06-15 2021-01-26 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
WO2018227502A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
CN109388231A (zh) * 2017-08-14 2019-02-26 广东畅响源教育科技有限公司 基于标准模型实现vr物体或场景交互操控的系统及方法
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN108255291A (zh) * 2017-12-05 2018-07-06 腾讯科技(深圳)有限公司 虚拟场景数据的传输方法、装置、存储介质及电子装置
CN108170267A (zh) * 2017-12-25 2018-06-15 天脉聚源(北京)传媒科技有限公司 一种获取三维数据的方法及装置
WO2019241925A1 (zh) * 2018-06-20 2019-12-26 华为技术有限公司 虚拟现实vr数据处理方法、装置及存储介质
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
CN111402349A (zh) * 2019-01-03 2020-07-10 百度在线网络技术(北京)有限公司 渲染方法、渲染装置和渲染引擎
CN111402349B (zh) * 2019-01-03 2023-09-08 百度在线网络技术(北京)有限公司 渲染方法、渲染装置和渲染引擎
CN111415274A (zh) * 2020-02-20 2020-07-14 浙江口碑网络技术有限公司 信息显示方法、装置、系统、存储介质及计算机设备
CN111754614A (zh) * 2020-06-30 2020-10-09 平安国际智慧城市科技股份有限公司 基于vr视频渲染方法、装置、电子设备及存储介质
CN113485851A (zh) * 2021-05-13 2021-10-08 北京创奇视界科技有限公司 面向仿真三维引擎便捷开发的虚拟现实适配器
CN113485851B (zh) * 2021-05-13 2024-01-26 北京创奇视界科技有限公司 面向仿真三维引擎便捷开发的虚拟现实适配器
CN114489538A (zh) * 2021-12-27 2022-05-13 炫彩互动网络科技有限公司 云游戏vr的终端显示方法

Also Published As

Publication number Publication date
CN106527713B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN106527713A (zh) Vr的三维数据渲染系统及其方法
CN106454322A (zh) Vr的图像处理系统及其方法
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
JP5898756B1 (ja) ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、プログラム、及び方法
CN108273265A (zh) 虚拟对象的显示方法及装置
CN106575299A (zh) 信息处理装置、信息处理方法和程序
CN109863510A (zh) 冗余跟踪系统
CN107005739A (zh) 用于基于语音的设备的外部视觉交互
JP2013156986A (ja) 有無線ウェブを介したアバターサービスシステム及びその方法
JP2010524113A (ja) 人−機械インターフェース装置システム及び方法
CN107209568A (zh) 虚拟现实中的电话控制和存在
CN104793017B (zh) 一种加速度校正方法及终端
CN107003822A (zh) 基于标签的浏览器内容共享
KR20230075440A (ko) 확장 현실 시스템을 위한 사용자 인터페이스 레이아웃 및 입력의 동적 구성
CN111461985A (zh) 图片处理方法及电子设备
CN111045518B (zh) 获取姿态数据的方法及相关装置
JP2023536434A (ja) 融合データを使用するオブジェクトトラッキングのためのシステム及び方法
KR20210129067A (ko) 상호작용 방법, 장치, 상호작용 장치, 전자 장치 및 저장 매체
CN107463256A (zh) 基于虚拟现实的用户朝向控制方法与装置
US20180144541A1 (en) 3D User Interface - Non-native Stereoscopic Image Conversion
CN116017014A (zh) 视频处理方法、装置、电子设备及存储介质
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN106200923A (zh) 一种虚拟现实系统的控制方法和装置
CN114424149A (zh) 信息处理装置、信息处理方法、服务器装置和程序
CN108140357B (zh) 信息处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant