CN115379193A - 一种三维数据传输方法、系统及芯片 - Google Patents
一种三维数据传输方法、系统及芯片 Download PDFInfo
- Publication number
- CN115379193A CN115379193A CN202211303446.2A CN202211303446A CN115379193A CN 115379193 A CN115379193 A CN 115379193A CN 202211303446 A CN202211303446 A CN 202211303446A CN 115379193 A CN115379193 A CN 115379193A
- Authority
- CN
- China
- Prior art keywords
- layer
- user equipment
- blocks
- information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种三维数据传输方法、系统及芯片,涉及图像数据传输领域,其中所述方法包括服务器根据客户端保存的模板信息选择传输图层,并在客户端内渲染前景层,按照显示分块对图像进行传输、缓存和复合,将不同设备渲染的图层复合成最终图像帧。通过本发明通过结合云端和客户端的处理能力对图像帧的不同图层进行渲染,提高了资源利用效率,减少了传输不必要的图层数据信息,提高了网络资源利用效率,同时在客户端对前景层的渲染和用户操作检测可以在降低客户端处理压力的同时满足用户的体验需求。
Description
技术领域
本发明属于图像数据传输领域,尤其涉及一种三维数据传输方法、系统及芯片。
背景技术
随着5G的到来,网络带宽不断提高,给虚拟现实技术的快速发展奠定必要的网络基础,现阶段中,很多虚拟现实VR的设备都为头戴式设备,这对设备的体积和重量提出了较高的要求,在设备的体积和重量都受限的情况下,设备的处理能力、存储能力和续航能力都收到了较大的限制,在这样的情形下,如果能够利用5G网络的高带宽,使云端为头戴式VR设备分担一部分处理压力,就能让VR头戴设备获得更高的续航,减少头戴设备发热的情况。
同时,VR头戴设备自身又具有一定的处理能力,如果完全只做接收解码处理,又使得设备本身的能力得不到充分的利用,尤其对于一些用户互动感知较为明显的参数,如检测到用户自身身体运动而产生的效果,尽量当前移动网络延迟已经显著降低,但如果使用网络处理反馈并传输视频流的方式来显示用户自身的互动操作,则会导致用户体验明显下降。
因此,需要设计一种结合虚拟现实设备的处理能力的云端和客户端协同进行三维数据处理并传输的方案,来最大化利用各个设备的能力并能满足用户的体验需求。
发明内容
针对上述现有技术中存在的缺陷,本发明提供一种三维数据传输方法,所述方法包括:
服务器接收用户设备的初始化数据请求,所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息;
所述服务器获取与所述用户请求场景信息对应的内容信息,并根据所述用户请求场景信息以及所述用户设备中保存的模板信息,确定所述用户设备的渲染方案;
其中,所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中,将背景层和中间层的渲染后图层发送给用户设备,否则发送中间层的渲染后图层;
服务器接收用户设备的实时数据请求,所述实时数据请求包括所述用户设备的位姿信息;
服务器在云端加载场景空间流水线,根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息,所述场景帧信息包括中间层/中间层和背景,所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息,将渲染后图层分块传输给用户设备;
所述用户设备接收背景层和中间层的渲染后图层的图层分块,按照图层分块所属的区域位置,分别缓存到显示分块对应的L2高速缓存器中;
所述用户设备调用前景层的模板,根据显示分块对前景层进行分块,将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器;
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息,经过透明度处理后复合形成显示给用户的最终渲染图像帧。
其中,所述服务器压缩和传输的策略包括:
所述图层分块中对用户体验影响较大的图层分块采用较大的数据块,对用户体验贡献较小的图层分块采用较小的数据块;
所述图层分块的分辨率等级不大于用户设备的分辨率最高等级;
当网络状况不理想的情况下,提高对用户体验影响程度小的图层分块的压缩等级,提高背景数据包对应图层分块的压缩等级;
所述服务器优先将中间层的图层分块数据块进行传输;
所述服务器优先将对用户体验贡献较大的图层分块进行传输。
其中,所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定;
所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块,当所述任务目标操作对象位于所述用户设备头显中心区域时,贡献度达到最大,所有带宽将优先提供给该图层块。
其中,所述前景层中包含用户设备与场景内容互动的图标和工具,在本地空间流水线中进行用户操作的捕捉和图层渲染,根据显示分块对前景层进行分块,将前景层分块缓存到每个显示分块中对应L2高速缓存器。
其中,处理器阵列根据指令控制器的调度,分别调用每个显示分块中对应L2高速缓存器中的图层信息,其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作,将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
本发明还提出了一种基于上述方法的三维数据传输系统,所述系统包括:
服务器,用于接收用户设备的初始化数据请求,所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息;
所述服务器获取与所述用户请求场景信息对应的内容信息,并根据所述用户请求场景信息以及所述用户设备中保存的模板信息,确定所述用户设备的渲染方案;
其中,所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中,将背景层和中间层的渲染后图层一并发送给用户设备,否则发送中间层的渲染后图层;
服务器接收用户设备的实时数据请求,所述实时数据请求包括所述用户设备的位姿信息;
服务器在云端加载场景空间流水线,根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息,所述场景帧信息包括中间层/中间层和背景,所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息,将渲染后图层分块传输给用户设备;
用户设备,所述用户设备接收背景层和中间层的渲染后图层的图层分块,按照图层分块所属的区域位置,分别缓存到显示分块对应的L2高速缓存器中;
所述用户设备调用前景层的模板,根据显示分块对前景层进行分块,将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器;
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息,经过透明度处理后复合形成显示给用户的最终渲染图像帧。
其中,所述图层分块中对用户体验影响较大的图层分块采用较大的数据块,对用户体验贡献较小的图层分块采用较小的数据块;
所述图层分块的分辨率等级不大于用户设备的分辨率最高等级;
当网络状况不理想的情况下,提高对用户体验影响程度小的图层分块的压缩等级,提高背景数据包对应图层分块的压缩等级;
所述服务器优先将中间层的图层分块数据块进行传输;
所述服务器优先将对用户体验贡献较大的图层分块进行传输。
所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定;
所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块,当所述任务目标操作对象位于所述用户设备头显中心区域时,贡献度达到最大,所有带宽将优先提供给该图层块。
其中,所述前景层中包含用户设备与场景内容互动的图标和工具,在本地空间流水线中进行用户操作的捕捉和图层渲染,根据显示分块对前景层进行分块,将前景层分块缓存到每个显示分块中对应L2高速缓存器。
其中,处理器阵列根据指令控制器的调度,分别调用每个显示分块中对应L2高速缓存器中的图层信息,其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作,将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
本发明还提出了一种三维数据传输芯片,通过执行可读存储介质上代码以执行上述服务器的功能,或者通过执行可读存储介质上代码以执行上述用户设备的功能。
与现有技术相比,服务器根据客户端保存的模板信息选择传输图层,并在客户端内渲染前景层,按照显示分块对图像进行传输、缓存和复合,将不同设备渲染的图层复合成最终图像帧。通过本发明通过结合云端和客户端的处理能力对图像帧的不同图层进行渲染,提高了资源利用效率,减少了传输不必要的图层数据信息,提高了网络资源利用效率,同时在客户端对前景层的渲染和用户操作检测可以在降低客户端处理压力的同时满足用户的体验需求。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出根据本发明实施例的一种三维数据传输方法;
图2是示出根据本发明实施例的一种三维数据传输系统。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例一、
如图1所示,本发明公开了一种三维数据传输方法,所述方法包括:
服务器接收用户设备的初始化数据请求,所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息;
所述服务器获取与所述用户请求场景信息对应的内容信息,并根据所述用户请求场景信息以及所述用户设备中保存的模板信息,确定所述用户设备的渲染方案;
其中,所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中,将背景层和中间层的渲染后图层发送给用户设备,否则发送中间层的渲染后图层;
服务器接收用户设备的实时数据请求,所述实时数据请求包括所述用户设备的位姿信息;
服务器在云端加载场景空间流水线,根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息,所述场景帧信息包括中间层/中间层和背景,所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息,将渲染后图层分块传输给用户设备;
所述用户设备接收背景层和中间层的渲染后图层的图层分块,按照图层分块所属的区域位置,分别缓存到显示分块对应的L2高速缓存器中;
所述用户设备调用前景层的模板,根据显示分块对前景层进行分块,将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器;
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息,经过透明度处理后复合形成显示给用户的最终渲染图像帧。
可见,当用户设备中包括了背景层模板信息时,则不再需要服务器重复传输用户设备中已有的背景层信息,避免资源的重复传输和加载,对网络资源和设备处理能力都是一种浪费。此外,服务器根据用户设备的位姿信息进行抓屏时的角度范围数据可以大于用户实际视野的角度范围数据,以防止定位误差和抖动影响用户体验。
将各个图层信息缓存到显示分块对应的L2高速缓存上,并在对应的L1缓存中进行复合处理,有利于数据调度和显示图像加载的速度。
图像层数据是按照用户设备的显示分块进行切割和传输的,这样有利于数据的并行处理设计,在处理阵列集群处理时,可以分别按照显示分块为单位的图像层分块进行数据处理,有利于提高数据调用、处理的效率。
其中,所述服务器压缩和传输的策略包括:
所述图层分块中对用户体验影响较大的图层分块采用较大的数据块,对用户体验贡献较小的图层分块采用较小的数据块;
所述图层分块的分辨率等级不大于用户设备的分辨率最高等级;
当网络状况不理想的情况下,提高对用户体验影响程度小的图层分块的压缩等级,提高背景数据包对应图层分块的压缩等级;
所述服务器优先将中间层的图层分块数据块进行传输;
所述服务器优先将对用户体验贡献较大的图层分块进行传输。
其中,所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定;
所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块,当所述任务目标操作对象位于所述用户设备头显中心区域时,贡献度达到最大,所有带宽将优先提供给该图层块。
例如,用户往往在视野中间区域聚焦,同时也会寻找目标设备,例如当操作目标对象出现在视野中时,用户会倾向于正视该操作目标对象,当检测该情形出现时,将该图像层分块配置到带宽最优的传输资源上。
其中,所述前景层中包含用户设备与场景内容互动的图标和工具,在本地空间流水线中进行用户操作的捕捉和图层渲染,根据显示分块对前景层进行分块,将前景层分块缓存到每个显示分块中对应L2高速缓存器。
在本发明中,使用云端服务器进行世界空闲流水线进行全场景的三维模型场景加载,根据用户位姿进行图像抓屏后传输部分图层,同时在本地空间流水线中进行用户操作的捕捉和前景层的渲染以及各个图层的复合。
所述用户操作可以为当前使用应用中的用户姿势表示,如用户的双手,或者持有操作工具的手,以及在前景图像中渲染和加载应用中装载有所有工具的工具箱,用户可以在前景层中通过互动来选择对应的工具,在对应的操作点触发对应的操作,并将互动操作位点传输在本地进行判断是否操作成功,云端服务器可以在发送图层的同时将对应的触发位点发送给用户设备,用户设备对触发位点和图层中的位点进行标记,来检测用户是否在对应的位点进行了正确的触发操作。
其中,处理器阵列根据指令控制器的调度,分别调用每个显示分块中对应L2高速缓存器中的图层信息,其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作,将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
与现有技术相比,通过本发明的方法使得服务器根据客户端保存的模板信息选择传输图层,并在客户端内渲染前景层,按照显示分块对图像进行传输、缓存和复合,将不同设备渲染的图层复合成最终图像帧。通过本发明通过结合云端和客户端的处理能力对图像帧的不同图层进行渲染,提高了资源利用效率,减少了传输不必要的图层数据信息,提高了网络资源利用效率,同时在客户端对前景层的渲染和用户操作检测可以在降低客户端处理压力的同时满足用户的体验需求。
实施例二、
如图2所示,本发明还提出了一种基于上述方法的三维数据传输系统,所述系统包括:
服务器,用于接收用户设备的初始化数据请求,所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息;
所述服务器获取与所述用户请求场景信息对应的内容信息,并根据所述用户请求场景信息以及所述用户设备中保存的模板信息,确定所述用户设备的渲染方案;
其中,所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中,将背景层和中间层的渲染后图层一并发送给用户设备,否则发送中间层的渲染后图层;
服务器接收用户设备的实时数据请求,所述实时数据请求包括所述用户设备的位姿信息;
服务器在云端加载场景空间流水线,根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息,所述场景帧信息包括中间层/中间层和背景,所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息,将渲染后图层分块传输给用户设备;
用户设备,所述用户设备接收背景层和中间层的渲染后图层的图层分块,按照图层分块所属的区域位置,分别缓存到显示分块对应的L2高速缓存器中;
所述用户设备调用前景层的模板,根据显示分块对前景层进行分块,将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器;
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息,经过透明度处理后复合形成显示给用户的最终渲染图像帧。
其中,所述图层分块中对用户体验影响较大的图层分块采用较大的数据块,对用户体验贡献较小的图层分块采用较小的数据块;
所述图层分块的分辨率等级不大于用户设备的分辨率最高等级;
当网络状况不理想的情况下,提高对用户体验影响程度小的图层分块的压缩等级,提高背景数据包对应图层分块的压缩等级;
所述服务器优先将中间层的图层分块数据块进行传输;
所述服务器优先将对用户体验贡献较大的图层分块进行传输。
所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定;
所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块,当所述任务目标操作对象位于所述用户设备头显中心区域时,贡献度达到最大,所有带宽将优先提供给该图层块。
其中,所述前景层中包含用户设备与场景内容互动的图标和工具,在本地空间流水线中进行用户操作的捕捉和图层渲染,根据显示分块对前景层进行分块,将前景层分块缓存到每个显示分块中对应L2高速缓存器。
其中,处理器阵列根据指令控制器的调度,分别调用每个显示分块中对应L2高速缓存器中的图层信息,其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作,将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
通过本发明的方法使得服务器根据客户端保存的模板信息选择传输图层,并在客户端内渲染前景层,按照显示分块对图像进行传输、缓存和复合,将不同设备渲染的图层复合成最终图像帧。通过本发明通过结合云端和客户端的处理能力对图像帧的不同图层进行渲染,提高了资源利用效率,减少了传输不必要的图层数据信息,提高了网络资源利用效率,同时在客户端对前景层的渲染和用户操作检测可以在降低客户端处理压力的同时满足用户的体验需求。
实施例三、
本发明还提出了一种三维数据传输芯片,通过执行可读存储介质上代码以执行上述服务器的功能,或者通过执行可读存储介质上代码以执行上述用户设备的功能。
所述芯片可以是处理器芯片、DSP芯片、FPGA芯片、AD/DA芯片或者是其他可用于数据处理的芯片,也包括配合数据处理的存储器芯片。处理器执行存储介质上的指令或者数据可以实现的各类功能,需要说明的是,计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
以上介绍了本发明的较佳实施方式,旨在使得本发明的精神更加清楚和便于理解,并不是为了限制本发明,凡在本发明的精神和原则之内,所做的修改、替换、改进,均应包含在本发明所附的权利要求概括的保护范围之内。
Claims (10)
1.一种三维数据传输方法,所述方法包括:
服务器接收用户设备的初始化数据请求,所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息;
所述服务器获取与所述用户请求场景信息对应的内容信息,并根据所述用户请求场景信息以及所述用户设备中保存的模板信息,确定所述用户设备的渲染方案;
其中,所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中,将背景层和中间层的渲染后图层发送给用户设备,否则发送中间层的渲染后图层;
服务器接收用户设备的实时数据请求,所述实时数据请求包括所述用户设备的位姿信息;
服务器在云端加载场景空间流水线,根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息,所述场景帧信息包括中间层/中间层和背景,所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息,将渲染后图层分块传输给用户设备;
所述用户设备接收背景层和中间层的渲染后图层的图层分块,按照图层分块所属的区域位置,分别缓存到显示分块对应的L2高速缓存器中;
所述用户设备调用前景层的模板,根据显示分块对前景层进行分块,将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器;
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息,经过透明度处理后复合形成显示给用户的最终渲染图像帧。
2.如权利要求1所述的方法,其特征在于,所述服务器压缩和传输的策略包括:
所述图层分块中对用户体验影响较大的图层分块采用较大的数据块,对用户体验贡献较小的图层分块采用较小的数据块;
所述图层分块的分辨率等级不大于用户设备的分辨率最高等级;
当网络状况不理想的情况下,提高对用户体验影响程度小的图层分块的压缩等级,提高背景数据包对应图层分块的压缩等级;
所述服务器优先将中间层的图层分块数据块进行传输;
所述服务器优先将对用户体验贡献较大的图层分块进行传输。
3.如权利要求2所述的方法,其特征在于,
所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定;
所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块,当所述任务目标操作对象位于所述用户设备头显中心区域时,贡献度达到最大,所有带宽将优先提供给该图层块。
4.如权利要求1所述的方法,其特征在于,
所述前景层中包含用户设备与场景内容互动的图标和工具,在本地空间流水线中进行用户操作的捕捉和图层渲染,根据显示分块对前景层进行分块,将前景层分块缓存到每个显示分块中对应L2高速缓存器。
5.如权利要求1或3所述的方法,其特征在于,
处理器阵列根据指令控制器的调度,分别调用每个显示分块中对应L2高速缓存器中的图层信息,其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作,将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
6.一种三维数据传输系统,所述系统包括:
服务器,用于接收用户设备的初始化数据请求,所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息;
所述服务器获取与所述用户请求场景信息对应的内容信息,并根据所述用户请求场景信息以及所述用户设备中保存的模板信息,确定所述用户设备的渲染方案;
其中,所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中,将背景层和中间层的渲染后图层一并发送给用户设备,否则发送中间层的渲染后图层;
服务器接收用户设备的实时数据请求,所述实时数据请求包括所述用户设备的位姿信息;
服务器在云端加载场景空间流水线,根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息,所述场景帧信息包括中间层/中间层和背景,所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息,将渲染后图层分块传输给用户设备;
用户设备,所述用户设备接收背景层和中间层的渲染后图层的图层分块,按照图层分块所属的区域位置,分别缓存到显示分块对应的L2高速缓存器中;
所述用户设备调用前景层的模板,根据显示分块对前景层进行分块,将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器;
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息,经过透明度处理后复合形成显示给用户的最终渲染图像帧。
7.如权利要求6所述的系统,其特征在于:
所述图层分块中对用户体验影响较大的图层分块采用较大的数据块,对用户体验贡献较小的图层分块采用较小的数据块;
所述图层分块的分辨率等级不大于用户设备的分辨率最高等级;
当网络状况不理想的情况下,提高对用户体验影响程度小的图层分块的压缩等级,提高背景数据包对应图层分块的压缩等级;
所述服务器优先将中间层的图层分块数据块进行传输;
所述服务器优先将对用户体验贡献较大的图层分块进行传输;
所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定;
所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块,当所述任务目标操作对象位于所述用户设备头显中心区域时,贡献度达到最大,所有带宽将优先提供给该图层块。
8.如权利要求6所述的系统,其特征在于,
所述前景层中包含用户设备与场景内容互动的图标和工具,在本地空间流水线中进行用户操作的捕捉和图层渲染,根据显示分块对前景层进行分块,将前景层分块缓存到每个显示分块中对应L2高速缓存器。
9.如权利要求6或7所述的系统,其特征在于,
处理器阵列根据指令控制器的调度,分别调用每个显示分块中对应L2高速缓存器中的图层信息,其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作,将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
10.一种三维数据传输芯片,通过执行可读存储介质上的代码以执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211303446.2A CN115379193B (zh) | 2022-10-24 | 2022-10-24 | 一种三维数据传输方法、系统及芯片 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211303446.2A CN115379193B (zh) | 2022-10-24 | 2022-10-24 | 一种三维数据传输方法、系统及芯片 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115379193A true CN115379193A (zh) | 2022-11-22 |
CN115379193B CN115379193B (zh) | 2022-12-27 |
Family
ID=84073863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211303446.2A Active CN115379193B (zh) | 2022-10-24 | 2022-10-24 | 一种三维数据传输方法、系统及芯片 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115379193B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6377257B1 (en) * | 1999-10-04 | 2002-04-23 | International Business Machines Corporation | Methods and apparatus for delivering 3D graphics in a networked environment |
CN103106680A (zh) * | 2013-02-16 | 2013-05-15 | 赞奇科技发展有限公司 | 基于云计算架构的三维图形渲染的实现方法及云服务系统 |
CN107274469A (zh) * | 2017-06-06 | 2017-10-20 | 清华大学 | 面向虚拟现实的协同渲染方法 |
CN114844934A (zh) * | 2022-04-28 | 2022-08-02 | 北京北建大科技有限公司 | 基于云渲染的多人大空间vr互动场景搭建方法 |
CN114980208A (zh) * | 2022-05-18 | 2022-08-30 | 浙江传媒学院 | 端到端的移动Web 3D渲染计算卸载方法 |
-
2022
- 2022-10-24 CN CN202211303446.2A patent/CN115379193B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6377257B1 (en) * | 1999-10-04 | 2002-04-23 | International Business Machines Corporation | Methods and apparatus for delivering 3D graphics in a networked environment |
CN103106680A (zh) * | 2013-02-16 | 2013-05-15 | 赞奇科技发展有限公司 | 基于云计算架构的三维图形渲染的实现方法及云服务系统 |
CN107274469A (zh) * | 2017-06-06 | 2017-10-20 | 清华大学 | 面向虚拟现实的协同渲染方法 |
CN114844934A (zh) * | 2022-04-28 | 2022-08-02 | 北京北建大科技有限公司 | 基于云渲染的多人大空间vr互动场景搭建方法 |
CN114980208A (zh) * | 2022-05-18 | 2022-08-30 | 浙江传媒学院 | 端到端的移动Web 3D渲染计算卸载方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115379193B (zh) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11457263B2 (en) | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation | |
CN111052750B (zh) | 用于点云流传输的方法和装置 | |
CN107992366B (zh) | 对多个目标对象进行检测和跟踪的方法、系统和电子设备 | |
CN109992111B (zh) | 增强现实扩展方法和电子设备 | |
US11080943B2 (en) | Method and apparatus for displaying with 3D parallax effect | |
CN109040595A (zh) | 基于ar的历史全景处理方法、装置、设备及存储介质 | |
CN113141511A (zh) | 一种图形渲染方法及设备 | |
CN104765636A (zh) | 一种远程桌面图像的合成方法和装置 | |
CN115037986B (zh) | 视频的自适应播放方法及设备 | |
CN115379193B (zh) | 一种三维数据传输方法、系统及芯片 | |
CN111914784B (zh) | 轨旁障碍物入侵实时检测方法、装置及电子设备 | |
CN113852841A (zh) | 一种可视化场景建立方法、装置、设备、介质和系统 | |
KR102095454B1 (ko) | 커넥티드 카를 위한 클라우드 서버 및 상황 재현 방법 | |
CN111862342A (zh) | 增强现实的纹理处理方法、装置、电子设备及存储介质 | |
CN110889880A (zh) | 一种贴图处理方法、装置、设备及存储介质 | |
CN109361888B (zh) | 通话背景的调整方法和装置、视频通话设备及存储介质 | |
CN115373764A (zh) | 一种容器自动加载方法和装置 | |
CN108920598B (zh) | 全景图浏览方法、装置、终端设备、服务器及存储介质 | |
CN112988276B (zh) | 一种资源包的生成方法、装置、电子设备及存储介质 | |
CN112354188B (zh) | 虚拟道具的图像处理方法、装置、电子设备和存储介质 | |
US11630700B2 (en) | Local edge device | |
WO2022121654A1 (zh) | 确定透明度的方法、装置、电子设备及存储介质 | |
CN114584598A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN116916028A (zh) | 使用虚拟分辨率调整的视频流缩放 | |
KR20230146643A (ko) | 에지 클라우드 아키텍처 및 p2p 스트리밍을 사용하는 라이트필드/몰입형 미디어를 위한 분할 렌더링 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |