CN106254489A - 一种无文件传输的云渲染系统及其方法 - Google Patents
一种无文件传输的云渲染系统及其方法 Download PDFInfo
- Publication number
- CN106254489A CN106254489A CN201610672943.8A CN201610672943A CN106254489A CN 106254489 A CN106254489 A CN 106254489A CN 201610672943 A CN201610672943 A CN 201610672943A CN 106254489 A CN106254489 A CN 106254489A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud
- rendering
- scene
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种无文件传输的云渲染系统和方法,通过在客户端和服务器间共享内置场景管理系统,使其二者能够不经过文件、不考虑复杂文件格式,直接传输和使用内存数据;同时进一步针对统一的内存数据进行包括并发传输和云缓存在内的多种优化。通过服务器内置云渲染器,客户端内置内容制作系统的方式,避免了以往必须在服务器端安装、使用多种第三方制作软件、渲染器的弊端。相对基于文件传输的云渲染方法,本发明用内存传输替代了传统的文件上传、下载、解析过程,以达到提高任务提交速度、改善用户体验、控制运营成本的目的。
Description
技术领域
本发明涉及计算机多媒体技术领域,特别涉及一种利用云计算技术为客户提供高速渲染服务的系统及其方法。
背景技术
渲染指在进行建筑设计、动画制作等活动中,利用3ds MAX、MAYA等内容制作软件完成模型、材质、动画帧制作后,利用上述软件或者辅助软件将所制作内容形成最终效果图或者动画的过程。负责渲染的软件或模块一般称之为渲染器;负责制作模型、动画帧等内容的软件称为内容制作软件;部分内容制作软件自身包含渲染功能,部分则开放SDK允许第三方软件访问其内部的场景管理系统,如Max SDK,Sketch Up Ruby Script等。其中场景管理系统又称场景图,指渲染器或内容制作软件内部用于管理渲染数据、提供保存数据结构及其方法的系统;场景管理系统所管理的场景即渲染和制作所使用的数据;一些软件平台采用专用非公开的场景管理系统,如3ds Max、MAYA;也有一些通用、开源的场景管理系统如Open Scene Graph等。
云渲染是一种利用大规模云计算资源快速完成渲染任务的方法。为达到上述目的,云渲染系统需通过一定的途径将用户的渲染数据提交到云端:申请号为CN201310113063.3的中国专利申请的提交方法为:通过浏览器将源文件上传至服务器;申请号为CN201510755865.3的中国专利申请的提交方法为:通过客户端系统生成文件列表的方式将源文件上传至服务器。上述现有云渲染系统提交方式的共同特征是需要将渲染所需的各种任务文件、工程文件、资源文件传输给云渲染服务商,即基于文件传输。此类系统具有无需涉及内容制作系统、场景管理系统、渲染器的开发,且能够兼容多种文件格式的特点,但是,基于文件传输的技术特征决定了该类系统普遍存在以下两个问题:
其一,基于文件传输的云渲染系统中文件上传、下载或邮寄硬盘的过程严重降低了云渲染的效率;对于复杂的零碎型渲染任务而言,渲染相关的资源文件可能高达数百个,任一文件缺失或错误将导致整个渲染任务无法进行;对于大容量整体型的渲染任务而言,单个工程文件容量可高达数GB,以当前普及的10MBps的网络带宽计算(上传带宽由于运营商限制一般仅2MBps),2GB的渲染文件上传时间需要2*1024/(2/8) = 8192秒, 即2.26小时;
其二,为了支持客户传输到服务器的多种格式的渲染文件,基于文件传输的云渲染系统必须能够识别多种内容制作软件所产生的文件格式;为达到这个目的,目前云渲染系统的解决方法为在服务器中安装相应内容制作软件:如为了接受 “.MAX”、“.3ds”、“.SKP”、“.MA”、“.MB”等文件格式,基于文件传输的云渲染系统的服务器端必须安装和使用3dsMAX、Blender、Sketch Up、MAYA、V-RAY等内容制作软件和渲染器;由于这些软件一般都是由“除了用户和云渲染服务提供商之外的第三方”提供的,所以使用此类系统的云渲染服务商必须获得在云端使用第三方软件的授权;云计算平台包含大量计算节点,如果每个节点都安装拥有合法授权的软件将是一笔巨额费用;著名渲染器V-RAY开发商Chaos Group在其主页上做出公开声明:“没有在这里列出的商业渲染农场没有权利提供Chaos Group的产品,他们没有被授予许可并/或没有真正合法的使用我们的产品。”而在其后的合法列表中并没有包含任何中国本土的云渲染服务商,这就是说目前中国本土的V-RAY云渲染服务商随时可能面临盗版起诉。
原文参见http://www.chaosgroup.com/en/2/vray_services.html#Ranch。
针对第一个问题,申请号为CN201510755865.3的专利申请通过为每个文件建立hash索引的方式避免传输相同的渲染资源文件,以达到加快传输速度的目的。但是该方法仍然存在以下两个问题: 1)在处理采用单一大工程文件的渲染任务时该方法几乎无效:因为实际应用中一般不会有两个完全相同的渲染任务,当所有渲染数据都保存在一个文件时,该文件一般不可重复使用,代表文件格式为Sketch Up的.SKP格式。2)即使采用了多渲染资源文件,当某个渲染资源文件做出修改后,哪怕只是修改了文件的一个字节,因为其hash索引值已经发生了变化,该资源文件必须被完整重新传输。上述问题产生的根源在于不同文件、不同文件格式、不同文件的序列化方式造成了固有的数据边界,很难形成可行的算法对该边界内部数据的变化进行识别和区分,也就难以获得有效的增量传输方法。云渲染系统如果希望识别文件内部的实际数据变化就必须了解所有文件的格式结构,并对文件进行读取和解析;面对种类繁多、产权归属不一的文件格式这种解析基本无法实现。
同样针对第一个问题,申请号为CN201410439156.X的中国专利申请采取低精度模型和高精度模型配合使用的方式以节省传输高精度模型的开销,达到加快传输速度的目的;但由于该方法需要同时维护一套高精度模型和对应的低精度模型库,模型库必须在设计开始前固定好,限制了其使用的范围。
针对第二个问题,申请号为CN201420304688.8的实用新型申请采用为每一台影视制作电脑建立虚拟机的方式对不同的软硬件环境进行适配从而改善云渲染环境兼容问题;但该方法无法解决需要在服务器的虚拟机上安装、配置各种第三方软件的问题。
发明内容
本发明针对现有技术的缺陷提供了一种无文件传输的云渲染系统和方法,通过在客户端和服务器之间共享场景管理系统,使得服务器和客户端能够不经过文件、不考虑复杂文件格式,直接传输和使用内存数据;通过在服务器中内置云渲染器的方式避免了在服务器端安装、使用第三方制作软件和渲染器的弊端;采用从客户端内存直接向服务器内存传输数据块的方案替代了传统的文件上传下载,显著提高了任务提交的性能。本发明的技术方案能够有效提高传输性能、改善用户体验、控制运营成本。
本发明能够提高传输性能的主要原因包括:1)内存访问比磁盘文件访问快速。2)无文件传输节省了第三方文件格式解析和保存的时间。3)无文件传输节省了各种第三方软件在服务器端的调用时间。4)内存数据的分割方法,提高了数据的重复使用性,节省了传输重复数据的时间。5)内存数据的分割方法,使得系统能够并发传输分割后的数据块。6)云缓存系统,能够在兼顾存储成本的情况下利用不同性能特征的存储硬件进一步最大化数据块检索性能。
本发明能够使得用户体验得到改善的原因是,用户无需进行文件的上传和下载管理,也无需考虑本地软件环境和云端软件环境的兼容问题。
本发明能够控制运营成本的原因是,采用了本发明的云渲染提供商无需在服务器端安装运行任何第三方制作及渲染软件,从而避免了购买相关软件授权的大量开销。
为了实现以上技术目的,达到上述技术效果,本发明通过以下技术方案实现:
一种无文件传输的云渲染系统,包括客户端系统、服务器系统、场景管理系统;其中客户端系统包括内容制作系统、任务管理系统,并可选地包括第三方内容制作软件的数据访问模块;服务器系统包括场景重构系统、云渲染器系统、结果管理系统,并可选地包括云缓存系统;场景管理系统被客户端和服务器系统共享使用。
本发明内置了内容制作系统、云渲染器和场景管理系统的必要性在于:在缺少统一场景管理系统支撑的前提下,无法直接在客户端内存和服务器内存之间传输数据;而内置了场景管理系统后由于其内存数据不能直接被第三方软件识别;故而本发明实施时不能直接在服务器端安装使用各种现有的第三方制作软件、渲染器,而必须共享场景管理系统正向研发所有客户端子系统和服务器子系统。
场景管理系统定义了渲染数据的统一内存结构M;客户端系统和服务器系统都可以依据M访问场景数据;进一步地,内容制作系统可以依据M进行场景编辑,云渲染器系统依据M进行渲染,任务管理系统依据M对结构中的数据进行分块,场景重构模块依据上述分块的方式组装回原始场景;任务管理系统完全独立于各种文件和文件格式运行,打破了由文件、文件格式造成的数据边界,从而能准确地识别出数据的变化部分,实现高效的增量传输。
客户端的内容制作系统用于编辑制作渲染所需的各种数据,包括模型、贴图、材质参数、渲染参数、灯光参数等;在用户需要使用第三方软件生成的数据时,客户端可包括第三方内容制作软件的数据访问模块,该模块用于将第三方内容制作软件的场景数据导入内容制作系统中;客户端系统可部署为独立的应用程序和\或第三方应用程序的插件。
客户端的任务管理系统将客户端内存中渲染数据M传输至服务器,并在客户端用户界面上显示任务执行状态;任务状态包括:正在传输、等待渲染、渲染进行中、任务成功完成等;任务管理系统的数据传输方式为:将渲染数据M的数据成员依据实际含义分割为数据块进行传输,这种分割方式可以保证渲染数据在局部变更后依然可以保证其余部分可重用,进而实现增量传输。
服务器端场景重构系统接收客户端传入的数据块并在服务器端重构成原始场景,再交由内建云渲染器执行渲染。
云渲染器不经过文件直接访问上述M执行渲染,完成渲染任务后将渲染结果发送至所述结果管理系统,结果管理系统负责处理客户端的任务进度查询和结果获取请求。
云缓存系统通过在服务器端暂存可重用的数据块为场景重构系统提供云端高速缓存服务,在传输数据块前首先检索和使用云端存储的数据块,从而避免传输重复的数据、实现增量传输、提高场景重构速度;云缓存系统管理一至多级缓存系统,缓存的各级可以由不同性能特征的存储硬件构成,从而兼顾检索性能和硬件成本;云缓存系统不考虑任何文件格式,只处理任务管理系统分割出的数据块。
一种无文件传输的云渲染方法,包含以下步骤,其中STP1至STP7为客户端执行步骤,STP8至STP11为服务器端的并发执行步骤。
STP1:用户使用内容制作系统进行渲染场景制作,当用户要求使用第三方内容制作软件进行场景制作时,客户端将包括第三方内容制作软件的数据访问模块,该模块将第三方制作软件的数据转换并导入到内建内容制作系统中。
STP2:用户完成内容制作后可以直接在内容制作系统中提交云渲染任务,任务管理系统将该任务状态标注为正在提交。
STP3:任务管理系统访问场景管理系统,遍历原始场景数据结构,处理所有数据成员并根据数据成员的实际含义区分为三种情况:类型1,不可重用的数据成员,包括描述场景中各物体关联的结构性数据、一次性生成的数据等;类型2,可重用、需要进一步分割的数据,包括模型数据、纹理贴图数据等;类型3,可重用、不需要进一步分割的数据,包括小尺寸数据、灯光、渲染参数数据等。
STP4:任务管理系统依据遍历结果,建立场景重构框架数据结构m,m中保存了M中所有数据成员之间的关系,有了m和所有类型的数据成员后就能够重构出完整的M;任务管理系统将类型1数据直接填充到m中、将类型2、3的引用标识填充到m中、将m传输至场景重构系统;若系统没有包括云缓存模块则继续将类型2、3的数据成员传输至场景重构系统,否则转入STP5处理类型2数据,转入STP6处理类型3数据,在处理所有数据块全部完成后转入STP7。
STP5:任务管理系统对每个类型2数据成员进行分割以提高数据变更后的缓存命中率;分割完成后计算每个数据块的hash值并将hash值发送到云缓存系统进行云缓存检索,如果hash值已经存在于缓存中则放弃传输该数据块,否则可选地对数据块进行压缩后将数据块发送至云缓存系统。
STP6:任务管理系统将每个类型3数据成员作为一个完整数据块处理,并依照STP5中处理每个分割数据块的方式处理每个类型3数据成员。
STP7:任务管理系统将任务状态更新为等待渲染,并定期向结果管理系统查询渲染进度,当渲染进度大于0时将任务状态更新为正在渲染,当渲染进度为完成时,接收渲染结果并将任务状态更新为已经完成;。
STP8:场景重构系统等待接收场景重构框架数据结构m和客户端直接传输的非缓存数据成员;接收到m后,定期检查m中引用的数据成员是否已经成功完整获取,其中包括直接传输至重构系统的非缓存数据成员、传输到云缓存系统的可缓存数据成员以及可以从云缓存中获取的已命中缓存数据成员;并将成功获取的数据成员依据引用标注填充到m中,当所有数据成员全部填充后,m即等价于完整场景数据结构M,说明场景重构完成,此时启动云渲染器系统进行渲染。
STP9:云缓存系统等待处理云缓存检索请求,当一个检索请求命中时直接从多级存储系统中中获取数据块,否则从客户端重新接收该数据块,将新的数据块及其hash值添加到多级存储系统中中;云缓存系统定期对多级存储系统进行维护,将近期频繁使用的缓存数据块转移到高性能、高成本的存储系统上,将使用频率低的数据块转入低成本、低性能的存储系统或直接删除。
STP10:云渲染器系统进行渲染任务的同时将渲染进度信息发送至结果管理系统,在渲染结束后将渲染结果发送发送至结果管理系统。
STP11:结果管理系统将渲染器发送来的渲染结果和进度信息发送至客户端任务管理系统。
附图说明
图1 本发明具体实施例的框图。
图2 本发明具体实施例的场景管理系统提供的内存数据结构。
图3 本发明具体实施例的云缓存系统采用的存储结构。
图4 本发明具体实施例的流程图。
具体实施方式
现在将参照附图和具体实施例对本发明技术方案作进一步描述,以使本领域技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
如图1所示,无文件传输的云渲染系统,包括客户端100、服务器200、场景管理系统000;其中客户端100包括内容制作系统103、任务管理系统101,DAE数据访问模块102;服务器200包括场景重构系统201、云渲染器系统202,云缓存系统203、结果管理系统204;场景管理系统000编译成动态链接库被客户端100、服务器200共享使用。
如图2所示,场景管理系统000定义了渲染数据的树型数据结构M’,M’使用不同类型的节点301存储不同类型的数据贴图302、模型304、材质303;客户端100和服务器200的所有子系统均可遍历该M’的所有节点301,访问节点301中的数据;由于数据定义共享,所以各系统均能够了解数据成员的实际含义。
内容制作系统103用于编辑渲染所需模型、贴图、灯光、渲染参数,并包含本地设计预览功能,能够实现所见即所得的场景编辑;当用户希望使用第三方内容制作软件创建的内容时,可利用第三方软件的DAE插件将数据导出为DAE格式,经DAE数据访问模块102将内容导入内容制作系统103;由于DAE是开放格式,有开放的DAE SDK,具有较好的通用性,通过此方式本系统可兼容多种第三方内容制作软件;数据导入内容制作系统103后DAE即已转换成数据结构M’,因此该文件并不直接参与云渲染的传输和计算,不影响到本系统无文件传输的特性。
任务管理系统101用于将客户端100内存中M’传输至场景重构系统201和云缓存系统203,并于客户端000用户界面上显示任务执行状态,状态包括正在传输、等待渲染、任务成功完成等;任务管理系统101将M’中的数据成员依据实际含义进行分割,分割方式包括顶点缓冲数据按照其3D空间位置进行分割,2D贴图数据按照像素行列分布分割,索引缓冲按照数组顺序分割等;按照3D空间位置分割顶点的方式可保证在顶点缓冲局部发生变化后其余分割出的数据块仍然保持不变;按照像素行列分布分割贴图的方式可以保证在贴图局部变化后其余分割出的数据块仍然保持不变。
服务器端200中的场景重构系统201负责接受客户端100传入的数据块,所有数据块成功获取后在内建场景管理系统000中重构成原始场景,利用场景管理系统000的序列化功能,将重构后的场景序列化为数据流,经过服务器内部高速网络传输至云渲染器系统202执行渲染。
如图3所示服务器云缓存系统203采用三级缓冲存储系统:第一级存储采用128GBDDR4 REG 内存;第二级存储采用1TB SSD阵列;第三级存储采用10TB HDD阵列。第一级存储用于保存最近一天多次使用过的数据块,第二级存储用于最近一周多次使用过的数据块,第三级存储全部数据块。第一级缓存采用标准map<HASH,DATA>的数据结构进行存储,系统重启后自动从第二级缓存中加载符合要求的数据块装入该map结构;第二、第三级缓存采用key-value数据库进行存储。云缓存系统203在处理数据块检索、读取请求时,按照优先次序依次从一、二、三级存储请求数据;在添加新数据块时同时向各级缓存保存;夜间系统空闲时或各级缓存容量紧张时,云缓存系统203自动对缓存进行维护,将各级缓存中未使用时间超过各自阈值的数据删除。在该系统运行了一个月后,工作日24小时的缓存数据统计显示约73%已缓存数据可从第一级存储系统中获取,约91%以上的存储数据可从前两级存储中获取,仅不足9%的数据需要进一步检索第三级存储;该系统工作日24小时平均场景重构时间仅为2.4秒。
一种无文件传输的云渲染方法,如图4包含以下步骤。
客户端100方面包括步骤SSTP1至 SSTP7;服务器200方面包括并发步骤SSTP8至SSTP11。
SSTP1:用户使用内容制作系统103进行渲染数据制作,并在需要时通过DAE数据访问模块102导入其他软件制作的数据。
SSTP2:用户完成设计后直接在内容制作系统103的菜单中点击云渲染,任务管理系统101界面显示并更新当前任务状态为正在提交。
SSTP3:任务管理系统101遍历M’所有节点301,将所有数据成员分成三类。类型1:包括节点以及描述节点相互关系的结构,利用随机算法生成的数据块等;类型2:顶点缓冲区,法线缓冲区,索引缓冲区,纹理贴图数据等;类型3:灯光、渲染参数、字符串等可重用的小数据。
SSTP4:任务管理系统101依据遍历结果,建立场景重构框架数据结构m’,m’的数据结构采用和M’类似的树形结构;将类型1数据直接填充到m’中;将类型2和3的数据块的hash值作为引用标识记录到m’的相应位置;遍历m’从而将m’序列化到二进制缓冲区X中,对X进行压缩后获得x;通过Socket连接场景重构系统201所监听的PORT_A,将x发送到PORT_A;转入SSTP5处理类型2数据且转入SSTP6处理类型3数据,在处理所有数据块的SSTP5、SSTP6全部完成后转入SSTP7。
SSTP5:任务管理系统101对每个类型2数据成员开启一个工作线程T2进行并发处理;T2首先分割数据成员以提高数据变更后的缓存命中率,分割完成后对每个数据块继续传输操作:计算每个数据块的hash值,并通过Socket连接云缓存系统203监听的PORT_B端口,将hash值发送至PORT_B,等待该端口返回检索结果;如果hash值已经存在于缓存中则T2终止,否则继续向PORT_B发送压缩后的数据块;所有数据块处理完毕后T2终止。
SSTP6:任务管理系统101创建一个工作线程T3依次处理所有类型3数据成员,处理类型3数据成员的方式和SSTP5中处理单个数据块的过程相同。
SSTP7:任务管理系统101将任务状态更新为正在渲染,并定期向结果管理系统204PORT_D查询渲染进度,当渲染进度为完成时,通过PORT_D发送获取结果请求并接收渲染结果,将任务状态更新为已经完成。
SSTP8:场景重构系统201监听PORT_A并为每次的连接请求创建工作线程TSA;当TSA从PORT_B接收到数据后判断该数据是m’还是类型2、3的数据成员;如果是m’,则将接收的数据解压至Y,通过对Y反序列化获得场景重构框架数据结构m’;如果接收到的数据成员是类型2、3的数据成员,则接收后依据引用标注填充到m’中;每隔0.5秒遍历检查m’中引用的数据成员是否已经成功完整获取,同时检查引用的数据成员是否已经在云缓存中存在,如果存在则直接从云缓存中加载该数据块;当所有数据成员全部填充后,m’即等价于原始M’;TSA遍历当前机组所有渲染节点,依序通过内部网络向各节点PORT_C发送状态查询请求,当任意一个节点的PORT_C返回“当前节点可用”后,将填充后的m’发送至该节点的PORT_C端口,发送完成后TSA终止。
SSTP9:云缓存系统203监听PORT_B并为每次的连接请求创建工作线程TSB;TSB判断该连接属于检索请求还是添加预缓存项目请求;如果是检索请求则检索三级存储系统并将结果通过Socket返回;否则将接收到的新数据块及其hash值添加到云缓存中;云缓存系统203每日夜间对多级云缓存系统进行维护,将近期频繁使用的缓存数据块转移到高性能、高成本的存储系统,将长期未使用的数据块转入低成本、低性能的存储系统或直接删除。
SSTP10:云缓存系统203监听PORT_C端口并为每次的连接请求创建工作线程TSC;当本节点空闲时TSC向Socket发送“当前节点可用”,当本节点没有空闲时返回“繁忙”;当节点可用时后接收场景数据并开始渲染任务,进行渲染任务的同时每秒向结果管理系统204的PORT_D传输渲染进度信息,在渲染结束后将渲染结果发送至PORT_D。
SSTP11:云缓存系统203监听PORT_D端口并为每次的连接请求创建工作线程TSD;TSD判断如果是云渲染器系统202发送来的请求则接收渲染结果、进度并暂存;TSD判断如果是客户端发来的的请求则传回渲染结果或进度。
Claims (10)
1.一种无文件传输的云渲染系统,其特征在于:包括客户端系统、服务器系统、场景管理系统;所述客户端系统包括内容制作系统、任务管理系统,并可选地包括第三方内容制作软件的数据访问模块;所述服务器系统包括场景重构系统、云渲染器系统、结果管理系统,并可选地包括云缓存系统;所述场景管理系统被客户端和服务器系统共享使用。
2.根据权利要求1所述的一种无文件传输的云渲染系统,其特征在于:所述客户端系统可部署为独立的应用程序和\或第三方应用程序的插件。
3.根据权利要求1所述的一种无文件传输的云渲染系统,其特征在于:所述客户端系统和服务器系统通信时不访问任何文件和\或文件格式。
4.根据权利要求1所述的一种无文件传输的云渲染系统,其特征在于:所述客户端可以包含第三方内容制作软件的数据访问模块,该数据访问模块用于将第三方内容制作软件的场景数据导入所述内容制作系统中。
5.根据权利要求1所述的一种无文件传输的云渲染系统,其特征在于:所述场景管理系统定义了渲染数据的统一内存结构M;所述客户端系统和服务器系统都可以依据M访问场景数据;进一步地,所述内容制作系统可以依据M进行场景编辑,所述云渲染器系统依据M进行渲染,所述任务管理系统依据M对结构中的数据进行分块,所述场景重构系统依据上述分块的方式组装回原始场景。
6.根据权利要求1或5所述的一种无文件传输的云渲染系统,其特征在于:所述任务管理系统从客户端内存中、将所述M传输至服务器,并在所述客户端用户界面上显示任务状态信息。
7.根据权利要求1或5所述的一种无文件传输的云渲染系统,其特征在于,所述任务管理系统的数据传输方式为:将所述M的数据成员依据实际含义分割为数据块进行传输。
8.根据权利要求1或5所述的一种无文件传输的云渲染系统,其特征在于:所述场景重构系统接收所述客户端传入的数据块,并在所有数据块成功传输至服务器后重构出所述M,再将M交由所述云渲染器系统执行渲染。
9.根据权利要求1所述的一种无文件传输的云渲染系统,其特征在于:所述云缓存系统通过在服务器暂存可重用的数据块为所述场景重构系统提供云端高速缓存服务;所述云缓存系统管理由不同性能特征的存储硬件构成的一至多级存储系统。
10.一种无文件传输的云渲染方法,其特征在于,包含以下步骤,其中STP1至STP7为所述客户端执行步骤,STP8至STP11为所述服务器的并发执行步骤:
STP1:用户使用所述内容制作系统进行渲染数据制作,当用户要求使用第三方内容制作软件进行数据制作时,启用第三方内容制作软件的数据访问模块;
STP2:用户完成内容制作后可以直接在所述内容制作系统中提交云渲染任务,所述任务管理系统将该任务状态标注为正在提交;
STP3:所述任务管理系统访问所述场景管理系统,遍历权利要求2所述M,处理M的所有数据成员并根据数据成员的实际含义区分为三种情况:类型1,不可重用的数据成员,包括描述场景中各物体关联的结构性数据、一次性生成的数据等;类型2,可重用、需要进一步分割的数据,包括模型数据、纹理贴图数据等;类型3,可重用、不需要进一步分割的数据,包括小尺寸数据、灯光、渲染参数数据等;
STP4:所述任务管理系统依据STP3的遍历结果,建立场景重构框架数据结构m,m采用和权利要求2中所述M使用相似的结构,m中保存了M中所有数据成员之间的关系,有了m和所有类型的数据成员后就能够重构出完整场景数据M;m建立完毕后,将类型1数据直接填充到m中,将类型2、3的引用标识填充到m中,将m传输至所述场景重构系统;若系统没有包括云缓存模块则继续将类型2、3的数据成员传输至所述场景重构系统,否则转入STP5处理类型2数据,转入STP6处理类型3数据,在所有数据块全部完成后转入STP7;
STP5:任务管理系统将每个类型2数据成员分割成数据块以提高数据变更后的缓存命中率,分割完成后计算每个数据块的hash值并将hash值发送到云缓存系统进行云缓存检索,如果hash值已经存在于缓存中则放弃传输该数据块,否则可选地对数据块进行压缩后发送至云缓存系统;
STP6:所述任务管理系统将每个类型3数据成员作为一个完整数据块处理,并依照STP5中处理每个分割数据块的方式处理每个类型3数据成员;
STP7:所述任务管理系统将任务状态更新为等待渲染,并定期向所述结果管理系统查询渲染进度,当渲染进度大于0时将任务状态更新为正在渲染,当渲染进度为完成时,接收渲染结果并将任务状态更新为已经完成;
STP8:所述场景重构系统等待接收所述m和所述客户端直接传输的非缓存数据成员;接收到m后,定期检查m中引用的数据成员是否已经成功完整获取,其中包括直接传输至所述场景重构系统的非缓存数据成员、传输到所述云缓存系统的可缓存数据成员以及可以从所述云缓存中获取的已命中缓存数据成员;并将成功获取的数据成员依据引用标注填充到m中,当所有数据成员全部填充后,m即等价于M,说明场景重构完成,此时启动所述云渲染器系统执行渲染;
STP9:所述云缓存系统等待处理云缓存检索请求,当一个检索请求命中时直接从权利要求7所述多级存储系统中获取数据块,否则从客户端重新接收该数据块并将该数据块及其hash值添加到所述多级存储系统中;所述云缓存系统定期对所述多级存储系统进行维护,将近期频繁使用的缓存数据块转移到高性能、高成本的存储系统上,将很久未使用的数据块转入低成本、低性能的存储系统上或直接删除;
STP10:所述云渲染器系统进行渲染任务的同时将渲染进度信息发送至所述结果管理系统,在渲染结束后将渲染结果发送发送至所述结果管理系统;
STP11:所述结果管理系统将渲染器发送来的渲染结果和进度信息转发给所述任务管理系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610672943.8A CN106254489A (zh) | 2016-08-16 | 2016-08-16 | 一种无文件传输的云渲染系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610672943.8A CN106254489A (zh) | 2016-08-16 | 2016-08-16 | 一种无文件传输的云渲染系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106254489A true CN106254489A (zh) | 2016-12-21 |
Family
ID=57592061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610672943.8A Pending CN106254489A (zh) | 2016-08-16 | 2016-08-16 | 一种无文件传输的云渲染系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106254489A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273345A (zh) * | 2017-07-10 | 2017-10-20 | 翁毅 | 一键导入3Dmax灯光数据并生成项目文件的方法 |
CN109242758A (zh) * | 2018-09-18 | 2019-01-18 | 珠海金山网络游戏科技有限公司 | 一种材质参数存储、材质参数获取方法及装置 |
CN110035321A (zh) * | 2019-04-11 | 2019-07-19 | 北京大生在线科技有限公司 | 一种在线实时视频的装饰方法与系统 |
CN110069557A (zh) * | 2019-03-16 | 2019-07-30 | 平安科技(深圳)有限公司 | 数据传输方法、装置、设备及存储介质 |
CN114390046A (zh) * | 2022-01-14 | 2022-04-22 | 深圳市瑞云科技有限公司 | 基于Redis数据库的异地资产文件极速传输方法及传输系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102088472A (zh) * | 2010-11-12 | 2011-06-08 | 中国传媒大学 | 面向广域网的动漫渲染任务分解支持方法及实现系统 |
CN102279752A (zh) * | 2011-08-31 | 2011-12-14 | 北京华电万通科技有限公司 | 一种基于Web3D的超大场景实时渲染装置和方法 |
CN103106680A (zh) * | 2013-02-16 | 2013-05-15 | 赞奇科技发展有限公司 | 基于云计算架构的三维图形渲染的实现方法及云服务系统 |
CN104052803A (zh) * | 2014-06-09 | 2014-09-17 | 国家超级计算深圳中心(深圳云计算中心) | 一种去中心化的分布式渲染方法及渲染系统 |
US20150273328A1 (en) * | 2012-02-07 | 2015-10-01 | Empire Technology Development Llc | Online gaming |
CN105263050A (zh) * | 2015-11-04 | 2016-01-20 | 山东大学 | 基于云平台的移动终端实时渲染系统及其方法 |
-
2016
- 2016-08-16 CN CN201610672943.8A patent/CN106254489A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102088472A (zh) * | 2010-11-12 | 2011-06-08 | 中国传媒大学 | 面向广域网的动漫渲染任务分解支持方法及实现系统 |
CN102279752A (zh) * | 2011-08-31 | 2011-12-14 | 北京华电万通科技有限公司 | 一种基于Web3D的超大场景实时渲染装置和方法 |
US20150273328A1 (en) * | 2012-02-07 | 2015-10-01 | Empire Technology Development Llc | Online gaming |
CN103106680A (zh) * | 2013-02-16 | 2013-05-15 | 赞奇科技发展有限公司 | 基于云计算架构的三维图形渲染的实现方法及云服务系统 |
CN104052803A (zh) * | 2014-06-09 | 2014-09-17 | 国家超级计算深圳中心(深圳云计算中心) | 一种去中心化的分布式渲染方法及渲染系统 |
CN105263050A (zh) * | 2015-11-04 | 2016-01-20 | 山东大学 | 基于云平台的移动终端实时渲染系统及其方法 |
Non-Patent Citations (1)
Title |
---|
李淼淼: ""GlusterFS分布式存储系统在云渲染平台中的应用研究"", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273345A (zh) * | 2017-07-10 | 2017-10-20 | 翁毅 | 一键导入3Dmax灯光数据并生成项目文件的方法 |
CN109242758A (zh) * | 2018-09-18 | 2019-01-18 | 珠海金山网络游戏科技有限公司 | 一种材质参数存储、材质参数获取方法及装置 |
CN110069557A (zh) * | 2019-03-16 | 2019-07-30 | 平安科技(深圳)有限公司 | 数据传输方法、装置、设备及存储介质 |
CN110069557B (zh) * | 2019-03-16 | 2023-10-20 | 平安科技(深圳)有限公司 | 数据传输方法、装置、设备及存储介质 |
CN110035321A (zh) * | 2019-04-11 | 2019-07-19 | 北京大生在线科技有限公司 | 一种在线实时视频的装饰方法与系统 |
CN114390046A (zh) * | 2022-01-14 | 2022-04-22 | 深圳市瑞云科技有限公司 | 基于Redis数据库的异地资产文件极速传输方法及传输系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106254489A (zh) | 一种无文件传输的云渲染系统及其方法 | |
Cignoni et al. | BDAM—Batched Dynamic Adaptive Meshes for high performance terrain visualization | |
US20180276220A1 (en) | Batch-optimized render and fetch architecture | |
CN107818112B (zh) | 一种大数据分析作业系统及任务提交方法 | |
TWI735545B (zh) | 一種模型的訓練方法和裝置 | |
US10684990B2 (en) | Reconstructing distributed cached data for retrieval | |
Lai et al. | Towards a framework for large-scale multimedia data storage and processing on Hadoop platform | |
JP2020528179A (ja) | コグニティブ階層型ストレージ管理システムを訓練する際のユーザ満足度の最適化 | |
CN106294870B (zh) | 基于对象的分布式云存储方法 | |
CN104462224A (zh) | 一种云盘文件在线编辑方法 | |
CN106874459A (zh) | 流式数据存储方法及装置 | |
CN114138776A (zh) | 图结构和图属性分离设计的方法、系统、装置和介质 | |
CN104270412A (zh) | 一种基于Hadoop分布式文件系统的三级缓存方法 | |
CA3093681C (en) | Document storage and management | |
CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
US20190228009A1 (en) | Information processing system and information processing method | |
Deibe et al. | Big data storage technologies: a case study for web-based LiDAR visualization | |
Behr et al. | webvis/instant3dhub: Visual computing as a service infrastructure to deliver adaptive, secure and scalable user centric data visualisation | |
WO2020215833A1 (zh) | 离线缓存方法、装置、终端及可读存储介质 | |
CN109947718A (zh) | 一种数据存储方法、存储平台及存储装置 | |
Nicolae et al. | BlobSeer: How to enable efficient versioning for large object storage under heavy access concurrency | |
US11797518B2 (en) | Registering additional type systems using a hub data model for data processing | |
US11327993B2 (en) | Systems and methods for managing and delivering digital content | |
Chen et al. | Progressive visualization of complex 3D models over the internet | |
US11263026B2 (en) | Software plugins of data virtualization-based architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161221 |
|
WD01 | Invention patent application deemed withdrawn after publication |