CN114172889B - 一种实时渲染中小文件高效传输方法及系统 - Google Patents
一种实时渲染中小文件高效传输方法及系统 Download PDFInfo
- Publication number
- CN114172889B CN114172889B CN202111209646.7A CN202111209646A CN114172889B CN 114172889 B CN114172889 B CN 114172889B CN 202111209646 A CN202111209646 A CN 202111209646A CN 114172889 B CN114172889 B CN 114172889B
- Authority
- CN
- China
- Prior art keywords
- file
- small
- files
- transmission
- small file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 161
- 238000009877 rendering Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000015654 memory Effects 0.000 claims description 45
- 239000000463 material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003518 caustics Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
- H04L47/2433—Allocation of priorities to traffic types
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开一种实时渲染中小文件高效传输方法及系统,基于数据大小,将实时渲染任务文件分为大文件和小文件;基于渲染场景,对小文件进行分类,形成原始分类小文件;基于各原始分类小文件的组成,获取各原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量;压缩各原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并在小文件轻型化模型的传输通道中进行小文件轻型化模型的传输;将完成传输的小文件轻型化模型恢复成原始分类小文件。本发明能有效降低文件传输的时延抖动,加速小文件传输速率。
Description
技术领域
本发明涉及一种实时渲染中小文件高效传输方法及系统。
背景技术
在动画电影、影视特效、建设可视化等数字内容制作中的后期渲染过程中会产生巨大的数据量和大量的文件。通常单个渲染任务包含的文件类型主要有:若干个渲染工程文件(如.max;.ma;.mb等)和海量的外部素材文件,如贴图文件(如.jpg;.png;.bmp等)、灯光焦散文件(如.vramp;.vrlamp等)、模型文件(如人物模型、家具模型等)等。素材文件可以重复的在多个渲染任务中被引用,而由于渲染工程文件是渲染相关制作人员利用3ds Max、Maya等建模工具根据需求创建的,因此渲染工程模型往往不具有重复可用性。渲染引擎根据渲染相关制作人员制作的渲染工程文件,对所需的素材文件进行加载引用,并进行计算渲染,最终输出渲染结果;因此,渲染文件的传输速率是影响渲染效率的关键因素。
一般情况下,根据制作场景的复杂程度,将大小为几十MB至几GB的渲染工程文件、模型文件称为大文件,将大小在几KB至几MB的素材文件、贴图类文件等称为小文件。在单个渲染任务中,小文件数量约占80%,在小文件中,其字节数约占20%,因此,小文件具有数量多、占据空间小的特点。
但本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:
当多个大小文件同时传输时,文件越大,时间差距越明显,进而导致小文件队列等待时间越长,传输速率大幅降低;尤其是在实时渲染中,其本质就是对图像数据的实时计算和输出,要求能够实时操纵和实时显示,因而也要求文件能够实现实时传输,若小文件传输等待时间较长,将极大的影响实时渲染速率,最终影响渲染作品的呈现。
目前,现有的文件传输工具如网盘、FTP等,采用哈希算法计算每个文件的哈希值,在文件传输过程中,只需将上传文件与数据库中文件的哈希值进行比对,如果匹配,则可实现秒传的效果;但是,针对实时渲染任务文件特性,通常小文件不仅数量较多,成百甚至复杂场景需要数万个,而且文件类型复杂多样,难以准确匹配数据库中文件哈希值;尤其是当多个大小文件同时混传时,会造成严重的时延抖动,致使整个渲染文件上传时间长,无法满足实时渲染场景的技术要求。
因此,亟需一种实时渲染中小文件高效传输方法。
发明内容
本申请实施例通过提供一种实时渲染中小文件高效传输方法,解决了现有技术大小文件同时混传时,带来的严重延时抖动的技术问题,达到降低延时抖动,加速小文件传输的技术效果。
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的。
第一方面,本申请实施例提供了一种实时渲染中小文件高效传输方法,其中,所述方法包括:
获得实时渲染任务文件;
基于数据大小,将所述实时渲染任务文件分为大文件和小文件;
基于渲染场景,对所述小文件进行分类,形成原始分类小文件;
基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量;
压缩各所述原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;
基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输;
将完成传输的所述小文件轻型化模型恢复成所述原始分类小文件。
进一步的,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输包括:
根据预设的优先级,确定所述小文件轻型化模型的传输顺序。
进一步的,其中,所述根据预设的优先级,确定所述小文件轻型化模型的传输顺序,包括:
所述预设的优先级的判断规则包括:与大文件的关联程度、小文件的紧急程度以及小文件的大小。
进一步的,其中,所述基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,包括:
所述传输文件的传输类型包括有结构文件和流式文件;
当所述传输文件的传输类型为有结构文件时,将网络层传输通道分割成若干个间隔分布的等段长传输通道,所述每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道;
当所述传输文件的传输类型为流式文件时,预留20%的通道作为所述小文件轻型化模型的传输通道;
所述有结构文件由目录项、文件索引节点和数据块组成;所述流式文件由依次有序的一串字符流构成。
进一步的,其中,所述当所述传输文件的传输类型为有结构文件时,将网络层传输通道分割成若干个间隔分布的等段长传输通道,所述每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道的具体分割公式为:
(其中A'i=A″i+Bi),其中,A为网络层传输通道,A'i为若干个等段长传输通道,A″i为若干个大文件数据包传输通道,Bi为A'i的10%。
进一步的,其中,所述基于渲染场景,对所述小文件进行分类,形成原始分类小文件,包括:
将所述小文件分为用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件,分类后的所述用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件为各所述原始分类小文件。
另一方面,本申请还提供了一种一种实时渲染中小文件高效传输系统,其中,所述系统包括:
第一获得单元,所述第一获得单元用于获得实时渲染任务文件;
第一分类单元,所述第一分类单元用于基于数据大小,将所述实时渲染任务文件分为大文件和小文件;
第二分类单元,所述第二分类单元用于基于渲染场景,对所述小文件进行分类,形成原始分类小文件;
第二获得单元,所述第二获得单元用于基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量;
第一压缩单元,所述第一压缩单元用于压缩各所述原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;
第一分割单元,所述第一分割单元用于基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并进行传输;
第一恢复单元,所述第一恢复单元用于将完成传输的所述小文件轻型化模型恢复成所述原始分类小文件。
第三方面,本发明实施例提供了一种电子设备,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,所述计算机程序被所述处理器执行时实现上述任意一项所述的实时渲染中小文件高效传输的方法中的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的实时渲染中小文件高效传输方法中的步骤。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例一种实时渲染中小文件高效传输方法的流程示意图;
图2为本申请实施例一种具有高可用率的视频流控制系统的结构示意图;
图3为本申请实施例所提供的一种用于执行控制输出数据的方法的电子设备的结构示意图。
附图标记说明:第一获得单元11,第一分类单元12,第二分类单元13,第二获得单元14,第一压缩单元15,第一分割单元16,第一恢复单元17,总线1110,处理器1120,收发器1130,总线接口1140,存储器1150和用户接口1160。
具体实施方式
在本发明实施例的描述中,所属技术领域的技术人员应当知道,本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此,本发明实施例可以具体实现为以下形式:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外,在一些实施例中,本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式,该计算机可读存储介质中包含计算机程序代码。
上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括:电、磁、光、电磁、红外或半导体的系统、装置或器件,或者以上任意的组合。计算机可读存储介质更具体的例子包括:便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、闪存、光纤、光盘只读存储器、光存储器件、磁存储器件或以上任意组合。在本发明实施例中,计算机可读存储介质可以是任意包含或存储程序的有形介质,该程序可以被指令执行系统、装置、器件使用或与其结合使用。
申请概述
本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。
应当理解,流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合,都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而生产出一种机器,这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行,产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。
也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样,存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。
下面结合本发明实施例中的附图对本发明实施例进行描述。
实施例一
如图1所示,本申请实施例提供了一种实时渲染中小文件高效传输方法,其中,所述方法包括:
步骤S100,获得实时渲染任务文件;
步骤S200,基于数据大小,将所述实时渲染任务文件分为大文件和小文件;
步骤S300,基于渲染场景,对所述小文件进行分类,形成原始分类小文件;
步骤S400,基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量;
步骤S500,压缩各所述原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;
步骤S600,基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输;
步骤S700,将完成传输的所述小文件轻型化模型恢复成所述原始分类小文件。
其中步骤S200,基于数据大小,将所述实时渲染任务文件分为大文件和小文件具体为;将渲染工程文件、模型文件设定为大文件(其大小为几十MB至几GB),将素材文件、贴图类文件设定为小文件(大小在几KB至几MB)。由此就可以将实时渲染任务文件进行区分,为后续的处理奠定基础。
其中,步骤S300,基于渲染场景,对所述小文件进行分类,形成原始分类小文件包括:
根据渲染场景的复杂程度,将步骤S200分出的小文件分为用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件。其中所述用户文件包括用户角色、信息、访问权限等;所述工程文件包含行为日志和素材文件路径等;所述模型文件包括人物模型、场景模型等;所述素材文件包括贴图、背景、材质、灯光等文件;渲染工具包括光迹追踪、焦散、全局照明等;其他渲染文件包括分层文件、渲染参数预设文件等。分类后的所述用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件为各所述原始分类小文件。
步骤S400,基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量包括:小文件的字节数组由常量数据、增量数据和控制信息相互交错组成。其中,重复出现的字节为常量数据,控制信息包括数据相关信息,如字节结构、字段以及传输目录。以模型文件为例,其中基础数据会重复出现,其即为常量数据,在该模型上添加贴图,这个贴图就是增量,也就是特征要素,在字节序列前出现的信息块是控制信息。通过提取各所述原始分类小文件的特征要素作为增量。
步骤S600,基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输包括;
所述传输文件的传输类型包括有结构文件和流式文件;
当所述传输文件的传输类型为有结构文件时,该类文件由目录项、文件索引节点和数据块组成,所述目录项包括文件名和信息单位节点号列表;文件索引节点包含文件的字节数、链接数等元信息;数据块即文件数据包。
通过网络协议进行传输,将网络层传输通道分割成若干个间隔分布的等段长传输通道,所述每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道,具体如下:
(其中A'i=A″i+Bi),其中,A为网络层传输通道,A'i为若干个等段长传输通道,A″i为若干个大文件数据包传输通道,Bi为A'i的10%。
当所述传输文件的传输类型为依次有序的一串字符流构成的流式文件时,预留20%的通道作为所述小文件轻型化模型的传输通道;
根据预设的优先级,确定所述小文件轻型化模型的传输顺序。所述预设的优先级的判断规则包括:与大文件的关联程度、小文件的紧急程度以及小文件的大小。比如,与大文件相关性在50%以上的小文件以及紧急程度在50%以上的小文件优先传输。
综上所述,本申请实施例所提供的一种实时渲染中小文件高效传输方法及系统具有如下技术效果:本发明所提供的实时渲染中小文件高效传输方法,根据文件的大小将文件分为大小文件,再根据渲染场景的复杂程度和不同的用户角色将小文件分类,不同类型的小文件具有不同特征要素,通过提取小文件中的特征要素作为增量,将增量进行压缩,构建轻型化模型;在大小文件混传时,将原本自动拆分的大文件传输通道重新分割,预留出专门的小文件传输通道,使其可实现小文件轻型化模型的穿插传输,从而满足实时渲染需求,有效降低文件传输的时延抖动,加速小文件传输速率。
实施例二
基于与前述实施例中一种实时渲染中小文件高效传输方法同样发明构思,本发明还提供了一种实时渲染中小文件高效传输系统,如图2所示,所述系统包括:
第一获得单元11,所述第一获得单元用于获得实时渲染任务文件;
第一分类单元12,所述第一分类单元用于基于数据大小,将所述实时渲染任务文件分为大文件和小文件;
第二分类单元13,所述第二分类单元用于基于渲染场景,对所述小文件进行分类,形成原始分类小文件;
第二获得单元14,所述第二获得单元用于基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量;
第一压缩单元15,所述第一压缩单元用于压缩各所述原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;
第一分割单元16,所述第一分割单元用于基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并进行传输;
第一恢复单元17,所述第一恢复单元用于将完成传输的所述小文件轻型化模型恢复成所述原始分类小文件。
进一步的,所述第一分割单元16进一步包括结构文件分割单元和流式文件分割单元:结构文件分割单元用于通过网络协议进行传输,将网络层传输通道分割成若干个间隔分布的等段长传输通道,所述每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道。流式文件分割单元用于当所述传输文件的传输类型为依次有序的一串字符流构成的流式文件时,预留20%的通道作为所述小文件轻型化模型的传输通道。
前述图1实施例一中的一种实时渲染中小文件高效传输方法的各种变化方式和具体实例同样适用于本实施例的一种实时渲染中小文件高效传输系统,通过前述对一种实时渲染中小文件高效传输方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种实时渲染中小文件高效传输系统的实施方法,所以为了说明书的简洁,在此不再详述。
此外,本发明实施例还提供了一种电子设备,包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该收发器、该存储器和处理器分别通过总线相连,计算机程序被处理器执行时实现上述实时渲染中小文件高效传输方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
示例性电子设备
具体的,参见图3所示,本发明实施例还提供了一种电子设备,该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
在本发明实施例中,该电子设备还包括:存储在存储器1150上并可在处理器1120上运行的计算机程序,计算机程序被处理器1120执行时实现上述实时渲染中小文件高效传输方法实施例的各个过程。
收发器1130,用于在处理器1120的控制下接收和发送数据。
本发明实施例中,总线架构(用总线1110来代表),总线1110可以包括任意数量互联的总线和桥,总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个,包括存储器总线以及存储器控制器、外围总线、加速图形端口、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制,这样的体系结构包括:工业标准体系结构总线、微通道体系结构总线、扩展总线、视频电子标准协会、外围部件互连总线。
处理器1120可以是一种集成电路芯片,具有信号处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括:通用处理器、中央处理器、网络处理器、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器件、可编程逻辑阵列、微控制单元或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如,处理器可以是单核处理器或多核处理器,处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成,或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
总线1110还可以将,例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起,总线接口1140在总线1110和收发器1130之间提供接口,这些都是本领域所公知的。因此,本发明实施例不再对其进行进一步描述。
收发器1130可以是一个元件,也可以是多个元件,例如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例如:收发器1130从其他设备接收外部数据,收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质,还可以提供用户接口1160,例如:触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解,在本发明实施例中,存储器1150可进一步包括相对于处理器1120远程设置的存储器,这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网、局域网、无线局域网、广域网、无线广域网、城域网、互联网、公共交换电话网、普通老式电话业务网、蜂窝电话网、无线网络、无线保真网络以及两个或更多个上述网络的组合。例如,蜂窝电话网和无线网络可以是全球移动通信系统、码分多址系统、全球微波互联接入系统、通用分组无线业务系统、宽带码分多址系统、长期演进系统、LTE频分双工系统、LTE时分双工系统、先进长期演进系统、通用移动通信系统、增强移动宽带系统、海量机器类通信系统、超可靠低时延通信系统等。
应理解,本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器,或可包括易失性存储器和非易失性存储器两者。其中,非易失性存储器包括:只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器,或闪存。
易失性存储器包括:随机存取存储器,其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如:静态随机存取存储器、动态随机存取存储器、同步动态随机存取存储器、双倍数据速率同步动态随机存取存储器、增强型同步动态随机存取存储器、同步连接动态随机存取存储器和直接内存总线随机存取存储器。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中,存储器1150存储了操作系统1151和应用程序1152的如下元素:可执行模块、数据结构,或者其子集,或者其扩展集。
具体而言,操作系统1151包含各种系统程序,例如:框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序,例如:媒体播放器、浏览器,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括:小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
此外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述实时渲染中小文件高效传输的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。以上所述,仅为本发明实施例的具体实施方式,但本发明实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明实施例的保护范围之内。因此,本发明实施例的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种实时渲染中小文件高效传输方法,其中,所述方法包括:
获得实时渲染任务文件;
基于数据大小,将所述实时渲染任务文件分为大文件和小文件;
基于渲染场景,对所述小文件进行分类,形成原始分类小文件;
基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量包括:小文件的字节数组由常量数据、增量数据和控制信息相互交错组成;其中,重复出现的字节为常量数据,控制信息包括数据相关信息,包括字节结构、字段以及传输目录;通过提取各所述原始分类小文件的特征要素作为增量;
压缩各所述原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;
基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输;
将完成传输的所述小文件轻型化模型恢复成所述原始分类小文件;
所述基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,包括:所述传输文件的传输类型包括有结构文件和流式文件;
当所述传输文件的传输类型为有结构文件时,将网络层传输通道分割成若干个间隔分布的等段长传输通道,每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道;
当所述传输文件的传输类型为流式文件时,预留20%的通道作为所述小文件轻型化模型的传输通道;
所述有结构文件由目录项、文件索引节点和数据块组成;所述流式文件由依次有序的一串字符流构成;
每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道的具体分割公式为:
(其中A’i=A’’i+Bi),其中,A为网络层传输通道,A’i为若干个等段长传输通道,A’’i为若干个大文件数据包传输通道,Bi为A’i的10%。
2.根据权利要求1所述的一种实时渲染中小文件高效传输方法,其中,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输包括:根据预设的优先级,确定所述小文件轻型化模型的传输顺序。
3.根据权利要求2所述的一种实时渲染中小文件高效传输方法,其中,所述根据预设的优先级,确定所述小文件轻型化模型的传输顺序,包括:所述预设的优先级的判断规则包括:与大文件的关联程度、小文件的紧急程度以及小文件的大小。
4.根据权利要求1所述的一种实时渲染中小文件高效传输方法,其中,所述基于渲染场景,对所述小文件进行分类,形成原始分类小文件,包括:将所述小文件分为用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件,分类后的所述用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件为各所述原始分类小文件。
5.一种实时渲染中小文件高效传输系统,其中,所述系统包括:
第一获得单元,所述第一获得单元用于获得实时渲染任务文件;
第一分类单元,所述第一分类单元用于基于数据大小,将所述实时渲染任务文件分为大文件和小文件;
第二分类单元,所述第二分类单元用于基于渲染场景,对所述小文件进行分类,形成原始分类小文件,包括:将所述小文件分为用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件,分类后的所述用户文件、工程文件、模型文件、素材文件、渲染工具和其他渲染文件为各所述原始分类小文件;
第二获得单元,所述第二获得单元用于基于各所述原始分类小文件的组成,获取各所述原始分类小文件的特征要素,并将其作为各所述原始分类小文件的增量包括:小文件的字节数组由常量数据、增量数据和控制信息相互交错组成;其中,重复出现的字节为常量数据,控制信息包括数据相关信息,包括字节结构、字段以及传输目录;通过提取各所述原始分类小文件的特征要素作为增量;
第一压缩单元,所述第一压缩单元用于压缩各所述原始分类小文件的增量,将增量压缩数据构建为小文件轻型化模型;
第一分割单元,所述第一分割单元用于基于传输文件的不同类型,对传输通道按照不同策略进行分割,设定所述小文件轻型化模型的传输通道,并在所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输;当所述传输文件的传输类型为有结构文件时,将网络层传输通道分割成若干个间隔分布的等段长传输通道,每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道;当所述传输文件的传输类型为流式文件时,预留20%的通道作为所述小文件轻型化模型的传输通道;所述有结构文件由目录项、文件索引节点和数据块组成;所述流式文件由依次有序的一串字符流构成;每个等段长传输通道分割为90%大文件传输通道和10%所述小文件轻型化模型的传输通道的具体分割公式为:
(其中A’i=A’’i+Bi),其中,A为网络层传输通道,A’i为若干个等段长传输通道,A’’i为若干个大文件数据包传输通道,Bi为A’i的10%;
第一恢复单元,所述第一恢复单元用于将完成传输的所述小文件轻型化模型恢复成所述原始分类小文件;所述小文件轻型化模型的传输通道中进行所述小文件轻型化模型的传输包括:根据预设的优先级,确定所述小文件轻型化模型的传输顺序,包括:所述预设的优先级的判断规则包括:与大文件的关联程度、小文件的紧急程度以及小文件的大小。
6.一种实时渲染中小文件高效传输系统,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1-4中任一项所述的实时渲染中小文件高效传输方法中的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的实时渲染中小文件高效传输方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111209646.7A CN114172889B (zh) | 2021-10-18 | 2021-10-18 | 一种实时渲染中小文件高效传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111209646.7A CN114172889B (zh) | 2021-10-18 | 2021-10-18 | 一种实时渲染中小文件高效传输方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114172889A CN114172889A (zh) | 2022-03-11 |
CN114172889B true CN114172889B (zh) | 2024-03-22 |
Family
ID=80477002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111209646.7A Active CN114172889B (zh) | 2021-10-18 | 2021-10-18 | 一种实时渲染中小文件高效传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114172889B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179171A (zh) * | 2011-12-26 | 2013-06-26 | 中国移动通信集团山东有限公司 | 基于分布式系统架构的文件传输方法及装置 |
CN103873173A (zh) * | 2014-03-27 | 2014-06-18 | 北京悦迪文化传媒有限公司 | 基于无线数字广播技术的数字推送式广播方法 |
CN104978319A (zh) * | 2014-04-02 | 2015-10-14 | 东华软件股份公司 | 一种用于文件分类传输的方法和设备 |
CN106131200A (zh) * | 2016-07-20 | 2016-11-16 | 深圳市瑞云科技有限公司 | 云渲染系统的文件传输装置 |
CN106603686A (zh) * | 2016-12-23 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种基于分布式存储系统的文件传输方法 |
CN106899443A (zh) * | 2015-12-18 | 2017-06-27 | 北京神州泰岳软件股份有限公司 | 一种Netflow流量数据的采集方法和设备 |
CN112929331A (zh) * | 2021-01-19 | 2021-06-08 | 江苏智源自动化技术有限公司 | 一种通用的通讯规约实现方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898794B (zh) * | 2016-04-08 | 2019-07-26 | 努比亚技术有限公司 | 数据传输装置及方法 |
CN105959298A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股(北京)有限公司 | 数据传输方法及数据传输装置 |
EP3718040A4 (en) * | 2017-12-01 | 2021-08-11 | Fasetto, Inc. | IMPROVED DATA ENCRYPTION SYSTEMS AND METHODS |
US10866929B2 (en) * | 2018-07-20 | 2020-12-15 | Slack Technologies, Inc. | Group-based communication interface with subsidiary file communications |
US11119980B2 (en) * | 2018-11-30 | 2021-09-14 | International Business Machines Corporation | Self-learning operational database management |
-
2021
- 2021-10-18 CN CN202111209646.7A patent/CN114172889B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179171A (zh) * | 2011-12-26 | 2013-06-26 | 中国移动通信集团山东有限公司 | 基于分布式系统架构的文件传输方法及装置 |
CN103873173A (zh) * | 2014-03-27 | 2014-06-18 | 北京悦迪文化传媒有限公司 | 基于无线数字广播技术的数字推送式广播方法 |
CN104978319A (zh) * | 2014-04-02 | 2015-10-14 | 东华软件股份公司 | 一种用于文件分类传输的方法和设备 |
CN106899443A (zh) * | 2015-12-18 | 2017-06-27 | 北京神州泰岳软件股份有限公司 | 一种Netflow流量数据的采集方法和设备 |
CN106131200A (zh) * | 2016-07-20 | 2016-11-16 | 深圳市瑞云科技有限公司 | 云渲染系统的文件传输装置 |
CN106603686A (zh) * | 2016-12-23 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种基于分布式存储系统的文件传输方法 |
CN112929331A (zh) * | 2021-01-19 | 2021-06-08 | 江苏智源自动化技术有限公司 | 一种通用的通讯规约实现方法 |
Non-Patent Citations (2)
Title |
---|
流媒体音视频切换矩阵的设计与实现;马跃;高春;董庆文;杨海波;孙建伟;;小型微型计算机系统(11);全文 * |
面向大规模数据的科学可视化系统GPVis;单桂华;刘俊;李观;高阳;徐涛;田东;;数据与计算发展前沿(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114172889A (zh) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110866491B (zh) | 目标检索方法、装置、计算机可读存储介质和计算机设备 | |
CN102334097B (zh) | 使用simd指令的rdp位图散列加速 | |
CN110990273A (zh) | 克隆代码检测方法及装置 | |
TW202147188A (zh) | 神經網路模型的訓練方法和相關産品 | |
JP7395740B2 (ja) | ポイントクラウドコーディングのためのハッシュベースの属性予測 | |
WO2020207410A1 (zh) | 一种数据压缩方法、电子设备及存储介质 | |
CN111242317A (zh) | 管理应用的方法、装置、计算机设备和存储介质 | |
CN112381307A (zh) | 一种气象事件预测方法、装置及相关设备 | |
KR100946694B1 (ko) | 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법 | |
CN113434483A (zh) | 一种基于时空大数据的可视化建模方法及系统 | |
CN111723932A (zh) | 神经网络模型的训练方法和相关产品 | |
CN116340260A (zh) | 建筑模型数据渲染方法、装置、电子设备及可读存储介质 | |
CN114172889B (zh) | 一种实时渲染中小文件高效传输方法及系统 | |
CN108287859B (zh) | 一种多媒体信息检索方法及装置 | |
CN111510716B (zh) | 通过图像文件的像素变换提高压缩率的方法和系统 | |
Li et al. | Towards optimal real-time volumetric video streaming: A rolling optimization and deep reinforcement learning based approach | |
WO2020192627A1 (zh) | 一种分块方法及其装置 | |
CN117119535A (zh) | 一种移动端集群热点共享的数据分流方法和系统 | |
CN113609126B (zh) | 一种众源时空数据的一体化存储管理方法及系统 | |
WO2020202313A1 (ja) | ニューラルネットワークのデータ圧縮装置およびデータ圧縮方法 | |
CN113505253B (zh) | 基于区块链的图片上传方法、装置、服务器及存储介质 | |
CN115859431A (zh) | 三维建筑模型与二维图纸的联动方法、装置和设备 | |
KR100896335B1 (ko) | 오디오 기반의 동영상 파일 중복 검사와 관리를 위한 시스템 및 방법 | |
KR102425039B1 (ko) | 분산 딥러닝 환경에서 데이터 압축 장치 및 방법 | |
CN113037848A (zh) | 文件上传方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |