CN109766319A - 压缩任务处理方法、装置、存储介质及电子设备 - Google Patents

压缩任务处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109766319A
CN109766319A CN201811612871.3A CN201811612871A CN109766319A CN 109766319 A CN109766319 A CN 109766319A CN 201811612871 A CN201811612871 A CN 201811612871A CN 109766319 A CN109766319 A CN 109766319A
Authority
CN
China
Prior art keywords
compression duty
compression
duty
textures
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811612871.3A
Other languages
English (en)
Other versions
CN109766319B (zh
Inventor
陈怡东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201811612871.3A priority Critical patent/CN109766319B/zh
Publication of CN109766319A publication Critical patent/CN109766319A/zh
Application granted granted Critical
Publication of CN109766319B publication Critical patent/CN109766319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种压缩任务处理方法、压缩任务处理装置、计算机可读存储介质及电子设备,该方法包括:获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;利用集群分布式执行所述压缩任务;判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。本发明的技术方案能够在压缩任务很多的情况下,提高压缩任务的处理效率。

Description

压缩任务处理方法、装置、存储介质及电子设备
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种压缩任务处理方法、压缩任务处理装置、计算机可读存储介质及电子设备。
背景技术
随着计算机技术以及网络游戏的迅速发展,游戏资源(贴图、模型、图标等)在制作的过程中,其内存占有量越来越大;因而,如果直接将游戏资源打包成游戏安装包,会导致游戏包体体积巨大无比。因此,在打包之前,需要创建压缩任务,对游戏资源进行压缩处理。
现有技术中,对于待处理的压缩任务,一般是通过单机压缩的方式来完成的,然而,这种压缩方法压缩速度较慢,当待压缩的任务数量很多时,会造成系统的内存占有量过大,因而,耗时耗力,压缩效率较低。
因此,现有技术中的压缩任务处理方法效率有待提高。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种压缩任务处理方法、压缩任务处理装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服现有技术中的压缩任务处理方法压缩速度慢、可能造成信息丢失、且效率较低的缺陷。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种压缩任务处理方法,包括:获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;利用集群分布式执行所述压缩任务;判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
在本发明的一些实施例中,基于前述方案,所述待处理贴图的配置信息,包括:所述待处理贴图的特征信息和压缩平台信息;其中,所述基于所述配置信息创建压缩任务,包括:根据所述待处理贴图的特征信息和所述压缩平台信息创建压缩任务。
在本发明的一些实施例中,基于前述方案,存储所述压缩任务至分布式数据库,包括:将所述压缩任务进行序列化处理,生成任务源文件并将所述任务源文件存储至所述分布式数据库中。
在本发明的一些实施例中,基于前述方案,所述通过所述分布式数据库对所述压缩任务进行分发,包括:所述集群基于所述配置信息从所述分布式数据库中查询所述压缩任务的输入文件路径;基于所述输入文件路径,所述集群通过虚拟文件系统下载所述任务源文件;所述集群对所述任务源文件进行反序列化处理以得到压缩任务。
在本发明的一些实施例中,基于前述方案,所述利用集群分布式执行所述压缩任务,包括:利用所述集群基于所述待处理贴图的配置信息,匹配对应的压缩规则;利用所述集群基于所述压缩规则,对所述待处理贴图进行压缩处理。
在本发明的一些实施例中,基于前述方案,所述判断所述压缩任务是否执行完成,若执行完成则将执行结果存储,包括:实时获取所述压缩任务的执行进度,所述执行进度包含执行成功的任务数量和执行失败的任务数量;当所述执行成功的任务数量与所述执行失败的任务数量之和等于压缩任务的数量时,则判断出所述压缩任务执行完成且将所述执行结果保存。
在本发明的一些实施例中,基于前述方案,在实时获取所述压缩任务的执行进度之后,还包括:实时展示所述压缩任务的执行进度。
根据本发明实施例的第二方面,提供了一种压缩任务处理装置,包括:获取模块,获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;分发模块,用于存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;执行模块,用于利用集群分布式执行所述压缩任务;存储模块,用于判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
根据本发明实施例的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的压缩任务处理方法。
根据本发明实施例的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的压缩任务处理方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,一方面,通过获取待处理贴图的配置信息,基于所述配置信息创建压缩任务,能够保证压缩任务与待处理贴图的配置信息相关联,避免相关参数信息的丢失;另一方面,存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发,能够将压缩任务分发给多个服务器执行;进一步的,利用集群分布式执行所述压缩任务,能够将所述压缩任务通过多个服务器集群同时进行,从而提高压缩速度;更进一步的,判断所述压缩任务是否执行完成,若执行完成则将执行结果存储,能够避免压缩任务执行结果的丢失,保证压缩任务的执行质量,从而提高游戏开发效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本发明的实施例的压缩任务处理方法流程图;
图2示意性示出了根据本发明的另一实施例的压缩任务处理方法流程图;
图3示意性示出了根据本发明的再一实施例的压缩任务处理方法流程图;
图4示意性示出了根据本发明的又一实施例的压缩任务处理方法流程图;
图5示意性示出了根据本发明的实施例的压缩任务处理装置框图;
图6示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
现有技术中,对于游戏贴图的压缩,一般是通过单机贴图压缩的方式来完成的,然而,这种压缩方法日常开发的时候需要集成多个开发平台,且将执行结果通过哈希值保存数据,可能造成数据参数信息的丢失;并且,当贴图数量很多时,会造成CPU(CentralProcessing Unit,中央处理器,简称:CPU)的占有量过大,压缩效率较低。因此,采用现有技术中的压缩任务处理方法,并不能对压缩任务进行有效处理,其处理效率有待提高。
在本实施例中,首先提供了一种压缩任务处理方法,至少在一定程度上克服现有技术中提供的压缩任务处理方法压缩速度慢、可能造成信息丢失、且效率较低的缺陷。
图1示意性示出了根据本发明的一个实施例的压缩任务处理方法流程图,该压缩任务处理方法的执行主体可以是对压缩任务进行处理的服务器集群等。
参考图1,根据本发明的一个实施例的压缩任务处理方法包括以下步骤:
步骤S110,获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;
步骤S120,存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;
步骤S130,利用集群分布式执行所述压缩任务;
步骤S140,判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
在图1所示实施例所提供的技术方案中,一方面,通过获取待处理贴图的配置信息,基于所述配置信息创建压缩任务,能够保证压缩任务与待处理贴图的配置信息相关联,避免相关参数信息的丢失;另一方面,存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发,能够将压缩任务分发给多个服务器执行;进一步的,利用集群分布式执行所述压缩任务,能够将所述压缩任务通过多个服务器集群同时进行,从而提高压缩速度;更进一步的,判断所述压缩任务是否执行完成,若执行完成则将执行结果存储,能够避免压缩任务执行结果的丢失,保证压缩任务的执行质量,从而提高游戏开发效率。
以下对图1中的各个步骤的具体实现过程进行详细阐述:
在步骤S110中,获取待处理贴图的配置信息,基于所述配置信息创建压缩任务。
在示例性的实施例中,待处理贴图指游戏中的纹理贴图,用来贴在模型的一个或者多个面上,以渲染模型的视觉效果,提高场景的真实性。纹理贴图可以是任意的图片,其格式可以是png,jpg等通用图片格式,通俗的来说,纹理贴图能够为模型赋予皮肤,让游戏的显示效果更加逼真、贴近现实。
在示例性的实施例中,待处理贴图的配置信息可以是待处理贴图的特征信息和压缩平台信息。其中,特征信息可以是存放贴图的文件夹的用途或者待处理贴图的输入文件路径信息等;压缩平台信息可以根据待处理贴图对应的压缩平台来决定,即待处理贴图的应用平台。
在示例性的实施例中,以特征信息为存放贴图的文件夹的用途为例,可以根据待处理贴图的特征信息和压缩平台信息创建压缩任务。例如:当待处理贴图的文件夹用途为应用在iOS(苹果公司的移动操作系统)平台上,且待处理贴图需要压缩为iOS平台对应的贴图格式时,则可以基于PVR(PVRTexTool)压缩方法创建相应的压缩任务;当待处理贴图的文件夹用途为应用在Android(安卓,Google公司开发的操作系统)平台上,且待处理贴图需要压缩为Android平台对应的贴图格式时,可以基于ETC(Ericsson Texture Compression,爱立信纹理压缩,简称:ETC)压缩方法创建相应的压缩任务;当待处理贴图的文件夹用途为应用在Windows(视窗操作系统,美国微软公司研发的一套操作系统)平台上,且待处理贴图需要压缩为Windows平台对应的贴图格式时,可以基于DXT(DXT是一种DirectDraw表面,它以压缩形式存储图形数据,该表面可以节省大量的系统带宽和内存。)压缩方法创建相应的压缩任务。
在示例性的实施例中,当待处理贴图的文件夹用途为应用在iOS平台上,且待处理贴图需要压缩为iOS平台对应的贴图格式,同时,还存在一部分待处理贴图的文件夹用途为应用在Android平台上,且待处理贴图需要压缩为Android平台对应的贴图格式时,可以在基于PVR压缩方法创建相应的压缩任务的同时,基于ETC1压缩方法创建相应的压缩任务。即可以是同时针对不同的待处理贴图的特征信息和压缩平台信息来创建压缩任务,压缩任务的创建过程可以组合进行,该步骤的组合执行可以根据实际情况自行配置,属于本发明的保护范围。
在步骤S120中,存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发。
在示例性的实施例中,分布式数据库可以是MySQL数据库或者redis数据库。通过分布式数据库的使用,能够对任务进行分布式的管理和执行,进而,提高系统的响应速度;同时,能够提高系统的可靠性以及应用范围,具有良好的可扩展性,易于集成现有系统。
在示例性的实施例中,在创建完压缩任务之后,需要对任务进行序列化处理,所谓序列化处理就是将对象的状态信息转换为可以存储或传输的形式的过程,也就是说,将创建的压缩任务转换为可以存储的任务源文件的过程。在得到任务源文件之后,可以将任务源文件存储至分布式数据库中,例如:将任务源文件存储至redis数据库中。
在示例性的实施例中,分布式数据库对压缩任务进行分发的过程即集群从数据库中读取任务的过程。
在示例性的实施例中,图2示意性示出了根据本发明的另一实施例的压缩任务处理方法流程图,具体示出通过分布式数据库对压缩任务进行分发的流程图,以下结合图2对步骤S120进行解释。
在步骤S201中,所述集群基于所述配置信息从所述分布式数据库中查询所述压缩任务的输入文件路径。
在示例性的实施例中,集群是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器,即集群可以利用多个服务器进行并行计算从而获得很高的计算速度,即使在其中一个服务器故障的情况下,也不会影响其他服务器的正常运行,因而,系统整体的运行性能良好。示例性的,在本申请中,集群可以是执行压缩任务的服务器,在实际应用中,集群的数量可以依照实际情况进行选择,属于本发明的保护范围。
在示例性的实施例中,集群可以基于待处理贴图的配置信息从分布式数据库中查询到压缩任务的输入文件路径,其中,配置信息中可以包含压缩任务的输入文件路径,因而,集群可以通过配置信息从分布式数据库中查询到压缩文件的输入文件路径。
在步骤S202中,基于所述输入文件路径,所述集群通过虚拟文件系统下载所述任务源文件。
在示例性的实施例中,虚拟文件系统是一种用于网络环境的分布式文件系统,是允许和操作系统使用不同的文件系统实现的接口。虚拟文件系统能够支持多种文件,使用更加灵活,从而能够与许多其它的操作系统共存。通过输入文件路径,集群可以通过输入文件路径,进而,通过虚拟文件系统下载到任务源文件。
在步骤S203中,所述集群对所述任务源文件进行反序列化处理以得到压缩任务。
在示例性的实施例中,在集群下载到任务源文件之后,需要对任务源文件进行反序列化处理,经过反序列化处理之后,可以得到压缩任务。
继续参考图1,在步骤S130中,利用集群分布式执行所述压缩任务。
在示例性的实施例中,图3示意性示出了根据本发明的再一实施例的压缩任务处理方法流程图,具体示出利用集群分布式执行所述压缩任务的流程图,以下结合图3对步骤S130进行说明。
在步骤S301中,利用所述集群基于所述待处理贴图的配置信息,匹配对应的压缩规则。
在示例性的实施例中,在得到压缩任务之后,可以基于待处理贴图的配置信息,匹配对应的贴图压缩规则。参考步骤S101的相关解释,当待处理贴图的文件夹用途为应用在iOS(苹果公司的移动操作系统)平台上,且待处理贴图需要压缩为iOS平台对应的贴图格式时,则在基于PVR压缩方法创建相应的压缩任务之后,可以匹配对应的压缩规则为PVR压缩。
在步骤S302中,利用所述集群基于所述压缩规则,对所述待处理贴图进行压缩处理。
在示例性的实施例中,在匹配到对应的压缩规则之后,可以基于对应的压缩规则对待处理贴图进行压缩处理。例如:当匹配的压缩规则为PVR压缩时,则可以基于PVR压缩规则对待处理贴图进行压缩处理。
在步骤S140中,判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
在示例性的实施例中,图4示意性示出了根据本发明的又一实施例的压缩任务处理方法流程图,具体示出判断所述压缩任务是否执行完成,若执行完成则将执行结果存储的流程图,以下结合图4对步骤S140进行解释。
在步骤S401中,实时获取所述压缩任务的执行进度,所述执行进度包含执行成功的任务数量和执行失败的任务数量。
在示例性的实施例中,可以实时获取压缩任务的执行进度,即实时获取压缩任务执行过程中,执行成功的任务数量以及执行失败的任务数量。示例性的,可以是如果任务执行成功,则任务成功数加1,如果任务执行失败,则将任务失败数量加1,以此来统计压缩任务的执行进度。
在示例性的实施例中,在获取到任务的实时执行进度之后,还可以将所述任务的执行进度实时展示在用户的可见区域内,以便通知用户压缩任务的执行进度。
在步骤S402中,判断所述执行成功的任务数量与所述执行失败的任务数量之和是否等于压缩任务的数量。
在示例性的实施例中,需要判断执行成功的任务数量与执行失败的任务数量之和是否等于压缩任务的数量。
在步骤S403中,则判断出所述压缩任务执行完成且将所述执行结果保存。
在示例性的实施例中,若所述执行成功的任务数量与所述执行失败的任务数量之和等于压缩任务的数量时,则判断出所述压缩任务执行完成,则可以将执行结果保存在数据库中,从而能够避免数据丢失。
在步骤S404中,继续执行所述压缩任务。
在示例性的实施例中,若所述执行成功的任务数量与所述执行失败的任务数量之和不等于压缩任务的数量时,则继续执行所述压缩任务,直至压缩任务执行完成,历史列表中没有待处理压缩贴图为止。
以下介绍本发明的装置实施例,可以用于执行本发明上述的压缩任务处理方法。
图5示意性示出了根据本发明的一个实施例的压缩任务处理装置框图,该压缩任务处理装置可以设置在对压缩任务进行处理的服务器集群中。
参照图5所示,根据本发明的一个实施例的压缩任务处理装置框图500,包括如下模块:获取模块501、分发模块502、执行模块503以及存储模块504,以下详细进行阐述:
获取模块501,获取待处理贴图的配置信息,基于所述配置信息创建压缩任务。
在示例性的实施例中,获取模块用于获取待处理贴图的配置信息,并基于配置信息创建压缩任务。
分发模块502,用于存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发。
在示例性的实施例中,在创建完压缩任务之后,分发模块用于对任务进行序列化处理并存储所述压缩任务至分布式数据库,所谓序列化处理就是将对象的状态信息转换为可以存储或传输的形式的过程,也就是说,将创建的压缩任务转换为可以存储的任务源文件的过程。在得到任务源文件之后,可以将任务源文件存储至分布式数据库中,例如:将任务源文件存储至redis数据库中。进而,可以通过分布式数据库对压缩任务进行分发。
执行模块503,用于利用集群分布式执行所述压缩任务。
在示例性的实施例中,执行模块用于利用集群基于待处理贴图的配置信息,匹配对应的压缩规则。进而,利用集群基于对应的压缩规则,对待处理贴图进行压缩处理。
存储模块504,用于判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
在示例性的实施例中,存储模块用于当判断出压缩任务执行完成时,将执行结果存储,以完成对压缩任务的处理。
由于本发明的示例实施例的压缩任务处理装置的各个功能模块与上述压缩任务处理方法的示例实施例的步骤对应,因此对于本发明装置实施例中未披露的细节,请参照本发明上述的压缩任务处理方法的实施例。
下面参考图6,其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备的计算机系统600仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的压缩任务处理方法。
例如,所述的电子设备可以实现如图1中所示的:步骤S110,获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;步骤S120,存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;步骤S130,利用集群分布式执行所述压缩任务;步骤S140,判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
又如,所述的电子设备可以实现如图2-4任一图所示的各个步骤。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种压缩任务处理方法,其特征在于,包括:
获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;
存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;
利用集群分布式执行所述压缩任务;
判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
2.根据权利要求1所述的方法,其特征在于,所述待处理贴图的配置信息,包括:所述待处理贴图的特征信息和压缩平台信息;
其中,所述基于所述配置信息创建压缩任务,包括:
根据所述待处理贴图的特征信息和所述压缩平台信息创建压缩任务。
3.根据权利要求1或2所述的方法,其特征在于,存储所述压缩任务至分布式数据库,包括:
将所述压缩任务进行序列化处理,生成任务源文件并将所述任务源文件存储至所述分布式数据库中。
4.根据权利要求3所述的方法,其特征在于,所述通过所述分布式数据库对所述压缩任务进行分发,包括:
所述集群基于所述配置信息从所述分布式数据库中查询所述压缩任务的输入文件路径;
基于所述输入文件路径,所述集群通过虚拟文件系统下载所述任务源文件;
所述集群对所述任务源文件进行反序列化处理以得到压缩任务。
5.根据权利要求4所述的方法,其特征在于,所述利用集群分布式执行所述压缩任务,包括:
利用所述集群基于所述待处理贴图的配置信息,匹配对应的压缩规则;
利用所述集群基于所述压缩规则,对所述待处理贴图进行压缩处理。
6.根据权利要求1所述的方法,其特征在于,所述判断所述压缩任务是否执行完成,若执行完成则将执行结果存储,包括:
实时获取所述压缩任务的执行进度,所述执行进度包含执行成功的任务数量和执行失败的任务数量;
当所述执行成功的任务数量与所述执行失败的任务数量之和等于压缩任务的数量时,则判断出所述压缩任务执行完成且将所述执行结果保存。
7.根据权利要求6所述的方法,其特征在于,在实时获取所述压缩任务的执行进度之后,还包括:
实时展示所述压缩任务的执行进度。
8.一种压缩任务处理装置,其特征在于,包括:
获取模块,获取待处理贴图的配置信息,基于所述配置信息创建压缩任务;
分发模块,用于存储所述压缩任务至分布式数据库,并通过所述分布式数据库对所述压缩任务进行分发;
执行模块,用于利用集群分布式执行所述压缩任务;
存储模块,用于判断所述压缩任务是否执行完成,若执行完成则将执行结果存储。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的压缩任务处理的方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一项所述的压缩任务处理的方法。
CN201811612871.3A 2018-12-27 2018-12-27 压缩任务处理方法、装置、存储介质及电子设备 Active CN109766319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811612871.3A CN109766319B (zh) 2018-12-27 2018-12-27 压缩任务处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811612871.3A CN109766319B (zh) 2018-12-27 2018-12-27 压缩任务处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN109766319A true CN109766319A (zh) 2019-05-17
CN109766319B CN109766319B (zh) 2021-05-11

Family

ID=66452154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811612871.3A Active CN109766319B (zh) 2018-12-27 2018-12-27 压缩任务处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN109766319B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287033A (zh) * 2019-07-03 2019-09-27 网易(杭州)网络有限公司 批量任务处理方法、装置、系统、设备和可读存储介质
CN110609726A (zh) * 2019-09-16 2019-12-24 网易(杭州)网络有限公司 贴图处理方法及装置、计算机可读存储介质、电子设备
CN110780937A (zh) * 2019-09-16 2020-02-11 腾讯大地通途(北京)科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN115061785A (zh) * 2022-04-15 2022-09-16 支付宝(杭州)信息技术有限公司 信息下发方法、装置、存储介质及服务器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309733A (zh) * 2013-06-07 2013-09-18 深圳中兴网信科技有限公司 任务调度信息持久化装置和任务调度信息持久化方法
CN103577256A (zh) * 2013-11-21 2014-02-12 五八同城信息技术有限公司 分布式定时任务调度系统
US8676858B2 (en) * 2009-07-16 2014-03-18 Novell, Inc. Grouping and differentiating volumes of files
CN104572751A (zh) * 2013-10-24 2015-04-29 携程计算机技术(上海)有限公司 呼叫中心录音文件的压缩存储方法及系统
CN104581167A (zh) * 2014-03-07 2015-04-29 华南理工大学 一种用于无线传感网络的分布式图像压缩传输方法
WO2016095149A1 (zh) * 2014-12-18 2016-06-23 华为技术有限公司 一种数据压缩存储方法、装置,及分布式文件系统
CN107977442A (zh) * 2017-12-08 2018-05-01 北京希嘉创智教育科技有限公司 日志文件压缩及解压缩方法、电子设备和可读存储介质
CN108988866A (zh) * 2013-05-22 2018-12-11 亚马逊科技公司 作为服务的有效数据压缩和分析

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676858B2 (en) * 2009-07-16 2014-03-18 Novell, Inc. Grouping and differentiating volumes of files
CN108988866A (zh) * 2013-05-22 2018-12-11 亚马逊科技公司 作为服务的有效数据压缩和分析
CN103309733A (zh) * 2013-06-07 2013-09-18 深圳中兴网信科技有限公司 任务调度信息持久化装置和任务调度信息持久化方法
CN104572751A (zh) * 2013-10-24 2015-04-29 携程计算机技术(上海)有限公司 呼叫中心录音文件的压缩存储方法及系统
CN103577256A (zh) * 2013-11-21 2014-02-12 五八同城信息技术有限公司 分布式定时任务调度系统
CN104581167A (zh) * 2014-03-07 2015-04-29 华南理工大学 一种用于无线传感网络的分布式图像压缩传输方法
WO2016095149A1 (zh) * 2014-12-18 2016-06-23 华为技术有限公司 一种数据压缩存储方法、装置,及分布式文件系统
CN107977442A (zh) * 2017-12-08 2018-05-01 北京希嘉创智教育科技有限公司 日志文件压缩及解压缩方法、电子设备和可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287033A (zh) * 2019-07-03 2019-09-27 网易(杭州)网络有限公司 批量任务处理方法、装置、系统、设备和可读存储介质
CN110609726A (zh) * 2019-09-16 2019-12-24 网易(杭州)网络有限公司 贴图处理方法及装置、计算机可读存储介质、电子设备
CN110780937A (zh) * 2019-09-16 2020-02-11 腾讯大地通途(北京)科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN110609726B (zh) * 2019-09-16 2023-07-14 网易(杭州)网络有限公司 贴图处理方法及装置、计算机可读存储介质、电子设备
CN110780937B (zh) * 2019-09-16 2023-12-08 腾讯大地通途(北京)科技有限公司 任务发布方法、装置、计算机可读存储介质及设备
CN115061785A (zh) * 2022-04-15 2022-09-16 支付宝(杭州)信息技术有限公司 信息下发方法、装置、存储介质及服务器

Also Published As

Publication number Publication date
CN109766319B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN109766319A (zh) 压缩任务处理方法、装置、存储介质及电子设备
US10333784B2 (en) Cloud system order and configuration using customized templates
CN108632101A (zh) 用于更新配置对象的方法和装置
CN106953893A (zh) 云存储系统间的数据迁移
TW201738749A (zh) 合併有代理網路、路徑及相關聯探針之分散式計算系統
US20190332431A1 (en) Allocating tasks in a computing environment
CN109274717A (zh) 基于区块链的共享存储方法、装置、介质及电子设备
CN109743293A (zh) 网络靶场的访问方法及网络靶场系统、计算机存储介质
CN108846753A (zh) 用于处理数据的方法和装置
CN114930296A (zh) 基于不同计算范式内的计算出的计算引力的分布式计算工作负载
CN108897607A (zh) 消息处理方法、装置、电子设备及存储介质
US11005925B2 (en) Load balancing with power of random choices
CN107247629A (zh) 云计算系统及用于控制服务器的云计算方法和装置
CN107239309A (zh) 补丁生成方法及装置、更新方法、电子设备、存储介质
CN109542862A (zh) 用于控制文件系统的挂载的方法、装置和系统
US11159620B2 (en) Blockchain based data transformation
CN109672722A (zh) 数据部署方法及装置、计算机存储介质和电子设备
CN110221910A (zh) 用于执行mpi作业的方法和装置
WO2020170049A1 (en) Native code generation for cloud services
CN109684059A (zh) 用于监控数据的方法及装置
CN109597810A (zh) 一种任务切分方法、装置、介质及电子设备
US11029761B2 (en) Context based gesture control
CN108196943B (zh) 虚拟机管理方法和装置
CN109240802A (zh) 请求处理方法和装置
CN112491940B (zh) 代理服务器的请求转发方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant