CN113568742B - 一种文件压缩方法、装置、系统、电子设备及存储介质 - Google Patents
一种文件压缩方法、装置、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113568742B CN113568742B CN202110830845.3A CN202110830845A CN113568742B CN 113568742 B CN113568742 B CN 113568742B CN 202110830845 A CN202110830845 A CN 202110830845A CN 113568742 B CN113568742 B CN 113568742B
- Authority
- CN
- China
- Prior art keywords
- file
- files
- compressed
- preset
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 218
- 230000006835 compression Effects 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000007781 pre-processing Methods 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件压缩方法、装置、系统、电子设备及介质,方法包括:获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及文件预处理进程未处理的文件数量;当判定系统负载值小于预设负载阈值时,根据文件数量调整当前压缩等级,并利用调整后的当前压缩等级对待压缩文件进行压缩。本发明首先对系统负载值进行实时获取,仅在判定系统负载值小于预设负载阈值时才进行压缩操作,同时还对文件预处理进程仍未处理的文件数量进行监控,并根据该文件数量动态调整当前压缩等级,确保设备可进行压缩操作,并有效平衡压缩操作与文件预处理进程对资源的占用比例,避免压缩操作对系统资源大量占用。
Description
技术领域
本发明涉及文件压缩领域,特别涉及一种文件压缩方法、装置、系统、电子设备及计算机可读存储介质。
背景技术
压缩技术可以将文件体积缩小,以达到节省存储资源的目的。相关技术中,压缩通常采用固定的压缩等级进行,然而在面对实时的压缩场景时,例如当设备一边对待压缩文件进行接收、解析等预处理操作,一边对完成预处理的待压缩文件进行压缩,此时压缩操作将会占用大量计算资源,造成设备运行缓慢或崩溃问题。
发明内容
本发明的目的是提供一种文件压缩方法、装置、系统、电子设备及计算机可读存储介质,可根据系统负载值及文件预处理进程仍未处理的文件数量动态调整当前压缩等级,不仅可确保设备拥有足够的计算资源进行压缩操作,同时可有效平衡压缩操作与文件预处理进程对计算资源的占用比例,进而避免压缩操作对系统资源大量占用。
为解决上述技术问题,本发明提供一种文件压缩方法,包括:
获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量;
当判定所述系统负载值小于预设负载阈值时,根据所述文件数量调整所述当前压缩等级,并利用调整后的当前压缩等级对所述待压缩文件进行压缩。
可选地,所述根据所述文件数量调整所述当前压缩等级,包括:
判断所述文件数量是否大于预设文件处理数量阈值;
若是,则降低所述当前压缩等级;
若否,则将当前压缩等级调整为最高等级。
可选地,在判定所述文件数量大于所述预设文件处理数量阈值之后,还包括:
判断所述当前压缩等级是否为最低等级;
若是,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤;
若否,则执行所述降低所述当前压缩等级的步骤。
可选地,在实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量之后,还包括:
当判定所述系统负载值大于等于所述预设负载阈值时,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
可选地,所述利用调整后的当前压缩等级对所述待压缩文件进行压缩,包括:
根据预设单组文件数量对所述待压缩文件进行分组;
对每组所述待压缩文件进行压缩,并在每组所述待压缩文件完成压缩时,重新判断所述系统负载值是否小于所述预设负载阈值;
若是,则利用所述当前压缩等级对剩余组的待压缩文件进行压缩;
若否,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
可选地,所述实时获取系统负载值,包括:
利用负载监控进程实时获取所述当前系统负载值。
本发明还提供一种文件压缩装置,包括:
文件接收模块,用于获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量;
压缩模块,用于当判定所述系统负载值小于预设负载阈值时,根据所述文件数量调整所述当前压缩等级,并利用调整后的当前压缩等级对所述待压缩文件进行压缩。
本发明还提供一种文件压缩系统,包括:文件预处理进程及文件压缩装置,其中,
所述文件预处理进程,用于对预设文件存储区域中的文件进行预处理,并将处理完成的文件移动至预设待压缩文件存储区域;
所述文件压缩装置,用于执行如上述所述的文件压缩方法。
本发明还提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述所述的文件压缩方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上述所述的文件压缩方法。
本发明提供一种文件压缩方法,包括:获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量;当判定所述系统负载值小于预设负载阈值时,根据所述文件数量调整所述当前压缩等级,并利用调整后的当前压缩等级对所述待压缩文件进行压缩。
可见,本发明首先对系统负载值进行实时获取,仅在判定系统负载值小于预设负载阈值时才进行压缩操作,可确保设备拥有足够的计算资源进行压缩操作,有效避免由系统负载值过高导致的设备运行缓慢及崩溃问题;同时,本发明还对文件预处理进程仍未处理的文件数量进行监控,并根据该文件数量动态调整当前压缩等级,可确保压缩操作对计算资源的占用率随文件预处理进程的文件处理任务量进行调整,进而有效平衡压缩操作及文件预处理进程对计算资源的占用比例,最终有效提升设备的运行效率及稳定性。本发明还提供一种文件压缩装置、系统、电子设备及计算机可读存储介质,具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种文件压缩方法的流程图;
图2为本发明实施例所提供的另一种文件压缩方法的流程图;
图3为本发明实施例所提供的一种文件压缩装置的结构框图;
图4为本发明实施例所提供的一种文件压缩系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,压缩通常采用固定的压缩等级进行,然而在对面实时的压缩场景时,例如当设备一边对待压缩文件进行接收、解析及移动等预处理操作,一边对完成预处理的待压缩文件进行压缩,此时压缩操作将会占用大量计算资源,造成设备运行缓慢或崩溃问题。有鉴于此,本发明提供一种文件压缩方法,可根据系统负载值及文件预处理进程仍未处理的文件数量动态调整当前压缩等级,不仅可确保设备拥有足够的计算资源进行压缩操作,同时可有效平衡压缩操作与文件预处理进程对计算资源的占用比例,进而避免压缩操作对系统资源大量占用。请参考图1,图1为本发明实施例所提供的一种文件压缩方法的流程图,该方法可以包括:
S101、获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及文件预处理进程未处理的文件数量。
在实时的压缩场景中,通常会并行进行对文件的预处理及压缩操作,例如在对网络包的压缩过程中,通常需要首先对网络包进行抓包、解析、读取及移动等预处理,在完成预处理后才可进行压缩操作。然而在相关技术中,压缩操作会占用大量的计算资源,这不仅会影响设备进行文件预处理的效率,更会造成设备运行缓慢及崩溃等问题,影响设备的稳定运行。因此,在本发明实施例中,将会根据系统负载值及文件预处理进程未处理的文件数量,对压缩操作的压缩等级进行动态调整,首先确保设备拥有足够的计算资源进行文件预处理及压缩操作,同时也可有效平衡压缩操作与文件预处理操作对计算资源的占比,进而有效提升资源利用率及设备稳定性,避免由压缩操作所导致的设备运行缓慢及崩溃问题。
需要说明的是,待压缩文件为需要被压缩的文件,由文件预处理进程存储于预设待压缩文件存储区域,而文件预处理进程为对原始文件进行预处理,并将处理完成的原始文件移动至预设待压缩文件存储区域的程序进程。本发明实施例并不限定具体的预设待压缩文件存储区域,可以理解的是,预设待压缩文件存储区域可以为存储介质(如硬盘)中的一个文件目录,可根据实际应用需求进行设置。本发明实施例并不限定具体的预处理内容,该预处理内容与原始文件的类型有关,例如当原始文件为网络包时,该预处理可以包含抓包、网络包解析及存储位置转移操作;当原始文件为普通文件时,该预处理也可以为读取及存储位置转移操作,可根据实际应用需求进行选择。本发明实施例也不限定文件预处理进程的具体形式,只要该文件预处理进程为能够完成上述预处理操作的程序进程即可,可根据实际应用需求进行设置。可以理解的是,由于文件预处理进程对原始文件的预处理同样会占用计算资源,为了平衡占用比例,在本发明实施例中也会获取文件预处理进程仍未处理的文件数量,以便确定文件预处理进程是否还需使用计算资源,进而根据该文件数量对当前压缩等级进行调整。同样可以理解的是,为了对原始文件进行预处理,需要将文件暂存于某一文件目录中。本发明实施例并不限定获取文件预处理进程未处理的文件数量的具体方式,例如可以向文件预处理进程发送查询请求,以使文件预处理进程查询暂存文件目录中未处理的文件数量,并将该文件数量发送至运行本文件压缩方法的压缩装置,当然也可以由压缩装置直接查询该暂存文件目录仍存有的文件数量,可根据实际应用需求进行设置。
进一步,系统负载值为表示系统负载程度的数据,可参考计算机系统的相关技术。需要说明的是,本发明实施例并不限定获取系统负载值的具体方式,例如可以利用查询指令在计算机系统中查询,或者也可以设置专门的负载监控进程获取当前系统负载值,并将获取到的系统负载值发送至运行本文件压缩方法的压缩装置。为了提升运行效率,可以设置专门的负载监控进程获取当前的系统负载值。需要说明的是,本发明实施例并不限定负载监控进程的具体形式,只要负载监控进程为可用于监听系统负载值的软件进程即可,可根据实际应用需求进行设置。
在一种可能的情况中,实时获取系统负载值,可以包括:
步骤11:利用负载监控进程实时获取当前系统负载值。
进一步,压缩等级为用于表示压缩比的数据,一般来说压缩等级越高,压缩比越高,压缩后的文件越小,而压缩操作所占用的计算资源越大,且耗时越长。可以理解的是,压缩等级一般为一个可调整的区间范围,例如对于ZIP而言,其压缩等级为1~9,1表示最快的压缩,9表示最慢的压缩;对于LZ4而言,其压缩等级也为1~9,1表示最快的压缩,9表示最慢的压缩,其中ZIP和LZ4均为压缩格式。需要说明的是,本发明实施例并不限定具体的压缩格式,可参考压缩的相关技术,并根据需求进行选择;本发明实施例也不限定具体的压缩等级,可同样可参考压缩的相关技术。进一步,当前压缩等级表示上一次压缩操作所使用的压缩等级,在本发明实施例中,将对系统负载值及文件预处理进程未处理的文件数量进行监听,并根据实际情况保持当前压缩等级或对压缩等级进行调整,以便更高效且低消耗地进行文件压缩。
S102、判断系统负载值是否小于预设负载阈值;若是,则进入步骤S103;若否,则进入步骤S101。
需要说明的是,本发明实施例并不限定预设负载数值的具体数值,可根据实际应用需求进行设置。可以理解的是,只有当系统负载值小于预设负载阈值时,该设备才具有足够的计算资源同时进行文件预处理及压缩;当系统负载值大于等于预设负载阈值时,设备将不具有足够的计算资源同时进行文件预处理及压缩,此时可停止压缩操作,并将更多的计算资源分配给文件预处理操作,提升文件预处理效率及速度,以便预处理尽快完成。
可以理解的是,当判定系统负载值大于等于预设负载阈值时,便可进入下一轮压缩循环(即进入步骤S101)。本发明实施例并不限定是否直接进入下一轮压缩循环,或者是等待预设时间后再进入下一轮压缩循环。当判断操作对计算资源的占用率不高时,在判定系统负载值是大于等于预设负载阈值后可直接进入下一轮压缩循环;当需要降低不必要操作对计算资源的占用时,也可在判定系统负载值是大于等于预设负载阈值时,等待预设时间后再进入下一轮压缩循环。需要说明的是,本发明实施例并不限定预设时间的具体数值,可根据实际应用需求进行调整,例如可以为30秒,也可以为2分钟。
在一种可能的情况中,在实时获取系统负载值、当前压缩等级及文件预处理进程未处理的文件数量之后,还可以包括:
步骤21:当判定系统负载值大于等于预设负载阈值时,则等待预设时间,并执行获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
进一步,需要说明的是,本发明实施例并不限定执行步骤S102的时机,例如可以实时进行该判断,也可以周期性进行该判断,也可以在每次压缩完成时进行该判断。为了提升压缩的实时性,并有效利用计算资源,在本发明实施例中,可以在每次压缩完成时执行步骤S102。当然,也可以在每次压缩完成且等待预设时间后再执行步骤S102。本发明实施例并不限定预设时间的具体数值,可根据实际应用需求进行设定。
S103、当判定系统负载值小于预设负载阈值时,根据文件数量调整当前压缩等级,并利用调整后的当前压缩等级对待压缩文件进行压缩。
当判定系统负载值小于预设负载值时,则说明设备的计算资源充足,可同时用于压缩操作及文件预处理操作。此时为了平衡两种操作对计算资源的占用比例,在本发明实施例中,将根据文件预处理进程未处理的文件数量调整当前压缩等级。
需要说明的是,本发明实施例并不限定根据文件数量调整当前压缩等级的具体方式,例如可以为未处理的文件数量设置多个连续的区间范围,并根据该区间范围进行当前压缩等级调整;当然也可以简单设置一个阈值,当未处理的文件数量大于该阈值时则下调当前压缩等级,当未处理的文件数量小于等于该阈值时则上调当前压缩等级。在本发明实施例中,为了灵活调整当前压缩等级,可以采用第二种方式调整当前压缩等级,即为未处理的文件数量设置阈值,并根据具体的文件数量及该阈值之间的大小关系调整当前压缩等级。
可选地,根据文件数量调整当前压缩等级,可以包括:
步骤31:判断文件数量是否大于预设文件处理数量阈值;若是,则进入步骤32;若否,则进入步骤33;
步骤32:降低当前压缩等级;
步骤33:将当前压缩等级调整为最高等级。
需要说明的是,本发明实施例并不限定预设文件处理数量阈值的具体数值,可根据实际应用需求进行设置。本发明实施例也不限定降低当前压缩等级的幅度,可根据实际应用需求进行调整。可以理解的是,当前压缩等级的降低幅度不应超过压缩等级的调整范围。
进一步,可以理解的是,若当前压缩等级已经为被调整为最小时,将无法继续进行下调。本发明实施例并不限定若当前压缩等级被调整为最小时的后续操作,例如可以继续利用最小压缩等级进行压缩,当然也可以停止压缩操作并等待预设时间后进入下一轮压缩循环。在本发明实施例中,为了避免压缩操作对文件预处理效率的影响,当确定文件数量大于预设文件处理数量阈值(即需要调整压缩等级)且当前压缩等级最小时,便可停止压缩操作,并等待预设时间后进入下一轮压缩循环。
在一种可能的情况中,在判定文件数量大于预设文件处理数量阈值之后,还可以包括:
步骤41:判断当前压缩等级是否为最低等级;若是,则进入步骤42;若否,则进入步骤43;
步骤42:等待预设时间,并执行获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤;
步骤43:执行降低当前压缩等级的步骤。
需要说明的是,本发明实施例并不限定预设时间的具体数值,可根据实际应用需求进行调整。
进一步,本发明实施例并不限定是否可以对待压缩文件进行分组压缩。当待压缩文件的数量总是保持在较低水平,即可高效完成文件压缩时,可无需对待压缩文件进行分组压缩;当待压缩文件可能数量较多,难以及时完成压缩时,也可以对待压缩文件进行分组压缩,以便在每次完成压缩时对系统负载值及文件预处理进程未处理的文件数量进行判断。在本发明实施例中,考虑到对待压缩文件的压缩速度可能小于待压缩文件被写入预设待压缩文件存储区域的速度,即待压缩文件可能难以被及时压缩并出现堆积情况,因此在本发明实施例中,可以对待压缩文件进行分组压缩,以便在每组完成压缩后对系统负载值及未处理的文件数量进行判断。
在一种可能的情况中,利用调整后的当前压缩等级对待压缩文件进行压缩,可以包括:
步骤51:根据预设单组文件数量对待压缩文件进行分组;
步骤52:对每组待压缩文件进行压缩,并在每组待压缩文件完成压缩时,重新判断系统负载值是否小于预设负载阈值;若是,则进入步骤53;若否,则进入步骤54;
步骤53:利用当前压缩等级对剩余组的待压缩文件进行压缩;
步骤54:等待预设时间,并执行获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
基于上述实施例,本发明首先对系统负载值进行实时获取,仅在判定系统负载值小于预设负载阈值时才进行压缩操作,可确保设备拥有足够的计算资源进行压缩操作,有效避免由系统负载值过高导致的设备运行缓慢及崩溃问题;同时,本发明还对文件预处理进程仍未处理的文件数量进行监控,并根据该文件数量动态调整当前压缩等级,可确保压缩操作对计算资源的占用率随文件预处理进程的文件处理任务量进行调整,进而有效平衡压缩操作及文件预处理进程对计算资源的占用比例,最终有效提升设备的运行效率及稳定性。
下面结合另一流程图介绍上述文件压缩方法。请参考图2,图2为本发明实施例所提供的另一种文件压缩方法的流程图,该方法可以包括:
1、获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及文件预处理进程未处理的文件数量。
2、判断系统负载值是否小于预设负载阈值;若是,则进入步骤3;若否,则进入步骤11。
3、判断文件数量是否大于预设文件处理数量阈值;若是,则进入步骤4;若否,则进入步骤6。
4、判断当前压缩等级是否为最低等级;若是,则进入步骤11;若否,则进入步骤5。
5、降低当前压缩等级。
6、将当前压缩等级调整为最高等级。
7、根据预设单组文件数量对待压缩文件进行分组。
8、对每组待压缩文件进行压缩。
9、在每组待压缩文件完成压缩时,判断系统负载值是否小于预设负载阈值;若是,则进入步骤10;若否,则进入步骤11。
10、判断是否还存在剩余组;若是,则进入步骤8;若否,则进入步骤11。
11、停止压缩,等待预设时间,并进入步骤1。
下面对本发明实施例提供的文件压缩装置、系统、电子设备及计算机可读存储介质进行介绍,下文描述的文件压缩装置、系统、电子设备及计算机可读存储介质与上文描述的文件压缩方法可相互对应参照。
请参考图3,图3为本发明实施例所提供的一种文件压缩装置的结构框图,可以包括:
文件接收模块301,用于获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及文件预处理进程未处理的文件数量;
302,用于当判定系统负载值小于预设负载阈值时,根据文件数量调整当前压缩等级,并利用调整后的当前压缩等级对待压缩文件进行压缩。
可选地,压缩模块302,可以包括:
第一判断子模块,用于判断文件数量是否大于预设文件处理数量阈值;
第一调整子模块,用于若是,则降低当前压缩等级;
第二调整子模块,用于若否,则将当前压缩等级调整为最高等级。
可选地,压缩模块302,还可以包括:
第二判断子模块,用于判断当前压缩等级是否为最低等级;
第一等待子模块,用于若是,则等待预设时间,并执行获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤;
第一调整子模块,还用于在判定当前压缩等级不为最低等级时,执行降低当前压缩等级的步骤。
可选地,该装置还可以包括:
等待模块,用于当判定系统负载值大于等于预设负载阈值时,则等待预设时间,并执行获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
可选地,压缩模块302,可以包括:
分组子模块,用于根据预设单组文件数量对待压缩文件进行分组;
压缩子模块,用于对每组待压缩文件进行压缩,并在每组待压缩文件完成压缩时,重新判断系统负载值是否小于预设负载阈值;若是,则利用当前压缩等级对剩余组的待压缩文件进行压缩;
第二等待子模块,用于等待预设时间,并执行获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
可选地,文件接收模块301,可以包括:
系统负载值获取子模块,用于利用负载监控进程实时获取当前系统负载值。
请参考图4,图4为本发明实施例所提供的一种文件压缩系统的结构框图,包括:文件预处理进程401及文件压缩装置402,其中,
文件预处理进程401,用于对预设文件存储区域中的文件进行预处理,并将处理完成的文件移动至预设待压缩文件存储区域;
文件压缩装置402,用于执行如上述实施例所述的文件压缩方法。
可选地,该系统还可以包括:负载监控进程,用于监控系统负载值,并将系统负载值发送至文件压缩装置402。
由于文件压缩系统部分的实施例与文件压缩方法部分的实施例相互对应,因此文件压缩系统部分的实施例请参见文件压缩方法部分的实施例的描述,这里暂不赘述。
本发明实施例还提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的文件压缩方法的步骤。
由于电子设备部分的实施例与文件压缩方法部分的实施例相互对应,因此电子设备部分的实施例请参见文件压缩方法部分的实施例的描述,这里暂不赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述任意实施例的文件压缩方法的步骤。
由于计算机可读存储介质部分的实施例与文件压缩方法部分的实施例相互对应,因此计算机可读存储介质部分的实施例请参见文件压缩方法部分的实施例的描述,这里暂不赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的文件压缩方法、装置、系统、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种文件压缩方法,其特征在于,包括:
获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量;
当判定所述系统负载值小于预设负载阈值时,根据所述文件数量调整所述当前压缩等级,并利用调整后的当前压缩等级对所述待压缩文件进行压缩;
其中,所述根据所述文件数量调整所述当前压缩等级,包括:判断所述文件数量是否大于预设文件处理数量阈值;若是,则降低所述当前压缩等级;若否,则将当前压缩等级调整为最高等级;
所述利用调整后的当前压缩等级对所述待压缩文件进行压缩,包括:根据预设单组文件数量对所述待压缩文件进行分组;对每组所述待压缩文件进行压缩,并在每组所述待压缩文件完成压缩时,重新判断所述系统负载值是否小于所述预设负载阈值;若是,则利用所述当前压缩等级对剩余组的待压缩文件进行压缩;若否,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
2.根据权利要求1所述的文件压缩方法,其特征在于,在判定所述文件数量大于所述预设文件处理数量阈值之后,还包括:
判断所述当前压缩等级是否为最低等级;
若是,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤;
若否,则执行所述降低所述当前压缩等级的步骤。
3.根据权利要求1所述的文件压缩方法,其特征在于,在实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量之后,还包括:
当判定所述系统负载值大于等于所述预设负载阈值时,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
4.根据权利要求1所述的文件压缩方法,其特征在于,所述实时获取系统负载值,包括:
利用负载监控进程实时获取所述系统负载值。
5.一种文件压缩装置,其特征在于,包括:
文件接收模块,用于获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件,并实时获取系统负载值、当前压缩等级及所述文件预处理进程未处理的文件数量;
压缩模块,用于当判定所述系统负载值小于预设负载阈值时,根据所述文件数量调整所述当前压缩等级,并利用调整后的当前压缩等级对所述待压缩文件进行压缩;
其中,所述根据所述文件数量调整所述当前压缩等级,包括:判断所述文件数量是否大于预设文件处理数量阈值;若是,则降低所述当前压缩等级;若否,则将当前压缩等级调整为最高等级;
所述利用调整后的当前压缩等级对所述待压缩文件进行压缩,包括:根据预设单组文件数量对所述待压缩文件进行分组;对每组所述待压缩文件进行压缩,并在每组所述待压缩文件完成压缩时,重新判断所述系统负载值是否小于所述预设负载阈值;若是,则利用所述当前压缩等级对剩余组的待压缩文件进行压缩;若否,则等待预设时间,并执行所述获取文件预处理进程在预设待压缩文件存储区域中存储的待压缩文件的步骤。
6.一种文件压缩系统,其特征在于,包括:文件预处理进程及文件压缩装置,其中,
所述文件预处理进程,用于对预设文件存储区域中的文件进行预处理,并将处理完成的文件移动至预设待压缩文件存储区域;
所述文件压缩装置,用于执行如权利要求1至4任一项所述的文件压缩方法。
7.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述的文件压缩方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至4任一项所述的文件压缩方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830845.3A CN113568742B (zh) | 2021-07-22 | 2021-07-22 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830845.3A CN113568742B (zh) | 2021-07-22 | 2021-07-22 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113568742A CN113568742A (zh) | 2021-10-29 |
CN113568742B true CN113568742B (zh) | 2024-04-19 |
Family
ID=78166327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110830845.3A Active CN113568742B (zh) | 2021-07-22 | 2021-07-22 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113568742B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422499B (zh) * | 2021-12-27 | 2023-12-05 | 北京奇艺世纪科技有限公司 | 一种文件下载方法、系统及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104394486A (zh) * | 2014-11-26 | 2015-03-04 | 中标软件有限公司 | 一种基于云桌面的视频流处理方法及装置 |
CN107589910A (zh) * | 2017-09-01 | 2018-01-16 | 厦门集微科技有限公司 | 用户定制策略的云端数据管理的方法及系统 |
CN108595567A (zh) * | 2018-04-13 | 2018-09-28 | 郑州云海信息技术有限公司 | 一种小文件的合并方法、装置、设备及可读存储介质 |
CN110691251A (zh) * | 2019-10-14 | 2020-01-14 | 浙江大华技术股份有限公司 | 图像压缩方法、装置、系统、dsp、存储介质及电子装置 |
CN111416759A (zh) * | 2020-03-27 | 2020-07-14 | 海信集团有限公司 | 智能家居设备及控制方法 |
CN111831211A (zh) * | 2019-04-19 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 数据传输方法、装置、设备及存储介质 |
CN112214637A (zh) * | 2020-10-13 | 2021-01-12 | 广州飞柯科技有限公司 | 一种应用于智慧社区的数据存储方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107003907A (zh) * | 2016-01-26 | 2017-08-01 | 华为技术有限公司 | 一种数据处理方法以及数据处理设备 |
-
2021
- 2021-07-22 CN CN202110830845.3A patent/CN113568742B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104394486A (zh) * | 2014-11-26 | 2015-03-04 | 中标软件有限公司 | 一种基于云桌面的视频流处理方法及装置 |
CN107589910A (zh) * | 2017-09-01 | 2018-01-16 | 厦门集微科技有限公司 | 用户定制策略的云端数据管理的方法及系统 |
CN108595567A (zh) * | 2018-04-13 | 2018-09-28 | 郑州云海信息技术有限公司 | 一种小文件的合并方法、装置、设备及可读存储介质 |
CN111831211A (zh) * | 2019-04-19 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 数据传输方法、装置、设备及存储介质 |
CN110691251A (zh) * | 2019-10-14 | 2020-01-14 | 浙江大华技术股份有限公司 | 图像压缩方法、装置、系统、dsp、存储介质及电子装置 |
CN111416759A (zh) * | 2020-03-27 | 2020-07-14 | 海信集团有限公司 | 智能家居设备及控制方法 |
CN112214637A (zh) * | 2020-10-13 | 2021-01-12 | 广州飞柯科技有限公司 | 一种应用于智慧社区的数据存储方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113568742A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105007337A (zh) | 集群系统负载均衡的方法和系统 | |
CN108446179B (zh) | 基于负载均衡机制的权重优先Task任务调度方法 | |
WO2023029254A1 (zh) | 一种数据查询方法、装置、设备及介质 | |
CN111638948B (zh) | 多通道高可用的大数据实时决策系统及决策方法 | |
CN113568742B (zh) | 一种文件压缩方法、装置、系统、电子设备及存储介质 | |
CN110795284B (zh) | 一种数据恢复方法、装置、设备及可读存储介质 | |
CN111988234A (zh) | 过载保护方法、装置、服务器及存储介质 | |
EP3349130A1 (en) | Data compression method and storage system | |
CN103974081A (zh) | 一种基于多核处理器Tilera的HEVC编码方法 | |
CN111049914A (zh) | 负载均衡方法、装置和计算机系统 | |
CN111954031B (zh) | 一种动态调整视频流抽帧速率的方法及系统 | |
CN113326170B (zh) | 任务延迟风险检测方法、电子设备及存储介质 | |
CN105554049A (zh) | 分布式业务量控制方法和装置 | |
CN111538572A (zh) | 任务处理方法、装置、调度服务器及介质 | |
CN111314249A (zh) | 一种5g数据转发平面的避免数据包丢失的方法和服务器 | |
CN106411971B (zh) | 负载调节方法及装置 | |
CN115914131A (zh) | 提高物联网服务质量的实现方法、装置、电子设备及介质 | |
CN112395058A (zh) | 任务调控装置、方法和系统 | |
CN114826774A (zh) | 一种终端设备日志请求控制方法、服务端和系统 | |
CN107436812A (zh) | 一种Linux系统性能优化的方法及装置 | |
CN113641674A (zh) | 一种自适应全局序号发生方法和装置 | |
CN103761153A (zh) | 压缩工具资源调用方法及装置 | |
CN111143411A (zh) | 动态流式预计算方法及装置、存储介质 | |
CN113051045B (zh) | Iot平台下动态平衡设备端负载的方法与装置 | |
CN116389719B (zh) | 基于轮询抽帧的视频分析抽帧送检优化系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |