CN103761153A - 压缩工具资源调用方法及装置 - Google Patents

Abstract

本发明公开了一种压缩工具资源调用方法及装置。该方法包括：在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；根据系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对系统资源进行调用，否则，在对系统资源进行配置后，对系统资源进行调用。借助于本发明的技术方案，在使用压缩工具对文件进行压缩时，能够发挥系统资源的最大使用效率，减少了系统资源的浪费，使系统资源达到动态的平衡，从而使用户在较低的压缩时间内，获得了较高的压缩率。

Description

压缩工具资源调用方法及装置

本发明专利申请是申请日为2012年05月02日、申请号为201210135228.2、名称为“压缩工具资源调用方法及装置”的中国发明专利申请的分案申请。

技术领域

本发明涉及计算机技术领域，特别是涉及一种压缩工具资源调用方法及装置。

背景技术

在现有技术中，压缩工具通过一定的压缩算法改变文件内容和数据，使得数据占用更小的存储空间。具体地，普通文件一般都包含一定的重复数据，这些重复的数据往往占据多倍的存储空间，压缩工具需要查找文件内的这些重复数据，通过合适的算法将数据进行重建，让多个重复数据只占用一个存储空间，在解压缩时，再通过相应的解压算法将压缩后的文件进行还原，这种压缩算法一般属于无损压缩。例如，在文本文件中包含多个相同的词"中华人民共和国"，通过压缩工具压缩之后，只需占用一个存储空间进行存储，从而达到缩小文件的目的。

此外，压缩工具不仅能够帮助用户节省空间，同时也能将多个文件打成一个压缩包，以方便用户备份、传输和分享。目前，现有技术中有多款压缩工具，例如：winzip压缩工具，winrar压缩工具，7-zip压缩工具等；与压缩工具相对应的压缩格式也有多种，例如：rar格式、zip格式、7z格式、cab格式等。

上述的每个压缩工具和压缩格式都有各自特点。例如：zip格式的优点是使用广泛，压缩速度快，但是压缩比较小；rar格式通常比zip格式的压缩比要高，但是压缩速度较慢，并且winrar压缩工具对于文本、声音、以及图像在32位和64位英特尔（Intel）微处理器上能够执行程序压缩特殊优化算法，进一步提高了压缩比；7z格式通常比zip格式和rar格式压缩比都要高，同时压缩时间也比zip格式和rar格式都要长。

无论何种压缩算法，压缩率、压缩速度、以及占用系统资源这三个指标都是衡量压缩软件的常用指标。一般地，压缩率与使用系统内存成正比，压缩速度与中央处理器（Central Processing Unit，简称为CPU）占用率成正比。在这种客观条件下，如何让压缩率和压缩时间达到最优的平衡，使用户在较低的压缩时间内，获得较高的压缩率是急需解决的问题。

发明内容

本发明提供一种压缩工具资源调用方法及装置，以解决现有技术中压缩率和压缩时间不能够达到最优平衡的问题。

本发明提供一种压缩工具资源调用方法，包括：在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；根据系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对系统资源进行调用，否则，在对系统资源进行配置后，对系统资源进行调用。

优选地，获取当前系统资源参数具体包括：获取磁盘读写即时速度、中央处理器CPU数据处理即时速度、以及内存访问即时速度。

优选地，获取当前系统资源参数进一步包括：对获取的磁盘读写即时速度、CPU数据处理即时速度、以及内存访问即时速度进行采样；根据预先设置的时间周期，获取本段时间内磁盘读写平均速度、CPU数据处理平均速度、以及内存访问平均速度。

优选地，对系统资源进行配置具体包括：根据用户的设置选择相应的配置方法对系统资源进行配置；或者，系统自动选择相应的配置方法对系统资源进行配置。

优选地，配置方法具体包括：采用提高压缩工具优先级或者多线程处理的方法，提高CPU数据处理速度、内存访问速度、以及磁盘读写速度中较低的指标；和/或，采用释放资源的方法，降低CPU数据处理速度、内存访问速度、以及磁盘读写速度中较高的指标。

本发明还提供了一种压缩工具资源调用装置，包括：获取模块，用于在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；处理模块，用于根据系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对系统资源进行调用，否则，在对系统资源进行配置后，对系统资源进行调用。

优选地，获取模块具体用于：获取磁盘读写即时速度、中央处理器CPU数据处理即时速度、以及内存访问即时速度。

优选地，获取模块进一步用于：对获取的磁盘读写即时速度、CPU数据处理即时速度、以及内存访问即时速度进行采样；根据预先设置的时间周期，获取本段时间内磁盘读写平均速度、CPU数据处理平均速度、以及内存访问平均速度。

优选地，处理模块具体包括：配置子模块，用于根据用户的设置选择相应的配置方法对系统资源进行配置；或者，自动选择相应的配置方法对系统资源进行配置。

优选地，配置方法具体包括：采用提高压缩工具优先级或者多线程处理的方法，提高CPU数据处理速度、内存访问速度、以及磁盘读写速度中较低的指标；和/或，采用释放资源的方法，降低CPU数据处理速度、内存访问速度、以及磁盘读写速度中较高的指标。

本发明有益效果如下：

通过在对文件进行压缩时，对不匹配的系统资源进行调整，解决了现有技术中压缩率和压缩时间不能够达到最优平衡的问题，借助于本发明实施例的上述技术方案，在使用压缩工具对文件进行压缩时，能够发挥系统资源的最大使用效率，减少了系统资源的浪费，使系统资源达到动态的平衡，从而使用户在较低的压缩时间内，获得了较高的压缩率。

附图说明

图1是本发明实施例的磁盘读写的示意图；

图2是本发明实施例的压缩工具资源调用方法的流程图；

图3是本发明实施例的压缩工具资源调用装置的结构示意图。

具体实施方式

为了解决现有技术中压缩率和压缩时间不能够达到最优平衡的问题，本发明提供了一种压缩工具资源调用方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

在实际应用中，同一款压缩工具安装在不同的软/硬件平台上的表现力大不相同，并且，在软硬件条件一定的情况下，系统资源的使用情况也会影响到压缩工具的性能。一个压缩工具的性能主要依赖以下3方面的因素：

因素1、当前系统可用的物理内存量：物理内存是压缩工具保存中间数据和字典的地方，因此可申请的物理内存量能够直接影响压缩工具的压缩率和压缩吞吐量。此外，CPU处理数据只能从物理内存中读取，如果有足够大的可用物理内存，则发生缺页中断的次数就会减少，磁盘与物理内存发生交换的频率也会随之降低，从而提高CPU的吞吐量。

因素2、当前可用CPU时间片：压缩算法中充斥着大量的内存查找、加密、以及替换等算法。这些算法需要CPU进行大量的计算，在进程优先极一定的情况下，如果CPU可用时间片不充足，算法只能等待CPU时间片，从而导致压缩工具的压缩吞吐量随之降低。

因素3、磁盘的读写速度：数据压缩是发生在磁盘上的数据读写，图1是本发明实施例的磁盘读写的示意图，如图1所示，压缩工具首先需要从磁盘上的读取数据，CUP对读取的数据进行处理，并将处理后的数据写入磁盘，随后，再从磁盘中读取新的数据。从图1中可以看出，磁盘的性能影响到压缩处理的两端，因此，磁盘的读写速度对于压缩工具的性能也有较大的影响。

需要说明的是，系统资源的其他因素也会对压缩工具的性能产生影响，但是，在本发明实施例中，仅以上述三个影响因素为例，对本发明实施例的技术方案进行详细的说明。

上述三个影响因素是独立的，但又组成了一个动态的系统，这个动态的系统中有一个影响因素产生瓶颈，那么系统整体就会产生瓶颈。还会造成其他两个系统资源的性能浪费。因此，需要找到一种动态的平衡，这种平衡即能发挥硬件最大的使用效率，又不会导致系统资源的浪费。这种平衡是需要实时调整的，从而使压缩工具工作的每一个时刻都是最优的。

方法实施例

根据本发明的实施例，提供了一种压缩工具资源调用方法。图2是本发明实施例的压缩工具资源调用方法的流程图，如图2所示，根据本发明实施例的压缩工具资源调用方法包括如下处理：

步骤201，在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；

优选地，获取当前系统资源参数具体包括：获取磁盘读写即时速度、CPU数据处理即时速度、以及内存访问即时速度。

具体地，在本发明实施例中，将磁盘读写、CPU数据处理、以及内存访问作为条流水线上的节点。即要保证每个节点能发挥最大的处理能力又要保证在每个节点不会发生拥堵（存在瓶颈）。在实际应用中，本发明实施例为每个节点抽象出处理速度（Byte/s），用速度来衡量每个结点的处理能力。

具体地，在本发明实施例中，通过如下步骤计算CPU数据处理即时速度：

步骤1，根据CPU主频、缓存大小等与硬件相关的数据计算CPU的速度空间，该速度空间决定了在一个时间片内压缩工具可以处理的数据量。

步骤2，确定当前CPU可以分配的时间片数量。

步骤3，根据步骤1和步骤2的计算结果获取当前可用的最大CPU数据处理即时速度。

在本发明实施例中，通过如下步骤计算内存访问即时速度：

步骤1，通过系统调用，获取当前内存总量、内存页面大小、内存处理能力（频率、速度、以及吞吐量）等信息，上述信息决定了在一次内存访问中可以处理的最大数据量。

步骤2，通过对当前系统物理内存可用量、换页中断次数等信息，计算当前真正可用物理内存数量。

步骤3，根据步骤1和步骤2的计算结果获取当前可用物理内存量和对这些内存访问所用的时间，并计算出内存访问即时速度。

在本发明实施例中，通过如下步骤计算磁盘读写即时速度：

步骤1，获取磁盘本身缓冲大小、分配虚拟内存大小、以及磁盘读写的标称速度等信息。

步骤2，向磁盘中写入一个文件，获取当前写入文件的实测速度，通过所述实测速度对上述标称速度进行校正，从而获得当前磁盘读写即时速度。

步骤202，根据系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对系统资源进行调用，否则，在对系统资源进行配置后，对系统资源进行调用。

在实际应用中，节点之间不可能是100%匹配，因此，本发明实施例设置了一个合理的容差区间，该容差区间的取值可以根据经验值进行设置，如果速度匹配在该容差区间内，则认为是平衡的。在本发明实施例中，使各个节点平衡的充要条件是满足公式1、公式2、以及公式3：

|SP_cpu-SP_mem|≤M  公式1；

|SP_dsk-SP_mem|≤M  公式2；

|SP_cpu–SP_dsk|≤M  公式3；

其中，SP_cpu为CPU数据处理即时速度，SP_mem为内存访问即时速度，SP_dsk为磁盘读写即时速度，M为容差区间，M≥0，“｜｜”为绝对值运算符号。同时满足这上述三个条件，则确认系统资源达到了一次平衡。

在实际应用中，特别是在多线程模型下，可以不使用某个时刻的即时值作为计算依据，而是以在某个时间段时的平均速度或通过某种曲线算法求得的平均速度做为计算依据。

优选地，可以对获取的磁盘读写即时速度、CPU数据处理即时速度、以及内存访问即时速度进行采样；根据预先设置的时间周期，获取本段时间内磁盘读写平均速度、CPU数据处理平均速度、以及内存访问平均速度。

在本发明实施例中，压缩工具可以以5s为预先设置的时间周期，每5s内，采集n次即时数据{s1，s2，s3，s5，…，sn}，那么5秒内平均速度为：（s1+s2+…+sn）/n。在获取了平均速度之后，可以根据公式1、公式2、以及公式3判断系统资源内部是否相互匹配，在公式1、公式2、和公式3中，SP_cpu为CPU数据处理平均速度，SP_mem为内存访问平均速度，SP_dsk为磁盘读写平均速度。上述取平均速度的算法使用了准确的即时速度值，并使上述线性值尽可能的离散化，使得系统资源既不频繁的调整，又能够根据系统资源的变化情况及时对系统资源进行调整。

在本发明实施例中，压缩工具以5秒（即，上述预先设置的时间周期）为单位来采集数据并且检测是否系统资源平衡，从而能够动态的使系统达到平衡。

具体地，在步骤202中，可以根据用户的设置选择相应的配置方法对系统资源进行配置；或者，系统可以自动选择相应的配置方法对系统资源进行配置。其中，配置方法具体包括：采用提高压缩工具优先级或者多线程处理的方法，提高CPU数据处理速度、内存访问速度、以及磁盘读写速度中较低的指标；和/或，采用释放资源的方法，降低CPU数据处理速度、内存访问速度、以及磁盘读写速度中较高的指标。

也就是说，在实际应用中，当检测出系统资源不平衡的情况下，可以采用如下三种方式对系统资源进行调整：

方法一，通过提升优先级和/或多线程处理的方式，将落后的指标提高，向高指标靠拢，使系统资源达到高级的平衡。

方法二，通过资源释放的方式，将高指标降低，使系统资源达到低级的平衡。

方法三，通过提升优先级和/或多线程处理的方式，将落后的指标提高，向居中的指标靠拢，同时降低高指标，也向居中的指标靠拢，使得系统资源达到中级的平衡。

在实际应用中，可以采用用户设置和自动处理两种方式来控制平衡的级别。如果用户设置使系统资源达到高级的平衡，则先使用方法一对系统资源进行调整，如果调整不成功，再自动选择其他方法对系统资源进行调整。如果用户没有设置，则系统自动选择合适的方法对系统资源进行调整。

综上所述，借助于本发明实施例的技术方案，通过在对文件进行压缩时，对不匹配的系统资源进行调整，解决了现有技术中压缩率和压缩时间不能够达到最优平衡的问题，借助于本发明实施例的上述技术方案，在使用压缩工具对文件进行压缩时，能够发挥系统资源的最大使用效率，减少了系统资源的浪费，使系统资源达到动态的平衡，从而使用户在较低的压缩时间内，获得了较高的压缩率。

装置实施例

根据本发明的实施例，提供了一种压缩工具资源调用装置，图3是本发明实施例的压缩工具资源调用装置的结构示意图，如图3所示，根据本发明实施例的压缩工具资源调用装置包括：获取模块30、以及处理模块32，以下对本发明实施例的各个模块进行详细的说明。

获取模块30，用于在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；

获取模块30具体用于：获取磁盘读写即时速度、中央处理器CPU数据处理即时速度、以及内存访问即时速度；

在实际应用中，特别是在多线程模型下，可以不使用某个时刻的即时值作为计算依据，而是以在某个时间段时的平均速度或通过某种曲线算法求得的平均速度做为计算依据。

优选地，所述获取模块30还可以进一步用于：对获取的所述磁盘读写即时速度、所述CPU数据处理即时速度、以及所述内存访问即时速度进行采样；根据预先设置的时间周期，获取本段时间内所述磁盘读写平均速度、所述CPU数据处理平均速度、以及所述内存访问平均速度。

在本发明实施例中，压缩工具可以以5s为预先设置的时间周期，每5s内，采集n次即时数据{s1，s2，s3，s5，…，sn}，那么5秒内平均速度为：（s1+s2+…+sn）/n。

具体地，在本发明实施例中，将磁盘读写、CPU数据处理、以及内存访问作为条流水线上的节点。即要保证每个节点能发挥最大的处理能力又要保证在每个节点不会发生拥堵（存在瓶颈）。在实际应用中，本发明实施例为每个节点抽象出处理速度（Byte/s），用速度来衡量每个结点的处理能力。

具体地，在本发明实施例中，获取模块30通过如下步骤计算CPU数据处理即时速度：

步骤1，根据CPU主频、缓存大小等与硬件相关的数据计算CPU的速度空间，该速度空间决定了在一个时间片内压缩工具可以处理的数据量。

步骤2，确定当前CPU可以分配的时间片数量。

步骤3，根据步骤1和步骤2的计算结果获取当前可用的最大CPU数据处理即时速度。

在本发明实施例中，获取模块30通过如下步骤计算内存访问即时速度：

步骤1，通过系统调用，获取当前内存总量、内存页面大小、内存处理能力（频率、速度、以及吞吐量）等信息，上述信息决定了在一次内存访问中可以处理的最大数据量。

步骤2，通过对当前系统物理内存可用量、换页中断次数等信息，计算当前真正可用物理内存数量。

步骤3，根据步骤1和步骤2的计算结果获取当前可用物理内存量和对这些内存访问所用的时间，并计算出内存访问即时速度。

在本发明实施例中，获取模块30通过如下步骤计算磁盘读写即时速度：

步骤1，获取磁盘本身缓冲大小、分配虚拟内存大小、以及磁盘读写的标称速度等信息。

步骤2，向磁盘中写入一个文件，获取当前写入文件的实测速度，通过所述实测速度对上述标称速度进行校正，从而获得当前磁盘读写即时速度。

处理模块32，用于根据系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对系统资源进行调用，否则，在对系统资源进行配置后，对系统资源进行调用。

优选地，处理模块32具体包括：判断子模块，用于在公式1、公式2、以及公式3均成立的情况下，确定系统资源内部相互匹配，在公式1、公式2、和/或公式3不成立的情况下，确定系统资源内部相互不匹配；

|SP_cpu-SP_mem|≤M  公式1；

|SP_dsk-SP_mem|≤M  公式2；

|SP_cpu–SP_dsk|≤M  公式3；

其中，SP_cpu为CPU数据处理平均速度或CPU数据处理即时速度，SP_mem为内存访问平均速度或内存访问即时速度，SP_dsk为磁盘读写平均速度或磁盘读写即时速度，M为容差区间，M≥0，“｜｜”为绝对值运算符号。

在实际应用中，节点之间不可能是100%匹配，因此，本发明实施例设置了一个合理的容差区间，该容差区间的取值可以根据经验值进行设置，如果速度匹配在该容差区间内，则认为是平衡的。在本发明实施例中，使各个节点平衡的充要条件是满足公式1、公式2、以及公式3，同时满足这上述三个条件，则确认系统资源达到了一次平衡。

在本发明实施例中，压缩工具可以以5s为预先设置的时间周期，每5s内，采集n次即时数据{s1，s2，s3，s5，…，sn}，那么5秒内平均速度为：（s1+s2+…+sn）/n。在获取了平均速度之后，可以根据公式1、公式2、以及公式3判断系统资源内部是否相互匹配，在公式1、公式2、和公式3中，SP_cpu为CPU数据处理平均速度，SP_mem为内存访问平均速度，SP_dsk为磁盘读写平均速度。上述取平均速度的算法使用了准确的即时速度值，并使上述线性值尽可能的离散化，使得系统资源既不频繁的调整，又能够根据系统资源的变化情况及时对系统资源进行调整。

在本发明实施例中，压缩工具以5秒（即，上述预先设置的时间周期）为单位来采集数据并且检测是否系统资源平衡，从而能够动态的使系统达到平衡。

优选地，处理模块32具体包括：配置子模块，用于根据用户的设置选择相应的配置方法对系统资源进行配置；或者，自动选择相应的配置方法对系统资源进行配置；其中，配置方法具体包括：采用提高压缩工具优先级或者多线程处理的方法，提高CPU数据处理速度、内存访问速度、以及磁盘读写速度中较低的指标；和/或，采用释放资源的方法，降低CPU数据处理速度、内存访问速度、以及磁盘读写速度中较高的指标。

也就是说，在实际应用中，当检测出系统资源不平衡的情况下，配置子模块可以采用如下三种方式对系统资源进行调整：

方法一，通过提升优先级和/或多线程处理的方式，将落后的指标提高，向高指标靠拢，使系统资源达到高级的平衡。

方法二，通过资源释放的方式，将高指标降低，使系统资源达到低级的平衡。

方法三，通过提升优先级和/或多线程处理的方式，将落后的指标提高，向居中的指标靠拢，同时降低高指标，也向居中的指标靠拢，使得系统资源达到中级的平衡。

在实际应用中，可以采用用户设置和自动处理两种方式来控制平衡的级别。如果用户设置使系统资源达到高级的平衡，则先使用方法一对系统资源进行调整，如果调整不成功，再自动选择其他方法对系统资源进行调整。如果用户没有设置，则系统自动选择合适的方法对系统资源进行调整。

综上所述，借助于本发明实施例的技术方案，通过在对文件进行压缩时，对不匹配的系统资源进行调整，解决了现有技术中压缩率和压缩时间不能够达到最优平衡的问题，借助于本发明实施例的上述技术方案，在使用压缩工具对文件进行压缩时，能够发挥系统资源的最大使用效率，减少了系统资源的浪费，使系统资源达到动态的平衡，从而使用户在较低的压缩时间内，获得了较高的压缩率。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种压缩工具资源调用方法，其特征在于，包括：

在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；

根据所述系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对所述系统资源进行调用，否则，在对所述系统资源进行配置后，对所述系统资源进行调用。

2.如权利要求1所述的方法，其特征在于，获取当前系统资源参数具体包括：获取磁盘读写即时速度、中央处理器CPU数据处理即时速度、以及内存访问即时速度。

3.如权利要求1或2所述的方法，其特征在于，获取当前系统资源参数进一步包括：

对获取的所述磁盘读写即时速度、所述CPU数据处理即时速度、以及所述内存访问即时速度进行采样；

根据预先设置的时间周期，获取本段时间内所述磁盘读写平均速度、所述CPU数据处理平均速度、以及所述内存访问平均速度。

4.如权利要求1-3任一项所述的方法，其特征在于，对所述系统资源进行配置具体包括：根据用户的设置选择相应的配置方法对所述系统资源进行配置；或者，系统自动选择相应的配置方法对所述系统资源进行配置。

5.如权利要求1-4任一项所述的方法，其特征在于，所述配置方法具体包括：

采用提高压缩工具优先级或者多线程处理的方法，提高CPU数据处理速度、内存访问速度、以及磁盘读写速度中较低的指标；和/或

采用释放资源的方法，降低所述CPU数据处理速度、所述内存访问速度、以及所述磁盘读写速度中较高的指标。

6.一种压缩工具资源调用装置，其特征在于，包括：

获取模块，用于在用户使用压缩工具对文件进行压缩时，获取当前系统资源参数；

处理模块，用于根据所述系统资源参数判断系统资源内部是否相互匹配，在判断为是的情况下，直接对所述系统资源进行调用，否则，在对所述系统资源进行配置后，对所述系统资源进行调用。

7.如权利要求6所述的装置，其特征在于，

所述获取模块具体用于：获取磁盘读写即时速度、中央处理器CPU数据处理即时速度、以及内存访问即时速度。

8.如权利要求6或7所述的装置，其特征在于，所述获取模块进一步用于：对获取的所述磁盘读写即时速度、所述CPU数据处理即时速度、以及所述内存访问即时速度进行采样；根据预先设置的时间周期，获取本段时间内所述磁盘读写平均速度、所述CPU数据处理平均速度、以及所述内存访问平均速度。

9.如权利要求6-8任一项所述的装置，其特征在于，所述处理模块具体包括：

配置子模块，用于根据用户的设置选择相应的配置方法对所述系统资源进行配置；或者，自动选择相应的配置方法对所述系统资源进行配置。

10.如权利要求6-9任一项所述的装置，其特征在于，所述配置方法具体包括：

采用提高压缩工具优先级或者多线程处理的方法，提高CPU数据处理速度、内存访问速度、以及磁盘读写速度中较低的指标；和/或

采用释放资源的方法，降低所述CPU数据处理速度、所述内存访问速度、以及所述磁盘读写速度中较高的指标。

Images