CN109614043A - 一种数据压缩方法、装置、系统及计算机可读存储介质 - Google Patents

一种数据压缩方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN109614043A
CN109614043A CN201811474649.1A CN201811474649A CN109614043A CN 109614043 A CN109614043 A CN 109614043A CN 201811474649 A CN201811474649 A CN 201811474649A CN 109614043 A CN109614043 A CN 109614043A
Authority
CN
China
Prior art keywords
data
host
equipment
load
data compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811474649.1A
Other languages
English (en)
Inventor
徐洪志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811474649.1A priority Critical patent/CN109614043A/zh
Publication of CN109614043A publication Critical patent/CN109614043A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6058—Saving memory space in the encoder or decoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种数据压缩方法，应用于主机，包括：当检测到触发数据压缩操作的预设事件时，获取主机的负载数据，以及对应存储设备的负载数据；利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备；当主体设备为主机时，则执行数据压缩操作；当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作；该方法通过对主机的负载数据以及存储设备的负载数据进行比较，确定出当前负载相对较低的设备作为执行数据压缩操作的设备，进而能够提高数据压缩操作的处理效率，降低存储设备的能耗；本发明还公开了一种数据压缩装置、系统及计算机可读存储介质，具有上述有益效果。

Description

一种数据压缩方法、装置、系统及计算机可读存储介质
技术领域
本发明涉及数据存储技术领域，特别涉及一种数据压缩方法、装置、系统及计算机可读存储介质。
背景技术
随着电子技术以及社会的发展，各行各业每天产生的数据量相比以往呈现指数级爆炸性增长，存储和使用这些数据需要大量的服务器和存储设备来支撑。为了实现海量数据的存储，现在通常采用数据压缩算法来存储数据，以实现将数据容量进行缩减。数据压缩算法是一种提高存储介质利用率的数据缩减技术，其节省了存储的空间，降低成本。
目前，相关技术中数据压缩的过程一般都在存储设备中进行的。但是当存储设备的负载较高的情况下，会影响存储设备的处理能力，增加存储设备的能耗。
发明内容
本发明的目的是提供一种数据压缩方法、装置、系统及计算机可读存储介质，利用当前负载相对较低的设备作为执行数据压缩操作的设备，进而能够提高数据压缩操作的处理效率，降低存储设备的能耗。
为解决上述技术问题，本发明提供一种数据压缩方法，应用于主机，包括：
当检测到触发数据压缩操作的预设事件时，获取所述主机的负载数据，以及对应存储设备的负载数据；
利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备；
当所述主体设备为所述主机时，则执行所述数据压缩操作；
当所述主体设备为所述存储设备时，则向所述存储设备发送数据压缩指令，以使所述存储设备执行所述数据压缩操作。
可选地，利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备，包括：
利用公式(Overload1-Thredhold1)/Thredhold1计算所述主机的负载状况值；
利用公式(Overload2-Thredhold2)/Thredhold2计算所述存储设备的负载状况值；
若所述主机的负载状况值小于所述存储设备的负载状况值，则执行所述数据压缩操作的主体设备为所述主机；
若所述主机的负载状况值不小于所述存储设备的负载状况值，则执行所述数据压缩操作的主体设备为所述存储设备；
其中，Overload1为主机的负载数据，Thredhold1为主机的负载阈值，Overload2为存储设备的负载数据，Thredhold2为存储设备的负载阈值。
可选地，当所述主体设备为所述主机时，则执行所述数据压缩操作，包括：
控制主机压缩引擎开启压缩功能执行所述数据压缩操作，并向所述存储设备发送关闭指令，以使所述存储设备关闭存储设备压缩引擎的压缩功能。
本发明还提供一种数据压缩装置，应用于主机，包括：
主机负载统计模块，用于获取所述主机的负载数据；
仲裁模块，用于当检测到触发数据压缩操作的预设事件时，利用所述主机的负载数据以及存储设备的负载数据，确定执行所述数据压缩操作的主体设备；
主机压缩引擎模块，用于当所述主体设备为所述主机时，则执行所述数据压缩操作；
负载信息server模块，用于接收所述存储设备的负载数据且当所述主体设备为所述存储设备时，则向所述存储设备发送数据压缩指令，以使所述存储设备执行所述数据压缩操作。
本发明还提供一种数据压缩方法，应用于存储设备，包括：
向主机发送所述存储设备的负载数据，以使所述主机利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备，并在所述主体设备为所述存储设备时，向所述存储设备发送数据压缩指令；
当接收到所述数据压缩指令时，执行所述数据压缩操作。
可选地，执行所述数据压缩操作，包括：
控制存储设备压缩引擎开启压缩功能执行所述数据压缩操作。
可选地，所述数据压缩方法还包括：
当接收到所述主机发送的关闭指令时，控制所述存储设备压缩引擎关闭所述压缩功能。
本发明还提供一种数据压缩装置，应用于存储设备，包括：
存储设备负载统计模块，用于获取所述存储设备的负载数据；
负载信息client模块，用于向主机发送所述存储设备的负载数据并接收所述主机发送的所述数据压缩指令，以使所述主机利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备，并在所述主体设备为所述存储设备时，向所述存储设备发送数据压缩指令；
存储设备压缩引擎模块，用于当接收到所述数据压缩指令时，执行所述数据压缩操作。
本发明还提供一种数据压缩系统，包括：
主机设备，用于当检测到触发数据压缩操作的预设事件时，获取所述主机的负载数据，以及对应存储设备的负载数据；利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备；当所述主体设备为所述主机时，则执行所述数据压缩操作；当所述主体设备为所述存储设备时，则向所述存储设备发送数据压缩指令；
存储设备，用于接收到所述数据压缩指令时，执行所述数据压缩操作。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述数据压缩方法的步骤
本发明所提供的数据压缩方法，应用于主机，包括：当检测到触发数据压缩操作的预设事件时，获取主机的负载数据，以及对应存储设备的负载数据；利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备；当主体设备为主机时，则执行数据压缩操作；当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作。
可见，该方法通过对获取到的主机的负载数据以及存储设备的负载数据进行比较，确定出当前负载相对较低的设备(主机或存储设备)作为执行数据压缩操作的设备，进而能够提高数据压缩操作的处理效率，降低存储设备的能耗；本发明还提供了一种数据压缩装置、系统及计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的数据压缩方法的流程图；
图2为本发明实施例所提供的主机中数据压缩装置的结构框图；
图3为本发明实施例所提供的另一数据压缩方法的流程图；
图4为本发明实施例所提供的存储设备中数据压缩装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前相关技术中数据压缩的过程都在存储设备中进行的。但是当存储设备的负载较高的情况下，会严重影响存储设备的处理能力，且增加存储设备的能耗。本实施例为了克服该技术问题，通过分析主机和存储设备负载情况，裁决本次数据压缩操作是在主机还是在存储设备中执行，据此提升存储设备的处理能力。具体请参考图1，图1为本发明实施例所提供的数据压缩方法的流程图；应用于主机，该方法可以包括：
S110、当检测到触发数据压缩操作的预设事件时，获取主机的负载数据，以及对应存储设备的负载数据。
本实施例中并不对触发数据压缩操作的预设事件进行限定，只要可以表征当前存在数据需要执行数据压缩操作即可。例如可以是将接收到数据压缩指令作为预设事件；或者是将接收到获取负载数据的指令作为预设事件；当然也可以是将接收到预设信息作为预设事件；或者是预设按钮开启作为预设事件。对应的本实施例也不对检测到触发数据压缩操作的预设事件的检测方式进行限定，其与预设事件的选取相关，用户可以根据选取的预设事件的具体内容进行相应的设置。例如当预设事件为接收到数据压缩指令时，则检测到触发数据压缩操作的预设事件的过程为，判断是否接收到数据压缩指令，当接收到数据压缩指令，则确定检测到触发数据压缩操作的预设事件。当预设事件为预设按钮开启，则检测到触发数据压缩操作的预设事件的过程为，判断预设按钮是否处于开启状态，当预设按钮处于开启状态，则确定检测到触发数据压缩操作的预设事件。
需要说明的是，本实施例在检测到触发数据压缩操作的预设事件时，需要获取主机的负载数据，以及对应存储设备的负载数据。其中，主机对应存储设备为当前主机中需要进行压缩的数据所要存储的目标端对应的存储设备。本实施例并不限定主机的负载数据，以及对应存储设备的负载数据的获取方式。只要主机可以得到这两个负载信息即可。例如，主机可以通过主机负载统计模块获取主机的负载数据，并通过负载信息server模块来获取存储设备的负载数据。本实施例并不对负载信息server模块获取存储设备的负载数据的方式进行限定。例如可以是存储设备中的存储设备负载统计模块获取存储设备的负载数据，并将存储设备的负载数据发送给存储设备的负载信息client模块，并由负载信息client模块向主机中的负载信息server模块发送该存储设备的负载数据。此时可以理解为，主机与存储设备的交互信息是通过存储设备中的负载信息client模块与主机中的负载信息server模块之间的交互来实现的。
进一步，本实施例中并不限定主机和存储设备获取各自负载信息的频率。例如主机负载统计模块和存储设备负载统计模块可以实时统计各自的负载数据；主机负载统计模块和存储设备负载统计模块也可以是按照预设周期统计各自的负载数据；当然也可以是主机负载统计模块和存储设备负载统计模块在接收统计执行时，统计各自的负载数据；其中，统计指令可以是在当检测到触发数据压缩操作的预设事件时触发。
S120、利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备。
该步骤中在主机获取到主机的负载数据以及存储设备的负载数据后，就可以根据主机的负载数据以及存储设备的负载数据进行仲裁操作，以确定本次执行数据压缩操作的主体设备。即依据主机和存储设备的负载情况，动态决定压缩操作的执行位置。本实施例中并不限定具体根据主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备的方式。用户可以设定符合其使用场景的条件来执行步骤S120。例如，可以是仅仅比较主机的负载数据以及存储设备的负载数据的大小，将小负载数据对应的设备作为主体设备。当然，为了更准确的区分两者的负载压力，本实施例中还可以设置主机的负载阈值以及存储设备的负载阈值，即考虑到主机和存储设备整体性能，此时分别判断主机的负载数据是否小于设置的主机的负载阈值，以及存储设备的负载数据是否小于设置的存储设备的负载阈值；此时，当仅仅主机的负载数据小于设置的主机的负载阈值时，确定主机作为主体设备；当仅仅存储设备的负载数据小于设置的存储设备的负载阈值时，确定存储设备作为主体设备；当主机的负载数据小于设置的主机的负载阈值，且存储设备的负载数据小于设置的存储设备的负载阈值时，以及主机的负载数据不小于设置的主机的负载阈值，且存储设备的负载数据不小于设置的存储设备的负载阈值时，确定存储设备作为主体设备。进一步，为了更加准确的确定主体设备，可以根据负载数据所占的比例来确定主体设备，即优选的，利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备可以包括：
利用公式(Overload1-Thredhold1)/Thredhold1计算主机的负载状况值；
利用公式(Overload2-Thredhold2)/Thredhold2计算存储设备的负载状况值；
若主机的负载状况值小于存储设备的负载状况值，则执行数据压缩操作的主体设备为主机；
若主机的负载状况值不小于存储设备的负载状况值，则执行数据压缩操作的主体设备为存储设备；
其中，Overload1为主机的负载数据，Thredhold1为主机的负载阈值，Overload2为存储设备的负载数据，Thredhold2为存储设备的负载阈值。
具体的，当主机的负载状况值小于存储设备的负载状况值，则说明主机的负载情况要低于存储设备的负载情况，此时由主机进行数据压缩处理。当主机的负载状况值不小于存储设备的负载状况值，则说明存储设备的负载情况要低于主机的负载情况，此时由存储设备进行数据压缩处理。
当然，本实施例中并限定主机的负载阈值以及存储设备的负载阈值的具体数值，其需要根据设备实际硬件情况进行确定。
S130、当主体设备为主机时，则执行数据压缩操作。
S140、当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作。
具体的，当主体设备为主机时，则由主机执行数据压缩操作，在将压缩后的数据传到存储设备。当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作。即将需要存储的数据发送到存储设备，由存储设备对数据进行压缩操作。本实施例并不对压缩操作的过程进行限定，可以参考相关技术中对数据进行压缩操作的过程。例如可以通过压缩引擎执行压缩操作。
当主体设备为主机时，主机中需要设置对应的主机压缩引擎，对应的则执行数据压缩操作的过程可以包括：主机控制主机压缩引擎开启压缩功能执行数据压缩操作，并向存储设备发送关闭指令，以使存储设备关闭存储设备压缩引擎的压缩功能。本实施例中并不限定关闭指令的具体内容(如其可以是一个标识信息，或者是关闭压缩引擎的指令)，也不限定主机与存储设备交互该关闭指令的具体流程。例如，当主机的负载情况低于存储设备的负载情况，此时由主机进行数据压缩处理，主机中仲裁模块将该消息分别发给主机压缩引擎模块，主机压缩引擎模块开启压缩功能执行数据压缩操作；同时仲裁模块将关闭指令发给负载信息server模块，负载信息server模块发送关闭指令给存储设备的负载信息client模块，负载信息client模块随后就发给存储设备压缩引擎模块，存储设备压缩引擎模块关闭压缩功能。
当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作。本实施例中并不限定数据压缩指令的具体内容(如其可以是一个标识信息，或者是开启压缩引擎的指令)，也不限定主机与存储设备交互该数据压缩指令的具体流程。例如当主机的负载情况高于存储设备的负载情况，此时由存储设备进行数据压缩处理，主机中仲裁模块将该消息分别发给主机压缩引擎模块，主机压缩引擎模块关闭压缩功能；同时发给负载信息server模块，负载信息server模块发送信息给负载信息client模块，负载信息client模块随后就发给存储设备压缩引擎模块，存储设备压缩引擎模块开启压缩功能。可以理解的是，本实施例中基于主机和存储设备的负载情况，在主机端进行仲裁判断，以确定数据压缩的处理是在主机上进行还是在存储设备中进行。从而提升增加单位存储空间所能容纳的数据量以提高存储空间效率，减少维护单位数据量所需的设备资源和降低相应能耗。
基于上述技术方案，本发明实施例提供的数据压缩方法，通过对获取到的主机的负载数据以及存储设备的负载数据进行比较，确定出当前负载相对较低的设备(主机或存储设备)作为执行数据压缩操作的设备，进而能够提高数据压缩操作的处理效率，降低存储设备的能耗。
下面对本发明实施例提供的数据压缩装置、系统及计算机可读存储介质进行介绍，下文描述的数据压缩装置、系统及计算机可读存储介质与上文描述的数据压缩方法可相互对应参照。
请参考图2，图2为本发明实施例所提供的主机中数据压缩装置的结构框图；应用于主机，该装置可以包括：
主机负载统计模块110，用于获取主机的负载数据；
仲裁模块120，用于当检测到触发数据压缩操作的预设事件时，利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备；
主机压缩引擎模块130，用于当主体设备为主机时，则执行数据压缩操作；
负载信息server模块140，用于接收存储设备的负载数据且当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作。
其中，主机中主机负载统计模块实时统计主机的负载数据(即确定主机的负载情况)，并将负载数据定时发送到仲裁模块。存储设备中存储设备负载统计模块实时统计存储设备的负载数据(即确定存储设备的负载情况)，并将负载数据发送到负载信息client模块，负载信息client模块定期将存储设备的负载数据发往主机，主机的负载信息server模块收到存储设备发来的负载数据后，会将该负载数据发往仲裁模块，由仲裁模块确定主体设备。
请参考图3，图3为本发明实施例所提供的另一数据压缩方法的流程图；应用于存储设备，该方法可以包括：
S210、向主机发送存储设备的负载数据，以使主机利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备，并在主体设备为存储设备时，向存储设备发送数据压缩指令。
本实施例中并不限定存储设备向主机发送存储设备的负载数据的方式以及存储设备获取负载数据的方式以及频率。例如可以是存储设备中存储设备负载统计模块获取存储设备的负载数据，并将存储设备的负载数据发送给负载信息client模块，由负载信息client模块将存储设备的负载数据发送给主机的负载信息server模块，以便主机获取到存储设备的负载数据。
S220、当接收到数据压缩指令时，执行数据压缩操作。
本实施例并不对数据压缩操作的具体过程进行限定，可以参考相关技术。例如存储设备控制存储设备压缩引擎开启压缩功能执行数据压缩操作。具体可以是，由负载信息client模块将获取到的数据压缩指令发送给存储设备压缩引擎模块，存储设备压缩引擎模块当接收到数据压缩指令时，执行数据压缩操作，即存储设备压缩引擎模块开启压缩功能。当然，当主体设备为主机时，存储设备并不需要执行数据压缩操作，此时存储设备还可以包括：当接收到主机发送的关闭指令时，控制存储设备压缩引擎关闭压缩功能。由负载信息client模块将获取到的关闭指令发送给存储设备压缩引擎模块，存储设备压缩引擎模块当接收到关闭指令时，存储设备压缩引擎模块关闭压缩功能。
请参考图4，图4为本发明实施例所提供的存储设备中数据压缩装置的结构框图；应用于存储设备，该装置可以包括：
存储设备负载统计模块210，用于获取存储设备的负载数据；
负载信息client模块220，用于向主机发送存储设备的负载数据并接收主机发送的数据压缩指令，以使主机利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备，并在主体设备为存储设备时，向存储设备发送数据压缩指令；
存储设备压缩引擎模块230，用于当接收到数据压缩指令时，执行数据压缩操作。
本发明实施例还提供一种数据压缩系统，包括：
主机设备，用于当检测到触发数据压缩操作的预设事件时，获取主机的负载数据，以及对应存储设备的负载数据；利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备；当主体设备为主机时，则执行数据压缩操作；当主体设备为存储设备时，则向存储设备发送数据压缩指令；
存储设备，用于接收到数据压缩指令时，执行数据压缩操作。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例所述的数据压缩方法的步骤。如计算机程序被处理器执行时实现当检测到触发数据压缩操作的预设事件时，获取主机的负载数据，以及对应存储设备的负载数据；利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备；当主体设备为主机时，则执行数据压缩操作；当主体设备为存储设备时，则向存储设备发送数据压缩指令，以使存储设备执行数据压缩操作。和/或，如计算机程序被处理器执行时实现向主机发送存储设备的负载数据，以使主机利用主机的负载数据以及存储设备的负载数据，确定执行数据压缩操作的主体设备，并在主体设备为存储设备时，向存储设备发送数据压缩指令；当接收到数据压缩指令时，执行数据压缩操作。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种数据压缩方法、装置、系统及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种数据压缩方法，其特征在于，应用于主机，包括：
当检测到触发数据压缩操作的预设事件时，获取所述主机的负载数据，以及对应存储设备的负载数据；
利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备；
当所述主体设备为所述主机时，则执行所述数据压缩操作；
当所述主体设备为所述存储设备时，则向所述存储设备发送数据压缩指令，以使所述存储设备执行所述数据压缩操作。
2.根据权利要求1所述的数据压缩方法，其特征在于，利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备，包括：
利用公式(Overload1-Thredhold1)/Thredhold1计算所述主机的负载状况值；
利用公式(Overload2-Thredhold2)/Thredhold2计算所述存储设备的负载状况值；
若所述主机的负载状况值小于所述存储设备的负载状况值，则执行所述数据压缩操作的主体设备为所述主机；
若所述主机的负载状况值不小于所述存储设备的负载状况值，则执行所述数据压缩操作的主体设备为所述存储设备；
其中，Overload1为主机的负载数据，Thredhold1为主机的负载阈值，Overload2为存储设备的负载数据，Thredhold2为存储设备的负载阈值。
3.根据权利要求1或2所述的数据压缩方法，其特征在于，当所述主体设备为所述主机时，则执行所述数据压缩操作，包括：
控制主机压缩引擎开启压缩功能执行所述数据压缩操作，并向所述存储设备发送关闭指令，以使所述存储设备关闭存储设备压缩引擎的压缩功能。
4.一种数据压缩装置，其特征在于，应用于主机，包括：
主机负载统计模块，用于获取所述主机的负载数据；
仲裁模块，用于当检测到触发数据压缩操作的预设事件时，利用所述主机的负载数据以及存储设备的负载数据，确定执行所述数据压缩操作的主体设备；
主机压缩引擎模块，用于当所述主体设备为所述主机时，则执行所述数据压缩操作；
负载信息server模块，用于接收所述存储设备的负载数据且当所述主体设备为所述存储设备时，则向所述存储设备发送数据压缩指令，以使所述存储设备执行所述数据压缩操作。
5.一种数据压缩方法，其特征在于，应用于存储设备，包括：
向主机发送所述存储设备的负载数据，以使所述主机利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备，并在所述主体设备为所述存储设备时，向所述存储设备发送数据压缩指令；
当接收到所述数据压缩指令时，执行所述数据压缩操作。
6.根据权利要求5所述的数据压缩方法，其特征在于，执行所述数据压缩操作，包括：
控制存储设备压缩引擎开启压缩功能执行所述数据压缩操作。
7.根据权利要求6所述的数据压缩方法，其特征在于，还包括：
当接收到所述主机发送的关闭指令时，控制所述存储设备压缩引擎关闭所述压缩功能。
8.一种数据压缩装置，其特征在于，应用于存储设备，包括：
存储设备负载统计模块，用于获取所述存储设备的负载数据；
负载信息client模块，用于向主机发送所述存储设备的负载数据并接收所述主机发送的所述数据压缩指令，以使所述主机利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备，并在所述主体设备为所述存储设备时，向所述存储设备发送数据压缩指令；
存储设备压缩引擎模块，用于当接收到所述数据压缩指令时，执行所述数据压缩操作。
9.一种数据压缩系统，其特征在于，包括：
主机设备，用于当检测到触发数据压缩操作的预设事件时，获取所述主机的负载数据，以及对应存储设备的负载数据；利用所述主机的负载数据以及所述存储设备的负载数据，确定执行所述数据压缩操作的主体设备；当所述主体设备为所述主机时，则执行所述数据压缩操作；当所述主体设备为所述存储设备时，则向所述存储设备发送数据压缩指令；
存储设备，用于接收到所述数据压缩指令时，执行所述数据压缩操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3以及权利要求5至7任一项所述数据压缩方法的步骤。
CN201811474649.1A 2018-12-04 2018-12-04 一种数据压缩方法、装置、系统及计算机可读存储介质 Pending CN109614043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811474649.1A CN109614043A (zh) 2018-12-04 2018-12-04 一种数据压缩方法、装置、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811474649.1A CN109614043A (zh) 2018-12-04 2018-12-04 一种数据压缩方法、装置、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109614043A true CN109614043A (zh) 2019-04-12

Family

ID=66005409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811474649.1A Pending CN109614043A (zh) 2018-12-04 2018-12-04 一种数据压缩方法、装置、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109614043A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597462A (zh) * 2019-08-14 2019-12-20 阿里巴巴集团控股有限公司 块链式账本中的数据存储方法、系统、装置及设备
CN110888746A (zh) * 2019-12-10 2020-03-17 Oppo（重庆）智能科技有限公司 内存管理方法、装置、存储介质及电子设备
WO2021027252A1 (zh) * 2019-08-14 2021-02-18 创新先进技术有限公司 块链式账本中的数据存储方法、装置及设备
US11249987B2 (en) 2019-08-14 2022-02-15 Advanced New Technologies Co., Ltd. Data storage in blockchain-type ledger

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516369A (zh) * 2013-06-20 2014-01-15 易乐天 一种自适应数据压缩和解压缩的方法和系统及存储装置
WO2017173618A1 (zh) * 2016-04-07 2017-10-12 华为技术有限公司 压缩数据的方法、装置和设备
US20180302469A1 (en) * 2017-04-17 2018-10-18 EMC IP Holding Company LLC METHODS, DEVICES AND COMPUTER READABLE MEDIUMs FOR DATA SYNCHRONIZATION

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516369A (zh) * 2013-06-20 2014-01-15 易乐天 一种自适应数据压缩和解压缩的方法和系统及存储装置
WO2017173618A1 (zh) * 2016-04-07 2017-10-12 华为技术有限公司 压缩数据的方法、装置和设备
US20180302469A1 (en) * 2017-04-17 2018-10-18 EMC IP Holding Company LLC METHODS, DEVICES AND COMPUTER READABLE MEDIUMs FOR DATA SYNCHRONIZATION
CN108733506A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 用于数据同步的方法、设备和计算机可读介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597462A (zh) * 2019-08-14 2019-12-20 阿里巴巴集团控股有限公司 块链式账本中的数据存储方法、系统、装置及设备
WO2021027252A1 (zh) * 2019-08-14 2021-02-18 创新先进技术有限公司 块链式账本中的数据存储方法、装置及设备
US11249987B2 (en) 2019-08-14 2022-02-15 Advanced New Technologies Co., Ltd. Data storage in blockchain-type ledger
CN110888746A (zh) * 2019-12-10 2020-03-17 Oppo（重庆）智能科技有限公司 内存管理方法、装置、存储介质及电子设备
CN110888746B (zh) * 2019-12-10 2023-06-02 Oppo（重庆）智能科技有限公司 内存管理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109614043A (zh) 一种数据压缩方法、装置、系统及计算机可读存储介质
US11204806B2 (en) Systems and methods for user adaptive resource management
CN111694515B (zh) 一种基于ZNS固态硬盘的zone写分发方法及系统
TW201220180A (en) Application lifetime management
CN110196770B (zh) 云系统内存数据处理方法、装置、设备及存储介质
US10712945B2 (en) Deduplication processing method, and storage device
CN105740326A (zh) 浏览器的线程状态监测方法及装置
CN108924195A (zh) 一种单向心跳机制实现方法、装置、设备及系统
CN108874324B (zh) 一种访问请求处理方法、装置、设备及可读存储介质
CN111176569A (zh) 一种流量配额方法、装置、系统和设备及可读存储介质
WO2014117682A1 (en) Method, apparatus and terminal for releasing memory
CN110796591B (zh) 一种gpu卡的使用方法及相关设备
CN109800085B (zh) 资源配置的检测方法、装置、存储介质和电子设备
CN108415765B (zh) 任务调度方法、装置及智能终端
WO2022016845A1 (zh) 一种多节点监控方法、装置、电子设备及存储介质
CN110109865A (zh) 一种数据存储方法、装置、设备及可读存储介质
CN108932158A (zh) 一种元数据服务器事务处理的方法、装置及mds服务器
CN110543432B (zh) 内存碎片整理方法、装置、终端及存储介质
CN112737835A (zh) 一种云主机业务管理方法及相关装置
CN112003900B (zh) 实现分布式系统中高负载场景下服务高可用的方法、系统
CN114416326A (zh) 大数据管控方法、装置、管控系统及可读存储介质
CN117743127B (zh) 笔记本电脑的功耗数据分析方法及系统
CN114003367B (zh) 风险监控方法、装置、设备及存储介质
CN115934000B (zh) 一种存储系统的定时方法及相关装置
CN110162561B (zh) 离线压缩方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412