CN111831211A - 数据传输方法、装置、设备及存储介质 - Google Patents
数据传输方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111831211A CN111831211A CN201910317785.8A CN201910317785A CN111831211A CN 111831211 A CN111831211 A CN 111831211A CN 201910317785 A CN201910317785 A CN 201910317785A CN 111831211 A CN111831211 A CN 111831211A
- Authority
- CN
- China
- Prior art keywords
- transmission
- data
- data block
- compressed
- data blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007906 compression Methods 0.000 claims abstract description 34
- 230000006835 compression Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据传输方法、装置、设备及存储介质，所述数据传输方法包括：确定当前正在进行压缩传输的数据块数量；若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行所述传输处理之前，不对所述待传输数据块进行压缩。根据本发明实施例，在传输数据块时能够充分利用剩余的带宽，而且不会占用计算资源，提高了带宽利用率和数据块的传输速率。
Description
技术领域
本发明属于计算机领域，尤其涉及一种数据传输方法、装置、设备及存储介质。
背景技术
磁盘快照主要用于备份和容灾。用户在不同时间点，可以对一块磁盘创建若干快照，成为一条快照链。如需恢复磁盘数据，可以进行磁盘数据回滚，把磁盘上的数据恢复为快照链上任一个快照的内容。
实际应用场景里，一块磁盘往往会定时创建快照，比如每天创建一次快照。因为磁盘数据有冷热之分，很多数据很久才会改动。因此，一个快照链中的各个快照的数据内容往往只有少量区别。为了节省空间，现有的快照系统都使用了去重存储的功能。
现有的快照功能的实现，都会对磁盘按偏移分成多个区间，比如2MB一个区间，区间数据作为快照的一个数据块(又称切片)进行去重存放。即创建快照时，会检查当前磁盘的每一个区间，如果区间的数据块与老快照对应数据块相比有改动，则新快照使用新数据创建新数据块；否则新快照将继续使用老快照的数据块。
图1示出了现有技术中的快照去重存放的原理示意图。如图1所示，假设磁盘按地址偏移分4个数据块，分别是数据块1至数据块4，创建快照A时有4个数据块，分别是数据块1-A至数据块4-A；创建磁盘快照B时，假设当时只有数据块1和数据块3对应磁盘区间的数据有所修改，因此只创建数据块1-B和数据块3-B，磁盘快照B的数据块2和数据块4继续使用快照A对应的数据块。
基于以上的信息，对快照创建进行说明，快照创建一般分为两步。
第1步骤：元数据构建。分析磁盘的元数据，其中会记录沿用了之前快照的数据块和上次快照后有更新的数据块。这些有更新的数据块将标记为需要备份到快照存储系统中的数据块，会在快照元数据中记录好。
第2步骤：数据传输。上述元数据构建过程中，会得出需要备份的数据块，在本步骤里将这些数据块先进行压缩，然后再传输到快照存储系统当中，作为新快照的数据块存放。
但是，在以上第2步骤的数据传输方案中会出现传输带宽只使用一部分的情况，导致无法充分利用带宽，造成带宽浪费，而且由于带宽的利用率低导致传输速度也比较低。
发明内容
本发明实施例提供一种数据传输方法、装置、设备及存储介质，在传输数据块时能够充分利用带宽，提高传输速度。
一方面，本发明实施例提供一种数据传输方法，包括：
确定当前正在进行压缩传输的数据块数量；
若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行所述传输处理之前，不对所述待传输数据块进行压缩。
另一方面，本发明实施例提供了一种数据传输装置，包括：
数量确定模块，用于确定当前正在进行压缩传输的数据块数量；
传输处理模块，用于若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行所述传输处理之前，不对所述待传输数据块进行压缩。
再一方面，本发明实施例提供了一种计算设备，包括磁盘系统和存储系统；其中，
所述磁盘系统用于确定当前正在进行压缩传输的数据块数量，并且，若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，所述磁盘系统将待传输数据块传输至所述存储系统，其中，在执行所述传输处理之前，所述磁盘系统不对所述待传输数据块进行压缩。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的数据传输方法。
本发明实施例的数据传输方法、装置、设备及存储介质，当传输带宽有一部分剩余但数据块占用的计算资源达到上限时，对部分数据块不压缩就直接传输。由于压缩数据块占用计算资源，而传输数据块占用很少的计算资源，因此，传输不压缩的数据块既不会占用过多的计算资源，还充分利用了剩余的带宽，提高了带宽利用率和数据块的传输速率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了现有技术中的快照去重存放的原理示意图；
图2示出了本发明一个实施例提供的数据传输方法的流程示意图；
图3示出了本发明另一个实施例提供的数据传输方法的流程示意图；
图4示出了数据块状态列表在更新前的示意图；
图5示出了新创建的快照的数据块列表的示意图；
图6示出了数据块状态列表在更新后的示意图；
图7示出了本发明又一个实施例提供的数据传输方法的流程示意图；
图8示出了本发明一个实施例的数据传输装置的框图；
图9示出了本发明一个实施例提供的计算设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本发明实施例提供了一种数据传输方法、装置、设备及存储介质。下面首先对本发明实施例所提供的数据传输方法进行介绍。
图2示出了本发明一个实施例提供的数据传输方法的流程示意图。如图2所示，数据传输方法包括：
S101，确定当前正在进行压缩传输的数据块数量。
S102，若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行所述传输处理之前，不对所述待传输数据块进行压缩。
在本发明实施例中，由于为数据块分配固定的计算资源，该计算资源主要用于对数据块进行压缩，大概95％的计算资源用于数据压缩。因此，若当前正在进行压缩传输的数据块数量大于或等于预定阈值，说明当前压缩数据块所占用的计算资源已经达到了或者将要达到分配的计算资源上限，无法压缩更多的数据块。若当前已使用的传输带宽小于传输带宽上限，说明带宽有所剩余，可以传输更多的数据块。在计算资源的使用已经达到上限，而可用带宽还有剩余的情况下，可以不对数据块进行压缩，直接传输未压缩的数据块。传输不压缩的数据块既不会占用过多的计算资源，还充分利用了剩余的带宽，实现了计算资源和网络带宽的最大化利用，避免计算资源成为瓶颈而限制网络带宽的利用。而且可以将数据块及时地传输出去，提高了数据块的传输速率。
图3示出了本发明另一个实施例提供的数据传输方法的流程示意图。如图3所示，数据传输方法包括：
S201，创建待压缩数据块列表。
S202，判断当前已使用的传输带宽是否小于传输带宽上限，在判断结果为是时，执行S203，在判断结果为否时，重新执行S202。
S203，判断当前正在进行压缩传输的数据块数量是否大于或等于预定阈值，在判断结果为是时，执行S205，在判断结果为否时，执行S204。
S204，压缩待传输数据块，并传输压缩的数据块。
S205，将待传输数据块的信息添加到待压缩数据块列表中，传输将该待传输数据块，其中，在进行传输之前不对该待传输数据块进行压缩。
S206，若满足预定条件，则根据待压缩数据块列表获取待压缩数据块。
其中，预定条件包括当前有可用的计算资源。
作为一个示例，若需要传输的各个数据块均已传输完毕，则确定计算资源被释放，即满足预定条件。
需要传输的各个数据块包括但不限于快照的所有需要传输的数据块。比如，一个快照有50个数据块，其中有30个数据块是经过压缩传输，另外的20个数据块是未经过压缩就传输。在这50个数据块都传输完毕后，其中经过压缩的30个数据块传输完毕，未经过压缩的20个数据块传输完毕，根据待压缩数据块列表获取待压缩数据块。
在本示例中，由于在需要传输的各个数据块均已传输完毕的情况下对数据块进行压缩传输，可以更快地将需要传输的各个数据块传输过去。
作为一个示例，若当前正在进行压缩传输的数据块数量小于预定阈值，则确定有部分可用的计算资源，即满足预定条件。
S207，对待压缩数据块进行压缩，传输该压缩的数据块，将该压缩的数据块从待压缩数据块列表中删除。
在本发明实施例中，与图2的发明实施例区别在于，由于数据块不压缩会占用较多的存储空间，因此若有可用的计算资源被释放，则利用该资源对未压缩的数据块进行压缩以重新进行传输。即一部分数据块并不是在集中压缩数据块的时间段内进行压缩，而是等计算资源空闲时进行压缩，最终实现数据块的全部压缩，避免占用较大的存储空间。
本发明实施例在实际应用中会出现以下情况：若需要传输的各个数据块均已传输完毕，则获取待压缩数据块进行压缩。假设在需要传输的各个数据块全部都传输到存储系统中时，存储系统的已占用空间为X。在各个数据块全部都传输完毕之后，由于对存储系统中的未压缩数据块进行压缩，将压缩后的数据块传输到存储系统中，以使用压缩的数据块替换掉存储系统中未压缩的数据块，这样节省了存储系统的占用空间。因此，存储系统的已占用空间会随着时间推移而慢慢变小，最终在全部数据块压缩完毕后存储系统的已占用空间达到稳定。
而在现有技术中所有数据块都是先压缩再传输。因此现有技术中，在需要传输的各个数据块全部都传输到存储系统之后，存储系统的已占用空间会达到稳定，不会发生变化。
另外，在S204中，在压缩数据块之后在该压缩的数据块上做已压缩的标记；在S205中，在传输数据块之前，在未压缩的数据块上做未压缩的标记；在S207中，在压缩数据块之后在该压缩的数据块上做已压缩的标记。
通过将已压缩的数据块和未压缩的数据块区分开，这样，若访问数据块，则读取数据块的标记确定该数据块是否已压缩；若确定数据块已压缩，则先对数据块进行解压再使用该数据块；若确定数据块未压缩，则可以直接使用该数据块，不需要对数据块进行解压。因此，即使存在已压缩的数据块和未压缩的数据块，也可以正常对数据块进行访问。
下面通过一个具体的应用场景来详细说明本发明实施例的方案。
在快照创建的场景中，快照创建包括两个步骤：
第1个步骤：元数据构建。数据块状态列表中记录各个数据块的状态，如果有写请求修改了数据块的数据，则将该数据块的状态更新为“有更新”的状态，下次快照时会把这些“有更新”的数据块备份到快照存储系统中。在磁盘系统中有一个数据块状态列表，在该数据块状态列表中记录每个数据块是否有更新。
比如，图4示出了数据块状态列表的示意图。在已经创建快照1和快照2的情况下，2-3MB的数据块是沿用快照1的数据块，4-5MB的数据块是沿用快照2的数据块，2-3MB的数据块和4-5MB的数据块没有更新，0-1MB的数据块和6-7MB的数据块的状态是有更新。
如果创建快照3，则基于图4的数据块状态列表，创建如图5所示的数据块列表中的数据块。从图5可以看出，由于2-3MB的数据块和4-5MB的数据块，因此2-3MB的数据块依然沿用快照1的数据块，4-5MB的数据块依然沿用快照2的数据块。由于0-1MB的数据块和6-7MB的数据块有更新，因此0-1MB的数据块和6-7MB的数据块均是来自快照3的数据块。在创建完快照3之后，将磁盘数据块状态列表更新成如图6所示的磁盘数据块状态列表。
元数据创建一般花费1-5秒，为了避免创建过程中被写入数据，在本步骤里会阻挡一切的读写请求。到元数据创建完成，则快照的数据就已经确定。
第2个步骤：上述元数据构建过程中，会得出快照的需要备份的数据块，在本步骤里将这些数据块一个个传输到快照存储系统中，作为新快照的数据块存放。
通过如图7所示的数据传输方法将快照的数据块传输到快照存储系统中。数据传输方法包括：
S301，对于需要传输的快照，获取快照的待传输数据块列表，设定并发进行压缩传输的数据块数量的上限值N(N即是上述中的预定阈值)，设定传输带宽上限为M。
需要说明的是，通过设置传输带宽上限M，保证传输带宽不会超出预期的传输带宽上限。传输带宽上限的配额往往是活动的，当整个系统快照传输少时，传输带宽上限就比较大。当整个系统快照传输多时，传输带宽上限就比较小。
通过设置进行压缩传输的数据块数量的上限值N，可以保证快照所在机器的中央处理器(Central Processing Unit，CPU)计算负载不要超标。
S302，在磁盘系统中创建待压缩数据块列表。
S303，若快照的待传输数据块列表中不为空，则判断当前已使用的传输带宽是否小于M，在判断结果为是时执行S304，在判断结果为否时等待片刻再重新执行S303。
S304，根据待传输数据块列表，从磁盘系统中取出一个待传输数据块。
S305，判断当前正在进行压缩传输的数据块数量是否大于或等于N，在判断结果为是时执行S306，在判断结果为否时执行S308。
S306，将待传输数据块的信息添加到待压缩数据块列表中，在该待传输数据块上做第一标记，第一标记表示数据块未压缩。
比如，将待传输数据块的名称添加到待压缩数据块列表中，在该待传输数据块的头部标记为未压缩。
S307，将该待传输数据块传输给快照存储系统，其中，在进行传输之前不对该待传输数据块进行压缩。
S308，压缩待传输数据块，在该压缩的数据块上做第二标记，第二标记表示数据块已压缩。
比如，在数据块的头部标记为已压缩。
S309，将压缩的数据块传输给快照存储系统。
需要说明的是，待传输数据块列表中可以存储各个待传输的数据块的名称。若将数据块传输给快照存储系统，无论该数据块是已压缩的数据块还是未压缩的数据块，都将该数据块的名称从待传输数据块列表中删除。
S310，若快照的所有需要传输的数据块都传输完毕，则从磁盘系统中获取待压缩数据块列表。
S311，若待压缩数据块列表不为空，则从待压缩数据块列表中取出一个数据块的名称。
S312，根据该数据块的名称从快照存储系统中取出该数据块。
S313，对取出的数据块进行压缩，在该压缩的数据块上做第二标记，将该压缩的数据块传输给快照存储系统。
S314，将已传输压缩的数据块从待压缩数据块列表中删除。
重复执行S310至S314，直到待压缩数据块列表为空时为止。
S301至S314的执行主体是磁盘系统。
需要说明的是，本发明实施例并不限于应用在快照创建的场景中，本发明实施例可以适用于各种压缩传输的场景中。
图8示出了本发明一个实施例的数据传输装置的框图。如图8所示，该数据传输装置400包括数量确定模块401和传输处理模块402。
数量确定模块401用于确定当前正在进行压缩传输的数据块数量。
传输处理模块402用于若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行传输处理之前，不对待传输数据块进行压缩。
在本发明的一个实施例中，数据传输装置400还包括第一压缩模块。
第一压缩模块用于将执行传输处理的数据块作为待压缩数据块，在执行传输处理之后若满足预定条件，则对待压缩数据块进行压缩。
在本发明的一个实施例中，预定条件包括需要传输的各个数据块均已传输完毕。
在本发明的一个实施例中，传输处理模块402用于将数据块传输至存储系统，数据传输装置400还包括数据块获取模块和数据块传输模块。
数据块获取模块用于在对待压缩数据块进行压缩之前，从存储系统中获取待压缩数据块。
数据块传输模块用于在对待压缩数据块进行压缩之后，将经过压缩的数据块传输至存储系统。
在本发明的一个实施例中，数据传输装置400还包括列表创建模块和信息添加模块。
列表创建模块用于创建待压缩数据块列表。
信息添加模块用于将执行传输处理的数据块的信息添加到待压缩数据块列表中。
在本发明的一个实施例中，待传输数据块包括快照的数据块。
在本发明的一个实施例中，数据传输装置400还包括第一标记模块。
第一标记模块用于在执行传输处理的数据块上做第一标记，第一标记用于表示数据块未压缩。
在本发明的一个实施例中，数据传输装置400还包括压缩传输模块和第二标记模块。
压缩传输模块用于在当前正在进行压缩传输的数据块数量小于预定阈值，且当前已使用的传输带宽小于传输带宽上限的情况下，对待传输数据块进行压缩，并传输经过压缩的数据块；
第二标记模块用于在经过压缩的数据块上做第二标记，第二标记用于表示数据块经过压缩。
图9示出了本发明一个实施例提供的计算设备的硬件结构示意图。
计算设备，包括磁盘系统和存储系统；其中，磁盘系统用于确定当前正在进行压缩传输的数据块数量，并且，若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，磁盘系统将待传输数据块传输至存储系统，其中，在执行传输处理之前，磁盘系统不对待传输数据块进行压缩。
需要说明的是磁盘系统可以执行上述任一项实施例的数据传输方法，由于上述已经对数据传输方法做出了详细说明，在此不再重复赘述。
计算设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在综合网关容灾设备的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。在特定实施例中，存储器502包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现上述实施例中的任意一种数据传输方法。
在一个示例中，计算设备还可包括通信接口503和总线510。其中，如图9所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者，将计算设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该计算设备可以执行本发明实施例中的数据传输方法，从而实现结合图2、图3和图8描述的数据传输方法和装置。
另外，结合上述实施例中的数据传输方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器501执行时实现上述实施例中的任意一种数据传输方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (11)
1.一种数据传输方法，包括：
确定当前正在进行压缩传输的数据块数量；
若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行所述传输处理之前，不对所述待传输数据块进行压缩。
2.根据权利要求1所述的方法，其中，所述的方法还包括：
将执行所述传输处理的数据块作为待压缩数据块，在执行所述传输处理之后若满足预定条件，则对所述待压缩数据块进行压缩。
3.根据权利要求2所述的方法，其中，所述预定条件包括需要传输的各个数据块均已传输完毕。
4.根据权利要求2所述的方法，其中，所述传输处理包括传输至存储系统，所述的方法还包括：
在对所述待压缩数据块进行压缩之前，从所述存储系统中获取所述待压缩数据块；
在对所述待压缩数据块进行压缩之后，将经过压缩的数据块传输至所述存储系统。
5.根据权利要求1所述的方法，其中，所述的方法还包括：
创建待压缩数据块列表；
将执行所述传输处理的数据块的信息添加到所述待压缩数据块列表中。
6.根据权利要求1所述的方法，其中，所述待传输数据块包括快照的数据块。
7.根据权利要求1所述的方法，其中，所述的方法还包括：
在执行所述传输处理的数据块上做第一标记，所述第一标记用于表示数据块未压缩。
8.根据权利要求1所述的方法，其中，所述的方法还包括：
若当前正在进行压缩传输的数据块数量小于所述预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块进行压缩，并传输经过压缩的数据块；
在经过压缩的数据块上做第二标记，所述第二标记用于表示数据块经过压缩。
9.一种数据传输装置，包括：
数量确定模块，用于确定当前正在进行压缩传输的数据块数量；
传输处理模块，用于若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，则对待传输数据块执行传输处理，其中，在执行所述传输处理之前，不对所述待传输数据块进行压缩。
10.一种计算设备，包括磁盘系统和存储系统；其中，
所述磁盘系统用于确定当前正在进行压缩传输的数据块数量，并且，若当前正在进行压缩传输的数据块数量大于或等于预定阈值，且当前已使用的传输带宽小于传输带宽上限，所述磁盘系统将待传输数据块传输至所述存储系统，其中，在执行所述传输处理之前，所述磁盘系统不对所述待传输数据块进行压缩。
11.一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910317785.8A CN111831211B (zh) | 2019-04-19 | 2019-04-19 | 数据传输方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910317785.8A CN111831211B (zh) | 2019-04-19 | 2019-04-19 | 数据传输方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111831211A true CN111831211A (zh) | 2020-10-27 |
| CN111831211B CN111831211B (zh) | 2024-08-23 |
Family
ID=72911422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910317785.8A Active CN111831211B (zh) | 2019-04-19 | 2019-04-19 | 数据传输方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111831211B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568742A (zh) * | 2021-07-22 | 2021-10-29 | 四川英得赛克科技有限公司 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100174879A1 (en) * | 2009-01-06 | 2010-07-08 | Netapp, Inc. | Estimating space in a compressed volume |
| CN102843341A (zh) * | 2011-06-22 | 2012-12-26 | 阿里巴巴集团控股有限公司 | 数据发送方法及装置、数据接收方法及装置 |
| US20140237201A1 (en) * | 2013-02-15 | 2014-08-21 | Compellent Technologies | Data replication with dynamic compression |
| CN105322969A (zh) * | 2015-12-09 | 2016-02-10 | 北京奇虎科技有限公司 | 数据压缩及解压的方法及装置 |
| US9521218B1 (en) * | 2016-01-21 | 2016-12-13 | International Business Machines Corporation | Adaptive compression and transmission for big data migration |
| CN108880559A (zh) * | 2017-05-12 | 2018-11-23 | 杭州海康威视数字技术股份有限公司 | 数据压缩方法、数据解压缩方法、压缩设备及解压缩设备 |
| US20190045031A1 (en) * | 2018-06-21 | 2019-02-07 | Wajdi Feghali | Low-latency link compression schemes |
-
2019
- 2019-04-19 CN CN201910317785.8A patent/CN111831211B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100174879A1 (en) * | 2009-01-06 | 2010-07-08 | Netapp, Inc. | Estimating space in a compressed volume |
| CN102843341A (zh) * | 2011-06-22 | 2012-12-26 | 阿里巴巴集团控股有限公司 | 数据发送方法及装置、数据接收方法及装置 |
| US20140237201A1 (en) * | 2013-02-15 | 2014-08-21 | Compellent Technologies | Data replication with dynamic compression |
| CN105075222A (zh) * | 2013-02-15 | 2015-11-18 | 康佩伦特科技公司 | 采用动态压缩的数据复制 |
| CN105322969A (zh) * | 2015-12-09 | 2016-02-10 | 北京奇虎科技有限公司 | 数据压缩及解压的方法及装置 |
| WO2017097071A1 (zh) * | 2015-12-09 | 2017-06-15 | 北京奇虎科技有限公司 | 数据压缩及解压的方法及装置 |
| US9521218B1 (en) * | 2016-01-21 | 2016-12-13 | International Business Machines Corporation | Adaptive compression and transmission for big data migration |
| CN108880559A (zh) * | 2017-05-12 | 2018-11-23 | 杭州海康威视数字技术股份有限公司 | 数据压缩方法、数据解压缩方法、压缩设备及解压缩设备 |
| US20190045031A1 (en) * | 2018-06-21 | 2019-02-07 | Wajdi Feghali | Low-latency link compression schemes |
Non-Patent Citations (1)
| Title |
|---|
| 张占军, 杨学良: "基于VBR多媒体流资源管理的研究", 小型微型计算机系统, no. 04, 8 April 2000 (2000-04-08) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568742A (zh) * | 2021-07-22 | 2021-10-29 | 四川英得赛克科技有限公司 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
| CN113568742B (zh) * | 2021-07-22 | 2024-04-19 | 四川英得赛克科技有限公司 | 一种文件压缩方法、装置、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111831211B (zh) | 2024-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111555963B (zh) | 消息推送方法、装置、电子设备及存储介质 | |
| CN111159436A (zh) | 一种推荐多媒体内容的方法、装置及计算设备 | |
| CN110392100B (zh) | 高并发事件的处理方法及装置、存储介质、计算机设备 | |
| CN110941514B (zh) | 一种数据备份方法、恢复方法、计算机设备和存储介质 | |
| CN111107123A (zh) | 一种断网续传方法及装置 | |
| CN114185678A (zh) | 数据存储方法、装置、设备及存储介质 | |
| CN111381835A (zh) | 技术服务组件的注册与发现的方法、装置、设备及介质 | |
| CN114417200B (zh) | 网络数据的采集方法、装置及电子设备 | |
| CN112069195A (zh) | 基于数据库的消息传输方法、装置、电子设备及存储介质 | |
| CN111831211B (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN109558270B (zh) | 数据备份的方法和装置、数据还原的方法和装置 | |
| EP3396554A1 (en) | Backup control method and backup control device | |
| US20170109258A1 (en) | Smart logging of trace data for storage systems | |
| CN115543225B (zh) | 数据处理方法、系统、装置、计算机存储介质及电子设备 | |
| CN108121514B (zh) | 元信息更新方法、装置、计算设备及计算机存储介质 | |
| CN108255428B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN112639746A (zh) | 数据库装置、程序以及数据处理方法 | |
| CN111198782A (zh) | 数据重分布方法、装置、设备及存储介质 | |
| CN114281250A (zh) | 存储文件的清理方法及装置、存储介质、电子装置 | |
| CN112306370B (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN113297003B (zh) | 管理备份数据的方法、电子设备和计算机程序产品 | |
| CN108762985B (zh) | 数据恢复方法及相关产品 | |
| CN111625500A (zh) | 文件快照方法及装置、电子设备和存储介质 | |
| CN118540221A (zh) | 数据处理的方法、装置、电子设备及存储介质 | |
| CN111294071B (zh) | 射频拉远单元的状态数据管理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231204 Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province Applicant after: Aliyun Computing Co.,Ltd. Address before: Grand Cayman, Cayman Islands Applicant before: ALIBABA GROUP HOLDING Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |