CN112988039A - 数据上传方法和装置、云存储网关和系统以及存储介质 - Google Patents

数据上传方法和装置、云存储网关和系统以及存储介质 Download PDF

Info

Publication number
CN112988039A
CN112988039A CN201911308550.9A CN201911308550A CN112988039A CN 112988039 A CN112988039 A CN 112988039A CN 201911308550 A CN201911308550 A CN 201911308550A CN 112988039 A CN112988039 A CN 112988039A
Authority
CN
China
Prior art keywords
data
write operation
data block
uploading
counted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911308550.9A
Other languages
English (en)
Other versions
CN112988039B (zh
Inventor
丘晖
李嫚
胡颖茂
朱应钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201911308550.9A priority Critical patent/CN112988039B/zh
Publication of CN112988039A publication Critical patent/CN112988039A/zh
Application granted granted Critical
Publication of CN112988039B publication Critical patent/CN112988039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据上传方法和装置、云存储网关和系统以及存储介质，涉及数据存储技术领域。数据上传方法包括：统计预设的历史时间段内，写操作的平均时间间隔；根据写操作的平均时间间隔确定上传延迟时间；响应于用户进行写操作，根据上传延迟时间，缓存并延迟上传用户的写操作涉及的数据块。从而，在提升数据上传的效率的同时，尽量提高数据的同步程度，进而提升了网络传输性能、缓存空间可用性、用户数据安全性。

Description

数据上传方法和装置、云存储网关和系统以及存储介质
技术领域
本发明涉及数据存储技术领域，特别涉及一种数据上传方法和装置、云存储网关和系统以及存储介质。
背景技术
用户系统通过网络挂载使用云存储网关发布的虚拟磁盘，网关将用户的文件读写操作重定向到虚拟磁盘的若干个数据块上，通过云存储数据传输协议和云端存储设备进行旧数据块下载和新数据块上传同步。
用户在虚拟磁盘上更新文件时，云存储网关从云端存储设备下载旧数据块，保存在网关本地缓存中。当用户进行写操作后，旧数据块被更新为新数据块，网关上传新数据块以将其同步到云端存储设备。
发明内容
发明人经过分析后发现，如果旧数据块更新后立即将其上传，当短时间内用户再对同一数据块进行写操作时，需要再次对同一数据块进行下载、上传。频繁的上传、下载操作会消耗云存储网关的磁盘I/O性能和CPU性能，影响云存储网关的数据处理能力。并且会影响网络带宽占用率，导致用户系统写入超时、云存储网关响应慢等情况。
然而，如果将更新后的数据块缓存一段较长的时间，会占用云存储网关的缓存空间，使得后续数据难以写入。并且，一旦云存储网关设备出现故障，会增加未同步数据丢失的风险。
本发明实施例所要解决的一个技术问题是：如何在提升数据上传的效率的同时，尽量提高数据的同步程度。
根据本发明一些实施例的第一个方面，提供一种数据上传方法，包括：统计预设的历史时间段内，写操作的平均时间间隔；根据写操作的平均时间间隔确定上传延迟时间；响应于用户进行写操作，根据上传延迟时间，缓存并延迟上传用户的写操作涉及的数据块。
在一些实施例中，统计当前时刻到距离当前时刻预设时长的历史时刻之间的时段内，写操作的平均时间间隔。
在一些实施例中，响应于用户进行写操作，在用户的写操作结束后将涉及的数据块缓存，并在上传延迟时间后上传用户的写操作涉及的数据块。
在一些实施例中，统计预设的历史时间段内，写操作的平均时间间隔包括：将预设的历史时间段内所缓存的写操作涉及的数据块作为待统计数据块，统计每个待统计数据块的被写入次数、以及存在两次以上写操作的待统计数据块的一个或多个写操作的时间间隔；根据所有待统计数据块涉及的一个或多个写操作的时间间隔，确定预设的历史时间段内所有待统计数据块的写操作的平均时间间隔。
在一些实施例中，统计每个待统计数据块的被写入次数、以及存在两次以上写操作的待统计数据块的一个或多个写操作的时间间隔包括：获取待统计数据块的标识、以及写操作的开始时间和结束时间；统计每个待统计数据块的写操作开始时间和结束时间，确定每个待统计数据块被写入次数；对于存在两次以上写操作的待统计数据块，根据每个待统计数据块的相邻两次写操作中，前一个写操作的结束时间与后一个写操作的开始时间的间隔，确定每个待统计数据块涉及的一个或多个写操作的时间间隔。
在一些实施例中，根据写操作的平均时间间隔确定上传延迟时间包括：将写操作平均时间间隔与预设系数的乘积确定为上传延迟时间，预设系数大于1。
根据本发明一些实施例的第二个方面，提供一种数据上传装置，包括：统计模块，被配置为统计预设的历史时间段内，写操作的平均时间间隔；确定模块，被配置为根据写操作的平均时间间隔确定上传延迟时间；延迟上传模块，被配置为响应于用户进行写操作，根据上传延迟时间，缓存并延迟上传用户的写操作涉及的数据块。
根据本发明一些实施例的第三个方面，提供一种云存储网关，包括：前述数据上传装置；写操作接口，被配置为获取来自用户系统的写操作；网络侧接口，被配置为响应于用户的写操作，从云端下载已备份的、用户的写操作涉及的数据块，并将数据上传装置发送的欲上传的数据块发送给云端进行备份；以及存储装置，云存储网关将存储装置发布为虚拟磁盘，虚拟磁盘包括多个数据块，用户向虚拟磁盘写入的每个文件分布在一个或多个数据块中存储。
根据本发明一些实施例的第四个方面，提供一种云存储系统，包括：前述云存储网关；以及云端存储设备，被配置为对云存储网关上传的数据块进行存储。
在一些实施例中，云存储系统还包括：用户系统，被配置为通过网络挂载使用云存储网关发布的虚拟磁盘。
根据本发明一些实施例的第五个方面，提供一种数据上传装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种数据上传方法。
根据本发明一些实施例的第六个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一种数据上传方法。
上述发明中的一些实施例具有如下优点或有益效果：历史发生的写操作的时间间隔可以反映用户进行数据写入的特点。通过采用写操作的平均时间间隔确定上传延迟时间，可以尽量等待用户对数据块的连续多次写操作完成后再上传最终更新的数据块。从而，在提升数据上传的效率的同时，尽量提高数据的同步程度，进而提升了网络传输性能、缓存空间可用性、用户数据安全性。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明一些实施例的数据上传方法的流程示意图。
图2示出了根据本发明一些实施例的数据上传装置的结构示意图。
图3示出了根据本发明一些实施例的云存储网关的结构示意图。
图4示出了根据本发明一些实施例的云存储系统的结构示意图。
图5示出了根据本发明另一些实施例的数据上传装置的结构示意图。
图6示出了根据本发明又一些实施例的数据上传装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出了根据本发明一些实施例的数据上传方法的流程示意图。如图1所示，该实施例的数据上传方法包括步骤S102～S106。
在步骤S102中，统计预设的历史时间段内，写操作的平均时间间隔。
在一些实施例中，历史时间段可以包括当前时刻到距离当前时刻预设时长的历史时刻之间的时段，以使得统计的结果更具有实时性。
在一些实施例中，将预设的历史时间段内所缓存的写操作涉及的数据块作为待统计数据块，统计每个待统计数据块的被写入次数、以及存在两次以上写操作(即写操作的次数≥2)的待统计数据块的一个或多个写操作的时间间隔；根据所有待统计数据块涉及的一个或多个写操作的时间间隔，确定预设的历史时间段内所有待统计数据块的写操作的平均时间间隔。
不同的数据块可以通过数据块的编号等标识进行区分。在历史缓存信息中，可以存储有历史缓存的数据块的编号、以及数据块所涉及的写操作的开始时间和结束时间。
在一些实施例中，可以采用以下方式统计每个待统计数据块的被写入次数、以及存在两次以上写操作的待统计数据块的写操作的时间间隔：获取待统计数据块的标识、以及写操作的开始时间和结束时间；统计每个待统计数据块的写操作开始时间和结束时间，确定每个待统计数据块被写入次数；对于存在两次以上写操作的待统计数据块，根据每个待统计数据块的相邻两次写操作中，前一个写操作的结束时间与后一个写操作的开始时间的间隔，确定每个待统计数据块涉及的一个或多个写操作的时间间隔。
例如，可以采用公式(1)计算写操作的平均时间间隔ITV。
Figure BDA0002323864820000061
在公式(1)中，m表示存在两次以上写操作的数据块的标识，first表示首个数据块的标识，last表示最后一个数据块的标识；Nm表示数据块m的写操作次数；TI′m表示数据块m的写操作的平均时间间隔。
对于每个存在两次以上写操作的数据块m，其写操作的平均时间间隔TI′的计算方式可以参考公式(2)。
Figure BDA0002323864820000062
在公式(2)中，N表示该数据块的写操作次数；TIn表示该数据块的第n次和第n+1次写操作的时间间隔。
在步骤S104中，根据写操作的平均时间间隔确定上传延迟时间。
在一些实施例中，将写操作平均时间间隔与预设系数的乘积确定为上传延迟时间，其中，预设系数大于1。
例如，可以采用公式(3)计算上传延迟时间DT。
DT＝k*ITV (3)
在公式(3)中，k表示预设系数，其值可以略大于1，例如在1到1.5之间；ITV表示写操作的平均时间间隔。
在步骤S106中，响应于用户进行写操作，根据上传延迟时间，缓存并延迟上传用户的写操作涉及的数据块。
在一些实施例中，响应于用户进行写操作，在用户的写操作结束后将涉及的数据块缓存，并在上传延迟时间后上传用户的写操作涉及的数据块。
例如，设上传延迟时间为10s用户在12:00:01完成数据块A的写操作后，现将数据块A缓存10s。如果直到12:00:11时，数据块A都没有再次被写入，则将数据块A上传；如果在12:00:06时用户再次对数据块A完成写操作，则缓存更新后的数据块A，直到12:00:16时若数据块A没有再次被写入，则将缓存的、12:00:06更新的数据块A上传。
历史发生的写操作的时间间隔可以反映用户进行数据写入的特点。通过采用写操作的平均时间间隔确定上传延迟时间，可以尽量等待用户对数据块的连续多次写操作完成后再上传最终更新的数据块。从而，在提升数据上传的效率的同时，尽量提高数据的同步程度，进而提升了网络传输性能、缓存空间可用性、用户数据安全性。
下面参考图2描述本发明数据上传装置的实施例。
图2示出了根据本发明一些实施例的数据上传装置的结构示意图。如图2所示，该实施例的数据上传装置200包括：统计模块2100，被配置为统计预设的历史时间段内，写操作的平均时间间隔；确定模块2200，被配置为根据写操作的平均时间间隔确定上传延迟时间；延迟上传模块2300，被配置为响应于用户进行写操作，根据上传延迟时间，缓存并延迟上传用户的写操作涉及的数据块。
在一些实施例中，统计模块2100进一步被配置为统计当前时刻到距离当前时刻预设时长的历史时刻之间的时段内，写操作的平均时间间隔。
在一些实施例中，延迟上传模块2300进一步被配置为响应于用户进行写操作，在用户的写操作结束后将涉及的数据块缓存，并在上传延迟时间后上传用户的写操作涉及的数据块。
在一些实施例中，统计模块2100进一步被配置为将预设的历史时间段内所缓存的写操作涉及的数据块作为待统计数据块，统计每个待统计数据块的被写入次数、以及存在两次以上写操作的待统计数据块的一个或多个写操作的时间间隔；根据所有待统计数据块涉及的一个或多个写操作的时间间隔，确定预设的历史时间段内所有待统计数据块的写操作的平均时间间隔。
在一些实施例中，统计模块2100进一步被配置为获取待统计数据块的标识、以及写操作的开始时间和结束时间；统计每个待统计数据块的写操作开始时间和结束时间，确定每个待统计数据块被写入次数；对于存在两次以上写操作的待统计数据块，根据每个待统计数据块的相邻两次写操作中，前一个写操作的结束时间与后一个写操作的开始时间的间隔，确定每个待统计数据块涉及的一个或多个写操作的时间间隔。
在一些实施例中，确定模块2200，被配置为将写操作平均时间间隔与预设系数的乘积确定为上传延迟时间，预设系数大于1。
上述实施例描述的数据上传装置可以在云存储网关中实现。图3示出了根据本发明一些实施例的云存储网关的结构示意图。如图3所示，该实施例的云存储网关30包括：数据上传装置310，其具体实施方式可以参考图2实施例的数据上传装置200；写操作接口320，被配置为获取来自用户系统的写操作；网络侧接口330，被配置为响应于用户的写操作，从云端下载已备份的、用户的写操作涉及的数据块，并将数据上传装置发送的欲上传的数据块发送给云端进行备份；以及，存储装置340，云存储网关30将存储装置340发布为虚拟磁盘，虚拟磁盘包括多个数据块，用户向虚拟磁盘写入的每个文件分布在一个或多个数据块中存储。
云存储网关可以桥接于用户系统与云端存储设备之间，通过磁盘虚拟化及数据缓存等技术，将网关存储装置的一个固定大小的文件虚拟化为一个虚拟块设备、并加载文件系统，向用户系统提供多种存储协议和统一的访问接口，完成虚拟磁盘的发布。用户系统通过网络挂载使用云存储网关发布的虚拟磁盘。网关设置固定大小的数据块，将虚拟磁盘切割成若干个大小相同的数据块，并将所有数据块同步上传到云端存储设备，实现用户系统挂载使用的虚拟磁盘的云端备份。
图4示出了根据本发明一些实施例的云存储系统的结构示意图。如图4所示，该实施例的云存储系统40包括：云存储网关41；以及云端存储设备42，被配置为对云存储网关41上传的数据块进行存储。
在一些实施例中，云存储系统40还包括用户系统43，被配置为通过网络挂载使用云存储网关发布的虚拟磁盘。
下面结合一个实例来描述数据块的上传过程。
云存储网关使用网关的存储装置发布1TB大小的虚拟磁盘。网关设置虚拟磁盘的数据块大小为4MB，将1TB的虚拟磁盘切割成262144个4MB大小相同的数据块。用户通过网络挂载并使用这个虚拟磁盘，并向虚拟磁盘持续写入文件。云存储网关从云端下载旧数据块，旧数据块保存在云存储网关的缓存层中，旧数据块被网关进行写操作后形成新数据块。
设置当前时刻的时间戳是1561910700，设置统计历史时间段的预设时长T＝300s。当前时刻到距离当前时刻预设时长的历史时刻之间的时段为时间戳1561910400～时间戳1561910700。记录时间戳1561910400～时间戳1561910700共300s内每个被写数据块的唯一块编号M以及所有写入操作的开始时间戳TS和结束时间戳TE。基于每个被写数据块M每次写入的开始时间戳TS和结束时间戳TE，统计每个被写数据块的写入次数N。基于每个被写数据块M每次写入的结束时间戳和下次写入的开始时间戳，计算得到每个数据块M所有写入操作的时间间隔TI。基于每个数据块M的写入次数N和写入操作的时间间隔TI，计算T＝300s内每个被写数据块M写入操作的平均时间间隔TI'。
表1为这些记录的数据和计算结果的示意。
表1
Figure BDA0002323864820000091
Figure BDA0002323864820000101
然后，例如可以利用公式(1)计算所有被写数据块的写入平均时间间隔ITV＝14.240s。再利用公式(3)，设k值为1.1，得到上传延迟时间DT＝k*ITV＝1.1*14.240s＝15.664s。
从而，当云存储网关再次获得对数据块的写操作时，将完成写操作的数据块缓存15.664s后再上传。
图5示出了根据本发明另一些实施例的数据上传装置的结构示意图。如图5所示，该实施例的数据上传装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行前述任意一个实施例中的数据上传方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图6示出了根据本发明又一些实施例的数据上传装置的结构示意图。如图6所示，该实施例的数据上传装置60包括：存储器610以及处理器620，还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种数据上传方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据上传方法，包括：
统计预设的历史时间段内，写操作的平均时间间隔；
根据所述写操作的平均时间间隔确定上传延迟时间；
响应于用户进行写操作，根据所述上传延迟时间，缓存并延迟上传用户的写操作涉及的数据块。
2.根据权利要求1所述的数据上传方法，其中，统计当前时刻到距离当前时刻预设时长的历史时刻之间的时段内，写操作的平均时间间隔。
3.根据权利要求1所述的数据上传方法，其中，响应于用户进行写操作，在用户的写操作结束后将涉及的数据块缓存，并在所述上传延迟时间后上传用户的写操作涉及的数据块。
4.根据权利要求1所述的数据上传方法，其中，所述统计预设的历史时间段内，写操作的平均时间间隔包括：
将预设的历史时间段内所缓存的写操作涉及的数据块作为待统计数据块，统计每个待统计数据块的被写入次数、以及存在两次以上写操作的待统计数据块的一个或多个写操作的时间间隔；
根据所有待统计数据块涉及的一个或多个写操作的时间间隔，确定所述预设的历史时间段内所有待统计数据块的写操作的平均时间间隔。
5.根据权利要求4所述的数据上传方法，其中，所述统计每个待统计数据块的被写入次数、以及存在两次以上写操作的待统计数据块的一个或多个写操作的时间间隔包括：
获取所述待统计数据块的标识、以及写操作的开始时间和结束时间；
统计每个待统计数据块的写操作开始时间和结束时间，确定每个待统计数据块被写入次数；
对于存在两次以上写操作的待统计数据块，根据每个待统计数据块的相邻两次写操作中，前一个写操作的结束时间与后一个写操作的开始时间的间隔，确定每个待统计数据块涉及的一个或多个写操作的时间间隔。
6.根据权利要求4或5所述的数据上传方法，其中，所述根据所述写操作的平均时间间隔确定上传延迟时间包括：
将所述写操作平均时间间隔与预设系数的乘积确定为上传延迟时间，其中，所述预设系数大于1。
7.一种数据上传装置，包括：
统计模块，被配置为统计预设的历史时间段内，写操作的平均时间间隔；
确定模块，被配置为根据所述写操作的平均时间间隔确定上传延迟时间；
延迟上传模块，被配置为响应于用户进行写操作，根据所述上传延迟时间，缓存并延迟上传所述用户的写操作涉及的数据块。
8.一种云存储网关，包括：
权利要求7所述的数据上传装置；
写操作接口，被配置为获取来自用户系统的写操作；
网络侧接口，被配置为响应于用户的写操作，从云端下载已备份的、所述用户的写操作涉及的数据块；将所述数据上传装置发送的欲上传的数据块发送给云端进行备份；以及
存储装置，所述云存储网关将所述存储装置发布为虚拟磁盘，所述虚拟磁盘包括多个数据块，用户向所述虚拟磁盘写入的每个文件分布在一个或多个数据块中存储。
9.一种云存储系统，包括：
权利要求8所述的云存储网关；以及
云端存储设备，被配置为对云存储网关上传的数据块进行存储。
10.根据权利要求9所述的云存储系统，还包括：
用户系统，被配置为通过网络挂载使用所述云存储网关发布的虚拟磁盘。
11.一种数据上传装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～5中任一项所述的数据上传方法。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～5中任一项所述的数据上传方法。
CN201911308550.9A 2019-12-18 2019-12-18 数据上传方法和装置、云存储网关和系统以及存储介质 Active CN112988039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911308550.9A CN112988039B (zh) 2019-12-18 2019-12-18 数据上传方法和装置、云存储网关和系统以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911308550.9A CN112988039B (zh) 2019-12-18 2019-12-18 数据上传方法和装置、云存储网关和系统以及存储介质

Publications (2)

Publication Number Publication Date
CN112988039A true CN112988039A (zh) 2021-06-18
CN112988039B CN112988039B (zh) 2024-01-30

Family

ID=76343839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911308550.9A Active CN112988039B (zh) 2019-12-18 2019-12-18 数据上传方法和装置、云存储网关和系统以及存储介质

Country Status (1)

Country Link
CN (1) CN112988039B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709593A (zh) * 2021-07-21 2021-11-26 深圳市敏泰智能科技有限公司 NB-Iot智能水表错峰上传数据的方法、系统和NB-Iot智能水表
CN115840541A (zh) * 2023-02-23 2023-03-24 成都体育学院 一种运动数据存储方法、系统和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储系统的数据缓存方法
CN102455969A (zh) * 2010-12-15 2012-05-16 中标软件有限公司 一种Linux串口通信日志记录的方法
CN103853671A (zh) * 2012-12-07 2014-06-11 北京百度网讯科技有限公司 一种数据写入控制方法及装置
CN105511738A (zh) * 2016-01-26 2016-04-20 努比亚技术有限公司 一种调整图像处理菜单的装置和方法
CN106656822A (zh) * 2017-02-13 2017-05-10 北京邮电大学 一种软件定义网络流表更新的方法及装置
CN108959407A (zh) * 2018-06-06 2018-12-07 深圳市远行科技股份有限公司 数据的强一致性写入方法及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储系统的数据缓存方法
CN102455969A (zh) * 2010-12-15 2012-05-16 中标软件有限公司 一种Linux串口通信日志记录的方法
CN103853671A (zh) * 2012-12-07 2014-06-11 北京百度网讯科技有限公司 一种数据写入控制方法及装置
CN105511738A (zh) * 2016-01-26 2016-04-20 努比亚技术有限公司 一种调整图像处理菜单的装置和方法
CN106656822A (zh) * 2017-02-13 2017-05-10 北京邮电大学 一种软件定义网络流表更新的方法及装置
CN108959407A (zh) * 2018-06-06 2018-12-07 深圳市远行科技股份有限公司 数据的强一致性写入方法及终端设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709593A (zh) * 2021-07-21 2021-11-26 深圳市敏泰智能科技有限公司 NB-Iot智能水表错峰上传数据的方法、系统和NB-Iot智能水表
CN113709593B (zh) * 2021-07-21 2024-05-10 深圳市敏泰智能科技有限公司 NB-Iot智能水表错峰上传数据的方法、系统和NB-Iot智能水表
CN115840541A (zh) * 2023-02-23 2023-03-24 成都体育学院 一种运动数据存储方法、系统和介质
CN115840541B (zh) * 2023-02-23 2023-06-13 成都体育学院 一种运动数据存储方法、系统和介质

Also Published As

Publication number Publication date
CN112988039B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US20220413705A1 (en) Resource Monitoring in a Distributed Storage System
US8874532B2 (en) Managing dereferenced chunks in a deduplication system
JP5459325B2 (ja) キャッシュ装置、キャッシュプログラム、及び通信装置
US10204147B2 (en) System for capture, analysis and storage of time series data from sensors with heterogeneous report interval profiles
US9910742B1 (en) System comprising front-end and back-end storage tiers, data mover modules and associated metadata warehouse
WO2009121797A1 (en) Using priority to determine whether to queue an input/output (i/o) request directed to storage
KR102316397B1 (ko) 추가-전용-파일 재기입들을 제어하기 위한 방법들, 시스템들 및 매체들
CN112988039B (zh) 数据上传方法和装置、云存储网关和系统以及存储介质
CN111447248A (zh) 一种文件传输的方法及装置
CN109951662B (zh) 录像备份方法及系统
US20220012103A1 (en) System and method for optimization and load balancing of computer clusters
WO2020031184A1 (en) Data migration methods and system
US11635994B2 (en) System and method for optimizing and load balancing of applications using distributed computer clusters
JP6966432B2 (ja) クラウドファイル処理方法および装置
US11914894B2 (en) Using scheduling tags in host compute commands to manage host compute task execution by a storage device in a storage system
CN107180051B (zh) 一种日志管理方法、服务器
CN108984121B (zh) 保障请求优先级的方法、装置及计算机设备
CN106775846A (zh) 用于物理服务器的在线迁移的方法及装置
CN112181662B (zh) 任务调度方法、装置、电子设备及存储介质
JP6378289B2 (ja) データベースにおいてホットページを決定するための方法および装置
WO2019126720A1 (en) A system and method for optimization and load balancing of computer clusters
CN108664525B (zh) 用于数据处理服务器的数据处理方法和装置
JP5997668B2 (ja) データ分割制御装置
CN116095066A (zh) 一种防止媒体处理系统重复下载的方法、装置及存储介质
CN115113825A (zh) 一种性能数据获取方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant