CN110007862A - 基于网络存储设备的混合云存储系统及其数据处理方法 - Google Patents
基于网络存储设备的混合云存储系统及其数据处理方法 Download PDFInfo
- Publication number
- CN110007862A CN110007862A CN201910258170.2A CN201910258170A CN110007862A CN 110007862 A CN110007862 A CN 110007862A CN 201910258170 A CN201910258170 A CN 201910258170A CN 110007862 A CN110007862 A CN 110007862A
- Authority
- CN
- China
- Prior art keywords
- file
- cloud storage
- network
- storage equipment
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 245
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000003542 behavioural effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000013475 authorization Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开一种基于网络存储设备的混合云存储系统及其数据处理方法，所述系统包括云存储端、网络存储设备端和客户端；所述云存储端备份所述网络存储设备端的文件，所述客户端优先从所述网络存储设备端下载文件；所述客户端，用于收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端；所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数；所述云存储端，用于根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备中。本申请提供的基于网络存储设备的混合云存储系统能够解决现有的混合云架构中的各种问题。
Description
技术领域
本申请涉及数据处理领域，具体涉及一种基于网络存储设备的混合云存储系统及其数据处理方法。
背景技术
网络的普及和数字时代的来临，使得信息呈现出爆炸式增长的趋势，全球数据量的级别已经达到ZB级别，这使得云存储技术诞生。
云存储(Cloud Storage)是在云计算(cloud computing)概念上延伸和发展出来的新概念和新兴的网络存储技术，是指通过集群、网络、分布式文件系统等技术，将网络中不同类型的存储设备通过应用软件集合起来协同工作，对外提供数据存储和业务访问功能的系统。云存储使用者可以在任何时间、任何地方，通过任何可连网并安装云存储应用的装置，方便地访问云存储空间和存取数据。云存储根据云的建设地点和服务对象不同，可以分为公有云存储、私有云存储和混合云存储。
公有云通常指第三方供应商提供用户使用的云，可通过网络使用，使客户能够访问和共享基本的计算机基础设施，其中包括计算、存储和带宽等资源。公有云的存储系统一般可以选择块存储、对象存储和文件系统存储三种类型。客户只需为他们使用的公有云资源支付费用。此外，客户无需担心自己安装和维护的问题。但公有云存在以下缺点：第一、客户出于数据安全性的考虑，一般不愿将重要数据存放在公共云端；第二、在线流量峰值期间可能会发生网络问题和文件访问慢等问题；第三、虽然公共云模型通过提供按需付费的定价方式通常具有成本效益，但在大量数据传输时，其带宽费用会迅速增加；第四、公有云的存储系统如采用文件存储类型，有大量数据需要存储时成本较高，采用对象存储类型成本较低，但文件操作受限。
私有云是为某个客户单独使用而构建的，能够提供对数据、安全性和服务质量有效控制。客户拥有私有云的基础设施，可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所。相比公有云，私有云可以避免客户的数据安全性顾虑、通常具有文件传输速度优势、大量数据传输时具有成本优势。但私有云存在以下缺点：第一、安装成本很高；第二、配置资源弹性较差；第三、客户从远程位置访问体验较差，如离线和访问速度慢等问题。
混合云是公有云和私有云两种服务方式的结合。综合公有云和私有云各自的优势，混合云可以将公有云作为灾难转移、私有云数据备份、云端数据处理、远程数据访问的平台，将私有云作为热数据存储、安全和控制数据存储的平台。此外，客户可以灵活配置混合云资源，使混合云具有成本效益。但目前的混合云存在以下缺点：第一、主要面向的客户是企业，私有云由服务器构建，构建复杂、成本高、不支持多种客户端，无法满足个人用户的需求；第二、冷热数据判断维度单一，一般只能根据访问频次判断热点权重；第三、公有云和私有云文件传输时未考虑通道选择等，不能提升用户的文件传输速率体验。
综述，目前亟需一种能够解决上述问题的存储系统。
发明内容
有鉴于此，本发明提供了一种基于网络存储设备的混合云存储系统及其数据处理方法。
第一方面，本发明提供一种基于网络存储设备的混合云存储系统，所述系统包括云存储端、网络存储设备端和客户端；所述云存储端备份所述网络存储设备端的文件，所述客户端优先从所述网络存储设备端下载文件；
所述客户端，用于收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端；所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数；
所述云存储端，用于根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备中。
一种可选的实施方式中，所述云存储端包括ECS(Elastic Compute Service，弹性计算服务)，OTS(Open Table Service，表格服务)、OSS(Open Store Service，对象存储服务)和FC(Function Compute，函数计算)；所述ECS，用于以虚拟机的方式将一台物理机分成多台云服务器，提供可伸缩的计算服务；
所述OTS，用于提供海量数据存储功能和实时查询服务；
所述OSS，用于提供各个文件的对象存储服务；
所述FC，用于提供事件驱动的全托管计算服务。
一种可选的实施方式中，所述ECS，具体用于根据各个文件的访问参数，计算各个文件的热点权重，将热点权重高于预设阈值的文件作为热数据，并通知所述网络存储设备从所述云存储端下载所述热数据。
一种可选的实施方式中，所述ECS，还用于将热点权重低于所述预设阈值的文件作为冷数据，并通知所述网络存储设备删除本地存储的所述冷数据。
一种可选的实施方式中，所述FC，具体用于对存储于所述云存储端的文件进行去重和压缩处理。
一种可选的实施方式中，所述系统采用文件的三级缓存结构；
所述客户端，用于提供文件的一级缓存；
所述网络存储设备端，用于提供文件的二级缓存；
所述云存储端，用于提供文件的三级缓存；
其中，所述一级缓存的优先级高于所述二级缓存，所述二级缓存的优先级高于所述三级缓存。
一种可选的实施方式中，所述客户端，用于利用双通道同时向所述网络存储设备端和所述云存储端上传文件。
一种可选的实施方式中，所述客户端，用于根据局域网和移动网的文件传输速率、文件传输稳定度和文件传输成本确定文件下载路径；所述文件下载路径用于从所述网络存储设备端或所述云存储端下载文件。
一种可选的实施方式中，所述访问参数包括访问频次、最近访问时间、文件创建时间以及和热点文件表的关联度。
一种可选的实施方式中，所述云存储端中的文件索引采用双字段，所述双字段用于描述文件的上传源头。
第二方面，本申请还提供了一种基于网络存储设备的混合云存储系统中的数据处理方法，所述系统包括云存储端、网络存储设备端和客户端；所述云存储端备份所述网络存储设备端的文件，所述客户端优先从所述网络存储设备端下载文件；所述方法包括：
所述客户端收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端；所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数；
所述云存储端根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备中。
一种可选的实施方式中，所述方法还包括：
所述云存储端将热点权重低于所述预设阈值的文件作为冷数据，并通知所述网络存储设备删除本地存储的所述冷数据。
本申请的混合云存储系统采用网络存储设备端，能够提高存储节点的分布度，由于网络存储设备端距离移动设备和传感器等数据源更近，所以大大缩短了数据插传输的端到端时延。
另外，云存储端通过冷热数据算法确定出热数据，并缓存于网络存储设备中，以便客户端用户能够及时获取到想要的数据，同时在网络存储设备中尽可能的存储热数据，一定程度上能够节约存储空间。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于网络存储设备的混合云存储系统的架构图；
图2为本申请实施例提供的一种基于网络存储设备的混合云存储系统中的数据处理方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种基于网络存储设备的混合云存储系统，包括云存储端、网络存储设备端和客户端。本申请的混合云存储系统采用网络存储设备(英文：Network AttachedStorage；简称：NAS)端，能够提高存储节点的分布度，由于网络存储设备端距离移动设备和传感器等数据源更近，所以大大缩短了数据插传输的端到端时延。
具体的，云存储端用于备份网络存储设备端的文件，客户端优先从网络存储设备端下载文件，只有在网络存储设备端未存储要下载的文件时才会从云存储端下载该文件。
另外，参考图1，为本发明实施例提供的一种基于网络存储设备的混合云存储系统的架构图，该基于网络存储设备的混合云存储系统包括云存储端110、网络存储设备端100和客户端120。
其中，所述客户端120，用于收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端110；所述数据访问行为信息包括所述客户端130分别对所述云存储端110和所述网络存储设备端100中存储的文件的访问参数；
所述云存储端110，用于根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备100中。
本申请实施例中，云存储端通过冷热数据算法确定出热数据，并缓存于网络存储设备中，以便客户端用户能够及时获取到想要的数据，同时在网络存储设备中尽可能的存储热数据，一定程度上能够节约存储空间。
本申请实施例提供的云存储端可以包括ECS(Elastic Compute Service，弹性计算服务)，OTS(Open Table Service，表格服务)、OSS(Object Storage Service，对象存储服务)和FC(Function Compute，函数计算)；
具体的，所述ECS，用于以虚拟机的方式将一台物理机分成多台云服务器，提供可伸缩的计算服务；
所述OTS，用于提供海量数据存储功能和实时查询服务；
所述OSS，用于提供各个文件的对象存储服务；
所述FC，用于提供事件驱动的全托管计算服务。
实际应用中，ECS用于提供业务服务，包括用户服务、文件服务、系统服务和中继服务等，并根据客户端上报的数据访问行为信息执行冷热数据判断算法，通知网络存储设备端下载热数据和删除冷数据，以便网络存储设备端只存储热数据，冷数据在网络存储设备删除。一种可选的实施方式中，热数据可以在闲时由网络存储设备从云存储端OSS下载。
在本申请实施例中，所述ECS，具体用于根据各个文件的访问参数，计算各个文件的热点权重，将热点权重高于预设阈值的文件作为热数据，并通知所述网络存储设备从所述云存储端下载所述热数据。所述ECS，还用于将热点权重低于所述预设阈值的文件作为冷数据，并通知所述网络存储设备删除本地存储的所述冷数据。
其中，访问参数包括访问频次、最近访问时间、文件创建时间以及和热点文件表的关联度，ECS根据各个文件的访问频次、最近访问时间、文件创建时间以及和热点文件表的关联度，计算各个文件的热点权重，具体方式不做限定。
实际应用中，OSS用于提供文件的对象存储服务，OSS的STS(Security TokenService)临时授权管理系统在不暴露主账号秘钥的情况下安全的授权非主账号访问。
实际应用中，OTS用于存放网络存储设备的用户信息和图片、视频、文件等的元数据信息，OTS的备份机制可以保障这些数据的安全性、OTS的弹性资源可以支持低延时要求和高并发的请求。
实际应用中，FC用于运行针对OSS和OTS的基于去重和压缩算法的代码，提供对象存储的去重和压缩服务，具体用于对存储于所述云存储端的文件进行去重和压缩处理。
另外，为了确保客户端用户的文件访问体验，本申请实施例提供的基于网络存储设备的混合云存储系统采用三级缓存结构，具体的，一级缓存为客户端、二级缓存为网络存储设备端、三级缓存为云存储端，利用三级缓存结构确保了用户访问文件的体验。
实际应用中，客户端，用于提供文件的一级缓存；网络存储设备端，用于提供文件的二级缓存；云存储端，用于提供文件的三级缓存；其中，所述一级缓存的优先级高于所述二级缓存，所述二级缓存的优先级高于所述三级缓存。也就是说，客户端用户优先访问一级缓存，在一级缓存中未访问到时继续访问二级缓存，在二级缓存中也未访问到时继续访问三级缓存，直到访问到需要的文件为止。
一种可选的实施例中，客户端可以利用双通道同时向网络存储设备端和云存储端上传文件，完成数据的快速同步。对于文件下载，客户端可以根据局域网和移动网的文件传输速率、文件传输稳定度和文件传输成本确定文件下载路径，文件下载路径用于从所述网络存储设备端或所述云存储端下载文件。
具体的，局域网的文件传输速率、文件传输稳定度和文件传输成本综合条件优于移动网时，可以选择从云存储端下载文件，否则从网络存储设备端下载文件。
实际应用中，客户端与云存储端的业务服务器绑定后，获得对网络存储设备的访问权限，同时通过STS服务获得对云存储端的OSS的访问权限。客户端可以利用双通道文件传输技术同时上传文件至网络存储设备和云存储端，另外，客户端下载文件时可以根据SDK提供的通道选择算法选择合适的下载通道或双通道同时进行文件传输。值得注意的是，客户端发起的文件传输可能造成文件索引信息变化，由客户端负责上报至云存储端。
本申请实施例中的客户端是指与混合云相对应，为客户提供本地服务的程序。客户端的本地服务构建在统一的混合云SDK(Software Development Kit)基础之上。其中，混合云SDK包括用户接口、文件接口和系统接口等。
具体的，混合云SDK的用户接口用于用户登陆网络存储设备、用户和网络存储设备绑定/解绑、用户信息更新等；
混合云SDK的文件接口用于对客户端本地、云存储端、网络存储设备端的文件进行获取文件列表、搜索文件、删除文件、新建文件夹、复制文件、重命名文件、移动文件、分享文件等操作；对客户端本地存储的文件进行上传至云存储端或网络存储设备端的操作，或对云存储端和网络存储设备端存储的文件进行下载至客户端的操作，生成客户端本地文件的索引并上报至云存储端，所述文件接口支持冷热数据访问行为上报、文件传输通道选择、文件传输断点续传功能；非客户端存储的文件存储在云存储端还是网络存储设备端，对客户端用户不透明；
混合云SDK的系统接口用于重启、关闭网络存储设备，系统升级等。
在上述基于网络存储设备的混合云存储系统的基础上，参考图2，为本申请还提供了一种基于网络存储设备的混合云存储系统中的数据处理方法的流程图，具体的，所述方法包括：
S201：所述客户端收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端；所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数。
S202：所述云存储端根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备中。
另外，云存储端将热点权重低于所述预设阈值的文件作为冷数据，并通知所述网络存储设备删除本地存储的所述冷数据。
实际应用中，基于上述混合云存储系统，本申请实施例还提供了一种数据处理方法，该方法包括：
步骤1，客户端在云存储端的ECS业务服务器上与网络存储设备绑定，完成注册、初始化等操作。
步骤2，客户端向ECS业务服务器发起对OSS的访问业务请求，合法请求取得STS临时授权，获得对OSS的访问权限。
步骤3，如果客户端发起文件上传业务，在文件上传至云存储端或网络存储设备端之前，预先将准备上传文件的索引信息上报至云存储端。
步骤4，客户端将准备上传文件的索引信息上报至云存储端后，将根据通道选择算法选择合适的文件上传通道，或者直接将文件上传至云存储端的OSS，或者将文件上传至网络存储设备；
步骤5，客户端上传至网络存储设备的文件可以由网络存储设备在闲时同步至云存储端的OSS，云存储端OTS将记录上传文件的双字段索引，表示文件的上传源头来自客户端还是网络存储设备。
步骤6，如果客户端发起文件下载或查看业务，优先从网络存储设备端拉取拟下载文件，如果无法拉取，将从云存储端拉取。
步骤7，客户端的SDK将用户访问网络存储设备端和云存储端文件的数据访问行为信息上报至云存储端，ECS执行冷热数据判断算法，并通知网络存储设备发起与云存储端的冷热数据交换，网络存储设备只存储热数据，冷数据在网络存储设备删除，热数据在闲时由网络存储设备从云存储端下载。
步骤8，云存储端的FC执行去重和压缩算法，对存储在OSS的文件进行去重和压缩，减少云存储端的存储空间。
值得注意的是，上述步骤的顺序不作为对其实际执行顺序的限制。
本申请实施例提供的基于网络存储设备的混合云存储系统的数据处理方法中，通过冷热数据交换算法的处理，能够将热数据存储于网络存储设备端，便于客户端用户对其访问，同时节约网络存储设备端的存储空间。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例所提供的一种基于网络存储设备的混合云存储系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种基于网络存储设备的混合云存储系统，其特征在于，所述系统包括云存储端、网络存储设备端和客户端；所述云存储端备份所述网络存储设备端的文件，所述客户端优先从所述网络存储设备端下载文件；
所述客户端，用于收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端；所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数；
所述云存储端，用于根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备中。
2.根据权利要求1所述的系统，其特征在于，所述云存储端包括ECS(Elastic ComputeService，弹性计算服务)，OTS(Open Table Service，表格服务)、OSS(Object StorageService，对象存储服务)和FC(Function Compute，函数计算)；所述ECS，用于以虚拟机的方式将一台物理机分成多台云服务器，提供可伸缩的计算服务；
所述OTS，用于提供海量数据存储功能和实时查询服务；
所述OSS，用于提供各个文件的对象存储服务；
所述FC，用于提供事件驱动的全托管计算服务。
3.根据权利要求2所述的系统，其特征在于，
所述ECS，具体用于根据各个文件的访问参数，计算各个文件的热点权重，将热点权重高于预设阈值的文件作为热数据，并通知所述网络存储设备从所述云存储端下载所述热数据。
4.根据权利要求3所述的系统，其特征在于，所述ECS，还用于将热点权重低于所述预设阈值的文件作为冷数据，并通知所述网络存储设备删除本地存储的所述冷数据。
5.根据权利要求2所述的系统，其特征在于，所述FC，具体用于对存储于所述云存储端的文件进行去重和压缩处理。
6.根据权利要求1所述的系统，其特征在于，所述系统采用文件的三级缓存结构；
所述客户端，用于提供文件的一级缓存；
所述网络存储设备端，用于提供文件的二级缓存；
所述云存储端，用于提供文件的三级缓存；
其中，所述一级缓存的优先级高于所述二级缓存，所述二级缓存的优先级高于所述三级缓存。
7.根据权利要求1所述的系统，其特征在于，
所述客户端，用于利用双通道同时向所述网络存储设备端和所述云存储端上传文件。
8.根据权利要求1所述的系统，其特征在于，所述客户端，用于根据局域网和移动网的文件传输速率、文件传输稳定度和文件传输成本确定文件下载路径；所述文件下载路径用于从所述网络存储设备端或所述云存储端下载文件。
9.根据权利要求1所述的系统，其特征在于，所述访问参数包括访问频次、最近访问时间、文件创建时间以及和热点文件表的关联度。
10.根据权利要求1所述的系统，其特征在于，所述云存储端中的文件索引采用双字段，所述双字段用于描述文件的上传源头。
11.一种基于网络存储设备的混合云存储系统中的数据处理方法，其特征在于，所述系统包括云存储端、网络存储设备端和客户端；所述云存储端备份所述网络存储设备端的文件，所述客户端优先从所述网络存储设备端下载文件；所述方法包括：
所述客户端收集数据访问行为信息，并将所述数据访问行为信息上报至所述云存储端；所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数；
所述云存储端根据各个文件的访问参数，计算各个文件的热点权重，并将热点权重高于预设阈值的文件作为热数据，缓存于所述网络存储设备中。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
所述云存储端将热点权重低于所述预设阈值的文件作为冷数据，并通知所述网络存储设备删除本地存储的所述冷数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910258170.2A CN110007862A (zh) | 2019-04-01 | 2019-04-01 | 基于网络存储设备的混合云存储系统及其数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910258170.2A CN110007862A (zh) | 2019-04-01 | 2019-04-01 | 基于网络存储设备的混合云存储系统及其数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110007862A true CN110007862A (zh) | 2019-07-12 |
Family
ID=67169279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910258170.2A Pending CN110007862A (zh) | 2019-04-01 | 2019-04-01 | 基于网络存储设备的混合云存储系统及其数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110007862A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110301207A (zh) * | 2019-08-01 | 2019-10-08 | 北京中农绿源工程技术有限公司 | 一种农业物联网技术在水肥一体化的应用 |
| CN110989937A (zh) * | 2019-12-06 | 2020-04-10 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
| CN112699093A (zh) * | 2021-01-25 | 2021-04-23 | 浪潮通用软件有限公司 | 一种支持混合多云的文件存储方法及设备 |
| CN113505385A (zh) * | 2021-07-26 | 2021-10-15 | 北京德昇科技有限公司 | 一种基于混合云存储的数据存储系统及方法 |
| CN114422600A (zh) * | 2021-12-31 | 2022-04-29 | 成都鲁易科技有限公司 | 基于云存储的文件调度系统及基于云存储的文件调度方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100117903A1 (en) * | 2008-11-12 | 2010-05-13 | Dunmin Zheng | Iterative antenna beam forming systems/methods |
| CN105892947A (zh) * | 2016-03-31 | 2016-08-24 | 华中科技大学 | 一种节能存储系统的ssd与hdd混合缓存管理方法及系统 |
| CN107172168A (zh) * | 2017-05-27 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种混合云存储数据迁移方法及系统 |
| CN107908360A (zh) * | 2017-11-09 | 2018-04-13 | 郑州云海信息技术有限公司 | 一种基于混合云存储的数据存储系统及数据存储方法 |
-
2019
- 2019-04-01 CN CN201910258170.2A patent/CN110007862A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100117903A1 (en) * | 2008-11-12 | 2010-05-13 | Dunmin Zheng | Iterative antenna beam forming systems/methods |
| CN105892947A (zh) * | 2016-03-31 | 2016-08-24 | 华中科技大学 | 一种节能存储系统的ssd与hdd混合缓存管理方法及系统 |
| CN107172168A (zh) * | 2017-05-27 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种混合云存储数据迁移方法及系统 |
| CN107908360A (zh) * | 2017-11-09 | 2018-04-13 | 郑州云海信息技术有限公司 | 一种基于混合云存储的数据存储系统及数据存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王小虎, 吉林大学出版社 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110301207A (zh) * | 2019-08-01 | 2019-10-08 | 北京中农绿源工程技术有限公司 | 一种农业物联网技术在水肥一体化的应用 |
| CN110989937A (zh) * | 2019-12-06 | 2020-04-10 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
| CN110989937B (zh) * | 2019-12-06 | 2022-07-08 | 浪潮电子信息产业股份有限公司 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
| CN112699093A (zh) * | 2021-01-25 | 2021-04-23 | 浪潮通用软件有限公司 | 一种支持混合多云的文件存储方法及设备 |
| CN113505385A (zh) * | 2021-07-26 | 2021-10-15 | 北京德昇科技有限公司 | 一种基于混合云存储的数据存储系统及方法 |
| CN114422600A (zh) * | 2021-12-31 | 2022-04-29 | 成都鲁易科技有限公司 | 基于云存储的文件调度系统及基于云存储的文件调度方法 |
| CN114422600B (zh) * | 2021-12-31 | 2023-11-07 | 成都鲁易科技有限公司 | 基于云存储的文件调度系统及基于云存储的文件调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110007862A (zh) | 基于网络存储设备的混合云存储系统及其数据处理方法 | |
| CN110737442B (zh) | 一种边缘应用管理方法及系统 | |
| US11216418B2 (en) | Method for seamless access to a cloud storage system by an endpoint device using metadata | |
| CN106294585B (zh) | 一种云计算平台下的存储方法 | |
| CN105025084B (zh) | 一种基于同步代理和混合存储的云存储系统 | |
| CN102984280B (zh) | 针对社交类云存储网络应用的数据备份系统和方法 | |
| CN104917843B (zh) | 云存储与医疗图像无缝对接系统 | |
| US11038959B2 (en) | State management and object storage in a distributed cloud computing network | |
| CN107888666B (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
| US9811534B2 (en) | File server, information system, and control method thereof | |
| CN106095957B (zh) | 分布式文件系统的跨域多副本文件同步方法及装置 | |
| CN102420863B (zh) | 一种快速分发文件系统和方法及装置 | |
| Rajalakshmi et al. | An improved dynamic data replica selection and placement in cloud | |
| JP2015035020A (ja) | ストレージシステム、ストレージ制御装置及び制御プログラム | |
| CN110457307A (zh) | 元数据管理系统、用户集群创建方法、装置、设备和介质 | |
| US11086557B2 (en) | Continuous asynchronous replication from on-premises storage to cloud object stores | |
| CN110471897B (zh) | 文件管理方法及装置 | |
| Andriani et al. | An architecture for synchronising cloud file storage and organisation repositories | |
| Branco et al. | Managing very-large distributed datasets | |
| KR100751075B1 (ko) | Ｎａｓ 상에서 병렬 전송 기술을 이용한 원격 미러링시스템 | |
| CN118349165A (zh) | 微电网的数据存储方法及相关设备 | |
| Wang et al. | PROXY: A high cost-performance cloud storage gateway | |
| Tierney et al. | Data grids and data grid performance issues | |
| Mullender et al. | Pepys–the network is a file system | |
| Song | Research of Distributed Cache Technology Based on Cloud Computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190712 |
|
| RJ01 | Rejection of invention patent application after publication |