CN115242817A - 数据访问处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供一种数据访问处理方法、装置、设备和存储介质，该方法包括：响应于第一终端的文件存储请求，第一云存储网关设备解析文件存储请求得到文件元数据和文件数据；第一云存储网关设备将文件元数据存储至本地缓存资源，第一云存储网关设备切分文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端，其中，第一云存储网关设备为第一终端所处地理区域内的网关设备；第二云存储网关设备为第二终端所处地理区域内的网关设备。

Description

数据访问处理方法、装置、设备和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据访问处理方法、装置、设备和存储介质。

背景技术

随着近年来云计算和远程办公技术的发展，企业的员工可能遍布全球各地，采用更加灵活的办公场所，同时，各地员工之间需要共享大量的文件。大部分企业选择将数据存储在云计算厂商的互联网数据中心IDC机房进行集中管理。例如，目前一般是通过将云存储网关部署在客户维护的IDC机房中，通过专线网络访问远程的对象存储接口以存储资源。

但是，云存储网关一般需要部署在企业级的IDC机房中，包括专用的风火水电资源，并且需要裸金属架构的虚拟化套件VMware ESXi，系统管理程序虚拟化Hyper-V等企业级虚拟化套件的支持，引入大量的软硬件以及场地成本，无法满足用户对灵活的办公场所诉求；另外，云存储网关对应的云上存储需要绑定单一云厂商，存在数据的区域局限性，例如，某一区域的云厂商在另一区域的可用区覆盖较少，数据同步效率低。

发明内容

本发明实施例提供一种数据访问处理方法、装置、设备和存储介质，提供部署灵活的边缘云存储网关服务，以满足用户的数据访问需求。

第一方面，本发明实施例提供一种数据访问处理方法，包括位于边缘云的云存储网关，云存储网关与其他边缘云的云存储网关及远程云存储资源连接，方法包括：

响应于第一终端的文件存储请求，第一云存储网关设备解析文件存储请求得到文件元数据和文件数据；

第一云存储网关设备将文件元数据存储至本地缓存资源，第一云存储网关设备切分文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端，其中，第一云存储网关设备为第一终端所处地理区域内的网关设备；第二云存储网关设备为第二终端所处地理区域内的网关设备。

第二方面，本发明实施例提供一种数据访问处理装置，包括位于边缘云的云存储网关，云存储网关与其他边缘云的云存储网关及远程云存储资源连接，装置包括：

解析模块，用于响应于第一终端的文件存储请求，为第一云存储网关设备解析文件存储请求得到文件元数据和文件数据；

访问处理模块，用于为第一云存储网关设备将文件元数据存储至本地缓存资源，第一云存储网关设备切分文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端，其中，第一云存储网关设备为第一终端所处地理区域内的网关设备；第二云存储网关设备为第二终端所处地理区域内的网关设备。

第三方面，本发明实施例提供一种数据访问处理系统，包括：

第一云存储网关设备，用于响应于第一终端的文件存储请求，解析文件存储请求得到文件元数据和文件数据，并将文件元数据存储至本地缓存资源，将文件数据存储至本地缓存资源和远程云存储空间；

第二云存储网关设备，用于将第二终端请求访问文件数据的文件访问请求转发至第一云存储网关设备，并基于第一云存储网关设备的指示从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端，其中，第一云存储网关设备为第一终端所处地理区域内的网关设备；第二云存储网关设备为第二终端所处地理区域内的网关设备。

第四方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，存储器上存储有可执行代码，当可执行代码被处理器执行时，使处理器至少可以实现如第一方面的数据访问处理方法。

第五方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第一方面的数据访问处理方法。

本发明实施例中，数据访问处理系统包括位于边缘云的云存储网关，云存储网关与其他边缘云的云存储网关及远程云存储资源连接，第一云存储网关设备为第一终端所处地理区域内的网关设备，第二云存储网关设备为第二终端所处地理区域内的网关设备；第一云存储网关设备响应于第一终端的文件存储请求，解析该文件存储请求得到文件元数据和文件数据，并将文件元数据存储至本地缓存资源，以及切分文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端。

通过根据不同的终端设备所处的地理区域，为终端设备分别设置对应的边缘云存储网关设备，即第一云存储网关设备和第二云存储网关设备。采用边缘云存储网关设备为该地理区域内所关联的终端设备提供文件数据的缓存功能，在其他地理区域内的终端设备请求访问该文件数据时，提供文件数据的访问功能，以及采用边缘云存储网关设备对接各个云厂商的对象存储服务，以使得为关联的终端设备提供远程云存储空间，可以兼顾实现对文件数据的远程存储功能。

在实际应用中，由于边缘云存储网关设备具备体积小、部署灵活的特点，可以直接将边缘云存储网关设备安装在终端设备所处的办公环境中，无需专用的风火水电资源，可以满足用户的数据访问需求和灵活的办公场所诉求，且大幅降低了软硬件成本以及部署成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术所提供的一种数据访问处理系统的流程图；

图2为本发明实施例提供的一种数据访问处理系统的流程图；

图3为本发明实施例提供的一种数据访问处理方法的应用示意图；

图4为本发明实施例提供的一种数据访问处理装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

先对本发明实施例中涉及到的术语或概念进行解释说明：

开放应用编程接口OpenAPI：在互联网时代，将网站的服务封装成一系列计算机易识别的数据接口开放出去，供第三方开发者使用，这种行为就叫做开放的网站的应用编程接口API，与之对应的，所开放的API就被称作OpenAPI。

简易存储服务(Simple Storage Service)，是服务商利用其网络服务系统所提供的网络在线存储服务。经由全球广域网Web服务界面，包括表述性状态传递REST、简单对象访问协议SOAP与比特流BitTorrent，用户能够轻易把文件存储到网络服务器上。

表述性状态传递(Representational State Transfer，简称REST)是RoyFielding博士在2000年他的博士论文中提出来的一种软件架构风格。它是一种针对网络应用的设计和开发方式，可以降低开发的复杂性，提高系统的可伸缩性。

简单对象访问协议(Simple Object Access Protocol，简称SOAP)：是一种基于XML的简易对象访问协议，可使应用程序在HTTP之上进行信息交换。或者更简单地说：SOAP是用于访问网络服务的协议。

比特流(BitTorrent)是一种内容分发协议，它采用高效的软件分发系统和点对点技术共享大体积文件(如一部电影或电视节目)，并使每个用户像网络重新分配结点那样提供上传服务。

网络文件系统(Network File System，简称NFS)：是一种分布式文件系统，力求客户端主机可以访问服务器端文件，并且其过程与访问本地存储时一样。它基于开放网络运算远程过程调用ONC RPC系统(一个开放、标准的RFC系统，任何人或组织都可以依据标准实现它)。

服务器消息块(Server Message Block，简称SMB)，又称网络文件共享系统(Common Internet File System，简称CIFS)，一种应用层网络传输协议，主要功能是使网络上的机器能够共享计算机文件、打印机、串行端口和通讯等资源。它也提供经认证的进程间通信机能。它主要用在装有Windows的机器上，经过Unix服务器厂商重新开发后，它可以用于连接Unix服务器和Windows客户机，执行打印和文件共享等任务。

其中，NFS的消息格式是固定长度，与功能类似的网络文件系统NFS相比，而SMB的消息格式大多数是可变长度，这增加了协议的复杂性。SMB消息一般使用网上基本输入输出系统NetBIOS或TCP协议发送，分别使用不同的端口139或445，目前倾向于使用445端口。SMB消息包括一个信头(32字节)和消息体(1个或多个，可变长)。

互联网数据中心(Internet Data Center简称IDC)：是电信部门利用已有的互联网通信线路、带宽资源，建立标准化的电信专业级机房环境，为企业提供服务器托管、租用以及相关增值等方面的全方位服务。

裸金属架构的虚拟化技术(VMware vSphere，VMware ESXi)：是指虚拟机直接运行在系统硬件上，创建硬件全仿真实例，被称为“裸机”，适用于多台机器的虚拟化解决方案，而且可以图形化操作。

元数据区(Kvmeta)：里面存放的每组数据都包含：value的起始位置，key的起始位置partition值和value的长度

KV数据库是指Key-value数据库，是一种以键值对存储数据的一种数据库。

系统管理程序虚拟化Hyper-V：能够实现桌面虚拟化。

多计算切换器(Keyboard Video Mouse，KVM)：以多主机切换技术为依据，借助一组键盘或鼠标和显示器(KVM)完成多台服务器之间的切换，进而节省空间，降低成本，使得管理更为简易方便，以提升工作效率。

例如，在远程办公背景下，企业可以通过云计算提供的存储服务(例如，对象存储)满足数据的共享访问，但是，云存储的数据一般存储在统一的集中式数据中心，远程访问的性能太差，另外，企业的本地应用可能需要NFS文件协议接口，无法兼容对象存储语义(例如，简单存储服务S3的API接口)。

为解决上述问题，如图1所示，目前一般是通过将云存储网关Storage Gateway部署在客户维护的IDC机房中，通过专线网络访问远程的对象存储接口以存储资源。例如，办公的环境的移动终端，例如，智能手机，笔记本电脑等，通过NFS/SMB等网络文件协议访问机房的云存储网关；云存储网关接收NFS协议的文件请求，转换成简单存储服务S3 API，转发到远程的云服务器上；对于被访问过的文件，云存储网关会保存在本地缓存资源中，当二次访问相同文件时，直接从本地缓存资源读取该相同的数据，以降低延时。

但是，云存储网关是一种纯软件的解决方案，需要客户在本地搭建IDC机房(配套风火水电资源)，在服务器上运行裸金属架构的虚拟化VMware ESXi，系统管理程序虚拟化Hyper-V或者多计算切换器KVM等虚拟化环境，再将云存储网关以虚拟机形式部署上去。例如，云存储网关利用客户服务器上的本地存储资源作为本地磁盘Local Cache来加速文件访问，同时，提供NFS协议到简单存储服务S3协议的转换。

并且，由单一云厂商集中部署的可用区存在区域局限性，例如，A可用区的企业用户访问B可用区的存储数据会造成访问延迟问题，影响正常运作。所以，需要一种近用户的边缘存储服务，提升数据访问性能。

为解决上述现有技术中存在的问题，本发明实施例提供了一种数据访问处理方法、系统及装置，为理解本发明实施例所提供数据访问处理方案的框架，如下先对数据访问处理系统进行解释说明，如图2所示，该数据访问处理系统可以用于实现该数据访问处理方法，包括：

第一云存储网关设备100，用于响应于第一终端101的文件存储请求，解析文件存储请求得到文件元数据和文件数据，并将文件元数据存储至本地缓存资源，将文件数据存储至本地缓存资源和远程云存储空间；

第二云存储网关设备200，用于将第二终端201请求访问文件数据的文件访问请求转发至第一云存储网关设备，并基于第一云存储网关设备的指示从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端。

可选地，第一云存储网关设备为第一终端所处地理区域内与第一终端关联的边缘云存储网关设备；第二云存储网关设备为第二终端所处地理区域内与第二终端关联的边缘云存储网关设备；第一终端和第二终端分别处于不同的地理区域。

可选地，上述第一终端101和第二终端201可以是例如：智能手机，平板电脑，投屏设备，笔记本电脑等移动终端。

第一云存储网关设备100和第二云存储网关设备200分别用于为第一终端101和第二终端201提供边缘云存储服务，实际应用过程中，可以采用一种小型的嵌入式网关设备作为第一云存储网关设备100和第二云存储网关设备200，该嵌入式网关设备通过无线网络为关联的终端设备提供NFS/SMB文件访问接口，并提供文件数据的本地缓存能力，以加速对文件数据的访问，并对接各个云厂商的对象存储服务，基于远程云存储空间为关联的终端设备提供海量数据的存储功能，并且支持存储数据时的弹性扩展方案。

需要说明的是，第一云存储网关设备100和第二云存储网关设备200可以是独立的设备，也可以是安装在服务器上的卸载卡。

第一云存储网关设备100在接收到第一终端101的文件存储请求之后，响应于第一终端101的文件存储请求，解析文件存储请求得到文件元数据和文件数据，例如，仍如图2所示，第一云存储网关设备100包括：文件协议处理装置102和元数据处理装置。在本发明实施例中，可以采用文件协议处理装置102解析文件存储请求,得到文件元数据和文件数据，以及切分文件数据得到多个数据块Chunks，以将多个数据块分别存储至本地缓存资源；以及采用元数据处理装置将文件元数据存储至本地缓存资源的键值对数据库。

如图2所示，第一云存储网关设备100和第一终端101处于相同的地理区域，共同营造得到办公环境A中；第二云存储网关设备200和第二终端201处于相同的地理区域，共同营造得到办公环境B中。

由于第一终端和第二终端分别处于不同的地理区域，实际应用中，第一终端是在办公环境A内所使用的设备，第二终端是在办公环境B内所使用的设备，则可以理解的是，相对于远程云存储空间而言，办公环境A和办公环境B均属于本地的办公环境，但是，办公环境A和办公环境B也是分别处于不同的地理区域。例如，办公环境A的第一终端通过WIFI通讯模块向第一云存储网关设备100发送NFS/SMB格式的文件存储请求，第一云存储网关设备100中的文件协议处理装置102接收并解析该文件存储请求，并解析成文件元数据和文件数据两部分，其中，文件元数据部分由元数据处理装置KV Meta解析处理，并通过KV数据库存储在本地，文件数据部分被分片切分处理，以定长的多个数据块(Chunks)的形式先写入一份数据到本地缓存资源103中，再通过OpenAPI装置异步写入到远程云存储空间。

可选地，在本发明实施例中，本地缓存资源可以基于高性能存储盘NVMe SSD实现本地缓存，以提升第二终端201对本地缓存资源中文件数据的访问性能。即在实际应用中，针对同一文件数据的二次操作，例如，读取已存储的文件数据，则直接通过本地缓存资源实现加速访问。

可选地，上述分布式文件系统NFS和网络文件共享系统SMB都是经过实战考验的通过网络共享数据的解决方案。虽然NFS在基于Linux的环境中最容易使用，而SMB在Windows上最简单，但这两种协议都可以在任何主流操作系统上运行。

之后，如果办公环境B中的第二终端201需要共享访问办公环境A的本地缓存资源中的文件数据，则可以向办公环境B中的第二云存储网关设备发出文件访问请求，第二云存储网关设备向办公环境A中的第一云存储网关设备100转发该文件访问请求，第一云存储网关设备100响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端。

需要说明的是，在实际应用过程中，网关设备的数量可以有多个，不同的办公环境则对应一个与其关联的网关设备，其他不同的办公环境中的网关设备(例如但不限于如：办公环境C中的第三网关设备300)的文件数据访问方式与上述办公环境B中的第二云存储网关设备200相同或相似设置。

由此，本发明实施例，通过根据不同的终端设备所处的地理区域，为终端设备分别设置对应的边缘云存储网关设备，即第一云存储网关设备和第二云存储网关设备。采用边缘云存储网关设备为关联的终端设备提供文件数据的缓存能力，加速其他的终端设备的文件访问流程，以及采用边缘云存储网关设备对接各个云厂商的对象存储服务，以使得为关联的终端设备提供远程云存储空间，可以兼顾提供对海量文件数据的存储功能。

在实际应用中，由于边缘云存储网关设备具备体积小、部署灵活的特点可以直接安装在终端设备所处的办公环境中，无需专用的风火水电资源，且可以提升文件数据的访问性能，不仅满足了用户的数据访问需求和灵活的办公场所诉求，还可以大幅降低软硬件成本以及部署成本。

另一种可选的实施例中，仍如图2所示，第一云存储网关设备100包括：

集群管理装置106，用于为两个或多个网关设备之间提供点对点的文件传输功能，即通过集群管理装置在第一云存储网关设备100和第二云存储网关设备200之间建立文件传输的直接连接，以在符合传输条件时采用点对点的文件传输方式传输文件数据。本发明实施例中，采用提供点对点的文件传输方案，提供了一种更加高效的数据协同方法，避免云存储集中式架构带来的冗余传输问题。

在本发明实施例中，例如，当两个办公环境A和办公环境B之间距离相近且需要共享文件时，具体如何指示第二云存储网关设备获取文件数据，可以根据文件数据的数据传输量和当前网络传输速度来确定，以提升向其他地理区域的办公环境中第二终端反馈文件数据的响应速度。

例如，在一种可选地实施例中，第一云存储网关设备100先获取文件数据的数据传输量和当前网络传输速度，若文件数据的数据传输量小于预设传输量，且当前网络传输速度高于预设传输速度，表明当前适合从本地缓存资源获取该对应的文件数据，响应速度更快，因而，第一云存储网关设备可以采用集群管理装置106，将文件访问请求对应的文件元数据(例如，标识文件数据的对象存储地址信息)发送给办公环境B中的第二云存储网关设备200，以指示第二云存储网关设备基于文件元数据从本地缓存资源获取对应的文件数据。

在另一种可选地实施例中，若数据传输量超出预设传输量，或当前网络传输速度低于预设传输速度，只要满足任意之一情况则表明当前不适合从本地缓存资源获取该对应的文件数据，则第一云存储网关设备100采用集群管理装置106指示第二云存储网关设备从远程云存储空间获取文件数据。

通过本发明上述实施例，可以实现避免文件数据从一个网关设备上回传到云存储的远程存储空间，再下发到另一个网关设备的问题，由此，可以大幅提升对文件数据访问的性能，同时，降低了对云存储的远程存储空间的使用成本。

另外，仍如图2所示，第一云存储网关设备100还包括：云存储接口104，在本发明实施例中，可以采用云存储接口104连接目标云存储服务器的对象存储接口，以将多个数据块存储至远程云存储空间。

可选地，云存储接口104即可以为开放应用编程接口OpenAPI，通过连接目标云存储服务器的对象存储接口，以将多个数据块存储至远程云存储空间，并且整个过程屏蔽底层多云的对象存储访问协议。

作为一种可选的实施例，仍如图2所示，第一云存储网关设备100包括：

地理位置管理装置105，用于响应于第一终端的登录操作，获取第一终端的地理位置信息；基于第一终端的地理位置信息，从多个云存储服务器中确定与第一终端适配的目标云存储服务器，其中，目标云存储服务器用于为第一终端提供远程云存储空间。

可选地，目标云存储服务器用于为第一终端提供对象存储接口，以使得第一终端经对象存储接口将文件数据存储至远程云存储空间。

例如，在第一云存储网关设备100为第一终端101提供文件存储服务之前，该第一云存储网关设备100响应于第一终端的登录操作，采用地理位置管理装置105获取第一终端的地理位置信息；再基于第一终端的地理位置信息，从多个云存储服务器中确定与第一终端适配的目标云存储服务器。

可选地，云存储服务器可以任意云服务厂商所提供的具备云存储功能的服务器，例如图2中所示的云存储服务器1、云存储服务器2、云存储服务器3等等。

可选地，第一云存储网关设备100、第二云存储网关设备200和第三网关设备300可以分别无缝对接全球所有的云存储服务器。而且每个网关设备与多个云存储服务器之间通过公网连接，无需依赖于专线网络进行通信连接。

而在具体适用时，并不需要建立终端设备与单一的某一目标云存储服务器建立固定的绑定关系，而是可以根据所处办公环境的地理位置信息，也即第一终端的地理位置信息从多个云存储服务器中确定与第一终端适配的目标云存储服务器，避免了绑定终端设备与单一的某一目标云存储服务器后导致的数据区域局限性问题，大幅提升了数据同步存储的处理效率。

另外，在本发明实施例中，除第一终端的地理位置信息从多个云存储服务器中确定目标云存储服务器之外，还可以根据为第一终端提供远程云存储空间时的访问延时和数据访问成本作为选取条件，以选取从多个云存储服务器中确定与第一终端适配的目标云存储服务器。例如，可以将为第一终端提供远程云存储空间时访问延时最低且数据访问成本最低的云存储服务器，作为该目标云存储服务器。

仍如图2所示，第一云存储网关设备100还包括：

多云管理装置107，用于响应于数据同步请求，将远程云存储空间中存储的待更新文件数据写入本地缓存资源；以及响应于对待更新文件数据的数据更新操作，将更新后文件数据回写至远程云存储空间。

可选地，该多云管理装置Hybrid Cloud Manager，响应于数据同步请求，则负责将远程云存储空间中的待更新文件数据，例如，对象存储文件同步到本地缓存资源中，同时，还可以在用户对待更新数据进行更新操作之后，将用户修改后的待更新文件数据回写到远程云存储空间中进行存储。

另外，该多云管理装置还可以负责对接各个云厂商的对象存储，并提供权限管理，计量计费的功能。例如，多云管理装置107中可以设置有地理位置管理装置105、云存储接口104、账户管理装置108以及账单处理装置109，需要说明的是，地理位置管理装置105、云存储接口104、账户管理装置108以及账单处理装置109也可以脱离多云管理装置107，单独设置在第一云存储网关设备100中，本发明实施例对此不作具体限定。

仍如图2所示，该第一云存储网关设备100中还包括：账户管理装置108，用于管理多个云存储服务器提供的对象存储账号；以及向第一终端提供的账号管理界面；账单处理装置109，用于对第一终端的数据存储操作和数据访问操作进行计费，并生成对应的费用账单。

可选地，账户管理装置Account，通过管理多个云存储服务器提供的对象存储账号，可以屏蔽底层复杂的多云交互逻辑，仅提供一个统一的账号管理界面展示给第一终端的用户；账单处理装置Billing，则负责对第一终端的用户执行的数据存储操作进行计费并生成对应的费用账单，例如，云厂商的对象存储包含两部分费用，作为一种可选示例，一部分费用是数据的存储费用，可以按照0.1元/GB/月计算，另一部分费用是数据的访问费用，可以按照0.25元/GB计算。进而，便于用户后期可以根据这个费用账单对所享用到的云存储服务进行付费。

由此，本发明实施例，基于全球云厂商的对象存储资源为底座，实现了一种管理海量文件数据的数据访问处理设备，针对边缘网关设备所提供的边缘计算场景可以提供很好的文件访问性能，同时，大幅降低了目前方案中搭建IDC机房以及采用云存储网关专线网络访问远程存储空间，所带来的软硬件成本。

此外，本发明实施例还提供了一种数据访问处理方法，本发明实施例提供的数据访问处理方法可以由一电子设备来执行，实际应用中，该电子设备可以是服务器，也可以是诸如PC机等用户终端，该服务器可以是云端的物理服务器或虚拟服务器(虚拟机)。

结合上文示例，本发明实施例提供的一种数据访问处理系统包括位于边缘云的云存储网关，云存储网关与其他边缘云的云存储网关及远程云存储资源连接，图3为本发明实施例提供的一种数据访问处理方法的流程图，如图3所示，该方法包括如下步骤：

301、响应于第一终端的文件存储请求，第一云存储网关设备解析文件存储请求得到文件元数据和文件数据。

302、第一云存储网关设备将文件元数据存储至本地缓存资源，第一云存储网关设备切分文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端，其中，第一云存储网关设备为第一终端所处地理区域内的网关设备；第二云存储网关设备为第二终端所处地理区域内的网关设备。

本发明实施例中，数据访问处理系统包括位于边缘云的云存储网关，云存储网关与其他边缘云的云存储网关及远程云存储资源连接，第一云存储网关设备为第一终端所处地理区域内的网关设备，第二云存储网关设备为第二终端所处地理区域内的网关设备；第一云存储网关设备响应于第一终端的文件存储请求，解析该文件存储请求得到文件元数据和文件数据，并将文件元数据存储至本地缓存资源，以及切分文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端。

通过根据不同的终端设备所处的地理区域，为终端设备分别设置对应的边缘云存储网关设备，即第一云存储网关设备和第二云存储网关设备。采用边缘云存储网关设备为该地理区域内所关联的终端设备提供文件数据的缓存功能，在其他地理区域内的终端设备请求访问该文件数据时，提供文件数据的访问功能，以及采用边缘云存储网关设备对接各个云厂商的对象存储服务，以使得为关联的终端设备提供远程云存储空间，可以兼顾实现对文件数据的远程存储功能。

在实际应用中，由于边缘云存储网关设备具备体积小、部署灵活的特点，可以直接将边缘云存储网关设备安装在终端设备所处的办公环境中，无需专用的风火水电资源，可以满足用户的数据访问需求和灵活的办公场所诉求，且大幅降低了软硬件成本以及部署成本。

可选地，第二终端和第二终端分别处于不同的地理区域；第一云存储网关设备为第一终端所处地理区域内与第一终端关联的边缘云存储网关设备；第二云存储网关设备为第二终端所处地理区域内与第二终端关联的边缘云存储网关设备。

可选地，上述第一终端和第二终端分别可以是例如，智能手机，平板电脑，投屏设备，笔记本电脑等移动终端。

仍如图2所示，第一云存储网关设备100和第二云存储网关设备200分别用于为第一终端101和第二终端201提供边缘云存储服务，实际应用过程中，可以采用一种小型的嵌入式网关设备作为第一云存储网关设备100和第二云存储网关设备200，该嵌入式网关设备通过无线网络为关联的终端设备提供NFS/SMB文件访问接口，并提供文件数据的本地缓存能力，以加速对文件数据的访问，并对接各个云厂商的对象存储服务，基于远程云存储空间为关联的终端设备提供海量数据的存储功能，并且支持存储数据时的弹性扩展方案。

第一云存储网关设备在接收到第一终端的文件存储请求之后，响应于第一终端的文件存储请求，解析文件存储请求得到文件元数据和文件数据，例如，在本发明实施例中，可以采用文件协议处理装置解析文件存储请求,得到文件元数据和文件数据，以及第一云存储网关设备切分文件数据得到多个数据块，之后将多个数据块分别存储至本地缓存资源；以及采用元数据处理装置将文件元数据存储至本地缓存资源的键值对数据库。

作为一种可选地实施例，第一云存储网关设备将文件元数据存储至本地缓存资源，第一云存储网关设备切分文件数据存储至本地缓存资源和远程云存储空间，包括：

采用文件协议处理装置解析文件存储请求,得到文件元数据和文件数据，以将切分文件数据得到的多个数据块分别存储至本地缓存资源；

第一云存储网关设备采用元数据处理装置将文件元数据存储至本地缓存资源的键值对数据库；

第一云存储网关设备采用云存储接口连接目标云存储服务器的对象存储接口，以将多个数据块存储至远程云存储空间。

以上具体示例说明可以参照本发明实施例中所提供的上述数据访问处理系统中给出的实施例。

可选地，第一云存储网关设备将文件数据存储至本地缓存资源和远程云存储空间，可以采用如下方式实现：

第一云存储网关设备切分文件数据得到多个数据块，以将多个数据块分别存储至本地缓存资源和远程云存储空间。

由于第一终端和第二终端分别处于不同的地理区域，实际应用中，第一终端是在办公环境A内所使用的设备，第二终端是在办公环境B内所使用的设备，则可以理解的是，相对于远程云存储空间而言，办公环境A和办公环境B均属于本地的办公环境，但是，办公环境A和办公环境B也是分别处于不同的地理区域。例如，办公环境A的第一终端通过WIFI通讯模块向第一云存储网关设备发送NFS/SMB格式的文件存储请求，第一云存储网关设备中的文件协议处理装置接收并解析该文件存储请求，并解析成文件元数据和文件数据两部分，其中，文件元数据部分由KV Meta装置解析处理，并通过KV数据库存储在本地，文件数据部分被分片切分处理，以定长的多个数据块(Chunks)的形式先写入一份数据到本地缓存资源中，再通过OpenAPI装置异步写入到远程云存储空间。

可选地，在本发明实施例中，本地缓存资源可以基于高性能存储盘NVMe SSD实现的本地缓存，以提升文件数据的访问性能。例如，针对该文件数据的二次操作，例如，读取相同的文件数据，则直接通过本地缓存资源实现加速访问。

可选地，上述分布式文件系统NFS和网络文件共享系统SMB都是经过实战考验的通过网络共享数据的解决方案。虽然NFS在基于Linux的环境中最容易使用，而SMB在Windows上最简单，但这两种协议都可以在任何主流操作系统上运行。

之后，如果图2中所示的办公环境B中的第二终端201需要共享访问办公环境A的本地缓存资源中的文件数据，则可以向办公环境B中的第二云存储网关设备发出文件访问请求，第二云存储网关设备向办公环境A中的第一云存储网关设备100转发该文件访问请求，第一云存储网关设备100响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端。

由此，本发明实施例，通过根据不同的终端设备所处的地理区域，为终端设备分别设置对应的边缘云存储网关设备，即第一云存储网关设备和第二云存储网关设备。采用边缘云存储网关设备为关联的终端设备提供文件数据的缓存能力，加速其他的终端设备的文件访问流程，以及采用边缘云存储网关设备对接各个云厂商的对象存储服务数据流，以使得为关联的终端设备提供远程云存储空间，可以兼顾提供对海量文件数据的存储功能。

在实际应用中，由于边缘云存储网关设备具备体积小、部署灵活的特点可以直接安装在终端设备所处的办公环境中，无需专用的风火水电资源，且提升文件数据的访问性能，不仅可以满足用户的数据访问需求和灵活的办公场所诉求，还可以大幅降低软硬件成本以及部署成本。

作为一种可选地实施例，方法还包括：响应于第一终端的登录操作，第一云存储网关设备获取第一终端的地理位置信息；基于第一终端的地理位置信息，第一云存储网关设备从多个云存储服务器中确定与第一终端适配的目标云存储服务器，其中，目标云存储服务器用于为第一终端提供远程云存储空间。

可选地，目标云存储服务器用于为第一终端提供对象存储接口，以使得第一终端经对象存储接口将文件数据存储至远程云存储空间。

例如，在第一云存储网关设备为第一终端提供文件存储服务之前，该第一云存储网关设备响应于第一终端的登录操作，采用地理位置管理装置获取第一终端的地理位置信息；再基于第一终端的地理位置信息，从多个云存储服务器中确定与第一终端适配的目标云存储服务器。

可选地，云存储服务器可以任意云服务厂商所提供的具备云存储功能的服务器，第一云存储网关设备和第二云存储网关设备分别可以无缝对接全球所有的云存储服务器。

而在具体适用时，并不需要建立终端设备与单一的某一目标云存储服务器建立固定的绑定关系，而是可以根据所处办公环境的地理位置信息，也即第一终端的地理位置信息从多个云存储服务器中确定与第一终端适配的目标云存储服务器，避免绑定终端设备与单一的某一目标云存储服务器后，导致数据区域局限性问题，大幅提升了数据同步存储的处理效率。

另外，在本发明实施例中，除第一终端的地理位置信息从多个云存储服务器中确定目标云存储服务器之外，还可以根据为第一终端提供远程云存储空间时的访问延时和数据访问成本作为选取条件，以选取从多个云存储服务器中确定与第一终端适配的目标云存储服务器。例如，可以将为第一终端提供远程云存储空间时访问延时最低且数据访问成本最低的云存储服务器，作为该目标云存储服务器。

一种可选地实施例，第一云存储网关设备指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，可以采用如下可选方式实现：

第一云存储网关设备获取文件数据的数据传输量和当前网络传输速度。

若数据传输量小于预设传输量，且当前网络传输速度高于预设传输速度，则第一云存储网关设备将文件数据对应的文件元数据发送给第二云存储网关设备，以指示第二云存储网关设备基于文件元数据从本地缓存资源获取文件数据。

若数据传输量超出预设传输量，或当前网络传输速度低于预设传输速度，则第一云存储网关设备指示第二云存储网关设备从远程云存储空间获取文件数据。

可选地，在本发明实施例中，该第一云存储网关设备中设置有集群管理装置，用于为两个或多个网关设备之间通过点对点的文件传输功能，即通过集群管理装置在第一云存储网关设备和第二云存储网关设备之间建立文件传输的直接连接，以在符合传输条件时采用点对点的文件传输方式传输文件数据。本发明实施例中，采用提供点对点的文件传输方案，提供了一种更加高效的数据协同方法，避免云存储集中式架构带来的冗余传输问题。

在本发明实施例中，例如，当两个办公环境A和办公环境B之间距离相近且需要共享文件时，具体如何指示第二云存储网关设备获取文件数据，可以根据文件数据的数据传输量和当前网络传输速度来确定，以提升向其他地理区域的办公环境中第二终端反馈文件数据的响应速度。

例如，在一种可选地实施例中，第一云存储网关设备先获取文件数据的数据传输量和当前网络传输速度，若文件数据的数据传输量小于预设传输量，且当前网络传输速度高于预设传输速度，表明当前适合从本地缓存资源获取该对应的文件数据，响应速度更快，因而，第一云存储网关设备可以采用集群管理装置，将文件访问请求对应的文件元数据(例如，标识文件数据的对象存储地址信息)发送给办公环境B中的第二云存储网关设备，以指示第二云存储网关设备基于文件元数据从本地缓存资源获取对应的文件数据。

在另一种可选地实施例中，若数据传输量超出预设传输量，或当前网络传输速度低于预设传输速度，只要满足任意之一情况则表明当前不适合从本地缓存资源获取该对应的文件数据，则第一云存储网关设备采用集群管理装置指示第二云存储网关设备从远程云存储空间获取文件数据。

通过本发明上述实施例，可以实现避免文件数据从一个网关设备上回传到云存储的远程存储空间，再下发到另一个网关设备的问题，由此，可以大幅提升对文件数据访问的性能，同时，降低了对云存储的远程存储空间的使用成本。

可选地，第一云存储网关设备采用集群管理装置将文件数据对应的文件元数据发送给第二云存储网关设备。

可选地，在本发明实施例中，第一云存储网关设备采用多云管理装置将远程云存储空间中存储的待更新文件数据写入本地缓存资源，以及将更新后文件数据回写至远程云存储空间。

可选地，在本发明实施例中，第一云存储网关设备采用账户管理装置存储多个云存储服务器提供的对象存储账号，以及向第一终端提供展示有对象存储账号的账号管理界面。

可选地，在本发明实施例中，第一云存储网关设备采用账单处理装置对第一终端的数据存储操作和数据访问操作进行计费，并生成对应的费用账单。

以上具体示例说明可以参照本发明实施例中所提供的上述数据访问处理系统中给出的实施例。

可见，本发明实施例，基于分布全球的各大云厂商的对象存储实现了一种全球共享的管理海量文件数据的数据访问处理设备，满足边缘场景对文件操作延时和吞吐性能的需求，可以应用在云服务场景中，或者形成一个独立的产品/服务。通过将一个硬件网关设备部署在接近客户的边缘环境中，大幅提升了云上文件的访问性能，同时，利用全球多个云厂商的对象存储服务，实现了高可靠、高弹性、低成本的文件数据管理。而且可以大幅降低云存储服务的部署成本，并提升了数据处理服务的易用性，而且通过快速的市场铺量可以抢占边缘场景的入口。

以下将详细描述本发明的一个或多个实施例的数据访问处理装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图4为本发明实施例提供的一种数据访问处理装置的结构示意图，如图4所示，该装置包括：解析模块41、访问处理模块42。

解析模块41，用于响应于第一终端的文件存储请求，第一云存储网关设备解析文件存储请求得到文件元数据和文件数据；

访问处理模块42，用于将文件元数据存储至第一云存储网关设备的本地缓存资源，将文件数据存储至本地缓存资源和远程云存储空间，以使得响应于第二终端请求访问文件数据的文件访问请求，指示第二云存储网关设备从本地缓存资源或远程云存储空间获取文件数据，并返回给第二终端，其中，第一云存储网关设备为第一终端所处地理区域内的网关设备；第二云存储网关设备为第二终端所处地理区域内的网关设备。

可选地，装置还包括：

获取模块，用于响应于所述第一终端的登录操作，所述第一云存储网关设备获取所述第一终端的地理位置信息。

选取模块，用于基于所述第一终端的地理位置信息，所述第一云存储网关设备从多个云存储服务器中确定与所述第一终端适配的目标云存储服务器，其中，所述目标云存储服务器用于为所述第一终端提供所述远程云存储空间。

可选地，访问处理模块42还包括：

获取单元，用于获取所述文件数据的数据传输量和当前网络传输速度；

第一处理单元，用于若所述数据传输量小于预设传输量，且所述当前网络传输速度高于预设传输速度，则所述第一云存储网关设备将所述文件数据对应的文件元数据发送给所述第二云存储网关设备，以指示所述第二云存储网关设备基于所述文件元数据从所述本地缓存资源获取所述文件数据；

第二处理单元，用于若所述数据传输量超出预设传输量，或所述当前网络传输速度低于预设传输速度，则所述第一云存储网关设备指示所述第二云存储网关设备从所述远程云存储空间获取所述文件数据。

可选地，解析模块41还包括：

解析单元，用于采用文件协议处理装置解析所述文件存储请求,得到所述文件元数据和所述文件数据，以将切分所述文件数据得到的多个数据块分别存储至所述本地缓存资源；

第一存储单元，用于采用元数据处理装置将所述文件元数据存储至所述本地缓存资源的键值对数据库；

第二存储单元，用于采用云存储接口连接目标云存储服务器的对象存储接口，以将所述多个数据块存储至所述远程云存储空间。

可选地，所述装置还包括：

更新模块，用于采用多云管理装置将所述远程云存储空间中存储的待更新文件数据写入所述本地缓存资源，以及将更新后文件数据回写至所述远程云存储空间。

可选地，所述装置还包括：

界面展示模块，用于采用账户管理装置存储多个云存储服务器提供的对象存储账号，以及向所述第一终端提供展示有所述对象存储账号的账号管理界面。

可选地，所述装置还包括：

计费模块，用于采用账单处理装置对所述第一终端的数据存储操作和数据访问操作进行计费，并生成对应的费用账单。

在一个可能的设计中，上述图4所示数据访问处理装置的结构可实现为一电子设备。如图5所示，该电子设备可以包括：处理器51、存储器52、通信接口53。其中，存储器52上存储有可执行代码，当所述可执行代码被处理器51执行时，使处理器51至少可以实现如前述实施例中提供的数据访问处理方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的数据访问处理方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的网元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种数据访问处理方法，包括位于边缘云的云存储网关，所述云存储网关与其他边缘云的云存储网关及远程云存储资源连接，包括：

响应于第一终端的文件存储请求，第一云存储网关设备解析所述文件存储请求得到文件元数据和文件数据；

所述第一云存储网关设备将所述文件元数据存储至本地缓存资源，所述第一云存储网关设备切分所述文件数据存储至所述本地缓存资源和所述远程云存储空间，以使得响应于第二终端请求访问所述文件数据的文件访问请求，指示第二云存储网关设备从所述本地缓存资源或所述远程云存储空间获取所述文件数据，并返回给所述第二终端，其中，所述第一云存储网关设备为所述第一终端所处地理区域内的网关设备；所述第二云存储网关设备为所述第二终端所处地理区域内的网关设备。

2.根据权利要求1所述的方法，其中，所述方法还包括：

响应于所述第一终端的登录操作，所述第一云存储网关设备获取所述第一终端的地理位置信息；

基于所述第一终端的地理位置信息，所述第一云存储网关设备从多个云存储服务器中确定与所述第一终端适配的目标云存储服务器，其中，所述目标云存储服务器用于为所述第一终端提供所述远程云存储空间。

3.根据权利要求1所述的方法，其中，所述第一云存储网关设备指示第二云存储网关设备从所述本地缓存资源或所述远程云存储空间获取所述文件数据，包括：

所述第一云存储网关设备获取所述文件数据的数据传输量和当前网络传输速度；

若所述数据传输量小于预设传输量，且所述当前网络传输速度高于预设传输速度，则所述第一云存储网关设备将所述文件数据对应的文件元数据发送给所述第二云存储网关设备，以指示所述第二云存储网关设备基于所述文件元数据从所述本地缓存资源获取所述文件数据；

若所述数据传输量超出预设传输量，或所述当前网络传输速度低于预设传输速度，则所述第一云存储网关设备指示所述第二云存储网关设备从所述远程云存储空间获取所述文件数据。

4.根据权利要求1所述的方法，其中，所述第一云存储网关设备将所述文件元数据存储至本地缓存资源，所述第一云存储网关设备切分所述文件数据存储至所述本地缓存资源和所述远程云存储空间，包括：

采用文件协议处理装置解析所述文件存储请求,得到所述文件元数据和所述文件数据，以将切分所述文件数据得到的多个数据块分别存储至所述本地缓存资源；

所述第一云存储网关设备采用元数据处理装置将所述文件元数据存储至所述本地缓存资源的键值对数据库；

所述第一云存储网关设备采用云存储接口连接目标云存储服务器的对象存储接口，以将所述多个数据块存储至所述远程云存储空间。

5.根据权利要求1所述的方法，其中，所述第一云存储网关设备将所述文件数据对应的文件元数据发送给所述第二云存储网关设备，包括：

所述第一云存储网关设备采用集群管理装置将所述文件数据对应的文件元数据发送给所述第二云存储网关设备。

6.根据权利要求1所述的方法，其中，所述方法还包括：

所述第一云存储网关设备采用多云管理装置将所述远程云存储空间中存储的待更新文件数据写入所述本地缓存资源，以及将更新后文件数据回写至所述远程云存储空间。

7.根据权利要求1所述的方法，其中，所述方法还包括：

所述第一云存储网关设备采用账户管理装置存储多个云存储服务器提供的对象存储账号，以及向所述第一终端提供展示有所述对象存储账号的账号管理界面。

8.根据权利要求1所述的方法，其中，所述方法还包括：

所述第一云存储网关设备采用账单处理装置对所述第一终端的数据存储操作和数据访问操作进行计费，并生成对应的费用账单。

9.一种数据访问处理系统，包括：

第一云存储网关设备，用于响应于第一终端的文件存储请求，解析所述文件存储请求得到文件元数据和文件数据，并将所述文件元数据存储至本地缓存资源，将所述文件数据存储至本地缓存资源和远程云存储空间；

第二云存储网关设备，用于将第二终端请求访问所述文件数据的文件访问请求转发至所述第一云存储网关设备，并基于所述第一云存储网关设备的指示从所述本地缓存资源或所述远程云存储空间获取所述文件数据，并返回给所述第二终端，其中，所述第一云存储网关设备为所述第一终端所处地理区域内的网关设备；所述第二云存储网关设备为所述第二终端所处地理区域内的网关设备。

10.根据权利要求9所述的系统，其中，所述第一云存储网关设备包括：

地理位置管理装置，用于响应于所述第一终端的登录操作，获取所述第一终端的地理位置信息；基于所述第一终端的地理位置信息，从多个云存储服务器中确定与所述第一终端适配的目标云存储服务器，其中，所述目标云存储服务器用于为所述第一终端提供所述远程云存储空间。

11.根据权利要求10所述的系统，其中，所述第一云存储网关设备包括：

文件协议处理装置，用于解析所述文件存储请求,得到所述文件元数据和所述文件数据，以及将切分所述文件数据得到的多个数据块分别存储至所述本地缓存资源；

元数据处理装置，用于将所述文件元数据存储至所述本地缓存资源的键值对数据库；

云存储接口，用于连接所述目标云存储服务器的对象存储接口，以将所述多个数据块存储至所述远程云存储空间。

12.一种数据访问处理装置，包括位于边缘云的云存储网关，所述云存储网关与其他边缘云的云存储网关及远程云存储资源连接，所述装置包括：

解析模块，用于响应于第一终端的文件存储请求，为第一云存储网关设备解析所述文件存储请求得到文件元数据和文件数据；

访问处理模块，用于为所述第一云存储网关设备将所述文件元数据存储至本地缓存资源，所述第一云存储网关设备切分所述文件数据存储至所述本地缓存资源和所述远程云存储空间，以使得响应于第二终端请求访问所述文件数据的文件访问请求，指示第二云存储网关设备从所述本地缓存资源或所述远程云存储空间获取所述文件数据，并返回给所述第二终端，其中，所述第一云存储网关设备为所述第一终端所处地理区域内的网关设备；所述第二云存储网关设备为所述第二终端所处地理区域内的网关设备。

13.一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至8中任一项所述的数据访问处理方法。

14.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至8中任一项所述的数据访问处理方法。

Images