CN110324406A - 一种获取业务数据的方法和云服务系统 - Google Patents

Abstract

本发明实施例提供一种获取业务数据的方法和云服务系统，属于计算机技术领域。方法包括：目标边缘节点接收目标业务请求，并检测本地是否已存储所述目标业务请求指向的目标业务数据；若未存储所述目标业务数据，所述目标边缘节点则向所述IPFS管理设备发送所述目标业务数据的数据查询请求；所述IPFS管理设备查询所述IPFS集群中是否已存储所述目标业务数据，并向所述目标边缘节点发送查询结果；所述目标边缘节点根据所述查询结果从所述IPFS集群或所述目标业务数据的源站获取所述目标业务数据。采用本发明，可以减少回源次数，减轻源站的负载。

Description

一种获取业务数据的方法和云服务系统

技术领域

本发明涉及计算机技术领域，特别涉及一种获取业务数据的方法和云服务系统。

背景技术

CDN(Content Distribute Network，内容分发网络)系统依靠部署在各个地区的边缘节点，可以就近向用户提供业务请求对应的业务数据，提高业务请求的响应速度。若某个边缘节点中少量缓存服务器发生故障造成该边缘节点中的部分业务数据丢失，CDN调度设备可以将指向故障缓存服务器中已丢失的业务数据的业务请求调度至其他边缘节点。若某个边缘节点中大量缓存服务器发生故障，CDN调度设备可以在CDN系统中添加一个新边缘节点替代上述边缘节点提供业务服务。

当接收到目标业务请求时，如果其他边缘节点或新边缘节点(均可称作目标边缘节点)上未存储目标业务请求对应的业务数据(可称作目标业务数据)，目标边缘节点可以从中心节点获取目标业务数据(可称为回父)，并将目标业务数据返回给目标业务请求的发起方。若中心节点上也未存储目标业务数据，中心节点则可以从源站获取业务数据(可称为回源)，并将目标业务数据返回给目标边缘节点，进而使目标边缘节点将目标业务数据返回给目标业务请求的发起方。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

随着CDN系统的业务规模不断扩大，CDN系统中的各个边缘节点需要处理业务请求越来越多，同时，目标边缘节点在替代发生故障的边缘节点对业务请求进行处理时，目标边缘节点存储有业务请求对应的业务数据的概率极小，故而边缘节点会频繁回父或回源，增加了中心节点及源站的负载，甚至可能导致中心节点及源站因负载过高而拒绝服务。

发明内容

本申请的目的在于提供一种获取业务数据的方法和云服务系统，所述技术方案如下：

第一方面，提供了一种获取业务数据的方法，所述方法应用于云服务系统，所述云服务系统包含分布式部署的多个边缘节点和IPFS集群，所述IPFS集群由IPFS管理设备和每个所述边缘节点中配置的IPFS节点构成，所述方法包括：

目标边缘节点接收目标业务请求，并检测本地是否已存储所述目标业务请求指向的目标业务数据；

若未存储所述目标业务数据，所述目标边缘节点则向所述IPFS管理设备发送所述目标业务数据的数据查询请求；

所述IPFS管理设备查询所述IPFS集群中是否已存储所述目标业务数据，并向所述目标边缘节点发送查询结果；

所述目标边缘节点根据所述查询结果从所述IPFS集群或所述目标业务数据的源站获取所述目标业务数据。

可选的，所述方法还包括：

所述云服务系统中的任意边缘节点从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备按照预设散列算法计算所述业务数据的数据散列值，并将所述业务数据存储至所述数据散列值对应的IPFS节点；

所述IPFS管理设备根据所述业务数据的数据散列值及所述数据散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

可选的，所述IPFS管理设备查询所述IPFS集群中是否存在所述目标业务数据，并向所述目标边缘节点发送查询结果，包括：

所述IPFS管理设备查询所述数据存储记录中是否存在所述目标业务数据的目标数据散列值；

若查询到所述目标数据散列值，所述IPFS管理设备则向所述目标边缘节点发送所述目标数据散列值对应的目标数据索引；

若未查询到所述目标数据散列值，所述IPFS管理设备则向所述目标边缘节点发送不存在所述目标业务数据的业务响应。

可选的，所述数据查询请求携带有所述目标业务数据的目标资源定位符；

所述IPFS管理设备查询所述数据存储记录中是否存在所述目标业务数据的目标数据散列值之前，还包括：

所述IPFS管理设备从预设的资源定位符与数据散列值的映射关系记录中获取所述目标业务数据的目标资源定位符对应的目标数据散列值。

可选的，所述目标边缘节点根据所述查询结果从所述IPFS集群或源站获取所述目标业务数据，包括：

若接收到所述目标数据散列值对应的目标数据索引，所述目标边缘节点从所述目标数据索引指向的IPFS节点获取所述目标业务数据；

若接收到不存在所述目标业务数据的业务响应，所述目标边缘节点则从所述目标业务数据的源站获取所述目标业务数据。

可选的，所述方法还包括：

所述云服务系统中的任意边缘节点从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备按照预设分片算法将所述业务数据分割为多个数据片段，并按照预设散列算法计算每个所述数据片段的片段散列值及所述业务数据的数据散列值；

所述IPFS管理设备将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点；

所述IPFS管理设备根据所述业务数据的数据散列值、所有所述片段散列值及每个所述片段散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

可选的，所述IPFS管理设备将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点，包括：

所述IPFS管理设备查询所述数据存储记录中是否存在所述业务数据的数据散列值；

若不存在，所述IPFS管理设备则将所述业务数据的每个数据片段存储至所述数据片段的片段散列值对应的IPFS节点。

可选的，所述IPFS管理设备将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点，包括：

所述IPFS管理设备根据预设冗余配置，将每个所述数据片段复制多份，并将每个所述数据片段的多个备份分别存储至每个所述数据片段的片段散列值对应的多个IPFS节点。

可选的，若接收到所述目标数据散列值对应的目标数据索引，所述目标边缘节点从所述目标数据索引指向的IPFS节点获取所述目标业务数据，包括：

若接收到所述目标数据散列值对应的目标数据索引，所述目标边缘节点则确定所述目标数据索引中记录的每个所述片段散列值对应的多个IPFS节点；

所述目标边缘节点从每个所述片段散列值对应的多个IPFS节点中就近获取所述片段散列值对应的数据片段。

可选的，其特征在于，所述方法还包括：

当接收到IPFS配置指令时，所述边缘节点在本地配置IPFS节点并为所述IPFS节点配置存储空间。

第二方面，提供了一种云服务系统，所述系统包含分布式部署的多个边缘节点和IPFS集群，所述IPFS集群由IPFS管理设备和每个所述边缘节点中配置的IPFS节点构成，其中：

目标边缘节点，用于接收目标业务请求，并检测本地是否已存储所述目标业务请求指向的目标业务数据；

所述目标边缘节点，还用于若未存储所述目标业务数据，向所述IPFS管理设备发送所述目标业务数据的数据查询请求；

所述IPFS管理设备，用于查询所述IPFS集群中是否已存储所述目标业务数据，并向所述目标边缘节点发送查询结果；

所述目标边缘节点，还用于根据所述查询结果从所述IPFS集群或所述目标业务数据的源站获取所述目标业务数据。

可选的，所述云服务系统中的任意边缘节点，还用于：

从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备，还用于：

按照预设散列算法计算所述业务数据的数据散列值，并将所述业务数据存储至所述数据散列值对应的IPFS节点；

根据所述业务数据的数据散列值及所述数据散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

可选的，所述IPFS管理设备，具体用于：

查询所述数据存储记录中是否存在所述目标业务数据的目标数据散列值；

若查询到所述目标数据散列值，则向所述目标边缘节点发送所述目标数据散列值对应的目标数据索引；

若未查询到所述目标数据散列值，则向所述目标边缘节点发送不存在所述目标业务数据的业务响应。

可选的，所述数据查询请求携带有所述目标业务数据的目标资源定位符；

所述IPFS管理设备，还用于：

从预设的资源定位符与数据散列值的映射关系记录中获取所述目标业务数据的目标资源定位符对应的目标数据散列值。

可选的，所述目标边缘节点，具体用于：

若接收到所述目标数据散列值对应的目标数据索引，则从所述目标数据索引指向的IPFS节点获取所述目标业务数据；

若接收到不存在所述目标业务数据的业务响应，则从所述目标业务数据的源站获取所述目标业务数据。

可选的，所述云服务系统中的任意边缘节点，还用于：

从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备，还用于：

按照预设分片算法将所述业务数据分割为多个数据片段，并按照预设散列算法计算每个所述数据片段的片段散列值及所述业务数据的数据散列值；

将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点；

根据所述业务数据的数据散列值、所有所述片段散列值及每个所述片段散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

可选的，所述IPFS管理设备，具体用于：

查询所述数据存储记录中是否存在所述业务数据的数据散列值；

若不存在，则将所述业务数据的每个数据片段存储至所述数据片段的片段散列值对应的IPFS节点。

可选的，所述IPFS管理设备，具体用于：

根据预设冗余配置，将每个所述数据片段复制多份，并将每个所述数据片段的多个备份分别存储至每个所述数据片段的片段散列值对应的多个IPFS节点。

可选的，所述目标边缘节点，具体用于：

若接收到所述目标数据散列值对应的目标数据索引，则确定所述目标数据索引中记录的每个所述片段散列值对应的多个IPFS节点；

从每个所述片段散列值对应的多个IPFS节点中就近获取所述片段散列值对应的数据片段。

可选的，所述边缘节点，还用于：

当接收到IPFS配置指令时，在本地配置IPFS节点并为所述IPFS节点配置存储空间。

第三方面，提供了一种服务器，所述服务器包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器中存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的获取业务数据的方法中目标边缘节点、IPFS管理设备或IPFS节点的处理。

第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的获取业务数据的方法中目标边缘节点、IPFS管理设备或IPFS节点的处理。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，通过IPFS集群对业务数据进行备份，可以带来以下有益效果：第一，云服务系统中的任意边缘节点均可向IPFS集群上传业务数据，之后，云服务系统中的所有边缘节点均可从IPFS集群获取该业务数据，减少了回源次数，减轻源站的负载；第二，IPFS集群可以对业务数据进行分片存储，边缘节点可以同时从多个IPFS节点下载业务数据的各个数据片段，提高了业务数据下载效率；第三，IPFS集群还可以将业务数据在IPFS集群中存储多个备份，使得任意边缘节点可以就近下载业务数据，降低了网络时延；第四，IPFS集群利用边缘节点分配出的空闲存储空间来存储业务数据，提高了边缘节点中存储资源的利用率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种云服务系统的结构示意图；

图2为发明实施例提供的一种获取业务数据的方法流程图；

图3是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种获取业务数据的方法，该方法应用于云服务系统，云服务系统可以包含分布式部署的多个边缘节点和IPFS集群。其中，IPFS集群可以由IPFS管理设备和每个边缘节点中配置的IPFS节点构成(可参见图1)，IPFS节点可以是边缘节点创建的，依托于边缘节点的网络设备上，其主要用于存储业务数据，IPFS管理设备主要用于对各个IPFS节点存储的业务数据进行管理。当边缘节点需要获取某项业务数据时，边缘节点可以向IPFS集群中的IPFS管理设备请求获取业务数据，IPFS管理设备可以向边缘节点发送业务数据的存储信息，从而使得边缘节点可以从存储信息所指向的IPFS节点处获取业务数据。上述边缘节点和IPFS管理设备均可以包括处理器、存储器、收发器，处理器可以用于进行下述流程中执行获取业务数据的处理，存储器可以用于存储下述处理过程中需要的数据以及产生的数据，收发器可以用于接收和发送下述处理过程中的相关数据。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

步骤201，目标边缘节点接收目标业务请求，并检测本地是否已存储目标业务请求指向的目标业务数据。

在实施中，当某个边缘节点加入云服务系统提供业务服务时，可以同时在该边缘节点上配置IPFS节点，使得该边缘节点可以与IPFS集群进行数据交互。具体的，云服务系统的技术人员可以向边缘节点下发IPFS配置指令，当接收到IPFS配置指令时，边缘节点可以在本地安装IPFS协议并创建IPFS节点，为IPFS节点分配存储空间后将该IPFS节点加入IPFS集群。其中，每个IPFS节点在创建时可以生成一个全局唯一的节点标识符(Node ID)，可以理解，不同IPFS节点具备不同的节点标识符。值得一提的是，边缘节点可以按照默认配置为IPFS节点分配存储空间，也可以按照云服务系统的技术人员人工下发的配置为IPFS节点分配存储空间。

云服务系统中的调度设备在接收到用户发送的业务请求后，可以为该业务请求选择一个合适的边缘节点提供服务，选择的条件可以包括：根据业务请求的IP地址，选择距离用户较近的边缘节点；查询各个边缘节点当前的负载情况，选择尚有服务能力的边缘节点等。云服务系统中的调度设备将用户发出的目标业务请求调度至目标边缘节点后，目标边缘节点可以接收到该目标业务请求，继而可以检测目标边缘节点中是否已存储目标业务请求指向的目标业务数据。可以理解，如果目标边缘节点中存储了目标业务数据，目标边缘节点则可以直接响应目标业务请求，将目标业务数据发送给用户；如果目标边缘节点中未存储目标业务数据，目标边缘节点则需要先获取目标业务数据。

步骤202，若未存储目标业务数据，目标边缘节点则向IPFS管理设备发送目标业务数据的数据查询请求。

在实施中，目标边缘节点如果检测到本地未存储目标业务数据，由于目标边缘节点上创建了IPFS节点，则无需直接回父或回源获取目标业务数据，而是向IPFS集群请求获取目标业务数据，此时，目标边缘节点可以向IPFS集群中的IPFS管理设备发送目标业务数据的数据查询请求，以使IPFS管理设备查询IPFS集群中是否存储了目标业务数据。其中，目标边缘节点未存储目标业务数据的原因可以包括：目标边缘节点首次接收到目标业务请求、目标边缘节点中存储的目标业务数据因机器故障丢失、目标边缘节点中存储的目标业务数据因长期无用户访问被删除等。

步骤203，IPFS管理设备查询IPFS集群中是否已存储目标业务数据，并向目标边缘节点发送查询结果。

在实施中，IPFS管理设备接收到目标边缘节点发送的目标业务数据的数据查询请求后，可以查询IPFS集群中是否已存储目标业务数据。之后，IPFS管理设备可以将查询结果发送至目标边缘节点，以使目标边缘节点根据查询结果获取目标业务数据。可以理解，IPFS集群中存储的业务数据是由云服务系统中的各个边缘节点上传的，如果云服务系统中的所有边缘节点均未向IPFS集群上传目标业务数据，查询结果将为空，此时，目标边缘节点将不能从IPFS集群中获取目标业务数据。

可选的，IPFS集群中存储的业务数据可以是云服务系统中的任意边缘节点在回源获取业务数据后主动向IPFS集群上传的，相应的可以存在如下处理：云服务系统中的任意边缘节点从源站获取业务数据后，将业务数据上传至IPFS管理设备；IPFS管理设备按照预设散列算法计算业务数据的数据散列值，并将业务数据存储至数据散列值对应的IPFS节点；IPFS管理设备根据业务数据的数据散列值及该数据散列值对应的IPFS节点的节点信息生成数据索引，并将数据索引存储至IPFS集群的数据存储记录中。

在实施中，IPFS集群在云服务系统中主要用于存储业务数据。当出现源站通过中心节点向云服务系统中的边缘节点推送数据更新的通知，或者边缘节点从IPFS集群中未获取到业务数据等情况时，边缘节点均可以从源站获取相应的业务数据，并可以同时将从源站获取的业务数据上传至IPFS集群中的IPFS管理设备，由IPFS管理设备将所有边缘节点上传的业务数据存储在IPFS集群中。具体的，IPFS管理设备在接收到边缘节点上传的业务数据后，可以按照预设散列算法(例如sha-256算法)根据边业务数据的具体内容计算该业务数据的数据散列值，然后可以将该业务数据存储至该业务数据的数据散列值对应的IPFS节点。接下来，IPFS管理设备可以根据业务数据的数据散列值及该数据散列值对应的IPFS节点的节点信息生成数据索引，并将数据索引存储至IPFS集群的数据存储记录中。其中，IPFS节点的节点信息可以包括IPFS节点的节点标识符及IPFS节点的网络地址等。

进一步的，IPFS管理设备可以根据目标业务数据的目标数据散列值来查询IPFS集群中是否已存储目标业务数据。相应的，步骤203具体的处理可以如下：IPFS管理设备查询IPFS集群的数据存储记录中是否存在目标业务数据的目标数据散列值；若查询到目标数据散列值，IPFS管理设备则向目标边缘节点发送目标数据散列值对应的目标数据索引；若未查询到目标数据散列值，IPFS管理设备则向目标边缘节点发送不存在目标业务数据的业务响应。

在实施中，IPFS集群的数据存储记录中可以存储有IPFS集群中存储的每项业务数据的数据索引，每条数据索引可以记录对应的业务数据的数据散列值及存储业务数据的存储信息等。这样，IPFS管理设备接收到目标边缘节点发送的目标业务数据的数据查询请求后，可以查询IPFS集群的数据存储记录中是否存在目标业务数据的目标数据散列值，若查询到目标数据散列值，说明IPFS集群中已存储目标业务数据，IPFS管理设备则可以向目标边缘节点发送目标数据散列值对应的数据索引(可称作目标数据索引)；若未查询到目标数据散列值，说明IPFS集群中未存储目标业务数据，IPFS管理设备则向目标边缘节点发送不存在目标业务数据的业务响应。其中，目标数据索引可以是DHT(Distributed Hash Table，分布式哈希表)，生成DHT的过程可以采用Kademlia、Coral及S/Kademlia等算法中的任意算法，本发明对此不作限制。

可选的，边缘节点发送的数据查询请求中可以携带有目标业务数据的目标资源定位符，相应的，IPFS管理设备查询目标数据散列值之前可以存在如下处理：IPFS管理设备从预设的资源定位符与数据散列值的映射关系记录中获取目标业务数据对应的目标数据散列值。

在实施中，IPFS集群主要基于数据散列值来查询业务数据，而边缘节点主要基于资源定位符来查询业务数据，故而，IPFS集群可以预先存储有资源定位符与数据散列值的映射关系记录。这样，当IPFS集群中的IPFS管理设备接收到了携带目标业务数据的目标资源定位符的数据查询请求时，IPFS管理设备可以通过预先配置的API(ApplicationProgramming Interface，应用程序编程接口)访问资源定位符与数据散列值的映射关系记录，并从该映射关系记录中查找目标资源定位符与目标数据散列值的映射关系，进而获取到目标业务数据的目标数据散列值。例如，目标资源定位符可以是URL(Uniform ResourceLocator，统一资源定位符)，预先配置的API可以是Restful(representational statetransfer，表述性状态转移式的)API，IPFS管理设备通过调用Restful API访问资源定位符与数据散列值的映射关系记录，IPFS管理设备可以将目标业务数据的URL输入RESTfulAPI，若映射关系记录中存在目标业务数据的URL与目标数据散列值的映射关系，RESTfulAPI则向IPFS管理设备反馈目标数据散列值。可以理解，若映射关系记录中不存在目标业务数据的URL与目标数据散列值的映射关系，RESTful API则向IPFS管理设备发送的响应数据为空。

步骤204，目标边缘节点根据查询结果从IPFS集群或目标业务数据的源站获取目标业务数据。

在实施中，IPFS管理设备向目标边缘节点发送的查询结果包括两种情况：IPFS集群中已存储目标业务数据或IPFS集群中未存储目标业务数据。可以理解，若IPFS集群中已存储目标业务数据，目标边缘节点则可以从IPFS集群获取目标业务数据，若IPFS集群中未存储目标业务数据，目标边缘节点则可以从目标业务数据的源站获取目标业务数据。

可选的，基于上述IPFS管理设备查询目标数据散列值并向目标边缘节点反馈查询结果的处理，步骤204具体的处理可以如下：若接收到目标数据散列值对应的目标数据索引，目标边缘节点从目标数据索引指向的IPFS节点获取目标业务数据；若接收到不存在目标业务数据的业务响应，目标边缘节点从目标业务数据的源站获取目标业务数据。

在实施中，若目标边缘节点接收到针对目标业务数据的数据查询请求的查询结果为目标数据索引，说明IPFS集群中已存储目标业务数据，目标边缘节点则可以根据目标数据索引中记录的目标业务数据的存储信息，从存储信息指向的IPFS节点中获取目标业务数据。若目标边缘节点接收到针对目标业务数据的数据查询请求的查询结果为不存在目标业务数据的业务响应，说明IPFS集群中未存储目标业务数据，目标边缘节点则可以从目标业务数据的源站获取目标业务数据。

可选的，为了提高IPFS集群中业务数据的存储及下载效率，IPFS管理设备可以将完整的业务数据分割为多个数据片段，分散存储至多个IPFS节点，相应的，IPFS集群存储业务数据的处理可以如下：云服务系统中的任意边缘节点从源站获取业务数据后，将业务数据上传至IPFS管理设备；IPFS管理设备按照预设分片算法将业务数据分割为多个数据片段，并按照预设散列算法计算每个数据片段的片段散列值及业务数据的数据散列值；IPFS管理设备将每个数据片段存储至数据片段的片段散列值对应的IPFS节点；IPFS管理设备根据业务数据的数据散列值、所有片段散列值及每个片段散列值对应的IPFS节点的节点信息生成数据索引，并将数据索引存储至IPFS集群的数据存储记录中。

在实施中，云服务系统中的任意边缘节点在回源获取业务数据后，将业务数据主动上传至IPFS集群中的IPFS管理设备。IPFS管理设备接收到边缘节点上传的业务数据后，可以将较大的业务数据按照预设分片算法分割为多个数据片段来存储。例如，IPFS管理设备使用sha-256算法对业务数据进行分片，将业务数据按照每个数据片段大小为256KB大小进行分割，并且根据每个数据片段的内容按照sha-256算法来计算每个数据片段的片段散列值。之后，IPFS管理设备可以将业务数据的每个数据片段存储至其片段散列值对应的IPFS节点。并且，IPFS管理设备可以根据业务数据的数据散列值、所有片段散列值及每个片段散列值对应的IPFS节点的节点信息生成数据索引。这样，边缘节点可以从多个IPFS节点中同时下载不同数据片段，在本地组合成完整的业务数据，提高了业务数据的下载效率。可以理解，不足256KB的数据片段也将作为一个数据块(block)单独存储；不同数据片段的散列值可能对应相同的IPFS节点。

值得一提的是，本发明也可以由边缘节点按照预设的分片算法对业务数据的进行分割，边缘节点将分割后的数据片段上传至IPFS管理设备，IPFS管理设备按照预设的散列算法计算各个数据片段的片段散列值，并将各个数据片段存储至其片段散列值对应的IPFS节点。本发明还可以由边缘节点按照预设的分片算法对业务数据的进行分割，并按照预设的散列算法计算分割后的数据片段的片段散列值，之后，边缘节点将业务数据的所有片段散列值上传至IPFS管理设备。IPFS管理设备向边缘节点发送片段散列值对应的IPFS节点的节点信息。之后，边缘节点将各个数据片段存储至对应的IPFS节点。

可选的，当多个边缘节点回源站获取相同的业务数据时，多个边缘节点均可以向IPFS管理设备发送该业务数据，为了避免浪费存储资源，IPFS管理设备可以丢弃重复的业务数据。相应的，IPFS管理设备将每个数据片段存储至数据片段的片段散列值对应的IPFS节点的处理可以如下：IPFS管理设备查询数据存储记录中是否存在业务数据的数据散列值；若不存在，IPFS管理设备则将业务数据的每个数据片段存储至数据片段的片段散列值对应的IPFS节点。

在实施中，当多个边缘节点均从同一业务数据的源站获取同一业务数据时，多个边缘节点均会向IPFS管理设备上传该业务数据，此时，多个边缘节点重复上传相同的业务数据会一定程度上浪费IPFS集群的存储资源。因此，IPFS管理设备接收到边缘节点上传的业务数据时，可以查询IPFS集群的数据存储记录中是否已存在该业务数据的数据散列值，若存在，说明其他边缘节点已将业务数据上传并成功存储至IPFS集群，IPFS管理设备则可以将具有相同数据散列值的业务数据丢弃；若不存在，说明IPFS集群中仍未存储该业务数据，IPFS管理设备则可以将业务数据的每个数据片段存储至其片段散列值对应的IPFS节点。

值得一提的是，IPFS管理设备还可以预先设置上传队列，将每个边缘节点发送的业务数据暂时存放至上传队列，并在上传队列中记录每项业务数据的数据散列值，之后，按照上传队列中业务数据的排列顺序依次存储每项业务数据。可以理解，IPFS管理设备接收到业务数据时，可以查询上传队列中是否存在该业务数据的数据散列值，若存在，说明其他边缘节点已将业务数据上传给IPFS管理设备，IPFS管理设备正在存储该业务数据，此时，IPFS管理设备则可以将后上传的业务数据丢弃；若不存在，IPFS管理设备可以进一步查询IPFS集群的数据存储记录中是否已存在该业务数据的数据散列值，如果数据存储记录中已存在该业务数据的数据散列值，IPFS管理设备则可以在IPFS节点中存储该业务数据。

可选的，IPFS管理设备可以将业务数据在IPFS集群中存储多个备份，IPFS管理设备将每个数据片段存储至数据片段的片段散列值对应的IPFS节点的处理可以如下：IPFS管理设备根据预设冗余配置，将每个数据片段复制多份，并将每个数据片段的多个备份分别存储至每个数据片段的片段散列值对应的多个IPFS节点。

在实施中，为了防止IPFS集群中存储的业务数据因IPFS节点关闭或机器故障等原因丢失，IPFS管理设备对业务数据进行分割后，可以根据IPFS集群预设的冗余配置(可称作预设冗余配置)复制业务数据的每个数据片段，并将每个数据片段的多个备份分别存储在分布在不同地理位置的不同IPFS节点上。其中，云服务系统的技术人员可以根据业务数据的实际需求对预设冗余配置进行调整，本发明对此不做限制。例如，当某段时间内，某项业务数据的访问量较大，云服务系统的技术人员可以调整预设冗余配置，使该业务数据的每个数据片段可以在IPFS集群中存储更多的备份。可以理解，当业务数据的每个数据片段在IPFS集群中存储了多个备份时，每个数据片段的片段散列值将对应多个IPFS节点，此时，业务数据的数据索引中记录的每个片段散列值对应多个IPFS节点的节点信息。

可选的，当业务数据的数据片段在IPFS集群中存储了多个备份时，目标边缘节点可以从多个备份中选取一个备份下载，相应的，目标边缘节点从目标数据索引指向的IPFS节点获取目标业务数据的处理可以如下：若接收到目标数据散列值对应的目标数据索引，目标边缘节点则确定目标数据索引中记录的每个片段散列值对应的多个IPFS节点；目标边缘节点从每个片段散列值对应的多个IPFS节点中就近获取片段散列值对应的数据片段。

在实施中，目标业务数据的所有数据片段均在IPFS集群中存储了多个备份，IPFS管理设备将目标业务数据的存储信息记录在目标数据索引中。故而，当接收到目标边缘节点发送的目标数据查询请求时，IPFS管理设备可以向目标边缘节点发送目标数据索引。其中，目标数据索引中记录了目标业务数据的每个数据片段的片段散列值对应的所有IPFS节点的节点信息。目标边缘节点确定每个片段散列值对应的所有IPFS节点后，可以从每个片段散列值对应的所有IPFS节点中选取地理位置距离目标边缘节点最近的IPFS节点，就近下载每个片段散列值对应的数据片段，能够降低网络时延。

值得一提的是，云服务系统中的调度设备可以对云服务系统的各个边缘节点的健康状态进行监控，以便及时将发往故障的边缘节点的业务请求调度至其他边缘节点。边缘节点在向IPFS集群上传业务数据时，可以对业务数据进行加密，并将业务数据的密钥发送给指定的边缘节点，这样，针对加密的业务数据，只能拥有业务数据的密钥的边缘节点可以从IPFS集群下载该业务数据。

本发明实施例中，通过IPFS集群对业务数据进行备份，可以带来以下有益效果：第一，云服务系统中的任意边缘节点均可向IPFS集群上传业务数据，之后，云服务系统中的所有边缘节点均可从IPFS集群获取该业务数据，减少了回源次数，减轻源站的负载；第二，IPFS集群可以对业务数据进行分片存储，边缘节点可以同时从多个IPFS节点下载业务数据的各个数据片段，提高了业务数据下载效率；第三，IPFS集群还可以将业务数据在IPFS集群中存储多个备份，使得任意边缘节点可以就近下载业务数据，降低了网络时延；第四，IPFS集群利用边缘节点分配出的空闲存储空间来存储业务数据，提高了边缘节点中存储资源的利用率。

基于相同的技术构思，本发明实施例还提供了一种云服务系统，所述系统包含分布式部署的多个边缘节点和IPFS集群，所述IPFS集群由IPFS管理设备和每个所述边缘节点中配置的IPFS节点构成，其中：

目标边缘节点，用于接收目标业务请求，并检测本地是否已存储所述目标业务请求指向的目标业务数据；

所述目标边缘节点，还用于若未存储所述目标业务数据，向所述IPFS管理设备发送所述目标业务数据的数据查询请求；

所述IPFS管理设备，用于查询所述IPFS集群中是否已存储所述目标业务数据，并向所述目标边缘节点发送查询结果；

所述目标边缘节点，还用于根据所述查询结果从所述IPFS集群或所述目标业务数据的源站获取所述目标业务数据。

可选的，所述云服务系统中的任意边缘节点，还用于：

从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备，还用于：

按照预设散列算法计算所述业务数据的数据散列值，并将所述业务数据存储至所述数据散列值对应的IPFS节点；

根据所述业务数据的数据散列值及所述数据散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

可选的，所述IPFS管理设备，具体用于：

查询所述数据存储记录中是否存在所述目标业务数据的目标数据散列值；

若查询到所述目标数据散列值，则向所述目标边缘节点发送所述目标数据散列值对应的目标数据索引；

若未查询到所述目标数据散列值，则向所述目标边缘节点发送不存在所述目标业务数据的业务响应。

可选的，所述数据查询请求携带有所述目标业务数据的目标资源定位符；

所述IPFS管理设备，还用于：

从预设的资源定位符与数据散列值的映射关系记录中获取所述目标业务数据的目标资源定位符对应的目标数据散列值。

可选的，所述目标边缘节点，具体用于：

若接收到所述目标数据散列值对应的目标数据索引，则从所述目标数据索引指向的IPFS节点获取所述目标业务数据；

若接收到不存在所述目标业务数据的业务响应，则从所述目标业务数据的源站获取所述目标业务数据。

可选的，所述云服务系统中的任意边缘节点，还用于：

从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备，还用于：

按照预设分片算法将所述业务数据分割为多个数据片段，并按照预设散列算法计算每个所述数据片段的片段散列值及所述业务数据的数据散列值；

将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点；

根据所述业务数据的数据散列值、所有所述片段散列值及每个所述片段散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

可选的，所述IPFS管理设备，具体用于：

查询所述数据存储记录中是否存在所述业务数据的数据散列值；

若不存在，则将所述业务数据的每个数据片段存储至所述数据片段的片段散列值对应的IPFS节点。

可选的，所述IPFS管理设备，具体用于：

根据预设冗余配置，将每个所述数据片段复制多份，并将每个所述数据片段的多个备份分别存储至每个所述数据片段的片段散列值对应的多个IPFS节点。

可选的，所述目标边缘节点，具体用于：

若接收到所述目标数据散列值对应的目标数据索引，则确定所述目标数据索引中记录的每个所述片段散列值对应的多个IPFS节点；

从每个所述片段散列值对应的多个IPFS节点中就近获取所述片段散列值对应的数据片段。

可选的，所述边缘节点，还用于：

当接收到IPFS配置指令时，在本地配置IPFS节点并为所述IPFS节点配置存储空间。

本发明实施例中，通过IPFS集群对业务数据进行备份，可以带来以下有益效果：第一，云服务系统中的任意边缘节点均可向IPFS集群上传业务数据，之后，云服务系统中的所有边缘节点均可从IPFS集群获取该业务数据，减少了回源次数，减轻源站的负载；第二，IPFS集群可以对业务数据进行分片存储，边缘节点可以同时从多个IPFS节点下载业务数据的各个数据片段，提高了业务数据下载效率；第三，IPFS集群还可以将业务数据在IPFS集群中存储多个备份，使得任意边缘节点可以就近下载业务数据，降低了网络时延；第四，IPFS集群利用边缘节点分配出的空闲存储空间来存储业务数据，提高了边缘节点中存储资源的利用率。

本发明实施例还提供了一种服务器，如图3所示，包括：

存储器301，用于存储程序指令；

处理器302，用于调用所述存储器中存储的程序指令，按照获得的程序执行前述实施例中获取业务数据的方法中目标边缘节点、IPFS管理设备或IPFS节点的处理。

本发明实施例还提供了一种计算机存储介质，计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行前述实施例中的服务器所执行的方法步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种获取业务数据的方法，其特征在于，所述方法应用于云服务系统，所述云服务系统包含分布式部署的多个边缘节点和IPFS集群，所述IPFS集群由IPFS管理设备和每个所述边缘节点中配置的IPFS节点构成，所述方法包括：

目标边缘节点接收目标业务请求，并检测本地是否已存储所述目标业务请求指向的目标业务数据；

若未存储所述目标业务数据，所述目标边缘节点则向所述IPFS管理设备发送所述目标业务数据的数据查询请求；

所述IPFS管理设备查询所述IPFS集群中是否已存储所述目标业务数据，并向所述目标边缘节点发送查询结果；

所述目标边缘节点根据所述查询结果从所述IPFS集群或所述目标业务数据的源站获取所述目标业务数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述云服务系统中的任意边缘节点从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备按照预设散列算法计算所述业务数据的数据散列值，并将所述业务数据存储至所述数据散列值对应的IPFS节点；

所述IPFS管理设备根据所述业务数据的数据散列值及所述数据散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

3.如权利要求2所述的方法，其特征在于，所述IPFS管理设备查询所述IPFS集群中是否存在所述目标业务数据，并向所述目标边缘节点发送查询结果，包括：

所述IPFS管理设备查询所述数据存储记录中是否存在所述目标业务数据的目标数据散列值；

若查询到所述目标数据散列值，所述IPFS管理设备则向所述目标边缘节点发送所述目标数据散列值对应的目标数据索引；

若未查询到所述目标数据散列值，所述IPFS管理设备则向所述目标边缘节点发送不存在所述目标业务数据的业务响应。

4.如权利要求3所述的方法，其特征在于，所述数据查询请求携带有所述目标业务数据的目标资源定位符；

所述IPFS管理设备查询所述数据存储记录中是否存在所述目标业务数据的目标数据散列值之前，还包括：

所述IPFS管理设备从预设的资源定位符与数据散列值的映射关系记录中获取所述目标业务数据的目标资源定位符对应的目标数据散列值。

5.如权利要求3所述的方法，其特征在于，所述目标边缘节点根据所述查询结果从所述IPFS集群或源站获取所述目标业务数据，包括：

若接收到所述目标数据散列值对应的目标数据索引，所述目标边缘节点从所述目标数据索引指向的IPFS节点获取所述目标业务数据；

若接收到不存在所述目标业务数据的业务响应，所述目标边缘节点则从所述目标业务数据的源站获取所述目标业务数据。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述云服务系统中的任意边缘节点从源站获取业务数据后，将所述业务数据上传至所述IPFS管理设备；

所述IPFS管理设备按照预设分片算法将所述业务数据分割为多个数据片段，并按照预设散列算法计算每个所述数据片段的片段散列值及所述业务数据的数据散列值；

所述IPFS管理设备将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点；

所述IPFS管理设备根据所述业务数据的数据散列值、所有所述片段散列值及每个所述片段散列值对应的IPFS节点的节点信息生成数据索引，并将所述数据索引存储至所述IPFS集群的数据存储记录中。

7.如权利要求6所述的方法，其特征在于，所述IPFS管理设备将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点，包括：

所述IPFS管理设备查询所述数据存储记录中是否存在所述业务数据的数据散列值；

若不存在，所述IPFS管理设备则将所述业务数据的每个数据片段存储至所述数据片段的片段散列值对应的IPFS节点。

8.如权利要求6所述的方法，其特征在于，所述IPFS管理设备将每个所述数据片段存储至所述数据片段的片段散列值对应的IPFS节点，包括：

所述IPFS管理设备根据预设冗余配置，将每个所述数据片段复制多份，并将每个所述数据片段的多个备份分别存储至每个所述数据片段的片段散列值对应的多个IPFS节点。

9.如权利要求8所述的方法，其特征在于，若接收到所述目标数据散列值对应的目标数据索引，所述目标边缘节点从所述目标数据索引指向的IPFS节点获取所述目标业务数据，包括：

若接收到所述目标数据散列值对应的目标数据索引，所述目标边缘节点则确定所述目标数据索引中记录的每个所述片段散列值对应的多个IPFS节点；

所述目标边缘节点从每个所述片段散列值对应的多个IPFS节点中就近获取所述片段散列值对应的数据片段。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到IPFS配置指令时，所述边缘节点在本地配置IPFS节点并为所述IPFS节点配置存储空间。

11.一种云服务系统，其特征在于，所述系统包含分布式部署的多个边缘节点和IPFS集群，所述IPFS集群由IPFS管理设备和每个所述边缘节点中配置的IPFS节点构成，其中：

目标边缘节点，用于接收目标业务请求，并检测本地是否已存储所述目标业务请求指向的目标业务数据；

所述目标边缘节点，还用于若未存储所述目标业务数据，向所述IPFS管理设备发送所述目标业务数据的数据查询请求；

所述IPFS管理设备，用于查询所述IPFS集群中是否已存储所述目标业务数据，并向所述目标边缘节点发送查询结果；

所述目标边缘节点，还用于根据所述查询结果从所述IPFS集群或所述目标业务数据的源站获取所述目标业务数据。

12.如权利要求11所述的系统，其特征在于，所述系统用于实现如权利要求2至10任一项所述的获取业务数据的方法。

13.一种服务器，其特征在于，所述服务器包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器中存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10任一项所述的获取业务数据的方法中目标边缘节点、IPFS管理设备或IPFS节点的处理。

14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的获取业务数据的方法中目标边缘节点、IPFS管理设备或IPFS节点的处理。