CN113132439B - 一种数据处理方法和系统及边缘节点 - Google Patents

Abstract

本文是关于一种数据处理方法和系统及边缘节点，所述边缘节点包括一个或至少两个服务器，其中至少一个服务器包括网络前端模块和第一存储后端模块，其中：所述网络前端模块，用于接收用户终端发送的服务请求，并对所述服务请求进行解析，确定用于响应所述服务请求的目标数据，并从所述第一存储后端模块获取所述目标数据，利用所述目标数据对所述服务请求进行响应；所述第一存储后端模块，用于响应所述网络前端模块对目标数据的获取请求。

Description

一种数据处理方法和系统及边缘节点

技术领域

本文涉及通信领域，尤其涉及一种数据处理方法和系统及边缘节点。

背景技术

内容分发网络(Content Delivery Network，CDN)可以将源站内容分发至最接近用户的节点，使用户就近取得所需的内容，提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等多种场景。

相关技术中，用户通过客户端向边缘节点发起服务请求，边缘节点在本地查询是否存储有该服务请求对应的数据，在查询到该服务请求对应的数据后，利用该数据响应该服务请求；在未查询到该服务请求对应的数据后，从边缘节点的上级节点获取该数据，在从上级节点获取到数据后，利用该数据响应该服务请求。

在边缘节点响应服务请求过程中，存在资源消耗过大的问题。

发明内容

为克服相关技术中存在的至少一个问题，本文提供一种数据处理方法和系统及边缘节点。

本文一方面，提供一种边缘节点，包括至少一个服务器，其中每个服务器包括一个网络前端模块和一个存储后端系统，所述存储后端系统仅包括第一存储后端模块，其中：

所述网络前端模块，用于接收用户终端发送的服务请求，并对所述服务请求进行解析，确定用于响应所述服务请求的目标数据，并从所述第一存储后端模块获取所述目标数据，利用所述目标数据对所述服务请求进行响应；

所述第一存储后端模块，用于响应所述网络前端模块对目标数据的获取请求。

在一个示例性实施例中，所述网络前端模块包括：

获取单元，用于在对所述服务请求进行解析后，获取所述服务请求中携带的定制化请求信息；

处理单元，用于根据所述定制化请求信息，处理所述服务请求。

在一个示例性实施例中，所述边缘节点包括至少两个服务器，所述至少两个服务器的第一存储后端模块使用同一个集群系统进行数据存储；其中所述第一存储后端模块包括：

判断单元，用于判断所述边缘节点内的服务器是否存储有所述目标数据，得到第一判断结果；

所述第一请求单元，用于在第一判断结果为所述边缘节点内的服务器中有存储有所述目标数据的第一目标服务器时，向所述第一目标服务器的第一存储后端模块请求所述目标数据。

在一个示例性实施例中，所述第一存储后端模块还包括：

选择单元，用于在所述查询结果为所述边缘节点中没有服务器存储有所述目标数据时，从所述其他可用的边缘节点或上级节点服务器中选择一个服务器作为第二目标服务器；

第二请求单元，用于控制所述边缘节点中的第一存储后端模块向第二目标服务器请求所述目标数据。

在一个示例性实施例中，所述第二请求单元包括：

判断子单元，用于从与所述边缘节点通信的其他边缘节点中，判断是否有存储所述目标数据，得到第二判断结果；

第一请求子单元，用于在第二判断结果为有所述目标数据，从所述其他边缘节点的存储后端模块获取所述目标数据；

第二请求子单元，用于在第二判断结果为没有目标数据，从所述边缘节点对应的上级节点的存储后端模块获取所述目标数据。

在一个示例性实施例中，所述判断子单元在确定存储有所述目标数据的边缘节点有至少一个时，通过如下三个条件确定所述目标边缘节点，包括：

存储有目标数据的边缘节点的带宽信息符合预先设置的带宽充裕的判断策略；

存储有目标数据的边缘节点的负载信息符合预先设置的负载的判断策略；

存储有目标数据的边缘节点与所述边缘节点之间的通信距离符合预先设置的近距离的判断策略。

在一个示例性实施例中，若有所述目标数据的边缘节点至少有两个符合以上三个条件，随机从所述的符合条件边缘节点确定目标边缘节点；

若所有有所述目标数据的边缘节点都不符合以上三个条件，从所述边缘节点对应的上级节点获取所述目标数据。

在一个示例性实施例中，所述判断子单元通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是其他边缘节点对所存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

本文另一方面，提供一种数据处理系统，包括：

上文任一所述的边缘节点；

上级节点，包括上一级节点，用于向所述边缘节点提供所需的目标数据。

在一个示例性实施例中，所述上级节点包括至少一个服务器，其中所述至少一个服务器包括第二存储后端模块，所述第二存储后端模块包括：

存储后端单元，用于提供服务请求所需的目标数据。

在一个示例性实施例中，所述上级节点包括至少一个服务器，其中所述至少一个服务器包括第二存储后端模块，其中所述上级节点的第二存储后端模块与所述边缘节点的存储后端模块使用同一个集群系统进行数据存储。

在一个示例性实施例中，所述上级节点，还用于在本地未存储所述目标数据时，从与所述上级节点通信的其他上级节点中，判断是否有存储所述目标数据的目标上级节点，得到第三判断结果；在第三判断结果为有存储该目标数据的目标上级节点时，从所述目标上级节点获取所述目标数据；或者，在第三判断结果为没有存储该目标数据的目标上级节点时，从源站获取所述目标数据。

本文另一方面，提供一种数据处理方法，应用于边缘节点，所述边缘节点包括至少一个服务器，所述方法包括：

在接收到用户终端发送的服务请求后，利用服务器内的网络前端模块对所述服务请求进行解析，确定用于响应所述服务请求的目标数据；

从所述服务器内的第一存储后端模块获取所述目标数据；

利用所述目标数据对所述服务请求进行响应。

在一个示例性实施例中，所述利用服务器内的网络前端模块对所述服务请求进行解析，确定用于响应所述服务请求的目标数据之后，所述方法还包括：

获取所述服务请求中携带的定制化请求信息；

根据所述定制化请求信息，处理所述服务请求。

在一个示例性实施例中，从所述服务器内的第一存储后端模块获取所述目标数据，包括：

判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果；

在第四判断结果为所述边缘节点内的服务器有存储有所述目标数据的第三目标服务器时，利用所述服务器的第一存储后端模块向所述第三目标服务器请求所述目标数据；其中所述边缘节点包括至少两个服务器，其中所述至少两个服务器的第一存储后端模块使用同一个集群系统进行数据存储。

在一个示例性实施例中，判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果之后，所述方法还包括：

在第四判断结果为所述边缘节点内的服务器没有存储有所述目标数据的第三目标服务器时，查询与所述边缘节点对应上级节点的服务器，判断是否存储有所述目标数据，得到第五判断结果，其中所述上级节点的服务器的第二存储后端模块和边缘节点的服务器的第一存储后端模块使用同一个集群系统进行数据存储；

在第五判断结果为有存储所述目标数据的上级节点时，从所述上级节点的第二存储后端模块获取所述目标数据；

在第五判断结果没有存储所述目标数据的上级节点时，从源站获取所述目标数据。

在一个示例性实施例中，在确定存储有所述目标数据的至少一个边缘节点时，通过如下三个条件确定所述目标边缘节点，包括：

存储有目标数据的边缘节点的带宽信息符合预先设置的带宽充裕的判断策略；

存储有目标数据的边缘节点的负载信息符合预先设置的轻载的判断策略；

存储有目标数据的边缘节点与所述边缘节点之间的通信距离符合预先设置的近距离的判断策略。

在一个示例性实施例中，若存储有所述目标数据的边缘节点至少有两个符合所述三个条件，随机从符合所述三个条件的边缘节点确定目标边缘节点；

若所有存储所述目标数据的边缘节点都不符合所述三个条件，从所述边缘节点对应的上级节点获取所述目标数据。

在一个示例性实施例中，通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是其他边缘节点对所存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现上文任意一项所述方法的步骤。

一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现上文任意一项所述方法的步骤。

一种云分发网络系统，包括一个或者多个边缘节点和一层或者多层的上级节点，其中：

所述边缘节点包括一个或者多个服务器，所述的服务器包括网络前端模块和第一存储后端，所述网络前端模块，用于接收用户终端发送的服务请求；

所述上级节点包括一个或者多个服务器，所述的服务器包括第二存储后端；其中，所述第一存储后端与所述第二存储后端进行文件索引同步，用于响应所述网络前端模块对目标数据的获取请求。

本文提供的方案，在保证网络前端模块和第一存储后端模块正常工作的前提下，只有网络前端模块消耗网络交互操作所需的资源，第一存储后端模块不再消耗上述资源；另外，将存储后端中的网络前端解耦合后，省略了相关技术中网络分发前端与网络前端的数据交互操作，精简了第一存储后端模块与网络前端模块之间的交互流程，实现优化功能模块间的数据交互流程的目的，减少服务器内部资源的消耗，提高CDN程序性能；同时，无需为第一存储后端模块开发对应的网络前端，避免了编译程序的开发数量，并降低CDN程序的开发难度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。

附图说明

构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：

图1是相关技术中CDN系统的结构示意图。

图2是根据一示例性实施例示出的一种边缘节点的结构图。

图3是根据一示例性实施例示出的一种数据处理系统的结构图。

图4是根据一示例性实施例示出的一种请求处理方法的示意图。

图5是根据一示例性实施例示出的一种数据处理方法的流程图。

图6是根据一示例性实施例示出的一种计算机设备的框图。

具体实施方式

为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。

针对边缘节点响应服务请求过程中存在资源消耗过大的问题，发明人对资源消耗情况进行了分析，在CDN系统中，用户基于HTTP/HTTPS协议发起服务请求，在处理服务请求过程中资源的消耗情况，包括：

1、在启动数据的接收操作时，需分配一个进程以打开TCP/IP端口用于接收数据，而分配进程和打开TCP/IP端口的操作都会占用内存资源；

2、在接收数据过程中，需要把TCP/IP里的HTTP/HTTPS协议进行解码，包括：

a、在接收数据时，网卡需要发起大量软中断信号(softirq)，软中断信号会占用CPU计算能力，其中在CDN场景中可以占用到40％的计算能力；。

b、对数据进行解码操作时，需要耗费CPU计算能力，可以占用CPU的资源的40-70％，甚至更高。

通过上述分析，可以确定资源消耗的位置，发明人对相关技术中上述位置的通信架构进行了分析，包括：

图1是相关技术中CDN系统的结构示意图。如图1所示，CDN系统包括至少两个节点，其中至少一个节点为边缘节点，至少一个节点为上级节点，其中每个节点可以包括一个或至少两个服务器，每个服务器包括网络分发前端和存储后端；其中存储后端又可以包括网络前端和存储功能两个功能单元。服务请求的响应过程具体参见图1所示的箭头所示。

在上述架构下，发明人发现相关技术中至少存在如下至少两个性能损耗点，包括：

1.无论是边缘节点还是上级节点，服务器内的网络分发前端的功能都是提供基于http/https协议的功能；存储后端内置的网络前端用于独立提供网络服务，包括提供http/https协议的功能；即，存储后端中的网络前端的功能包括网络分发前端所实现的功能，造成提供http/https协议的功能在网络分发前端和第二存储后端模块中重复开发，且增加处理流程的复杂度，导致性能额外损耗，造成资源的浪费，成为一个性能损耗点；

2.上级节点的网络分发前端的功能是负责判断服务请求所请求的文件存放在哪一台服务器的存储后端；为了实现该功能，而专门部署网络分发前端，导致额外性能损，造成资源的浪费，成为另一性能损耗点。

基于上述分析，针对上文分析得到的性能损耗点，提出如下解决方案：

图2是根据一示例性实施例示出的一种边缘节点的结构图。图2所示边缘节点包括一个或至少两个服务器，其中至少一个服务器包括网络前端模块和第一存储后端系统，所述存储后端系统仅包括第一存储后端模块，其中：

所述网络前端模块，用于接收用户终端发送的服务请求，并对所述服务请求进行解析，确定用于响应所述服务请求的目标数据，并从所述第一存储后端模块获取所述目标数据，利用所述目标数据对所述服务请求进行响应；

所述第一存储后端模块，用于响应所述网络前端模块对目标数据的获取请求。

在一个示例性实施例中，边缘节点可以只包括一个服务器，即该服务器包括一个网络前端模块和一个第一存储后端模块；或者，

边缘节点包括至少两个服务器，其中：每个服务器均包括一个网络前端模块和一个第一存储后端模块；或者，部分服务器(如，一个或者至少两个)服务器包括网络前端模块和第一存储后端模块，其他服务器不采用上述结构。

在上文分析的基础上可以看出，由于相关技术中存储后端中的网络前端包括网络分发前端的功能，则将相关技术中的网络前端从存储后端解耦合，作为一个独立的功能模块，使得第一存储后端模块只保留存储功能，实现业务逻辑和存储逻辑的隔离。

将相关技术中第一存储后端模块中的网络前端的功能解耦合后，使得第一存储后端模块仅需实现存储功能，简化第一存储后端模块的功能，实现服务器内部功能的独立划分；与相关技术中网络分发前端和存储后端中网络前端均耗费内存和CPU的资源相比，本文提供的方案在保证网络前端模块和第一存储后端模块正常工作的前提下，只有网络前端模块消耗网络交互操作所需的资源，第一存储后端模块不再消耗上述资源；另外，将存储后端中的网络前端解耦合后，省略了相关技术中网络分发前端与网络前端的数据交互操作，精简了第一存储后端模块与网络前端模块之间的交互流程，实现优化功能模块间的数据交互流程的目的，减少服务器内部资源的消耗，提高CDN程序性能；同时，无需为第一存储后端模块开发对应的网络前端，避免了编译程序的开发数量，并降低CDN程序的开发难度。

通过上述分析可以看出，通过去除边缘节点的网络分发模块，使得存储后端中的“网络前端”实现“网络分发功能”和“网络前端”功能，明显减少边缘节点的性能损耗，提高边缘节点的业务吞吐量，去除边缘节点的“性能损耗点1”。

在一个示例性实施例中，所述网络前端模块包括：

获取单元，用于在对所述服务请求进行解析后，获取所述服务请求中携带的定制化请求信息；

处理单元，用于根据所述定制化请求信息，处理所述服务请求。

在一个示例性实施例中，定制化请求信息为用户的个性化定制服务，比如，URL重写、HTTP头的修改或是防盗链策略等HTTP功能。

在图1所示的相关技术中，如果有定制化需求，可以选择在网络分发前端或者存储后端实现，在修改代码的编译问题时，会出现无法要定位代码的位置的问题，且容易造成功能冲突。另外，网络分发前端和存储后端都具有网络功能，在两个软件的结合中，部分服务请求传递到存储后端软件中，会被不同的处理逻辑覆盖，造成意外的结果。在图2所示的系统中，用户的定制化需求都在网络前端模块中开发，而第一存储后端模块只是对内服务，不暴露给客户，专门用于实现存储功能。

与相关技术中将客户的定制化需求部署在第一存储后端模块相比，本文将客户的定制化需求的功能部署到网络前端模块，实现与边缘节点的存储功能的划清边界，既能减少开发过程中的边界不清重复开发问题，又可以避免第一存储后端模块上实现定制化需求的功能与网络前端模块的功能相互覆盖，有效控制处理冲突等异常状况发生。

第一存储后端模块在接收到网络前端模块对目标数据的获取请求后，如果本地存储有所述目标数据，则直接读取所述目标数据，完成对获取请求的响应；如果本地未存储有所述目标数据，则需要从该服务器外部获取该目标数据。

其中，从服务器外部获取所述目标数据的实现方式，具体包括：

在一个示例性实施例中，所述边缘节点包括至少两个服务器，所述至少两个服务器的第一存储后端模块使用同一个集群系统进行数据存储；其中所述第一存储后端模还包括：

判断单元，用于判断所述边缘节点内的服务器是否存储有所述目标数据，得到第一判断结果；

所述第一请求单元，用于在第一判断结果为所述边缘节点内的服务器中有存储有所述目标数据的第一目标服务器时，向所述第一目标服务器的第一存储后端模块请求所述目标数据。

在一个示例性实施例中，同一个边缘节点可以包括至少两个服务器，每个服务器的第一存储后端模块使用同一个集群系统进行数据存储，使得同一个边缘节点内服务器中的第一存储后端模块的数据互通，达到数据共享的目的。

在一个示例性实施例中，同一个边缘节点的服务器所存储的数据，可以由服务器为所存储的数据建立索引信息，并将该索引信息同步给该边缘节点内的其他服务器，方便其他服务器获知数据的存储位置，为跨服务器读取数据提供操作依据。

借助服务器的第一存储后端模块均部署在同一个集群系统，使得不同服务器的第一存储后端模块能够互相通信，实现了数据的互通，为边缘节点内部完成目标数据的获取提供数据支持，在服务器未存储有数据时，有效减少边缘节点向其他节点获取目标数据的操作次数，减少用户等待的时间，提高响应效率。

在边缘节点没有存储该目标数据时，则需要向边缘节点之外的其他节点获取该数据。在相关技术中，服务器的第一存储后端模块会直接向边缘节点之外的其他节点发起获取请求。与相关技术不同的是，本文是选择其他服务器的第一存储后端模块来协助服务器实现该功能，具体包括：

在一个示例性实施例中，所述第一存储后端模块还包括：

选择单元，用于在所述查询结果为所述边缘节点中没有服务器存储有所述目标数据时，从所述其他可用的边缘节点或上级节点服务器中选择一个服务器作为第二目标服务器；

第二请求单元，用于控制所述边缘节点中的第一存储后端模块向第二目标服务器请求所述目标数据。

在一个示例性实施例中，选择单元所选择的第二目标服务器可以根据服务器的负载状态、带宽使用信息来选择，以实现边缘节点内部的负载均衡，在保证能够完成数据获取的前提下，充分利用服务器的资源，避免加重个别服务器的负载，影响服务请求的正常处理。

在相关技术中，在边缘节点没有存储该目标数据时，边缘节点会向上级节点请求所述目标数据。与相关技术不同的是，本文提供的方案中边缘节点可以先通过与其他边缘节点进行交互来得到所述目标数据，即边缘节点与边缘节点的数据获取方式。

在一个示例性实施例中，所述第二请求单元包括：

判断子单元，用于从与所述边缘节点通信的其他边缘节点中，判断是否有存储所述目标数据，得到第二判断结果；

第一请求子单元，用于在第二判断结果为有所述目标数据，从所述其他边缘节点的存储后端模块获取所述目标数据；

第二请求子单元，用于在第二判断结果为没有目标数据，从所述边缘节点对应的上级节点的存储后端模块获取所述目标数据。

在一个示例性实施例中，在边缘节点存储有目标数据时，则直接返回该目标数据给用户；在边缘节点没有存储该目标数据时，则可以借助其他边缘节点来获取该目标数据，从而减轻文件上级节点的压力，避免过于集中的向上级节点请求数据造成带宽压力问题的发生。

在一个示例性实施例中，与所述边缘节点通信的其他边缘节点，可以是预先为所述边缘节点选择的一个或至少两个节点，被选择的节点可以作为边缘节点的伙伴节点，为该边缘节点提供数据支持。其中，伙伴节点的选择可以根据与边缘节点的距离来选择。

在一个示例性实施例中，所述判断子单元通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是边缘节点对所存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

在一个示例性实施例中，每个边缘节点均对本地存储的数据建立对应的数据索引信息，并定期(比如5分钟)将该数据索引信息同步到其他边缘节点，方便边缘节点获知其他边缘节点所存储的数据，为边缘节点间的数据共享提供操作依据，实现数据共享的目的。

在一个示例性实施例中，所述判断子单元通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是边缘节点对本地存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

在一个示例性实施例中，所述判断子单元在确定存储有所述目标数据的边缘节点有至少一个时，通过如下三个条件确定所述目标边缘节点，包括：

存储有目标数据的边缘节点的带宽信息符合预先设置的带宽充裕的判断策略；

存储有目标数据的边缘节点的负载信息符合预先设置的负载的判断策略；

存储有目标数据的边缘节点与所述边缘节点之间的通信距离符合预先设置的近距离的判断策略。

在一个示例性实施例中，将存储有该目标数据的边缘节点作为待选择的边缘节点，可以根据待选择的边缘节点的带宽信息、负载状态和通信距离中的至少一个来选择合适的边缘节点作为目标边缘节点，其中：

带宽充裕的判断策略可以根据该待选择的边缘节点所分配的带宽来确定，例如，如果待选择的边缘节点已使用的用量已经超过或接近预先设置的用量阈值，则确定该待选择的边缘节点的带宽用量紧张，否则，确定该待选择的边缘节点的带宽用量充裕；其中该用量阈值可以根据带宽用量的收费标准进行确定；

轻载的判断策略可以是根据待选择的边缘节点的负载状态来确定，如果该待选择的边缘节点的负载状态的数值小于预先设置的负载阈值，则确定该待选择的边缘节点的位置符合轻载的判断策略，否则，确定该待选择的边缘节点的位置不符合轻载的判断策略；其中负载状态可以为硬件负载、系统负载、软件负载和网络负载中的至少一个；

近距离的判断策略可以是根据边缘节点与上级节点之间的通信距离来确定的，如果该待选择的边缘节点与所述边缘节点的通信距离要远小于边缘节点与上级节点之间的通信距离，则确定该待选择的边缘节点的位置符合近距离的判断策略，否则，确定该待选择的边缘节点的位置不符合近距离的判断策略。

其中，边缘节点的带宽信息可以通过交换机进行采集，并通过管理平台提出的查询接口来获取；或者，在服务器的客户访问日志上做统计得出已使用的用量。

若有所述目标数据的边缘节点至少有两个符合以上三个条件，随机从所述的符合条件边缘节点确定目标边缘节点；

若所有有所述目标数据的边缘节点都不符合以上三个条件，从所述边缘节点对应的上级节点获取所述目标数据。

图3是根据一示例性实施例示出的一种数据处理系统的结构图。如图3所示，数据处理系统，包括：

上文任一所述的边缘节点；

上级节点，用于向所述边缘节点提供所需的目标数据。

在一个示例性实施例中，所述上级节点包括一个或至少两个服务器，其中所述至少一个服务器包括第二存储后端模块，其中至少一个第二存储后端模块包括：

网络前端单元，用于与边缘节点进行数据的网络交互；

存储后端单元，用于提供服务请求所需的目标数据。

参见图1所示的相关技术中上级节点的结构，上级节点中服务器包括网络分发前端和存储后端相比，存储后端的网络前端能够实现网络分发前端的功能，因此，可以省略对网络分发前端的部署，即在上级节点上完全去除没有用的“网络分发前端”功能，明显减少系统损耗，提高业务的吞吐量，去除相关技术中的“性能损耗点2”。

另外，与图2不同的是，上级节点的存储功能较边缘节点的存储功能更为简单，因此无需将第一存储后端模块中网络前端单元和存储功能单元进行解耦合。

与图1所示的实现网络通信功能的模块为2组网络分发前端和2组网络前端，图3所示的实现网络通信功能的模块为1组网络前端模块和1组网络前端单元，可降低40％的网络性能损耗，占总体性能损耗的20％以上。

在一个示例性实施例中，所述上级节点包括一个或至少两个服务器，其中所述至少一个服务器包括第二存储后端模块，其中所述上级节点的第二存储后端模块与所述边缘节点的存储后备模块使用同一个集群系统进行数据存储。

在一个示例性实施例中，上级节点中的第二存储后端模块与边缘节点中的第一存储后端模块使用同一个集群系统进行数据存储，使得上级节点和边缘节点内的存储的数据能够互通，达到数据共享的目的。

在一个示例性实施例中，可以自定义文件缓存策略和文件获取策略，减少带宽消耗，减少网络成本开支，提高文件的获取速度。传统的存储后端等，并没有考虑集群协同的情况。而实际CDN中节点内、跨节点都涉及到集群协同，所以用图1所示的存储后端会出现存储文件重复、浪费的情况。使用本方案则可以很好的规避该问题，此外，这样就可以进行存储逻辑的定制，比如说服务器之间文件的热点均衡、回父路径的挑选等。

在一个示例性实施例中，所述上级节点，还用于在本地未存储所述目标数据时，从与所述上级节点通信的其他上级节点中，判断是否有存储所述目标数据的目标上级节点，得到第三判断结果；在第三判断结果为有存储该目标数据的目标上级节点时，从所述目标上级节点获取所述目标数据；或者，在第三判断结果为没有存储该目标数据的目标上级节点时，从源站获取所述目标数据。

图4是根据一示例性实施例示出的一种请求处理方法的示意图。如图4所示，边缘节点获取目标数据的方式包括三个级别，依次是边缘节点、上级节点和源站；下面对每个获取方式分别进行说明：

1、从其他边缘节点获取数据的操作，包括：

边缘节点在本地未存储该目标数据后，判断其他边缘节点中是否有存储该目标数据的目标边缘节点；如果有，则通过该目标边缘节点来获取所述目标数据；

2、从上级节点获取数据的操作，包括：

如果其他边缘节点中没有存储该目标数据的目标边缘节点，则边缘节点向上级节点请求所述目标数据；所述上级节点判断本地是否存储该目标数据；如果有，则读取该目标数据，并发送给边缘节点；

如果上级节点没有存储该目标数据，则判断是否允许从其他上级节点获取所述目标数据；如果允许，则判断其他上级节点中是否有存储该目标数据的目标上级节点；如果有，则通过该目标上级节点来获取所述目标数据，并在从目标上级节点获取所述目标数据后，发送给边缘节点；

3、从上级节点获取数据的操作，包括：

如果不允许从其他上级节点获取所述目标数据，则上级节点从源站获取所述目标数据，并在从源站获取所述目标数据后，发送给边缘节点；

如果允许从其他上级节点获取所述目标数据，但其他上级节点均未存储所述目标数据，则从源站获取所述目标数据，并在从源站获取所述目标数据后，发送给边缘节点。

通过增加了判断其他上级节点是否有缓存的操作，可以降低上级节点给源站的压力，减少源站自身的费用支出。

一种云分发网络系统，包括一个或者多个边缘节点和一层或者多层的上级节点，其中：

所述边缘节点包括一个或者多个服务器，所述的服务器包括网络前端模块和第一存储后端，所述网络前端模块，用于接收用户终端发送的服务请求；

所述上级节点包括一个或者多个服务器，所述的服务器包括第二存储后端；其中，所述第一存储后端与所述第二存储后端进行文件索引同步，用于响应所述网络前端模块对目标数据的获取请求。

存储后端如果发现本地没有所请求文件，会向其他边缘节点或者上级节点请求该文件。

请求到该文件后，会存储到本地，并把所需信息(包含但不仅限于请求文件的URL、请求到的时间戳、文件大小)统一放置到一个文件中。

这个集合了本地服务器所有存储文件信息的文件，就是文件索引。

同节点内，每台服务器会同步其他服务器的索引信息。所以在同节点内，索引是共享透明的。

不同节点之间。由边缘服务器的存储后端向任意或者指定的一台上级或者其他边缘节点的存储后端查询是否有目标文件。上级或者其他边缘节点直接查询自身节点的索引，告诉查询请求方结果，而不是把索引同步给查询方。

不管是边缘节点还是上级节点，凡是有存储后端，都有一份文件索引。

文件索引不是文件，是存储的文件的目录清单。这是存储后端的功能。

图5是根据一示例性实施例示出的一种数据处理方法的流程图。图5所示流程图，应用于边缘节点，所述边缘节点包括一个或至少两个服务器，所述方法包括：

步骤501、在接收到用户终端发送的服务请求后，利用服务器内的网络前端模块对所述服务请求进行解析，确定用于响应所述服务请求的目标数据；

步骤502、从所述服务器内的第一存储后端模块获取所述目标数据；

在一个示例性实施例中，如果边缘节点内只有一台服务器且没有目标文件，则按照确定边缘节点没有目标数据，可以向上级节点获取该目标数据。

步骤503、利用所述目标数据对所述服务请求进行响应。

在一个示例性实施例中，从所述服务器内的第一存储后端模块获取所述目标数据，包括：

判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果；

在第四判断结果为所述边缘节点内的服务器有存储有所述目标数据的第三目标服务器时，利用所述服务器的第一存储后端模块向所述第三目标服务器请求所述目标数据；其中所述边缘节点包括至少两个服务器，其中所述至少两个服务器的第一存储后端模块使用同一个集群系统进行数据存储。

在一个示例性实施例中，判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果之后，所述方法还包括：

在第四判断结果为所述边缘节点内的服务器没有存储有所述目标数据的第三目标服务器时，查询与所述边缘节点对应上级节点的服务器，判断是否存储有所述目标数据，得到第五判断结果，其中所述上级节点的服务器的第二存储后端模块和边缘节点的服务器的第一存储后端模块使用同一个集群系统进行数据存储；

在第五判断结果为有存储所述目标数据的上级节点时，从所述上级节点的第二存储后端模块获取所述目标数据；

在第五判断结果没有存储所述目标数据的上级节点时，从源站获取所述目标数据。

在一个示例性实施例中，在确定存储有所述目标数据的至少一个边缘节点时，通过如下三个条件确定所述目标边缘节点，包括：

存储有目标数据的边缘节点的带宽信息符合预先设置的带宽充裕的判断策略；

存储有目标数据的边缘节点的负载信息符合预先设置的轻载的判断策略；

存储有目标数据的边缘节点与所述边缘节点之间的通信距离符合预先设置的近距离的判断策略。

在一个示例性实施例中，若存储有所述目标数据的边缘节点至少有两个符合所述三个条件，随机从符合所述三个条件的边缘节点确定目标边缘节点；

若所有存储所述目标数据的边缘节点都不符合所述三个条件，从所述边缘节点对应的上级节点获取所述目标数据。

在一个示例性实施例中，通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是其他边缘节点对所存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

本文示例性实施例提供的方法，接收到用户终端发送的服务请求后，利用服务器内的网络前端模块对所述服务请求进行解析，确定用于响应所述服务请求的目标数据，从所述服务器内的第一存储后端模块获取所述目标数据，利用所述目标数据对所述服务请求进行响应，实现将网络功能由网络前端模块实现，将业务逻辑和存储逻辑的隔离，减少资源的损耗，提高业务吞吐量。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上文任意一项所述方法的步骤。

图6是根据一示例性实施例示出的一种计算机设备600的框图。例如，计算机设备600可以被提供为一服务器。参照图6，计算机设备600包括处理器601，处理器的个数可以根据需要设置为一个或者多个。计算机设备600还包括存储器602，用于存储可由处理器601的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器601被配置为执行指令，以执行上述方法。

本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。

显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。

Claims (22)

1.一种边缘节点，其特征在于，包括至少一个服务器，其中每个服务器包括一个网络前端模块和一个存储后端系统，所述网络前端模块与存储后端解耦合，用于开发用户的定制化需求；所述存储后端系统仅包括第一存储后端模块，所述第一存储后端模块只保留存储功能，以使业务逻辑和存储逻辑隔离，其中：

所述网络前端模块，用于接收用户终端发送的服务请求，并对所述服务请求进行解析，确定用于响应所述服务请求的目标数据，并从所述第一存储后端模块获取所述目标数据，利用所述目标数据对所述服务请求进行响应；

所述第一存储后端模块，用于响应所述网络前端模块对目标数据的获取请求。

2.根据权利要求1所述的边缘节点，其特征在于，所述网络前端模块包括：

获取单元，用于在对所述服务请求进行解析后，获取所述服务请求中携带的定制化请求信息；

处理单元，用于根据所述定制化请求信息，处理所述服务请求。

3.根据权利要求1所述的边缘节点，其特征在于，所述边缘节点包括至少两个服务器，所述至少两个服务器的第一存储后端模块使用同一个集群系统进行数据存储；其中所述第一存储后端模块包括：

判断单元，用于判断所述边缘节点内的服务器是否存储有所述目标数据，得到第一判断结果；

第一请求单元，用于在第一判断结果为所述边缘节点内的服务器中有存储有所述目标数据的第一目标服务器时，向所述第一目标服务器的第一存储后端模块请求所述目标数据。

4.根据权利要求3所述的边缘节点，其特征在于，所述第一存储后端模块还包括：

选择单元，用于在查询结果为所述边缘节点中没有服务器存储有所述目标数据时，从其他可用的边缘节点或上级节点服务器中选择一个服务器作为第二目标服务器；

第二请求单元，用于控制所述边缘节点中的第一存储后端模块向第二目标服务器请求所述目标数据。

5.根据权利要求4所述的边缘节点，其特征在于，所述第二请求单元包括：

判断子单元，用于从与所述边缘节点通信的其他边缘节点中，判断是否有存储所述目标数据，得到第二判断结果；

第一请求子单元，用于在第二判断结果为有所述目标数据，从所述其他边缘节点的存储后端模块获取所述目标数据；

第二请求子单元，用于在第二判断结果为没有目标数据，从所述边缘节点对应的上级节点的存储后端模块获取所述目标数据。

6.根据权利要求5所述的边缘节点，其特征在于，所述判断子单元在确定存储有所述目标数据的边缘节点有至少一个时，通过如下三个条件确定目标边缘节点，包括：

存储有目标数据的边缘节点的带宽信息符合预先设置的带宽充裕的判断策略；

存储有目标数据的边缘节点的负载信息符合预先设置的负载的判断策略；

存储有目标数据的边缘节点与所述边缘节点之间的通信距离符合预先设置的近距离的判断策略。

7.根据权利要求6所述的边缘节点，其特征在于，

若有所述目标数据的边缘节点至少有两个符合以上三个条件，随机从所述的符合条件边缘节点确定目标边缘节点；

若所有有所述目标数据的边缘节点都不符合以上三个条件，从所述边缘节点对应的上级节点获取所述目标数据。

8.根据权利要求5至7任一所述的边缘节点，其特征在于，所述判断子单元通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是其他边缘节点对所存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

9.一种数据处理系统，其特征在于，包括：

如权利要求1至8任一所述的边缘节点；

上级节点，包括上一级节点，用于向所述边缘节点提供所需的目标数据。

10.根据权利要求9所述的系统，其特征在于，所述上级节点包括至少一个服务器，其中所述至少一个服务器包括第二存储后端模块，所述第二存储后端模块包括：

存储后端单元，用于提供服务请求所需的目标数据。

11.根据权利要求9或10所述的系统，其特征在于，所述上级节点包括至少一个服务器，其中所述至少一个服务器包括第二存储后端模块，其中所述上级节点的第二存储后端模块与所述边缘节点的存储后端模块使用同一个集群系统进行数据存储。

12.根据权利要求9所述的系统，其特征在于：

所述上级节点，还用于在本地未存储所述目标数据时，从与所述上级节点通信的其他上级节点中，判断是否有存储所述目标数据的目标上级节点，得到第三判断结果；在第三判断结果为有存储该目标数据的目标上级节点时，从所述目标上级节点获取所述目标数据；或者，在第三判断结果为没有存储该目标数据的目标上级节点时，从源站获取所述目标数据。

13.一种数据处理方法，其特征在于，应用于边缘节点，所述边缘节点包括至少一个服务器，其中每个服务器包括一个网络前端模块和一个存储后端系统，所述网络前端模块与存储后端解耦合，用于开发用户的定制化需求；所述存储后端系统仅包括第一存储后端模块，所述第一存储后端模块只保留存储功能，以使业务逻辑和存储逻辑隔离，所述方法包括：

在接收到用户终端发送的服务请求后，利用服务器内的网络前端模块对所述服务请求进行解析，确定用于响应所述服务请求的目标数据；

从所述服务器内的第一存储后端模块获取所述目标数据；

利用所述目标数据对所述服务请求进行响应。

14.根据权利要求13所述的方法，其特征在于，所述利用服务器内的网络前端模块对所述服务请求进行解析，确定用于响应所述服务请求的目标数据之后，所述方法还包括：

获取所述服务请求中携带的定制化请求信息；

根据所述定制化请求信息，处理所述服务请求。

15.根据权利要求13所述的方法，其特征在于，从所述服务器内的第一存储后端模块获取所述目标数据，包括：

判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果；

在第四判断结果为所述边缘节点内的服务器有存储有所述目标数据的第三目标服务器时，利用所述服务器的第一存储后端模块向所述第三目标服务器请求所述目标数据；其中所述边缘节点包括至少两个服务器，其中所述至少两个服务器的第一存储后端模块使用同一个集群系统进行数据存储。

16.根据权利要求15所述的方法，其特征在于，判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果之后，所述方法还包括：

在第四判断结果为所述边缘节点内的服务器没有存储有所述目标数据的第三目标服务器时，查询与所述边缘节点对应上级节点的服务器，判断是否存储有所述目标数据，得到第五判断结果，其中所述上级节点的服务器的第二存储后端模块和边缘节点的服务器的第一存储后端模块使用同一个集群系统进行数据存储；

在第五判断结果为有存储所述目标数据的上级节点时，从所述上级节点的第二存储后端模块获取所述目标数据；

在第五判断结果没有存储所述目标数据的上级节点时，从源站获取所述目标数据。

17.根据权利要求15所述的方法，其特征在于,判断所述边缘节点内的服务器是否存储有所述目标数据的第三目标服务器，得到第四判断结果之后，所述方法还包括：

在第四判断结果为所述边缘节点内的服务器没有存储有所述目标数据的第三目标服务器时，判断其他边缘节点中是否有存储该目标数据的目标边缘节点；如果有，则通过该目标边缘节点来获取所述目标数据；

通过如下三个条件确定所述目标边缘节点，包括：

存储有目标数据的边缘节点的带宽信息符合预先设置的带宽充裕的判断策略；

存储有目标数据的边缘节点的负载信息符合预先设置的轻载的判断策略；

存储有目标数据的边缘节点与所述边缘节点之间的通信距离符合预先设置的近距离的判断策略。

18.根据权利要求17所述的方法，其特征在于：

若存储有所述目标数据的边缘节点至少有两个符合所述三个条件，随机从符合所述三个条件的边缘节点确定目标边缘节点；

若所有存储所述目标数据的边缘节点都不符合所述三个条件，从所述边缘节点对应的上级节点获取所述目标数据。

19.根据权利要求17至18任一所述的方法，其特征在于，通过如下方式从与所述边缘节点通信的其他边缘节点中确定是否存储有所述目标数据，包括：

获取与所述边缘节点通信的其他边缘节点发送的数据索引信息，其中所述数据索引信息是其他边缘节点对所存储的数据建立的索引信息；

以所述目标数据为搜索关键字，在获取到的数据索引信息进行查询，确定记录有所述目标数据的数据索引信息对应的边缘节点为目标边缘节点。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求13－19中任意一项所述方法的步骤。

21.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求13－19中任意一项所述方法的步骤。

22.一种云分发网络系统，包括一个或者多个边缘节点和一层或者多层的上级节点，其中：

所述边缘节点包括一个或者多个服务器，其中每个服务器包括一个网络前端模块和一个存储后端系统，所述网络前端模块与存储后端解耦合，用于开发用户的定制化需求；所述存储后端系统仅包括第一存储后端模块，所述第一存储后端模块只保留存储功能，以使业务逻辑和存储逻辑隔离，所述网络前端模块，用于接收用户终端发送的服务请求；

所述上级节点包括一个或者多个服务器，所述的服务器包括第二存储后端；其中，所述第一存储后端与所述第二存储后端进行文件索引同步，用于响应所述网络前端模块对目标数据的获取请求。

Images