CN112019604A - 边缘数据传输方法和系统 - Google Patents

Abstract

本申请实施例提供了一种边缘数据传输方法，用于数据传输链路的边缘节点中，所述方法包括：接收数据源提供的数据，所述数据包括多个请求；对所述多个请求进行聚合，以生成一个或多个聚合请求；及将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点。本申请实施例所述的方案可以降低网络带宽和QPS。

Description

边缘数据传输方法和系统

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种边缘数据传输方法、系统、计算机设备、计算机可读存储介质以及数据传输系统。

背景技术

当前的流式数据传输系统一般由数据传输层(如网关)、数据缓存层、数据分发层(controller)和数据存储终端构成。当数据源有数据上报时，所述数据源会将上报数据通过CDN(Content Delivery Network内容分发网络)节点转发到数据传输层，并经由所述数据缓存层、所述数据分发层最终流入到所述数据存储终端。

然而，通过CDN节点直接转发数据源的上报数据，会有以下后果：数据传输链路中的带宽消耗大、后端服务节点(如数据存储终端)的QPS压力大，和网关的RT抖动严重。

发明内容

本申请实施例的目的是提供一种边缘数据传输方法、系统、计算机设备、计算机可读存储介质以及数据传输系统，可以用于解决以下问题：通过CDN节点直接转发数据源的上报数据，导致数据传输链路中的带宽消耗大、后端服务节点的QPS压力大，和网关的RT抖动严重。

本申请实施例的一个方面提供了一种边缘数据传输方法，用于数据传输链路的边缘节点中，所述方法包括：接收数据源提供的数据，所述数据包括多个请求；对所述多个请求进行聚合，以生成一个或多个聚合请求；及将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点。

可选的，所述接收数据源提供的数据，还包括：根据所述多个请求中的各个请求的元数据信息，将所述各个请求导入到不同的通道中。

可选的，所述通道包括第一通道和第二通道；对所述多个请求进行聚合，以生成一个或多个聚合请求，包括：对所述第一通道中的多个请求进行聚合，以生成所述第一通道内的一个或多个聚合请求；对所述第二通道中的多个请求进行聚合，以生成所述第二通道内的一个或多个聚合请求；将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点，包括：通过所述第一通道发送其内部的一个或多个聚合请求，及通过所述第二通道发送其内部的一个或多个聚合请求。

可选的，所述将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点，包括：根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作；其中，所述后端服务节点为在所述数据传输链路中位于所述边缘节点下游的一个或多个节点。

可选的，所述根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作，包括：判断所述服务状态是否处于过载状态；如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述下一个节点中。

可选的，所述判断所述服务状态是否处于过载状态，包括：记录已发送请求和相应的响应之间的时间间隔；及如果该时间间隔大于预设时间间隔，则确定所述服务状态处于所述过载状态。

可选的，还包括：维持所述边缘节点的心跳操作，以便节点管理设备对所述边缘节点和其他边缘节点的统一管理。

本申请实施例的再一个方面提供了一种边缘数据传输系统，所述系统包括：接收模块，用于接收数据源提供的数据，所述数据包括多个请求；聚合模块，用于对所述多个请求进行聚合，以生成一个或多个聚合请求；发送模块，用于将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点。

本申请实施例的再一个方面提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述计算机程序时用于实现如上任一项所述的边缘数据传输方法的步骤。

本申请实施例的又一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时用于实现如上任一项所述的边缘数据传输方法的步骤。

本申请实施例的又一个方面提供了一种数据传输系统，其特征在于，包括：边缘节点，位于数据传输链路的边缘位置，用于替代CDN节点；网关节点，连接于所述边缘节点；后端服务节点，连接于所述网关节点；其中，所述边缘节点用于：接收数据源提供的数据，所述数据包括多个请求；对所述多个请求进行聚合，以生成一个或多个聚合请求；将所述一个或多个聚合请求发送到所述网关节点；其中，所述网关节点用于：转发所述一个或多个聚合请求至所述后端服务节点。

可选的，所述边缘节点还用于：判断所述后端服务节点的服务状态是否处于过载状态；如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述网关节点。

本申请实施例提供的边缘数据传输方法、系统、计算机设备、计算机可读存储介质以及数据传输系统，通过边缘节点替代CDN节点，在数据传输链路的边缘提供数据的聚合处理等操作，降低数据传输链路中的带宽消耗、后端服务节点的QPS压力和网关节点的RT抖动。

附图说明

图1示意性示出了数据传输系统的系统架构图；

图2示意性示出了根据本申请实施例一的边缘数据传输方法的流程图；

图3示意性示出了根据本申请实施例一的边缘数据传输方法的另一流程图；

图4为图3中步骤S300的子流程图；

图5为图4中步骤S400的子流程图；

图6示意性示出了根据本申请实施例一的边缘数据传输方法的另一流程图；

图7示意性示出了根据本申请实施例二的边缘数据传输方法的流程图；

图8示意性示出了边缘节点的结构示意图；

图9示意性示出了根据本申请实施例三的边缘数据传输系统的框图；以及

图10示意性示出了根据本申请实施例四的适于实现边缘数据传输方法的计算机设备的硬件架构示意图。

具体实施方式

为了使本申请实施例的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。

图1示意性示出了根据本申请实施例的数据传输系统的系统架构图，所述数据传输系统在于提供流式的数据传输服务，如用于实时流和离线流两大场景的数据收集和分发。实时流场景，对应于秒级别的数据时效性，主要用于将数据写入到kafka、hbase等数据库中。离线流场景，对应于小时级别或天级别的数据时效性，主要用于将数据写入到hdfs、hive等数据库中。所述数据传输系统可以由下几部分组成：BFE层1、网络路由层2、数据缓冲层3、数据分发层4、数据存储层5等。

所述BFE层1，可以通过一个或多个边缘节点实现，用于接收、处理、输出上报数据。所述上报数据可以是来自不同数据源的数据，例如，APP和Web的上报数据。

所述网络路由层2，可以通过一个或多个网关节点实现，用于将BFE层1提供的数据转发到数据缓冲层3。具体的，所述网络路由层2被配置连接于BFE层1，并可以适应各种不同的业务场景和数据协议，例如，被配置用于兼容解析HTTP(HyperText Transfer Protocol，超文本传输协议)协议的APP和Web数据，和GRPC(Google Remote Procedure CallProtocol，谷歌开发的远程过程调用协议)协议的内部通信数据。

所述数据缓冲层3，可以通过消息分发订阅系统或上述系统集群实现。在一些实施例中，数据缓冲层3可以由多套kafka cluster(kafka集群)组成，起到数据削峰填谷的作用。不同重要性、优先级、数据吞吐量的数据，可以被分流到不同的kafka cluster中，以保障不同类型数据的价值，避免系统故障影响整体数据。

数据分发层4，可以由Collector(流量分发系统)实现，用于内容转换和分发存储，即保障数据从数据缓冲层3获取并写入到数据存储层5中对应的存储终端。具体的，所述数据分发层4用于数据的分发落地，支持的分发场景包括HDFS(Hadoop Distributed FileSystem，Hadoop分布式文件系统)、Kafka、Hbase、ES(Elasticsearch)等，而在分发的过程中，由于不同存储终端的数据落地时效性要求可能不同，例如，HDFS的数据写入是按天进行任务的计算和应用，Kafka的数据写入一般是按秒进行任务的计算和应用，通常用于诸如实时推荐、实时计算等场景中。针对数据不同场景的分发要求，数据分发层4可以根据存储终端进行服务分组管理。例如，线上会划分为Kafka Collector组、HDFS Collector组等。不同Collector组会从数据缓冲层3获取相应标签(topic)的数据并分发至下游。

所述数据存储层5，用于存储数据，可以由不同形式的数据库构成，所述数据库可以ES、Hive、Kafka、Hadoop和Hbase等。

以上几部分形成以下示例性的数据传输链路：BFE层1→网络路由层2→数据缓冲层3→数据分发层4→数据存储层5。通过该数据传输链路，数据源中的数据可以被传输到目标终端。具体如下：数据源可以输出以LogId为流标识的数据流，通过HTTP、RPC等协议将这些数据上报给边缘节点，并依次经过网关路由层2、数据缓冲层3、数据分发层4，并最终进入到数据存储层5中的存储终端中。

实施例一

本实施例以BFE层1的边缘节点作为单一执行主体，以进行示例性描述。

图2示意性示出了根据本申请实施例一的边缘数据传输方法的流程图。

如图2所示，该边缘数据传输方法可以包括步骤S200～步骤S204，其中：

步骤S200，接收数据源提供的数据，所述数据包括多个请求。

所述数据可以是APP、Web等客户端直接提供的基于HTTP(S)、RPC等各类协议的数据。这些APP、Web等客户端装载在移动终端中，用于收集这些移动终端中的日志信息等。当某个APP上报数据时，其会寻找网络中最近的边缘节点进行数据上报。

步骤S202，对所述多个请求进行聚合，以生成一个或多个聚合请求。

在高峰期间，QPS(每秒查询率，Queries-per-second)可能达到百万级别。即，在每秒钟内，所述边缘节点和其他边缘节点可能接收海量的请求。在上述情况下，如果所述多个请求被直接转发给下一个节点(如图1中的网关路由层2)，这将导致以下后果：(1)消耗很高的网络带宽；(2)后端服务节点(诸如数据缓存层3、数据分发层4和/或数据存储层5等)承担的QPS压力过大；(3)网关路由层的RT抖动严重。为了解决上述问题在接收到多个请求之后，边缘节点可以对接收到的多个请求进行边缘性计算，以对接收到的多个请求进行聚合操作，具体如下。

举例而言，在接收到10个HTTP请求之后，所述边缘节点可以执行以下操作：(1)解析各个HTTP请求，得到各个HTTP请求的body(报文体)和header(报文头)；(2)通过PB将各个HTTP请求的body和header包成一个新对象，得到10个对象；(3)根据10个对象生成一个事件列表；(4)根据所述事件列表进行打包和压缩，以生成一个PB请求(即所述聚合请求)；(5)将这个PB请求发送至所述下一个节点，以替代将这个10个HTTP请求转发给所述下一个节点。其中，PB为Protobuf(Google Protocol Buffer)的简称。所述Protobuf为一种可读性高的数据传输格式。

步骤S204，将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点。

所述下一个节点可以是网关路由层2中的网关节点。该网关节点可以被统一配置支持HTTP协议或GPRC协议。基于HTTP协议的网关节点用于公网转发，基于GPRC协议的网关节点用于内网转发。通过这种统一配置，可以实现协议层统一，提升数据传输质量。为此，所述边缘节点可以基于HTTP协议或GPRC协议进行数据封装，即所述一个或多个聚合请求为基于HTTP协议的聚合请求或基于GPRC协议的聚合请求。

为了进一步地削减后端服务节点的服务压力，在后端服务节点过载的情形下，本实施例中的边缘节点还提供了边缘数据的落地服务，以防止后端服务节点的服务质量下降。在示例性的实施例中，如图3所示，所述步骤S204还可以包括步骤S300：根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作。其中，所述后端服务节点为在所述数据传输链路中位于所述边缘节点下游的一个或多个节点。有别于CDN节点，本实施例中的边缘节点可以与后端服务节点配合，实现数据的动态处理和传输，保持后端服务节点的服务质量。

在示例性的实施例中，如图4所示，所述步骤S300可以通过步骤S400～S404实现，其中：步骤S400，判断所述服务状态是否处于过载状态；步骤S402，如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；步骤S404，如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述下一个节点中。当后端服务节点的服务状态处于过载状态时，所述边缘节点提供数据落地保护，直到：后端服务节点的服务状态由过载状态切换到非过载状态时，执行数据发送。本实施例的好处在于可以避免以下情况：不考虑后端服务节点的工作状态，向过载状态下的后端服务节点继续转发数据，造成服务崩溃。

其中，步骤S400中的判断方式可以有多种，如设备监听等。

在示例性的实施例中，如图5所示，所述步骤S400可以通过步骤S500～S502实现，其中：步骤S500，记录已发送请求和相应的响应之间的时间间隔；步骤S502，如果该时间间隔大于预设时间间隔，则确定所述服务状态处于所述过载状态。通过这种服务反压的方式判断后端服务节点是否处于过载状态，原生自然，不会额外消耗资源。

在数据传输系统中，往往具有数百个边缘节点。为了提高管理效率，每个边缘节点可以保持心跳，以便节点管理管理可以实时发现每个边缘节点的当前健康状态。在示例性的实施例中，如图6所示，所述边缘数据传输方法还可以包括步骤S600：维持所述边缘节点的心跳操作，以便节点管理设备对所述边缘节点和其他边缘节点的统一管理。

本申请实施例所述的边缘数据传输方法包括以下技术优势：

(1)边缘节点替代CDN节点，即：通过边缘节点从智能手机、电脑等移动端中获取数据，并进行数据的边缘化计算和聚合操作，从而降低带宽消耗、QPS和网关节点的RT抖动。

(2)边缘节点提供过载落地保护，即：在后端服务节点处于过载时，将数据落地在边缘节点中。

(3)边缘节点打通内网服务注册发现，通过心跳操作，以方便节点管理设备的统一管理。

(4)边缘节点通过聚合操作，对多个请求聚合为单个聚合请求，如Protobuf化，提高可读性和降低带宽消耗。

(5)边缘节点可以对数据进行协议层统一，如公网对应HTTP协议，内网对应GPRC协议，保障数据传输质量。

实施例二

在APP、Web中，业务形态是非常复杂的，如可以是电商业务、番剧业务等。如果这些不同业务形态的数据不进行隔离，则容易因为某个业务的数据暴增而影响整个数据传输系统。

因此，本实施例的边缘节点提供了流级别通道隔离，从而确保系统整体的运行稳定性。下面以在边缘节点中设置第一通道和第二通道为例进行示例性说明。应理解，第一通道和第二通道并不用于限制本申请保护范围，边缘节点亦可以提供两个以上通道。

图7示意性示出了根据本申请实施例二的边缘数据传输方法的流程图。

如图7所示，该边缘数据传输方法可以包括步骤S700～步骤S710，其中：

步骤S700，接收数据源提供的数据，所述数据包括多个请求。

所述数据可以是符合预设规范的标准数据。所述数据可以是某个数据流中的数据。该数据流通过LogId(流标识)区分。其中，LogId可以通过三段式语义(如，部门+项目+业务)进行定义，以便可以快速锁定数据所属的范畴，同时，所述流标识还可以定义有其他附属信息，如，创建者信息等。数据流可以定义有schema(数据库的组织与结构)，如字段、类型、必填与否等信息。schema可以用于所述数据流的分析和评估操作。根据定义的schema，所述数据流的元数据信息中可以被写入相应的字段值，如业务场景等，不同业务场景可以配置不同的SLA(Service-Level Agreement，服务等级协议)质量保障。需要说明的是，这些字段值可以被用户或管理写入和修改的。

步骤S702，根据所述多个请求中的各个请求的元数据信息，将所述各个请求导入到不同的通道中。

元数据信息(Metadata)信息，为描述数据的数据(data about data)，其作用包括：描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录、数据优先级信息、数据重要性信息、数据时效信息、业务场景信息、数据存储地址等。所述边缘节点接收到所述数据时，可以通过相应的协议(如，HTTP、RPC等)解析所述数据以得到所述数据的元数据信息。举例而言：所述边缘节点可以根据数据的业务场景信息，将其导入到相应的通道中。

步骤S704，对所述第一通道中的多个请求进行聚合，以生成所述第一通道内的一个或多个聚合请求；

步骤S706，对所述第二通道中的多个请求进行聚合，以生成所述第二通道内的一个或多个聚合请求。

步骤S708，通过所述第一通道发送其内部的一个或多个聚合请求。

步骤S710，通过所述第二通道发送其内部的一个或多个聚合请求。

本申请实施例所述的边缘数据传输方法：通过直接在数据传输链路的边缘(即边缘节点)设置不同的隔离通道，以及早避免某个业务的数据暴增而影响整个数据传输系统。

另外，所述边缘节点亦可以根据所述第一通道和所述第二通道的优先级别，确定所述第一通道内的一个或多个聚合请求和所述第二通道内的一个或多个聚合请求的发送顺序。

为了使得本实施例容易理解，提供如图8所示的边缘节点的示例性构造。

边缘节点内置有NGINX(HTTP和反向代理Web服务模块)和BFE Agent(边缘数据收集模块)。该BFE Agent内设有两个通道(channel)，其中一个通道用于接收非实时数据(unreal-time data)，另一个通道用于就接收实时数据(real-time data)。每个通道的结构是相同的，包括：source、processer和sink。其中：

source(数据输入接口)，可以执行以下操作：(1)Listen to localhost，监听数据上报端口；(2)Flow control，控制数据上报的速度；(3)Request channel，将数据写到磁盘通道、内存通道等各类通道中。

processer(数据处理模块)，可以执行以下操作：(1)request parser，数据的解析，例如将数据中的HTTP请求解析出body和header；(2)event wrapper，将各个请求转换为相应的事件。

sink(数据输出接口)，可以执行以下操作：(1)mem/disk mixed buffer，读取磁盘通道、内存通道或混合通道中的数据(如多个事件)；(2)batch/compress，将多个事件打包和压缩成一个聚合请求；(3)HTTP sink，数据输出。

实施例三

图9示出了根据本申请实施例三的边缘数据传输系统的框图，该边缘数据传输系统可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。

如图9所示，所述边缘数据传输系统900可以包括以下组成部分：

接收模块910，用于接收数据源提供的数据，所述数据包括多个请求；

聚合模块920，用于对所述多个请求进行聚合，以生成一个或多个聚合请求；

发送模块930，用于将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点。

在示例性的实施例中，所述接收模块910，还用于：根据所述多个请求中的各个请求的元数据信息，将所述各个请求导入到不同的通道中。

在示例性的实施例中，所述通道包括第一通道和第二通道；所述聚合模块920，还用于：对所述第一通道中的多个请求进行聚合，以生成所述第一通道内的一个或多个聚合请求；对所述第二通道中的多个请求进行聚合，以生成所述第二通道内的一个或多个聚合请求；将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点，包括：通过所述第一通道发送其内部的一个或多个聚合请求，及通过所述第二通道发送其内部的一个或多个聚合请求。

在示例性的实施例中，所述发送模块930，还用于：根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作；其中，所述后端服务节点为在所述数据传输链路中位于所述边缘节点下游的一个或多个节点。

在示例性的实施例中，所述发送模块930，还用于：判断所述服务状态是否处于过载状态；如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述下一个节点中。

在示例性的实施例中，所述发送模块930，还用于：记录已发送请求和相应的响应之间的时间间隔；及如果该时间间隔大于预设时间间隔，则确定所述服务状态处于所述过载状态。

在示例性的实施例中，所述边缘数据传输系统900还包括心跳模块，用于维持所述边缘节点的心跳操作，以便节点管理设备对所述边缘节点和其他边缘节点的统一管理。

实施例四

图10示意性示出了根据本申请实施例四的适于实现边缘数据传输方法的计算机设备的硬件架构示意图。本实施例中，计算机设备10可以图1中的边缘节点。并且，所述计算机设备10其是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是工作站、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图10所示，计算机设备10至少包括但不限于：可通过系统总线相互通信链接存储器1010、处理器1020、网络接口1030。其中：

存储器1010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1010可以是计算机设备10的内部存储模块，例如该计算机设备10的硬盘或内存。在另一些实施例中，存储器1010也可以是计算机设备10的外部存储设备，例如该计算机设备10上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器1010还可以既包括计算机设备10的内部存储模块也包括其外部存储设备。本实施例中，存储器1010通常用于存储安装于计算机设备10的操作系统和各类应用软件，例如边缘数据传输方法的程序代码等。此外，存储器1010还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器1020在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1020通常用于控制计算机设备10的总体操作，例如执行与计算机设备10进行数据交互或者通信相关的控制和处理等。本实施例中，处理器1020用于运行存储器1010中存储的程序代码或者处理数据。

网络接口1030可包括无线网络接口或有线网络接口，该网络接口1030通常用于在计算机设备10与其他计算机设备之间建立通信连接。例如，网络接口1030用于通过网络将计算机设备10与外部终端相连，在计算机设备10与外部终端之间的建立数据传输通道和通信连接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图10仅示出了具有部件1010-1030的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器1010中的边缘数据传输方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器1020)所执行，以完成本申请。

实施例五

本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的边缘数据传输方法的步骤。

本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的边缘数据传输方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

实施例六

参照图1，一种数据传输系统，包括：

边缘节点，位于数据传输链路的边缘位置，用于替代CDN节点；

网关节点，连接于所述边缘节点；

后端服务节点，连接于所述网关节点；

其中，所述边缘节点用于：接收数据源提供的数据，所述数据包括多个请求；对所述多个请求进行聚合，以生成一个或多个聚合请求；将所述一个或多个聚合请求发送到所述网关节点；

其中，所述网关节点用于：转发所述一个或多个聚合请求至所述后端服务节点。

在示例性的实施例中，所述边缘节点还用于：判断所述后端服务节点的服务状态是否处于过载状态；如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述网关节点。

在示例性的实施例中，所述边缘节点还用于：根据所述多个请求中的各个请求的元数据信息，将所述各个请求导入到不同的通道中。

在示例性的实施例中，所述通道包括第一通道和第二通道，所述边缘节点还用于：对所述第一通道中的多个请求进行聚合，以生成所述第一通道内的一个或多个聚合请求；对所述第二通道中的多个请求进行聚合，以生成所述第二通道内的一个或多个聚合请求；通过所述第一通道发送其内部的一个或多个聚合请求，及通过所述第二通道发送其内部的一个或多个聚合请求。

在示例性的实施例中，所述边缘节点还用于：根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作；其中，所述后端服务节点为在所述数据传输链路中位于所述边缘节点下游的一个或多个节点。

在示例性的实施例中，所述边缘节点还用于：记录已发送请求和相应的响应之间的时间间隔；及如果该时间间隔大于预设时间间隔，则确定所述服务状态处于所述过载状态。

在示例性的实施例中，所述边缘节点还用于：维持所述边缘节点的心跳操作，以便节点管理设备对所述边缘节点和其他边缘节点的统一管理。

显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种边缘数据传输方法，其特征在于，用于数据传输链路的边缘节点中，所述方法包括：

接收数据源提供的数据，所述数据包括多个请求；

对所述多个请求进行聚合，以生成一个或多个聚合请求；及

将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点。

2.根据权利要求1所述的边缘数据传输方法，其特征在于，所述接收数据源提供的数据，还包括：

根据所述多个请求中的各个请求的元数据信息，将所述各个请求导入到不同的通道中。

3.根据权利要求2所述的边缘数据传输方法，其特征在于，所述通道包括第一通道和第二通道；

对所述多个请求进行聚合，以生成一个或多个聚合请求，包括：对所述第一通道中的多个请求进行聚合，以生成所述第一通道内的一个或多个聚合请求；对所述第二通道中的多个请求进行聚合，以生成所述第二通道内的一个或多个聚合请求；

将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点，包括：通过所述第一通道发送其内部的一个或多个聚合请求，及通过所述第二通道发送其内部的一个或多个聚合请求。

4.根据权利要求1所述的边缘数据传输方法，其特征在于，

所述将所述一个或多个聚合请求发送到所述数据传输链路中所述边缘节点的下一个节点，包括：

根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作；

其中，所述后端服务节点为在所述数据传输链路中位于所述边缘节点下游的一个或多个节点。

5.根据权利要求4所述的边缘数据传输方法，其特征在于，

所述根据后端服务节点的服务状态，动态地确定所述一个或多个聚合请求的处理操作，包括：

判断所述服务状态是否处于过载状态；

如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；

如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述下一个节点中。

6.根据权利要求5所述的边缘数据传输方法，其特征在于，所述判断所述服务状态是否处于过载状态，包括：

记录已发送请求和相应的响应之间的时间间隔；及

如果该时间间隔大于预设时间间隔，则确定所述服务状态处于所述过载状态。

7.根据权利要求1所述的边缘数据传输方法，其特征在于，还包括：

维持所述边缘节点的心跳操作，以便节点管理设备对所述边缘节点和其他边缘节点的统一管理。

8.一种边缘数据传输系统，其特征在于，用于数据传输链路的边缘节点中，所述系统包括：

接收模块，用于接收数据源提供的数据，所述数据包括多个请求；

聚合模块，用于对所述多个请求进行聚合，以生成一个或多个聚合请求；

发送模块，用于将所述一个或多个聚合请求发送到数据传输链路中边缘节点的下一个节点。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至7任一项所述边缘数据传输方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现权利要求1至7任一项所述边缘数据传输方法的步骤。

11.一种数据传输系统，其特征在于，包括：

边缘节点，位于数据传输链路的边缘位置，用于替代CDN节点；

网关节点，连接于所述边缘节点；

后端服务节点，连接于所述网关节点；

其中，所述边缘节点用于：接收数据源提供的数据，所述数据包括多个请求；对所述多个请求进行聚合，以生成一个或多个聚合请求；将所述一个或多个聚合请求发送到所述网关节点；

其中，所述网关节点用于：转发所述一个或多个聚合请求至所述后端服务节点。

12.根据权利要求11所述的数据传输系统，其特征在于，所述边缘节点还用于：

判断所述后端服务节点的服务状态是否处于过载状态；

如果所述服务状态处于所述过载状态，则暂存所述一个或多个聚合请求；

如果所述服务状态处于非过载状态，则将所述一个或多个聚合请求发送到所述网关节点。

Images