CN109639840A - 一种基于边缘计算的数据处理方法和边缘计算系统 - Google Patents

Abstract

本发明公开了一种基于边缘计算的数据处理方法和边缘计算系统，属于边缘计算技术领域。所述方法包括：当接收到数据处理请求时，目标节点服务器确定数据处理请求对应的目标数据资源和目标计算插件；目标节点服务器获取边缘机器上传的目标数据资源，并将目标数据资源加载至预设的数据计算框架；目标节点服务器调用数据计算框架中集成的目标计算插件，对加载的目标数据资源进行数据计算；目标节点服务器从数据计算框架中导出数据计算结果，向数据处理请求的发起方反馈数据计算结果。采用本发明，使得数据处理无中心化，降低了中心节点的负载和压力；节省了数据传输耗费的带宽资源，提高了数据处理效率；简化了数据处理逻辑的更新和升级过程。

Description

一种基于边缘计算的数据处理方法和边缘计算系统

技术领域

本发明涉及边缘计算技术领域，特别涉及一种基于边缘计算的数据处理方法和边缘计算系统。

背景技术

云计算技术是一种将硬件、软件、网络等资源统一起来，通过网络提供给用户，以实现数据的计算、储存、共享等处理的技术。目前在利用云计算技术实现数据处理时，可以将数据资源集中上传至中心平台，然后统一通过中心平台实现具体的数据处理。

具体来说，用户可以将需要应用于云计算的数据资源，通过物联网技术上传至中心平台。当需要执行云计算处理时，用户可以向中心平台发送相应的数据处理请求。中心平台接收到数据处理请求后，可以先获取已存储的数据处理请求关联的数据资源，然后对这些数据资源进行集中的分析、计算等处理。继而，中心平台可以将得到的计算结果反馈给用户，即对数据处理请求进行响应，完成云计算处理。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

随着云计算技术的发展，应用于云计算的数据资源的数据量飞速增长，如果仍然在中心平台进行集中的数据计算，会导致中心平台的负载过高、压力过大。再者，在中心平台进行数据计算，需要将所有数据资源传输至中心平台，由中心平台逐一进行处理，这样不仅消耗了大量的带宽资源，而且数据计算结果的反馈耗时较长。另外，中心平台中的数据计算逻辑需要更新时，技术人员往往需要对数据计算逻辑的代码进行修改或更换后，再对整体处理流程的代码进行打包，数据计算逻辑的升级比较繁琐复杂。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于边缘计算的数据处理方法和边缘计算系统。所述技术方案如下：

第一方面，提供了一种基于边缘计算的数据处理方法，所述方法应用于边缘计算系统，所述边缘计算系统包括分布式部署的多台节点服务器，其中：

当接收到数据处理请求时，目标节点服务器确定所述数据处理请求对应的目标数据资源和目标计算插件；

所述目标节点服务器获取边缘机器上传的所述目标数据资源，并将所述目标数据资源加载至预设的数据计算框架；

所述目标节点服务器调用所述数据计算框架中集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算；

所述目标节点服务器从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果。

可选的，所述目标节点服务器获取边缘机器上传的所述目标数据资源，包括：

所述目标节点服务器确定存储有所述目标数据资源的边缘机器，通过所述边缘机器上的数据传输组件获取所述目标数据资源。

可选的，所述目标节点服务器获取边缘机器上传的所述目标数据资源之前，还包括：

所述目标节点服务器通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源，并将所述数据资源存储在本地资源库中；

所述目标节点服务器获取边缘机器上传的所述目标数据资源，包括：

所述目标节点服务器在所述本地资源库中查找所述目标数据资源。

可选的，所述将所述目标数据资源加载至预设的数据计算框架之前，还包括：

所述目标节点服务器将获取的所述目标数据资源缓存至预设的消息队列中。

可选的，所述将所述目标数据资源加载至预设的数据计算框架，包括：

所述目标节点服务器根据所述目标数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

所述目标节点服务器通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓存组件。

可选的，所述目标节点服务器从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果，包括：

所述目标节点服务器通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息队列中；

所述目标节点服务器通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理请求的发起方。

可选的，所述目标节点服务器调用所述数据计算框架中预先集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算之前，还包括：

所述目标节点服务器通过所述数据计算框架中的防火墙组件，对所述目标数据资源进行数据防护处理。

可选的，所述方法还包括：

所述目标节点服务器将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

所述目标节点服务器执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新计算插件；

所述目标节点服务器将所述新计算插件集成到所述数据计算框架。

第二方面，提供了一种边缘计算系统，所述边缘计算系统包括分布式部署的多台节点服务器，其中，每台所述节点服务器用于：

当接收到数据处理请求时，确定所述数据处理请求对应的目标数据资源和目标计算插件；

获取边缘机器上传的所述目标数据资源，并将所述目标数据资源加载至预设的数据计算框架；

调用所述数据计算框架中集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算；

从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果。

可选的，所述节点服务器，具体用于：

确定存储有所述目标数据资源的边缘机器，通过所述边缘机器上的数据传输组件获取所述目标数据资源。

可选的，所述节点服务器，具体用于：

通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源，并将所述数据资源存储在本地资源库中；

在所述本地资源库中查找所述目标数据资源。

可选的，所述节点服务器，还用于：

将获取的所述目标数据资源缓存至预设的消息队列中。

可选的，所述节点服务器，具体用于：

根据所述目标数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓存组件。

可选的，所述节点服务器，具体用于：

通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息队列中；

通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理请求的发起方。

可选的，所述节点服务器，还用于：

通过所述数据计算框架中的防火墙组件，对所述目标数据资源进行数据防护处理。

可选的，所述节点服务器，还用于：

将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新计算插件；

将所述新计算插件集成到所述数据计算框架。

本发明实施例提供的技术方案带来的有益效果是：

本实施例提供基于边缘计算的数据处理方法，由于采用预设有数据计算框架的、分布式部署的节点服务器，且数据计算框架上集成有计算插件，所以可以在网络边缘的节点服务器上实现数据处理，使得数据处理无中心化，大大降低了中心节点的负载和压力；且数据处理过程中，数据资源无需上传至中心节点，数据计算结果只在节点服务器与数据处理请求的发起方之间进行传输，节省了数据传输耗费的带宽资源，提高了数据处理效率；且采用集成在数据计算框架中的可插拔式的计算插件来实现数据计算逻辑，计算插件上线和升级周期短，可以在短时间内满足客户需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明某实施例提供的一种边缘计算系统的框架示意图；

图2为本发明某实施例提供的基于边缘计算的数据处理方法流程示意图；

图3为本发明某实施例提供的基于边缘计算的数据处理的交互逻辑示意图；

图4为本发明某实施例提供的集成计算插件的方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种基于边缘计算的数据处理方法，该方法应用于边缘计算系统，边缘计算系统可以是利用边缘计算技术对企业、工厂、楼宇、交通、医疗等场景实现数据处理的系统，如图1所示，边缘计算系统可以包括分布式部署的多台节点服务器，节点服务器可以由边缘计算提供方预先按照地理位置/网络运营商采用分布式架构部署在网络中，每台节点服务器可以对应一个地理/网络区域，其作为数据处理的主体，用于为对应的地理/网络区域内的数据处理请求进行相应的数据处理，多台节点服务器可以分担现有技术中中心平台的数据计算压力，以克服现有技术数据处理的缺陷。在进行数据处理时，节点服务器可以从边缘机器上获取相关的数据资源，再调用本地预设的集成有计算插件的数据计算框架，进一步通过数据计算框架中集成的不同计算插件对不同数据处理请求进行处理。边缘机器可以是任何具备联网上云功能的机器设备，如可以是移动终端、工业机器、机器人、智能装备、电机、智能家居、仪表、摄像头和传感器等，边缘机器在运行状态下可以产生或采集数据资源，并将数据资源提供给节点服务器。

本实施例公开的基于边缘计算的数据处理方法还可以适用于多种领域：如在移动通信领域中，在网络带宽允许的情况下，可以通过预先部署的节点服务器与智能手机，平板电脑，笔记本，4K电视，智能投影仪等各种边缘机器通信，将可以有效实现网络带宽受限、网络不稳定的情况下的数据处理；在卫星通信领域，尤其是大量终端设备分布于偏远和恶劣的环境中，例如船舶、飞机、石油钻井、采矿作业及军事等场景下，可以通过部署节点服务器，有效解决高延时，有限带宽以及跨卫星通讯等问题；在公共设施建设领域中，设置用于数据处理的节点服务器将大大有利于对水、气、电力等公共设施的管理，也有利于智慧道路的建设、公共设施监控以及安全保障等。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

步骤201，当接收到数据处理请求时，目标节点服务器确定数据处理请求对应的目标数据资源和目标计算插件。

在实施中，目标节点服务器在正常运行的过程中，如果接收到新的数据处理请求，可以对该数据处理请求进行分析，确定数据处理请求对应的数据计算逻辑以及实现数据计算逻辑时所需的数据资源(可称为目标数据资源)，进而可以确定用于实现该数据计算逻辑的计算插件(可称为目标计算插件)。此处，计算插件可以是针对不同数据计算逻辑预先封装好的函数集，通过不同的计算插件可以实现不同的数据计算逻辑。

步骤202，目标节点服务器获取边缘机器上传的目标数据资源，并将目标数据资源加载至预设的数据计算框架。

在实施中，在确定了数据处理请求对应的目标数据资源之后，目标节点服务器可以获取边缘机器上传的目标数据资源。例如，数据处理请求为图片处理请求时，目标节点服务器则可以获取一台边缘机器上传的待处理图片；数据处理请求为数据汇总请求，目标节点服务器则可以获取多台边缘机器上传的所有待汇总数据。之后，目标节点服务器可以将获取到的目标数据资源加载至本机上预设的数据计算框架中，此处，数据计算框架可以预先部署在边缘计算系统内的所有节点服务器上的，具体可以集成有用于实现数据处理的多种模块组件，多种模块组件一一解耦，并且可以直接支持虚拟化和容器化部署，可以在短时间内进行纵向扩展，短时间内满足客户需求。

可选的，节点服务器可以在接收到数据处理请求后临时从边缘机器获取数据资源，或者边缘机器可以预先将数据资源发送给节点服务器进行存储，相应的处理可以分别如下：

其一，目标节点服务器确定存储有目标数据资源的边缘机器，通过边缘机器上的数据传输组件获取目标数据资源。

在实施中，目标节点服务器在确定了数据处理请求对应的目标数据资源之后，可以先确定存储有目标数据资源的边缘机器。具体的，目标节点服务器可以按照目标数据资源的数据类型等属性信息，确定存储有目标数据资源的边缘机器，如目标数据资源为北京区域内域名A的访问日志，则可以确定边缘机器为部署在北京区域内提供域名A的访问服务的服务器。之后，目标节点服务器可以通过边缘机器上的数据传输组件获取目标数据资源，具体来讲，目标节点服务器可以向边缘机器发送目标数据资源的上传指令，边缘机器接收到该上传指令，可以通过本机上的数据传输组件(如可采用SDN工具)将目标数据资源上传给目标节点服务器。

其二，目标节点服务器通过边缘机器上的数据传输组件获取边缘机器生成的数据资源，并将数据资源存储在本地资源库中；目标节点服务器在本地资源库中查找目标数据资源。

在实施中，边缘机器在生成数据资源后，可以通过其上的数据传输组件(如可采用SDN工具)主动将生成的数据资源上传至对应的节点服务器。以目标节点服务器为例，目标节点服务器在获取到边缘机器上传的数据资源后，可以将数据资源存储在本地资源库中。这样，目标节点服务器在确定了数据处理请求对应的目标数据资源之后，可以在上述本地资源库中查找目标数据资源。

可选的，在加载数据资源之前，可以通过消息队列对数据资源进行缓存，相应的，步骤202中加载目标数据资源之前，可以存在如下处理：目标节点服务器将获取的目标数据资源缓存至预设的消息队列中。

在实施中，在获取到目标数据资源之后，目标节点服务器可以先将目标数据资源缓存至预设的消息队列中。如此，将数据资源存储在消息队列中，为数据加载做准备，也为数据加载提供缓冲。其中，预设的消息队列是指进行数据计算的目标节点服务器上的消息队列，其可以形成于目标节点服务器的实际内存中，也可以形成于虚拟内存或容器中。另外需要说明的是，采用消息队列的方式进行缓存只是一种优选的实施方式，节点服务器也可以采用内存或其它缓存方式，将获取的数据资源进行缓存，本实施例对此不做限定。

可选的，对于不同数据类型的数据资源，节点服务器可以选择不同的加载组件进行加载，并在加载后进行缓存，相应的，步骤202的处理可以如下：目标节点服务器根据目标数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；目标节点服务器通过目标加载组件将目标数据资源加载至数据计算框架的数据缓存组件。

其中，数据资源的数据类型可以包括网页数据类型、流媒体数据类型及文件数据类型等，为了提高数据加载效率，可以针对不同数据类型的数据资源分别设计不同的加载组件，相应的，数据计算框架中可以配设有多个加载组件，每个加载组件可以加载其对应的数据类型下的数据资源。

具体地，目标节点服务器获取到目标数据资源之后，可以在本机上预设的数据计算框架中，确定与该目标数据资源的数据类型相对应的加载组件(即目标加载组件)。进而，目标节点服务器可以通过目标加载组件将数据资源加载至数据计算框架中的数据缓存组件。此处，目标节点服务器通过目标加载组件将数据资源加载至数据计算框架的数据缓存组件，是指目标节点服务器通过目标加载组件将数据资源加载至数据计算框架后，先进行数据缓存，为数据计算做准备。进一步的，进行缓存时也可以根据数据类型对加载的数据资源分类缓存，同时可以通过数据缓存组件控制数据资源的加载速度，以防止过量的数据资源涌入数据计算框架。

步骤203，目标节点服务器调用数据计算框架中集成的目标计算插件，对加载的目标数据资源进行数据计算。

在实施中，目标节点服务器将目标数据资源加载至预设的数据计算框架后，可以调用数据计算框架中集成的目标计算插件，通过目标计算插件对加载的数据资源进行数据计算。此处的数据计算是指对数据资源进行加工处理，比如网页数据处理、流媒体数据处理、文件数据等。可以理解，计算插件是数据计算框架的核心部分，采用集成插件式接入数据计算框架中的核心计算组件，对于不同业务的数据处理需求，数据计算框架可以自动加载相应的计算插件，以配置相关的数据计算逻辑，这样便于数据计算逻辑的升级更新，可以实现业务功能的快速部署上线。

可选的，节点服务器在进行数据计算之前，可以对数据资源进行数据防护处理，相应的，步骤203之前可以存在如下处理：目标节点服务器通过数据计算框架中的防火墙组件，对目标数据资源进行数据防护处理。

在实施中，目标节点服务器中预设的数据计算框架中可以集成有防火墙组件，用于在进行数据计算处理前，对数据资源进行防护处理。故而，在加载目标数据资源之后，目标节点服务器可以通过数据计算框架中的防火墙组件，对目标数据资源进行数据防护处理，以筛除异常攻击数据，可以防止恶意数据过多导致目标节点服务器负载过高而出现瘫痪、宕机等问题。

步骤204，目标节点服务器从数据计算框架中导出数据计算结果，向数据处理请求的发起方反馈数据计算结果。

在实施中，目标节点服务器通过目标计算插件进行数据计算之后，可以从数据计算框架中导出数据计算结果，再向数据处理请求的发起方反馈数据计算结果。需要说明的是，目标节点服务器直接将数据计算结果反馈给数据处理请求的发起方，无需经中心平台进行转发，节省了传输数据计算结果时耗费的带宽资源。

可选的，节点服务器可以在导出数据计算结果后、反馈数据计算结果前，可以先对数据计算结果进行缓存，相应的，步骤204的处理可以具体如下：目标节点服务器通过数据计算框架的数据上传组件将数据计算结果导出至预设的消息队列中；目标节点服务器通过结果反馈组件将消息队列中的数据计算结果反馈至数据处理请求的发起方。

其中，预设的消息队列是指进行数据计算的节点服务器上的消息队列，其可以形成于节点服务器的实际内存中，也可以形成于虚拟内存或容器中。

在实施中，目标节点服务器在生成数据计算结果之后，可以通过数据计算框架中的数据上传组件将数据计算结果从数据计算框架中导出，然后将数据计算结果缓存至预设的消息队列中。此处，通过消息队列缓存数据计算结果，可以为数据计算结果的反馈做缓冲。继而，目标节点服务器可以通过结果反馈组件(如可采用GDC(General Data Collect，数据通用采集)工具)将数据计算结果从消息队列中导出，并反馈给数据处理请求的发起方。

值得一提的是，一个数据处理任务可能需要多台目标节点服务器共同完成，每台目标节点服务器可以分别执行上述步骤201至步骤204的处理，数据处理请求的发起方最后可以接收到所有目标节点服务器反馈的数据计算结果，并对这些数据计算结果进行汇总、聚合等处理。

为了便于理解，图3以组件的形式示出了数据处理的最佳交互逻辑，其包含外部框架和数据计算框架，外部框架主要包括数据传输组件、消息队列和结果反馈组件，数据计算框架主要包括加载组件、数据缓存组件、核心计算组件、防火墙组件和数据上传组件，其中，核心计算组件上通过插件集成接口集成有多个计算插件。在数据处理的交互过程中，数据资源由数据传输组件到达消息队列，再通过加载组件被加载至数据缓存组件中；防火墙组件从数据缓存组件获取数据资源，并对数据资源进行数据防护处理；核心计算组件中集成的计算插件对数据资源进行计算，再将计算结果通过数据上传组件存入消息队列；最后，结果反馈组件将消息队列中的计算结果反馈给数据处理请求的发起方。

需要说明的是，如果边缘机器本身就设置有上述集成了目标计算插件的数据计算框架，则边缘机器上出现数据处理需求时，则可以直接在调用本机上预设的数据计算框架和本地存储的数据资源来实现相应的数据处理需求，无需再向节点服务器发送数据处理请求和相关的数据资源，这样一方面可以节省数据处理过程中的传输带宽消耗，一方面可以充分利用边缘机器的处理性能，降低节点服务器的负载压力，同时还可以提高数据处理的响应速度。

本实施例还提供了一种集成计算插件的方法，参见图4，该方法可以包括以下步骤：

步骤401，目标节点服务器将待集成的计算功能代码和计算功能代码对应的预备脚本通过SCM(Software configure Manager，软件配置管理)进程添加至数据计算框架。

本实施例中，当需要添加新的数据计算功能时，目标节点服务器可以获取待集成的计算功能代码，以及该计算功能代码对应的预备脚本。可以理解，计算功能代码即为实现数据计算功能的代码，预备脚本则为封装上述计算功能代码所必须的脚本。之后，目标节点服务器可以将待集成的计算功能代码和对应的预备脚本，通过预先运行的用于实现软件管理的SCM进程添加至数据计算框架。

步骤402，目标节点服务器执行预备脚本，调用数据计算框架中的代码封装组件将计算功能代码封装成新计算插件。

本实施例中，在数据计算框架中添加了计算功能代码和预备脚本之后，目标节点服务器可以执行该预备脚本，然后调用数据计算框架中的代码封装组件，将计算功能代码封装成新计算插件。

步骤403，目标节点服务器将新计算插件集成到数据计算框架。

本实施中，在封装得到了新计算插件后，目标节点服务器可以将新计算插件集成到数据计算框架中。其中，计算插件采用集成插件式，数据计算框架可以针对不同的计算插件，提供不同的插件集成接口，当满足插件集成接口的集成需求的时候，即可由数据计算框架自动加载，读取新计算插件，即完成了新的数据处理插件的上线部署，解决了现有技术中当新业务上线或原业务升级的时候，都需要全网部署新程序的问题。且数据计算框架与计算插件之间采用松耦合，组件插件之间可以一一解耦，可以直接支持虚拟化和容器化部署。

本实施例提供基于边缘计算的数据处理方法，由于采用预设有数据计算框架的、分布式部署的节点服务器，且数据计算框架上集成有计算插件，所以可以在网络边缘的节点服务器上实现数据处理，使得数据处理无中心化，大大降低了中心节点的负载和压力；且数据处理过程中，数据资源无需上传至中心节点，数据计算结果只在节点服务器与数据处理请求的发起方之间进行传输，节省了数据传输耗费的带宽资源，提高了数据处理效率；且采用集成在数据计算框架中的可插拔式的计算插件来实现数据计算逻辑，计算插件上线和升级周期短，可以在短时间内满足客户需求。

基于相同的技术构思，本发明实施例还提供了一种边缘计算系统，所述边缘计算系统包括分布式部署的多台节点服务器，其中，每台所述节点服务器用于：

当接收到数据处理请求时，确定所述数据处理请求对应的目标数据资源和目标计算插件；

获取边缘机器上传的所述目标数据资源，并将所述目标数据资源加载至预设的数据计算框架；

调用所述数据计算框架中集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算；

从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果。

可选的，所述节点服务器，具体用于：

确定存储有所述目标数据资源的边缘机器，通过所述边缘机器上的数据传输组件获取所述目标数据资源。

可选的，所述节点服务器，具体用于：

通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源，并将所述数据资源存储在本地资源库中；

在所述本地资源库中查找所述目标数据资源。

可选的，所述节点服务器，还用于：

将获取的所述目标数据资源缓存至预设的消息队列中。

可选的，所述节点服务器，具体用于：

根据所述目标数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓存组件。

可选的，所述节点服务器，具体用于：

通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息队列中；

通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理请求的发起方。

可选的，所述节点服务器，还用于：

通过所述数据计算框架中的防火墙组件，对所述目标数据资源进行数据防护处理。

可选的，所述节点服务器，还用于：

将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新计算插件；

将所述新计算插件集成到所述数据计算框架。

本实施例提供基于边缘计算的数据处理方法，由于采用预设有数据计算框架的、分布式部署的节点服务器，且数据计算框架上集成有计算插件，所以可以在网络边缘的节点服务器上实现数据处理，使得数据处理无中心化，大大降低了中心节点的负载和压力；且数据处理过程中，数据资源无需上传至中心节点，数据计算结果只在节点服务器与数据处理请求的发起方之间进行传输，节省了数据传输耗费的带宽资源，提高了数据处理效率；且采用集成在数据计算框架中的可插拔式的计算插件来实现数据计算逻辑，计算插件上线和升级周期短，可以在短时间内满足客户需求。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于边缘计算的数据处理方法，其特征在于，所述方法应用于边缘计算系统，所述边缘计算系统包括分布式部署的多台节点服务器，其中：

当接收到数据处理请求时，目标节点服务器确定所述数据处理请求对应的目标数据资源和目标计算插件；

所述目标节点服务器获取边缘机器上传的所述目标数据资源，并将所述目标数据资源加载至预设的数据计算框架；

所述目标节点服务器调用所述数据计算框架中集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算；

所述目标节点服务器从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果。

2.根据权利要求1所述的方法，其特征在于，所述目标节点服务器获取边缘机器上传的所述目标数据资源，包括：

所述目标节点服务器确定存储有所述目标数据资源的边缘机器，通过所述边缘机器上的数据传输组件获取所述目标数据资源。

3.根据权利要求1所述的方法，其特征在于，所述目标节点服务器获取边缘机器上传的所述目标数据资源之前，还包括：

所述目标节点服务器通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源，并将所述数据资源存储在本地资源库中；

所述目标节点服务器获取边缘机器上传的所述目标数据资源，包括：

所述目标节点服务器在所述本地资源库中查找所述目标数据资源。

4.根据权利要求1所述的方法，其特征在于，所述将所述目标数据资源加载至预设的数据计算框架之前，还包括：

所述目标节点服务器将获取的所述目标数据资源缓存至预设的消息队列中。

5.根据权利要求1所述的方法，其特征在于，所述将所述目标数据资源加载至预设的数据计算框架，包括：

所述目标节点服务器根据所述目标数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

所述目标节点服务器通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓存组件。

6.如权利要求1所述的方法，其特征在于，所述目标节点服务器从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果，包括：

所述目标节点服务器通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息队列中；

所述目标节点服务器通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理请求的发起方。

7.如权利要求1所述的方法，其特征在于，所述目标节点服务器调用所述数据计算框架中预先集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算之前，还包括：

所述目标节点服务器通过所述数据计算框架中的防火墙组件，对所述目标数据资源进行数据防护处理。

8.如权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

所述目标节点服务器将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

所述目标节点服务器执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新计算插件；

所述目标节点服务器将所述新计算插件集成到所述数据计算框架。

9.一种边缘计算系统，其特征在于，所述边缘计算系统包括分布式部署的多台节点服务器，其中，每台所述节点服务器用于：

当接收到数据处理请求时，确定所述数据处理请求对应的目标数据资源和目标计算插件；

获取边缘机器上传的所述目标数据资源，并将所述目标数据资源加载至预设的数据计算框架；

调用所述数据计算框架中集成的所述目标计算插件，对加载的所述目标数据资源进行数据计算；

从所述数据计算框架中导出数据计算结果，向所述数据处理请求的发起方反馈所述数据计算结果。

10.根据权利要求9所述的边缘计算系统，其特征在于，所述节点服务器，具体用于：

确定存储有所述目标数据资源的边缘机器，通过所述边缘机器上的数据传输组件获取所述目标数据资源。

11.根据权利要求9所述的边缘计算系统，其特征在于，所述节点服务器，具体用于：

通过边缘机器上的数据传输组件获取所述边缘机器生成的数据资源，并将所述数据资源存储在本地资源库中；

在所述本地资源库中查找所述目标数据资源。

12.根据权利要求9所述的边缘计算系统，其特征在于，所述节点服务器，还用于：

将获取的所述目标数据资源缓存至预设的消息队列中。

13.根据权利要求9所述的边缘计算系统，其特征在于，所述节点服务器，具体用于：

根据所述目标数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

通过所述目标加载组件将所述目标数据资源加载至所述数据计算框架的数据缓存组件。

14.如权利要求9所述的边缘计算系统，其特征在于，所述节点服务器，具体用于：

通过所述数据计算框架的数据上传组件将所述数据计算结果导出至预设的消息队列中；

通过结果反馈组件将所述消息队列中的所述数据计算结果反馈至所述数据处理请求的发起方。

15.如权利要求9所述的边缘计算系统，其特征在于，所述节点服务器，还用于：

通过所述数据计算框架中的防火墙组件，对所述目标数据资源进行数据防护处理。

16.如权利要求9-15任一所述的边缘计算系统，其特征在于，所述节点服务器，还用于：

将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新计算插件；

将所述新计算插件集成到所述数据计算框架。