CN109714439A - 基于边缘计算的数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于边缘计算的数据处理方法，该方法包括：当出现新的数据处理需求时，中心节点向数据处理需求关联的至少一个分布式设备发送数据处理请求；分布式设备获取数据处理请求所需的数据资源，并将数据资源加载至预设的数据计算框架；分布式设备调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；分布式设备从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。本发明提供的数据处理方法使得数据处理无中心化，大大降低了中心节点的负载和压力；也提高了分布式设备的性能利用率；且数据处理过程中，减少了数据处理过程中的数据传输量，提高了数据处理效率。

Description

基于边缘计算的数据处理方法及系统

技术领域

本发明涉及计算机数据处理技术领域，特别涉及一种基于边缘计算的数据处理方法及系统。

背景技术

云计算技术是一种将硬件、软件、网络等资源统一起来，通过网络提供给用户，以实现数据的计算、储存、共享等处理的技术。目前在利用云计算技术实现数据处理时，可以将数据资源集中上传至中心节点，然后统一通过中心节点实现具体的数据处理。

具体来说，用户可以将需要应用于云计算的数据资源，通过物联网技术上传至中心节点。当需要执行云计算处理时，用户可以向中心节点发送相应的数据处理请求。中心节点接收到数据处理请求后，可以先获取已存储的数据处理请求关联的数据资源，然后对这些数据资源进行集中的分析、计算等处理。继而，中心节点可以将得到的计算结果反馈给用户，即对数据处理请求进行响应，完成云计算处理。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

随着云计算技术的发展，应用于云计算的数据资源的数据量飞速增长，如果仍然在中心节点进行集中的数据计算，会导致中心节点的负载过高、压力过大。再者，在中心节点进行数据计算，需要将所有数据资源传输至中心节点，由中心节点逐一进行处理，这样不仅消耗了大量的带宽资源，而且数据计算结果的反馈耗时较长。另外，中心节点中的数据计算逻辑需要更新时，技术人员往往需要对数据计算逻辑的代码进行修改或更换后，再对整体处理流程的代码进行打包，数据计算逻辑的升级比较繁琐复杂。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于边缘计算的数据处理方法及系统。所述技术方案如下：

第一方面，提供了一种基于边缘计算的数据处理方法，应用于内容分发网络，该方法包括：

当出现新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；

所述分布式设备获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；

所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；

所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。

进一步地，若所述数据处理需求关联的至少一个分布式设备为边缘节点机，则该方法包括：

当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个边缘节点机发送数据处理请求；

所述边缘节点机获取本地存储的所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；

所述边缘节点机调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；

所述边缘节点机从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。

进一步地，若所述数据处理需求关联的至少一个分布式设备为节点服务器，则该方法包括：

当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个节点服务器发送数据处理请求；

所述节点服务器从至少一个边缘节点机获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架；

所述节点服务器调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；

所述节点服务器从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。

进一步地，所述节点服务器从所述数据处理需求关联的至少一个边缘节点机获取所述数据处理请求所需的数据资源的步骤，具体包括：

所述节点服务器向所述数据处理需求关联的至少一个边缘节点机发送所述数据处理请求所需的数据资源的获取请求；

所述边缘节点机接收所述数据资源的获取请求后，通过本地的数据传输工具将所述数据资源上报至所述节点服务器。

进一步地，所述节点服务器获取所述数据处理请求所需的数据资源后，将所述数据资源加载至预设的数据计算框架的步骤之前，还包括：所述节点服务器将获取的所述数据资源缓存至本地的消息队列中。

进一步地，所述分布式设备获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架的步骤，具体包括：

所述分布式设备获取所述数据处理请求所需的数据资源；

所述分布式设备根据所述数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

所述分布式设备通过所述目标加载组件将所述数据资源加载至所述数据计算框架的数据缓存组件。

进一步地，所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤，具体包括：

所述分布式设备根据加载的所述数据资源的数据类型，确定所述数据计算框架中预先集成的目标数据计算插件；

所述分布式设备调用所述目标数据计算插件，对加载的数据资源进行数据计算。

进一步地，所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方的步骤，具体包括：

所述分布式设备从所述数据计算框架获取所述数据计算结果；

所述分布式设备将所述数据计算结果缓存至本地的消息队列中；

所述分布式设备通过本地的数据采集框架将所述数据计算结果从所述消息队列反馈至需求发起方。

进一步地，所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤之前，还包括：

所述分布式设备通过所述数据计算框架中的防火墙组件，对所述数据资源进行过滤，以筛除分布式拒绝服务攻击数据。

进一步地，所述方法还包括：

所述分布式设备将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

所述分布式设备执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新数据计算插件；

所述分布式设备将所述新数据计算插件集成到所述数据计算框架。

第二方面提供一种基于边缘计算的数据处理系统，该系统包括中心节点和分布式设备，其中：

所述中心节点，用于当出现新的数据处理需求时，向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；

所述分布式设备，用于获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；还用于调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；还用于从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。

本发明提供的数据处理方法，由于采用预设有数据计算框架的分布式设备，且数据计算框架上集成有数据计算插件，所以可以在分布式设备上进行数据处理，使得数据处理无中心化，大大降低了中心节点的负载和压力；也提高了分布式设备的性能利用率；且数据处理过程中，数据资源无需上传至中心节点，数据计算结果只是在分布式设备与需求发起方之间进行传输，节省了数据处理过程中的数据传输量，提高了数据处理效率；且采用集成在数据计算框架中的可插拔式的数据计算插件来实现数据计算功能，数据计算插件上线和升级周期短，可以在短时间内满足客户需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明某实施例提供的基于边缘计算的数据处理方法流程示意图；

图2为本发明某实施例提供的集成数据计算插件的方法流程示意图；

图3为本发明某实施例提供的基于边缘计算的数据处理系统；

图4为本发明另一实施例提供的基于边缘计算的数据处理系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供一种基于边缘计算的数据处理方法，主要应用于基于边缘计算的数据处理系统，该系统包括中心节点和分布式设备，并主要由分布式设备来实现。其中，分布式设备为进行数据处理的主体，可以针对需求发起方的数据处理需求进行相应的数据处理，其可以是分布式部署在基于边缘计算的数据处理系统中的网络设备，如可以是手机、电脑、电视等各种物联网设备，也可以是为这些设备提供服务的节点服务器。上述需求发起方是需要进行数据处理的发起者，其可以是分布式设备，也可以是基于边缘计算的数据处理系统中的中心节点。本实施例提供的数据处理方法主要是预先在分布式设备上设置集成有数据计算插件的数据计算框架，对于数据处理请求，分布式设备可以调用上述数据计算框架，进一步通过数据计算框架中集成的不同数据计算插件，对不同数据处理请求相关的数据资源进行计算，并反馈数据计算结果。上述数据处理需求可以由一台分布式设备独立完成处理，也可以由多台分布式设备共同完成处理。值得一提的是，在部分场景中，节点服务器可以理解为某一区域内的中心节点，即该场景下节点服务器可以实现下述中心节点的功能，而分布式设备则可以为该区域内的边缘节点机。

下面结合附图对该基于边缘计算的数据处理方法进行具体说明。

参见图1，为本发明实施例提供的一种基于边缘计算的数据处理方法的流程图，该方法包括以下步骤。

步骤101，当出现新的数据处理需求时，中心节点向数据处理需求关联的至少一个分布式设备发送数据处理请求。

本实施例中，中心节点在正常运行的过程中，如果出现了新的数据处理需求，可以先确定该数据处理需求关联的至少一个分布式设备，然后向确定出的至少一个分布式设备发送数据处理请求。此处数据处理需求和分布式设备的关联，可以理解为分布式设备用于解决该数据处理需求。具体来说，若需求发起方是分布式设备，分布式设备只有在其本身不具有处理该数据处理需求时才将数据处理请求发送至中心节点，这时中心节点处即出现了新的数据处理需求，中心节点则可以将该数据处理请求转发至数据处理需求关联的至少一个边缘节点机或者节点服务器。若需求发起方是中心节点，中心节点则可以在产生了数据处理需求时，向数据处理需求关联的至少一个边缘节点机或者节点服务器发送数据处理请求。此处确定分布式设备的方式可以是先确定具备相关数据计算功能的网络设备，再确定距离需求发起方最近的或当前负载较低的一个或多个网络设备，进一步的还可以确定已存有数据处理请求所需数据资源的网络设备等。本实施例不对确定分布式设备的方式进行具体限定，中心节点还可以按照其它预设的规则确定分布式设备。

步骤102，分布式设备获取数据处理请求所需的数据资源，并将数据资源加载至预设的数据计算框架。

本实施例中，在接收到中心节点发来的数据处理请求之后，分布式设备可以解析该数据处理请求，获取该数据处理请求所需的数据资源。例如，数据处理请求为图片处理请求，分布式设备则可以获取待处理的图片；数据处理请求为数据汇总请求，分布式设备则可以获取待汇总的所有数据。之后，分布式设备可以将获取到的数据处理请求加载至本机上预设的数据计算框架中，其中，数据计算框架可以部署在基于边缘计算的数据处理系统内的所有分布式设备上，也可以根据分布式设备所需的数据处理功能做针对性部署。为了提高数据处理效率，优选在基于边缘计算的数据处理系统内的所有分布式设备上均部署数据计算框架。

由于数据资源一般存储在边缘节点机，故而，若分布式设备为边缘节点机，则边缘节点机可以获取本地存储的数据处理请求所需的数据资源，然后将数据资源加载至边缘节点机上预设的数据计算框架内。若分布式设备为节点服务器，则节点服务器可以先确定数据处理请求所需的数据资源，然后向存储有这些数据资源的至少一个边缘节点机发送该数据资源的获取请求；边缘节点机接收数据资源的获取请求后，通过本地的数据传输工具将数据资源上报至节点服务器；然后节点服务器将数据资源加载至节点服务器上预设的数据计算框架内。

进一步地，当数据资源较多时，节点服务器可以先将获取的数据资源缓存至本地的消息队列中。如此，将数据资源存储在消息队列中，为数据加载做准备，也为数据加载提供缓冲。其中，本地的消息队列是指进行数据计算的节点服务器上的消息队列，其可以形成于节点服务器的实际内存中，也可以形成于虚拟内存或容器中。另外需要说明的是，采用消息队列的方式进行缓存只是一种优选的实施方式，节点服务器也可以采用内存或其它缓存方式，将获取的数据资源进行缓存，本实施例对此不做限定。

在一具体实施方式中，对于不同数据类型的数据资源，分布式设备可以选择不同的加载组件进行加载，并在加载后进行缓存，相应的，步骤102具体包括：分布式设备获取数据处理请求所需的数据资源；分布式设备根据数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；分布式设备通过目标加载组件将数据资源加载至数据计算框架的数据缓存组件。

其中，数据资源的数据类型可以包括网页数据、流媒体数据及文件数据等，为了提高数据加载效率，可以针对不同数据类型的数据资源分别设计不同的加载组件，相应的，数据计算框架中可以配设有多个加载组件，每个加载组件可以加载其对应的数据类型下的数据资源。

具体地，分布式设备在接收到数据处理请求后，可以先获取该数据处理请求所需的数据资源，然后在本机上预设的数据计算框架中，确定与该数据资源的数据类型相对应的加载组件(即目标加载组件)。进而，分布式设备可以通过目标加载组件将数据资源加载至数据计算框架中的数据缓存组件。另外，分布式设备通过目标加载组件将数据资源加载至数据计算框架的数据缓存组件，是指分布式设备通过目标加载组件将数据资源加载至数据计算框架后，先进行数据缓存，为数据计算做准备。进一步的，进行缓存时也可以根据数据类型对加载的数据资源分类缓存，同时可以通过数据缓存组件控制数据资源的加载速度，以防止过量的数据流量涌入数据计算框架。

另外，若是节点服务器调用数据计算框架进行数据加载，基于上述节点服务器将获取的数据资源缓存至本地的消息队列中的处理，则节点服务器(即分布式设备)可以通过目标加载组件从上述消息队列中读取数据资源。若是边缘节点机调用数据计算框架进行数据加载，则不需要将数据资源从边缘节点机向节点服务器传输，不需要进行上述一级缓存，目标加载组件可以直接从边缘节点机的内存中读取数据资源。

步骤103，分布式设备调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算。

其中，数据计算插件是该数据处理方法中用到的核心计算模块，主要用于对加载的数据资源进行数据计算。需要说明的是，这里的数据计算是指对数据进行加工处理，可以是任何计算机设备对数据进行的任一种加工处理，比如网页数据处理、流媒体数据处理、文件数据等。

本实施例中，分布式设备在将数据资源加载至预设的数据计算框架后，可以调用数据计算框架中预先集成的数据计算插件，然后通过数据计算插件对加载的数据资源进行数据计算。

在一具体实施方式中，对于不同数据类型的数据资源，分布式设备可以选择不同的数据计算插件进行数据计算，相应的，步骤103具体包括：分布式设备根据加载的数据资源的数据类型，确定数据计算框架中预先集成的目标数据计算插件；分布式设备调用目标数据计算插件，对加载的数据资源进行数据计算。

具体的，分布式设备在将数据资源加载至预设的数据计算框架后，可以先确定该数据资源的数据类型，然后在数据计算框架预先集成的所有数据计算插件中，确定与该数据类型相对应的数据计算插件(即目标数据计算插件)。进而，分布式设备可以调用目标数据计算插件，对加载的数据资源进行数据计算。如此，根据数据资源的数据类型，选择对应的数据计算插件进行数据计算，可以进一步提高数据处理效率。还可以根据分布式设备的资源利用情况与负载数据，均衡部署数据计算插件，提高分布式设备的资源利用率。

步骤104，分布式设备从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。

本实施例中，分布式设备通过数据计算插件进行数据计算之后，可以从数据计算框架中导出数据计算结果，再将数据计算结果反馈给数据处理需求的需求发起方。其中，同步骤101，需求发起方可以是分布式设备，也可以是中心节点。若需求发起方是分布式设备，分布式设备为节点服务器时，节点服务器可以在进行数据计算后，直接或者通过边缘节点机将数据计算结果反馈至分布式设备，而分布式设备为边缘节点机时，边缘节点机可以在进行数据计算后，直接将数据计算结果反馈至分布式设备；若需求发起方是中心节点，分布式设备为节点服务器时，边缘节点机可以在进行数据计算后，直接将数据计算结果反馈至中心节点，而分布式设备为边缘节点机时，边缘节点机可以在进行数据计算后，直接或者通过节点服务器将数据计算结果反馈至中心节点。

在一具体实施方式中，分布式设备可以在导出数据计算结果后、反馈数据计算结果前，先对数据计算结果进行缓存，相应的，步骤104具体包括：分布式设备从数据计算框架获取数据计算结果；分布式设备将数据计算结果缓存至本地的消息队列中；分布式设备通过本地的数据采集框架将数据计算结果从消息队列反馈至需求发起方。

其中，本地的消息队列是指进行数据计算的分布式设备上的消息队列，其可以形成于分布式设备的实际内存中，也可以形成于虚拟内存或容器中。

具体的，分布式设备在生成数据计算结果之后，可以将数据计算结果从数据计算框架中导出，然后将数据计算结果缓存至本地的消息队列中。通过消息队列缓存数据计算结果，可以为数据计算结果的反馈做缓冲。继而，分布式设备可以通过本地的数据采集框架将数据计算结果从消息队列中导出，并反馈给需求发起方。当数据处理结果较少时，可以通过数据采集框架采集数据计算结果，然后直接反馈至需求发起方。

另外，为了防止在数据处理过程中发生DDOS(Distributed Denial of Service，分布式拒绝服务)攻击，分布式设备调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤之前，还包括：分布式设备通过数据计算框架中的防火墙组件，对数据资源进行过滤，以筛除分布式拒绝服务攻击数据，可以防止恶意数据过多导致分布式设备压力负载过高而瘫痪、宕机等。

本实施例还提供了一种集成数据计算插件的方法，参见图2，该方法可以包括以下步骤：

步骤201，分布式设备将待集成的计算功能代码和计算功能代码对应的预备脚本通过SCM(Software configure Manager，软件配置管理)进程添加至数据计算框架。

本实施例中，当需要添加新的数据计算功能时，分布式设备可以获取待集成的计算功能代码，以及该计算功能代码对应的预备脚本。可以理解，计算功能代码即为实现数据计算功能的代码，预备脚本则为封装上述计算功能代码所必须的脚本。之后，分布式设备可以将待集成的计算功能代码和对应的预备脚本，通过预先运行的用于实现软件管理的SCM进程添加至数据计算框架。

步骤202，分布式设备执行预备脚本，调用数据计算框架中的代码封装组件将计算功能代码封装成新数据计算插件。

本实施例中，在数据计算框架中添加了计算功能代码和预备脚本之后，分布式设备可以执行该预备脚本，然后调用数据计算框架中的代码封装组件，将计算功能代码封装成新数据计算插件。

步骤203，分布式设备将新数据计算插件集成到数据计算框架。

本实施中，在封装得到了新数据计算插件后，分布式设备可以将新数据计算插件集成到数据计算框架中。其中，数据计算插件采用集成插件式，数据计算框架可以针对不同的数据计算插件，提供不同的插件集成接口，当满足插件集成接口的集成需求的时候，即可由数据计算框架自动加载，读取新的数据计算插件，即完成了新的数据处理插件的上线部署，解决了现有技术中当新业务上线或原业务升级的时候，都需要全网部署新程序的问题。且数据计算框架与数据计算插件之间采用松耦合，组件插件之间可以一一解耦，可以直接支持虚拟化和容器化部署。

本实施例提供的数据处理方法，由于采用预设有数据计算框架的分布式设备，且数据计算框架上集成有数据计算插件，所以可以在分布式设备上进行数据处理，使得数据处理无中心化，大大降低了中心节点的负载和压力；也提高了分布式设备的性能利用率；且数据处理过程中，数据资源无需上传至中心节点，数据计算结果只是在分布式设备与需求发起方之间进行传输，减少了数据处理过程中的数据传输量，提高了数据处理效率；且采用集成在数据计算框架中的可插拔式的数据计算插件来实现数据计算功能，数据计算插件上线和升级周期短，可以在短时间内满足客户需求。

另外，需要说明的是，在某些领域，上述集成有数据计算插件的数据计算框架还可以同时部署在基于边缘计算的数据处理系统内的节点服务器和一些分布式设备上，这些分布式设备可以看作是基于边缘计算的数据处理系统内的边缘节点机，分布式设备可以直接进行数据计算，并与节点服务器协同进行数据资源和/或数据计算结果的传输。比如移动通信领域，在网络带宽允许的情况下，可以在智能手机，平板电脑，笔记本，4K电视，智能投影仪等各种物联网设备上部署集成有数据计算插件的数据计算框架，则这些物联网设备能够直接进行数据计算，或直接与基于边缘计算的数据处理系统内的节点服务器进行数据传输，将可以有效改善网络带宽受限、网络不稳定的情况。又比如在卫星通信领域，尤其是大量分布式设备分布于偏远和恶劣的环境中时，例如船舶、飞机、石油钻井、采矿作业及军事基础设施等，可以通过在这些设备上部署集成有数据计算插件的数据计算框架，有效解决高延时，有限带宽以及跨卫星通讯等问题。亦或者，在公共设施建设领域，若在城市公共设施的物联网设备上部署集成有数据计算插件的数据计算框架，将大大有利于对水、气、电力等公共设施的管理，也有利于智慧道路的建设、公共设施监控以及安全保障等。

本实施例还提供一种基于边缘计算的数据处理系统，该系统包括中心节点和分布式设备。该中心节点，用于当出现新的数据处理需求时，向数据处理需求关联的至少一个分布式设备发送数据处理请求。该分布式设备，用于获取数据处理请求所需的数据资源，并将数据资源加载至预设的数据计算框架；还用于调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；还用于从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。

在一具体实施方式中，如图3所示，为本实施例提供的基于边缘计算的数据处理系统，其中分布式设备为边缘节点机。边缘节点机用于接收中心节点发出或者转发的数据处理请求，并将数据处理请求所需的数据资源加载至预设的数据计算框架，然后调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算，然后从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。另外，图3中的虚线代表：基于分布式设备为边缘节点机的数据处理系统，可以是只有中心节点和边缘节点机数据处理系统，也可以是具有中心节点、节点服务器和边缘节点机的数据处理系统。

在一具体实施方式中，如图4所示，为本实施例提供的另一种基于边缘计算的数据处理系统，其中分布式设备为节点服务器。节点服务器用于接收中心节点发出或者转发的数据处理请求，并从至少一个边缘节点机获取数据处理请求所需的数据资源，然后将数据资源加载至预设的数据计算框架，然后调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算，然后从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。

在一具体实施方式中，分布式设备为节点服务器，节点服务器还具体用于将获取的数据资源缓存至本地的消息队列中。

在一具体实施方式中，分布式设备还具体用于：获取数据处理请求所需的数据资源；根据数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；通过目标加载组件将数据资源加载至数据计算框架的数据缓存组件。

在一具体实施方式中，分布式设备还具体用于：根据加载的数据资源的数据类型，确定数据计算框架中预先集成的目标数据计算插件；调用目标数据计算插件，对加载的数据资源进行数据计算。

在一具体实施方式中，分布式设备还具体用于：从数据计算框架获取数据计算结果；将数据计算结果缓存至本地的消息队列中；通过本地的数据采集框架将数据计算结果从消息队列反馈至需求发起方。

在一具体实施方式中，分布式设备还具体用于：将待集成的计算功能代码和计算功能代码对应的预备脚本通过SCM进程添加至数据计算框架；执行预备脚本，调用数据计算框架中的代码封装组件将计算功能代码封装成新数据计算插件；将新数据计算插件集成到数据计算框架。

需要说明的是：上述实施例提供的基于边缘计算的数据处理系统与基于边缘计算的数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于边缘计算的数据处理方法，其特征在于，该方法包括：

当出现新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；

所述分布式设备获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；

所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；

所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。

2.如权利要求1所述的方法，其特征在于，若所述数据处理需求关联的至少一个分布式设备为边缘节点机，则该方法包括：

当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个边缘节点机发送数据处理请求；

所述边缘节点机获取本地存储的所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；

所述边缘节点机调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；

所述边缘节点机从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。

3.如权利要求1所述的方法，其特征在于，若所述数据处理需求关联的至少一个分布式设备为节点服务器，则该方法包括：

当产生新的数据处理需求时，中心节点向所述数据处理需求关联的至少一个节点服务器发送数据处理请求；

所述节点服务器从至少一个边缘节点机获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架；

所述节点服务器调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；

所述节点服务器从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方。

4.如权利要求3所述的方法，其特征在于，所述节点服务器从所述数据处理需求关联的至少一个边缘节点机获取所述数据处理请求所需的数据资源的步骤，具体包括：

所述节点服务器向所述数据处理需求关联的至少一个边缘节点机发送所述数据处理请求所需的数据资源的获取请求；

所述边缘节点机接收所述数据资源的获取请求后，通过本地的数据传输工具将所述数据资源上报至所述节点服务器。

5.如权利要求3所述的方法，其特征在于，所述节点服务器获取所述数据处理请求所需的数据资源后，将所述数据资源加载至预设的数据计算框架的步骤之前，还包括：所述节点服务器将获取的所述数据资源缓存至本地的消息队列中。

6.如权利要求1所述的方法，其特征在于，所述分布式设备获取所述数据处理请求所需的数据资源，将所述数据资源加载至预设的数据计算框架的步骤，具体包括：

所述分布式设备获取所述数据处理请求所需的数据资源；

所述分布式设备根据所述数据资源的数据类型，确定预设的数据计算框架中的目标加载组件；

所述分布式设备通过所述目标加载组件将所述数据资源加载至所述数据计算框架的数据缓存组件。

7.如权利要求1所述的方法，其特征在于，所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤，具体包括：

所述分布式设备根据加载的所述数据资源的数据类型，确定所述数据计算框架中预先集成的目标数据计算插件；

所述分布式设备调用所述目标数据计算插件，对加载的数据资源进行数据计算。

8.如权利要求1所述的方法，其特征在于，所述分布式设备从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至所述需求发起方的步骤，具体包括：

所述分布式设备从所述数据计算框架获取所述数据计算结果；

所述分布式设备将所述数据计算结果缓存至本地的消息队列中；

所述分布式设备通过本地的数据采集框架将所述数据计算结果从所述消息队列反馈至需求发起方。

9.如权利要求1所述的方法，其特征在于，所述分布式设备调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算的步骤之前，还包括：

所述分布式设备通过所述数据计算框架中的防火墙组件，对所述数据资源进行过滤，以筛除分布式拒绝服务攻击数据。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述分布式设备将待集成的计算功能代码和所述计算功能代码对应的预备脚本通过SCM进程添加至所述数据计算框架；

所述分布式设备执行所述预备脚本，调用所述数据计算框架中的代码封装组件将所述计算功能代码封装成新数据计算插件；

所述分布式设备将所述新数据计算插件集成到所述数据计算框架。

11.一种基于边缘计算的数据处理系统，其特征在于，该系统包括中心节点和分布式设备，其中：

所述中心节点，用于当出现新的数据处理需求时，向所述数据处理需求关联的至少一个分布式设备发送数据处理请求；

所述分布式设备，用于获取所述数据处理请求所需的数据资源，并将所述数据资源加载至预设的数据计算框架；还用于调用所述数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；还用于从所述数据计算框架中导出数据计算结果，并将所述数据计算结果反馈至需求发起方。