CN111800443B - 数据处理系统和方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例提供了一种数据处理系统和方法、装置以及电子设备。该系统包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，所述边缘云节点，用于获取第一数据并进行第一处理，生成第二数据，并将所述第二数据通过所述网络通道发送至所述中心管控设备；所述中心管控设备，用于对接收到的所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。本发明实施例针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行基础处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行进一步处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。

Description

数据处理系统和方法、装置以及电子设备

技术领域

本发明涉及云计算技术领域，尤其涉及一种数据处理系统和方法、装置以及电子设备。

背景技术

边缘节点由于更加靠近用户或数据源，能够就近提供最近端服务。从而能够产生更快的网络服务响应，以及满足用户在实时业务以及安全与隐私保护等方面的边缘侧需求。

近年来，由于网络的发展也出现了基于近用户侧的边缘节点，利用网络将用户附近的边缘节点变为该用户也可用的边缘节点，从而出现了类似云网络的边缘节点网络。能够更好地发挥用户侧的近用户计算的高响应速度，又能够满足用户需求的弹性变化。

发明人在实现本发明的过程中，发现现有技术至少存在如下问题：在现有技术中，由近用户侧的多个边缘节点构成的边缘云与传统的由集中式的数据中心构成的中心云这两种计算资源，在针对用户的计算需求提供服务时，只能根据各自的优势针对性地进行处理，无法同时满足用户在响应速度和在计算存储能力上的需求。

发明内容

本发明实施例提供一种数据处理系统和方法、装置以及电子设备，以解决现有技术中边缘云或中心云在提供服务时无法同时满足用户在响应速度和在计算存储能力上的需求的缺陷。

为达到上述目的，本发明实施例提供了一种数据处理系统，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，

所述边缘云节点，用于获取第一数据并进行第一处理，生成第二数据，并将所述第二数据通过所述网络通道发送至所述中心管控设备；

所述中心管控设备，用于对接收到的所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。

本发明实施例还提供了一种数据处理方法，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：

通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是中心管控设备通过对获取的第五数据进行第五处理而生成的；或，

通过网络通道接收边缘云节点发送的第三数据，对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据。

本发明实施例还提供了一种数据处理方法，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：

对第一数据进行第一处理并生成第二数据；

将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。

本发明实施例还提供了一种数据处理装置，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：

数据发送模块，用于通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是所述中心管控设备通过对获取的第五数据进行第五处理而生成的；以及

数据接收模块，用于通过网络通道接收边缘云节点发送的第三数据；

第二处理模块，用于对所述第三数据进行第三处理，生成所述第二数据的目标处理结果数据。

本发明实施例还提供了一种数据处理装置，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：

第一处理模块，用于对第一数据进行第一处理并生成第二数据；

数据上报模块，用于将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。

本发明实施例还提供了一种数据处理系统，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述边缘云节点包括边缘云管控设备，所述边缘云管控设备执行前述方法。

本发明实施例还提供一种数据处理系统，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，

所述边缘云节点，用于获取数据并处理，将所述处理的数据通过所述网络通道发送至所述中心管控设备；

所述中心管控设备，用于获取并处理来自所述边缘云节点的数据，生成并存储最终数据。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，使得所述电子设备：

控制边缘云节点获取第一数据并进行第一处理，生成第二数据；

控制所述边缘云节点将所述第二数据通过网络通道发送至中心管控设备；

控制所述中心管控设备对所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。

本发明实施例提供的数据处理系统和方法、装置以及电子设备，针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行第一处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行第二处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1a为本申请示例性实施例提供的一种网络系统的结构示意图；

图1b为本申请示例性实施例提供的另一种网络系统的结构示意图；

图2为本发明提供的数据处理系统实施例的系统框图；

图3为本发明提供的数据处理方法一个实施例的流程图；

图4为本发明提供的数据处理方法另一个实施例的流程图；

图5为本发明提供的数据处理方法又一个实施例的流程图；

图6为本发明提供的数据处理方法再一个实施例的流程图；

图7为本发明提供的电子设备实施例的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

与中心云或者传统的云计算平台相对应，边缘云是指相对靠近终端的云计算平台，或者说，与中心云或者传统的云计算平台相区别，中心云或者传统的云计算平台可以包括资源规模化且位置集中的数据中心，而边缘云节点覆盖的网络范围更广泛，也因此具备距离终端更近的特性，单个边缘云节点的资源规模较小，但是边缘云节点的数量多，多个边缘云节点构成了边缘云的组成部分。边缘云网络是基于中心云或者传统的云计算系统与终端之间的基础设施构建的网络。特别是边缘云网络能够与中心云或传统的云计算平台等中心网络、终端结合形成“云边端三体协同”的网络架构，在该网络架构中，可以将网络转发、存储、计算、智能化数据分析等任务放在各边缘云节点中处理，由于各边缘云节点更靠近终端，因此可以降低响应时延，减轻中心云或传统的云计算平台的压力，降低带宽成本。

上述实施例是对本发明实施例的技术原理的说明，下面通过多个实施例来进一步对本发明实施例具体技术方案进行详细描述。

实施例一

图1a为本申请示例性实施例提供的一种网络系统的结构示意图。图1b为本申请示例性实施例提供的另一种网络系统的结构示意图。如图1a和图1b所示，本实施例提供的数据处理系统包括：至少一个边缘云节点102和中心管控设备101。至少一个边缘云节点102分别与中心管控设备101通过网络通道连接。

本实施例的数据处理系统是基于云计算技术和边缘计算的能力，构筑在边缘基础设施之上的云计算平台，是一种边缘位置的具备计算、网络、存储、安全等能力的云平台。

与中心云或者传统的云计算平台相对应，本实施例的数据处理系统可以视为一种混合的边缘云网络系统。边缘云是个相对概念，边缘云是指相对靠近终端的云计算平台，或者说，与中心云或者传统的云计算平台相区别，中心云或者传统的云计算平台可以包括资源规模化且位置集中的数据中心，而边缘云节点覆盖的网络范围更广泛，也因此具备距离终端更近的特性，单个边缘云节点的资源规模较小，但是边缘云节点的数量多，多个边缘云节点构成了本实施例中边缘云的组成部分。本实施例的终端是指云计算服务的需求端，例如可以是互联网中的终端或者用户端，或者物联网中的终端或用户端。边缘云网络是基于中心云或者传统的云计算系统与终端之间的基础设施构建的网络。其中，数据处理系统包括至少一个边缘云节点102，每个边缘云节点102包括一系列的边缘基础设施，这些边缘基础设施包括但不限于：分布式数据中心(DC)、无线机房或集群，运营商的通信网络、核心网设备、基站、边缘网关、家庭网关、计算设备、存储设备等边缘设备及对应的网络环境等等。在此说明，不同边缘云节点102的位置、能力以及包含的基础设施可以相同，也可以不相同。

其中，本实施例的数据处理系统与中心云或传统的云计算平台等中心网络、终端结合可形成“云边端三体协同”的网络架构，在该网络架构中，可以将网络转发、存储、计算、智能化数据分析等任务放在数据处理系统中的各边缘云节点102中处理，由于各边缘云节点102更靠近终端，因此可以降低响应时延，减轻中心云或传统的云计算平台的压力，降低带宽成本。

如何合理地调度多个边缘云节点资源，以及如何管控好多个边缘云节点以正确和稳定的逻辑进行云计算服务，是一个重要的挑战。在本实施例的网络系统100中，部署有中心管控设备101，中心管控设备101以边缘云节点102为管控对象，在资源调度，镜像管理，实例管控，运维，网络，安全等各方面对数据处理系统中的至少一个边缘云节点102进行统一管控，从而将云计算服务放到各边缘云节点102中处理。在部署实施上，中心管控设备101可以部署在一个或多个云计算数据中心中，或者，可以部署在一个或多个传统数据中心中，中心管控设备101也可以和其管控的至少一个边缘云节点共同构成边缘云网络，本实施例对此不做限定。

对一个边缘云节点102来说，可以对外提供各种资源，例如CPU、GPU等计算资源，内存、硬盘等存储资源，带宽等网络资源等。另外，边缘云节点102还可以根据镜像创建相应实例，通过实例对外提供各种云计算服务。其中，镜像是在边缘云节点中创建实例所需的基础文件，例如可以是为用户提供云计算服务所需的操作系统、应用、或操作配置等镜像文件，其可以是符合边缘云节点计算部署要求，根据特定的一系列文件按照一定的格式制作成的文件。另外，镜像的形态是多样的，可以是虚拟机(Virtual Machine，VM)镜像文件、容器(Docker)镜像文件、各类型的应用打包文件等，镜像形态可以与云计算服务需要使用的虚拟化技术有关，本实施例对此不做限定。与镜像对应，实例的实现形态可以是虚拟机、容器或应用程序等。

值得说明的是，在数据处理系统中，中心管控设备101可以直接对至少一个边缘云节点102进行管控和调度，但并不限于此。例如，可以在一个或多个边缘云节点102中额外地设置一个或多个边缘云管控设备。例如图1b中所示的边缘云管控设备103。可选地，边缘云管控设备103可集中部署在一台设备上，也可以分散部署在多台设备上。中心管控设备101可以部署在一个或多个云计算数据中心或传统数据中心中，也可以和至少一个边缘云节点一起部署在边缘云网络中。边缘云管控设备103可辅助、配合中心管控设备101对至少一个边缘云节点102进行管控和调度。在边缘云管控设备103的协助下，中心管控设备101可以更加方便、高效地对至少一个边缘云节点102进行管控和调度，进而达到充分利用边缘资源的目的。

在本发明实施例中，边缘云节点102为近用户侧的边缘云中的边缘节点，用于对其获取到的第一数据进行第一处理，例如进行数据去重、除错等处理操作，以生成可以向用户反馈的第二数据，从而满足用户对响应速度的需求。然后，边缘云节点102将该第二数据通过网络通道发送至中心云管控设备101进行进一步处理，以满足用户对数据就计算能力的需求。中心云管控设备101可以为传统的由集中式数据中心构成的为用户提供云计算服务的云服务平台。中心云管控设备101在接收到边缘云节点102上传的第二数据后，对该第二数据进行第二处理，例如进行深入的计算处理等操作，以生成第一数据的目标处理结果数据。也就是说，在边缘云节点102获取了第一数据后，对其进行处理的最终目的是为了获取第一数据的目标处理结果数据，在本发明实施例的方案中，将对第一数据的处理分为两部分，即，由边缘云节点102本身执行的第一处理以及由中心云管控设备101执行的第二处理，经过这两级处理后，可同时满足用户对响应速度和对计算能力的需求。

本发明实施例提供的边缘云的数据处理系统，针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行第一处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行第二处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。

实施例二

图2为本发明提供的数据处理系统实施例的系统框图。如图2所示，本实施例提供了一种边缘云的数据处理系统，该系统可以包括多个边缘云节点，图2中仅示出一个边缘云节点作为示例。在该系统中，边缘云节点102可以包括：数据采集模块11、第一处理模块12和数据上报模块13。

在本发明实施例的边缘云节点102中，数据采集模块11获取各种数据，即，第一数据，该第一数据可以包括但不限于：物理机数据、虚拟机数据、业务模块数据、实例带宽流量、实例当前运行情况、实例IO负载、物理机带宽流量、物理机当前运行情况、物理机IO负载、边缘管控模块运行情况、虚拟化组件运行情况等。在数据采集模块11获取了第一数据后，第一处理模块12对该第一数据进行第一处理生成第二数据，该第一处理可以包括但不限于：对第一数据的去重处理、除错处理、归档处理、合并处理等。然后，由数据上报模块13将第一处理模块12生成的第二数据通过高安全性、高可用性的网络通道发送至中心管控设备101进行后续的处理。

进一步地，边缘云节点102还可以包括：数据缓存模块14。当边缘云节点102与中心管控设备101之间的网络通道发生异常而无法正常传输数据时，数据上报模块13可以将第一处理模块12生成的第二数据发送至数据缓存模块14进行缓存处理，缓存的类型可以包括但不限于：磁盘缓存、内存缓存、数据库缓存等；在网络通道恢复正常时，数据上报模块13则再将数据缓存模块14缓存的第二数据通过网络通道重新发送至中心管控设备101。

此外，根据本申请实施例，边缘云节点102可以进一步包括边缘云管控设备，例如，如图1中所示的边缘云管控设备103，对应的，其可以对上述边缘云节点102的各模块进行管控，并负责与中心管控设备101进行数据交互。例如，边缘云管控设备可以根据第一处理模块12对第一数据的处理结果指示数据上报模块13将第二数据上报给中心管控设备101，或者当边缘云管控设备监控到边缘云节点102与中心管控设备101之间的网络通道发生异常而无法正常传输数据的情况时，可以指示数据缓存模块14对第一处理模块12生成的第二数据进行缓存，并且在监控到网络通道恢复正常时，再指示数据上报模块13将第二数据重新发送至中心管控设备101。

此外，中心管控设备101可以包括：数据接收模块26，用于通过网络通道接收边缘云节点发送的数据。

另外，中心管控设备101可以包括：第二处理模块21。当边缘云节点1中的数据上报模块13将第二数据发送至中心管控设备101的数据接收模块26时，中心管控设备101中的第二处理模块21则对该第二数据进行第二处理，例如进行深入的计算处理等操作，或者，也可以进行去重处理、除错处理、归档处理、合并处理等操作，以生成第一数据的目标处理结果数据。

进一步地，中心管控设备101还可以包括数据发送模块25，用于通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成第六数据的目标处理结果数据，第六数据是中心管控设备101通过对获取的第五数据进行第五处理而生成的。

在该情况下，如上所述，中心管控设备101的数据发送模块25也可以将第六数据发送给边缘云节点的边缘云管控设备，从而边缘云管控设备在接收到该数据时，指示第一处理模块对该数据进行处理，并且根据第一处理模块的处理结果，指示数据上报模块将处理结果，即，第六数据的目标处理结果数据发送给中心管控设备101。

进一步地，中心管控设备101还可以包括：数据存储模块22。在第二数据处理模块21生成第三数据后，可以将第三数据存储到数据存储模块22进行集中式存储，以实现数据持久化存储。

根据本申请的实施例，中心管控设备101也可以在第二处理模块21生成第三数据后，将第三数据存储到其他数据存储设备，例如，传统的云存储设备或者专用的数据存储设备中，以实现数据持久化存储。

此外，根据本申请实施例，边缘云节点可以采集各种设备信息，以进行第一处理，并且中心管控设备在接收到由边缘云节点采集到的设备信息之后，根据该设备信息查找对应的用户信息，以进行第二处理，从而生成目标数据。

例如，在边缘云节点处理IO数据的情况下，边缘节点可以采集产生的设备所使用的IO数据，但是由于与该IO数据关联的用户信息并未存储在该边缘云节点上，因此，边缘云节点需要将该IO数据与该设备的标识信息(例如，设备ID等)一起发送给中心管控设备，从而中心管控设备可以利用设备信息来查找与该IO数据相对应的用户信息，从而基于该IO数据与根据设备信息查找到的用户信息来生成最终的IO指标数据并发送给用户。另外，中心管控设备也可以检查用户的IO指标数据，并且根据IO指标数据来通知边缘云节点进行相应的操作。

另外，要说明的是，边缘云节点因为是靠近用户侧的节点，因此可以采集实际使用的设备的各种信息，例如，流量信息、设备标识等。而中心管控设备由于设置在大型集中服务器上，因此能够存储有更多的其他信息，例如，用户标识等。

更进一步地，中心管控设备101还可以包括：数据巡检模块23。该数据巡检模块23可以获取第二数据的目标处理信息，该目标处理信息用于描述针对第二数据的目标处理操作任务，即，通过获取第二数据的目标处理信息，可以分析出针对该数据将要进行哪些类型的处理，最终将得到哪些类型的数据。该目标处理信息可以从边缘云节点102获取得到，或者也可以根据第二数据的某个或某些属性而在中心管控设备101中查找得到。然后，数据巡检模块23判断该目标处理信息与目标处理结果数据是否匹配，若匹配，则表明获取到的第二数据是准确的，对该第二数据执行的第二处理操作也是准确的，从而生成的目标处理结果数据也是准确的；若不匹配，则需要通过网络通道重新从边缘云节点102获取第二数据，即，重新主动向该边缘云节点102同步最新的数据，以纠正数据内容。

此外，根据本申请实施例，在第二数据或其目标处理信息中可以进一步包含有标识信息，用于标识该第二数据与其目标处理信息的对应关系。从而数据巡检模块23可以在判断目标处理信息与目标处理结果数据是否匹配之前，先判断该目标处理信息是否属于用于生成该目标处理结果数据所基于的第二数据，即检查目标处理信息与该第二数据的对应关系。根据本申请的实施例，数据巡检模块23也可以在获取目标处理信息之前，先获取第二数据中包含的标识信息，并根据该标识信息来进一步获取该第二数据的目标处理信息。

再进一步地，中心管控设备101还可以包括数据接口模块24。当接收到各种业务系统对数据的操作指令时，数据接口模块24可以根据接收到的操作指令，对存储于数据存储模块22的第三数据进行去重、合并、增加、查询、修改或删除等操作。本发明实施例提供的边缘云的数据处理系统，针对边缘云节点的数据，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行第一处理，以满足用户对响应速度的需求，另一方面在中心管控设备进行第二处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验；当网络通道无法正常传输数据时，在边缘云节点缓存已进行第一处理的数据，在恢复正常传输后能够将缓存的数据发往中心管控设备以进行进一步处理；中心管控设备通过对已存储的数据进行检查，来发现存在问题的数据，以重新获取相关数据并进行相关操作，从而提高了用户体验。

实施例三

图3为本发明提供的数据处理方法一个实施例的流程图，该方法的执行主体可以为上述数据处理系统中的中心管控设备，也可以为具有数据处理能力的各种服务器，也可以为集成在这些设备上的装置或芯片。如图3所示，本实施例提供的数据处理方法包括以下步骤：

S301，通过网络通道接收边缘云节点发送的第三数据。

在本发明实施例中，边缘云节点为近用户侧的边缘云中的边缘节点，中心管控设备可以从边缘云节点接收其对第一数据进行第一处理而生成的第三数据，以便于对其进行进一步的处理。

S302，对第三数据进行第三处理，生成第二数据。

在本申请实施例中，第三数据可以为边缘云节点所获取的第一数据的目标处理结果数据。也就是说，在边缘云节点采集到某第一数据后，对其进行处理的最终目的是为了获取第二数据(即，第一数据的目标处理结果数据)，在本发明实施例的方案中，将对第一数据的处理分为两部分，即，由边缘云节点本身执行的第一处理以及由中心管控设备执行的第二处理，经过这两级处理后，可同时满足用户对响应速度和对计算能力的需求。

要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。本发明实施例提供的数据处理方法，针对边缘云节点的数据，通过在中心管控设备中对经由边缘云节点进行了初步处理的数据进行进一步的处理或者也可以由中心管控设备先进行初步处理并将处理结果发送给边缘云节点来进行进一步处理来获得目标处理结果数据，实现了用户侧的高响应速度，另一方面也满足用户对数据的计算存储能力的需求，从而提高了用户体验。

实施例四

与图3的实施例相对的，中心管控设备与边缘云节点的数据交互不限于仅从边缘云节点获取数据，例如，中心管控设备也可以通过网络通道向边缘云节点发送六数据。

此外，中心管控设备在获取到边缘云节点进行了初步处理的数据之后，也可以基于自身所拥有的数据或者从外部进一步获得的数据来对从边缘云节点获取的数据进行处理，从而生成目标处理结果数据。

要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。在本申请实施例中，该第六数据是供边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，并且该第六数据是中心管控设备通过对获取的第五数据进行第六处理而生成的。因此，可以由中心管控设备先进行初步处理并将处理结果发送给边缘云节点来进行进一步处理来获得该第六数据的目标处理结果数据，并且也可以通过在对边缘云节点初步处理的数据进行进一步处理时，引入外部数据源的数据来实现更好的数据处理结果。因此不仅实现了用户侧的高响应速度，另一方面也满足用户对数据的计算存储能力的需求，从而提高了用户体验。

实施例五

图4为本发明提供的数据处理方法另一个实施例的流程图。该方法的执行主体可以为上述数据处理系统中的边缘云节点，也可以为具有数据处理能力的各种服务器，也可以为集成在这些设备上的装置或芯片。如图4所示，本实施例提供的数据处理方法包括以下步骤：

S401，对第一数据进行第一处理，并生成第二数据。

根据本申请实施例，边缘云节点可以获取各种数据作为第一数据，例如，物理机数据、虚拟机数据、业务模块数据、实例带宽流量、实例当前运行情况、实例IO负载、物理机带宽流量、物理机当前运行情况、物理机IO负载、边缘管控模块运行情况、虚拟化组件运行情况等。

边缘云节点获取了第一数据后，可以对该第一数据进行第一处理生成第二数据，该第一处理可以包括但不限于：对第一数据的去重处理、除错处理、归档处理、合并处理等。

S402，将第二数据通过网络通道发送给中心管控设备。

根据本申请实施例，边缘云节点在生成了第二数据之后，可以将生成的第二数据通过例如高安全性、高可用性的网络通道发送至中心管控设备以进行后续的处理，从而能够经过中心管控设备的处理后生成第三数据。

因此，在边缘云节点采集到某第一数据后，对其进行处理的最终目的是为了获取第二数据(即，第一数据的目标处理结果数据)，在本发明实施例的方案中，将对第一数据的处理分为两部分，即，由边缘云节点本身执行的第一处理以及由中心管控设备执行的第二处理，经过这两级处理后，可同时满足用户对响应速度和对计算能力的需求。

要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。

本发明实施例提供的数据处理方法，边缘云节点可以先获取第一数据并进行初步的处理，以最终在中心管控设备处完成进一步的处理。因此，通过在边缘云节点和中心管控设备中进行两级处理，即，一方面在边缘云节点进行基础处理，以满足用户对响应速度的需求，另一方面在中心管控设备中进行进一步处理，以满足用户对数据的计算存储能力的需求，从而提高了用户体验。

实施例六

图5为本发明提供的数据处理方法又一个实施例的流程图。如图5所示，在上述图4所示实施例的基础上，本实施例提供的数据处理方法还可以包括以下步骤：

S501，对第一数据进行第一处理，生成第二数据。

在本发明实施例中，步骤S501与上述图4所示实施例中的步骤S401相同，详见图4所示实施例的具体描述，在此不再赘述。

S502，当网络通道异常时，对第二数据进行缓存处理。

S503，在网络通道恢复正常时，将缓存的第二数据通过网络通道重新发送至中心管控设备。

在本发明实施例中，当边缘云节点与中心管控设备之间的网络通道发生异常而无法正常传输数据时，可以将步骤S501生成的第二数据进行缓存处理，缓存的类型可以包括但不限于：磁盘缓存、内存缓存、数据库缓存等；在网络通道恢复正常时，则再将缓存的第二数据通过网络通道重新发送至中心管控设备。

S504，将第二数据通过网络通道发送至中心管控设备。

在本发明实施例中，步骤S504与上述图4所示实施例中的步骤S402相同，详见图4所示实施例的具体描述，在此不再赘述。

要说明的是，在边缘云节点包括边缘云管控设备的情况下，本申请的实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，也可以由边缘云管控设备来管理执行。

本发明实施例提供的数据处理方法，当网络通道无法正常传输数据时，在边缘云节点缓存已进行基础处理的数据，在恢复正常传输后能够将缓存的数据发往中心管控设备以进行进一步处理，从而避免了由于网络故障导致的数据丢失等问题。

实施例七

图6为本发明提供的数据处理方法再一个实施例的流程图。如图6所示，在上述图3所示实施例的基础上，本实施例提供的数据处理方法还可以包括以下步骤：

S601，通过网络通道从边缘云节点接收第二数据。

在本发明实施例中，边缘云节点为近用户侧的边缘云中的边缘节点，中心管控设备可以从边缘云节点接收其对第一数据进行第一处理而生成的第二数据，以便于对其进行进一步的处理。

S602，对第二数据进行第二处理，生成第三数据。

在本发明实施例中，步骤S601至S602与上述图3所示实施例中的步骤S401和S402相同，详见图3所示实施例的具体描述，在此不再赘述。

S603，获取第二数据的目标处理信息。

S604，判断目标处理信息与第三数据是否匹配，若不匹配，则通过网络通道重新从边缘云节点获取第二数据，以进行第二处理。

在本发明实施例中，目标处理信息用于描述针对第二数据的目标处理操作任务。通过获取第二数据的目标处理信息，可以分析出针对该数据将要进行哪些类型的处理，最终将得到哪些类型的数据。该目标处理信息可以从边缘云节点获取得到，也可以根据第二数据的某个或某些属性而在中心管控设备中查找得到。然后，判断该目标处理信息与第三数据是否匹配，若匹配，则表明获取到的第二数据是准确的，对该第二数据执行的第二处理操作也是准确的，从而生成的第三数据也是准确的；若不匹配，则需要通过网络通道重新从边缘云节点获取第二数据，即，重新主动向该边缘云节点同步最新的数据，以纠正数据内容。

根据本申请实施例，在第二数据或其目标处理信息中可以进一步包含有标识信息，用于标识该第二数据与其目标处理信息的对应关系。例如，在步骤S603之后可以进一步包括：

S6031，判断目标处理信息是否属于第二数据。

通过检查目标处理信息与该第二数据的对应关系，可以在判断目标处理信息是否与第三数据匹配时确保使用的是正确的目标处理信息。

此外，根据本申请的实施例，如果S601步骤中获取的第二数据中已包含有标识信息，则也可以根据该标识信息来获取该第二数据的目标处理信息。

S605，存储第三数据。

在本发明实施例中，在生成第三数据后，可以对第三数据进行集中式存储，以实现数据持久化存储。

S606，在接收到的操作指令后，根据操作指令，对存储的第三数据进行去重、合并、增加、查询、修改或删除操作。

在本发明实施例中，当接收到各种业务系统对数据的操作指令时，中心管控设备可以根据接收到的操作指令，对存储的第三数据进行去重、合并、增加、查询、修改或删除等操作。

本发明实施例提供的边缘云的数据处理方法，中心管控设备可通过对已存储的数据进行巡检，来发现存在问题的数据，以重新获取相关数据并进行相关操作，并且还可以根据标识信息来进一步检查第二数据与目标处理信息的对应性，从而提高了用户体验。

如前所述，边缘云节点中可以包含边缘管控设备、计算设备、存储设备、网络设备等各种角色，而所有涉及到逻辑交互和管理控制的可以由边缘云管控设备执行，比如数据交互、资源调度、监控运维等，其他几种设备主要是执行自己角色相关的服务，比如存储设备负责存储资源的创建、释放、服务等动作的执行。因此，在边缘云节点包括边缘管控设备的情况下，本申请的上述实施例中描述的由边缘云节点执行的与中心管控设备的交互操作，都可以由边缘管控设备来管理执行。

实施例八

以上描述了边缘云的数据处理系统的内部功能和结构，该系统可实现为一种电子设备。图7为本发明提供的电子设备实施例的结构示意图。如图7所示，该电子设备包括存储器51和处理器52。

存储器51，用于存储程序。除上述程序之外，存储器51还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器52，与存储器51耦合，执行存储器51所存储的程序，以执行下述操作：

控制边缘云节点对第一数据进行第一处理，生成第二数据；

控制边缘云节点将第二数据通过网络通道发送至中心管控设备；

控制中心管控设备对第二数据进行第二处理，生成第三数据，该第三数据为第一数据的目标处理结果数据。

根据本申请实施例，处理器52可以包括设置在边缘云节点上的各种模块，例如，如图2中所示的数据采集模块11、第一数据处理模块12和数据上报模块13，以便于控制边缘云节点执行各种操作。此外，处理器52还可以包括设置在中心管控设备上的各种模块，例如，如图2中所示的第二数据处理模块21、数据存储模块22和数据巡检模块23，以便于控制中心管控设备执行各种操作。

进一步，如图7所示，电子设备还可以包括：通信组件53、电源组件54、音频组件55、显示器56等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。

通信组件53被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件53经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件53还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件54，为电子设备的各种组件提供电力。电源组件54可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件55被配置为输出和/或输入音频信号。例如，音频组件55包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器51或经由通信组件53发送。在一些实施例中，音频组件55还包括一个扬声器，用于输出音频信号。

显示器56包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (37)

1.一种数据处理系统，其特征在于，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，

所述边缘云节点，用于获取第一数据并进行第一处理，生成第二数据，并将所述第二数据通过所述网络通道发送至所述中心管控设备；

所述中心管控设备，用于对接收到的所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。

2.根据权利要求1所述的数据处理系统，其特征在于，

所述中心管控设备还用于，获取所述第二数据的目标处理信息，并判断所述目标处理信息与所述第三数据是否匹配，若不匹配，则通过所述网络通道重新从所述边缘云节点获取所述第二数据，其中所述目标处理信息用于描述针对所述第二数据的目标处理操作任务。

3.根据权利要求2所述的数据处理系统，其特征在于，所述第二数据或所述第二数据的所述目标处理信息中包含有标识信息，用于标识所述第二数据与该第二数据的所述目标处理信息的对应关系。

4.根据权利要求1所述的数据处理系统，其特征在于，所述中心管控设备还用于，根据接收到的操作指令，对存储的所述第三数据进行去重、合并、增加、查询、修改或删除操作。

5.根据权利要求1所述的数据处理系统，其特征在于，所述边缘云节点对所述第一数据进行的第一处理包括：清洗、去重、合并。

6.根据权利要求1至3中任一权利要求所述的数据处理系统，其特征在于，所述边缘云节点还用于，当所述网络通道异常时，对所述第二数据进行缓存处理；在所述网络通道恢复正常时，将缓存的所述第二数据通过所述网络通道重新发送至所述中心管控设备。

7.根据权利要求6所述的数据处理系统，其特征在于，所述中心管控设备用于，当所述网络通道恢复正常时，通过所述网络通道向边缘云节点同步数据。

8.根据权利要求1至5中任一权利要求所述的数据处理系统，其特征在于，所述边缘云节点还用于，采集所管控的边缘云节点中各资源设备的数据，所述数据包括物理机数据，虚拟机数据，业务模块数据，实例带宽流量、实例当前运行情况、实例IO负载、物理机带宽流量、物理机当前运行情况、物理机IO负载、边缘管控模块运行情况、虚拟化组件运行情况。

9.一种数据处理方法，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：

通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是中心管控设备通过对获取的第五数据进行第五处理而生成的；或，

通过网络通道接收边缘云节点发送的第三数据，对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据。

10.根据权利要求9所述的数据处理方法，其特征在于，在所述对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，还包括：

获取所述第三数据的目标处理信息，所述目标处理信息用于描述针对所述第三数据的目标处理操作任务；

判断所述目标处理信息与所述第三数据的目标处理结果数据是否匹配，若不匹配，则通过所述网络通道重新从所述边缘云节点获取所述第三数据。

11.根据权利要求9所述的数据处理方法，其特征在于，所述通过网络通道接收边缘云节点发送的第三数据，还包括：

获取所述第三数据的目标处理信息，所述目标处理信息用于描述针对所述第三数据的目标处理操作任务，并且

在所述对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，所述数据处理方法还包括：

判断所述目标处理信息与所述第三数据是否匹配，若不匹配，则通过所述网络通道重新从所述边缘云节点获取所述第三数据。

12.根据权利要求10或11所述的数据处理方法，其特征在于，所述第三数据或所述第三数据的所述目标处理信息中包含有标识信息，用于标识所述第三数据与该第三数据的所述目标处理信息的对应关系。

13.根据权利要求9所述的数据处理方法，其特征在于，在所述对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，还包括：

在接收到操作指令后，根据所述操作指令，对存储的所述第三数据进行去重、合并、增加、查询、修改或删除操作。

14.根据权利要求9所述的数据处理方法，其特征在于，所述第三处理包括根据第三数据，获取与第三数据相关联的第四数据，并对所述第三数据和所述第四数据进行处理。

15.根据权利要求9至11中任一权利要求所述的数据处理方法，其特征在于，所述通过网络通道接收边缘云节点发送的第三数据进一步包括：

在所述网络通道在发生异常之后恢复正常时，通过所述网络通道从所述边缘云节点重新获取由所述边缘云节点缓存的所述第三数据。

16.根据权利要求9至11中任一权利要求所述的数据处理方法，其特征在于，进一步包括：

当所述网络通道恢复正常时，通过所述网络通道向边缘云节点同步数据。

17.一种数据处理方法，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述方法包括：

对第一数据进行第一处理并生成第二数据；

将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。

18.根据权利要求17所述的数据处理方法，其特征在于，进一步包括，根据所述中心管控设备的第一指令，向所述中心管控设备发送所述第二数据的目标处理信息；

根据所述中心管控设备的第二指令，向所述中心管控设备重新发送所述第二数据。

19.根据权利要求18所述的数据处理方法，其特征在于，所述第二数据或所述第二数据的所述目标处理信息中包含有标识信息，用于标识所述第二数据与该第二数据的所述目标处理信息的对应关系。

20.根据权利要求17所述的数据处理方法，其特征在于，所述边缘云节点对所述第一数据进行的第一处理包括：去重、合并。

21.根据权利要求17至20中任一权利要求所述的数据处理方法，所述将所述第二数据通过网络通道发送给中心管控设备进一步包括：

当所述网络通道异常时，对所述第二数据进行缓存处理；

在所述网络通道恢复正常时，将缓存的所述第二数据通过所述网络通道重新发送至所述中心管控设备。

22.一种数据处理装置，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：

数据发送模块，用于通过网络通道向边缘云节点发送第六数据以供所述边缘云节点进行第六处理生成所述第六数据的目标处理结果数据，所述第六数据是所述中心管控设备通过对获取的第五数据进行第五处理而生成的；以及

数据接收模块，用于通过网络通道接收边缘云节点发送的第三数据；

第二处理模块，用于对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据。

23.根据权利要求22所述的数据处理装置，其特征在于，进一步包括信息获取模块，用于在所述第二处理模块对所述第三数据进行第三处理，生成所述第三数据的目标处理结果数据之后，获取所述第三数据的目标处理信息，其中所述目标处理信息用于描述针对所述第三数据的目标处理操作任务；以及

数据巡检模块，用于判断所述目标处理信息与所述第三数据的目标处理结果数据是否匹配，

其中，如果所述数据巡检模块判断所述目标处理信息与所述第三数据的目标处理结果数据不匹配，则所述数据接收模块进一步用于通过所述网络通道重新从所述边缘云节点获取所述第三数据。

24.根据权利要求22所述的数据处理装置，其特征在于，所述数据接收模块进一步用于：

获取所述第三数据的目标处理信息，所述目标处理信息用于描述针对所述第三数据的目标处理操作任务，并且

所述数据处理装置进一步包括数据巡检模块，用于判断所述目标处理信息与所述第三数据的目标处理结果数据是否匹配，

其中，如果所述数据巡检模块判断所述目标处理信息与所述第三数据的目标处理结果数据不匹配，则所述数据接收模块进一步用于通过所述网络通道重新从所述边缘云节点获取所述第三数据。

25.根据权利要求23或24所述的数据处理装置，其特征在于，所述第三数据或所述第三数据的所述目标处理信息中包含有标识信息，用于标识所述第三数据与该第三数据的所述目标处理信息的对应关系。

26.根据权利要求22所述的数据处理装置，其特征在于，所述第二处理模块进一步用于：

在接收到操作指令后，根据所述操作指令，对存储的所述第三数据进行去重、合并、增加、查询、修改或删除操作。

27.根据权利要求22所述的数据处理装置，其特征在于，所述数据接收模块进一步用于根据第三数据，获取与第三数据相关联的第四数据，并且，所述第二处理模块进一步用于对所述第三数据和所述第四数据进行处理。

28.根据权利要求22至24中任一权利要求所述的数据处理装置，其特征在于，所述数据接收模块进一步用于：

在所述网络通道在发生异常之后恢复正常时，通过所述网络通道从所述边缘云节点重新获取由所述边缘云节点缓存的所述第三数据。

29.根据权利要求22至24中任一权利要求所述的数据处理装置，其特征在于，所述数据发送模块进一步用于：

当所述网络通道恢复正常时，通过所述网络通道向边缘云节点同步数据。

30.一种数据处理装置，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，所述装置包括：

第一处理模块，用于对第一数据进行第一处理并生成第二数据；

数据上报模块，用于将所述第二数据通过网络通道发送给所述中心管控设备，以供所述中心管控设备根据所述第二数据的目标处理信息对所述第二数据进行第二处理并生成目标数据。

31.根据权利要求30所述的数据处理装置，其特征在于，所述数据上报模块进一步用于，根据所述中心管控设备的第一指令，向所述中心管控设备发送所述第二数据的目标处理信息；

根据所述中心管控设备的第二指令，向所述中心管控设备重新发送所述第二数据。

32.根据权利要求31所述的数据处理装置，其特征在于，所述第二数据或所述第二数据的所述目标处理信息中包含有标识信息，用于标识所述第二数据与该第二数据的所述目标处理信息的对应关系。

33.根据权利要求30所述的数据处理装置，其特征在于，所述边缘云节点对所述第一数据进行的第一处理包括：去重、合并。

34.根据权利要求30至33中任一权利要求所述的数据处理装置，进一步包括：

数据缓存模块，用于当所述网络通道异常时，对所述第二数据进行缓存处理，并且所述数据上报模块进一步用于：

在所述网络通道恢复正常时，将缓存的所述第二数据通过所述网络通道重新发送至所述中心管控设备。

35.一种数据处理系统，其特征在于，应用于包括边缘云节点和通过网络通道与所述边缘云节点相连的中心管控设备的网络中，

所述边缘云节点包括边缘云管控设备，所述边缘云管控设备执行如权利要求17-21的方法。

36.一种数据处理系统，包括：边缘云节点和通过网络通道与所述边缘云节点连接的中心管控设备，

所述边缘云节点，用于获取数据并处理，将所述处理的数据通过所述网络通道发送至所述中心管控设备；

所述中心管控设备，用于获取并处理来自所述边缘云节点的数据，生成并存储最终数据，

其特征在于，进一步包括：

所述边缘云节点，用于采集设备信息并进行第一处理；

所述中心管控设备，用于接收所述设备信息，根据设备信息查找对应的用户信息，进行第二处理并生成目标数据。

37.一种电子设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，使得所述电子设备：

控制边缘云节点获取第一数据并进行第一处理，生成第二数据；

控制所述边缘云节点将所述第二数据通过网络通道发送至中心管控设备；

控制所述中心管控设备对所述第二数据进行第二处理，生成第三数据，所述第三数据为所述第一数据的目标处理结果数据。

Images