CN115391098A - 大数据分析方法、装置、边缘节点及云端服务器 - Google Patents

Abstract

本公开实施例涉及一种大数据分析方法、装置、边缘节点及云端服务器，该方法包括：获取客户端传输的第一数据；根据与第一数据对应的数据分析规则，将第一数据备份至与边缘节点的第一预设存储位置，对第一数据进行分析，获取分析结果；当分析结果包括第二数据时，将第二数据存储至边缘节点的第二预设存储位置；和/或，当分析结果包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器。通过该方式，可以降低数据传输压力，减少带宽资源的占用。还可以节省云端服务器的存储空间的资源，提升云端服务器的数据处理、查询，以及分析等能力，提升对第三数据的查询分析速度。

Description

大数据分析方法、装置、边缘节点及云端服务器

技术领域

本公开实施例涉及计算机技术领域，尤其涉及一种大数据分析方法、装置、边缘节点及云端服务器。

背景技术

目前的大数据分析方法的数据采集、处理与存储都是在云端服务器上完成。客户端一侧数据通过公网应用程序接口(Application Programming Interface，简称API)传输到云端服务器，经过云端服务器进行数据分析处理后，将产出的数据存储到数据仓库中，用以供给对象进行查询与分析。

但是，现有技术中的上述方案存在一些弊端，比如因为数据需要全量传输到云端，那么对于公网的传输成本将会有一定的要求，往往占用很高的传输成本。再者，有些偏远地区的数据传输链路过长，必然会导致传输速度降低。对于云端服务器而言，大量数据都要在云端进行处理，那么对于云端的服务器资源会有很高的要求，数据处理速度也会很慢。而且，不论是处理前还是处理后的数据都存储在云端，对于数据存储、查询，以及分析等也会带来一定的挑战。

发明内容

本公开提供了一种大数据分析方法、装置、边缘节点及云端服务器，以解决现有技术中部分或全部技术问题。

第一方面，本公开提供了一种大数据分析方法，该方法由边缘节点执行，包括：

获取客户端传输的第一数据；

根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果；

当分析结果中包括第二数据时，将第二数据存储至边缘节点的第二预设存储位置；

和/或，

当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器，以便云端服务器对第三数据进行处理后，将处理后的结果进行存储。

本公开实施例提供的该方法，获取客户端的第一数据，然后根据预获取的与第一数据对应的数据分析规则，将第一数据备份到与边缘节点对应的第一预设存储位置。以及，对第一数据进行分析，获取分析结果。若分析结果包括第二数据，则将第二数据存储至边缘节点的第二预设存储位置，和/或若分析结果包括第三数据，则将第三数据上传至与边缘节点建立通信连接的云端服务器。通过方式，将对象不太常用的数据，例如第一数据和第二数据存储至边缘节点本地，可以降低数据传输压力，减少带宽资源的占用。而且，还可以节省云端服务器的存储空间的资源，提升云端服务器的数据处理、查询，以及分析等能力；将对象比较常用的数据，例如第三数据传输至云端服务器，就是为了提升对第三数据的查询分析速度。通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。边缘节点可以支持海量的数据接入与分析，通过边缘节点的水平扩容，可以适应不断变化的接入场景，拓展服务的接入、处理与查询分析能力，而且边缘节点还可以随时增减，弹性灵活，可以适应不断变化的接入场景。再者，针对客户端部署就近的边缘节点，通过边缘节点上报数据，可以加速数据采集。

第二方面，本公开提供了一种大数据分析方法，该方法由云端服务器执行，该方法包括：

获取边缘节点发送的预设数据；

根据预获取的数据分析规则，对预设数据进行分析，获取分析结果；

将分析结果存储于云端服务器的预设存储位置。

本公开提供的一种大数据分析方法，在云端服务器一侧，仅获取边缘节点传输的部分数据，然后对部分数据进行分析和存储即可。其他数据则在边缘节点进行分析、存储，以及查询。将云端服务器的数据采集，以及部分处理、查询与分析等能力下沉至边缘节点。可以有效降低网络传输成本，提升数据处理、查询与分析的速度。而且，大大降低云端服务器一侧的存储成本，而且由于存储的数据量大大减少，还可以提升对当前存储的数据的查询、分析速度。再者，通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。

第三方面，本公开提供了一种大数据分析装置，该装置包括：

第一获取模块，用于获取客户端传输的第一数据；

第一处理模块，用于根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果；

当分析结果中包括第二数据时，将第二数据存储至边缘节点的第二预设存储位置；

和/或，

发送模块，用于当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器，以便云端服务器对第三数据进行处理后，将处理后的结果进行存储。

本公开实施例提供的大数据分析装置，获取客户端的第一数据，然后根据预获取的与第一数据对应的数据分析规则，将第一数据备份到与边缘节点对应的第一预设存储位置。以及，对第一数据进行分析，获取分析结果。若分析结果包括第二数据，则将第二数据存储至边缘节点的第二预设存储位置，和/或若分析结果包括第三数据，则将第三数据上传至与边缘节点建立通信连接的云端服务器。通过方式，将对象不太常用的数据，例如第一数据和第二数据存储至边缘节点本地，可以降低数据传输压力，减少带宽资源的占用。而且，还可以节省云端服务器的存储空间的资源，提升云端服务器的数据处理、查询，以及分析等能力；将对象比较常用的数据，例如第三数据传输至云端服务器，就是为了提升对第三数据的查询分析速度。通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。边缘节点可以支持海量的数据接入与分析，通过边缘节点的水平扩容，可以适应不断变化的接入场景，拓展服务的接入、处理与查询分析能力，而且边缘节点还可以随时增减，弹性灵活，可以适应不断变化的接入场景。再者，针对客户端部署就近的边缘节点，通过边缘节点上报数据，可以加速数据采集。

第四方面，本公开提供了一种大数据分析装置，该装置包括：

第二获取模块，用于获取边缘节点发送的预设数据；

第二处理模块，用于根据预获取的数据分析规则，对预设数据进行分析，获取分析结果；将分析结果存储于云端服务器的预设存储位置。

本公开实施例提供的一种大数据分析装置，仅获取边缘节点传输的部分数据，然后对部分数据进行分析和存储即可。其他数据则在边缘节点进行分析、存储，以及查询。将云端服务器的数据采集，以及部分处理、查询与分析等能力下沉至边缘节点。可以有效降低网络传输成本，提升数据处理、查询与分析的速度。而且，大大降低云端服务器一侧的存储成本，而且由于存储的数据量大大减少，还可以提升对当前存储的数据的查询、分析速度。再者，通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。

第五方面，提供了一种边缘节点，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的大数据分析方法的步骤。

第六方面，提供了一种云端服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第二方面任一项实施例的大数据分析方法的步骤。

第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的大数据分析方法的步骤；或，实现如第二方面任一项实施例的大数据分析方法的步骤。

附图说明

图1为本公开提供的一种大数据分析系统架构图；

图2为本公开提供的第一类节点、第二类节点，与云端服务器之间建立通信连接的结构示意图；

图3为本公开提供的云端控制器向不同客户端下发采样配置策略的结构示意图；

图4本公开实施例提供的一种大数据分析方法流程示意图；

图5为本公开实施例提供的另一种大数据分析方法步骤中部分方法步骤流程示意图；

图6位本公开提供的将第三数据上传至云端服务器的方法流程示意图；

图7为本公开实施例提供的另一种大数据分析方法流程示意图；

图8为本公开提供的另一种大数据分析方法流程示意图；

图9为本公开实施例提供的另一种大数据分析方法流程示意图；

图10为本公开实施例提供的一种大数据分析装置的结构示意图；

图11为本公开实施例提供的另一种大数据分析装置的结构示意图；

图12为本公开实施例提供的一种边缘节点的结构示意图；

图13为本公开实施例提供的一种云端服务器的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

为便于对本公开实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本公开实施例的限定。

针对背景技术中所提及的技术问题，本公开实施例提供了一种大数据分析方法、装置、边缘节点及云端服务器。

在介绍本公开实施例的方法步骤之前，首先说明本公开实施例所适用的一种系统架构。具体参见图1所示，该系统架构包括客户端、边缘节点，以及云端服务器。

客户端可以包括一个或多个，边缘节点同样可以包括一个或多个。在图1中，以包括多个客户端，和一个边缘节点为例进行说明。

首先，客户端会通过公网连接到某一个边缘节点。边缘节点中的采集服务器会接收客户端通过公网上传的业务数据。然后将业务数据存放于边缘节点内部的消息队列中。不同的业务数据将存放于不同的消息队列中。图1中的边缘节点包括一个计算引擎，一个消息队列，一个边缘存储，以及一个采集服务器，实际上，每个边缘节点中的消息队列可以包括第一类消息队列(接入消息的消息队列)，也即是图中所显示的消息队列，以及第二类消息队列(发出消息的消息队列，该类消息队列图中未显示)。

如上所介绍的，采集服务器接收客户端传递的业务数据。然后将业务数据放置于第一类消息队列中。边缘计算引擎可以从第一类消息队列中读取每一条业务数据，然后按照预获取的与该业务数据对应的数据分析规则，对业务数据进行分析，获取分析结果。

具体的，在计算引擎对业务数据进行分析之前，云端服务器会事先将与当前待处理的业务数据对应的数据分析规则配置到边缘计算引擎中。

而数据分析规则实际上是对象根据自己的需求或者是根据其他对象的需求，通过云端服务器的前端页面进行配置的。云端服务器则根据实际情况将部分数据分析规则传输至边缘节点，用以边缘节点执行相应的操作。将部分数据分析规则存放在云端服务器侧。又或者，将全部的数据分析规则都传递至边缘节点侧，亦或将全部的数据分析规则都存储在自身一侧。具体如何操作，皆是根据云端服务器自身执行的功能，以及边缘节点所要执行的功能，以及数据分析规则共同决定的。

当边缘节点根据数据分析规则对客户端上传的业务数据进行分析处理后，如果有需要上传至云端服务器的数据，则通过边缘节点一侧的计算引擎与云端服务器一侧的计算引擎建立通信连接，然后将需要上传至云端服务器的业务数据上传至云端服务器，以便云端服务器对其进行处理，或者直接进行存储。

当对象通过云端服务器对应的前端页面发起请求时，前端页面的请求将被传递到云端服务器的后台，其中，请求中包括与待请求数据对应的标识信息。云端服务器根据标识信息，从数据网关中获取与待查询数据对应的路径信息。

需要说明的是，不论数据存储在云端服务器，亦或是存储在边缘节点。都会将具体的存储路径信息上传至云端服务器的数据网关，以便后续云端服务器从数据网关中调取路径信息，进而根据路径信息从相应的存储位置获取待查询数据。并反馈该数据至云端服务器的前端页面，以执行其他处理。在一个可选的例子中，在云端服务器的前端页面执行的处理，例如可以包括明细数据查询、联机分析处理(Online Analytical Processing，简称OLAP)分析/报警，或者质量大盘/报表查询等操作。

在一个可选的例子中，边缘节点可以包括第一类边缘节点和第二类边缘节点。

第一类边缘节点例如可以是汇聚机房，也称之为汇聚节点。汇聚机房在网络中起承上启下的作用，负责将本地业务节点连接到骨干节点，通过物理及逻辑网络将业务汇聚、疏导到相应的业务收容节点。第二类边缘节点例如可以是POP点。所谓POP点即网络服务提供点(或称局端)，通常POP点越近则线路信号损耗越小，可为连接用户提供的带宽保障越高。

在一个可选的例子中，当边缘节点为第一类边缘节点时，第一类边缘节点与云端服务器之间通过专线建立通信连接；

或者，

当边缘节点为第二类边缘节点时，第二类边缘节点通过第一公网与云端服务器建立通信连接，和/或，第二类边缘节点通过第一类边缘节点与云端服务器建立通信连接，其中，第二类边缘节点与第一类边缘节点之间通过第二公网建立通信连接。

也即是说，当某些地区同时存在第一类边缘节点和第二类边缘节点时，可以采用两种方式中的任一种实现与云端服务器建立通信连接。如果仅存在第一类边缘节点时，第一类边缘节点也可以直接与云端服务器建立通信连接。在某种情况下，也可能仅有第二类边缘节点，那么第二类边缘节点同样可以直接与云端服务器建立通信连接。

例如图2中所示，图2中包括云端服务器A和云端服务器B。其中，汇聚机房-A和汇聚机房-B通过专线(也即是预设专网)与云端服务器A建立通信连接。汇聚机房-C通过专线与云端服务器B建立通信连接。

POP点可以通过两种方式实现与云端服务器的通信连接，例如图2中所示的，其中一种方式是，首先POP点先通过公网与汇聚机房建立通信连接，例如图2中与汇聚机房-A建立通信连接的两个POP点，与汇聚机房-B建立通信连接的两个POP点，以及与汇聚机房-C建立通信连接的两个POP点C等。

POP点在通过公网与汇聚机房建立通信连接后，再利用汇聚机房与云端服务器之间的通信连接，间接建立自身与云端服务器之间的通信连接。

另一种方式是，POP点直接通过公网与云端服务器建立通信连接。具体实现方式参见图2所示。

另外，当云端服务器包括多个时，云端服务器之间也是通过专线建立通信连接。

也即是，在上述系统架构中，可以支持L1(第一类边缘节点)+L2(第二类边缘节点)混合部署。并在每一个边缘节点上部署上文中所提及的消息队列、计算引擎、边缘存储，以及数据采集服务器等。边缘节点的水平扩容(也即是上述部署方式)可以适应不断地不断变化的接入场景，拓展服务的接入处理、查询分析能力。

而且，边缘节点的部署比较灵活，比如在不用的时候撤掉即可，如果需要时也可以随时增加。保证不同区域的数据传输的灵活性，以及便捷性。

可选的，考虑到不同客户端上报的数据是海量的，如果边缘节点同时获取海量数据，不论对于数据存储，亦或是数据处理都带来一定得挑战。因此，还可以利用云端服务器配置不同客户端的数据采样频率，用以不同客户端在不同时刻采集数据，并上报至对应的边缘节点。即，云端服务器通过给客户端下发不同的采样配置，控制不同数据场景下的复杂采样设置，保证数据采样上报的畅通性、数据存储空间的有效利用，以及数据处理的效率等。

具体参见图3所示，云端服务器中配置有云端控制器，用以向不同客户端下发采样配置策略。然后客户端在根据采样配置策略采集业务数据，并通过公网传输至与之对应的边缘节点。

介绍上述系统架构后，下面将详细介绍具体的大数据分析的方法步骤，可以参见本公开实施例提供的附图4，图4为本公开实施例提供的一种大数据分析方法流程示意图。该方法步骤包括：

步骤410，获取客户端传输的第一数据。

具体的，客户端数据经过预配置的序列化处理后，再执行加密操作，然后通过公网上报至边缘节点的采集服务器。

在一个可选的例子中，序列化处理可以包括pb序列化，或者json序列化处理等。

采集服务器接收到数据后再进行反序列化(比如序列化处理是pb序列化，那么这里就是反pb序列化处理，json序列化类似)与解密，然后投递到消息队列中。

这里所说的第一数据，实际上并非严格意义上的指代一条数据，而是一组数据的统称。相当于上文所提及的，客户端在预配置的采集时刻采集的所有数据。所以，第一数据可以是一条数据，也可以是多条数据。具体是一条还是多条，则根据实际情况确定，这里不做过多限定。

步骤420，根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果。

具体的，第一数据也即是明细数据，属于客户端原始上报未经任何处理的数据。对象可能需要查询明细数据中的日志，来获取某些信息。亦或是，需要元数据做某种处理。不论如何，都需要将客户端所采集的原始数据保存一份至边缘节点的第一预设存储位置，以备后续可能使用的情况发生。

但是，实际上，通常对象使用的数据大多数都是经过加工处理后的数据，追溯原始数据的情况并不多见。所以才会将第一数据备份至边缘节点。如此一来，原始数据就无需再传输至云端服务器，降低数据传输时的网络压力，再者，原始数据所占用的存储空间通常而言也是很大的，将其分散存储在不同的边缘节点，而不是全部传输至云端服务器进行存储，也可以大大降低云端服务器的数据存储压力，节省云端服务器的存储空间，提升对云端服务器存储的其他数据的查询分析速度，同时也能够支持全量数据的查询与分析。

由于边缘节点所连接的客户端不只是一个，不同客户端(即使同一客户端)上传的业务数据也可能是不同类型的业务数据。也即是说，边缘节点接收的业务数据为多类型的数据，每一种类型的业务数据可能对应有不同的数据分析规则。因此，需要根据预获取的与第一数据对应的数据分析规则，对第一数据进行分析，获取分析结果。

在一个可选的例子中，如上文中所介绍的，预获取的数据分析规则可以为云端服务器根据对象需求，事先下发至边缘节点的数据分析规则。

其中，根据对象的实际需求，配置数据分析规则，更加贴合对象的实际需要，辅助对象执行后续处理。

当然，数据分析规则也可以是实时配置的，也可以是对象首次配置后，存放于边缘节点的。后续边缘节点一旦接收到与该策略对应的业务数据，则立即按照该策略执行相应的处理。其中，业务数据上传时，也会携带有业务类型。数据分析规则也会与业务类型建立有相应的映射关系，那么根据业务类型，以及数据分析规则与业务类型之间的映射关系，即可获取到相应的数据分析规则，以便后续按照数据分析规则执行相应处理。

在一个可选的例子中，数据分析规则为数据抽取、转换和加载(Extraction-Transformation-Loading，简称ETL)分析规则，分析结果中可能包括第二数据，和/或第三数据。其中，ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。在本实施例中，ETL处理除了可以包括上述执行操作外，还可以包括数据聚合处理。具体执行何种处理，可以根据客户需求决定，将客户需求转换为数据分析规则即可，这里不做任何限定。

步骤430，当分析结果中包括第二数据时，将第二数据存储至边缘节点的第二预设存储位置。

和/或，

步骤440，当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器。

具体的，如上所介绍的，分析结果中可能会包括第二数据，也可能包括第三数据。其中第二数据相较于第三数据而言，属于冷数据(对象可能不经常使用的数据)，第三数据相较于第二数据而言，属于热数据(也即是对象可能经常需要使用的数据)。

与步骤420类似的道理，考虑到冷数据不经常被对象使用，因此可以存放于边缘节点。降低数据传输时的网络压力，节省云端服务器的存储空间，提升对云端服务器存储的其他数据的查询分析速度，同时也能够支持全量数据的查询与分析。而将第三数据传递至远端服务器，就是考虑到该数据将经常被对对象使用，上传至云端服务器后，缩短查询路径，提升数据查询分析速度。

需要说明的是，云端服务器在接收到第三数据后，可能会直接将第三数据进行存储，也可能将第三数据进行一定的处理后，再进行存储。具体的执行过程将会在云端服务器一侧进行解释说明，这里不再过多赘述。

本公开实施例提供的大数据分析方法，获取客户端的第一数据，然后根据预获取的与第一数据对应的数据分析规则，将第一数据备份到与边缘节点对应的第一预设存储位置。以及，对第一数据进行分析，获取分析结果。若分析结果包括第二数据，则将第二数据存储至边缘节点的第二预设存储位置，和/或若分析结果包括第三数据，则将第三数据上传至与边缘节点建立通信连接的云端服务器。通过方式，将对象不太常用的数据，例如第一数据和第二数据存储至边缘节点本地，可以降低数据传输压力，减少带宽资源的占用。而且，还可以节省云端服务器的存储空间的资源，提升云端服务器的数据处理、查询，以及分析等能力；将对象比较常用的数据，例如第三数据传输至云端服务器，就是为了提升对第三数据的查询分析速度。通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。边缘节点可以支持海量的数据接入与分析，通过边缘节点的水平扩容，可以适应不断变化的接入场景，拓展服务的接入、处理与查询分析能力，而且边缘节点还可以随时增减，弹性灵活，可以适应不断变化的接入场景。再者，针对客户端部署就近的边缘节点，通过边缘节点上报数据，可以加速数据采集。

在本公开提供的另一个大数据分析方法实施例中，与上文相同或类似的内容，这里将不再赘述。在本实施例中，将介绍如下内容：

在一个可选的例子中，数据分析规则包括存储规则和至少一条数据处理规则；根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果，具体包括如下方法步骤，具体参见图5所示，该方法步骤包括：

步骤510，根据存储规则，将第一数据备份至与边缘节点对应的第一预设存储位置。

步骤520，根据至少一条数据处理规则中的每一条数据处理规则，分别对第一数据进行处理，获取与每一条数据处理规则分别对应的处理结果。

具体的，如上所介绍的，第一数据也即是明细数据，需要备份到边缘节点的第一预设位置。

而数据处理规则，例如包括但不限于清洗、加载，聚合等等处理规则。而预获取的与第一数据对应的数据分析规则，为云端服务器根据对象需求，事先下发至边缘节点的数据分析规则。

在边缘节点一侧，可以根据每一条数据处理规则，分别对第一数据进行处理，以获取处理结果。其中，所有的处理结果则构成上文所提及的分析结果。

在一个具体的例子中，处理结果也是一种数据，通常而言，是一种经过ETL处理后的结构性数据。结构性数据可以为第二数据，亦或是第三数据。也即是，可能是冷数据，也可能是热数据。

而之所以要确定处理结果是冷数据，还是热数据，就是为了后续执行相应的操作，例如将冷数据存储在边缘节点本地，将热数据上传至云端服务器等。

在一个可选的例子中，第二数据为经过ETL处理后生成的低频字段的数据。第三数据为高频字段的数据，或者在边缘节点已经执行过聚合处理后的数据。

在确定分析结果为低频字段数据或为高频字段数据时，就看该数据中是否存在低频字段或高频字段。对于低频和高频的划分，则可以通过两种方式实现。

其中一种为对象构建索引，当字段中包括有索引字段时，则认为是高频字段，否则界定为低频字段。

另外一种方式是，统计一段时间内对象经常需要调用的数据，将经常调用的数据(调用频率大于预设频次)定义为高频字段数据，其他数据定义为低频字段数据。

而执行过聚合处理的数据，则无需判断，直接将聚合后的结果上传至云端服务器。

在上述实施过程中，根据存储规则，将第一数据备份至与边缘节点对应的第一预设存储位置，是将数据明细进行备份存储，而且，相较于上传至云端服务器，存储在边缘节点，可以降低数据传输压力，减少带宽资源的占用。而且，还可以节省云端服务器的存储空间的资源，提升云端服务器的数据处理、查询，以及分析等能力。数据处理规则可以包括至少一条，分别根据每一条数据处理规则，完成对第一数据的处理，获取处理结果。是为了与业务需求相适应。即，业务需求不同，则需要不同的处理结果，那么，则需要配置不同的数据处理规则进行处理。

可选的，第三数据包括至少一种处理结果，当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器的实现过程，可以参见下文，以及附图6，图6中示意出将第三数据上传至云端服务器的方法流程。

步骤610，将至少一种处理结果中的每一种处理结果，分别存储至与处理结果对应的消息队列。

步骤620，通过消息队列，将处理结果上传至与边缘节点建立通信连接的云端服务器。

具体的，第三数据中可能包括经过ETL处理后的高频字段数据，也可能包括在边缘节点执行预聚合后的数据。因此，第三数据中包括至少一种处理结果。

在边缘节点一侧，执行不同处理后的处理结果，将分别加入到不同的消息队列中，用以传输到云端服务器一侧。例如，将经过ETL处理后的高频字段通过消息队列1传输到云端服务器，将经过某种预聚合处理后的处理结果通过消息队列2传输到云端服务器。经过另一种预聚合处理后的处理结果通过消息队列3传输到云端服务器等。

通过不同的消息队列传输不同的处理结果，是便于云端服务器根据消息队列，确定后续对处理结果执行的操作，也即是说，在边缘节点一侧，将第一数据按照不同的数据处理规则进行处理后，所生成的处理结果已经进行了分类传输。通过数据传输通道传输至云端服务器后，云端服务器可以根据传输处理结果的消息队列，来确定后续需要对处理结果执行的操作。其中，消息队列为边缘节点与云端服务器之间建立的消息传输通道。

即，在边缘节点一侧执行了某种处理，在云端执行二次处理的时候，通常也是执行相同或相应的操作。例如，不同消息队列传输的处理结果是在边缘节点执行预聚合处理后的产物，那么在云端服务器，则需要将多种聚合产物再执行一次聚合处理，获取聚合结果并存储。

在一个可选的例子中，本申请文件中所提及的第一预设存储位置可以是边缘节点的loghouse；第二预设存储位置包括边缘节点的clickhouse。

loghouse中存储有数据明细，偏重于就是索引查询，用以查询一条数据或多条数据，或者某一个区间范围内的数据。

clickhouse偏重于SQL查询，所以可以将低频字段的数据存储在clickhouse中，用以实时数据分析。

在本公开的另一个具体的实施例中，还提供了另一种大数据分析方法，该方法由云端服务器执行，该方法包括如下方法步骤，具体参见图7所示。

步骤710，获取边缘节点发送的预设数据。

具体的，如上任一方法实施例所介绍的，边缘节点上传至云端服务器的数据为第三数据，也即是本实施例中的预设数据即为前述实施例中的第三数据。

步骤720，根据预获取的数据分析规则，对预设数据进行分析，获取分析结果。

步骤730，将分析结果存储于云端服务器的预设存储位置。

具体的，如前述实施例类似的，根据预获取的数据分析规则，对预设数据进行分析，可以包括ETL分析。进行分析后，直接将分析结果存储至云端服务器的预设位置即可。

与上文类似的，ETL分析可以包括数据抽取、转换和加载，以及数据据聚合处理等。具体的分析过程为现有技术，这里不做过多解释说明。在本实施例中，ETL处理尤其可以包括数据聚合处理，也即是，将在云端获取的聚合数据进行二次聚合处理。这里的二次聚合处理，是考虑到云端服务器连接有不同的边缘节点。不同边缘节点上传的聚合数据可能需要进行汇总，所以需要再次聚合，又或者，一个边缘节点上传的聚合数据可能包括多个，在云端服务器需要进行一个总聚合，所以执行据聚合处理。

例如，对象需要获取质量大盘数据，比如需要一年的数据，边缘节点上传的聚合数据是以月为单位的，那么就需要在云端服务器一侧再次进行聚合，将一年内不同月份的数据进行一个汇总聚合。

本公开实施例提供的一种大数据分析方法，仅获取边缘节点传输的部分数据，然后对部分数据进行分析和存储即可。其他数据则在边缘节点进行分析、存储，以及查询。将云端服务器的数据采集，以及部分处理、查询与分析等能力下沉至边缘节点。可以有效降低网络传输成本，提升数据处理、查询与分析的速度。而且，大大降低云端服务器一侧的存储成本，而且由于存储的数据量大大减少，还可以提升对当前存储的数据的查询、分析速度。再者，通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。

在上述实施例的基础上，本公开的另一个具体的实施例中，还提供了另一种大数据分析方法。与上述实施例相同或类似的内容，本公开实施例中将不再赘述。本公开实施例中，将详细说明当预设数据为通过至少一个消息队列中每一个消息队列分别传输的数据构成时，根据预获取的数据分析规则，对预设数据进行分析，获取分析结果的具体方法流程。具体参见图8所示，该方法步骤包括：

步骤810，根据至少一个消息队列中的第一消息队列对应的标识信息，从预获取的至少一条数据处理规则中，选取与标识信息对应的预设数据处理规则。

其中，至少一条数据处理规则，构成数据分析规则。

步骤820，根据预设数据处理规则，对通过第一消息队列传输的数据进行分析，获取分析结果。

其中，至少一个消息队列中的每一个消息队列均为边缘节点与云端服务器之间建立的消息传输通道，第一消息队列为至少一个消息队列中的任一个消息队列。

具体的，预设数据即为边缘节点通过不同的消息队列传输的数据。不同的消息队列传输的数据，实际是在边缘节点一侧根据不同的数据处理规则进行处理后，需传输至云端服务器一侧的处理结果。不同的处理结果分类存储在消息队列中，并通过消息队列传输至云端服务器。那么，云端服务器在接收到不同的消息队列传输的数据后，就可以确定在边缘节点所执行过的处理规则。进而，根据不同消息队列的标识信息，可以从预获取的至少一条数据处理规则中，选取与标识信息对应的预设数据处理规则，其中，至少一条数据处理规则，构成数据分析规则。进而根据与之对应的预设数据处理规则，对通过第一消息队列传输的数据进行分析，获取分析结果。并将分析结果存储在云端服务器的预设存储位置。

可选的，在上述实施例的基础上，在本公开的另一个实施例中，预获取的数据分析规则为对象根据需求配置到云端服务器中的数据分析规则。

进一步可选的，预设存储位置包括云端服务器的clickhouse。

进一步可选的，在上述任一云端服务器所执行的方法实施例基础上，云端服务器还用于，根据不同客户端的数据采样频率，为不同客户端配置不同的数据采样率，以便不同客户端根据各自的数据采样率，采集数据并上传至与自身建立通信连接的边缘节点。

通过为不同客户端配置不同的数据采样频率，即可以保证海量的数据采集，还可以避免不同客户端同时采集数据上传至边缘节点时所造成的网络传输压力过大，以及传输速度过低等的问题，提高数据传输效率。

并且，通过这种方式，还可以实现针对客户端部署就近的边缘节点，通过边缘节点上报数据，可以加速数据采集。通过给客户端下发不同的采样配置，可以控制不同数据场景下的复杂采样设置，以完成数据采样上报。

可选的，在上述任一云端服务器所执行的方法实施例基础上，该方法还包括如下方法步骤，具体参见图9所示。图9为本公开实施例提供的另一种大数据分析方法，该方法包括：

步骤910，获取数据查询请求。

其中，数据查询请求中包括用以指示待查询数据的标识信息。

步骤920，根据标识信息，从预构建的数据网关中获取与待查询数据对应的路径信息。

步骤930，基于路径信息，到存储有待查询数据的数据存储位置获取待查询数据并反馈。

具体的，数据网关中存储有任一数据的存储路径信息。与数据查询请求对应的数据存储位置包括与边缘节点对应的预设存储位置，和/或包括与云端服务器对应的预设存储位置。具体情况已经在上文中做了解释说明，所以这里不再过多赘述。

以上，为本公开所提供的大数据分析对应的方法实施例，下文中则介绍说明本公开所提供的大数据分析对应的其他实施例，具体参见如下。

图10为本公开实施例提供的一种大数据分析装置的结构示意图，该装置包括：第一获取模块1001、第一处理模块1002，和/或发送模块1003。

第一获取模块1001，用于获取客户端传输的第一数据；

第一处理模块1002，用于根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果；

当分析结果中包括第二数据时，将第二数据存储至边缘节点的第二预设存储位置；

和/或，

发送模块1003，用于当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器，以便云端服务器对第三数据进行处理后，将处理后的结果进行存储。

可选的，预获取的与第一数据对应的数据分析规则，为云端服务器根据对象需求，事先下发至边缘节点的数据分析规则。

可选的，数据分析规则包括存储规则和至少一条数据处理规则；第一处理模块1002，具体用于根据存储规则，将第一数据备份至与边缘节点对应的第一预设存储位置；

根据至少一条数据处理规则中的每一条数据处理规则，分别对第一数据进行处理，获取与每一条数据处理规则分别对应的处理结果，所有的处理结果构成分析结果。

可选的，第三数据包括至少一种处理结果，当分析结果中包括第三数据时，第一处理模块1002，还用于将至少一种处理结果中的每一种处理结果，分别存储至与处理结果对应的消息队列；

发送模块1003，具体用于通过消息队列，将处理结果上传至与边缘节点建立通信连接的云端服务器，以便云端服务器根据消息队列，确定后续对处理结果执行的操作，其中，消息队列为边缘节点与云端服务器之间建立的消息传输通道。

可选的，第一预设存储位置包括边缘节点的loghouse；第二预设存储位置包括边缘节点的clickhouse。

可选的，边缘节点包括第一类边缘节点和/或第二类边缘节点；

当边缘节点为第一类边缘节点时，第一类边缘节点与云端服务器之间通过专线建立通信连接；

或者，

当边缘节点为第二类边缘节点时，第二类边缘节点通过第一公网与云端服务器建立通信连接，和/或，通过第一类边缘节点与云端服务器之间建立通信连接，其中，第二类边缘节点与第一类边缘节点之间通过第二公网建立通信连接。

本公开实施例提供的大数据分析装置中各部件所执行的功能均已在上述图4至图6对应的实施例中做了详细的描述，因此这里不再赘述。

本公开实施例提供的一种大数据分析装置，获取客户端的第一数据，然后根据预获取的与第一数据对应的数据分析规则，将第一数据备份到与边缘节点对应的第一预设存储位置。以及，对第一数据进行分析，获取分析结果。若分析结果包括第二数据，则将第二数据存储至边缘节点的第二预设存储位置，和/或若分析结果包括第三数据，则将第三数据上传至与边缘节点建立通信连接的云端服务器。通过方式，将对象不太常用的数据，例如第一数据和第二数据存储至边缘节点本地，可以降低数据传输压力，减少带宽资源的占用。而且，还可以节省云端服务器的存储空间的资源，提升云端服务器的数据处理、查询，以及分析等能力；将对象比较常用的数据，例如第三数据传输至云端服务器，就是为了提升对第三数据的查询分析速度。通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。边缘节点可以支持海量的数据接入与分析，通过边缘节点的水平扩容，可以适应不断变化的接入场景，拓展服务的接入、处理与查询分析能力，而且边缘节点还可以随时增减，弹性灵活，可以适应不断变化的接入场景。再者，针对客户端部署就近的边缘节点，通过边缘节点上报数据，可以加速数据采集。

图11为本公开实施例提供的另一种大数据分析装置的结构示意图，该装置包括：第二获取模块1101和第二处理模块1102。

第二获取模块1101，用于获取边缘节点发送的预设数据；

第二处理模块1102，用于根据预获取的数据分析规则，对预设数据进行分析，获取分析结果；将分析结果存储于云端服务器的预设存储位置。

可选的，当预设数据为通过至少一个消息队列中每一个消息队列分别传输的数据构成时，第二处理模块1102，具体用于根据至少一个消息队列中的第一消息队列对应的标识信息，从预获取的至少一条数据处理规则中，选取与标识信息对应的预设数据处理规则，其中，至少一条数据处理规则，构成数据分析规则；

根据预设数据处理规则，对通过第一消息队列传输的数据进行分析，获取分析结果，其中，至少一个消息队列中的每一个消息队列均为边缘节点与云端服务器之间建立的消息传输通道，第一消息队列为至少一个消息队列中的任一个消息队列。可选的，预获取的数据分析规则为对象根据需求配置到云端服务器中的数据分析规则。

可选的，预设存储位置包括云端服务器的clickhouse。

可选的，第二处理模块1102，还用于根据不同客户端的数据采样频率，为不同客户端配置不同的数据采样率，以便不同客户端根据各自的数据采样率，采集数据并上传至与自身建立通信连接的边缘节点。

可选的，该装置还包括：查询模块；

第二获取模块1101，还用于获取数据查询请求，数据查询请求中包括用以指示待查询数据的标识信息；

查询模块，用于根据标识信息，从预构建的数据网关中获取与待查询数据对应的路径信息；

第二处理模块1102，用于基于路径信息，到存储有待查询数据的数据存储位置获取待查询数据并反馈，其中，数据网关中存储有任一数据的存储路径信息；与数据查询请求对应的数据存储位置包括与边缘节点对应的预设存储位置，和/或包括与云端服务器对应的预设存储位置。

本公开实施例提供的大数据分析装置中各部件所执行的功能均已在上述图7至图9对应的其中一个或多个方法实施例中做了详细的描述，因此这里不再赘述。

本公开实施例提供的一种大数据分析装置，仅获取边缘节点传输的部分数据，然后对部分数据进行分析和存储即可。其他数据则在边缘节点进行分析、存储，以及查询。将云端服务器的数据采集，以及部分处理、查询与分析等能力下沉至边缘节点。可以有效降低网络传输成本，提升数据处理、查询与分析的速度。而且，大大降低云端服务器一侧的存储成本，而且由于存储的数据量大大减少，还可以提升对当前存储的数据的查询、分析速度。再者，通过边缘节点和云端服务器建立通信连接，实现信息交互，也能够支持全量数据的查询与分析。

如图12所示，本公开实施例提供了一种边缘节点，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。

存储器113，用于存放计算机程序；

在本公开一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的大数据分析方法，该方法包括：

获取客户端传输的第一数据；

根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果；

当分析结果中包括第二数据时，将第二数据存储至边缘节点的第二预设存储位置；

和/或，

当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器，以便云端服务器对第三数据进行处理后，将处理后的结果进行存储。

可选的，预获取的与第一数据对应的数据分析规则，为云端服务器根据对象需求，事先下发至边缘节点的数据分析规则。

可选的，数据分析规则包括存储规则和至少一条数据处理规则；根据预获取的与第一数据对应的数据分析规则，将第一数据备份至与边缘节点对应的第一预设存储位置，以及，对第一数据进行分析，获取分析结果，具体包括

根据存储规则，将第一数据备份至与边缘节点对应的第一预设存储位置；

根据至少一条数据处理规则中的每一条数据处理规则，分别对第一数据进行处理，获取与每一条数据处理规则分别对应的处理结果，所有的处理结果构成分析结果。

可选的，第三数据包括至少一种处理结果，当分析结果中包括第三数据时，将第三数据上传至与边缘节点建立通信连接的云端服务器，具体包括：

将至少一种处理结果中的每一种处理结果，分别存储至与处理结果对应的消息队列；

通过消息队列，将处理结果上传至与边缘节点建立通信连接的云端服务器，以便云端服务器根据消息队列，确定后续对处理结果执行的操作，其中，消息队列为边缘节点与云端服务器之间建立的消息传输通道。

可选的，边缘节点包括第一类边缘节点和/或第二类边缘节点；

当边缘节点为第一类边缘节点时，第一类边缘节点与云端服务器之间通过专线建立通信连接；

或者，

当边缘节点为第二类边缘节点时，第二类边缘节点通过第一公网与云端服务器建立通信连接，和/或，通过第一类边缘节点与云端服务器之间建立通信连接，其中，第二类边缘节点与第一类边缘节点之间通过第二公网建立通信连接。

如图13所示，本公开实施例提供了一种云端服务器，包括处理器211、通信接口212、存储器213和通信总线214，其中，处理器211，通信接口212，存储器213通过通信总线214完成相互间的通信。

存储器213，用于存放计算机程序；

在本公开一个实施例中，处理器211，用于执行存储器213上所存放的程序时，实现前述任意一个方法实施例提供的大数据分析方法，该方法包括：

获取边缘节点发送的预设数据；

根据预获取的数据分析规则，对预设数据进行分析，获取分析结果；

将分析结果存储于云端服务器的预设存储位置。

可选的，当预设数据为通过至少一个消息队列中每一个消息队列分别传输的数据构成时，根据预获取的数据分析规则，对预设数据进行分析，获取分析结果，具体包括：

根据至少一个消息队列中的第一消息队列对应的标识信息，从预获取的至少一条数据处理规则中，选取与标识信息对应的预设数据处理规则，其中，至少一条数据处理规则，构成数据分析规则；

根据预设数据处理规则，对通过第一消息队列传输的数据进行分析，获取分析结果，其中，至少一个消息队列中的每一个消息队列均为边缘节点与云端服务器之间建立的消息传输通道，第一消息队列为至少一个消息队列中的任一个消息队列。

可选的，方法还包括：

根据不同客户端的数据采样频率，为不同客户端配置不同的数据采样率，以便不同客户端根据各自的数据采样率，采集数据并上传至与自身建立通信连接的边缘节点。

可选的，获取数据查询请求，数据查询请求中包括用以指示待查询数据的标识信息；

根据标识信息，从预构建的数据网关中获取与待查询数据对应的路径信息；

基于路径信息，到存储有待查询数据的数据存储位置获取待查询数据并反馈，其中，数据网关中存储有任一数据的存储路径信息；与数据查询请求对应的数据存储位置包括与边缘节点对应的预设存储位置，和/或包括与云端服务器对应的预设存储位置。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述图4或图5对应的方法实施例提供的大数据分析方法的步骤；或者，实现如前述图6至图8中一个或多个方法实施例提供的大数据分析方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种大数据分析方法，其特征在于，所述方法由边缘节点执行，所述方法包括：

获取客户端传输的第一数据；

根据预获取的与所述第一数据对应的数据分析规则，将所述第一数据备份至与所述边缘节点对应的第一预设存储位置，以及，对所述第一数据进行分析，获取分析结果；

当所述分析结果中包括第二数据时，将所述第二数据存储至所述边缘节点的第二预设存储位置；

和/或，

当所述分析结果中包括第三数据时，将所述第三数据上传至与所述边缘节点建立通信连接的云端服务器，以便所述云端服务器对所述第三数据进行处理后，将处理后的结果进行存储。

2.根据权利要求1所述的方法，其特征在于，所述预获取的与所述第一数据对应的数据分析规则，为所述云端服务器根据对象需求，事先下发至所述边缘节点的数据分析规则。

3.根据权利要求1所述的方法，其特征在于，所述数据分析规则包括存储规则和至少一条数据处理规则；所述根据预获取的与所述第一数据对应的数据分析规则，将所述第一数据备份至与所述边缘节点对应的第一预设存储位置，以及，对所述第一数据进行分析，获取分析结果，具体包括：

根据所述存储规则，将所述第一数据备份至与所述边缘节点对应的第一预设存储位置；

根据至少一条所述数据处理规则中的每一条数据处理规则，分别对所述第一数据进行处理，获取与每一条数据处理规则分别对应的处理结果，所有的所述处理结果构成所述分析结果。

4.根据权利要求3所述的方法，其特征在于，所述第三数据包括至少一种处理结果，当所述分析结果中包括第三数据时，将所述第三数据上传至与所述边缘节点建立通信连接的云端服务器，具体包括：

将至少一种处理结果中的每一种处理结果，分别存储至与所述处理结果对应的消息队列；

通过所述消息队列，将所述处理结果上传至与所述边缘节点建立通信连接的云端服务器，以便所述云端服务器根据所述消息队列，确定后续对所述处理结果执行的操作，其中，所述消息队列为所述边缘节点与所述云端服务器之间建立的消息传输通道。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述边缘节点包括第一类边缘节点和/或第二类边缘节点；

当所述边缘节点为所述第一类边缘节点时，所述第一类边缘节点与所述云端服务器之间通过专线建立通信连接；

或者，

当所述边缘节点为所述第二类边缘节点时，所述第二类边缘节点通过第一公网与所述云端服务器建立通信连接，和/或，通过所述第一类边缘节点与所述云端服务器之间建立通信连接，其中，所述第二类边缘节点与所述第一类边缘节点之间通过第二公网建立通信连接。

6.一种大数据分析方法，其特征在于，所述方法由云端服务器执行，所述方法包括：

获取边缘节点发送的预设数据；

根据预获取的数据分析规则，对所述预设数据进行分析，获取分析结果；

将所述分析结果存储于所述云端服务器的预设存储位置。

7.根据权利要求6所述的方法，其特征在于，当所述预设数据为通过至少一个消息队列中每一个消息队列分别传输的数据构成时，所述根据预获取的数据分析规则，对所述预设数据进行分析，获取分析结果，具体包括：

根据至少一个消息队列中的第一消息队列对应的标识信息，从预获取的至少一条数据处理规则中，选取与所述标识信息对应的预设数据处理规则，其中，至少一条数据处理规则，构成所述数据分析规则；

根据所述预设数据处理规则，对通过所述第一消息队列传输的数据进行分析，获取所述分析结果，其中，至少一个所述消息队列中的每一个所述消息队列均为所述边缘节点与所述云端服务器之间建立的消息传输通道，所述第一消息队列为至少一个消息队列中的任一个消息队列。

8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

根据不同客户端的数据采样频率，为不同客户端配置不同的数据采样率，以便不同客户端根据各自的数据采样率，采集数据并上传至与自身建立通信连接的边缘节点。

9.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

获取数据查询请求，所述数据查询请求中包括用以指示待查询数据的标识信息；

根据所述标识信息，从预构建的数据网关中获取与所述待查询数据对应的路径信息；

基于所述路径信息，到存储有所述待查询数据的数据存储位置获取所述待查询数据并反馈，其中，所述数据网关中存储有任一数据的存储路径信息；与所述数据查询请求对应的数据存储位置包括与所述边缘节点对应的预设存储位置，和/或包括与所述云端服务器对应的预设存储位置。

10.一种大数据分析装置，其特征在于，所述装置包括：

第一获取模块，用于获取客户端传输的第一数据；

第一处理模块，用于根据预获取的与所述第一数据对应的数据分析规则，将所述第一数据备份至与边缘节点对应的第一预设存储位置，以及，对所述第一数据进行分析，获取分析结果；

当所述分析结果中包括第二数据时，将所述第二数据存储至所述边缘节点的第二预设存储位置；

和/或，

发送模块，用于当所述分析结果中包括第三数据时，将所述第三数据上传至与所述边缘节点建立通信连接的云端服务器，以便所述云端服务器对所述第三数据进行处理后，将处理后的结果进行存储。

11.一种大数据分析装置，其特征在于，所述装置包括：

第二获取模块，用于获取边缘节点发送的预设数据；

第二处理模块，用于根据预获取的数据分析规则，对所述预设数据进行分析，获取分析结果；将所述分析结果存储于云端服务器的预设存储位置。

12.一种边缘节点，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的大数据分析方法的步骤。

13.一种云端服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求6-9任一项所述的大数据分析方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项或权利要求6-9任一项所述的大数据分析方法的步骤。

Images