CN111339183A - 数据处理方法、边缘节点、数据中心及存储介质 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、边缘节点、数据中心及存储介质；所述方法包括：从数据源收集待处理的数据流；对所述数据流中的数据进行处理，得到处理结果；确定所述数据流中当前已处理且未上报数据作为待上报数据；当所述待上报数据的数据信息满足特定的分割阈值时，将数据信息满足所述分割阈值的待上报数据确定为当前批次数据；将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果；这样，通过对数据进行初步处理，使数据中心对上传的处理结果进行再次处理，即可得到目标处理结果，缩短了数据中心处理整个数据流的处理时间。

Description

数据处理方法、边缘节点、数据中心及存储介质

技术领域

本申请涉及云计算领域，尤其涉及数据处理方法、边缘节点、数据中心及存储介质。

背景技术

在相关技术中，由于大数据分析平台始终是一个中心化的节点，因此所有的数据收集的节点都需要将数据发送到大数据分析平台的数据中心，这一传输链路的数据量就会很大，同时数据中心存储的原始数据也会很大；这样大量的原始数据使得数据计算耗时较久。

发明内容

本申请实施例提供一种数据处理方法、边缘节点、数据中心及存储介质，通过对数据进行初步处理，使数据中心对上传的处理结果进行再次处理，即可得到目标处理结果，缩短了数据中心处理整个数据流的处理时间。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种数据处理方法，包括：从数据源收集待处理的数据流；对所述数据流中的数据进行处理，得到处理结果；确定所述数据流中当前已处理且未上报数据作为待上报数据；当所述待上报数据的数据信息满足特定的分割阈值时，将数据信息满足所述分割阈值的待上报数据确定为当前批次数据；将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果。

第二方面，本申请实施例提供一种数据处理方法，包括：接收边缘节点上传的待处理的数据流中多批次数据的处理结果；其中，每一批次数据的数据信息均满足分割阈值；确定所述数据流的待实现的功能；根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果。

第三方面，本申请实施例提供一种边缘节点，所述边缘节点包括：第一收集模块，用于从数据源收集待处理的数据流；第一处理模块，用于对所述数据流中的数据进行处理，得到处理结果；第一确定模块，用于确定所述数据流中当前已处理且未上报数据作为待上报数据；第二确定模块，用于当所述待上报数据的数据信息满足特定的分割阈值时，将数据信息满足所述分割阈值的待上报数据确定为当前批次数据；第一上报模块，用于将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果。

第四方面，本申请实施例提供一种数据中心，所述数据中心包括：第一接收模块，用于接收边缘节点上传的待处理的数据流中多批次数据的处理结果；其中，每一批次数据的数据信息均满足分割阈值；第三确定模块，用于确定所述数据流的待实现的功能；第二处理模块，用于根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果。

第五方面，本申请实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现上述第一方面提供的数据处理方法，或者，用于引起处理器执行时，实现上述第二方面提供的数据处理方法。

本申请实施例具有以下有益效果：当从数据源收集到的数据时，即开始对数据处理，并且当已处理且未上报数据的数据信息满足分割阈值时，将已处理且未上报数据作为为当前批次数据，将当前批次数据的处理结果上报到数据中心；这样，每当处理完一个批次数据就将处理结果上报到数据中心，能够减少数据传输量，而且数据中心通过对处理结果进行再次处理，即可得到目标处理结果，大大缩短了数据中心处理整个数据流的处理时间。

附图说明

图1是本申请实施例提供的数据处理系统的一个可选的架构示意图；

图2A是本申请实施例提供的数据处理系统的另一个可选的架构示意图；

图2B是本申请实施例提供的数据处理系统的结构示意图；

图3A是本申请实施例提供的数据处理方法的实现流程示意图；

图3B是本申请实施例数据处理方法的另一实现流程示意图；

图4是本申请实施例提供的数据处理方法的交互流程示意图；

图5是本申请实施例提供的数据处理系统的框架图；

图6是本申请实施例提供的端到端的数据流向示意图；

图7是本申请实施例提供的数据处理方法的实现框架图；

图8是本发明实施例对数据进行初步处理的实现流程示意图；

图9是本申请实施例提供的数据中心对处理结果进行再次处理的流程示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)边缘计算(Edge Computing)：在靠近物或者数据源头的网络边缘侧，融合联接、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全和隐私保护等方面的关键需求。

2)分布式系统(Hadoop)：Apache基金会所开发的分布式系统基础架构，主要包含Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)和并行处理框架(MapReduce)，其中HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

3)数据仓库(Hive)，基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。

4)集群计算平台(Spark)，一个专为大规模数据处理而设计的快速通用的计算引擎。

5)互联网服务提供商(Internet Service Provider，ISP)，即向广大用户综合提供互联网接入业务、信息业务和增值业务的电信运营商。

6)云技术(Cloud technology)：基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

7)大数据(Big data)：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

在相关技术中，日渐丰富和增长的用户端导致业务数据流量不断增大，然后为了应对大流量，业务服务是多地域多机房部署，因此数据收集Agent一般直接部署到业务机房中，减短从业务服务到数据收集Agent的传输链路。但是由于大数据分析平台始终是一个中心化的节点，因此，所有的数据收集Agent都需要将数据发送到大数据分析平台的数据中心，这样传输链路的数据量就会很大，同时数据中心存储的原始数据也会很大。与此同时，大量的原始数据，使得数据计算耗时较久，因为数据计算需要遍历所有相关的原始数据，当数据量比较大的时候就需要耗费很长的计算时间。

基于此，本申请实施例提供一种数据处理方法、边缘节点、数据中心及存储介质，在需要对大数据的数据流进行处理的场景下，首先，当从数据源收集到的数据时，即开始处理，并且当已处理数据的数据信息满足分割阈值时，对满足分割阈值的当前已处理数据的处理结果进行上报；这样，逐批次的对收集到的数据进行初步处理，将已经初步计算完成的结果发送给数据中心，减少了传输流量，并且每处理完一个批次的数据就上报到数据中心，以使数据中心对处理结果进行再次处理，从而得到目标处理结果；这样，大大缩短了二次计算的处理时间。

下面说明本申请实施例提供的数据处理的设备的示例性应用，本申请实施例提供的设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户设备，也可以实施为服务器。下面，将说明设备实施为设备或服务器时示例性应用。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

参见图1，图1是本申请实施例提供的数据处理系统的一个可选的架构示意图，为实现支撑一个示例性应用，首先，边缘节点11收集数据源10上传的待处理的数据流；边缘节点11中的数据收集固件(Agent)，对收集到的数据进行处理，得到处理结果；其中，数据收集固件可以是任意能够实现数据收集和处理功能的软硬件系统；然后，确定当前已处理且未上报数据的数据信息是否满足分割阈值，如果满足分割阈值，将满足该分割阈值的当前批次数据上报至数据中心；然后，数据中心按照该数据流要实现的功能，继续对上报的处理结果进行再次处理，即可得到目标处理结果13；这样，边缘节点11中的Agent将初步处理结果上传到数据中心，减少了数据传输流量，而且数据中心通过对处理结果进行简单的再次处理即可得到目标处理结果13，大大提高了数据处理速度，节省了数据处理的时间，从而缩短了用户等待时间。

参见图2A，图2A是本申请实施例提供的数据处理系统的另一个可选的架构示意图，包括区块链网络20(示例性示出了作为原生节点的服务器200)、监测系统30(示例性示出归属于监测系统30的设备300及其图形界面301)，下面分别进行说明。

区块链网络20的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户设备和服务器，都可以在不需要授权的情况下接入区块链网络20；以联盟链为例，业务主体在获得授权后其下辖的电子设备(例如设备/服务器)可以接入区块链网络20，此时，成为区块链网络20中的一类特殊的节点即客户端节点。

需要指出地，客户端节点可以只提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络20的原生节点的功能，例如下文所述的排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实现。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络20中，通过区块链网络20实现数据和业务处理过程的可信和可追溯。

区块链网络20接收来自业务主体(例如图2A中示出的监测系统30)的客户端节点(例如，图2A中示出的归属于监测系统30的设备300)提交的交易，执行交易以更新账本或者查询账本，并在设备的用户界面(例如，设备300的图形界面301)显示执行交易的各种中间结果或最终结果。

下面以监测系统接入区块链网络以实现数据处理的上链为例说明区块链网络的示例性应用。

监测系统30的设备300接入区块链网络20，成为区块链网络20的客户端节点。设备300通过传感器从数据源处收集待处理的数据流，对该数据流中的数据进行处理，当已处理且未上报数据的数据量满足分割阈值时，将当前批次数据的处理结果上报至数据中心，以使数据中心对处理结果进行处理，得到数据流的目标处理结果；并且，将目标处理结果传递给区块链网络20中的服务器200或者保存在设备300中；在已对设备300部署上传逻辑或用户进行操作的情况下，设备300根据待处理事务/同步时间查询请求，生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了监测系统30签署的数字签名(例如，使用监测系统30的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络20。其中，数字证书可由监测系统30向认证中心31进行登记注册得到。

区块链网络20中的原生节点，例如服务器200在接收到交易时，对交易携带的数字签名进行验证，数字签名验证成功后，根据交易中携带的监测系统30的身份，确认监测系统30是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署原生节点自己的数字签名(例如，使用原生节点的私钥对交易的摘要进行加密得到)，并继续在区块链网络20中广播。

区块链网络20中具有排序功能的节点接收到验证成功的交易后，将交易填充到新的区块中，并广播到区块链网络中20提供共识服务的节点。

区块链网络20中的提供共识服务的节点对新区块进行共识过程以达成一致，提供账本功能的节点将新区块追加到区块链的尾部，并执行新区块中的交易：对于提交待处理事务的处理结果的交易，更新状态数据库中待处理事务对应的键值对；对于查询同步时间的交易，从状态数据库中查询同步时间对应的键值对，并返回查询结果。对于得到的同步时间，可显示于设备300的图形界面301中。

区块链网络20中的原生节点可从区块链中读取待处理的数据流，并将待处理的数据流呈现于原生节点的监测页面，原生节点也可以利用在区块链存储的待处理的数据流，对待处理的数据流进行处理，比如，通过对该数据流中的数据进行处理，当已处理且未上报数据的数据量满足分割阈值时，将当前批次数据的处理结果上报至数据中心，以使数据中心对处理结果进行处理，得到数据流的目标处理结果；这样，将初步处理结果上传到数据中心，减少了数据传输流量，而且数据中心通过对处理结果进行简单的再次处理即可得到目标处理结果，节省了数据处理的时间，从而缩短了用户等待时间。

在实际应用中，可为区块链网络20的不同原生节点设置不同的功能，例如设置服务器200具有数据处理功能和记账功能，比如，当从数据源收集到的数据时，即开始对数据处理，并且当已处理数据的数据信息满足分割阈值时，对满足分割阈值的当前已处理数据的处理结果上报到数据中心；数据中心通过对处理结果进行再次处理，即可得到目标处理结果。对于该情况，可在交易过程中，服务器200接收设备300发送的数据处理请求，采用服务器200基于数据处理请求，当从数据源收集到的数据时，即开始对数据处理，并且当已处理数据的数据信息满足分割阈值时，对满足分割阈值的当前已处理数据的处理结果上报到数据中心；数据中心通过对处理结果进行再次处理，即可得到目标处理结果，大大缩短了数据中心处理整个数据流的处理时间。

参见图2B，图2B是本申请实施例提供的数据处理系统的结构示意图，图2B所示的系统包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。该系统中各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2B中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，在一些示例中键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory，ROM)，易失性存储器可以是随机存取存储器(Random Access Memory，RAM)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证、和通用串行总线(UniversalSerial Bus，USB)等；

呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2B示出了存储在存储器450中的数据处理的边缘节点455，其可以是程序和插件等形式的软件，包括以下软件模块：第一收集模块4551、第二处理模块4552、第一确定模块4553、第二确定模块4554和第一上报模块4555；存储器450中的数据中心456，其可以是程序和插件等形式的软件，包括以下软件模块：第一接收模块4561、第三确定模块4562和第二处理模块4563；这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的数据处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)、DSP、可编程逻辑器件(Programmable Logic Device，PLD)、复杂可编程逻辑器件(Complex ProgrammableLogic Device，CPLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或其他电子元件。

将结合本申请实施例提供的设备的示例性应用和实施，说明本申请实施例提供的数据处理方法。

参见图3A，图3A是本申请实施例提供的数据处理方法的实现流程示意图，该方法应用于数据处理系统中的边缘节点，结合图3A示出的步骤进行说明。

步骤S301，从数据源收集待处理的数据流。

这里，数据源可以是任意产生数据的源，比如，购物类应用程序的交易数据或社交类应用的聊天数据等。

步骤S302，对数据流中的数据进行处理，得到处理结果。

这里，在步骤S302之前，获取用户输入的用于对数据流进行处理的处理规则；比如，用户在数据录入中心，输入的对数据流中的数据进行计算的计算规则，比如，对数据求和、求最大值、最小值或者平均值等。按照该处理规则，对数据流中的数据进行处理，得到处理结果。这样，在边缘节点的数据收集固件中，就完成了对收集到的数据进行初步处理，得到初步处理的处理结果。

步骤S303，确定数据流中当前已处理且未上报数据作为待上报数据。

这里，待上报数据可以理解为是，在边缘节点中已经进行初步处理，但是还未将处理结果上报至数据中心的数据。对当前数据处理完之后，判断待上报数据的数据信息。数据信息至少包括以下之一：数据量和数据占据的时长。比如，确定待上报数据占据的时长，即该数据是多长时间内的数据。在一个具体例子中，如果数据源是购物类应用程序，那么步骤S303可以是确定当前已处理且未上报数据是多长时间内的交易类数据。

步骤S304，当待上报数据的数据信息满足特定的分割阈值时，将数据信息满足分割阈值的待上报数据确定为当前批次数据。

这里，数据信息满足特定的分割阈值，说明待上报数据达到了一个批次的数据，所以将其确定为当前批次数据。也就是说，将这些特定的分割阈值的数据作为一个批次；这样，就实现了在边缘节点中实时且逐批次进行数据处理。

步骤S305，将当前批次数据的处理结果上报至数据中心，以使数据中心对所述处理结果进行处理，得到数据流的目标处理结果。

这里，如果待上报数据达到了一个批次的数据，将处理结果上报至数据中心，这样就实现了逐批次上报数据，能够减少数据的传输流量；数据中心根据需求对边缘节点上报的已经进行初步处理的处理结果，进行处理，即可得到目标处理结果，大大缩减了数据中心处理数据的时间。

在本申请实施例中，首先通过边缘节点对收集到的数据进行初步处理，并且每当处理完一个批次的数据，就将处理结果上报至数据中心，减少了数据传输量，而且数据中心通过对处理结果进行再次处理，即可得到目标处理结果，大大缩短了数据中心处理整个数据流的处理时间，从而缩短了用户等待的时间。

在一些实施例中，为了更加准确地设定分割阈值，在边缘节点对收集到的数据进行处理之前，首先设定分割阈值，过程如下：

首先，确定对数据流进行数据分析的维度。

这里，数据分析的维度至少包括：时间维度和数据量维度。在一个具体例子中，确定对数据流是按照时间进行数据分析还是按照数据量对数据流进行数据分析。

然后，根据维度，设定批量处理数据流中的数据的分割阈值。

在一些可能的实现方式中，如果所述维度为时间，确定所述数据流所占据的总时长；根据所述总时长，确定用于作为所述分割阈值的时长阈值。设定的时长阈值远远小于总时长，而且能够使得边缘节点通过多个批次将处理结果上传至数据中心，达到减少数据传输量的效果。在一个具体例子中，如果应用场景为需要确定一天内的数据总量，这样数据分析的维度为时间，可以将分割阈值设定为比一天更小的时长，比如，一个小时。这样，如果待上报数据所占据的时长达到时长阈值，确定待上报数据满足分割阈值。举例来说，如果当前已处理且未上报数据所占据的时长等于一个小时，确定当前已处理且未上报数据满足该分割阈值，然后，将这一小时内在边缘节点的数据收集固件中的处理结果上传给数据中心。

在另一可能的实现方式中，如果维度为数据量，确定数据流所占据总数据量；根据总数据量，确定用于作为分割阈值的数据量阈值。设定的数据量阈值远远小于总数据量，而且能够使得边缘节点通过多个批次将处理结果上传至数据中心，达到减少数据传输量的效果。在一个具体例子中，如果应用场景为需要确定统计所有数据的数据量中某一项数据的数据指标，这样数据分析的维度为数据量，可以将分割阈值设定为比该总数据量占据的存储更小的数据量阈值，比如，数据量为一万条数据，那么可以将小于一万条数据的500条数据作为数据量阈值，即分割阈值。这样，如果待上报数据的数据量达到特定容量内存储的数据量，确定待上报数据满足分割阈值。举例来说，如果待上报数据的数据量等于500条数据，确定待上报数据满足该分割阈值，然后，将这500条数据在边缘节点的数据收集固件中的处理结果上传给数据中心。

在本申请实施例中，在数据处理过程中，通过按照不同的数据分析的维度，设定分割阈值，从而在数据收集固件中能够将满足分割阈值的数据的处理结果，逐批次的上传至数据中心，能够减少数据传输流量。

在一些实施例中，把未满足分割阈值的数据的处理结果存储在本地内存中，然后当处理的数据满足一个批次数据时，从本地内存中获取整个批次数据的处理结果，并上传到数据中心，在步骤S303之后，该方法还包括以下步骤：

步骤S331，如果待上报数据的数据信息未满足分割阈值，继续从数据源收集所述数据流中的数据。

这里，如果所述待上报数据的数据信息未满足所述分割阈值，将待上报数据的处理结果存储在本地内存中。如果分割阈值为特定时长，步骤S331可以理解为，如果待上报数据所占据的时长小于特定时长，那么说明未满足一个批次的数据，继续从数据源收集数据流中的数据，直至待上报数据满足一个批次数据，即使得待上报数据所占据的时长等于特定时长。如果分割阈值为数据量阈值，步骤S331可以理解为，如果待上报数据的数据量小于数据量阈值，那么说明未满足一个批次的数据，继续从数据源收集数据流中的数据，直至待上报数据达到一个批次的数据，即使得待上报数据的数据量等于数据量阈值。

步骤S332，对继续收集到的数据进行处理，当已处理且未上报数据的数据信息满足所述分割阈值时，将满足所述分割阈值的已处理且未上报数据的处理结果上报至所述数据中心。

这里，在边缘节点的数据收集固件中，对继续收集到的数据进行，按照用户录入的处理规则，进行处理，当已处理且未上报数据的数据信息满足分割阈值时，确定已处理且未上报数据达到一个批次的数据，将处理结果上报至数据中心。在一个具体例子中，当已处理且未上报数据的数据信息满足分割阈值时，从本地内存中，提取满足分割阈值的已处理且未上报数据的处理结果，上报至数据中心。即，当已处理且未上报数据满足一个批次的数据时，从本地内存中，提取整个批次数据的处理结果，上报至数据中心。

在本申请实施例中，把未满足分割阈值的数据的处理结果存储在本地内存中，然后当处理的数据满足一个批次数据时，从本地内存中获取整个批次数据的处理结果，并上传到数据中心，这样，能够实时的对从数据源收集到的数据进行处理，且能够保证数据的处理结果不会丢失。

在一些实施例中，在未达到一个批次的批次数据的情况下，将当前已处理的处理结果存储在当地内存中，然后，当一个批次的数据全部处理完时，从本地内存中将整个批次的数据上报至数据中心，可以通过以下过程实现：

首先，如果所述待上报数据的数据信息未满足所述分割阈值，将待上报数据的处理结果存储在本地内存中。

比如，分割阈值为特定时长，那么如果待上报数据所占据的时长，小于特定时长，将这些数据的处理结果保存在本地内存中，并继续从数据源收集数据。

然后，当已处理且未上报数据的数据信息满足所述分割阈值时，从所述本地内存中，提取满足所述分割阈值的已处理且未上报数据的处理结果，上报至所述数据中心。

比如，在继续从数据源收集数据的基础上，当已处理且未上报数据所占据的时长等于特定时长时，从本地内存中将整个批次数据的处理结果提取出来，上传至数据中心，不仅能够加快数据处理速度，而且减少了数据传输流量。

在一些实施例中，在边缘节点对当前批次数据进行初步处理完之后，将上报后的数据进行清除，重新计数，然后，对下一批次的数据进行处理，以实现逐批次上报，在步骤S305之后，还包括以下步骤，参见图3B所示，图3B是本申请实施例数据处理方法的另一实现流程示意图，结合图3A进行以下说明：

步骤S321，清除当前已上报处理结果的数据和所述当前已上报处理结果。

这里，当一个批次数据的处理结果上报完成之后，将该批次数据的处理结果进行清除，并且在边缘节点的数据收集固件中，对数据的计数进行清零，以使该数据收集固件重新开始统计一个批次的数据。

步骤S322，从数据源收集所述数据流中的未处理的下一批次数据。

这里，当一个批次的数据的处理结果上报完成之后，数据收集固件继续对下一批次的数据进行收集。

步骤S323，对下一批次数据进行处理，当下一批次数据的数据信息满足分割阈值时，将下一批次数据的处理结果上报至数据中心。

这里，数据收集固件继续对下一批次数据进行处理，当已处理且未上报数据的数据信息满足分割阈值时，将该下一批次数据的处理结果上报至所述数据中心。如此，就实现了在数据收集固件中，对数据源上传的数据进行实时处理，且逐批次的将处理结果上报至数据中心，以使数据中心仅需要对处理结果进行简单的再次处理，即可得到目标处理结果。

本申请实施例提供一种数据处理方法，图4是本申请实施例提供的数据处理方法的交互流程示意图，结合图4示出的步骤进行说明：

步骤S401，从数据源处收集待处理的数据流。

步骤S402，对数据流中的数据进行处理，得到处理结果。

步骤S403，确定数据流中待上报数据的数据信息。

步骤S404，当数据信息满足特定的分割阈值时，将数据信息满足分割阈值的待上报数据确定为当前批次数据。

步骤S405，将当前批次数据的处理结果上报至数据中心，以使数据中心对处理结果进行处理，得到数据流的目标处理结果。

上述步骤S401至步骤S405，由边缘节点中的数据收集固件实现，数据收集固件对从数据源处收集到的数据进行实时处理，并当处理完一个批次的数据时，将这一个批次数据的处理结果上报至数据中心，这样将整个数据流的分割为多个批次，逐批次的将处理结果上报至数据中心，减少了数据传输流量。

步骤S406，接收边缘节点上传的待处理的数据流中多批次数据的处理结果。

这里，每一批次数据的数据信息均满足分割阈值；数据中心接收边缘节点的数据收集固件上传的多个批次数据的处理结果。比如，待处理的数据流的整个数据，在边缘节点中分成了100个批次，那么数据中心即收到边缘节点上传的100个批次数据的处理结果。

步骤S407，确定数据流的待实现的功能。

这里，数据流的待实现的功能至少包括：从整个数据流的数据中挑选某一数据，比如，选出最大的数据、选出性能指标最好的数据；或者，确定整个数据流的数据情况，比如，确定数据的总和或平均值等。

步骤S408，根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果。

这里，比如，待实现的功能是从整个数据流的数据中挑选某一数据，数据中心对处理结果进行处理的过程为：首先，确定筛选条件，然后，按照该筛选条件从整个处理结果中进行筛选，以得到目标处理结果。

在一些实施例中，数据中心对接收到的边缘节点中的数据收集固件初步处理的处理结果，进行再次处理的方式至少可以通过以下两种方式实现：

方式一：第一步，如果所述待实现的功能为对所述数据流进行筛选，确定筛选条件。

比如，待实现的功能是确定较大的数据，那么筛选条件就是判断这些数据是否落在设定的数据范围内。

第二步，从多批次数据的处理结果中，选择满足所述筛选条件的目标处理结果。

比如，从多批次数据的处理结果中，选出落在设定的数据范围内的数据，即得到目标处理结果。

方式二：

第一步，如果所述待实现的功能为对所述数据流进行聚合，确定聚合目标。

比如，待实现的功能是确定一天内的交易量总和，那么聚合目标就是求和。

第二步，按照所述聚合目标，对所述多批次数据的处理结果进行处理，得到所述目标处理结果。

比如，按照该求和的聚合目标，对多批次数据的处理结果进行求和，求和结果即为目标处理结果。在一个具体例子中，如果是对一天内的交易量进行求和，设定的分割阈值为一个小时，那么在数据中心，仅需要对24个处理结果进行求和即可，从而大大减少了数据中心的数据处理量，提高了数据处理速度，而且降低了用户的等待时间。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，以对大数据流进行处理为例，进行说明。

图5是本申请实施例提供的数据处理系统的框架图，如图5所示，该系统包括5个模块：数据上报模块501、数据中心模块502、规则录入模块503、数据计算模块504和数据应用模块505，其中：

数据上报模块501，用于由数据源51主动将原始数据通过数据收集固件(Agent)52上报到数据中心模块501，数据源51可以是业务应用记录、服务后台日志、用户操作流水等等。

数据中心模块501，用于在原始数据存储子模块511中，对原始数据的收集和存储，即实现原始数据存储。

规则录入模块503，用于提供给用户录入具体的数据计算分析的规则，即实现计算规则录入。

数据计算模块504，用于根据用户录入的计算规则，在离线数据计算子模块541中，对原始数据进行分析和计算，并在计算数据存储子模块542中对计算结果进行存储。

比如，采用计算引擎Hive或Spark等。

数据应用模块505，在数据应用服务子模块551中，将计算完成的数据进行展示或者应用到实际业务中，以实现数据应用服务。

图5所示的大数据处理系统会存在两方面的问题，一是，当数据源原始数据量很大的时候，数据传输流量以及原始数据的存储量都会很大，如图6所示，图6是本申请实施例提供的端到端的数据流向示意图，从图6可以看出：

首先，客户端601通过网络602，将待处理数据流，比如，业务数据发送至业务服务机房603。

这里，客户端601包括手机61、ISP 62、计算机63、智能汽车64和基站65。

然后，在业务服务机房603中的经过负载均衡611、服务器612至614和数据收集固件615至617，将业务数据发送至数据中心604，从而实现了端到端的数据流向。

由于日渐丰富和增长的用户端601导致业务数据流量不断增大，然后为了应对大流量，业务服务机房是多地域多机房部署的，因此数据收集Agent一般直接部署到业务机房中，减短从业务服务到数据收集Agent的传输链路。但是由于大数据分析平台始终是一个中心化的节点，因此所有的数据收集Agent都需要将数据发送到大数据分析平台的数据中心，这一传输链路的数据量就会很大，同时数据中心存储的原始数据也会很大。

基于此，本申请实施例提供一种数据处理方法，应用边缘计算的思想，在数据上报阶段，在数据收集Agent中实时的对原始数据，先做按照分割阈值进行初步的微批量的统计计算，将已经初步计算完成的结果发送给数据中心，减少传输流量；然后，在数据计算阶段对已经初步计算的数据的处理结果，再做二次统计计算，大大缩短了二次计算的处理时间，由于在Agent中的初步计算是在后台实时进行的，因此对用户来说只会感知到二次计算的时间，从而缩短了用户等待时间。

图7是本申请实施例提供的数据处理方法的实现框架图，如图7所示，该框架包括4个部分：规则配置服务模块701、数据收集固件群702、数据中心703和数据计算服务集群704，其中：

规则配置服务模块701，用于配置具体的数据计算分析规则，用户通过控制台录入自定义的计算规则，规则配置服务收到计算规则后需要将计算规则同时下发到每一个Agent以及每一个计算服务，以实现规则配置服务。

数据收集固件群702，用于收集数据源70上报的数据，以及根据用户定义的计算规则首先对数据进行小批量的初步计算。

这里，数据收集固件群702中包括多个固件，比如，数据收集固件721至72n；其中，每一固件均用于根据用户定义的计算规则首先对数据按照分割阈值进行小批量的初步计算。在一些可能的实现方式中，固件对收集上来的数据，进行小批量的初步计算，这里具体的分割阈值在规则配置服务模块701中由客户自行定义，在本申请实施例中可以两种设定分割阈值的方式：

方式一：当数据分析的维度是时间，那么分割阈值可以是更小的单位时间，举例来说，要统计一个月或者一天范围内的某某数据指标，那么分割阈值可以选择为更小的时间单位比如小时和分钟。

方式二：当数据分析的维度是数据量，那么分割阈值为更小的数据量，举例来说，要统计每100万记录中的某某数据指标，那么分割阈值可以选择为更小的数据量单位，比如，1万记录数据或者1000记录数据等。

图8是本发明实施例对数据进行初步处理的实现流程示意图，如图8所示，处理过程包括以下步骤：

步骤S801，获取到上报数据。

这里，获取到数据源上传的数据。

步骤S802，按照用户定义的计算规则对该数据进行处理。

这里，对当前数据，按照用户定义的计算规则进行处理完成时，判断待上报数据的数据量是否满足分割阈值

步骤S803，判断待上报数据的数据信息是否满足分割阈值。

这里，如果分割阈值为数据量，步骤S803即是判断待上报数据的数据量是否等于分割阈值，或者是，如果分割阈值是时长，判断待上报数据占据的时长是否等于分割阈值，如果是，进入步骤S805，否则进入步骤S804。

步骤S804，将待上报数据的处理结果缓存到本地内存。

这里，步骤S804完成之后，返回步骤S801，继续收集上报的数据，直至待上报数据满足分割阈值，完成当前批次数据的处理过程。

步骤S805，从本地内存中获取所有当前批次数据的处理结果，并上报到数据中心。

这里，步骤S805完成之后，当前批次数据的处理过程即完成了，返回步骤S801，继续对下一批次数据进行处理。

数据中心703，用于存储上述的小批量的初步计算的结果。

数据计算服务集群704，用于通过多个计算服务器741至74n根据用户定义的计算规则，在初步处理结果的基础上，进行二次处理，得到目标处理结果，并存储到计算结果库705中。

在一些可能的实现方式中，数据计算服务集群704进行二次处理的方式至少包括以下两种：

方式一：对数据初步处理的处理结果进行数据筛选，即按照一定条件从海量数据中筛选出所需要的数据，这种情况下二次处理即是简单的将初步处理的处理结果合并即可。

方式二：对数据初步处理的处理结果进行数据聚合，即按照一定的条件从海量数据中聚合所需要的数据，这种情况下二次处理即是将初步处理的处理结果做进一步的聚合。

在一些具体的例子中，对数据初步处理的处理结果进行数据聚合，以求和为例进行说明：

以一个电商平台为例，实际业务比如求一定时间范围内的交易额总和，或者求一定实际范围内符合一定规则的订单交易额总和。这里分割阈值选择为每天每小时，数据收集固件分批次初步计算的是每天每小时内的交易的数据量，那么初步处理的处理结果即为多个满足分割阈值的批次的每天每小时内的交易额总和，将这些批次的数据的交易额总和上传至数据中心，数据中心所进行的二次处理，为将要求的时间范围内所有小时点的交易额总和累加起来，即为最终的目标处理结果。

对数据初步处理的处理结果进行数据聚合，以确定最大值最小值进行说明：

以一个直播平台为例，实际业务，比如，求一定时间范围内，单位时间点(单位时间以一小时为例)中弹幕最多时间点。这里，分割阈值选择为每天每小时，数据收集固件分批次初步计算的是输出每天每小时的弹幕量；数据中心所进行的二次处理，为在要求的时间范围内，从初步处理的处理结果中找出弹幕量最多的时间点即可；这里，可以根据要求的单位时间点，灵活控制初步计算的批量值，举例来说，当要求每10分钟的最大弹幕量时，分割阈值就可以调整为10分钟内的数据量。

对数据初步处理的处理结果进行数据筛选，在一个具体例子中，腾讯智能对话平台为例，在腾讯智能对话平台中存在很多机器人，用户可以对任意的机器人发起对话，数据筛选要求筛选出一定时间范围内指定机器人的符合一定对话规则的对话流水数据。这里，分割阈值选择为每天每个小时，数据收集固件分批次初步计算的为每天每个小时符合要求的对话流水，数据中心所进行的二次处理，为将指定时间范围内的对话流水记录合并输出即可。

这里，数据源上报的整个数据流中的数据在经过数据收集固件的初步处理之后，输出初步处理的处理结果，然后数据计算服务集群704中的多个计算服务器使用初步处理的处理结果做二次处理，输出最终的目标处理结果。如图9所示，图9是本申请实施例提供的数据中心对处理结果进行二次处理的流程示意图，从图9可以看出，首先，数据源件原始大数据流901上传至数据收集固件902至90n；然后，数据收集固件902至90n对收集到的数据进行初步处理，并且当已处理数据的数据信息满足分割阈值时，将边缘节点的数据收集固件中初步处理后的处理结果912上传至数据中心；数据中心的计算服务器910对上传的多个批次的处理结果继续努力二次处理，得到目标处理结果911。

下面继续说明本申请实施例提供的数据处理的边缘节点455的实施为软件模块的示例性结构，在一些实施例中，如图2B所示，存储在存储器450的数据处理的边缘节点455中的软件模块可以包括：第一收集模块4551，用于从数据源收集待处理的数据流；第一处理模块4552，用于对所述数据流中的数据进行处理，得到处理结果；第一确定模块4553，用于确定所述数据流中当前已处理且未上报数据作为待上报数据；第二确定模块4554，用于当所述待上报数据的数据信息满足特定的分割阈值时，将数据信息满足所述分割阈值的待上报数据确定为当前批次数据；第一上报模块4555，用于将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果。

在上述装置中，所述第一处理模块4552，还用于确定对所述数据流进行数据分析的维度；根据所述维度，设定批量处理所述数据流中的数据的分割阈值。

在上述装置中，所述第一处理模块4552，还用于：如果所述维度为时间，确定所述数据流所占据的总时长；根据所述总时长，确定用于作为所述分割阈值的时长阈值；如果所述待上报数据所占据的时长达到所述时长阈值，确定所述待上报数据满足所述分割阈值。

在上述装置中，所述第一处理模块4552，还用于：如果所述维度为数据量，确定所述数据流所占据总数据量；根据所述总数据量，确定用于作为所述分割阈值的数据量阈值；如果所述待上报数据的数据量达到所述数据量阈值，确定所述待上报数据满足所述分割阈值。

在上述装置中，所述第一确定模块4553，还用于：如果所述待上报数据的数据信息未满足所述分割阈值，继续从所述数据源收集所述数据流中的数据；对继续收集到的数据进行处理，当待上报数据的数据信息满足所述分割阈值时，将满足所述分割阈值的待上报数据的处理结果上报至所述数据中心。

在上述装置中，所述第一确定模块4553，还用于：如果所述待上报数据的数据信息未满足所述分割阈值，将待上报数据的处理结果存储在本地内存中；当已处理且未上报数据的数据信息满足所述分割阈值时，从所述本地内存中，提取满足所述分割阈值的已处理且未上报数据的处理结果，上报至所述数据中心。

在上述装置中，所述第一上报模块4555，还用于：清除当前已上报处理结果的数据和所述当前已上报处理结果；从所述数据源收集所述数据流中的未处理的下一批次数据；对所述下一批次数据进行处理，当所述下一批次数据的数据信息满足所述分割阈值时，将所述下一批次数据的处理结果上报至所述数据中心。

本申请实施例提供的数据处理的数据中心456的实施为软件模块的示例性结构，在一些实施例中，如图2B所示，存储在存储器450的数据处理的数据中心456中的软件模块可以包括：第一接收模块4561，用于接收边缘节点上传的待处理的数据流中多批次数据的处理结果；其中，每一批次数据的数据信息均满足分割阈值；第三确定模块4562，用于确定所述数据流的待实现的功能；第二处理模块4563，用于根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果。

在上述装置中，所述第二处理模块4563，还用于：如果所述待实现的功能为对所述数据流进行筛选，确定筛选条件；从所述多批次数据的处理结果中，选择满足所述筛选条件的目标处理结果。

在上述装置中，，所述第二处理模块4563，还用于：如果所述待实现的功能为对所述数据流进行聚合，确定聚合目标；按照所述聚合目标，对所述多批次数据的处理结果进行处理，得到所述目标处理结果。

本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的数据处理方法。在一些实施例中，存储介质可以是闪存、磁表面存储器、光盘、或光盘存储器等存储器；也可以是包括上述存储器之一或任意组合的各种设备。在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(Hyper Text Markup Language，HTML)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个车载计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备执行。综上所述，本申请实施例在对长事务进行处理的过程中，对于待处理事务，通过基于子事务所属的网络接口将子事务划分成多个部分，针对每一部分进行处理，对于处理结果异常的异常子事务，解决了整体服务的性能受限于单机数据库的处理能力的问题；基于异常原因选择匹配的处理策略对异常子事务进行处理，以得到最终的处理结果；如此，自动对异常子事务采用匹配的处理策略进行处理，提高了容错性以及处理事务的能力。以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：

从数据源收集待处理的数据流；

对所述数据流中的数据进行处理，得到处理结果；

确定所述数据流中当前已处理且未上报数据作为待上报数据；

当所述待上报数据的数据信息满足特定的分割阈值时，将数据信息满足所述分割阈值的待上报数据确定为当前批次数据；

将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括:

确定对所述数据流进行数据分析的维度；

根据所述维度，设定批量处理所述数据流中的数据的分割阈值。

3.根据权利要求2所述的方法，其特征在于，所述据所述维度，设定批量处理所述数据流中的数据的分割阈值，包括：

如果所述维度为时间，确定所述数据流所占据的总时长；根据所述总时长，确定用于作为所述分割阈值的时长阈值；

如果所述待上报数据所占据的时长达到所述时长阈值，确定所述待上报数据满足所述分割阈值。

4.根据权利要求2所述的方法，其特征在于，所述据所述维度，设定批量处理所述数据流中的数据的分割阈值，包括：

如果所述维度为数据量，确定所述数据流所占据总数据量；根据所述总数据量，确定用于作为所述分割阈值的数据量阈值；

如果所述待上报数据的数据量达到所述数据量阈值，确定所述待上报数据满足所述分割阈值。

5.根据权利要求1所述的方法，其特征在于，在所述确定所述数据流中待上报数据作为待上报数据之后，所述方法还包括：

如果所述待上报数据的数据信息未满足所述分割阈值，继续从所述数据源收集所述数据流中的数据；

对继续收集到的数据进行处理，当待上报数据的数据信息满足所述分割阈值时，将满足所述分割阈值的待上报数据的处理结果上报至所述数据中心。

6.根据权利要求4所述的方法，其特征在于，在所述当待上报数据的数据信息满足所述分割阈值时，将满足所述分割阈值的待上报数据的处理结果上报至所述数据中心之前，所述方法还包括：

如果所述待上报数据的数据信息未满足所述分割阈值，将待上报数据的处理结果存储在本地内存中；

当待上报数据的数据信息满足所述分割阈值时，从所述本地内存中，提取满足所述分割阈值的待上报数据的处理结果，上报至所述数据中心。

7.根据权利要求1至6任一项所述的方法，其特征在于，在所述将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果之后，所述方法还包括：

清除当前已上报处理结果的数据和所述当前已上报处理结果；

从所述数据源收集所述数据流中的未处理的下一批次数据；

对所述下一批次数据进行处理，当所述下一批次数据的数据信息满足所述分割阈值时，将所述下一批次数据的处理结果上报至所述数据中心。

8.一种数据处理方法，其特征在于，所述方法包括：

接收边缘节点上传的待处理的数据流中多批次数据的处理结果；其中，每一批次数据的数据信息均满足分割阈值；

确定所述数据流的待实现的功能；

根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果。

9.根据权利要求8所述的方法，其特征在于，所述根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果，包括：

如果所述待实现的功能为对所述数据流进行筛选，确定筛选条件；

从所述多批次数据的处理结果中，选择满足所述筛选条件的目标处理结果。

10.根据权利要求8所述的方法，其特征在于，所述根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果，包括：

如果所述待实现的功能为对所述数据流进行聚合，确定聚合目标；

按照所述聚合目标，对所述多批次数据的处理结果进行处理，得到所述目标处理结果。

11.一种边缘节点，其特征在于，所述边缘节点包括：

第一收集模块，用于从数据源收集待处理的数据流；

第一处理模块，用于对所述数据流中的数据进行处理，得到处理结果；

第一确定模块，用于确定所述数据流中当前已处理且未上报数据作为待上报数据；

第二确定模块，用于当所述待上报数据的数据信息满足特定的分割阈值时，将数据信息满足所述分割阈值的待上报数据确定为当前批次数据；

第一上报模块，用于将所述当前批次数据的处理结果上报至数据中心，以使所述数据中心对所述处理结果进行处理，得到所述数据流的目标处理结果。

12.一种数据中心，其特征在于，所述数据中心包括：

第一接收模块，用于接收边缘节点上传的待处理的数据流中多批次数据的处理结果；其中，每一批次数据的数据信息均满足分割阈值；

第三确定模块，用于确定所述数据流的待实现的功能；

第二处理模块，用于根据所述待实现的功能，对所述多批次数据的处理结果进行处理，得到所述数据流的目标处理结果。

13.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至7任一项所述的方法，或者，用于引起处理器执行时，实现权利要求8至10任一项所述的方法。

Images