CN116955425A - 基于合并树模型的数据流处理方法、装置及存储介质 - Google Patents

Abstract

本说明书实施例提供了一种基于合并树模型的数据流处理方法、装置及存储介质，数据流处理方法包括：获取源数据；根据源数据，得到顶点集和边数据集；根据顶点集，得到极值点集和规则点集；根据极值点集、规则点集和边数据集，得到候选鞍点集；根据极值点集和候选鞍点集，得到极值点‑候选鞍点对集；根据极值点‑候选鞍点对集和预设顶点分配规则，得到极值点鞍点对集；将极值点鞍点对集加入预设合并树；通信策略包括推送、拉取和发布/订阅。本申请提供的技术方案用以解决现有技术中数据量日益增加、数据运算量大；分布式节点更新数据时效率低，以及在数据量庞大或控制流复杂时难以发挥出较好的性能。

Description

基于合并树模型的数据流处理方法、装置及存储介质

技术领域

本文件涉及大规模数据处理技术领域，尤其涉及一种基于合并树模型的数据流处理方法、装置及存储介质。

背景技术

数据流模型，即以数据为核心的执行模型，通过提取应用程序内数据的流向来指导其并行化，这对于优化以数据为中心的拓扑分析算法具有重要的意义。

现有方法是通过拓扑分析算法对计算流体力学模拟数据进行处理，从控制流的角度来发掘应用程序的并行性，并对数据模拟、特征进行提取，并行实现数据分析和可视化分析。

然而，随着计算能力的不断提高，数据量日渐增加，传统的数据分析模式也难以解决现有技术中分布式节点更新数据时效率低，，同时由于算法面向的问题为非结构化，在数据量庞大或控制流复杂时难以发挥出较好的性能。

发明内容

鉴于上述的分析，本申请旨在提出一种基于合并树模型的数据流处理方法、装置及存储介质，基于合并树数据流模型，通过数据节点和通信策略生成数据流图，从而提高了数据分析中大规模数据的输入、输出和交互速度；以及频繁数据同步时，确保数据的一致性和准确性。

第一方面，本说明书一个或多个实施例提供了一种基于合并树模型的数据流处理方法，包括：

获取源数据；

根据所述源数据，得到顶点集和边数据集；

根据所述顶点集，得到极值点集和规则点集；

根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；

根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集；

将所述极值点鞍点对集加入预设合并树；

所述通信策略包括推送、拉取和发布/订阅。

进一步地，所述多个数据节点包括：第一数据节点、第二数据节点、第三数据节点；

根据所述源数据，得到顶点集和边数据集，包括：

所述第一数据节点根据所述源数据，生成所述顶点集和所述边数据集；将所述顶点集推送给所述第二数据节点，将所述边数据集推送给所述第三数据节点。

进一步地，所述多个数据节点还包括：第四数据节点和第五数据节点；

根据所述顶点集，得到极值点集和规则点集，包括：

所述第二数据节点以所述顶点集各个元素为起点，构造极值点指向链；根据所述极值点指向链生成所述极值点集和所述规则点集；将所述极值点集推送给所述第四数据节点，将所述规则点集推送给所述第五数据节点。

进一步地，所述多个数据节点还包括：第六数据节点；

根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集，包括：

所述第三数据节点发布所述边数据集；

所述第四数据节点将所述极值点集，推送到所述第六数据节点；

所述第五数据节点将所述规则点集，推送到所述第六数据节点；

所述第六数据节点订阅所述第三数据节点中所述边数据集；

所述第六数据节点根据所述极值点集、所述规则点集和所述边数据集，生成所述候选鞍点集。

进一步地，所述多个数据节点包括：第七数据节点；

根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集，包括：

所述第六数据节点将所述候选鞍点集推送到所述第七数据节点；

所述第七数据节点拉取所述第四数据节点中所述极值点集；所述第七数据节点根据所述极值点集和所述候选鞍点集，生成所述极值点-候选鞍点对集；对所述极值点-候选鞍点对集中的元素进行排序，生成极值点-鞍点对集。

进一步地，将所述极值点鞍点对集加入预设合并树，包括：

所述第七数据节点将所述极值点鞍点对集推送到到合并树中。

进一步地，所述极值点-鞍点对集包括至少一个极值点-鞍点对；各所述极值点-鞍点对包括一个极值点和一个鞍点，包括：

根据所述极值点-鞍点对集和预设顶点分配规则，得到所述极值点和所述鞍点之间的中间点集，再将所述极值点-鞍点对集和所述中间点集从当前拓扑图中删除。

第二方面，本说明书一个或多个实施例提供了一种基于合并树模型的数据流处理装置，包括：获取模块、第一生成模块、第二生成模块、第一合成模块、第二合成模块和输出模块；

所述获取模块用于获取源数据；所述第一生成模块用于根据所述源数据，得到顶点集和边数据集；所述第二生成模块用于根据所述顶点集，得到极值点集和规则点集；所述第一合成模块用于根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；所述第二合成模块用于根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集；所述输出模块用于将所述极值点-鞍点对集加入预设合并树；所述通信策略包括推送、拉取和发布/订阅。

第三方面，本说明书一个或多个实施例提供了一种计算设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，

所述处理器执行所述计算机指令时实现第一方面中任一项所述数据节点处理方法的步骤。

第四方面，本说明书一个或多个实施例提供了一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现第一方面中任一项所述数据节点处理方法的步骤。

与现有技术相比，本申请至少能实现以下技术效果：

1、本申请基于预设的数据节点传递和通信策略传递数据，因此数据节点中的数据更新时可以将更新的数据传递至相应的节点，或者暂时存储在该数据节点中。而对于现有的分布式节点，当任一节点的数据发生更新时，服务器需要实时在所有节点上更新该数据。由此，在数据发生更新时，相比于现有技术，本申请传递数据对应的运算量较小，占用的内存空间较低。从而降低了存储成本，提高了数据同步效率。

2、本申请对通信策略进行了规范化定义，采用了推送、拉取和发布/订阅三种传递模式，使研发人员不再需要单独从控制流的角度来设置应用程序的执行顺序，减少了研发人员的工作时间，提高了工作效率，充分的挖掘了数据的并行性。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例提供的一种基于合并树模型的数据流处理方法流程图；

图2为本说明书一个或多个实施例提供的一种并行合并树数据流中，源数据生成顶点集和边数据集的逻辑调度图；

图3为本说明书一个或多个实施例提供的一种并行合并树数据流中，顶点数据集构造极值点指向链生成极值点集和规则点集的逻辑调度图；

图4为本说明书一个或多个实施例提供的一种并行合并树数据流中，通过判断顶点是否指向不同极值点，从规则点集合中生成候选鞍点集合的候选鞍点提取数据流的逻辑调度图；

图5为本说明书一个或多个实施例提供的一种并行合并树数据流中，对极值点-候选鞍点对集进行全局排序，提取极值点-鞍点对集的逻辑调度图；

图6为本说明书一个或多个实施例提供的一种并行合并树数据流中，对极值点和候选鞍点进行组合，并提取极值点的候选鞍点里最大极值点-候选鞍点对集的逻辑调度图；

图7为本说明书一个或多个实施例提供的一种并行合并树数据流中，根据极值点-鞍点对和规则点数据，确定规则点分配情况的顶点分配数据流的逻辑调度图；

图8为本说明书一个或多个实施例提供的一种并行合并树数据流中，用于生成新的极值点、规则点、边集合的修剪数据流的逻辑调度图；

图9为本说明书一个或多个实施例提供的一种基于合并树模型的数据流处理装置的结构示意图；

图10为本说明书一个或多个实施例提供的一种基于合并树模型的电子设备的结构示意图；

图11为本说明书一个或多个实施例提供的一种基于合并树模型的数据流存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

为了解决现有技术中数据分析模式下日益增长的I/O宽带和交互性需要，以及频繁数据同步或阻塞操作的问题，都会给当前数据分析及存储带来巨大的挑战。基于上述问题和场景，在本申请实施例提供了一种基于合并树模型的数据流处理方法。

通过建立数据流模型实现合并树的运算过程。数据流模型使得拓扑分析算法的实现与调度相分离，这就需要在描述模型与物理调度模型之间引入数据流的逻辑调度图。通过逻辑调度图，将通信方法与计算层次完整地分离，并在后续能够透明地映射到不同的运行时后端。

在本申请实施例中，通过数据流描述语言对数据节点和通信策略进行构建。数据流描述语言被设计为声明式接口，包括数据流图(DFD)、数据节点(Node)、数据依赖(Edge)等描述要素，通过C++或文本文件进行具体的描述实现。系统提供了对数据流描述模型的预加载功能，将其解析为全局的有向无环图，供工作空间进一步进行计算管理与调度工作。

此外，通过声明式方法对合并树数据流图的各节点和通信方法进行规范化连接。其中，目标拓扑分析算法通过声明式规范被抽象为数据流图的逻辑表示，该声明式方法对数据流图内的节点、依赖信息进行了规范化定义，方便用户根据需要进行灵活设计及扩展。一旦一张DFD被声明，解析层就可以将DFD加载至系统空间，完成DAG的实例化工作。同时，整个描述层由并行操作原语作为底层的API环境进行支持。

针对通信方法，本发明定义了三类消息通信模型，适用于拓扑分析中数据请求、传递的需要。以下对这些消息通信方法进行详细说明。

具体地，Push表示推送，当前数据节点完成计算后，主动将计算结果推送给关联的下一个或多个节点，通常会使当前数据从一个等价类划分为多个新等价类。例如，节点A在完成数据计算后，主动将计算结果推送给关联的节点B或节点C。

Pull表示拉取，当前数据节点所需的数据可能已经在之前流动过程中被计算，此时需从目标数据节点进行拉取操作，若数据已准备就绪，则拉取操作完成。例如，节点A在完成数据计算后，将结果存储在内存当中，当节点B需要节点A中的数据时，节点B进行拉取工作，得到节点A的数据。

Publish/Subscribe表示发布/订阅模式，若当前订阅数据节点所需数据存在更新情况，更新后的数据需要发布更新至缓冲区，由订阅节点取出消费。例如，节点A的数据在发布后，节点B需要节点A的数据，则通过订阅模式从节点A中获取相应的数据。

对于计算层次，本发明通过设置数据节点构建数据流调度模型。

具体地，本发明采用k路规约图来构造算法的数据流调度模型。k路规约图描述了给定的算法模块、一组幂等计算节点以及连接它们的数据流。逻辑调度图需要两个参数，输入的网格块数量n与用户指定的规约因子k。参数n与分析方法的并行度相对应，即划分得到的数据块个数；参数k规定了每一层需要进行的规约度，例如，k为2时，每一层的两两节点进行规约。在本发明中，调度图提供了三种不同的调度节点，一种是用于启动输入的叶节点，一种是用于规约的内部节点，另一种是根计算节点。要将逻辑调度图链接到实现过程，只需要为每个计算节点分配不同的计算，本文选择回调函数的形式来完成该绑定过程。

获取各数据节点数据通过通信方法进行连接，构建合并树的数据流图生成算法模型。首先，需要确定算法中使用以及演变出的所有数据对象，该步骤需要合理选择数据提取的粒度，以保证后续数据流的简单易用性。其次，探索数据之间的依赖关系，以确定每个数据节点的数据流向和依赖簇，即输入和输出边。在此基础上，构建数据流图，将所有节点通过数据流组合起来，形成完整的算法模型。

在本申请实施例中，为了实现前述技术方案需要设置多个数据节点，多个数据节点包括：第一数据节点、第二数据节点、第三数据节点、第四数据节点、第五数据节点、第六数据节点和第七数据节点。同时，结合流程图和逻辑调度图对具体实现方式进行说明。具体方法如图1-8图所示，包括以下步骤：

步骤1、获取源数据，根据所述源数据，得到顶点集和边数据集。

在本申请实施例中，如图2所示，第一数据节点InputGrid获取源数据。具体地，第一数据节点InputGrid通过与外界数据进行交互，获取源数据文件，数据生成网格块数据，网格块数据会依据当前系统指定的叶子节点数量，进行块的划分及源数据的生成；

第一数据节点InputGrid，拆分源数据得到顶点集和边数据集；将顶点集推送给第二数据节点Vn，将边数据集推送给第三数据节点En。

步骤2、根据所述顶点集，得到极值点集和规则点集。

在本申请实施例中，如图3所示，第二数据节点Vn以顶点集各个元素顶点为起点，构造极值点指向链，由原顶点集数据根据极值点指向链生成极值点集和规则点集，将极值点集推送给第四数据节点Mn，将规则点集推送给第五数据节点Rn。

步骤3、根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集。

在本申请实施例中，如图4所示，第四数据节点Mn将极值点集推送到第六数据节点Sn中，第五数据节点Rn将规则点集推送到第六数据节Sn点中，第六数据节点Sn订阅第三数据节点En中边数据集；第六数据节点Sn根据边数据集进行判断，确定顶点集是否指向不同的极值点集，提取候选鞍点集数据。

步骤4、根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集。

在本申请实施例中，如图5和图6所示，第六数据节点Sn将候选鞍点集推送到第七数据节点SEn中，第七数据节点SEn拉取第四数据节点Mn中的极值点集，第七数据节点SEn先将极值点集中的极值点按从大到小的顺序进行排序，再根据极值点对候选鞍点集中相应的候选鞍点按从大到小的顺序排序。根据排序后极值点和候选鞍点，生成极值点-候选鞍点对集。第七数据节点SEn在极值点-候选鞍点对集中，选取每个极值点对应的最大候选鞍点作为鞍点。根据鞍点和极值点，生成极值点-鞍点对集。

步骤5、将所述极值点-鞍点对集加入预设合并树。

在本申请实施例中，第七数据节点SEn将极值点-鞍点对集推送到合并树中。

在本申请实施例中，如图7所示，所述极值点-鞍点对集包括至少一个极值点-鞍点对；各所述极值点-鞍点对包括一个极值点和一个鞍点；

根据极值点-鞍点对集和预设顶点分配规则Assignn，得到极值点和鞍点之间的中间点集，再将极值点-鞍点对集和中间点集从当前拓扑图中删除。

此外，如图8所示，当极值点-鞍点对集和中间点集从当前拓扑图中删除后，产生新的极值点集NMn和新的规则点集NRn，根据顶点分配规则生成新极值点集和新规则点集，此时，之前的鞍点集会变成规则点集或新极值点集；在新的逻辑调度构造时，拉取各个点的新数据并订阅原边数据集数据生成新边数据集NEn，继续完成计算，并将再次得到的新极值点-鞍点对集加入到合并树中。

本申请实施例提供了一种基于合并树模型的数据流处理装置，如图9所示，包括：获取模块101、第一生成模块102、第二生成模块103、第一合成模块104、第二合成模块105和输出模块106；

所述获取模块101将所述源数据进行读取输入到装置中；所述第一生成模块102将所述源数据拆分成所述顶点集和所述边数据集；所述第二生成模块103将顶点集拆分成极值点集和规则点集；所述第一合成模块104将所述极值点集、所述规则点集和所述边数据集组合得到候选鞍点集；所述第二合成模块105将所述极值点集和所述候选鞍点集组合得到极值点-鞍点对集；所述输出模块106将所述极值点鞍点对集加入预设合并树。

本申请实施例提供了一种计算设备，如图10所示，包括存储器202、处理器201、输入设备203、输出设备204、通信设备205及存储在存储器上并可在处理器上运行的计算机指令；

所述处理器201执行所述计算机指令时在被执行时实现上述实施例中数据节点处理方法的步骤。

本申请实施例提供了一种计算机可读存储介质，如图11所示，其存储有计算机指令，所述计算机指令被处理器301执行时实现上述实施例中数据节点处理方法的步骤，存储器302上存储计算机程序303以及数据节点计算出的数据。

需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于基于区块链的服务提供方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的基于区块链的服务提供方法的实施，重复之处不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种基于合并树模型的数据流处理方法，其特征在于，基于合并树，预先设置多个数据节点，所述多个数据节点通过预设通信策略执行以下步骤，包括：

获取源数据；

根据所述源数据，得到顶点集和边数据集；

根据所述顶点集，得到极值点集和规则点集；

根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；

根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集；

将所述极值点-鞍点对集加入预设合并树；

所述通信策略包括推送、拉取和发布/订阅。

2.根据权利要求1所述方法，其特征在于，

所述多个数据节点包括：第一数据节点、第二数据节点、第三数据节点；

根据所述源数据，得到顶点集和边数据集，包括：

所述第一数据节点根据所述源数据，生成所述顶点集和所述边数据集；将所述顶点集推送给所述第二数据节点，将所述边数据集推送给所述第三数据节点。

3.根据权利要求2所述方法，其特征在于，

所述多个数据节点还包括：第四数据节点和第五数据节点；

根据所述顶点集，得到极值点集和规则点集，包括：

所述第二数据节点以所述顶点集各个元素为起点，构造极值点指向链；根据所述极值点指向链生成所述极值点集和所述规则点集；将所述极值点集推送给所述第四数据节点，将所述规则点集推送给所述第五数据节点。

4.根据权利要求3所述方法，其特征在于，

所述多个数据节点还包括：第六数据节点；

根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集，包括：

所述第三数据节点发布所述边数据集；

所述第四数据节点将所述极值点集，推送到所述第六数据节点；

所述第五数据节点将所述规则点集，推送到所述第六数据节点；

所述第六数据节点订阅所述第三数据节点中所述边数据集；

所述第六数据节点根据所述极值点集、所述规则点集和所述边数据集，生成所述候选鞍点集。

5.根据权利要求4所述方法，其特征在于，

所述多个数据节点包括：第七数据节点；

根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集，包括：

所述第六数据节点将所述候选鞍点集推送到所述第七数据节点；

所述第七数据节点拉取所述第四数据节点中所述极值点集；所述第七数据节点根据所述极值点集和所述候选鞍点集，生成所述极值点-候选鞍点对集；对所述极值点-候选鞍点对集中的元素进行排序，生成极值点-鞍点对集。

6.根据权利要求5所述方法，其特征在于，

将所述极值点鞍点对集加入预设合并树，包括：

所述第七数据节点将所述极值点-鞍点对集推送到合并树中。

7.根据权利要求1-6中任一项所述方法，其特征在于，

所述极值点-鞍点对集包括至少一个极值点-鞍点对；各所述极值点-鞍点对包括一个极值点和一个鞍点,所述方法还包括：

根据所述极值点-鞍点对集和预设顶点分配规则，得到所述极值点和所述鞍点之间的中间点集，再将所述极值点-鞍点对集和所述中间点集从当前拓扑图中删除。

8.一种基于合并树模型的数据流处理装置，其特征在于，包括：获取模块、第一生成模块、第二生成模块、第一合成模块、第二合成模块和输出模块；

所述获取模块用于获取源数据；所述第一生成模块用于根据所述源数据，得到顶点集和边数据集；所述第二生成模块用于根据所述顶点集，得到极值点集和规则点集；所述第一合成模块用于根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；所述第二合成模块用于根据所述极值点集和所述候选鞍点集，得到极值点-鞍点对集；所述输出模块用于将所述极值点-鞍点对集加入预设合并树；所述通信策略包括推送、拉取和发布/订阅。

9.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-7任一项所述数据节点处理方法的步骤。

10.一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1-7任一项所述数据节点处理方法的步骤。