CN112417226B - 基于dag变换的大数据处理方法 - Google Patents
基于dag变换的大数据处理方法 Download PDFInfo
- Publication number
- CN112417226B CN112417226B CN202011390365.1A CN202011390365A CN112417226B CN 112417226 B CN112417226 B CN 112417226B CN 202011390365 A CN202011390365 A CN 202011390365A CN 112417226 B CN112417226 B CN 112417226B
- Authority
- CN
- China
- Prior art keywords
- data processing
- array
- vertex
- dag
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 title abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 230000014509 gene expression Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于DAG变换的大数据处理方法,其从实际的业务数据处理场景出发,构建AOV网并将AOV网从图形结构变换为边集数组的图存储结构,通过捕捉各顶点计算处理前后的状态信息通过单链表的指针指向关系,拼接所有链表结点的算子为一个spark或是flink的可执行表达式。由此,基于可视图形化的方式将复杂的数据处理场景AOV网化。适用于多种业务领域,在进行数据处理时可以轻松实现抽象到具体的转换。支持变换所有复杂DAG图结构为线性单链表结构,全覆盖标准AOV网特性的数据处理场景。拥有丰富类型并可扩展的数据处理节点库,可满足图形化界面组件在AOV网的应用。
Description
技术领域
本发明涉及一种大数据处理方法,尤其涉及一种基于DAG变换的大数据处理方法。
背景技术
就现有的数据处理尤其是大数据处理来看,基于DAG结构进行数据处理的方式是大数据领域的一个不可或缺的组成部分。与简单的MapReduce处理任务方式不同,DAG是一个可以进行包含数据过滤、数据填充、数据转换等多种数据处理类型的组合且流程高度复杂的计算作业。
同时,DAG结构的作业场景其实普遍存在于很多领域,但是没有一个能够帮助作业人员从比较形象的可视界面出发去制定一个通用的DAG作业图,并且自动进行转换处理的方法,很难将领域中的DAG流程场景转化为一个可以自动运行计算的数据处理方法。
随着大数据技术的慢慢普及,越来越多的业务场景可以被转换到自动化的大数据平台进行分发处理。同时,在更多的领域,也存在越来越多简单或是复杂的业务场景,都希望能够转换到大数据计算平台进行处理,而这其中的大部分业务领域的抽象流程,都是一个标准的AOV网(即有向无环图DAG的一种)。
但是,到目前为止,还没有一个较完备的基于DAG的大数据处理方法,能够从图形化用户界面进行业务作业构建,再进行多道数据结构变换处理,并对接到多类型的数据计算平台(如spark或flink),从而完成整个复杂业务的大数据处理。
并且,结合现有的用于大数据分析处理的开源项目来看,有传统的Hadoop-mapreduce,也有近几年比较主流的Tez、Spark等DAG批处理引擎,包括目前主流的用于处理实时流式数据的flink计算引擎。数据的处理流程抽象后总是会偏向于一个DAG,其实正是因为我们各领域的业务流转场景,它就是一个完整的DAG。但是从领域业务流程到实际最后一环的数据处理,目前不管是上述的开源大数据项目,亦或是一些图形化工具,都无法实现将一个数据处理场景从业务抽象开始,经过多层转换处理,最终可对接到多类型大数据平台进行数据处理。
有鉴于上述的缺陷,本设计人,积极加以研究创新,以期创设一种基于DAG变换的大数据处理方法,使其更具有产业上的利用价值。
发明内容
为解决上述技术问题,本发明的目的是提供一种基于DAG变换的大数据处理方法。
本发明的基于DAG变换的大数据处理方法,其包括以下步骤:
步骤一,从实际的业务数据处理场景出发,构建AOV网;
步骤二,将AOV网从图形结构变换为边集数组的图存储结构,所述边集数组采用顶点数组和边数组组成;
步骤三,将边集数组的图存储结构变换为邻接表结构,所述邻接表结构为顶点数组和弧链表组成;
步骤四,对邻接表结构,进行拓扑排序处理,得到拓扑排序后的顶点数组;
步骤五,对顶点数组进行装饰,捕捉各顶点计算处理前后的状态信息;
步骤六,将顶点数组进一步转换为单链表,通过链表分别进行计算逻辑的拼接,最终形成可动态执行的线性数据计算流;
步骤七,通过单链表的指针指向关系,拼接所有链表结点的算子为一个spark或是flink的可执行表达式;
步骤八,对步骤七的处理逻辑进行数据处理,处理期间的过程状态及结果数据落到物理存储以图形化的方式回显到步骤一界面。
进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤一中,结合实际的业务数据处理场景,构建一个具备多种数据处理节点库的图形化界面,拖拽定义节点及节点间的先后关联关系,最终生成AOV网。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤一中,通过有向边将节点的前后置依赖关系进行关联,以各数据处理节点作为AOV网的活动顶点,通过数据处理节点间的有向边作为活动顶点间前后关系的弧,组成AOV网。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤二中,边集数组的图存储结构为一个标准的边集数组,采用一个顶点数组和一个边数组组成,其中,边集数组的顶点数组记录下来各顶点的数据处理需求,边数组记录下来每条边顶点到顶点的关系。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤三中,通过图形化的DAG数据处理场景做第一次的结构化变换,继续将边集数组的图存储结构转换为标准的邻接表结构。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤四中,拓扑排序处理过程为:
步骤1)初始化一个用于存放拓扑排序后顶点的数组。步骤2)利用迭代算法,找出第一个入度为零的顶点,构成源点,放入拓扑数组中。步骤3)从邻接表结构中,删除步骤2)中找到的源点及其相关联的所有弧。步骤4)继续重复以上的步骤2)、步骤3),直到将原邻接表顶点数组中的所有顶点按新顺序放入到步骤1)中创建的数组中。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤五中,通过装饰器设计模式,对各数据处理顶点进行装饰,引入顶点计算处理前后的各项信息捕捉,各项信息包括处理前后的实际数据以及该顶点处理的数据总量、异常量、异常信息,各项信息捕捉在数据流实际执行期间落地到物理存储。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤六中,将顶点数组转换为单链表,通过链表间的指针指向关联各结点的先后关系,同时抽象出各结点数据计算的函数,最终形成线性数据计算流。
更进一步地,上述的基于DAG变换的大数据处理方法,其中,所述步骤七中,通过单链表的表头作为启动结点,其数据计算函数是整个单链表的执行入口,触发后将所有结点中的算子逻辑,通过单链表的指针指向关系,最终拼接为一个spark或是flink的DAG执行表达式,作为提交到大数据计算平台的最终变换形式。
再进一步地,上述的基于DAG变换的大数据处理方法,其中,所述处理逻辑被包装在一个spark或是flink作业中,提交到大数据计算平台中进行处理。
借由上述方案,本发明至少具有以下优点:
1、基于可视图形化的方式将复杂的数据处理场景AOV网化。
2、适用于多种业务领域,在进行数据处理时可以轻松实现抽象到具体的转换。
3、支持变换所有复杂DAG图结构为线性单链表结构,全覆盖标准AOV网特性的数据处理场景。
4、拥有丰富类型并可扩展的数据处理节点库,可满足图形化界面组件在AOV网的应用。
5、能够对接到多个主流大数据计算平台(spark、flink),兼备大数据离线批处理(对接到spark)和实时流处理(对接到flink)的数据处理场景。
6、数据处理的原始数据、过程状态和结果数据均能够可视化回显到图形化界面。
7、满足传统DAG数据处理场景的大数据计算支持。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1是基于DAG变换的大数据处理方法的实施流程示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1的基于DAG变换的大数据处理方法,其与众不同在于包括以下步骤:
步骤一,从实际的业务数据处理场景出发,构建AOV网。实施期间,结合实际的业务数据处理场景,构建一个具备多种数据处理节点库的图形化界面,拖拽定义节点及节点间的先后关联关系,最终将抽象场景具象为一个AOV网。具体来说,通过有向边将节点的前后置依赖关系进行关联,以各数据处理节点作为AOV网的活动顶点,通过数据处理节点间的有向边作为活动顶点间前后关系的弧,组成AOV网。
步骤二,将AOV网从图形结构变换为边集数组的图存储结构,边集数组采用顶点数组和边数组组成。边集数组的图存储结构为一个标准的边集数组,该边集数组完全基于数组的图存储结构,采用一个顶点数组和一个边数组组成。由此,可以构成一种面向实现图形化DAG变换到结构化图存储较友好的数据结构。其中,边集数组的顶点数组记录下来各顶点的数据处理需求,边数组记录下来每条边顶点到顶点的关系。
步骤三,将边集数组的图存储结构变换为邻接表结构,邻接表结构为顶点数组和弧链表组成。实施期间,通过图形化的DAG数据处理场景做第一次的结构化变换,继续将边集数组的图存储结构转换为标准的邻接表结构。本发明采用的邻接表结构是一种基于数组和链表相结合的图存储结构,以便更友好地在后续进行拓扑排序处理。
步骤四,对邻接表结构,进行拓扑排序处理,得到拓扑排序后的顶点数组。具体来说,采用的拓扑排序处理过程为:
步骤1)初始化一个用于存放拓扑排序后顶点的数组;
步骤2)利用迭代算法,找出第一个入度为零的顶点,构成源点,放入拓扑数组中;
步骤3)从邻接表结构中,删除步骤2)中找到的源点及其相关联的所有弧;
步骤4)继续重复以上的步骤2)、步骤3),直到将原邻接表顶点数组中的所有顶点按新顺序放入到步骤1)中创建的数组中。
步骤五,对顶点数组进行装饰,捕捉各顶点计算处理前后的状态信息。实施期间,通过装饰器设计模式,对各数据处理顶点进行装饰。同时,引入顶点计算处理前后的各项信息捕捉。具体来说,各项信息包括处理前后的实际数据以及该顶点处理的数据总量、异常量、异常信息,各项信息捕捉在数据流实际执行期间落地到物理存储。
步骤六,将顶点数组进一步转换为单链表,通过链表分别进行计算逻辑的拼接,最终形成可动态执行的线性数据计算流。具体来说,转换后,原DAG的顶点后文统一改称为单链表中结点。通过链表间的指针指向关联各结点的先后关系,同时抽象出各结点数据计算的函数,最终形成线性数据计算流。同时,本发明所涉及的函数的入参是spark或flink的数据集对象(传递于单链表间的数据交互对象),函数体是各结点的数据处理逻辑。该数据处理逻辑即对数据做转换的各类算子组合,是各个结点的独立处理逻辑,可自由定义。本发明采用的park为大数据统一分析引擎,flink为流式数据处理引擎。
步骤七,通过单链表的指针指向关系,拼接所有链表结点的算子为一个spark或是flink的可执行表达式。实施期间,通过单链表的表头作为启动结点,其数据计算函数是整个单链表的执行入口。触发后将所有结点中的算子逻辑,通过单链表的指针指向关系,最终拼接为一个spark或是flink的DAG执行表达式。由此,将此DAG执行表达式作为提交到大数据计算平台(spark或flink)的最终变换形式。
步骤八,对步骤七的处理逻辑进行数据处理,处理期间的过程状态及结果数据落到物理存储以图形化的方式回显到步骤一界面。实施期间,处理逻辑被包装在一个spark或是flink作业中,提交到大数据计算平台中进行处理。具体来说,处理的过程状态及结果数据,会借助定义的装饰器落到指定物理存储,最终可同样以图形化的方式回显到步骤一界面。
通过上述的文字表述并结合附图可以看出,采用本发明后,拥有如下优点:
1、基于可视图形化的方式将复杂的数据处理场景AOV网化。
2、适用于多种业务领域,在进行数据处理时可以轻松实现抽象到具体的转换。
3、支持变换所有复杂DAG图结构为线性单链表结构,全覆盖标准AOV网特性的数据处理场景。
4、拥有丰富类型并可扩展的数据处理节点库,可满足图形化界面组件在AOV网的应用。
5、能够对接到多个主流大数据计算平台(spark、flink),兼备大数据离线批处理(对接到spark)和实时流处理(对接到flink)的数据处理场景。
6、数据处理的原始数据、过程状态和结果数据均能够可视化回显到图形化界面。
7、满足传统DAG数据处理场景的大数据计算支持。
此外,本发明所描述的指示方位或位置关系,均为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或构造必须具有特定的方位,或是以特定的方位构造来进行操作,因此不能理解为对本发明的限制。
术语“主”、“副”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“主”、“副”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“若干”的含义是两个或两个以上,除非另有明确具体的限定。
同样,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“设置”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个组件内部的连通或两个组件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。并且它可以直接在另一个组件上或者间接在该另一个组件上。当一个组件被称为是“连接于”另一个组件,它可以是直接连接到另一个组件或间接连接至该另一个组件上。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (8)
1.基于DAG变换的大数据处理方法,其特征在于包括以下步骤:
步骤一,从实际的业务数据处理场景出发,构建AOV网;
步骤二,将AOV网从图形结构变换为边集数组的图存储结构,所述边集数组采用顶点数组和边数组组成;
步骤三,将边集数组的图存储结构变换为邻接表结构,所述邻接表结构为顶点数组和弧链表组成;
步骤四,对邻接表结构,进行拓扑排序处理,得到拓扑排序后的顶点数组;
步骤五,对顶点数组进行装饰,捕捉各顶点计算处理前后的状态信息,通过装饰器设计模式,对各数据处理顶点进行装饰,引入顶点计算处理前后的各项信息捕捉,各项信息包括处理前后的实际数据以及该顶点处理的数据总量、异常量、异常信息,各项信息捕捉在数据流实际执行期间落地到物理存储;
步骤六,将顶点数组进一步转换为单链表,通过链表分别进行计算逻辑的拼接,最终形成可动态执行的线性数据计算流;
步骤七,通过单链表的表头作为启动结点,其数据计算函数是整个单链表的执行入口,触发后将所有结点中的算子逻辑,通过单链表的指针指向关系,最终拼接为一个spark或是flink的DAG执行表达式,作为提交到大数据计算平台的最终变换形式;
步骤八,对步骤七的处理逻辑进行数据处理,处理期间的过程状态及结果数据落到物理存储以图形化的方式回显到步骤一界面。
2.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述步骤一中,结合实际的业务数据处理场景,构建一个具备多种数据处理节点库的图形化界面,拖拽定义节点及节点间的先后关联关系,最终生成AOV网。
3.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述步骤一中,通过有向边将节点的前后置依赖关系进行关联,以各数据处理节点作为AOV网的活动顶点,通过数据处理节点间的有向边作为活动顶点间前后关系的弧,组成AOV网。
4.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述步骤二中,边集数组的图存储结构为一个标准的边集数组,采用一个顶点数组和一个边数组组成,其中,边集数组的顶点数组记录下来各顶点的数据处理需求,边数组记录下来每条边顶点到顶点的关系。
5.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述步骤三中,通过图形化的DAG数据处理场景做第一次的结构化变换,继续将边集数组的图存储结构转换为标准的邻接表结构。
6.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述步骤四中,拓扑排序处理过程为:
步骤1)初始化一个用于存放拓扑排序后顶点的数组;
步骤2)利用迭代算法,找出第一个入度为零的顶点,构成源点,放入拓扑数组中;
步骤3)从邻接表结构中,删除步骤2)中找到的源点及其相关联的所有弧;
步骤4)继续重复以上的步骤2)、步骤3),直到将原邻接表顶点数组中的所有顶点按新顺序放入到步骤1)中创建的数组中。
7.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述步骤六中,将顶点数组转换为单链表,通过链表间的指针指向关联各结点的先后关系,同时抽象出各结点数据计算的函数,最终形成线性数据计算流。
8.根据权利要求1所述的基于DAG变换的大数据处理方法,其特征在于:所述处理逻辑被包装在一个spark或是flink作业中,提交到大数据计算平台中进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011390365.1A CN112417226B (zh) | 2020-12-02 | 2020-12-02 | 基于dag变换的大数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011390365.1A CN112417226B (zh) | 2020-12-02 | 2020-12-02 | 基于dag变换的大数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112417226A CN112417226A (zh) | 2021-02-26 |
CN112417226B true CN112417226B (zh) | 2024-01-30 |
Family
ID=74829573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011390365.1A Active CN112417226B (zh) | 2020-12-02 | 2020-12-02 | 基于dag变换的大数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112417226B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065298B (zh) * | 2021-03-25 | 2022-05-20 | 湖南大学 | 一种用于将超大规模网表转换成dag图的方法和系统 |
CN117151868B (zh) * | 2023-10-25 | 2024-01-26 | 四川智筹科技有限公司 | 一种基于ai的分布式智能分案引擎的实现方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156782A (zh) * | 2011-04-14 | 2011-08-17 | 国电南瑞科技股份有限公司 | 基于图论的电力系统公式并行运算管理方法 |
CN104504206A (zh) * | 2014-12-22 | 2015-04-08 | 上海爱福窝云技术有限公司 | 一种 2.5d下模型添加及排序的方法 |
CN109359156A (zh) * | 2018-08-14 | 2019-02-19 | 广东神马搜索科技有限公司 | 数据存储结构处理方法和装置 |
CN111782371A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 基于dag交互的流式计算方法与装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11507858B2 (en) * | 2015-10-28 | 2022-11-22 | Qomplx, Inc. | Rapid predictive analysis of very large data sets using the distributed computational graph using configurable arrangement of processing components |
-
2020
- 2020-12-02 CN CN202011390365.1A patent/CN112417226B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156782A (zh) * | 2011-04-14 | 2011-08-17 | 国电南瑞科技股份有限公司 | 基于图论的电力系统公式并行运算管理方法 |
CN104504206A (zh) * | 2014-12-22 | 2015-04-08 | 上海爱福窝云技术有限公司 | 一种 2.5d下模型添加及排序的方法 |
CN109359156A (zh) * | 2018-08-14 | 2019-02-19 | 广东神马搜索科技有限公司 | 数据存储结构处理方法和装置 |
CN111782371A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 基于dag交互的流式计算方法与装置 |
Non-Patent Citations (1)
Title |
---|
Spark大数据计算平台;姜学军;武枫;黄海新;;电子世界(第15期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112417226A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112417226B (zh) | 基于dag变换的大数据处理方法 | |
US9665660B2 (en) | Logical data flow mapping rules for (sub) graph isomorphism in a cluster computing environment | |
EP0360769A2 (en) | Method for sharing common values implicitly among communicating generative objects | |
US20080104020A1 (en) | Handwritten Query Builder | |
CN112087379A (zh) | 业务链的编排方法及装置、存储介质和电子装置 | |
CN110399208A (zh) | 分布式任务调度拓扑图的展示方法、装置及设备 | |
JP2627512B2 (ja) | ネツトワーク図作成装置 | |
WO2023030094A1 (zh) | 基于矩阵运算的移动社会网络图修改方法 | |
CN108718246A (zh) | 一种面向网络功能虚拟化的资源调度方法和系统 | |
CN114138246A (zh) | 拓扑自动生成方法、装置、计算设备及存储介质 | |
Vetta | Approximating the minimum strongly connected subgraph via a matching lower bound | |
CN109903388A (zh) | 柜体生成三视图的云处理方法和系统 | |
CN109508389B (zh) | 一种人员社会关系图谱可视化加速方法 | |
US20110307793A1 (en) | System and method for visualizing an address space | |
JP2009134520A (ja) | ソーシャルネットワーク表示システム、方法、及びプログラム | |
CN110544284B (zh) | 一种自动规划最优布局流程图的方法 | |
CN104932982B (zh) | 一种消息访存的编译方法及相关装置 | |
Khalil et al. | Finding All Breadth First Full Spanning Trees in a Directed Graph | |
CN107864069B (zh) | 一种实现通信设备自动化云测试的方法 | |
CN113495980A (zh) | 一种静态子图切分方法及系统 | |
CN112530433A (zh) | 一种通用语音指令生成方法、装置和增强现实显示设备 | |
CN103649913B (zh) | 一种显示数据转换关系的方法及装置 | |
Klukas et al. | Coordinated perspectives and enhanced force-directed layout for the analysis of network motifs | |
CN109408675B (zh) | 一种基于可视化操作的Halin图最大切割方法及平台 | |
CN107368512A (zh) | 信息对象的查询和序列确定方法、装置及设备、可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |