CN112650657A - 基于流计算的业务系统的分析方法及装置 - Google Patents
基于流计算的业务系统的分析方法及装置 Download PDFInfo
- Publication number
- CN112650657A CN112650657A CN201910958456.1A CN201910958456A CN112650657A CN 112650657 A CN112650657 A CN 112650657A CN 201910958456 A CN201910958456 A CN 201910958456A CN 112650657 A CN112650657 A CN 112650657A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- field
- dependency relationship
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 abstract description 16
- 125000004122 cyclic group Chemical group 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及基于流计算的业务系统的分析方法及装置、电子设备、存储介质。该分析方法包括：获取业务系统的数据表的表信息，所述数据表包括数据源表和数据结果表，所述数据结果表用于存储任务执行过程中，对所述数据源表中的数据进行数据处理的结果；根据所述表信息确定所述任务的依赖关系，所述任务的依赖关系包括所述任务的子任务和/或父任务，所述任务的数据源表为所述父任务的数据结果表，所述任务的数据结果表为所述子任务的数据源表。本发明中，可实时生成、更新业务系统的任务依赖关系，满足基于流计算的业务系统的时效性要求，为业务系统的实时数仓开发和循环依赖问题的监控提供参考及依据。
Description
技术领域
本发明涉及计算机技术领域，特别涉及基于流计算的业务系统的分析方法及装置、电子设备、存储介质。
背景技术
业务系统的任务依赖关系，对于业务系统的实时数仓开发以及任务循环依赖问题的监控具有重要作用。在流计算领域，目前依赖人工实现业务系统的任务依赖关系分析，效率极低，且并不能获得全面的任务依赖关系。随着业务系统中的任务量日益增加，基于人工实现任务依赖关系分析的弊端越发明显，已无法满足当前对任务依赖关系分析的正确性与时效性的需求。
发明内容
本发明提供一种基于流计算的业务系统的分析方法及装置、电子设备、存储介质，以解决现有技术中基于人工实现业务系统的任务依赖关系分析方式，效率低，出错率高的缺陷。
具体地，本发明是通过如下技术方案实现的：
第一方面，提供一种基于流计算的业务系统的分析方法，所述分析方法包括：
获取业务系统的数据表的表信息，所述数据表包括数据源表和数据结果表，所述数据结果表用于存储任务执行过程中，对所述数据源表中的数据进行数据处理的结果；
根据所述表信息确定所述任务的依赖关系，所述任务的依赖关系包括所述任务的子任务和/或父任务，所述任务的数据源表为所述父任务的数据结果表，所述任务的数据结果表为所述子任务的数据源表。
可选地，所述分析方法还包括：
获取每个任务对应的任务标识；
根据所述任务的依赖关系连接所述任务标识，得到任务拓扑图。
可选地，所述数据表还包括数据依赖表；
所述数据依赖表用于在所述任务执行过程中查找与所述数据源表对应的数据结果表。
可选地，所述分析方法还包括：
获取所述数据表的字段信息；
根据所述任务的依赖关系和所述字段信息确定字段的依赖关系，所述字段的依赖关系包括所述字段的父字段和/或子字段，所述字段的数据为对所述父字段的数据进行数据处理的结果，所述子字段的数据为对所述字段的数据进行数据处理的结果。
可选地，所述分析方法还包括：
获取每个字段对应的字段标识；
根据所述字段的依赖关系连接所述字段标识，得到字段拓扑图。
可选地，所述分析方法还包括：
判断所述任务拓扑图是否存在闭环；
在判断为是时，生成报警信息。
可选地，所述表信息包括以下参数中的至少一种：表类型、表名、表字段和所属任务。
第二方面，提供一种基于流计算的业务系统的分析装置，所述分析装置包括：
第一获取模块，用于获取业务系统的数据表的表信息，所述数据表包括数据源表和数据结果表，所述数据结果表用于存储任务执行过程中，对所述数据源表中的数据进行数据处理的结果；
第一确定模块，用于根据所述表信息确定所述任务的依赖关系，所述任务的依赖关系包括所述任务的子任务和/或父任务，所述任务的数据源表为所述父任务的数据结果表，所述任务的数据结果表为所述子任务的数据源表。
可选地，所述分析装置还包括：
第一建图模块，用于获取每个任务对应的任务标识，并根据所述任务的依赖关系连接所述任务标识，得到任务拓扑图。
可选地，所述分析装置还包括：
第二获取模块，用于获取所述数据表的字段信息；
第二确定模块，用于根据所述任务的依赖关系和所述字段信息确定字段的依赖关系，所述字段的依赖关系包括所述字段的父字段和/或子字段，所述字段的数据为对所述父字段的数据进行数据处理的结果，所述子字段的数据为对所述字段的数据进行数据处理的结果。
可选地，所述分析装置还包括：
第二建图模块，用于获取每个字段对应的字段标识，并根据所述字段的依赖关系连接所述字段标识，得到字段拓扑图。
可选地，所述分析装置还包括：
判断模块，用于判断所述任务拓扑图是否存在闭环，并在判断为是时调用报警模块；
所述报警模块，用于生成报警信息。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的基于流计算的业务系统的分析方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于流计算的业务系统的分析方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明中，通过实时检测业务系统的数据表，获取数据表的表信息，根据表信息即可实时生成、更新业务系统的任务依赖关系，满足基于流计算的业务系统的时效性要求，为业务系统的实时数仓开发和循环依赖问题的监控提供参考及依据。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是发明一示例性实施例示出的一种基于流计算的业务系统的分析方法的流程图；
图2是本发明一示例性实施例示出的另一种基于流计算的业务系统的分析方法的流程图；
图3A是使用本发明实施例的基于流计算的业务系统的分析方法构建的一任务拓扑图；
图3B是使用本发明实施例的基于流计算的业务系统的分析方法构建的另一任务拓扑图；
图4是本发明一示例性实施例示出的另一种基于流计算的业务系统的分析方法的流程图；
图5是使用本发明实施例的基于流计算的业务系统的分析方法构建的一字段拓扑图；
图6是发明一示例性实施例示出的一种基于流计算的业务系统的分析装置的模块示意图；
图7是本发明一示例性实施例示出的另一种基于流计算的业务系统的分析装置的模块示意图；
图8是本发明一示例性实施例示出的另一种基于流计算的业务系统的分析装置的模块示意图；
图9是本发明一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本发明一示例性实施例示出的一种基于流计算的业务系统的分析方法的流程图，该分析方法实现了业务系统的任务的依赖关系的建立。参见图1，分析方法包括以下步骤：
步骤101、获取业务系统的数据表的表信息。
其中，表信息包括：表类型、表名、表字段和所属任务等。表类型包括数据源表、数据结果表和数据依赖表。一个任务对应至少一张数据源表和至少一张数据结果表，部分任务还对应有数据依赖表。数据结果表用于存储任务执行过程中，对数据源表中的数据进行数据处理的结果；数据依赖表记录了数据源表与数据结果表的对应关系，用于在任务执行过程中找到与数据源表对应的数据结果表。可以理解的，一张数据表可以是一个任务的数据源表，同时是另一个任务的数据结果表。
本实施例中，在基于流计算的业务系统的任务启动时，实时检测任务的数据源表和数据结果表的表信息变化情况，在表信息发生变化时，可以但不限于通过解析业务系统源代码以获取数据表的表信息。
由于基于流计算的业务系统支持多种开发模式，比如java、sql等开发模式，在一个实施方式中，步骤101之前，需要根据不同的开发模式，对不同类型的任务源代码进行相应的解析，以成功获取表信息。
步骤102、根据表信息确定任务的依赖关系。
其中，任务的依赖关系包括任务的子任务和/或父任务，一个任务的数据源表为其父任务的数据结果表，该任务的数据结果表为其子任务的数据源表。
本实施例中，通过实时检测业务系统的数据表，获取数据表的表信息，可实时生成、更新业务系统的任务依赖关系，满足基于流计算的业务系统的时效性要求，为业务系统的实时数仓开发和循环依赖问题的监控提供参考及依据。
在图1示出的分析方法的流程图的基础上，图2示出了另一种基于流计算的业务系统的分析方法的流程图，参见图2，本实施例的分析方法包括以下步骤：
步骤201、获取业务系统的数据表的表信息。
其中，步骤201的具体实现方式与步骤101类似，此处不再赘述。
步骤202、根据表信息确定任务的依赖关系。
以下提供一种确定任务的依赖关系的可能的实现方式：
获取一张数据表(可以是用户指定，也可以是随机抽取)，依据表信息确认该张数据表所属的任务及对应的表类型，假设该张数据表为任务A的数据源表，则查询该数据源表的数据结果表，将数据结果表所属的任务B确定为任务A的父任务；接下来，获取任务B的数据源表，根据任务B的数据源表，查询该数据源表的数据结果，将数据结果表所属的任务C确定为任务B的父任务。以此类推，直至找到无父任务的任务(最原始的任务)。
步骤203、根据任务的依赖关系建立并显示任务拓扑图。
步骤203中，建立任务拓扑图的步骤包括：获取每个任务对应的任务标识，根据任务的依赖关系连接各个任务标识，得到任务拓扑图。其中，任务标识可以但不限于使用各类图标、文本、或图标与文本相结合的方式。图3A示例性地示出了利用本实施例的分析方法建立的任务拓扑图，图中使用文本作为任务标识，该任务拓扑图表征任务的依赖关系，便于开发人员实时查看基于流计算的业务系统中各个任务的依赖关系，方便实时数仓开发，较少开发冗余，提升数仓架构层次感和开发效率。任务拓扑图还便于开发人员及时发现任务循环依赖问题，尽早解决问题。
在另一个实施方式中，步骤203之后，还可以判断任务拓扑图是否存在闭环。所谓闭环就是至少两个任务的依赖关系形成环状结构，参见图3B，例如，任务A依赖于任务B，任务B依赖于任务C，任务C又依赖于任务A，三者形成一个闭环。若形成闭环，说明业务系统的任务存在循环依赖问题，则生成报警信息。该报警信息可通过邮件、短信或其他形式发送给业务系统的开发、运维人员，以提醒开发、运维人员，尽早解决循环依赖问题。
在图1示出的分析方法的流程图的基础上，图4示出了另一种基于流计算的业务系统的分析方法的流程图，参见图4，本实施例的分析方法包括以下步骤：
步骤401、获取业务系统的数据表的表信息。
步骤402、根据表信息确定任务的依赖关系。
其中，步骤401、步骤402的具体实现方式与步骤101、步骤102类似，此处不再赘述。
步骤403、获取数据表的字段信息。
其中，字段信息包括：字段名、所属表等。
步骤404、根据依赖关系和字段信息确定字段的依赖关系。
其中，字段的依赖关系包括字段的父字段和/或子字段，一个字段的数据为对其父字段的数据进行数据处理的结果，其子字段的数据为对该字段的数据进行数据处理的结果。
以下提供一种确定字段的依赖关系的可能的实现方式：
获取数据源表的所有字段，确定一个字段所属数据表对应的当前任务，根据任务的依赖关系找到当前任务的父任务；找到父任务相关的依赖字段，再根据父任务的依赖字段查找上游的依赖任务，直至找到所有的依赖字段，形成字段的依赖关系。
举例说明，假设任务A依赖于任务B，任务B是任务A的父任务；任务B又依赖于任务C，任务C是任务B的父任务。若任务A的数据源表中有3个字段：a1、a2、a3，该三个字段a1、a2、a3是由任务B的数据源表中字段b1处理得到的，字段b1又是由任务C的数据源表中字段c1处理得到的，从而字段c1为最原始字段，字段c1的子字段为字段b1，字段b1的子字段为a1、a2、a3。
步骤407、根据字段的依赖关系建立并显示字段拓扑图。
步骤407中，建立字段拓扑图的步骤包括：获取每个字段对应的字段标识，根据字段的依赖关系连接各个字段标识，得到字段拓扑图。与任务标识类似的，字段标识可以但不限于使用各类图标、文本、或图标与文本相结合的方式。图5示例性地示出了利用本实施例的分析方法建立的字段拓扑图，图中使用文本作为字段标识，该字段拓扑图表征字段的依赖关系。利用该字段拓扑图，可以发现字段之间的依赖关系。举例说明，任务B有一个字段b1，任务C有一个字段c1。任务D需要开发字段d1、d2、d3，字段d1、d2、d3依赖于字段b1。在没有字段拓扑图的情况下，需要基于字段c1开发字段b1，进而开发字段a1、a2、a3。而依据字段拓扑图，可以发现字段之间的依赖关系，开发人员可直接基于任务B的数据源表的字段b1开发任务C，从而减少了冗余，提高开发效率。
与前述数据管理方法实施例相对应，本发明还提供了基于流计算的业务系统的分析装置的实施例。
图6是本发明一示例性实施例示出的一种基于流计算的业务系统的分析装置的模块示意图，该分析装置包括：第一获取模块61和第一确定模块62。
第一获取模块61用于获取业务系统的数据表的表信息，数据表包括数据源表和数据结果表，数据结果表用于存储任务执行过程中，对数据源表中的数据进行数据处理的结果。
第一确定模块62用于根据表信息确定任务的依赖关系，任务的依赖关系包括任务的子任务和/或父任务，任务的数据源表为父任务的数据结果表，任务的数据结果表为子任务的数据源表。
本实施例中，通过实时检测业务系统的数据表，获取数据表的表信息，可实时生成、更新业务系统的任务依赖关系，满足基于流计算的业务系统的时效性要求，为业务系统的实时数仓开发和循环依赖问题的监控提供参考及依据。
图7示出了另一种基于流计算的业务系统的分析装置的模块示意图，参见图7，本实施例的分析装置包括：第一获取模块71、第一确定模72、第一建图模块73、判断模块74和报警模块75。
第一获取模块71用于获取业务系统的数据表的表信息，数据表包括数据源表和数据结果表，数据结果表用于存储任务执行过程中，对数据源表中的数据进行数据处理的结果。
第一确定模块72用于根据表信息确定任务的依赖关系，任务的依赖关系包括任务的子任务和/或父任务，任务的数据源表为父任务的数据结果表，任务的数据结果表为子任务的数据源表。
第一建图模块73用于根据任务的依赖关系建立并显示任务拓扑图。
在建立任务拓扑图时，第一建图模块73具体用于获取每个任务对应的任务标识，并根据任务的依赖关系连接各个任务标识，得到任务拓扑图。
判断模块74用于判断任务拓扑图是否存在闭环，并在判断为是时调用报警模块75。
报警模块75用于生成报警信息。该报警信息可通过邮件、短信或其他形式发送给业务系统的开发、运维人员，以提醒开发、运维人员，尽早解决循环依赖问题。
图8示出了另一种基于流计算的业务系统的分析装置的模块示意图，参见图8，本实施例的分析装置包括：第一获取模块81、第一确定模82、第二获取模块83、第二确定模块84和第二建图模块85。
第一获取模块81用于获取业务系统的数据表的表信息，数据表包括数据源表和数据结果表，数据结果表用于存储任务执行过程中，对数据源表中的数据进行数据处理的结果。
第一确定模块82用于根据表信息确定任务的依赖关系，任务的依赖关系包括任务的子任务和/或父任务，任务的数据源表为父任务的数据结果表，任务的数据结果表为子任务的数据源表。
第二获取模块83用于获取数据表的字段信息。
第二确定模块84用于根据依赖关系和字段信息确定字段的依赖关系，字段的依赖关系包括字段的父字段和/或子字段，字段的数据为对父字段的数据进行数据处理的结果，子字段的数据为对字段的数据进行数据处理的结果。
第二建图模块85用于根据字段的依赖关系建立并显示字段拓扑图。
在建立字段拓扑图时，第二建图模块85具体用于获取每个字段对应的字段标识，并根据字段的依赖关系连接各个字段标识，得到字段拓扑图。
图9为本发明实施例提供的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备90的框图。图9显示的电子设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备90可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备90的组件可以包括但不限于：上述至少一个处理器91、上述至少一个存储器92、连接不同系统组件(包括存储器92和处理器91)的总线93。
总线93包括数据总线、地址总线和控制总线。
存储器92可以包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还可以包括具有一组(至少一个)程序模块924的程序工具925(或实用工具)，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例提供的基于流计算的业务系统的分析方法。
电子设备90也可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，模型生成的电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器96通过总线93与模型生成的电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的基于流计算的业务系统的分析方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种基于流计算的业务系统的分析方法，其特征在于，所述分析方法包括：
获取业务系统的数据表的表信息，所述数据表包括数据源表和数据结果表，所述数据结果表用于存储任务执行过程中，对所述数据源表中的数据进行数据处理的结果；
根据所述表信息确定所述任务的依赖关系，所述任务的依赖关系包括所述任务的子任务和/或父任务，所述任务的数据源表为所述父任务的数据结果表，所述任务的数据结果表为所述子任务的数据源表。
2.如权利要求1所述的分析方法，其特征在于，所述分析方法还包括：
获取每个任务对应的任务标识；
根据所述任务的依赖关系连接所述任务标识，得到任务拓扑图。
3.如权利要求1所述的分析方法，其特征在于，所述数据表还包括数据依赖表；
所述数据依赖表用于在所述任务执行过程中查找与所述数据源表对应的数据结果表。
4.如权利要求1所述的分析方法，其特征在于，所述分析方法还包括：
获取所述数据表的字段信息；
根据所述任务的依赖关系和所述字段信息确定字段的依赖关系，所述字段的依赖关系包括所述字段的父字段和/或子字段，所述字段的数据为对所述父字段的数据进行数据处理的结果，所述子字段的数据为对所述字段的数据进行数据处理的结果。
5.如权利要求4所述的分析方法，其特征在于，所述分析方法还包括：
获取每个字段对应的字段标识；
根据所述字段的依赖关系连接所述字段标识，得到字段拓扑图。
6.如权利要求2所述的分析方法，其特征在于，所述分析方法还包括：
判断所述任务拓扑图是否存在闭环；
在判断为是时，生成报警信息。
7.如权利要求1-6任一项所述的分析方法，其特征在于，所述表信息包括以下参数中的至少一种：表类型、表名、表字段和所属任务。
8.一种基于流计算的业务系统的分析装置，其特征在于，所述分析装置包括：
第一获取模块，用于获取业务系统的数据表的表信息，所述数据表包括数据源表和数据结果表，所述数据结果表用于存储任务执行过程中，对所述数据源表中的数据进行数据处理的结果；
第一确定模块，用于根据所述表信息确定所述任务的依赖关系，所述任务的依赖关系包括所述任务的子任务和/或父任务，所述任务的数据源表为所述父任务的数据结果表，所述任务的数据结果表为所述子任务的数据源表。
9.如权利要求8所述的分析装置，其特征在于，所述分析装置还包括：
第一建图模块，用于获取每个任务对应的任务标识，并根据所述任务的依赖关系连接所述任务标识，得到任务拓扑图。
10.如权利要求8所述的分析装置，其特征在于，所述分析装置还包括：
第二获取模块，用于获取所述数据表的字段信息；
第二确定模块，用于根据所述任务的依赖关系和所述字段信息确定字段的依赖关系，所述字段的依赖关系包括所述字段的父字段和/或子字段，所述字段的数据为对所述父字段的数据进行数据处理的结果，所述子字段的数据为对所述字段的数据进行数据处理的结果。
11.如权利要求10所述的分析装置，其特征在于，所述分析装置还包括：
第二建图模块，用于获取每个字段对应的字段标识，并根据所述字段的依赖关系连接所述字段标识，得到字段拓扑图。
12.如权利要求9所述的分析装置，其特征在于，所述分析装置还包括：
判断模块，用于判断所述任务拓扑图是否存在闭环，并在判断为是时调用报警模块；
所述报警模块，用于生成报警信息。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于流计算的业务系统的分析方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的基于流计算的业务系统的分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910958456.1A CN112650657A (zh) | 2019-10-10 | 2019-10-10 | 基于流计算的业务系统的分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910958456.1A CN112650657A (zh) | 2019-10-10 | 2019-10-10 | 基于流计算的业务系统的分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112650657A true CN112650657A (zh) | 2021-04-13 |
Family
ID=75342610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910958456.1A Pending CN112650657A (zh) | 2019-10-10 | 2019-10-10 | 基于流计算的业务系统的分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650657A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102053972A (zh) * | 2009-10-27 | 2011-05-11 | 阿里巴巴集团控股有限公司 | Etl模块间父任务关系的获取方法和装置 |
| CN103631870A (zh) * | 2013-11-06 | 2014-03-12 | 广东电子工业研究院有限公司 | 一种用于大规模分布式数据处理的系统及其方法 |
| CN106371918A (zh) * | 2016-08-23 | 2017-02-01 | 北京云纵信息技术有限公司 | 任务集群调度管理方法及装置 |
| CN107870949A (zh) * | 2016-09-28 | 2018-04-03 | 腾讯科技（深圳）有限公司 | 数据分析作业依赖关系生成方法和系统 |
| CN109873715A (zh) * | 2019-01-11 | 2019-06-11 | 中山大学 | 一种微服务架构下的服务调用关系合理性检测方法 |
-
2019
- 2019-10-10 CN CN201910958456.1A patent/CN112650657A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102053972A (zh) * | 2009-10-27 | 2011-05-11 | 阿里巴巴集团控股有限公司 | Etl模块间父任务关系的获取方法和装置 |
| CN103631870A (zh) * | 2013-11-06 | 2014-03-12 | 广东电子工业研究院有限公司 | 一种用于大规模分布式数据处理的系统及其方法 |
| CN106371918A (zh) * | 2016-08-23 | 2017-02-01 | 北京云纵信息技术有限公司 | 任务集群调度管理方法及装置 |
| CN107870949A (zh) * | 2016-09-28 | 2018-04-03 | 腾讯科技（深圳）有限公司 | 数据分析作业依赖关系生成方法和系统 |
| CN109873715A (zh) * | 2019-01-11 | 2019-06-11 | 中山大学 | 一种微服务架构下的服务调用关系合理性检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7849188B2 (en) | End-to-end tracking of asynchronous long-running business process execution language processes | |
| US11150896B2 (en) | Automated generation of service definitions for message queue application clients | |
| US9009725B2 (en) | System of growth and automated migration | |
| CN111709527A (zh) | 运维知识图谱库的建立方法、装置、设备及存储介质 | |
| CN102402479B (zh) | 用于静态分析的中间表示结构 | |
| CN111552607A (zh) | 应用程序的健康评估方法、装置、设备及存储介质 | |
| CN112765152B (zh) | 用于合并数据表的方法和装置 | |
| CN111355622A (zh) | 容器的业务监控方法、系统和计算机可读存储介质 | |
| CN113312341A (zh) | 一种数据质量监控方法、系统和计算机设备 | |
| CN110737655B (zh) | 用于上报数据的方法和装置 | |
| Funika et al. | Semantic-oriented performance monitoring of distributed applications | |
| CN111538616A (zh) | 异常定位方法、装置、系统与计算机可读存储介质 | |
| CN112650657A (zh) | 基于流计算的业务系统的分析方法及装置 | |
| US7506319B2 (en) | Generating a model of software in execution | |
| CN115329143A (zh) | 有向无环图评估方法、装置、设备及存储介质 | |
| CN113377604B (zh) | 一种数据处理方法、装置、设备和存储介质 | |
| CN114185656A (zh) | 一种测试任务处理方法、装置、设备及存储介质 | |
| CN111459737B (zh) | 问题定位方法、装置、计算机设备及存储介质 | |
| CN110457705B (zh) | 一种兴趣点数据处理方法、装置、设备和存储介质 | |
| CN112818204A (zh) | 一种业务的处理方法、装置、设备及存储介质 | |
| CN112416306A (zh) | 多应用依赖树生成方法、装置、电子设备及计算机介质 | |
| CN114637564B (zh) | 数据可视化方法、装置、电子设备及存储介质 | |
| CN114598624B (zh) | 集群监控方法、装置、电子设备及可读存储介质 | |
| CN112988817B (zh) | 数据比对方法、系统、电子设备和存储介质 | |
| CN113709861A (zh) | 在目标区域内定位寻物的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |
|
| RJ01 | Rejection of invention patent application after publication |