CN109102754A - 数据地图的生成方法及装置 - Google Patents

数据地图的生成方法及装置 Download PDF

Info

Publication number
CN109102754A
CN109102754A CN201810639580.7A CN201810639580A CN109102754A CN 109102754 A CN109102754 A CN 109102754A CN 201810639580 A CN201810639580 A CN 201810639580A CN 109102754 A CN109102754 A CN 109102754A
Authority
CN
China
Prior art keywords
task
relationship
data
nexus
data map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810639580.7A
Other languages
English (en)
Other versions
CN109102754B (zh
Inventor
曾伟
刘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN201810639580.7A priority Critical patent/CN109102754B/zh
Publication of CN109102754A publication Critical patent/CN109102754A/zh
Application granted granted Critical
Publication of CN109102754B publication Critical patent/CN109102754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/005Map projections or methods associated specifically therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种数据地图的生成方法及装置,包括:从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务;从所述任务中确定待展开的第一任务;从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。根据本公开实施例提供的数据地图的生成方法及装置能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以避免卡顿现象。

Description

数据地图的生成方法及装置
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据地图的生成方法及装置。
背景技术
对于元数据管理项目来说,用于展示建立数据仓库过程中表与表之间的关系的数据地图功能是其中的一个重要功能。
图1示出了一种数据地图的示意图。在图1中,每个圆圈可以标识一个表,圆圈之间通过带有箭头的线进行连接,以表征表与表之间的关系。例如:表t2中的数据是从表t1中抽取而来,因此在表t1和表t2的表关系中,t1为源表,t2为目的表,在数据地图中代表t1的圆圈与代表t2的圆圈之间具有一条连接线,该线的箭头指向t2。
但是,表的数量通常巨大,在通过数据地图展示这些表之间的关系时,需要花费大量时间,并且在此期间,可能会造成卡顿现象。
发明内容
有鉴于此,本公开提出了一种数据地图的生成方法及装置,能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以避免卡顿现象。
根据本公开的一方面,提供了一种数据地图的生成方法,所述方法包括:
从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务;
从所述任务中确定待展开的第一任务;
从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。
根据本公开的另一方面,提供了一种数据地图的生成装置,所述装置包括:
第一生成模块,用于从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务;
第一确定模块,用于从所述任务中确定待展开的第一任务;
第二生成模块,用于从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。
这样一来,根据本公开实施例的数据地图的生成方法,相对于现有相关技术中将建仓过程中生成的所有表关系均展示出来,本公开实施例可以根据任务关系生成对应的第一数据地图,并从第一数据地图中确定待展示的第一任务,生成并展示待展示的第一任务关联的表关系对应的第二数据地图,能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以减少计算量,从而避免卡顿现象。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出了一种数据地图的示意图;
图2示出根据本公开一实施例的数据地图的生成方法的流程图;
图3示出了本公开一示例中的数据地图的示意图;
图4示出根据本公开一实施例的数据地图的生成方法的流程图;
图5示出根据本公开一实施例的数据地图的生成方法的流程图;
图6示出了本公开一示例中的数据地图的示意图;
图7示出了根据本公开一实施例的数据地图的生成装置的结构框图;
图8示出了根据本公开一实施例的数据地图的生成装置的结构框图;
图9是根据一示例性实施例示出的一种数据地图的生成装置的硬件结构框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图2示出根据本公开一实施例的数据地图的生成方法的流程图,可以应用于元数据管理平台。如图2所示,该方法可以包括以下步骤。
步骤201、从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务。
举例来说,元数据管理平台可以接收展示任务关系指示信息后,根据任务关系指示信息从任务关系表中获取任务关系。其中,上述展示任务关系指示信息可以为用于指示元数据管理平台生成并展示任务间的任务关系对应的第一数据地图的指示信息。举例来说,用户可以通过客户端向元数据原理平台发送上述展示任务关系指示信息。
元数据管理平台接收上述展示任务关系指示信息后,可以从任务关系表中获取所有的任务关系。所述任务关系包括源任务和目的任务,元数据管理平台可以根据源任务和目的任务生成第一数据地图。
图3示出本公开一示例性的第一数据地图的示意图。示例性的,以表3所示的任务关系表为例,任务关系表中记录的任务关系包括task1和task2的任务关系,task2和task3的任务关系,则元数据管理平台根据展示任务关系指示信息生成第一数据地图(参照图3),该第一数据地图表征的是任务之间的关系。
步骤202、从所述任务中确定待展示的第一任务。
用户可以在第一数据地图所展示的任务中,选择待展示的第一任务,通过客户端向元数据管理平台发送针对第一任务的表关系展示信息。元数据管理平台接收到上述针对第一任务的表关系展示信息后,可确定待展示的第一任务。
举例来说,元数据管理平台可以接收客户端发送的针对第一任务的表关系展示请求,该表关系展示请求中可以包括第一任务的标识信息。元数据管理平台可以根据该表关系展示请求确定待展示的第一任务。
步骤203、从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。
上述表关系表可以用于存储任务对应的表关系(即任务与表关系的关联关系),所述表关系可以包括源数据表和目的数据表。举例来说,在task1任务中执行将t1中的数据抽取到t2,则task1任务对应的表关系包括:t1和t2对应的表关系,在t1和t2对应的表关系中,t1为源数据表,t2为目的数据表。
举例来说,在一个任务中可以包括对至少两个表的操作,即一个任务可以对应至少一个表关系。举例来说,在task1任务中包含将t1中的数据抽取到t2,将t2中的数据抽取到t3,将t2中的数据抽取到t4中,将t3中的数据抽取到t5中,则与task1存在关联关系的表关系包括:t1和t2对应的表关系,t2和t3对应的表关系,t2和t4对应的表关系,t3和t5对应的表关系。
举例来说,元数据管理平台可以根据第一任务的标识信息在表关系表中查找任务标识为第一任务的标识信息的表项,该表项中包含的源数据表与目的数据表所对应的表关系即为与第一任务存在关联关系的表关系。
示例性的,表关系表参照下表1,其中,元数据管理平台确定待展示的第一任务为任务ID为1的任务,因此,元数据管理平台可以在表1中查找任务ID为1的表项,进而得到第一任务对应的表关系:t1与t2的表关系,t2与t3的表关系,t2与t4的表关系,t3与t5的表关系,元数据管理平台可以根据上述表关系生成第二数据地图。
表1
源表ID 源表名称 目的表ID 目的表名称 任务ID
1 t1 2 t2 1
2 t2 3 t3 1
3 t3 5 t5 1
2 t2 4 t4 1
5 t5 6 t6 2
6 t6 7 t7 2
6 t6 8 t8 2
8 t8 9 t9 2
这样一来,根据本公开实施例的数据地图的生成方法,相对于现有相关技术中将建仓过程中生成的所有表关系均展示出来,本公开实施例可以根据任务关系生成对应的第一数据地图,并从第一数据地图中确定待展示的第一任务,生成并展示待展示的第一任务关联的表关系对应的第二数据地图,能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以减少计算量,从而避免卡顿现象。
图4示出根据本公开一实施例的数据地图的生成方法的流程图。
在一种可能的实现方式中,参照图4,所述方法在步骤201之前,还可以包括以下步骤:
步骤204、接收任务包括的表关系,并将所述任务的表关系记录在所述表关系表中。
举例来说,在任务执行完成后,任务可以根据该任务所涉及的所有表关系生成任务数据信息,并发送任务数据信息至元数据管理平台,该任务数据信息中还可以包括该任务的任务标识信息。
元数据管理平台接收到上述任务包括的表关系,可以将该任务的表关系及该任务与表关系的对应关系记录在上述表关系表中。
举例来说,任务为task3,task3执行将t9中的数据抽取到t10中、将t10中的数据抽取到t11和t12中,将t12中的数据抽取到t13中,则task3可以向数据管理平台发送任务数据信息,该任务数据信息中包括:(t9与t10的表关系、t10与t11的表关系、t10与t12的表关系,t12与t13的表关系)。
将task3与所述表关系的关联关系存储于表1中后,当前的第一关系表可以参照表2。
表2
源表ID 源表名称 目的表ID 目的表名称 任务ID
1 t1 2 t2 1
2 t2 3 t3 1
3 t3 5 t5 1
2 t2 4 t4 1
5 t5 6 t6 2
6 t6 7 t7 2
6 t6 8 t8 2
8 t8 9 t9 2
9 t9 10 t10 3
10 t10 11 t11 3
10 t10 12 t12 3
12 t12 13 t13 3
步骤205、根据所述表关系表中记录的各个任务的表关系,确定任务关系;其中,确定出的任务关系包括的源任务的一条表关系中的目的数据表和目的任务的一条表关系中的源数据表相同,所述相同的数据表为该确定出的任务关系对应的连接表。
元数据管理平台可以获取上述表关系表中记录的各个任务,及各个任务对应的表关系,从而确定包括相同数据表的两个任务,建立两个任务之间的任务关系。举例来说,第一任务包括的一个表关系中的源数据表为第二任务包括的一个表关系的目的数据表,或者,第一任务包括的一个表关系中的目的数据表为第二任务包括的一个表关系的源数据表,则元数据管理平台确定上述第一任务与第二任务具有任务关系,且第一任务与第二任务包括的相同的数据表为第一任务与第二任务的连接表。
举例来说,在上述连接表在第一任务中的表关系中作为源数据表时,元数据管理平台可以确定在第一任务与第二任务的任务关系中,第一任务作为目的任务,第二任务可以作为源任务;在上述连接表在第一任务中的表关系中作为目的数据表时,元数据管理平台可以确定在第一任务与第二任务的任务关系中,第一任务作为源任务,第二任务可以作为目的任务。
步骤206、将确定出的任务关系和对应的连接表记录在所述任务关系表中。
仍以上述示例为例,task3对应的表关系表信息包括:t9与t10的表关系、t10与t11的表关系、t10与t12的表关系,t12与t13的表关系,task1对应的表关系包括:t1与t2的表关系,t2与t3的表关系,t2与t4的表关系,t3与t5的表关系,task2对应的表信息包括:t5与t6的表关系、t6与t7的表关系、t6与t8的表关系,t8与t9的表关系。其中,与task3存在同一表信息的任务为task2,则元数据管理平台可以确定该task2与task3存在任务关系,且该任务关系对应的表信息为t9,由于t8与t9对应的表关系中t9为目的数据表,因此在task2与task3对应的任务关系中task2为源任务,task3为目的任务。
元数据管理平台可以将上述task2与task3的任务关系存储与任务关系表中,参照表3。
表3
在一种可能的实现方式中,元数据管理平台可以将接收到的任务存储于上述任务表中,可以包括将该第三任务的标识信息存储于上述任务表中,并可以将该任务的状态设置为未展开状态。
仍以上述任务为task3为例,添加task3后的任务表可以参照表4。
表4
任务标识信息 任务名称 任务状态
1 task1 fasle
2 task2 fasle
3 task3 fasle
这样一来,元数据原理平台可以根据接收的任务包括的表关系,将任务的表关系记录于表关系表中。并确定与该任务对应的任务关系,及任务关系对应的连接表,记录任务关系及对应的连接表记录于任务关系表中。以能够通过查询任务关系表生成任务关系对应的第一数据地图,及通过查询表关系表生成任务关联的表关系对应的第二数据地图,进而能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以避免卡顿现象。
图5示出根据本公开一实施例的数据地图的生成方法的流程图。
在一种可能的实现方式中,上述步骤203、所述从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,可以包括以下步骤。
步骤2031、从表关系表中获取所述第一任务的表关系,得到表关系集合。
元数据管理平台可以在确定待展开的第一任务后,在表关系表中获取第一任务对应的表关系,并根据表关系生成表关系集合。
步骤2032、从任务关系表中查询包括所述第一任务的任务关系。
举例来说,元数据管理平台确定第一任务后,可以根据第一任务的标识信息在任务关系表中查找包括该第一任务的标识信息的表项,该表项中包括第一任务与第二任务的任务关系,从该任务关系中可以确定与第一任务关联的第二任务。
示例性的,任务关系表可以参照表3。其中,元数据管理平台确定待展示的第一任务为任务ID为1的任务,因此,元数据管理平台可以在表3中查找任务ID为1的表项,进而可以得到第一任务对应的任务关系:task1与task2的任务关系,元数据管理平台可以根据该任务关系确定task1的关联任务为task2。
步骤2033、若查询到的任务关系包括的第二任务处于未展开状态时,从所述任务关系表中获取所述查询到的任务关系对应的所述连接表。
元数据管理平台可以获取第二任务的状态信息,该状态信息可以表征第二任务处于展开状态或者表征第二任务处于未展开状态。其中,第二任务处于展开状态时,表征第二任务对应的表关系已生成对应的第二数据地图,当前元数据管理平台的显示界面上显示的是第二任务对应的表关系所对应的第二数据地图;第二任务处于未展开状态时,表征第二任务对应的表关系尚未生成第二数据地图,当前元数据管理平台的显示界面上显示的是第二任务。
举例来说,任务的状态可以存储与任务表中。元数据管理平台可以根据第二任务的标识信息从任务表中读取第二任务的状态。元数据管理平台在确定该第二任务处于未展开状态时,可以从第二关系表中读取第一任务与第二任务的任务关系对应的连接表。
以表3为例,在task2处于未展开状态时,从表3中确定task1与task2的任务关系对应的连接表为t5。
步骤2034、从所述表关系集合中获取包含所述连接表的至少一个表关系,将所述获取的表关系中的所述连接表修改为所述第二任务。
元数据管理平台可以从上述表关系集合中获取包括上述连接表的至少一个表关系,并可以将该表关系中的所述连接表修改为第二任务。
在一种可能的实现方式中,上所述将获取的表关系中的连接表修改为所述第二任务,可以包括:
在所述获取的表关系中的源数据表为所述连接表时,将该表关系中的源数据表修改为所述第二任务;
或者,在所述获取的表关系中目的数据表为所述连接表时,将该表关系中的目的数据表修改为所述第二任务。
示例性的,以上述表2和表3所示的示例为例,第一任务为task1,第二任务为task2,其中,task1和task2对应的任务关系对应的连接表为t5,表关系集合(t1与t2的表关系,t2与t3的表关系,t2与t4的表关系,t3与t5的表关系)中包含t5的表关系为t3与t5的表关系,也即在当前的表关系集合中,包含t5的表关系为t3与t5的表关系。在该表关系中,t5为目的数据表,则元数据管理平台可以将该表关系中的目的数据表t5修改为第二任务task2,修改后的表关系为t3和task2的表关系。
步骤2035、根据更新后的所述表关系集合生成第二数据地图。
元数据管理平台可以根据更新后的表关系集合生成第一任务对应的第二数据地图。由于表关系集合中包含连接表的表关系中,连接表已修改为第二任务,因此在生成该表关系对应的第二数据地图时,连接表对应的节点可以更替为第二任务。
图6示出了本公开一示例中的数据地图的示意图。
示例性的,仍以上述表2与表3所示的示例为例,在对表关系进行修改后,表关系集合为(t1与t2的表关系、t2与t3的表关系、t2与t4的表关系,t3与task2的表关系),根据表关系集合中的表关系生成的第二数据地图如图6所示。
在一种可能的实现方式中,上述数据地图的生成方法还可以包括以下步骤:
在生成所述数据地图后,将所述第一任务的状态更新为展开状态。
元数据管理平台在生成第一任务对应的第二数据地图后,可以将第一任务的状态由未展开状态更新为展开状态。
举例来说,在生成第一任务对应的第二数据地图之前,第一任务在任务表中的状态为未展开状态,在生成第一任务对应的第二数据地图之后,元数据管理平台可以将任务表中第一任务的状态更新为展开状态。
在与第一任务存在任务关系的第二任务在生成第二数据地图时,若第一任务为展开状态,则第二任务中包括第二任务与第一任务的任务关系对应的连接表的表关系,无需做修改,直接根据该表关系生成对应的第二数据地图即可。
这样一来,根据本公开实施例的数据地图的生成方法,相对于现有相关技术中将建仓过程中生成的所有表关系均展示出来,本公开实施例可以生成并展示待展示的第一任务关联的表关系对应的第二数据地图,能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以避免卡顿现象。
图7示出了根据本公开一实施例的数据地图的生成装置的结构框图。参照图7,上述装置可以包括:
第一生成模块701,可以用于从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务;
第一确定模块702,可以用于从所述任务中确定待展开的第一任务;
第二生成模块703,可以用于从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。
这样一来,根据本公开实施例的数据地图的生成装置,相对于现有相关技术中将建仓过程中生成的所有表关系均展示出来,本公开实施例可以根据任务关系生成对应的第一数据地图,并从第一数据地图中确定待展示的第一任务,生成并展示待展示的第一任务关联的表关系对应的第二数据地图,能够减少展示的表的数量,进而提高元数据管理平台的工作效率,且可以减少计算量,从而避免卡顿现象。
图8示出了根据本公开一实施例的数据地图的生成装置的结构框图。
在一种可能的实现方式中,参照图8,上述装置还可以包括:
第一记录模块704,可以用于接收任务包括的表关系,并将所述任务的表关系记录在所述表关系表中;
第二确定模块705,可以用于根据所述表关系表中记录的各个任务的表关系,确定任务关系;其中,确定出的任务关系包括的源任务的一条表关系中的目的数据表和目的任务的一条表关系中的源数据表相同,所述相同的数据表为该确定出的任务关系对应的连接表;
第二记录模块706,可以用于将确定出的任务关系和对应的连接表记录在所述任务关系表中。
在一种可能的实现方式中,参照图8,上述第二生成模块703可以包括:
第一获取子模块7031,可以用于从表关系表中获取所述第一任务的表关系,得到表关系集合;
查询子模块7032,可以用于从任务关系表中查询包括所述第一任务的任务关系;
第二获取子模块7033,可以用于若查询到的任务关系包括的第二任务处于未展开状态时,从所述任务关系表中获取所述查询到的任务关系对应的所述连接表;
修改子模块7034,可以用于从所述表关系集合中获取包含所述连接表的至少一个表关系,将所述获取的表关系中的所述连接表修改为所述第二任务;
生成子模块7035,可以用于根据更新后的所述表关系集合生成第二数据地图。
在一种可能的实现方式中,上述修改子模块7034还可以用于:
在所述获取的表关系中的源数据表为所述连接表时,将该表关系中的源数据表修改为所述第二任务;
在所述获取的表关系中目的数据表为所述连接表时,将该表关系中的目的数据表修改为所述第二任务。
在一种可能的实现方式中,上述装置可以包括:
更新模块,可以用于在生成所述第二数据地图后,将所述第一任务的状态更新为展开状态。
图9是根据一示例性实施例示出的一种数据地图的生成装置的硬件结构框图。在实际应用中,该装置可通过服务器实现。参照图9,该装置1300可包括处理器1301、存储有机器可执行指令的机器可读存储介质1302。处理器1301与机器可读存储介质1302可经由系统总线1303通信。并且,处理器1301通过读取机器可读存储介质1302中与数据地图的生成逻辑对应的机器可执行指令以执行上文所述的数据地图的生成方法。
本文中提到的机器可读存储介质1302可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:随机存取存储器(英文:Radom Access Memory,简称:RAM)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种数据地图的生成方法,其特征在于,所述方法包括:
从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务;
从所述任务中确定待展开的第一任务;
从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。
2.根据权利要求1所述的方法,其特征在于,所述生成第一数据地图之前,所述方法还包括:
接收任务包括的表关系,并将所述任务的表关系记录在所述表关系表中;
根据所述表关系表中记录的各个任务的表关系,确定任务关系;其中,确定出的任务关系包括的源任务的一条表关系中的目的数据表和目的任务的一条表关系中的源数据表相同,所述相同的数据表为该确定出的任务关系对应的连接表;
将确定出的任务关系和对应的连接表记录在所述任务关系表中。
3.根据权利要求2所述的方法,其特征在于,所述从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,包括:
从表关系表中获取所述第一任务的表关系,得到表关系集合;
从任务关系表中查询包括所述第一任务的任务关系;
若查询到的任务关系包括的第二任务处于未展开状态时,从所述任务关系表中获取所述查询到的任务关系对应的所述连接表;
从所述表关系集合中获取包含所述连接表的至少一个表关系,将所述获取的表关系中的所述连接表修改为所述第二任务;
根据更新后的所述表关系集合生成第二数据地图。
4.根据权利要求3所述的方法,其特征在于,
所述将所述获取的表关系中的连接表修改为所述第二任务,包括:
在所述获取的表关系中的源数据表为所述连接表时,将该表关系中的源数据表修改为所述第二任务;
在所述获取的表关系中目的数据表为所述连接表时,将该表关系中的目的数据表修改为所述第二任务。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在生成所述第二数据地图后,将所述第一任务的状态更新为展开状态。
6.一种数据地图的生成装置,其特征在于,所述装置包括:
第一生成模块,用于从任务关系表中获取任务关系,并根据所述任务关系生成第一数据地图,所述第一数据地图中包括所述任务关系关联的任务,所述任务关系包括源任务和目的任务;
第一确定模块,用于从所述任务中确定待展开的第一任务;
第二生成模块,用于从表关系表中获取所述第一任务对应的表关系,并根据所述表关系生成第二数据地图,所述第二数据地图中包括所述第一任务关联的数据表,所述表关系包括源数据表和目的数据表。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一记录模块,用于接收任务包括的表关系,并将所述任务的表关系记录在所述表关系表中;
第二确定模块,用于根据所述表关系表中记录的各个任务的表关系,确定任务关系;其中,确定出的任务关系包括的源任务的一条表关系中的目的数据表和目的任务的一条表关系中的源数据表相同,所述相同的数据表为该确定出的任务关系对应的连接表;
第二记录模块,用于将确定出的任务关系和对应的连接表记录在所述任务关系表中。
8.根据权利要求7所述的装置,其特征在于,所述第二生成模块,包括:
第一获取子模块,用于从表关系表中获取所述第一任务的表关系,得到表关系集合;
查询子模块,用于从任务关系表中查询包括所述第一任务的任务关系;
第二获取子模块,用于若查询到的任务关系包括的第二任务处于未展开状态时,从所述任务关系表中获取所述查询到的任务关系对应的所述连接表;
修改子模块,用于从所述表关系集合中获取包含所述连接表的至少一个表关系,将所述获取的表关系中的所述连接表修改为所述第二任务;
生成子模块,用于根据更新后的所述表关系集合生成第二数据地图。
9.根据权利要求8所述的装置,其特征在于,所述修改子模块还用于:
在所述获取的表关系中的源数据表为所述连接表时,将该表关系中的源数据表修改为所述第二任务;
在所述获取的表关系中目的数据表为所述连接表时,将该表关系中的目的数据表修改为所述第二任务。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
更新模块,用于在生成所述第二数据地图后,将所述第一任务的状态更新为展开状态。
CN201810639580.7A 2018-06-20 2018-06-20 数据地图的生成方法及装置 Active CN109102754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810639580.7A CN109102754B (zh) 2018-06-20 2018-06-20 数据地图的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810639580.7A CN109102754B (zh) 2018-06-20 2018-06-20 数据地图的生成方法及装置

Publications (2)

Publication Number Publication Date
CN109102754A true CN109102754A (zh) 2018-12-28
CN109102754B CN109102754B (zh) 2020-12-01

Family

ID=64844944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810639580.7A Active CN109102754B (zh) 2018-06-20 2018-06-20 数据地图的生成方法及装置

Country Status (1)

Country Link
CN (1) CN109102754B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161826A1 (en) * 2001-01-25 2002-10-31 Carlos Arteaga System and method for remote communication transactions
US20070237086A1 (en) * 2005-10-14 2007-10-11 Sanjin Tulac Transient data facility for database applications
CN101515290A (zh) * 2009-03-25 2009-08-26 中国工商银行股份有限公司 具有双向互动特征的元数据管理系统及其实现方法
CN101595476A (zh) * 2006-08-31 2009-12-02 启创互联公司 用于客户定义信息架构的系统、方法和计算机程序
US20110295795A1 (en) * 2010-05-28 2011-12-01 Oracle International Corporation System and method for enabling extract transform and load processes in a business intelligence server
CN102339295A (zh) * 2010-07-23 2012-02-01 中国移动通信集团公司 Sql脚本的结构化元数据生成方法及数据地图生成方法
CN103136618A (zh) * 2011-11-29 2013-06-05 北京建龙重工集团有限公司 工程进度计划的在线管理方法
US8607013B2 (en) * 2007-10-30 2013-12-10 Vmware, Inc. Providing VMM access to guest virtual memory
CN103810258A (zh) * 2014-01-26 2014-05-21 杭州东方通信软件技术有限公司 基于数据仓库的数据汇聚调度方法
US20170048285A1 (en) * 2014-08-29 2017-02-16 Box, Inc. Managing flow-based interactions with cloud-based shared content
CN107798030A (zh) * 2017-02-17 2018-03-13 平安科技(深圳)有限公司 数据表的拆分方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161826A1 (en) * 2001-01-25 2002-10-31 Carlos Arteaga System and method for remote communication transactions
US20070237086A1 (en) * 2005-10-14 2007-10-11 Sanjin Tulac Transient data facility for database applications
CN101595476A (zh) * 2006-08-31 2009-12-02 启创互联公司 用于客户定义信息架构的系统、方法和计算机程序
US8607013B2 (en) * 2007-10-30 2013-12-10 Vmware, Inc. Providing VMM access to guest virtual memory
CN101515290A (zh) * 2009-03-25 2009-08-26 中国工商银行股份有限公司 具有双向互动特征的元数据管理系统及其实现方法
US20110295795A1 (en) * 2010-05-28 2011-12-01 Oracle International Corporation System and method for enabling extract transform and load processes in a business intelligence server
CN102339295A (zh) * 2010-07-23 2012-02-01 中国移动通信集团公司 Sql脚本的结构化元数据生成方法及数据地图生成方法
CN103136618A (zh) * 2011-11-29 2013-06-05 北京建龙重工集团有限公司 工程进度计划的在线管理方法
CN103810258A (zh) * 2014-01-26 2014-05-21 杭州东方通信软件技术有限公司 基于数据仓库的数据汇聚调度方法
US20170048285A1 (en) * 2014-08-29 2017-02-16 Box, Inc. Managing flow-based interactions with cloud-based shared content
CN107798030A (zh) * 2017-02-17 2018-03-13 平安科技(深圳)有限公司 数据表的拆分方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘丰源,王凌: ""基于TSV-SSM的元数据管理平台的设计和应用"", 《计算机应用与软件》 *
赵许: ""基于元数据仓库的数据地图设计与实现"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN109102754B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN108021333B (zh) 随机读写数据的系统、装置及方法
US10409694B2 (en) Data conversion method and backup server
US8069224B2 (en) Method, equipment and system for resource acquisition
US9875183B2 (en) Method and apparatus for content derived data placement in memory
CN107015985B (zh) 一种数据存储与获取方法及装置
EP4404052A3 (en) Finite state machines for implementing workflows for data objects managed by a data processing system
CN109284321B (zh) 数据加载方法、装置、计算设备和计算机可读存储介质
CN106326309A (zh) 一种数据查询方法和装置
CN107566518B (zh) 在安装文件过程中管理设备信息的方法和装置
CN106547646B (zh) 一种数据备份及恢复方法、数据备份及恢复装置
EP3093809A1 (en) Systems and methods for state machine management
CN114064594B (zh) 数据处理方法和装置
US20170277622A1 (en) Web Page Automated Testing Method and Apparatus
CN109885535A (zh) 一种文件存储的方法及相关装置
CN107092502B (zh) 一种基于云操作系统的应用自动配置方法和装置
CN106940712B (zh) 序列生成方法与设备
CN108959537B (zh) Web服务接口获取方法及装置
CN108255955B (zh) 一种数据处理方法及装置
CN110677307A (zh) 一种服务监测方法、装置、设备和存储介质
US10990588B2 (en) Optimizing continuous query operations in an in memory data grid (IMDG)
CN110515803B (zh) 针对日志消息的处理方法、装置以及电子设备
CN109102754A (zh) 数据地图的生成方法及装置
US10931781B2 (en) Mobile device cache updating
CN104021170A (zh) 一种信息获取方法及云端服务器
WO2019072088A1 (zh) 一种文件管理方法、文件管理装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant