CN111324781A - 一种数据分析方法、装置及设备 - Google Patents

一种数据分析方法、装置及设备 Download PDF

Info

Publication number
CN111324781A
CN111324781A CN202010139859.6A CN202010139859A CN111324781A CN 111324781 A CN111324781 A CN 111324781A CN 202010139859 A CN202010139859 A CN 202010139859A CN 111324781 A CN111324781 A CN 111324781A
Authority
CN
China
Prior art keywords
data
analyzed
map
analysis
blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010139859.6A
Other languages
English (en)
Inventor
方银春
印诚宇
吴克贤
苏航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Leading Technology Co Ltd
Original Assignee
Nanjing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Technology Co Ltd filed Critical Nanjing Leading Technology Co Ltd
Priority to CN202010139859.6A priority Critical patent/CN111324781A/zh
Publication of CN111324781A publication Critical patent/CN111324781A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据分析方法、装置及设备,用以解决现有技术中存在的数据分析效率低下的问题。该方法包括:获取待分析数据对应的数据图谱,数据图谱用于指示待分析数据和待分析数据的关联数据之间的血缘关系;根据数据图谱指示的血缘关系,对待分析数据进行分析。

Description

一种数据分析方法、装置及设备
技术领域
本发明涉及数据管理领域,尤其涉及一种数据分析方法、装置及设备。
背景技术
随着信息时代数据的急速增长,大数据技术被广泛的应用于数据分析。目前,对于诸如数据接入、数据加工、数据应用等不同处理过程所产生的数据缺乏统一管理,一旦处理过程中某个环节出现差错,利用大数据技术无法快速的追溯相关处理过程对应的数据,导致数据分析效率低下。
发明内容
本发明提供一种数据分析方法、装置及设备,用以解决现有技术中存在的数据分析效率低下的问题。
第一方面,本发明实施例提供一种数据分析方法,包括:
获取待分析数据对应的数据图谱,所述数据图谱用于指示所述待分析数据和所述待分析数据的关联数据之间的血缘关系;
根据所述数据图谱指示的所述血缘关系,对所述待分析数据进行分析。
在一种可选的实施方式中,所述数据图谱通过如下方式确定:
根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据和所述待分析数据的关联数据;
对所述待分析数据和所述关联数据进行血缘分析,并根据血缘分析的结果确定所述数据图谱。
在一种可选的实施方式中,所述数据库中还包括所述待分析数据的第一索引,以及所述关联数据的第二索引;所述根据血缘分析的结果确定所述数据图谱,包括:
根据血缘分析的结果构造有向图,所述有向图包含用于指示所述第一索引的第一结点以及用于指示所述第二索引的第二结点;
所述根据所述数据图谱指示的所述血缘关系,对所述待分析数据进行分析,包括:
在所述有向图中确定出所述第一结点和所述第二结点;
按照所述第一结点指示的所述第一索引从所述数据库中获取所述待分析数据;
按照所述第二结点指示的所述第二索引从所述数据库中获取所述关联数据;
根据所述待分析数据和所述关联数据之间的血缘关系,对所述待分析数据进行分析。
在一种可选的实施方式中,所述数据流向信息用于指示所述待分析数据对应的一个或多个处理过程;所述数据流向信息是从第三方平台中获取的,所述第三方平台用于执行所述待分析数据对应的一个或多个处理过程。
在一种可选的实施方式中,所述根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据的关联数据,包括:
根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据的上游数据和/或所述待分析数据的下游数据。
第二方面,本发明实施例提供一种数据分析装置,包括:
图谱获取模块,用于获取待分析数据对应的数据图谱,所述数据图谱用于指示所述待分析数据和所述待分析数据的关联数据之间的血缘关系;
分析模块,用于根据所述数据图谱指示的所述血缘关系,对所述待分析数据进行分析。
在一种可选的实施方式中,还包括:
查找模块,用于根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据和所述待分析数据的关联数据;
图谱确定模块,用于对所述待分析数据和所述关联数据进行血缘分析,并根据血缘分析的结果确定所述数据图谱。
在一种可选的实施方式中,所述数据库中还包括所述待分析数据的第一索引,以及所述关联数据的第二索引;
所述图谱确定模块,具体用于:
根据血缘分析的结果构造有向图,所述有向图包含用于指示所述第一索引的第一结点以及用于指示所述第二索引的第二结点;
所述分析模块,具体用于:
在所述有向图中确定出所述第一结点和所述第二结点;
按照所述第一结点指示的所述第一索引从所述数据库中获取所述待分析数据;
按照所述第二结点指示的所述第二索引从所述数据库中获取所述关联数据;
根据所述待分析数据和所述关联数据之间的血缘关系,对所述待分析数据进行分析。
在一种可选的实施方式中,所述数据流向信息用于指示所述待分析数据对应的一个或多个处理过程;所述数据流向信息是从第三方平台中获取的,所述第三方平台用于执行所述待分析数据对应的一个或多个处理过程。
在一种可选的实施方式中,所述查找模块,具体用于:
根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据的上游数据和/或所述待分析数据的下游数据。
第三方面,本发明实施例提供一种数据分析设备,包括:
存储器以及处理器;
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行第一方面的任一实现方式所述的方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行上述方法。
本发明实施例中,通过构建可以体现出数据之间的血缘关系的数据图谱,实现对不同处理过程的数据的统一管理,当出现问题数据需要分析或者是需对指定数据分析时,基于该待分析数据对应的数据图谱,快速的追溯出与其有血缘关系的关联数据,进而根据待分析数据和关联数据之间的血缘关系,对待分析数据进行分析,能够有效的提升数据分析的效率。
附图说明
图1为本发明实施例提供的一种数据分析方法的流程示意图;
图2为本发明实施例提供的另一种数据分析方法的流程示意图;
图3为本发明实施例提供的一种数据图谱的结构示意图;
图4为本发明实施例提供的一种数据分析装置的结构框图;
图5为本发明实施例提供的一种数据分析设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
需要说明的是,本发明中涉及的多个,是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,应当理解,尽管在本发明实施例中可能采用术语第一、第二等来描述各数据,但这些数据不应限于这些术语。这些术语仅用来将各数据彼此区分开。
基于此,本发明实施例提供一种数据分析方法、装置及设备,用以解决现有技术中存在的数据分析效率低下的问题,能够快速追溯出与待分析数据具有血缘关系的关联数据,进而依据数据间的血缘关系进行数据分析。其中,方法装置及设备是基于同一发明构思的,由于方法、装置及设备解决问题的原理相似,因此设备、装置与方法的实施可以相互参见,重复之处不再赘述。
参见图1所示,为本发明实施例提供一种数据分析方法的流程示意图。该方法包括:
步骤S101,获取待分析数据对应的数据图谱,该数据图谱用于指示待分析数据和待分析数据的关联数据之间的血缘关系。
步骤S102,根据数据图谱指示的血缘关系,对待分析数据进行分析。
本发明实施例中,通过构建可以体现出数据之间的血缘关系的数据图谱,实现对不同处理过程的数据的统一管理,当出现问题数据需要分析或者是需对指定数据分析时,基于待分析数据对应的数据图谱,可快速的追溯出与其有血缘关系的关联数据,进而根据待分析数据和关联数据之间的血缘关系,对待分析数据进行分析,能够有效的提升数据分析的效率。
在一种可选的实施方式中,数据图谱通过如下方式确定:
根据待分析数据对应的数据流向信息,在预设的数据库中查找待分析数据和待分析数据的关联数据。
对待分析数据和关联数据进行血缘分析,并根据血缘分析的结果确定数据图谱。
在另一种可选的实施方式中,也可以是基于数据库包括的数据所对应的数据流向信息,确定数据库中的数据之间的血缘关系,预先对数据库中的数据进行血缘分析,确定出一个或多个数据图谱用于后续数据分析。当需对某条数据分析时,则从一个或多个数据图谱中确定出该条数据对应的数据图谱,进而按照数据图谱指示的血缘关系进行分析。
上述实施例中的数据流向信息用于指示数据诸如待分析数据对应的一个或多个处理过程,关联数据即为待分析数据对应的一个或多个处理过程中的数据,可选的,数据流向信息可以存储于预设的数据库中进行统一管理。
在一种可选的实施方式中,数据流向信息是从第三方平台中获取的,第三方平台用于执行待分析数据对应的一个或多个处理过程。为便于理解,本发明实施例以前述处理过程包括数据接入、数据加工、数据应用为例,提供了另一种数据分析方法的流程示意图,如图2所示,数据流向信息可通过以下方式获取并进行管理:
从用于接入数据源的相关数据注册平台采集接入元数据,从数据加工平台采集加工元数据,从数据应用平台采集应用元数据;进而将采集到的接入元数据、加工元数据以及应用元数据存储于预设的数据库中,即将不同平台对应处理过程的数据接入到一套数据总线上,对三个处理过程的数据进行统一的数据血缘分析与管理,从而构建用于指示三个处理过程的数据之间血缘关系的数据图谱,提升数据分析效率,方便相关人员基于数据图谱进行数据运维、数据分析等研究。具体实施时,可通过构建数据分析系统,由数据分析系统执行上述数据分析方法,在该系统中设置单独的采集模块,负责和第三方平台进行交互,调用外部接口将不同第三方平台中对应处理过程的元数据录入到数据分析系统中的数据库中,该数据库具体可以采用图数据库来实现,在此不进行限制。
在一种可选的实施方式中,数据库中还包括待分析数据的第一索引,以及关联数据的第二索引,待分析数据和关联数据之间的血缘关系可以采用索引进行指示。
为便于实施,下面以对用于指示前述三个处理过程,即数据接入、数据加工、数据应用产生的元数据之间的血缘关系,在数据库中设置相关数据表为例进行详细说明。
(1)将在数据接入处理过程采集的接入元数据进行注册,为其设置接入数据编码(也即,接入数据的索引),并以如下表1所示的接入元数据信息表,记录该接入元数据的信息,诸如其数据名称、数据使用范围、元数据类型(接入元数据)等。
表1
Figure BDA0002398695620000071
(2)为在数据加工处理过程采集的加工元数据设置上游数据编码和目标数据编码(或称下游数据编码),分别表示该加工元数据的上一步处理来源以及下一步处理目的。加工处理过程的中间环节(或称,加工处理子过程)包括一个或者多个,对此,加工元数据的上游数据编码可以是其对应接入元数据的接入数据编码,也可以是加工处理过程中在其之前相邻中间环节的元数据编码,记为上游数据编码;相应的加工元数据的目标数据编码可以是在其之后相邻中间环节的元数据编码,或者标记加工处理过程结束的数仓的元数据编码。如下表2~3所示的加工元数据信息表,记录该加工元数据的信息,诸如其上游数据编码、目标数据编码、数据方向等。
表2
Figure BDA0002398695620000072
Figure BDA0002398695620000081
表3
Figure BDA0002398695620000082
(3)为在数据应用处理过程采集的应用元数据设置上游数据编码和应用元数据编码,分别表示该应用元数据的上一步处理来源以及数据的应用。其中,应用元数据的上游数据编码为标记加工处理过程结束的数仓的元数据编码。如下表4所示的应用元数据信息表,记录该应用元数据的信息,诸如其上游数据编码、应用元数据编码、数据方向等。
表4
Figure BDA0002398695620000083
Figure BDA0002398695620000091
进一步,数据库中还存储有数据接入、数据加工、数据应用三个处理过程产生的元数据的技术元信息、业务元信息;以数据接入处理过程的接入元数据为例,技术元信息用于指示接入元数据的变更情况;业务元信息用于指示接入元数据的属性信息。具体实施时,可在数据库中设计技术元信息表、业务元信息表来存储不同处理过程的元数据的技术元信息和业务元信息。其中,录入数据时,可选的技术元信息表里的一行用于指示一个业务对象(如接入元数据)的变更情况,业务元信息表里的一行用于指示一个业务对象(如接入元数据)的一种属性信息。
为便于理解,下表5示意出了数据接入处理过程的技术元信息表,表6示意出了数据接入处理过程的业务元信息表:
表5
Figure BDA0002398695620000092
表6
字段名称 字段解释 备注
主键 随机生成的32位主键
接入数据编码 全局唯一标识,业务可描述 主表外键
字段元编码 字段物理标识
字段元名称 字段名称标识,指示属性
字段元类型 字段的业务类型
基于上述表1~6的设计,按照相关数据编码检索,即可查询到相关表中与该数据编码绑定的数据信息;根据接入数据编码、上游数据编码、目标数据编码及应用数据编码之间的指向关联,即可从数据库的相关表中确定出前述数据接入、数据加工以及数据应用等处理过程所对应的数据流向信息。
进一步,在一种可选的实施方式中,根据待分析数据对应的数据流向信息,在预设的数据库中查找待分析数据的关联数据,包括:根据待分析数据对应的数据流向信息,在预设的数据库中查找待分析数据的上游数据和/或待分析数据的下游数据。其中,上游数据包括待分析数据对应的上一步或多步处理来源的数据;下游数据包括待分析数据对应的下一步或多步处理目的的数据。
进一步,在一种可选的实施方式中,以前述数据接入、数据加工、数据应用三个处理过程为例,对待分析数据和关联数据进行血缘分析,可以通过如下方式实施:
确定待分析数据所属的处理过程,若为数据接入处理过程,则从接入元数据表中获取到该待分析数据的接入数据编码,进而按照接入数据编码在加工元数据表、应用元数据表中查找相关的上游数据编码、目标数据编码、应用数据编码等,确定出关联数据的同时,根据获取到的数据编码之间的关联,建立待分析数据和关联数据的血缘关系。
进一步,在一种可选的实施方式中,根据血缘分析的结果确定数据图谱,包括:根据血缘分析的结果构造有向图,有向图包含用于指示待分析数据的第一索引的第一结点以及用于指示关联数据的第二索引的第二结点。
为便于理解,以前述数据接入、数据加工、数据应用三个处理过程为例,本发明实施例提供了一种数据图谱,参见图3,示意出了接入元数据、加工元数据以及应用元数据之间的血缘关系。其中,S_*表示接入元数据的接入数据编码,D_*表示数据加工后的数据的数据编码,A_*表示应用元数据的数据编码。
具体的,该数据图谱中示意出一个接入元数据的两种处理路径。其中,在第一条路径中,S_A1为D_B的上游数据编码;D_B为D_C的上游数据编码;D_C为D_B的目标数据编码;D_C为A_A的上游数据编码,A_A为应用数据编码。在第二条路径中,S_A1为D_D的上游数据编码;D_D为A_B的上游数据编码,A_B为应用数据编码。
基于此,根据数据图谱指示的血缘关系,对待分析数据进行分析,包括:在有向图中确定出第一结点和第二结点;按照第一结点指示的第一索引从数据库中获取待分析数据;按照第二结点指示的第二索引从数据库中获取关联数据;根据待分析数据和关联数据之间的血缘关系,对待分析数据进行分析。
本发明实施例中,建立元数据信息库(也即,前述数据库),将采集的不同处理过程的元数据,具体包括业务元数据和技术元数据进行统一存储和管理,为数据建立全生命周期档案;进而采用数据图谱的方式呈现不同处理过程的数据之间的血缘关系,示出数据流向的生产链路,能够有效提升数据的溯源和分析的效率,便于数据相关使用方快速了解数据加工过程,方便数据使用;便于数据运维工程师快速定位数据的生产问题,通过数据生产动作与数据血缘关系建立联动机制,可寻找数据生产问题的关键链路,实时分析生产问题的影响并及时告警,本发明实施例可以应用于数据加工、数据分析和数据运维等领域,具有广泛的应用场景。
基于与方法实施例同样的发明构思,本发明实施例提供了一种数据分析装置400,参见图4所示,该装置400包括:
图谱获取模块401,用于获取待分析数据对应的数据图谱,数据图谱用于指示待分析数据和待分析数据的关联数据之间的血缘关系;
分析模块402,用于根据数据图谱指示的所述血缘关系,对待分析数据进行分析。
本发明实施例中,通过构建可以体现出数据之间的血缘关系的数据图谱,实现对不同处理过程的数据的统一管理,当出现问题数据需要分析或者是需对指定数据分析时,基于该待分析数据对应的数据图谱,快速的追溯出与其有血缘关系的关联数据,进而根据待分析数据和关联数据之间的血缘关系,对待分析数据进行分析,能够有效的提升数据分析的效率。
在一种可选的实施方式中,上述装置400还包括:
查找模块403,用于根据待分析数据对应的数据流向信息,在预设的数据库中查找待分析数据和待分析数据的关联数据。
图谱确定模块404,用于对待分析数据和关联数据进行血缘分析,并根据血缘分析的结果确定数据图谱。
在一种可选的实施方式中,数据库中还包括待分析数据的第一索引,以及关联数据的第二索引;
图谱确定模块404,具体用于:
根据血缘分析的结果构造有向图,有向图包含用于指示第一索引的第一结点以及用于指示第二索引的第二结点;
分析模块402,具体用于:
在有向图中确定出第一结点和第二结点;
按照第一结点指示的第一索引从数据库中获取待分析数据;
按照第二结点指示的第二索引从数据库中获取关联数据;
根据待分析数据和关联数据之间的血缘关系,对待分析数据进行分析。
在一种可选的实施方式中,数据流向信息用于指示待分析数据对应的一个或多个处理过程;数据流向信息是从第三方平台中获取的,第三方平台用于执行待分析数据对应的一个或多个处理过程。
在一种可选的实施方式中,查找模块403,具体用于:
根据待分析数据对应的数据流向信息,在预设的数据库中查找待分析数据的上游数据和/或待分析数据的下游数据。
本发明实施例还提供另一种数据分析设备,参见图5所示,包括:
通信接口501,存储器502以及处理器503;
其中,所述处理器503通过所述通信接口501与其它设备进行通信;存储器502,用于存储程序指令;处理器503,用于调用所述存储器502中存储的程序指令,按照获得的程序执行上述实施例中的方法。
本申请实施例中不限定上述通信接口501、存储器502以及处理器503之间的具体连接介质,比如总线,总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器可以是非易失性存储器,比如硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器(random-access memory,RAM)。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
进一步,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,当计算机指令在计算机上运行时,使得计算机执行上述数据分析方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种数据分析方法,其特征在于,包括:
获取待分析数据对应的数据图谱,所述数据图谱用于指示所述待分析数据和所述待分析数据的关联数据之间的血缘关系;
根据所述数据图谱指示的所述血缘关系,对所述待分析数据进行分析。
2.如权利要求1所述的方法,其特征在于,所述数据图谱通过如下方式确定:
根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据和所述待分析数据的关联数据;
对所述待分析数据和所述关联数据进行血缘分析,并根据血缘分析的结果确定所述数据图谱。
3.如权利要求2所述的方法,其特征在于,所述数据库中还包括所述待分析数据的第一索引,以及所述关联数据的第二索引;所述根据血缘分析的结果确定所述数据图谱,包括:
根据血缘分析的结果构造有向图,所述有向图包含用于指示所述第一索引的第一结点以及用于指示所述第二索引的第二结点;
所述根据所述数据图谱指示的所述血缘关系,对所述待分析数据进行分析,包括:
在所述有向图中确定出所述第一结点和所述第二结点;
按照所述第一结点指示的所述第一索引从所述数据库中获取所述待分析数据;
按照所述第二结点指示的所述第二索引从所述数据库中获取所述关联数据;
根据所述待分析数据和所述关联数据之间的血缘关系,对所述待分析数据进行分析。
4.如权利要求2所述的方法,其特征在于,所述数据流向信息用于指示所述待分析数据对应的一个或多个处理过程;所述数据流向信息是从第三方平台中获取的,所述第三方平台用于执行所述待分析数据对应的一个或多个处理过程。
5.如权利要求2所述的方法,其特征在于,所述根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据的关联数据,包括:
根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据的上游数据和/或所述待分析数据的下游数据。
6.一种数据分析装置,其特征在于,包括:
图谱获取模块,用于获取待分析数据对应的数据图谱,所述数据图谱用于指示所述待分析数据和所述待分析数据的关联数据之间的血缘关系;
分析模块,用于根据所述数据图谱指示的所述血缘关系,对所述待分析数据进行分析。
7.如权利要求6所述的装置,其特征在于,还包括:
查找模块,用于根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据和所述待分析数据的关联数据;
图谱确定模块,用于对所述待分析数据和所述关联数据进行血缘分析,并根据血缘分析的结果确定所述数据图谱。
8.如权利要求7所述的装置,其特征在于,所述数据库中还包括所述待分析数据的第一索引,以及所述关联数据的第二索引;
所述图谱确定模块,具体用于:
根据血缘分析的结果构造有向图,所述有向图包含用于指示所述第一索引的第一结点以及用于指示所述第二索引的第二结点;
所述分析模块,具体用于:
在所述有向图中确定出所述第一结点和所述第二结点;
按照所述第一结点指示的所述第一索引从所述数据库中获取所述待分析数据;
按照所述第二结点指示的所述第二索引从所述数据库中获取所述关联数据;
根据所述待分析数据和所述关联数据之间的血缘关系,对所述待分析数据进行分析。
9.如权利要求7所述的装置,其特征在于,所述数据流向信息用于指示所述待分析数据对应的一个或多个处理过程;所述数据流向信息是从第三方平台中获取的,所述第三方平台用于执行所述待分析数据对应的一个或多个处理过程。
10.如权利要求7所述的装置,其特征在于,所述查找模块,具体用于:
根据所述待分析数据对应的数据流向信息,在预设的数据库中查找所述待分析数据的上游数据和/或所述待分析数据的下游数据。
11.一种数据分析设备,其特征在于,包括:
存储器以及处理器;
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1~5任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行权利要求1~5中任一项所述的方法。
CN202010139859.6A 2020-03-03 2020-03-03 一种数据分析方法、装置及设备 Withdrawn CN111324781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139859.6A CN111324781A (zh) 2020-03-03 2020-03-03 一种数据分析方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139859.6A CN111324781A (zh) 2020-03-03 2020-03-03 一种数据分析方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111324781A true CN111324781A (zh) 2020-06-23

Family

ID=71163719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139859.6A Withdrawn CN111324781A (zh) 2020-03-03 2020-03-03 一种数据分析方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111324781A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559493A (zh) * 2020-12-23 2021-03-26 北京北明数科信息技术有限公司 数据血缘关系解析方法、计算机装置和存储介质
CN112800149A (zh) * 2021-02-18 2021-05-14 浪潮云信息技术股份公司 基于数据血缘分析的数据治理方法及系统
CN113032579A (zh) * 2021-03-25 2021-06-25 中国建设银行股份有限公司 一种元数据血缘分析方法、装置、电子设备和介质
CN115145919A (zh) * 2022-06-30 2022-10-04 中冶赛迪信息技术(重庆)有限公司 一种业务系统间数据血缘生成方法、装置、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559493A (zh) * 2020-12-23 2021-03-26 北京北明数科信息技术有限公司 数据血缘关系解析方法、计算机装置和存储介质
CN112800149A (zh) * 2021-02-18 2021-05-14 浪潮云信息技术股份公司 基于数据血缘分析的数据治理方法及系统
CN112800149B (zh) * 2021-02-18 2023-08-08 浪潮云信息技术股份公司 基于数据血缘分析的数据治理方法及系统
CN113032579A (zh) * 2021-03-25 2021-06-25 中国建设银行股份有限公司 一种元数据血缘分析方法、装置、电子设备和介质
CN115145919A (zh) * 2022-06-30 2022-10-04 中冶赛迪信息技术(重庆)有限公司 一种业务系统间数据血缘生成方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111324781A (zh) 一种数据分析方法、装置及设备
CN107016018B (zh) 数据库索引创建方法及装置
CN110647562A (zh) 一种数据查询方法和装置、电子设备、存储介质
CN110716539B (zh) 一种故障诊断分析方法和装置
CN111400288A (zh) 数据质量检查方法及系统
CN110866024B (zh) 一种矢量数据库增量更新方法及系统
CN108205571B (zh) 键值数据表的连接方法及装置
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN115905630A (zh) 一种图数据库查询方法、装置、设备及存储介质
CN113138990B (zh) 一种数据血缘构建、追溯方法、装置及设备
CN108920601B (zh) 一种数据匹配方法及装置
CN111026736B (zh) 数据血缘管理方法及装置、数据血缘解析方法及装置
CN115757174A (zh) 一种数据库的差异检测方法及装置
CN111198893B (zh) 一种数据更新方法、装置、可读介质及电子设备
CN104268277A (zh) 用于数据库的数据读取方法及装置
CN114385188A (zh) 一种代码工作量统计方法、装置和电子设备
CN114564501A (zh) 一种数据库数据存储、查询方法、装置、设备及介质
CN111639057A (zh) 日志消息处理方法、装置、计算机设备及存储介质
CN106980495B (zh) 一种基于程序切片的功能可复用性度量方法
CN111159214A (zh) 一种api的访问方法、装置、电子设备及存储介质
CN114116729B (zh) 一种测试数据的处理方法和设备
CN117290355B (zh) 一种元数据地图构建系统
CN116010349B (zh) 基于元数据的数据检核方法和装置、电子设备和存储介质
CN117349358B (zh) 基于分布式图处理框架的数据匹配与合并的方法和系统
CN117194501B (zh) Dcs趋势测点跳转逻辑组态的方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200623