CN114691678A - 溯源数据存储方法以及系统 - Google Patents
溯源数据存储方法以及系统 Download PDFInfo
- Publication number
- CN114691678A CN114691678A CN202011641032.1A CN202011641032A CN114691678A CN 114691678 A CN114691678 A CN 114691678A CN 202011641032 A CN202011641032 A CN 202011641032A CN 114691678 A CN114691678 A CN 114691678A
- Authority
- CN
- China
- Prior art keywords
- index
- data
- metadata information
- preset
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种溯源数据存储方法以及系统。其中,该方法包括:构建与业务数据对应的指标树,其中,指标树包括多个指标节点,指标节点中包括业务数据对应的元数据信息;将指标树中的元数据信息存储至预设数据库中;在预设数据库中对业务数据进行溯源,并展示溯源结果。本发明解决了相关技术中大规模数据场景下数据溯源效率低的技术问题。
Description
技术领域
本发明涉及数据库技术领域,具体而言,涉及一种溯源数据存储方法以及系统。
背景技术
联机分析处理(OLAP)类系统是面向大数据场景下的一类数据分析系统,对数据的准确性要求极高,由于此类系统本身复杂度较高,一旦数据发现问题,需要排查整条计算链路,很难定位问题。数据溯源能够帮助系统使用方快速诊断数据问题出现在哪个环节。
溯源数据之间往往存在复杂的关联关系,现有的技术在溯源信息存储上常采用如下的步骤进行实现:
S1,将各个计算节点的关联数据存储于关系型数据库中;
S2,查询某个指标数据的溯源数据时,先查询关系型数据库中存储的关联信息;
S3,根据关联信息找到相关数据的相关信息。
申请人在实现本发明的过程中,发现相关技术中至少存在以下技术问题:
1.大规模数据场景下溯源效率低下:现有技术常依托于DBMS(DatabaseManagement System,数据库管理系统)进行数据的查询及分析,但是随着业务快速的发展,数据呈爆炸式增长,采用这种技术手段进行数据溯源,效率会愈来愈差。
2.溯源数据纠错能力欠缺:对数据一般是由有经验的业务操作人员人工校准,不能够结合业务规则进行数据自动化纠错。
可见,相关技术中针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种溯源数据存储方法以及系统,以至少解决相关技术中大规模数据场景下数据溯源效率低的技术问题。
根据本发明实施例的第一方面,提供了一种数据溯源方法,包括:构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;将所述指标树中的元数据信息存储至预设数据库中;在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
进一步地,构建与业务数据对应的指标树包括:在预设页面中展示预设数据模板,其中,所述预设数据模板包括指标节点之间的依赖关系、所述元数据信息的指标元数据;根据输入至预设数据模板中的业务数据确定所述指标节点对应的指标元数据信息;从预设规则平台中加载所述指标元数据对应的规则元数据信息;根据所述指标元数据信息以及规则元数据信息确定所述指标节点的元数据信息。
进一步地,将所述元数据信息存储至预设数据库中包括:根据所述指标树中各个指标节点的数值信息构建全量指标数据表;根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库。
进一步地,根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库包括:获取所述全量指标数据表中的指标数据;确定所述指标树中的各个指标节点之间的依赖关系;根据所述依赖关系以及所述指标数据,确定所述业务数据在所述预设数据库中的根节点以及边节点;根据所述根节点以及所述边节点将所述全量指标数据表存储至所述预设数据库。
进一步地,在确定所述指标树中的各个指标节点之间的依赖关系之后,还包括:获取所述多个指标节点的元数据规则信息;根据所述元数据规则信息确定所述指标数据的规则结果;在所述预设数据库中展示所述规则结果。
根据本发明实施例的第二方面,提供了一种数据溯源系统,包括:处理单元,用于构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;存储单元,用于将所述指标树中的元数据信息存储至预设数据库中;展示单元,用于在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
进一步地,所述处理单元包括:展示模块,用于在预设页面中展示预设数据模板,其中,所述预设数据模板包括指标节点之间的依赖关系、所述元数据信息的指标元数据;第一确定模块,用于根据输入至预设数据模板中的业务数据确定所述指标节点对应的指标元数据信息;加载模块,用于从预设规则平台中加载所述指标元数据对应的规则元数据信息;第二确定模块,用于根据所述指标元数据信息以及规则元数据信息确定所述指标节点的元数据信息。
进一步地,所述存储单元包括:处理模块,用于根据所述指标树中各个指标节点的数值信息构建全量指标数据表;存储模块,用于根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库。
进一步地,所述存储模块包括:第一获取子模块,用于获取所述全量指标数据表中的指标数据;第一确定子模块,用于确定所述指标树中的各个指标节点之间的依赖关系;第二确定子模块,用于根据所述依赖关系以及所述指标数据,确定所述业务数据在所述预设数据库中的根节点以及边节点;存储子模块,用于根据所述根节点以及所述边节点将所述全量指标数据表存储至所述预设数据库。
进一步地,还包括:第二获取子模块,用于获取所述多个指标节点的元数据规则信息;第三确定子模块,用于根据所述元数据规则信息确定所述指标数据的规则结果;展示子模块,用于在所述预设数据库中展示所述规则结果。
根据本发明实施例的第三方面,还提供了一种电子设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的数据溯源方法的步骤。
根据本发明实施例的第四方面,还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的数据溯源方法的步骤。
在本发明实施例中,通过构建与业务数据对应的指标树,其中,指标树包括多个指标节点,指标节点中包括业务数据对应的元数据信息;将指标树中的元数据信息存储至预设数据库中;在预设数据库中对业务数据进行溯源,并展示溯源结果,达到了将业务数据转换为元数据存储至预设数据库中,在预设数据库中对业务数据进行溯源的目的,从而实现了提高在大规模数据集下的快速溯源的技术效果,进而解决了相关技术中大规模数据场景下数据溯源效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的数据溯源方法的示意图;
图2是根据本发明实施例的一种可选的数据指标树的示意图;
图3是根据本发明实施例的又一种可选的数据溯源方法的示意图;
图4是根据本发明实施例的一种可选的数据溯源系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种数据溯源方法,如图1所示,该方法具体可以包括以下步骤:
S102,构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;
S104,将所述指标树中的元数据信息存储至预设数据库中;
S106,在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
具体地,在将业务数据存储至预设数据库之前,需要将业务数据转换为预设数据库支持或兼容的数据格式。在本实施例中,业务数据为多维度数据,且业务数据的多个维度之间存在依赖关系。
在一个例子中,以业务数据为外卖配送准时率数据为例,该准时率数据中包括配送站站点、外卖订单的准时率、订单量数据、完成订单数量以及订单准时数量等等。针对该外卖配送准时率数据,构建指标树,如图2所示,指标树中包括七个指标节点,分别为站点、准时率、准时单量、完成单量、是否完成单、是否准时单以及运单配送时长等指标节点,每个指标节点中包括对应的元数据信息。
在本实施例中,预设数据库包括但不限于分布式数据库JanusGraph图库。通过该JanusGraph图库实现海量数据的存储,JanusGraph图库可以扩展图数据的处理,能支持实时数据遍历和分析查询,在本实施例中基于JanusGraph图库自身的特效实现数据的快速查询。
在构建与业务数据对应的指标树之后,该指标树中指标节点之间存在依赖关系,将指标树存储至预设数据库中,通过预设数据库对业务数据进行溯源,并展示对应的溯源结果,以实现对业务数据的溯源。
通过本实施例,构建与业务数据对应的指标树,其中,指标树包括多个指标节点,指标节点中包括业务数据对应的元数据信息;将指标树中的元数据信息存储至预设数据库中;在预设数据库中对业务数据进行溯源,并展示溯源结果,达到了将业务数据转换为元数据存储至预设数据库中,在预设数据库中对业务数据进行溯源的目的,从而实现了提高在大规模数据集下的快速溯源的技术效果,进而解决了相关技术中大规模数据场景下数据溯源效率低的技术问题。
可选地,在本实施例中,构建与业务数据对应的指标树包括但不限于:在预设页面中展示预设数据模板,其中,预设数据模板包括指标节点之间的依赖关系、元数据信息的指标元数据;根据输入至预设数据模板中的业务数据确定指标节点对应的指标元数据信息;从预设规则平台中加载指标元数据对应的规则元数据信息;根据指标元数据信息以及规则元数据信息确定指标节点的元数据信息。
具体地,预设数据库中包括元信息管理平台,该预设数据管理平台中包括预设指标平台以及预设规则平台。其中,预设指标平台根据业务数据的数据模型确定该业务数据对应的预设数据模板,数据模型中包括业务数据中各个维度数据之间的依赖关系。以上述的外卖配送准时率数据为例,外卖配送准时率数据中包括:站点、准时率、准时单量、完成单量、是否完成单、是否准时单以及运单配送时长等七个维度,其中,准时率、准时单量以及完成单量之间存在依赖关系;完成单量与是否完成单存在依赖关系;准时单量、是否准时单以及运单配送时长之间存在依赖关系;如图2所示,通过外卖配送准时率数据对应的数据模型确定对应的预设数据模板。
接下来,预设规则平台根据输入至预设数据模板中的业务数据中的数值确定指标节点对应的指标元数据信息,然后加载指标元数据对应的规则元数据信息,根据指标元数据信息以及规则元数据信息确定指标节点的元数据信息。例如在准时率对应的规则元数据为准时率大于0且小于100%,根据业务数据中准时率对应的数值确定对应的指标元数据信息以及规则元数据,来确定准时率对应的指标节点的元数据信息。
在具体地应用场景中,例如在JanusGraph图库中,首先基于业务数据模型在JanusGraph图库的元数据管理平台进行元数据注册,元数据管理平台提供可视化的配置页面确保业务方能够快速构建指标间的依赖关系,指标取值元数据信息以及规则元数据信息。
通过上述实施例,根据输入至预设数据模板中的业务数据确定指标节点对应的指标元数据信息;根据指标元数据信息以及规则元数据信息确定指标节点的元数据信息,将业务数据转换为预设数据库中的元数据,能够实现将业务数据存储至预设数据中,提升了业务数据的存储效率。
可选地,在本实施例中,将元数据信息存储至预设数据库中包括但不限于:根据指标树中各个指标节点的数值信息构建全量指标数据表;根据全量指标数据表以及指标树,将业务数据存储至预设数据库。
具体地,在本实施例中,通过预设数据库的元信息管理平台产出业务数据的指标树的集合,解析指标树的各个指标节点,依据指标节点中的数值信息构建全量指标数据表,即一张聚合了全量指标数据的宽表,在本实施例中可基于该宽表进行溯源数据的计算。例如,基于各个配送站站点对应的准时率数据确定各个配送站站点分别对应的指标树,然后根据各个配送站站点对应的指标树构建指标树集合以及全量指标数据表,然后实现将配送准时率数据存储至预设数据库中。
通过上述实施例,根据指标树中各个指标节点的数值信息构建全量指标数据表,根据全量指标数据表以及指标树,将业务数据存储至预设数据库实现了对业务数据数值的全部汇总,通过指标数确定了业务数据之间依赖关系。
可选地,在本实施例中,根据全量指标数据表以及指标树,将业务数据存储至预设数据库包括但不限于:获取全量指标数据表中的指标数据;确定指标树中的各个指标节点之间的依赖关系;根据依赖关系以及指标数据,确定业务数据在预设数据库中的根节点以及边节点;根据根节点以及边节点将全量指标数据表存储至预设数据库。
具体地,在本实施例中,通过全量指标数据表的指标数据获取各个指标的数值,根据指标节点的指标数据以及规则结果确定业务数据在预设数据库中对应的根节点;然后根据指标数据中各个指标节点之间的依赖关系确定业务数据在预设数据库中对应的边节点,由此,通过边节点以及根节点获取业务数据在预设数据库中存储的数据模型。然后根据确定的根节点以及边节点将全量指标数据表中的数值对应存储至预设数据库中,将指标数据的数值以及规则结果写入预设数据库中的根节点对应的位置,将指标节点之间的依赖关系写入至预设数据库中的边节点对应的位置。
在一个例子中,以预设数据库为JanusGraph图库为例,如图3所示,业务数据的存储过程具体可以包括以下步骤:
S301,读取全量指标数据表中的每行数据;
具体地,读取业务数据对应全量指标数据表中每行数据的数值。
S302,从元数据管理平台中加载指标树集合;
具体地,指标树集合中包括业务数据对应的多个指标树,每个指标树中包括具有依赖关系的多个指标节点,每个指标节点中包括指标数据。
S303,从预设规则平台中加载规则库;
具体地,规则库中包括指标节点中各种指标数据对应的数据规则。
S304,回溯每棵指标树;
具体地,根据指标树中的依赖关系确定对应的回溯路径。
S305,根据回溯路径上指标节点中的元数据信息获取指标数据的数值;
具体地,根据指标节点之间的依赖关系,依次获取指标数据的元数据信息中的数值,并记录指标节点之间的依赖关系。
S306,根据回溯路径上节点规则元数据信息计算规则结果;
具体地,元数据信息对应的规则元数据信息对元数据信息进行校验计算,对不符合与之对应的规则的元数据信息,发出报警。规则元数据信息计算的规则结果,符合规则元数据信息的指标数据的规则结果为1,不符合则元数据信息的指标数据的规则结果为0。
S307,指标数据的数值及规则结果写入JanusGraph图库顶点;
具体地,将指标数据的数值以及规则结果写入至JanusGraph图库的顶点位置。
S308,指标节点之间的依赖关系写入JanusGraph图库的边。
具体地,将指标节点之间的依赖关系写入至JanusGraph图库的边位置。
通过上述实施例,获取全量指标数据表中的指标数据;确定指标树中的各个指标节点之间的依赖关系;根据依赖关系以及指标数据,确定业务数据在预设数据库中的根节点以及边节点;根据根节点以及边节点将全量指标数据表存储至预设数据库。在将业务数据存储至预设数据库的过程中,实现了对业务数据的溯源。
可选地,在本实施例中,在确定指标树中的各个指标节点之间的依赖关系之后,还包括但不限于:获取多个指标节点的元数据规则信息;根据元数据规则信息确定指标数据的规则结果;在预设数据库中展示规则结果。
具体地,在将业务数据存储至预设数据库的过程中,根据元数据信息对应的规则元数据信息对元数据信息进行校验计算,对不符合与之对应的规则的元数据信息,发出报警。具体地步骤参见上述步骤S303-S306,在此不做赘述。
通过上述实施例,通过在预设数据库中展示规则结果,基于数据的业务规则对数据进行规则校验,实现了引用嵌入式规则引擎的来进行规则的计算,提高了规则的执行效率。
通过本实施例,构建与业务数据对应的指标树,其中,指标树包括多个指标节点,指标节点中包括业务数据对应的元数据信息;将指标树中的元数据信息存储至预设数据库中;在预设数据库中对业务数据进行溯源,并展示溯源结果,达到了将业务数据转换为元数据存储至预设数据库中,在预设数据库中对业务数据进行溯源的目的,从而实现了提高在大规模数据集下的快速溯源的技术效果,进而解决了相关技术中大规模数据场景下数据溯源效率低的技术问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述数据溯源方法的数据溯源系统,如图4所示,该装置包括:
1)处理单元40,用于构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;
2)存储单元42,用于将所述指标树中的元数据信息存储至预设数据库中;
3)展示单元44,用于在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
可选地,在本实施例中,所述处理单元40包括:
1)展示模块,用于在预设页面中展示预设数据模板,其中,所述预设数据模板包括指标节点之间的依赖关系、所述元数据信息的指标元数据;
2)第一确定模块,用于根据输入至预设数据模板中的业务数据确定所述指标节点对应的指标元数据信息;
3)加载模块,用于从预设规则平台中加载所述指标元数据对应的规则元数据信息;
4)第二确定模块,用于根据所述指标元数据信息以及规则元数据信息确定所述指标节点的元数据信息。
可选地,在本实施例中,所述存储单元42包括:
1)处理模块,用于根据所述指标树中各个指标节点的数值信息构建全量指标数据表;
2)存储模块,用于根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库。
可选地,在本实施例中,所述存储模块包括:
1)第一获取子模块,用于获取所述全量指标数据表中的指标数据;
2)第一确定子模块,用于确定所述指标树中的各个指标节点之间的依赖关系;
3)第二确定子模块,用于根据所述依赖关系以及所述指标数据,确定所述业务数据在所述预设数据库中的根节点以及边节点;
4)存储子模块,用于根据所述根节点以及所述边节点将所述全量指标数据表存储至所述预设数据库。
可选地,在本实施例中,所述存储模块还包括:
1)第二获取子模块,用于获取所述多个指标节点的元数据规则信息;
2)第三确定子模块,用于根据所述元数据规则信息确定所述指标数据的规则结果;
3)展示子模块,用于在所述预设数据库中展示所述规则结果。
通过本实施例提出的数据溯源系统,构建与业务数据对应的指标树,其中,指标树包括多个指标节点,指标节点中包括业务数据对应的元数据信息;将指标树中的元数据信息存储至预设数据库中;在预设数据库中对业务数据进行溯源,并展示溯源结果,达到了将业务数据转换为元数据存储至预设数据库中,在预设数据库中对业务数据进行溯源的目的,从而实现了提高在大规模数据集下的快速溯源的技术效果,进而解决了相关技术中大规模数据场景下数据溯源效率低的技术问题。
实施例3
根据本发明实施例,还提供了一种电子设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如实施例1所述的数据溯源方法的步骤。
可选地,在本实施例中,存储器被设置为存储用于执行以下步骤的程序代码:
S1,构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;
S2,将所述指标树中的元数据信息存储至预设数据库中;
S3,在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
可选地,本实施例中的具体示例可以参考上述实施例1中所描述的示例,本实施例在此不再赘述。
通过本实施例提出的电子设备,构建与业务数据对应的指标树,其中,指标树包括多个指标节点,指标节点中包括业务数据对应的元数据信息;将指标树中的元数据信息存储至预设数据库中;在预设数据库中对业务数据进行溯源,并展示溯源结果,达到了将业务数据转换为元数据存储至预设数据库中,在预设数据库中对业务数据进行溯源的目的,从而实现了提高在大规模数据集下的快速溯源的技术效果,进而解决了相关技术中大规模数据场景下数据溯源效率低的技术问题。
实施例4
本发明的实施例还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如实施例1所述的数据溯源方法的步骤。
可选地,在本实施例中,可读存储介质被设置为存储用于执行以下步骤的程序代码:
S1,构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;
S2,将所述指标树中的元数据信息存储至预设数据库中;
S3,在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
可选地,存储介质还被设置为存储用于执行上述实施例1中的方法中所包括的步骤的程序代码,本实施例中对此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据溯源方法,其特征在于,包括:
构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;
将所述指标树中的元数据信息存储至预设数据库中;
在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
2.根据权利要求1所述的方法,其特征在于,构建与业务数据对应的指标树包括:
在预设页面中展示预设数据模板,其中,所述预设数据模板包括指标节点之间的依赖关系、所述元数据信息的指标元数据;
根据输入至预设数据模板中的业务数据确定所述指标节点对应的指标元数据信息;
从预设规则平台中加载所述指标元数据对应的规则元数据信息;
根据所述指标元数据信息以及规则元数据信息确定所述指标节点的元数据信息。
3.根据权利要求2所述的方法,其特征在于,将所述元数据信息存储至预设数据库中包括:
根据所述指标树中各个指标节点的数值信息构建全量指标数据表;
根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库。
4.根据权利要求3所述的方法,其特征在于,根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库包括:
获取所述全量指标数据表中的指标数据;
确定所述指标树中的各个指标节点之间的依赖关系;
根据所述依赖关系以及所述指标数据,确定所述业务数据在所述预设数据库中的根节点以及边节点;
根据所述根节点以及所述边节点将所述全量指标数据表存储至所述预设数据库。
5.根据权利要求3所述的方法,其特征在于,在确定所述指标树中的各个指标节点之间的依赖关系之后,还包括:
获取所述多个指标节点的元数据规则信息;
根据所述元数据规则信息确定所述指标数据的规则结果;
在所述预设数据库中展示所述规则结果。
6.一种数据溯源系统,其特征在于,包括:
处理单元,用于构建与业务数据对应的指标树,其中,所述指标树包括多个指标节点,所述指标节点中包括所述业务数据对应的元数据信息;
存储单元,用于将所述指标树中的元数据信息存储至预设数据库中;
展示单元,用于在所述预设数据库中对所述业务数据进行溯源,并展示溯源结果。
7.根据权利要求6所述的系统,其特征在于,所述处理单元包括:
展示模块,用于在预设页面中展示预设数据模板,其中,所述预设数据模板包括指标节点之间的依赖关系、所述元数据信息的指标元数据;
第一确定模块,用于根据输入至预设数据模板中的业务数据确定所述指标节点对应的指标元数据信息;
加载模块,用于从预设规则平台中加载所述指标元数据对应的规则元数据信息;
第二确定模块,用于根据所述指标元数据信息以及规则元数据信息确定所述指标节点的元数据信息。
8.根据权利要求7所述的系统,其特征在于,所述存储单元包括:
处理模块,用于根据所述指标树中各个指标节点的数值信息构建全量指标数据表;
存储模块,用于根据所述全量指标数据表以及所述指标树,将所述业务数据存储至所述预设数据库。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5所述的数据溯源方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5所述的数据溯源方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011641032.1A CN114691678A (zh) | 2020-12-31 | 2020-12-31 | 溯源数据存储方法以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011641032.1A CN114691678A (zh) | 2020-12-31 | 2020-12-31 | 溯源数据存储方法以及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114691678A true CN114691678A (zh) | 2022-07-01 |
Family
ID=82135418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011641032.1A Pending CN114691678A (zh) | 2020-12-31 | 2020-12-31 | 溯源数据存储方法以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114691678A (zh) |
-
2020
- 2020-12-31 CN CN202011641032.1A patent/CN114691678A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108733713B (zh) | 数据仓库中的数据查询方法及装置 | |
US11741059B2 (en) | System and method for extracting a star schema from tabular data for use in a multidimensional database environment | |
CN110472068B (zh) | 基于异构分布式知识图谱的大数据处理方法、设备及介质 | |
CN107533570B (zh) | 用于从表格数据自动推断立方体模式的系统和方法 | |
CN108536761A (zh) | 报表数据查询方法及服务器 | |
CN112559554A (zh) | 一种查询语句优化方法及装置 | |
CN107015987B (zh) | 一种更新和搜索数据库的方法及设备 | |
CN110765750B (zh) | 报表数据录入方法及终端设备 | |
CN113220728B (zh) | 数据查询方法、装置、设备和存储介质 | |
CN111324781A (zh) | 一种数据分析方法、装置及设备 | |
CN108763341B (zh) | 电子装置、自动化建表方法及存储介质 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN112328275A (zh) | 用于核电厂的数据更新方法、装置、终端设备和存储介质 | |
CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
CN110442653A (zh) | 增量构建cube模型的方法、装置、服务器及存储介质 | |
CN110362540B (zh) | 一种数据存储、访客数获取方法及装置 | |
CN116719822A (zh) | 一种海量结构化数据的存储方法及系统 | |
US20130124484A1 (en) | Persistent flow apparatus to transform metrics packages received from wireless devices into a data store suitable for mobile communication network analysis by visualization | |
CN115757174A (zh) | 一种数据库的差异检测方法及装置 | |
CN114691678A (zh) | 溯源数据存储方法以及系统 | |
CN114860759A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN114860851A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
CN113722296A (zh) | 一种农业信息处理方法、装置、电子设备及存储介质 | |
CN109840213B (zh) | 一种gui测试的测试数据创建方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |