CN112307041A - 指标维度建模方法、装置和计算机可读介质 - Google Patents
指标维度建模方法、装置和计算机可读介质 Download PDFInfo
- Publication number
- CN112307041A CN112307041A CN202011180002.5A CN202011180002A CN112307041A CN 112307041 A CN112307041 A CN 112307041A CN 202011180002 A CN202011180002 A CN 202011180002A CN 112307041 A CN112307041 A CN 112307041A
- Authority
- CN
- China
- Prior art keywords
- index
- dimension
- target
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013523 data management Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了本发明实施例提供了指标维度建模方法、装置和计算机可读介质,该方法包括:根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息;根据预先针对维度的定义,从业务数据中提取至少一个维度信息;根据提取到的至少一个维度信息,生成至少一张维度表,其中,维度表包括维度表编号和维度表名称;根据至少一个指标信息和至少一张维度表,创建指标表,其中,指标表中的一个指标信息通过维度表编号与一张维度表关联;根据创建的指标表,利用数据管理平台DMP进行指标维度模型创建,通过ETL定时地将源表映射到目标表中,以能够定时更新指标维度模型。本方案能够实现数据在指标维度模型中的实时更新。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及指标维度建模方法、装置和计算机可读介质。
背景技术
随着信息系统的应用,数据仓库技术正在逐步应用于高效的数据管理以及进一步的数据分析和挖掘,通过数据仓库技术对预知的数据类型进行维度划分,并据此设计相应的多个维度表和事实表(即要度量的指标表)来描述数据,如此可以直观展示各项业务数据所反映的问题。
目前,现有的维度建模在出现新增、删除和变更操作时,需要更改维度表结构,并调整相应的数据管理功能,才可以进行数据表列的新增、删除和修改操作。而在以维度建模为基础的指标体系构建过程中,往往会出现指标频繁变动的情况,并且由于业务的扩展和变化,常常会出现新的指标或维度,需要调整维度表结构,如此增大了后续在指标体系构建过程中实时更新数据的难度。
发明内容
本发明实施例提供了指标维度建模方法、装置和计算机可读介质,能够实现数据在指标维度模型中的实时更新。
第一方面,本发明提供了指标维度建模方法,包括:
根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息;
根据预先针对维度的定义,从所述业务数据中提取至少一个维度信息;
根据提取到的所述至少一个维度信息,生成至少一张维度表,其中,所述维度表包括维度表编号和维度表名称;
根据所述至少一个指标信息和所述至少一张维度表,创建指标表,其中,所述指标表中的一个所述指标信息通过维度表编号与一张所述维度表关联,多个所述指标信息能够关联相同的一张所述维度表,所述指标表在外部命令的触发下,跳转至对应关联的维度表;
根据创建的所述指标表,利用数据管理平台DMP进行指标维度模型创建,其中,所述指标维度模型中包括:数据来源、维度表、指标表、源表和目标表;
通过ETL定时地将源表映射到目标表中,以能够定时更新所述指标维度模型。
可选地,所述通过ETL定时地将源表映射到目标表中,以能够定时更新所述指标维度模型,包括:
通过时间戳确定在所述ETL绑定的定时任务中获取到的至少一个目标源表,其中,所述定时任务用于获取用户在定时时长内上传的每一个所述目标源表;
通过所述ETL从每一个所述目标源表中提取至少一个指标信息和至少一个维度信息,以转移到所述目标表中生成与该目标源表相对应的待更新目标表,其中,所述目标表的形式与所述指标表的形式一致;
将每一个所述待更新目标表添加至所述指标表中,以更新所述指标维度模型。
可选地,所述利用数据管理平台DMP进行指标维度模型创建,包括:
所述数据管理平台DMP包括临时存储层、数据仓库层和数据集市层;
利用所述临时存储层存储所述指标维度模型中的所述源表,其中,所述源表包括有至少一项业务数据;
利用所述数据仓库层存储所述指标维度模型中的所述维度表、所述指标表和所述目标表,其中,所述目标表的形式与所述指标表一致,且所述目标表由所述临时存储层的所述源表提取得到;
根据所述维度表、所述指标表和所述目标表,利用所述数据集市层创建指标维度模型,并对所述指标维度模型进行存储。
可选地,所述根据所述至少一个指标信息和所述至少一张维度表,创建指标表,包括:
按照行存储模式,将每一个所述指标信息和与该指标信息相关联的维度表编号存储在行,创建指标表。
可选地,在所述通过ETL定时地将源表映射到目标表中,以能够定时更新所述指标维度模型之后,进一步包括:
通过SQL语句将所述指标维度模型进行转换,以得到所述指标维度模型中所述业务数据的可视化数据状态。
第二方面,本发明提供了指标维度建模装置,包括:提取模块、生成模块、第一创建模块、第二创建模块和更新模块;
所述提取模块,用于根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息,以及根据预先针对维度的定义,从所述业务数据中提取至少一个维度信息;
所述生成模块,用于根据所述提取模块所提取到的所述至少一个维度信息,生成至少一张维度表,其中,所述维度表包括维度表编号和维度表名称;
所述第一创建模块,用于根据所述提取模块所提取到的所述至少一个指标信息和所述生成模块所生成的所述至少一张维度表,创建指标表,其中,所述指标表中的一个所述指标信息通过维度表编号与一张所述维度表关联,多个所述指标信息能够关联相同的一张所述维度表,所述指标表在外部命令的触发下,跳转至对应关联的维度表;
所述第二创建模块,用于根据所述第一创建模块所创建的所述指标表,利用数据管理平台DMP进行指标维度模型创建,其中,所述指标维度模型中包括:数据来源、维度表、指标表、源表和目标表;
所述更新模块,用于通过ETL定时地将所述第二创建模块所创建的所述指标维度模型中的所述源表映射到所述目标表中,以能够定时更新所述指标维度模型。
可选地,所述更新模块包括:获取单元、生成单元和更新单元;
所述获取单元,用于通过时间戳确定在所述ETL绑定的定时任务中获取到的至少一个目标源表,其中,所述定时任务用于获取用户在定时时长内上传的每一个所述目标源表;
所述生成单元,用于通过所述ETL从所述获取单元确定的每一个所述目标源表中提取至少一个指标信息和至少一个维度信息,以转移到所述目标表中生成与该目标源表相对应的待更新目标表,其中,所述目标表的形式与所述指标表的形式一致;
所述更新单元,用于将所述生成单元所生成的每一个所述待更新目标表添加至所述指标表中,以更新所述指标维度模型。
可选地,所述第二创建模块包括第一存储单元和第二存储单元:
所述第一存储单元,用于利用所述数据管理平台DMP中的临时存储层存储所述指标维度模型中的所述源表,其中,所述源表包括有至少一项业务数据;
所述第二存储单元,用于利用所述数据管理平台DMP中的数据仓库层存储所述指标维度模型中的所述维度表、所述指标表和所述目标表,其中,所述目标表的形式与所述指标表一致,且所述目标表由所述临时存储层的所述源表提取得到;
所述第三存储单元,用于根据所述维度表、所述指标表和所述目标表,利用所述数据管理平台DMP中的数据集市层创建指标维度模型,并对所述指标维度模型进行存储。
第三方面,本发明提供了指标维度建模装置,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行第一方面任一项所述的方法。
第四方面,本发明提供了指标维度建模装置,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行第一方面任一项所述的方法。
本发明提供了指标维度建模方法、装置和计算机可读介质,该方法通过从业务数据中提取指标信息和维度信息,以根据维度信息生成维度表,并根据指标信息与维度表创建指标表,指标表中的指标信息通过维度表编号与维度表相关联,最终根据该指标表利用数据管理平台DMP创建指标维度模型,并通过ETL定时更新该指标表模型。综上可见,指标表通过维度编号与维度表进行关联,如此多个指标信息可以引用同一维度表的数据,提高了维度表的复用性,通过该方法所创建的指标维度模型,无需在新增指标信息时更改表的数据结构,仅通过ETL就能完成该指标维度模型的定时更新,极大方便了后续指标数据信息的维护和扩展,因此能够实现数据在指标维度模型中的实时更新。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种指标维度建模方法的流程图;
图2是本发明一个实施例提供的一种指标维度建模装置所在设备的示意图;
图3是本发明一实施例提供的一种指标维度建模装置的示意图;
图4是本发明一实施例提供的另一种指标维度建模方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了指标维度建模方法,该方法可以包括以下步骤:
步骤101:根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息;
步骤102:根据预先针对维度的定义,从业务数据中提取至少一个维度信息;
步骤103:根据提取到的至少一个维度信息,生成至少一张维度表,其中,维度表包括维度表编号和维度表名称;
步骤104:根据至少一个指标信息和至少一张维度表,创建指标表,其中,指标表中的一个指标信息通过维度表编号与一张维度表关联,多个指标信息能够关联相同的一张维度表,指标表在外部命令的触发下,跳转至对应关联的维度表;
步骤105:根据创建的指标表,利用数据管理平台DMP进行指标维度模型创建,其中,指标维度模型中包括:数据来源、维度表、指标表、源表和目标表;
步骤106:通过ETL定时地将源表映射到目标表中,以能够定时更新指标维度模型。
本发明实施例提供的指标维度建模方法,通过从业务数据中提取指标信息和维度信息,以根据维度信息生成维度表,并根据指标信息与维度表创建指标表,指标表中的指标信息通过维度表编号与维度表相关联,最终根据该指标表利用数据管理平台DMP创建指标维度模型,并通过ETL定时更新该指标表模型。综上可见,指标表通过维度编号与维度表进行关联,如此多个指标信息可以引用同一维度表的数据,提高了维度表的复用性,通过该方法所创建的指标维度模型,无需在新增指标信息时更改表的数据结构,仅通过ETL就能完成该指标维度模型的定时更新,极大方便了后续指标数据信息的维护和扩展,因此能够实现数据在指标维度模型中的实时更新。
在本发明实施例中,指标为对当前业务有参考价值的衡量目标的参数,可统计,可记录,可被观测。其中,可以从业务系统的业务数据中提取指标,也可以从业务需求中提取指标。每一个指标对应有零个或多个维度,从不同的维度分析,可以反映出该指标的不同业务含义。
例如,在建筑行业财务共享业务数据中,指标划分为两个主题:财务共享整体情况和财务共享运营情况,其中,财务共享整体情况包括的指标有标准单数量(时间、单据类型)、单据流转时效(时间、单据状态)、共享单据分布情况(时间、单据类型)、税务分布情况(时间、发票类型)、资金收支情况(时间、收支类型)、共享稽核结算分布情况(时间、稽核结算类型)、系统用户数(时间)、在线用户数(时间)、核算单位数量(时间)、项目分布情况(时间)和凭证及影像数量(时间、类型),财务共享运营情况包括的指标有成立时间、业务单据入池情况(时间、时间类型)、退回情况(时间、退回情况)、业务组分布情况(时间、业务组)、绩效分析(时间、绩效维度)、付款方式分布(时间、付款方式),其中,各指标括号中对应为该指标的维度信息。比如,指标为标准单数量,该指标有时间和单据类型两个维度。
在本发明实施例中,根据提取到的至少一个维度信息,生成至少一张维度表,该维度表用于存放指标的维度数据,维度表包括维度表编号和维度表名称,指标表中只包含维度表编号,通过编号和维度表进行关联。如此,多个指标可以引用同一个维度的数据,提高了维度表的复用性;利用维度建模中的缓慢变化维,可以记录多个历史版本;在指标表关联维度表时,指标表中每个预留字段都可以关联同一维度表,提高了维度表的可用性。
在本发明实施例中,根据至少一个指标信息和至少一张维度表,创建指标表,该指标表用于存放指标数据,指标表中包括有指标信息和维度编号,如此指标信息通过维度表编号与一张维度表关联,多个指标信息能够关联相同的一张维度表,而且指标表在外部命令的触发下,可以跳转至对应关联的维度表,以便查看具体的维度数据。由此可见,指标表中通过存储可以触发的维度表编号,极大地简化了指标表的结构,降低了后续对指标表进行维护和扩展的难度。
可选地,在图1所示指标维度建模方法中,步骤106通过ETL定时地将源表映射到目标表中,以能够定时更新指标维度模型,包括:
通过时间戳确定在ETL绑定的定时任务中获取到的至少一个目标源表,其中,定时任务用于获取用户在定时时长内上传的每一个目标源表;
通过ETL从每一个目标源表中提取至少一个指标信息和至少一个维度信息,以转移到目标表中生成与该目标源表相对应的待更新目标表,其中,目标表的形式与指标表的形式一致;
将每一个待更新目标表添加至指标表中,以更新指标维度模型。
需要说明的是,ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
在本发明实施例中,ETL绑定定时任务,通过时间戳确定在该定时时长内中获取到的目标源表,并在到达该时长时,通过ETL从目标源表中提取至少一个指标信息和至少一个维度信息,以转移到目标表中生成与该目标源表相对应的待更新目标表,该待更新目标表的形式与指标表的形式一致,将待更新目标表添加至指标表中,完成指标维度模型的更新。如此,在不用调整表结构的基础上,既保留了原有指标表中的指标数据,又增加了新的指标数据,使得指标数据易维护、可扩展、高复用,实现了指标维度模型中数据的实时更新。
可选地,在图1所示指标维度建模方法中,步骤105利用数据管理平台DMP进行指标维度模型创建,包括:
数据管理平台DMP包括临时存储层、数据仓库层和数据集市层;
利用临时存储层存储指标维度模型中的源表,其中,源表包括有至少一项业务数据;
利用数据仓库层存储指标维度模型中的维度表、指标表和目标表,其中,目标表的形式与指标表一致,且目标表由临时存储层的源表提取得到;
根据维度表、指标表和目标表,利用数据集市层创建指标维度模型,并对指标维度模型进行存储。
在本发明实施例中,数据管理平台DMP中的临时存储层(ODS层)存储与指标维度模型对应的源表,并在DMP中的数据仓库层(DW层)存储维度表、指标表和目标表,最终在DMP中的数据集市层(DM层)将维度表、指标表和目标表组合,获得指标维度模型,其中,通过指标维度模型中的数据来源便可以直接触发与指标维度模型关联的维度表。如此通过DMP将不同的数据分层,DW层通过获取ODS层中源表中的数据可以获得与指标表形式一致的目标表,实现源表中业务数据的处理,有效提高数据获取、统计和分析的效率;DM层可以通过DW层中的数据创建指标维度模型,将复杂的问题简单化,提高了数据的可维护性,同时基于ETL可以实现从ODS层到DW层再到DM层的数据同步,降低了对指标维度模型中的数据进行实时更新的难度。
例如,接前例所述,ODS层中包括的源表有业务单据信息表、发票信息表、共享单据信息表、项目信息表、入池信息表、业务组单据表、初审信息表、审批信息表、结算信息表等。
可选地,在图1所示指标维度建模方法中,步骤104根据至少一个指标信息和至少一张维度表,创建指标表,包括:
按照行存储模式,将每一个指标信息和与该指标信息相关联的维度表编号存储在行,创建指标表。
在本发明实施例中,指标表中的指标数据采用行存储的模式,存储在行,每行对应一条指标数据,包括有指标编号和指标名称等指标信息以及指标维度所在维度表的维度表编号,在外部命令的触发下通过维度表编号,可以跳转至对应关联的维度表中。通过采用行存储的模式,便于在行中选取该指标数据的所有信息,且有利于对指标数据进行增加、删除、改正和查询等操作,同时不会改变指标表的结构,因此能够降低在指标表中更新数据的难度。
可选地,在图1所示指标维度建模方法中,在步骤106通过ETL定时地将源表映射到目标表中,以能够定时更新指标维度模型之后,进一步包括:
通过SQL语句将指标维度模型进行转换,以得到指标维度模型中业务数据的可视化数据状态。
在本发明实施例中,在获得更新后的指标维度模型后,通过SQL语句将标维度模型进行转换,以获得指标信息在列的数据模型,使指标维度模型中业务数据的呈现可视化的数据状态,便于用户直观查看相关业务数据并进行初步分析。
例如,接前例所述,对建筑行业财务共享业务数据中财务共享整体情况构建的指标维度模型,通过SQL语句将标维度模型进行转换,可以得到针对该指标维度模型的整体指标看板,包含系统用户数、在线用户数、核算单位数量、还有建筑行业特色的项目数量,业务单据分布反映了近半年内各类业务单据的数量情况;资金收支情况反映了近半年资金收支的笔数;税务信息反映了发票分布情况,即专票、普票的占比,以及开票、申请、税跨报的笔数信息;共享单据的业务量,反映了单据在稽核、结算不同状态下的数量情况;凭证及影像情况反映了近半年内凭证和影像的变化情况。通过整体看板,用户可以清楚直观地了解到财务共享的整体情况。
如图2、图3所示,本发明实施例提供了指标维度建模装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图2所示,为本发明实施例提供的指标维度建模装置所在设备的一种硬件结构图,除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图3所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的指标维度建模装置,包括:提取模块301、生成模块302、第一创建模块303、第二创建模块304和更新模块305;
提取模块301,用于根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息,以及根据预先针对维度的定义,从业务数据中提取至少一个维度信息;
生成模块302,用于根据提取模块301所提取到的至少一个维度信息,生成至少一张维度表,其中,维度表包括维度表编号和维度表名称;
第一创建模块303,用于根据提取模块301所提取到的至少一个指标信息和生成模块302所生成的至少一张维度表,创建指标表,其中,指标表中的一个指标信息通过维度表编号与一张维度表关联,多个指标信息能够关联相同的一张维度表,指标表在外部命令的触发下,跳转至对应关联的维度表;
第二创建模块304,用于根据第一创建模块303所创建的指标表,利用数据管理平台DMP进行指标维度模型创建,其中,指标维度模型中包括:数据来源、维度表、指标表、源表和目标表;
更新模块305,用于通过ETL定时地将第二创建模块304所创建的指标维度模型中的源表映射到目标表中,以能够定时更新指标维度模型。
可选地,在图3所示指标维度建模装置的基础上,更新模块305包括:获取单元、生成单元和更新单元;
获取单元,用于通过时间戳确定在ETL绑定的定时任务中获取到的至少一个目标源表,其中,定时任务用于获取用户在定时时长内上传的每一个目标源表;
生成单元,用于通过ETL从获取单元确定的每一个目标源表中提取至少一个指标信息和至少一个维度信息,以转移到目标表中生成与该目标源表相对应的待更新目标表,其中,目标表的形式与指标表的形式一致;
更新单元,用于将生成单元所生成的每一个待更新目标表添加至指标表中,以更新指标维度模型。
可选地,在图3所示指标维度建模装置的基础上,第二创建模块304包括第一存储单元、第二存储单元和第三存储单元:
第一存储单元,用于利用数据管理平台DMP中的临时存储层存储指标维度模型中的源表,其中,源表包括有至少一项业务数据;
第二存储单元,用于利用数据管理平台DMP中的数据仓库层存储指标维度模型中的维度表、指标表和目标表,其中,目标表的形式与指标表一致,且目标表由临时存储层的源表提取得到;
第三存储单元,用于根据维度表、指标表和目标表,利用数据管理平台DMP中的数据集市层创建指标维度模型并对所述指标维度模型进行存储。
可选地,在图3所示指标维度建模装置的基础上,第一创建模块303还用于按照行存储模式,将每一个指标信息和与该指标信息相关联的维度表编号存储在行,创建指标表。
可选地,在图3所示指标维度建模装置的基础上,该装置进一步包括:转换模块,转换模块用于通过SQL语句将指标维度模型进行转换,以得到指标维度模型中业务数据的可视化数据状态。
上述装置内的各模块、各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
为了更加清楚地说明本发明的技术方案及优点,如图4所示,下面对本发明实施例提供的指标维度建模方法进行详细的说明,具体包括:
步骤401:根据预先针对指标和维度的定义,从业务系统的业务数据中提取至少一个指标信息和至少一个维度信息。
例如,接前例所述,在建筑行业财务共享业务数据中,提取指标信息为标准单数量、单据流转时效和共享单据分布情况等,提取标准单数量的维度信息为时间、单据类型;提取单据流转时效的维度信息为时间、单据状态;提取共享单据分布情况的维度信息为时间、单据类型。
步骤402:根据提取到的至少一个维度信息,生成至少一张维度表。
具体地,维度表包括维度表编号和维度表名称,维度表用于存放维度数据,多个指标信息可以引用同一张维度表。
例如,接前例所述,一个维度表的编号为1,名称为单据信息表,其中包括时间、单据类型和单据状态的维度数据,指标信息为标准单数量、单据流转时效和共享单据分布情况时都可以引用维度表1。
步骤403:根据至少一个指标信息和至少一张维度表,创建指标表。
具体地,按照行存储模式,将每一个指标信息和与该指标信息相关联的维度表编号存储在行,创建指标表。指标表中的一个指标信息通过维度表编号与一张维度表关联,多个指标信息能够关联相同的一张维度表,指标表在外部命令的触发下,跳转至对应关联的维度表。
例如,接前例所述,存储在行的一条指标数据中包括指标编号、指标名称、指标的维度和指标的量度值,其中,指标表中预留了三个用于存放维度编号的维度列,指标表中预留了三个度量列,如此可以提高指标表的复用,后续指标变动也无需调整指标表的结构,降低对现有指标表中数据的影响。
步骤404:根据指标表,利用数据管理平台DMP进行指标维度模型创建。
具体地,指标维度模型中包括:数据来源、维度表、指标表、源表和目标表,数据管理平台DMP包括临时存储层、数据仓库层和数据集市层;利用临时存储层(ODS层)存储指标维度模型中的源表,源表包括有至少一项业务数据;利用数据仓库层(DW层)存储指标维度模型中的维度表、指标表和目标表,其中,目标表的形式与指标表一致,目标表由临时存储层的源表提取得到;根据维度表、指标表和目标表,利用数据集市层(DM层)创建指标维度模型,并对指标维度模型进行存储。
步骤405:通过时间戳确定在ETL绑定的定时任务中获取到的至少一个目标源表。
具体地,定时任务用于获取用户在定时时长内上传的每一个目标源表;在达到该定时时长后,获取在该定时时长内上传的每一个源表(即目标源表),并存储在临时存储层(ODS层)。
例如,接前例所述,定时任务为获取用户在一周内上传的关于该建筑行业财务共享整体情况的所有源表(即目标源表),将ETL与该定时任务绑定,在一周(即定时时长)过后,获取该定时任务确定的10个源表,并存储在ODS层。
步骤406:通过ETL生成与目标源表相对应的待更新目标表。
具体地,通过ETL从定时任务中获取的每一个目标源表中提取至少一个指标信息和至少一个维度信息,以转移至数据仓库层(DW层)的目标表中生成与该目标源表相对应的待更新目标表,同时生成与该待更新目标表对应的维度表,其中,每一个待更新目标表的形式与指标表的形式一致。
例如,接前例所述,通过ETL从10个源表中提取指标信息和维度信息,以转移至数据仓库层(DW层)的目标表中生成与该10个源表相对应的10个待更新目标表,同时生成与每个待更新目标表对应的维度表。
步骤407:将每一个待更新目标表添加至指标表中,以更新指标维度模型。
具体地,通过ETL把数据仓库层(DW层)存储的维度表、待更新目标表和指标表进行组合创建为新的指标维度模型,即实现对指标维度模型的定时更新。
例如,接前例所述,通过ETL把数据仓库层(DW层)存储的10个待更新目标表及其相对应的维表与现有的指标表进行组合,获得新的指标维度模型,即实现指标维度模型在最近一周内的更新。
步骤408:将指标维度模型中的业务数据转换为可视化的数据状态。
具体地,通过SQL语句将指标维度模型进行转换,以得到指标维度模型中业务数据的可视化数据状态。
本发明实施例还提供了指标维度建模装置,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行本发明任一实施例所述的方法。
本发明实施例还提供了指标维度建模装置,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行本发明任一实施例所述的方法。
可以理解的是,本发明实施例示意的结构并不构成对指标维度建模装置的具体限定。在本发明的另一些实施例中,指标维度建模装置可以包括比图示更多或者更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
本发明实施例还提供了一种计算机可读介质,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行本发明任一实施例中的指标维度建模方法。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.指标维度建模方法,其特征在于,包括:
根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息;
根据预先针对维度的定义,从所述业务数据中提取至少一个维度信息;
根据提取到的所述至少一个维度信息,生成至少一张维度表,其中,所述维度表包括维度表编号和维度表名称;
根据所述至少一个指标信息和所述至少一张维度表,创建指标表,其中,所述指标表中的一个所述指标信息通过维度表编号与一张所述维度表关联,多个所述指标信息能够关联相同的一张所述维度表,所述指标表在外部命令的触发下,跳转至对应关联的维度表;
根据创建的所述指标表,利用数据管理平台DMP进行指标维度模型创建,其中,所述指标维度模型中包括:数据来源、维度表、指标表、源表和目标表;
通过ETL定时地将源表映射到目标表中,以能够定时更新所述指标维度模型。
2.根据权利要求1所述的指标维度建模方法,其特征在于,所述通过ETL定时地将源表映射到目标表中,以能够定时更新所述指标维度模型,包括:
通过时间戳确定在所述ETL绑定的定时任务中获取到的至少一个目标源表,其中,所述定时任务用于获取用户在定时时长内上传的每一个所述目标源表;
通过所述ETL从每一个所述目标源表中提取至少一个指标信息和至少一个维度信息,以转移到所述目标表中生成与该目标源表相对应的待更新目标表,其中,所述目标表的形式与所述指标表的形式一致;
将每一个所述待更新目标表添加至所述指标表中,以更新所述指标维度模型。
3.根据权利要求1所述的指标维度建模方法,其特征在于,所述利用数据管理平台DMP进行指标维度模型创建,包括:
所述数据管理平台DMP包括临时存储层、数据仓库层和数据集市层;
利用所述临时存储层存储所述指标维度模型中的所述源表,其中,所述源表包括有至少一项业务数据;
利用所述数据仓库层存储所述指标维度模型中的所述维度表、所述指标表和所述目标表,其中,所述目标表的形式与所述指标表一致,且所述目标表由所述临时存储层的所述源表提取得到;
根据所述维度表、所述指标表和所述目标表,利用所述数据集市层创建指标维度模型,并对所述指标维度模型进行存储。
4.根据权利要求1所述的指标维度建模方法,其特征在于,所述根据所述至少一个指标信息和所述至少一张维度表,创建指标表,包括:
按照行存储模式,将每一个所述指标信息和与该指标信息相关联的维度表编号存储在行,创建指标表。
5.根据权利要求1至4中任一所述的指标维度建模方法,其特征在于,在所述通过ETL定时地将源表映射到目标表中,以能够定时更新所述指标维度模型之后,进一步包括:
通过SQL语句将所述指标维度模型进行转换,以得到所述指标维度模型中所述业务数据的可视化数据状态。
6.指标维度建模装置,其特征在于,包括:提取模块、生成模块、第一创建模块、第二创建模块和更新模块;
所述提取模块,用于根据预先针对指标的定义,从业务系统的业务数据中提取至少一个指标信息,以及根据预先针对维度的定义,从所述业务数据中提取至少一个维度信息;
所述生成模块,用于根据所述提取模块所提取到的所述至少一个维度信息,生成至少一张维度表,其中,所述维度表包括维度表编号和维度表名称;
所述第一创建模块,用于根据所述提取模块所提取到的所述至少一个指标信息和所述生成模块所生成的所述至少一张维度表,创建指标表,其中,所述指标表中的一个所述指标信息通过维度表编号与一张所述维度表关联,多个所述指标信息能够关联相同的一张所述维度表,所述指标表在外部命令的触发下,跳转至对应关联的维度表;
所述第二创建模块,用于根据所述第一创建模块所创建的所述指标表,利用数据管理平台DMP进行指标维度模型创建,其中,所述指标维度模型中包括:数据来源、维度表、指标表、源表和目标表;
所述更新模块,用于通过ETL定时地将所述第二创建模块所创建的所述指标维度模型中的所述源表映射到所述目标表中,以能够定时更新所述指标维度模型。
7.根据权利要求6所述的装置,其特征在于,所述更新模块包括:获取单元、生成单元和更新单元;
所述获取单元,用于通过时间戳确定在所述ETL绑定的定时任务中获取到的至少一个目标源表,其中,所述定时任务用于获取用户在定时时长内上传的每一个所述目标源表;
所述生成单元,用于通过所述ETL从所述获取单元确定的每一个所述目标源表中提取至少一个指标信息和至少一个维度信息,以转移到所述目标表中生成与该目标源表相对应的待更新目标表,其中,所述目标表的形式与所述指标表的形式一致;
所述更新单元,用于将所述生成单元所生成的每一个所述待更新目标表添加至所述指标表中,以更新所述指标维度模型。
8.根据权利要求6所述的装置,其特征在于,所述第二创建模块包括第一存储单元、第二存储单元和第三存储单元:
所述第一存储单元,用于利用所述数据管理平台DMP中的临时存储层存储所述指标维度模型中的所述源表,其中,所述源表包括有至少一项业务数据;
所述第二存储单元,用于利用所述数据管理平台DMP中的数据仓库层存储所述指标维度模型中的所述维度表、所述指标表和所述目标表,其中,所述目标表的形式与所述指标表一致,且所述目标表由所述临时存储层的所述源表提取得到;
所述第三存储单元,用于根据所述维度表、所述指标表和所述目标表,利用所述数据管理平台DMP中的数据集市层创建指标维度模型,并对所述指标维度模型进行存储。
9.指标维度建模装置,其特征在于,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行权利要求1至5中任一所述的方法。
10.计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行权利要求1至5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011180002.5A CN112307041A (zh) | 2020-10-29 | 2020-10-29 | 指标维度建模方法、装置和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011180002.5A CN112307041A (zh) | 2020-10-29 | 2020-10-29 | 指标维度建模方法、装置和计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112307041A true CN112307041A (zh) | 2021-02-02 |
Family
ID=74331972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011180002.5A Pending CN112307041A (zh) | 2020-10-29 | 2020-10-29 | 指标维度建模方法、装置和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112307041A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114791933A (zh) * | 2022-06-24 | 2022-07-26 | 杭州雅拓信息技术有限公司 | 一种主数据处理方法、基于主数据的交互方法和系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015471A1 (en) * | 2002-07-19 | 2004-01-22 | Microsoft Corporation | System and method for analytically modeling data organized according to a referenced attribute |
CN103984755A (zh) * | 2014-05-28 | 2014-08-13 | 中国地质大学(北京) | 基于多维度模型的油气资源数据要览系统实现方法及系统 |
CN104408183A (zh) * | 2014-12-15 | 2015-03-11 | 北京国双科技有限公司 | 数据系统的数据导入方法和装置 |
CN107590269A (zh) * | 2017-09-25 | 2018-01-16 | 中国地质大学(武汉) | 一种数据仓库中创建立方模型的方法、设备及存储设备 |
US20180181690A1 (en) * | 2016-12-22 | 2018-06-28 | Sap Se | Parallel model creation in cloud platform |
CN109145059A (zh) * | 2018-06-29 | 2019-01-04 | 深圳市彬讯科技有限公司 | 用于数据统计的数据处理方法、服务器及存储介质 |
CN109325648A (zh) * | 2018-06-29 | 2019-02-12 | 深圳市彬讯科技有限公司 | 基于指标的多维度数据流统计方法、服务器及存储介质 |
CN109947861A (zh) * | 2017-11-09 | 2019-06-28 | 北京京东尚科信息技术有限公司 | 用于数据仓库生成目标表的方法、装置和计算机可读介质 |
CN110427434A (zh) * | 2019-06-28 | 2019-11-08 | 苏宁云计算有限公司 | 一种多维数据查询方法及装置 |
CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
-
2020
- 2020-10-29 CN CN202011180002.5A patent/CN112307041A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015471A1 (en) * | 2002-07-19 | 2004-01-22 | Microsoft Corporation | System and method for analytically modeling data organized according to a referenced attribute |
CN103984755A (zh) * | 2014-05-28 | 2014-08-13 | 中国地质大学(北京) | 基于多维度模型的油气资源数据要览系统实现方法及系统 |
CN104408183A (zh) * | 2014-12-15 | 2015-03-11 | 北京国双科技有限公司 | 数据系统的数据导入方法和装置 |
US20180181690A1 (en) * | 2016-12-22 | 2018-06-28 | Sap Se | Parallel model creation in cloud platform |
CN107590269A (zh) * | 2017-09-25 | 2018-01-16 | 中国地质大学(武汉) | 一种数据仓库中创建立方模型的方法、设备及存储设备 |
CN109947861A (zh) * | 2017-11-09 | 2019-06-28 | 北京京东尚科信息技术有限公司 | 用于数据仓库生成目标表的方法、装置和计算机可读介质 |
CN109145059A (zh) * | 2018-06-29 | 2019-01-04 | 深圳市彬讯科技有限公司 | 用于数据统计的数据处理方法、服务器及存储介质 |
CN109325648A (zh) * | 2018-06-29 | 2019-02-12 | 深圳市彬讯科技有限公司 | 基于指标的多维度数据流统计方法、服务器及存储介质 |
CN110427434A (zh) * | 2019-06-28 | 2019-11-08 | 苏宁云计算有限公司 | 一种多维数据查询方法及装置 |
CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114791933A (zh) * | 2022-06-24 | 2022-07-26 | 杭州雅拓信息技术有限公司 | 一种主数据处理方法、基于主数据的交互方法和系统 |
CN114791933B (zh) * | 2022-06-24 | 2022-10-04 | 杭州雅拓信息技术有限公司 | 一种主数据处理方法、基于主数据的交互方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101405728B (zh) | 具有动态加载能力的关系数据库架构 | |
US8224791B2 (en) | Information lifecycle cross-system reconciliation | |
CN102917009B (zh) | 一种基于云计算技术的股票数据采集和存储方法和系统 | |
US20090024639A1 (en) | Data mapping and import system | |
CN107992492B (zh) | 一种数据区块的存储方法、读取方法、其装置及区块链 | |
CN102929664A (zh) | 一种基于xsd结构的通用数据交换方法 | |
CN105630934A (zh) | 一种数据统计方法及系统 | |
CN106933836A (zh) | 一种基于分表的数据存储方法和系统 | |
US20090030880A1 (en) | Model-Based Analysis | |
CN106547646A (zh) | 一种数据备份及恢复方法、数据备份及恢复装置 | |
CN105389367A (zh) | 基于Mongo数据库的电网图形多时态多级分布式存储方法 | |
CN106844320B (zh) | 一种财务报表整合方法和设备 | |
CN107609151A (zh) | 基于Redis实现XBRL实例文档缓存的方法 | |
CN105468623A (zh) | 数据处理方法及装置 | |
CN112307041A (zh) | 指标维度建模方法、装置和计算机可读介质 | |
CN114153910A (zh) | 数据采集方法、装置及电子装置、计算机程序产品 | |
CN117350880A (zh) | 基于雪花算法的全链路对账方法、装置、设备及介质 | |
CN107220363B (zh) | 一种支持全局复杂检索的跨地域查询方法及系统 | |
CN102867023A (zh) | 一种栅格数据的存储、读取方法及装置 | |
CN113868219A (zh) | 账套数据的迁移方法、装置、电子设备及计算机存储介质 | |
US20170270111A1 (en) | System migration using selective envelope management | |
CN116127932A (zh) | 一种业务报表生成方法、设备及介质 | |
CN112799951B (zh) | 用于计费系统的生成自动测试用例的方法与设备 | |
US9208224B2 (en) | Business content hierarchy | |
CN100507906C (zh) | 多用途数据的无冗余提供设备及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210202 |
|
RJ01 | Rejection of invention patent application after publication |