CN112579710A - 数据仓库管理方法、装置、电子设备及存储介质 - Google Patents
数据仓库管理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112579710A CN112579710A CN202011549012.1A CN202011549012A CN112579710A CN 112579710 A CN112579710 A CN 112579710A CN 202011549012 A CN202011549012 A CN 202011549012A CN 112579710 A CN112579710 A CN 112579710A
- Authority
- CN
- China
- Prior art keywords
- data
- data warehouse
- attribute information
- hierarchical
- name attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术,尤其涉及一种数据仓库管理方法、装置、电子设备及存储介质,该方法包括:获取数据仓库的分层模型,得到多个分层模型;获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。采用本申请实施例能够提升数据仓库的规范性。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据仓库管理方法、装置、电子设备及存储介质。
背景技术
数据仓库规范化治理的老大难,通常是跟着业务需求快跑,要不是数据零散在各个团队,或者是大家的研发规范有不同,作为一项通过维度模型来约束规范的工种来讲,“模型”的治理难度,大于“架构”。目前整个行业通常的模型治理方法,是规定一种建模规范,大家在编码的过程中各自遵守。当业务开始变得模糊不清的时候,再专门抽调时间,来做人工治理。就像黄河一样,流沙清理了一次又一次,但上游还是会冲下新的流沙。因此,如何提升数据仓库的规范性问题亟待解决。
发明内容
本申请实施例提供了一种数据仓库管理方法、装置、电子设备及存储介质,能够提升数据仓库的规范性。
第一方面,本申请实施例提供一种数据仓库管理方法,所述方法包括:
获取数据仓库的分层模型,得到多个分层模型;
获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;
按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;
将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
第二方面,本申请实施例提供一种数据仓库管理装置,所述装置包括:第一获取单元、第二获取单元、处理单元和构建单元,其中,
所述第一获取单元,用于获取数据仓库的分层模型,得到多个分层模型;
所述第二获取单元,用于获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;
所述处理单元,用于按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;
所述构建单元,用于将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具备如下有益效果:
可以看出,本申请实施例中所描述的数据仓库管理方法、装置、电子设备及存储介质,获取数据仓库的分层模型,得到多个分层模型,获取多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息,按照预设命名规则对多个名称属性信息进行处理,得到多个第二名称属性信息,将多个第二名称属性信息以及多个分层模型进行数据仓库构建,得到目标数据仓库。能够基于分层模型对名称属性信息进行规划化操作,使得分层模型对应的名称属性信息更为规范、简洁,提升了数据仓库的规范性,且有助于优化数据仓库的管理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据仓库管理方法的流程示意图;
图2是本申请实施例提供的另一种数据仓库管理方法的流程示意图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4是本申请实施例提供的一种数据仓库管理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如手机、平板电脑、POS机等等)、台式机、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、AI机器人、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobilestation,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例提供的一种数据仓库管理方法的流程示意图,如图所示,应用于电子设备,本数据仓库管理方法包括:
101、获取数据仓库的分层模型,得到多个分层模型。
其中,本申请实施例中,数据仓库可以为针对一个或者多个业务类型的数据仓库,业务类型可以为以下至少一种:保险业务、理财业务、贷款业务、还款业务等等,在此不作限定。电子设备可以选择一个数据仓库,并获取该数据仓库的分层模型,得到多个分层模型。
具体实现中,数据仓库分层的理由如下:
1、清晰数据结构;通常将数据仓库分为三层:数据明细层DWD、数据中间层DWM、数据服务层DWS,每一个数据分层都有它的作用域,这样在使用表的时候能更方便的定位和理解。
2、数据血缘追踪;由于表的数据来源有很多,如果有一张来源表出问题了,能够快速准确的定位到问题,并清楚它的危害范围,如所有依赖它的应用,以及这些应用会造成哪些业务影响。
3、减少重复开发,规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。如当不同的应用需要用到同一个数据指标时,可以将这些公共指标设计在中间层,从而最大程度的利用中间层数据,提高执行效率,减少不必要的资源消耗。
4、复杂问题简单化;将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解,而且便于维护数据的准确性。
在一个可能地示例中,上述步骤101,获取数据仓库的分层模型,可以包括如下步骤:
A11、获取所述数据仓库的原始数据;
A12、将所述原始数据进行分层处理,得到多层数据;
A13、依据所述多层数据进行模型构建,得到所述数据仓库的分层模型。
具体实现中,电子设备可以获取数据仓库的原始数据,进而,可以依据数据来源或者数据标识,或者业务类型标识将原始数据进行分层处理,得到多层数据,还可以依据多层数据进行模型构建,得到数据仓库的分层模型。例如,不同的数据来源对应不同的层次,进而,可以依据数据来源标识实现分层处理,得到多层数据,并基于该多层数据进行模型构建,得到数据仓库的分层模型。
在一个可能地示例中,上述步骤A12,将所述原始数据进行分层处理,得到多层数据,,可以包括如下步骤:
A121、获取所述原始数据的业务类型标识,得到多个业务类型标识;
A122、按照预设的业务类型标识与层级之间的映射关系,确定所述多个业务类型标识中的每一业务类型标识对应的层级,得到多个层级;
A123、依据所述多个层级进行分类,得到多个类,基于所述多个类,将所述多个层级对应的数据分别导入相应的类别,得到所述多层数据。
其中,原始数据中可以包括大量数据,每一数据可以对应一个业务类型标识,业务类型标识用于标识业务类型。不同的业务类型标识可以对应不同的层级,进而,电子设备中可以预先存储预设的业务类型标识与层级之间的映射关系。
具体实现中,电子设备可以获取原始数据的业务类型标识,得到多个业务类型标识,并按照预设的业务类型标识与层级之间的映射关系,确定多个业务类型标识中的每一业务类型标识对应的层级,得到多个层级,依据多个层级进行分类,得到多个类,基于多个类,将多个层级对应的数据分别导入相应的类别,得到多层数据,如此,可以实现依据业务类型实现层级划分。
在一个可能地示例中,上述步骤A13,依据所述多层数据进行模型构建,得到所述数据仓库的分层模型,可以包括如下步骤:
A131、获取第i层数据对应的数据节点,得到多个数据节点,所述第i层数据为所述多层数据中的任一层数据;
A132、依据所述多个数据节点进行模型构建,得到所述第i层数据对应的分层模型。
其中,数据节点可以为预设位置或者预设数据类型或者预设字符,其中,预设位置或者预设数据类型可以由用户自行设置或者系统默认,例如,可以将预设字符出现的位置作为数据节点。
具体实现中,以第i层数据为例,第i层数据为多层数据中的任一层数据,电子设备可以获取第i层数据对应的数据节点,得到多个数据节点,进而,电子设备可以基于预设网络协议或者模型生成算法,依据多个数据节点进行模型构建,得到第i层数据对应的分层模型。模型生成算法可以为以下至少一种:神经网络算法、二叉树、链表算法等等,在此不作限定。预设网络协议可以由用户自行设置或者系统默认。
在一个可能地示例中,上述步骤101,获取数据仓库的分层模型,可以包括如下步骤:
B11、获取用户的目标身份信息;
B12、按照预设的身份信息与存储区域之间的映射关系,确定所述目标身份信息对应的目标存储区域;
B13、从预设数据库中获取与所述目标存储区域对应的所述数据仓库;
B14、获取所述数据仓库中分层节点标识;
B15、依据所述分层节点标识获取所述数据仓库的分层模型。
其中,本申请实施例中,身份信息可以为以下至少一种:指纹图像、虹膜图像、静脉图像、用户名、职位、等级等等,在此不作限定。电子设备中可以预先存储预设的身份信息与存储区域之间的映射关系,预设数据库中可以预先存储各种数据。分层节点标识用于标识分层位置。
具体实现中,电子设备可以获取用户的目标身份信息,并且按照预设的身份信息与存储区域之间的映射关系,确定目标身份信息对应的目标存储区域,还可以从预设数据库中获取与目标存储区域对应的所述数据仓库,进而,可以获取数据仓库中分层节点标识,可以依据分层节点标识获取数据仓库的分层模型。
在一个可能地示例中,上述步骤101-步骤102之间,还可以包括如下步骤:
C1、获取所述数据仓库的属性命名集;
C2、对所述属性命名集进行分类,得到P个类别,所述P为大于1的整数;
C3、确定所述数据仓库的规格参数,确定与所述规格参数对应的参考类别数量Q,所述Q为大于1的整数;
C4、在所述P与所述Q之间的比值大于预设阈值时,执行步骤102。
其中,预设阈值可以由用户自行设置或者系统默认。电子设备可以获取数据仓库的属性命名集,对属性命名集进行分类,得到P个类别,P为大于1的整数,具体分类方式可以为聚类算法或者常规分类算法。进一步地,电子设备可以确定数据仓库的规格参数,规则参数可以为以下至少一种:内存大小、数据类型种数、层数等等,在此不作限定,电子设备中可以预先存储规格参数与参考类别数量之间的映射关系,进而,可以依据该映射关系确定与数据仓库的规格参数对应的参考类别数量Q,在P与Q之间的比值大于预设阈值时,执行步骤102,则说明数据仓库命名复杂或者不规范。反之,则可以不执行步骤102。
102、获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息。
其中,不同的分层模型其对应的名称属性信息也不一样,本申请实施例中,名称属性信息可以为以下至少一种:项目名称、分层名称、词根名称、表名称、指标名称等等,在此不作限定。
103、按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息。
其中,预设命名规则可以由用户自行设置或者系统默认,例如,词根可以预先分类,每一类对应一个名称,又例如,依据分层的层级进行命名,每一层对应一个名称,等等,进而,电子设备可以按照预设命名规则对多个名称属性信息进行处理,得到多个第二名称属性信息。
104、将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
具体实现中,电子设备可以将多个第二名称属性信息以及多个分层模型进行数据仓库构建,得到目标数据仓库,具体地,可以将名称属性信息与分层模型对应起来,例如,每一分层模型均对应有相应的名称属性信息,进而,可以将相应的名称属性信息放入相应的分层模型中,便可以得到目标数据仓库。
在一个可能地示例中,步骤104之后,还可以包括如下步骤:
D1、获取所述目标数据仓库的目标属性命名集;
D2、对所述目标属性命名集进行校验;
D3、在校验通过后,确认所述目标数据仓库符合预设规范。
具体实现中,电子设备可以获取目标数据仓库的目标属性命名集,还可以对目标属性命名集进行校验,具体地,可以依据层级关系或者预设命名规则进行校验,在校验通过后,确认目标数据仓库符合预设规范,反之,则可以对命名出错地方进行修改。
举例说明下,关于项目常规来说,数仓的建设是按照数仓分层模型开发的。也可以按照业务线来分层,在各自业务线下重新分层,单独开发的;关于词根,其词根的作用,用来统一命名,表达同一个含义;关于表名,表名需要见名知意,通过表名就可以知道它的具体业务域,或者功能,属于具体粒度的数据,如模型表/维度表/字典表/中间表/手工表;关于指标,其指标的命名也参考词根,避免出现同一个指标,10个人有10个命名方法。
可以看出,本申请实施例中所描述的数据仓库管理方法,获取数据仓库的分层模型,得到多个分层模型,获取多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息,按照预设命名规则对多个名称属性信息进行处理,得到多个第二名称属性信息,将多个第二名称属性信息以及多个分层模型进行数据仓库构建,得到目标数据仓库。能够基于分层模型对名称属性信息进行规划化操作,使得分层模型对应的名称属性信息更为规范、简洁,提升了数据仓库的规范性,且有助于优化数据仓库的管理。
请参阅图2,图2是本申请实施例提供的一种数据仓库管理方法的流程示意图,应用于电子设备,如图所示,本数据仓库管理方法包括:
201、获取数据仓库的分层模型,得到多个分层模型。
202、获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息。
203、按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息。
204、将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
205、获取所述目标数据仓库的目标属性命名集。
206、对所述目标属性命名集进行校验。
207、在校验通过后,确认所述目标数据仓库符合预设规范。
其中,上述步骤201-步骤207的具体描述可以参照上述图1所描述的相应步骤,在此不再赘述。
可以看出,本申请实施例中所描述的数据仓库管理方法,获取数据仓库的分层模型,得到多个分层模型,获取多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息,按照预设命名规则对多个名称属性信息进行处理,得到多个第二名称属性信息,将多个第二名称属性信息以及多个分层模型进行数据仓库构建,得到目标数据仓库,获取目标数据仓库的目标属性命名集,对目标属性命名集进行校验,在校验通过后,确认目标数据仓库符合预设规范,一方面,能够基于分层模型对名称属性信息进行规划化操作,使得分层模型对应的名称属性信息更为规范、简洁,提升了数据仓库的规范性,且有助于优化数据仓库的管理,另一方面,还可以对规范后的数据仓库进行命名校验,进一步保证数据仓库的规范性。
与上述实施例一致地,请参阅图3,图3是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
获取数据仓库的分层模型,得到多个分层模型;
获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;
按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;
将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
可以看出,本申请实施例中所描述的电子设备,获取数据仓库的分层模型,得到多个分层模型,获取多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息,按照预设命名规则对多个名称属性信息进行处理,得到多个第二名称属性信息,将多个第二名称属性信息以及多个分层模型进行数据仓库构建,得到目标数据仓库。能够基于分层模型对名称属性信息进行规划化操作,使得分层模型对应的名称属性信息更为规范、简洁,提升了数据仓库的规范性,且有助于优化数据仓库的管理。
在一个可能地示例中,在所述获取数据仓库的分层模型方面,上述程序包括用于执行以下步骤的指令:
获取所述数据仓库的原始数据;
将所述原始数据进行分层处理,得到多层数据;
依据所述多层数据进行模型构建,得到所述数据仓库的分层模型。
进一步地,在一个可能地示例中,在所述将所述原始数据进行分层处理,得到多层数据方面,上述程序包括用于执行以下步骤的指令:
获取所述原始数据的业务类型标识,得到多个业务类型标识;
按照预设的业务类型标识与层级之间的映射关系,确定所述多个业务类型标识中的每一业务类型标识对应的层级,得到多个层级;
依据所述多个层级进行分类,得到多个类,基于所述多个类,将所述多个层级对应的数据分别导入相应的类别,得到所述多层数据。
进一步地,在一个可能地示例中,在所述依据所述多层数据进行模型构建,得到所述数据仓库的分层模型方面,上述程序包括用于执行以下步骤的指令:
获取第i层数据对应的数据节点,得到多个数据节点,所述第i层数据为所述多层数据中的任一层数据;
依据所述多个数据节点进行模型构建,得到所述第i层数据对应的分层模型。
在一个可能地示例中,在所述获取数据仓库的分层模型方面,上述程序包括用于执行以下步骤的指令:
获取用户的目标身份信息;
按照预设的身份信息与存储区域之间的映射关系,确定所述目标身份信息对应的目标存储区域;
从预设数据库中获取与所述目标存储区域对应的所述数据仓库;
获取所述数据仓库中分层节点标识;
依据所述分层节点标识获取所述数据仓库的分层模型。
在一个可能地示例中,在所述获取数据仓库的分层模型,得到多个分层模型之后,以及所述获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息之前,上述程序还包括用于执行以下步骤的指令:
获取所述数据仓库的属性命名集;
对所述属性命名集进行分类,得到P个类别,所述P为大于1的整数;
确定所述数据仓库的规格参数,确定与所述规格参数对应的参考类别数量Q,所述Q为大于1的整数;
在所述P与所述Q之间的比值大于预设阈值时,执行所述获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息的步骤。
在一个可能地示例中于,在所述将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库之后,上述程序还包括用于执行以下步骤的指令:
获取所述目标数据仓库的目标属性命名集;
对所述目标属性命名集进行校验;
在校验通过后,确认所述目标数据仓库符合预设规范。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的数据仓库管理装置400的功能单元组成框图。该数据仓库管理装置400,所述装置400包括:第一获取单元401、第二获取单元402、处理单元403和构建单元404,其中,
所述第一获取单元401,用于获取数据仓库的分层模型,得到多个分层模型;
所述第二获取单元402,用于获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;
所述处理单元403,用于按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;
所述构建单元404,用于将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
可以看出,本申请实施例中所描述的数据仓库管理方法、装置、电子设备及存储介质,获取数据仓库的分层模型,得到多个分层模型,获取多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息,按照预设命名规则对多个名称属性信息进行处理,得到多个第二名称属性信息,将多个第二名称属性信息以及多个分层模型进行数据仓库构建,得到目标数据仓库。能够基于分层模型对名称属性信息进行规划化操作,使得分层模型对应的名称属性信息更为规范、简洁,提升了数据仓库的规范性,且有助于优化数据仓库的管理。
在一个可能地示例中,在所述获取数据仓库的分层模型方面,所述第一获取单元401具体用于:
获取所述数据仓库的原始数据;
将所述原始数据进行分层处理,得到多层数据;
依据所述多层数据进行模型构建,得到所述数据仓库的分层模型。
进一步地,在一个可能地示例中,在所述将所述原始数据进行分层处理,得到多层数据方面,所述第一获取单元401具体用于:
获取所述原始数据的业务类型标识,得到多个业务类型标识;
按照预设的业务类型标识与层级之间的映射关系,确定所述多个业务类型标识中的每一业务类型标识对应的层级,得到多个层级;
依据所述多个层级进行分类,得到多个类,基于所述多个类,将所述多个层级对应的数据分别导入相应的类别,得到所述多层数据。
进一步地,在一个可能地示例中,在所述依据所述多层数据进行模型构建,得到所述数据仓库的分层模型方面,所述第一获取单元401具体用于:
获取第i层数据对应的数据节点,得到多个数据节点,所述第i层数据为所述多层数据中的任一层数据;
依据所述多个数据节点进行模型构建,得到所述第i层数据对应的分层模型。
在一个可能地示例中,在所述获取数据仓库的分层模型方面,所述第一获取单元401具体用于:
获取用户的目标身份信息;
按照预设的身份信息与存储区域之间的映射关系,确定所述目标身份信息对应的目标存储区域;
从预设数据库中获取与所述目标存储区域对应的所述数据仓库;
获取所述数据仓库中分层节点标识;
依据所述分层节点标识获取所述数据仓库的分层模型。
在一个可能地示例中,在所述获取数据仓库的分层模型,得到多个分层模型之后,以及所述获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息之前,所述装置400还具体用于:
获取所述数据仓库的属性命名集;
对所述属性命名集进行分类,得到P个类别,所述P为大于1的整数;
确定所述数据仓库的规格参数,确定与所述规格参数对应的参考类别数量Q,所述Q为大于1的整数;
由所述第二获取单元402在所述P与所述Q之间的比值大于预设阈值时,执行所述获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息的步骤。
在一个可能地示例中,在所述将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库之后,所述装置400还具体用于:
获取所述目标数据仓库的目标属性命名集;
对所述目标属性命名集进行校验;
在校验通过后,确认所述目标数据仓库符合预设规范。
可以理解的是,本实施例的数据仓库管理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、电子设备或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据仓库管理方法,其特征在于,所述方法包括:
获取数据仓库的分层模型,得到多个分层模型;
获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;
按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;
将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
2.根据权利要求1所述的方法,其特征在于,所述获取数据仓库的分层模型,包括:
获取所述数据仓库的原始数据;
将所述原始数据进行分层处理,得到多层数据;
依据所述多层数据进行模型构建,得到所述数据仓库的分层模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述原始数据进行分层处理,得到多层数据,包括:
获取所述原始数据的业务类型标识,得到多个业务类型标识;
按照预设的业务类型标识与层级之间的映射关系,确定所述多个业务类型标识中的每一业务类型标识对应的层级,得到多个层级;
依据所述多个层级进行分类,得到多个类,基于所述多个类,将所述多个层级对应的数据分别导入相应的类别,得到所述多层数据。
4.根据权利要求2所述的方法,其特征在于,所述依据所述多层数据进行模型构建,得到所述数据仓库的分层模型,包括:
获取第i层数据对应的数据节点,得到多个数据节点,所述第i层数据为所述多层数据中的任一层数据;
依据所述多个数据节点进行模型构建,得到所述第i层数据对应的分层模型。
5.根据权利要求1所述的方法,其特征在于,所述获取数据仓库的分层模型,包括:
获取用户的目标身份信息;
按照预设的身份信息与存储区域之间的映射关系,确定所述目标身份信息对应的目标存储区域;
从预设数据库中获取与所述目标存储区域对应的所述数据仓库;
获取所述数据仓库中分层节点标识;
依据所述分层节点标识获取所述数据仓库的分层模型。
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述获取数据仓库的分层模型,得到多个分层模型之后,以及所述获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息之前,所述方法还包括:
获取所述数据仓库的属性命名集;
对所述属性命名集进行分类,得到P个类别,所述P为大于1的整数;
确定所述数据仓库的规格参数,确定与所述规格参数对应的参考类别数量Q,所述Q为大于1的整数;
在所述P与所述Q之间的比值大于预设阈值时,执行所述获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息的步骤。
7.根据权利要求1-5任一项所述的方法,其特征在于,在所述将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库之后,所述方法还包括:
获取所述目标数据仓库的目标属性命名集;
对所述目标属性命名集进行校验;
在校验通过后,确认所述目标数据仓库符合预设规范。
8.一种数据仓库管理装置,其特征在于,所述装置包括:第一获取单元、第二获取单元、处理单元和构建单元,其中,
所述第一获取单元,用于获取数据仓库的分层模型,得到多个分层模型;
所述第二获取单元,用于获取所述多个分层模型中每一分层模型的名称属性信息,得到多个第一名称属性信息;
所述处理单元,用于按照预设命名规则对所述多个名称属性信息进行处理,得到多个第二名称属性信息;
所述构建单元,用于将所述多个第二名称属性信息以及所述多个分层模型进行数据仓库构建,得到目标数据仓库。
9.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011549012.1A CN112579710A (zh) | 2020-12-24 | 2020-12-24 | 数据仓库管理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011549012.1A CN112579710A (zh) | 2020-12-24 | 2020-12-24 | 数据仓库管理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112579710A true CN112579710A (zh) | 2021-03-30 |
Family
ID=75140253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011549012.1A Pending CN112579710A (zh) | 2020-12-24 | 2020-12-24 | 数据仓库管理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112579710A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065830A (zh) * | 2021-04-19 | 2021-07-02 | 深圳市库宝软件有限公司 | 仓储系统属性预修改方法、装置、电子设备及存储介质 |
CN114168690A (zh) * | 2021-12-09 | 2022-03-11 | 上海妙一生物科技有限公司 | 一种数仓管理方法、装置、设备和介质 |
-
2020
- 2020-12-24 CN CN202011549012.1A patent/CN112579710A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065830A (zh) * | 2021-04-19 | 2021-07-02 | 深圳市库宝软件有限公司 | 仓储系统属性预修改方法、装置、电子设备及存储介质 |
CN113065830B (zh) * | 2021-04-19 | 2022-01-18 | 深圳市库宝软件有限公司 | 仓储系统属性预修改方法、装置、电子设备及存储介质 |
WO2022222800A1 (zh) * | 2021-04-19 | 2022-10-27 | 深圳市库宝软件有限公司 | 仓储系统属性预修改方法、装置、电子设备及存储介质 |
TWI812174B (zh) * | 2021-04-19 | 2023-08-11 | 大陸商深圳市庫寶軟件有限公司 | 倉儲系統屬性預修改方法及裝置 |
CN114168690A (zh) * | 2021-12-09 | 2022-03-11 | 上海妙一生物科技有限公司 | 一种数仓管理方法、装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781294B (zh) | 训练语料库细化和增量更新 | |
CN108595619A (zh) | 一种问答方法及设备 | |
TW202029079A (zh) | 異常群體識別方法及裝置 | |
CN111538794B (zh) | 一种数据融合方法、装置及设备 | |
WO2024022354A1 (zh) | 结合rpa及ai实现ia的对象推荐方法、装置及存储介质 | |
CN112579710A (zh) | 数据仓库管理方法、装置、电子设备及存储介质 | |
CN108255602A (zh) | 任务组合方法及终端设备 | |
CN109241068A (zh) | 前后台数据比对的方法、装置及终端设备 | |
CN113641833B (zh) | 服务需求匹配方法及装置 | |
CN114091472B (zh) | 多标签分类模型的训练方法 | |
CN112527970A (zh) | 数据字典标准化处理方法、装置、设备及存储介质 | |
CN114328980A (zh) | 结合rpa及ai的知识图谱构建方法、装置、终端及存储介质 | |
CN112257959A (zh) | 用户风险预测方法、装置、电子设备及存储介质 | |
CN107071553A (zh) | 一种修改视频语音的方法、装置和计算机可读存储介质 | |
CN113553446B (zh) | 一种基于异构图解构的金融反欺诈方法及装置 | |
CN112463974A (zh) | 知识图谱建立的方法和装置 | |
US20230289252A1 (en) | Intelligent grouping of events in computing system event and computing system incident management domains | |
US11868167B2 (en) | Automatically provisioned tag schema for hybrid multicloud cost and chargeback analysis | |
CN109388685A (zh) | 将规划行业使用的空间数据进行入库的方法和装置 | |
CN114880453A (zh) | 智能问答方法、装置及电子设备 | |
CN106933892B (zh) | 描述信息的存储方法及装置 | |
CN114492446A (zh) | 法律文书处理方法、装置、电子设备及存储介质 | |
CN112364181A (zh) | 一种保险产品匹配度确定方法及装置 | |
CN114625769B (zh) | 多数据来源场景下的主数据管理方法、系统、装置和介质 | |
US11983278B2 (en) | System and method for data anonymization using optimization techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |