CN104991960A - 构建数据仓库模型的方法与装置 - Google Patents

Abstract

本发明提出了一种构建数据仓库模型的方法，包括：对业务模型执行抽象处理生成领域模型；将领域模型根据多个主题名称分拆为多个主题模型；以及通过多个主题模型构建数据仓库模型。本发明还公开了一种构建数据仓库模型的装置。

Description

构建数据仓库模型的方法与装置

技术领域

本发明涉及计算机技术领域，特别地涉及一种构建数据仓库模型的方法与装置。

背景技术

随着电子商务的发展，例如京东、淘宝、亚马逊等日常运营中生成、累积的大量用户、商品、生产相关的数据呈现爆发式增长，数据结构也开始多元化，数据中含有的信息越来越多，公司对数据化运营也越来越关注。数据仓库用于对数据进行分处理工作，发挥着巨大的作用。然而，大数据时代的降临数据仓库慢慢转成分布式架构，以满足爆发式增长的计算以及存储的要求。

基于传统行业，例如银行、保险、零售等的数据仓库模型标准化的构建方法已经非常成熟。现有技术的做法为基于Teradata数据仓库基础之上，零售企业的数据仓库的构建和主题分析，主要构建过程包括：业务建模、领域建模、逻辑建模以及物理建模。具体的，业务建模生成业务模型，用于解决业务层面的分解和程序化；领域建模生成领域模型，用于对业务模型进行抽象处理生成领域概念模型；逻辑建模生成逻辑模型，用于将领域模型的概念实体化以及将实体之间的关系进行基于数据库层次的逻辑化；物理建模生成物理模型，用于解决逻辑模型针对不同关系型数据库的物理化以及性能等问题。

进一步地，基于Teradata的零售数据仓库模型，利用商业化的oracle集群和传统的数据仓库建模方法论构建stage层，通过ETL过程抽取源生产系统数据；构建ods层，对stage层进行清洗和加工；构建dwd层，基于逻辑模型搭建实体表及实体表的关系；构建dwa层，基于主题模型和逻辑关系将dwd层数据编译处理到dwa层。

但现有技术存在以下缺点：数据仓库基于商业化的数据仓库平台，存在资源不足，计算性能有限的问题，无法充分良好的扩充资源，且传统的数据仓库建模层次繁多，依赖关系复杂，模型变更繁琐，进一步地，由于电子商务的业务正在高速发展，现有模型无法快速响应业务的快速变化，具有技术的滞后性。

发明内容

有鉴于此，本发明提供一种构建数据仓库模型的方法，通过易用性。本发明还公开了一种构建数据仓库模型的装置。

为实现上述目的，根据本发明的一个方面，提供了一种构建数据仓库模型的方法，包括：

对业务模型执行抽象处理生成领域模型；将所述领域模型根据多个主题名称分拆为多个主题模型；以及通过所述多个主题模型构建数据仓库模型。

可选地，所述领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型以及仓储模型。

可选地，所述多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、社区、流量以及供应链。

可选地，所述多个主题模型的参数包括：主题前缀、主题名称、简称以及业务覆盖范围。

可选地，通过所述多个主题模型构建数据仓库模型具体包括：将所述多个主题模型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建所述数据仓库模型。

为实现上述目的，根据本发明的另一个方面，提供了一种构建数据仓库模型的装置，包括：

领域模型生成模块，用于对业务模型执行抽象处理生成领域模型；主题模型分拆模块，用于将所述领域模型根据多个主题名称分拆为多个主题模型；以及数据仓库模型构建模块，用于通过所述多个主题模型构建数据仓库模型。

可选地，所述领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型以及仓储模型。

可选地，所述多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、社区、流量以及供应链。

可选地，所述多个主题模型的参数包括：主题前缀、主题名称、简称以及业务覆盖范围。

可选地，所述数据仓库模型构建模块具体包括：装载单元，用于将所述多个主题模型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建所述数据仓库模型。

根据本发明的技术方案，本发明提出了一种构建数据仓库模型的方法，基于电子商务业务，提出了完整的多个主题模型，有利于充分、有效的实现数据分析和挖掘，同时通过分布式数据仓库数据模型，即缓冲数据层、基础数据层、通用数据层、聚合数据层、维度数据库、以及计算中间库(临时数据库)，且以hadoop为平台，hive作为数据模型构建工具，有效提升了数据的稳定性、可扩展性，为构建基于分布式数据仓库提供了一套完整的模型体系。本发明还公开了一种构建数据仓库模型的装置。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种构建数据仓库模型的方法的步骤流程图；以及

图2是根据本发明实施例的一种构建数据仓库模型的装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施方式做出说明，其中包括本发明实施方式的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明提出的一种构架数据仓库模型的方法为基于B2C(Business-to-Customer，商对客)的电子商务业务的数据仓库模型标准化的构建方法，以B2C电子商务为业务基础，区别于传统数据仓库模型的构建方法。

如图1所示，本发明实施例的一种构建数据仓库模型的方法的步骤流程图。构建数据仓库模型的方法，包括以下具体步骤：

步骤S1：对业务模型执行抽象处理生成领域模型。其中，领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型以及仓储模型。由此，提高了针对业务抽象出来的领域多样性与适用性。

步骤S2：将领域模型根据多个主题名称分拆为多个主题模型。其中，多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、社区、流量以及供应链，且多个主题模型参数包括：主题前缀、主题名称、简称以及业务覆盖范围。由此，通过在领域模型中按照多个主题名称拆分提出多个主题的方式，有效的实现了精确数据的分析和挖掘。具体对应关系，如下表所示：

主题前缀	主题名称	简称	业务覆盖范围
				M01	客户	CUS	供应商、POP商家、团购商家、合作伙伴、用户
M02	组织机构	ORG	员工、部门
				M03	商品	ITM
M04	订单	ORD	订单相关
				M05	账户	ACT	与账户关联的礼品卡、余额、积分、优惠券等
M06	客户端	CLI	移动客户端、PC客户端、移动设备
				M07	营销	CAM	促销、活动、优惠券、礼品卡
M08	仓储	INV
				M09	配送	DIS
M10	客服	CSC	售后、备件库、呼叫中心、工单
				M11	地理区域	LOC
M12	财务	FIN
				M13	社区	COM	用户的关注、订阅
M14	流量	TRA	Traffic
				M15	供应链	SCM	采购、采购退货(退供应商)

步骤S3：通过多个主题模型构建数据仓库模型。

具体地，通过多个主题模型构建数据仓库模型具体包括：将多个主题模型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建数据仓库模型。其中，缓冲数据层从源系统将数据抽取到本层，数据以文件的形式入到hadoop本地；基础数据层将缓冲层的数据，通过拉链的方式加工到本层中；通用数据层根据业务模型，将基础层数据通过业务逻辑加工成主题数据；聚合数据层按维度，将基础层或通用层数据通过汇总逻辑加工成聚合数据。

进一步地，数据模型中的维度数据层从源系统中抽取维度相关数据，入到本层中。由此，实现了用户从多种维度分析数据的可行性；临时数据层用于临时数据加工、存储的层。由此，通过对临时数据的堆放和缓存操作，有效提高了多个主题模型在多层执行装载的速率。

为了更好的理解通过多个主题模型构建数据仓库模型，进行以下示例：基于电子商务的分布式数据仓库，通过hadoop平台，利用hive作为数据仓库工具，商品主题的数据仓库模型构建过程：通过ETL过程，将商品相关的线上源系统的数据，抽取并装载到BDM(BufferingData Model，缓冲数据层)，表名bdm_item_01，bdm_item_02，bdm_item_03等，通过加工脚本，将BDM层数据表，加工生成到FDM(Fundamental Data Model，基础数据层)，相对应的表名fdm_item_01，fdm_item_02，fdm_item_03等，继而通过hive脚本，将FDM层的数据加工到GDM(General Data Model，通用数据层)，表名gdm_m03_item，同时，FDM层或GDM层表，可以加工得到ADM(Aggregative DataModel，聚合数据层)，表名adm_m03_item，gdm和adm表，作为商品主题模型的物理表。

根据本发明实施例的构架数据仓库模型的方法，基于电子商务业务，提出了完整的多个主题模型，有利于充分、有效的实现数据分析和挖掘，同时通过分布式数据仓库数据模型，即缓冲数据层、基础数据层、通用数据层、聚合数据层、维度数据库、以及计算中间库(临时数据库)，且以hadoop为平台，hive作为数据模型构建工具，有效提升了数据的稳定性、可扩展性，为构建基于分布式数据仓库提供了一套完整的模型体系。

如图2所示，本发明实施例的一种构建数据仓库模型的装置10，包括：领域模型生成模块101、主题模型拆分模块102以及数据模型构建模块103。

具体地，领域模型生成模块101用于对业务模型执行抽象处理生成领域模型，其中，领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型以及仓储模型。由此，提高了针对业务抽象出来的领域多样性与适用性。

主题模型分拆模块102用于将领域模型根据多个主题名称分拆为多个主题模型，其中，多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、社区、流量以及供应链，且多个主题模型参数包括：主题前缀、所述主题名称、简称以及业务覆盖范围。由此，通过在领域模型中按照多个主题名称拆分提出多个主题的方式，有效的实现了精确数据的分析和挖掘。

数据仓库模型构建模块103用于通过多个主题模型构建数据仓库模型。

具体地，数据仓库模型构建模块103具体包括：装载单元1031(图中未示出)用于将多个主题模型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建数据仓库模型。

根据本发明实施例的构架数据仓库模型的装置，基于电子商务业务，提出了完整的多个主题模型，有利于充分、有效的实现数据分析和挖掘，同时通过分布式数据仓库数据模型，即缓冲数据层、基础数据层、通用数据层、聚合数据层、维度数据库、以及计算中间库(临时数据库)，且以hadoop为平台，hive作为数据模型构建工具，有效提升了数据的稳定性、可扩展性，为构建基于分布式数据仓库提供了一套完整的模型体系。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(POM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现；具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性标书不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种构建数据仓库模型的方法，其特征在于，包括：

对业务模型执行抽象处理生成领域模型；

将所述领域模型根据多个主题名称分拆为多个主题模型；以及

通过所述多个主题模型构建数据仓库模型。

2.根据权利要求1所述的方法，其特征在于，所述领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型以及仓储模型。

3.根据权利要求1所述的方法，其特征在于，所述多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、社区、流量以及供应链。

4.根据权利要求1所述的方法，其特征在于，所述多个主题模型的参数包括：主题前缀、主题名称、简称以及业务覆盖范围。

5.根据权利要求1所述的方法，其特征在于，通过所述多个主题模型构建数据仓库模型具体包括：将所述多个主题模型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建所述数据仓库模型。

6.一种构建数据仓库模型的装置，其特征在于，包括：

领域模型生成模块，用于对业务模型执行抽象处理生成领域模型；

主题模型分拆模块，用于将所述领域模型根据多个主题名称分拆为多个主题模型；以及

数据仓库模型构建模块，用于通过所述多个主题模型构建数据仓库模型。

7.根据权利要求6所述的装置，其特征在于，所述领域模型包括：网站前端模型、电子零售模型、供应链模型、售后模型以及仓储模型。

8.根据权利要求6所述的装置，其特征在于，所述多个主题名称包括：客户、组织机构、商品、订单、账户、客户端、营销、仓储、配送、客服、地理区域、财务、社区、流量以及供应链。

9.根据权利要求6所述的装置，其特征在于，所述多个主题模型的参数包括：主题前缀、主题名称、简称以及业务覆盖范围。

10.根据权利要求6所述的装置，其特征在于，所述数据仓库模型构建模块具体包括：装载单元，用于将所述多个主题模型依次经过缓冲数据层、基础数据层、通用数据层以及聚合数据层执行装载，构建所述数据仓库模型。