CN107688581A - 数据模型的处理方法及装置 - Google Patents

Abstract

本申请公开一种数据模型的处理方法及装置，该处理方法包括：提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。该处理方法通过在第一数据模型中，设置初次交易日期和末次交易日期，即交易的时段，在进行关联的时候通过限制交易时段过滤掉目标日期内未发生交易的数据，从而降低关联的数据量，达到优化的目的。

Description

数据模型的处理方法及装置

技术领域

本公开总体涉及数据管理技术领域，具体而言，涉及一种数据模型的处理方法及装置。

背景技术

随着互联网的快速发展，近年来电商的数量越来越多，人们也逐渐开始适应和依赖网上购物。对于电商而言，需要大量的对仓库数据以及订单数据进行统计、查询等相关操作。

其中数据仓库(Data Warehouse，可简写为DW或DWH)为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库是单个数据存储，并出于分析性报告和决策支持目的而创建。为有业务智能管理需求的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。对于电商而言，数据仓库中最常用的就是主数据和交易数据，其中主数据(Master Data,简称MD)是指系统间共享数据，例如，客户、供应商、商品相关数据。与记录业务活动，波动较大的交易数据相比，主数据(也称基准数据)变化缓慢。交易数据是指采购订单、销售订单、结算单据等各其他业务的交易单类的数据，每天根据业务情况产生新的数据。

当前数据仓库中，主数据相关的模型一般都是设计为全量数据，即当前主数据模型中的数据为全部的主数据，在使用的时候，系统需要扫描全量数据(即一个表中全部的数据)，当交易数据模型与主数据模型需要关联查询的时候，主数据相关模型的数据量非常大时，如客户数据或者商品数，多达数亿或者数十亿，在进行全量查询的时候会消耗非常多的时间与计算机资源。

因此，需要一种新的数据模型的处理方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种数据模型的处理方法及装置，以解决现有技术中对交易数据模型和主数据模型进行关联查询时对主数据模型进行全量数据的查询，需消耗大量的计算资源和时间的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种数据模型的处理方法，包括：

提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；

按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；

基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。

在本公开的一种示例性实施例中，所述第一数据模型为主数据模型，所述第二数据模型为交易数据模型。

在本公开的一种示例性实施例中，所述主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，所述交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

在本公开的一种示例性实施例中，所述过滤后的数据为所述初始日期之前的数据、所述结束日期之后的数据、从所述初始日期到所述结束日期之间的数据或从所述初始日期到所述结束日期之间某一天的数据其中之一。

在本公开的一种示例性实施例中，采用增量更新的方式对所述第一数据模型中的数据进行更新。

根据本公开的另一个方面，还提供一种数据模型的处理装置，包括：

开始模块，用于提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；

过滤模块，用于按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；

关联模块，用于基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。

在本公开的一种示例性实施例中，所述第一数据模型为主数据模型，所述第二数据模型为交易数据模型。

在本公开的一种示例性实施例中，所述主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，所述交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

在本公开的一种示例性实施例中，所述过滤模块得到的所述过滤后的数据为所述初始日期之前的数据、所述结束日期之后的数据、从所述初始日期到所述结束日期之间的数据或所述过滤后的数据为从所述初始日期到所述结束日期之间某一天的数据其中之一。

在本公开的一种示例性实施例中，还包括：

更新模块，用于采用增量更新的方式对所述第一数据模型中的数据进行更新。

根据本公开的技术方案，能够得到以下技术效果：

通过在第一数据模型中，设置初次交易日期和末次交易日期，即交易的时段，在进行关联的时候通过限制交易时段过滤掉目标日期内未发生交易的数据，从而降低关联的数据量，达到优化的目的。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示意性示出本公开一实施例中提供的一种数据模型的处理方法的步骤流程图。

图2示意性示出根据本公开一实施例中时间轴示意图。

图3示意性示出根据本公开一实施例中场景一某日期之前的订单数据与商品数据关联的原理示意图。

图4示意性示出根据本公开一实施例中场景二某时间段之间的订单数据与商品数据关联的原理示意图。

图5示意性示出根据本公开一实施例中场景三某日期之后的订单数据与商品数据关联的原理示意图。

图6示意性示出根据本公开一实施例中场景四某一天的订单数据与商品数据关联的原理示意图。

图7示意性示出根据本公开另一实施例中提供的一种数据模型的处理装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出本公开一实施例中提供的一种数据模型的处理方法的步骤流程图，该方法基于动作时段对主数据模型中的数据进行过滤，在进行关联查询时无需对主数据模型进行全量数据的扫描。

如图1所示，在步骤S10中，提供一第一数据模型和一第二数据模型，其中第一数据模型中包括初始日期和结束日期。为了能够实现对两个数据模型的关联查询，第一数据模型和第二数据模型需要至少具有一个相同的字段。

如图1所示，在步骤S20中，按照预设条件根据初始日期和结束日期对第一数据模型中的数据进行过滤，得到过滤后的数据。本实施例中可以利用添加的初始日期和结束日期按照预设条件进行限制第一数据模型的数据量，例如获取设定的时间段或时间点的数据量。

如图1所示，在步骤S30中，基于第一数据模型与第二数据模型中含有的相同字段，将第一数据模型中过滤后的数据与第二数据模型进行关联查询。

本实施例中以商品主数据模型为例对上述处理方法进行说明，具体如下：

电商常用的就是商品数据与订单数据，即在统计或者分析订单数据时，经常需要关联到商品数据，并按照商品属性相关的维度对订单数据进行汇总。假设，其中的第一数据模型为主数据模型，主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，第二数据模型为交易数据模型，交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

本实施例中的数据模型均以MySQL为例，表1为商品数据(dw_sku_da)模型，包含字段为标准库存单元(sku_id)、初次销售时间(first_deal_date)和末次销售时间(last_deal_date)。表1中对这三个字段名从字段类型、是否允许为空、是否为主键、字段注释以及说明等几个方面来对数据模型进行完善。

表1

表2为订单数据(dw_order_detail_di)模型，包含字段为标准库存单元(sku_id)、订单编号(order_id)、下单用户账号(user_acct)、订单创建时间(create_time)和分区字段(dt)。表2中对这几个字段名也是从字段类型、是否允许为空、是否为主键、字段注释以及说明等几个方面来对数据模型进行完善。

表2

以下表3(商品数据)和表4(订单数据)分别示出对应表1和表2的具体的示例数据。

sku_id	first_deal_date	last_deal_date
			109630	2016-02-01	2016-02-01
203586	2015-01-07	2015-09-01
			203589	2015-06-01	2015-12-12
203595	2015-02-09	2016-03-03
			203597	2015-04-11	2015-07-16
203598	2015-09-01	2015-09-01
			303599	2015-01-08	2015-03-10
307538	2016-02-02	2016-02-02
			503768	2016-03-08	2016-03-08
606717	2015-10-10	2015-10-10
			706732	2015-08-04	2015-08-15
905737	2015-11-11	2016-03-22
			907235	2016-04-01	2016-04-01

表3

表4

表4中列出的订单数据仅仅为订单创建时间在2015-01-07到2016-04-01之间的订单数据，表3和表4中的数据存在sku_id相同的数据，因此可以按照sku_id对表3中的数据进行分组，并取sku_id相同的几个数据中最小日期和最大日期，也就是对每个商品的初次交易日期和末次交易日期进行统计得到表3。

需要说明的是，本实施例中过滤后的数据为初始日期之前、结束日期之后的数据、从初始日期到结束日期之间或过滤后的数据为从初始日期到结束日期之间某一天的数据。

对某种商品可以按照表4中统计的初次交易日期和末次交易日期进行区段划分，并按照划分的区段对表3中的订单数据进行关联查询等操作，集合图2所示的时间轴示意图，具体包括以下几种场景：

场景一：某日期之前的订单数据与商品数据关联，也就是初次交易日期在2015-06-01之前的订单数据与商品进行关联。

取表3中的初次交易日期在2015-06-01之前的数据，然后与表4的目标数据进行关联。如图3所示，其中表3和表4中初次交易日期在2015-06-01之后的数据被过滤掉，有效的降低了参与关联的数据量，从而达到优化目的。

场景二：某时间段之间的订单数据与商品数据关联，也就是初次交易时间在2015-06-01之后，末次交易日期在2016-02-01之前的订单数据与商品进行关联。

取表3中的初次交易日期在2016-02-01之前的数据并且末次交易日期在2015-06-01之后的数据，然后与表4的目标数据进行关联。如图4所示，其中表3和表4中初次交易日期在2016-02-01之后的数据或者末次交易日期在2015-06-01之前的数据会被过滤掉，仅满足预设时段的数据才参与关联，有效的降低了参与关联的数据量，从而达到优化目的。

场景三：某日期之后的订单数据与商品数据关联，也就是末次交易日期在2016-02-01之后的订单数据与商品进行关联。

取表3中的末次交易日期大于等于2015-06-01的数据，然后与表4的目标数据进行关联。如图5所示，其中表3和表4中末次交易日期在2015-06-01之前的数据会被过滤掉，有效的降低了参与关联的数据量，从而达到优化目的。

场景四：某一天的订单数据与商品数据关联，也就是仅发生在2015-09-01这一天的订单数据与商品进行关联。

取表3中的初次交易日期在2015-09-01及之前的数据并且末次交易日期在2015-09-01及之后的数据，然后与表4的目标数据进行关联。如图6所示，初次交易日期在2015-09-01之后的数据或者末次交易日期在2015-09-01的数据会被过滤掉，有效的降低了参与关联的数据量，从而达到优化目的。

利用上述四种场景可以过滤掉原来订单数据中的大部分不相关的数据，从而得到相关的商品数据并进行关联，降低扫描和关联的数据量，节省等候时间和资源消耗，达到优化的目的。

另外，本实施例提供的方法还包括对数据进行加工的操作，即采用增量更新的方式对第一数据模型中的数据进行更新。

这样，对订单数据仅需进行一次初始化即可，然后每日增加的订单就以增量加入到原订单数据中。如表5所示为在表4末次交易日期2016-04-01之后增加的订单数据，也就是2016-04-02的订单数据。

order_id	sku_id	user_acct	create_time	dt
					18520000	203598	TPeter	2016-04-02	2016-04-02
18536091	203589	Jack	2016-04-02	2016-04-02
					18594567	805392	Tom	2016-04-02	2016-04-02

表5

其中表5中sku编号为203598、203589是表3中需要更新末次交易日期的sku编号，sku编号为805392是表3和表4中原来没有的，因此需要新增的sku编号805392，由于仅有这一天的数据，因此初期交易日期和末次交易日期都是2016-04-02，得到对表3进行更新之后得到表6。

sku_id	first_deal_date	last_deal_date
			109630	2016-02-01	2016-02-01
203586	2015-01-07	2015-09-01
			203589	2015-06-01	2015-12-12
203595	2015-02-09	2016-03-03
			203597	2015-04-11	2015-07-16
203598	2015-09-01	2016-04-02
			303599	2015-01-08	2015-03-10
307538	2016-02-02	2016-02-02
			503768	2016-03-08	2016-03-08
606717	2015-10-10	2015-10-10
			706732	2015-08-04	2015-08-15
905737	2015-11-11	2016-03-22
			907235	2016-04-01	2016-04-01
805392	2016-04-02	2016-04-02

表6

表6中，带有下划线的为经过增量处理的商品数据，因此需要按照更新的初次交易日期和末次交易日期进行以上几种场景的关联查询。

综上所述，本实施例通过的处理方法通过在第一数据模型中，设置初次交易日期和末次交易日期，即交易的时段，在进行关联的时候通过限制交易时段过滤掉目标日期内未发生交易的数据，从而降低关联的数据量，达到优化的目的。该方法不仅可以适用于订单数据与商品数据关联的优化，还可以适用于例如商品的浏览、商品的采购、用户的订单等数据模型进行关联的优化。

图7示出本公开的另一实施例中还提供一种数据模型的处理装置的组成示意图，该装置100包括：开始模块110、过滤模块120、关联模块130和更新模块140。

开始模块110用于提供一第一数据模型和一第二数据模型，其中第一数据模型中包括初始日期和结束日期，为了能够实现对两个数据模型的关联查询，第一数据模型和第二数据模型需要至少具有一个相同的字段。过滤模块120用于根据初始日期和结束日期对第一数据模型中的数据进行过滤，得到过滤后的数据。关联模块130用于基于第一数据模型与第二数据模型中含有的相同字段，将第一数据模型中过滤后的数据与第二数据模型进行关联查询。

电商常用的就是商品数据与订单数据，即在统计或者分析订单数据时，经常需要关联到商品数据，并按照商品属性相关的维度对订单数据进行汇总。假设，其中的第一数据模型为主数据模型，主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，第二数据模型为交易数据模型，交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

本实施例中过滤模块120根据时段划分对表4中数据进行筛选，从而得到的过滤后的数据为初始日期之前、结束日期之后的数据、从初始日期到结束日期之间或过滤后的数据为从初始日期到结束日期之间某一天的数据。

本实施例中的更新模块140用于采用增量更新的方式对第一数据模型中的数据进行更新，具体更新方式参见上述实施例所述，此处不再赘述。

综上所述，本实施例通过的处理装置通过在第一数据模型中，设置初次交易日期和末次交易日期，即交易的时段，在进行关联的时候通过限制交易时段过滤掉目标日期内未发生交易的数据，从而降低关联的数据量，达到优化的目的。该装置不仅可以适用于订单数据与商品数据关联的优化，还可以适用于例如商品的浏览、商品的采购、用户的订单等数据模型进行关联的优化。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施方式。

以上具体地示出和描述了本公开的示例性实施方式。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种数据模型的处理方法，其特征在于，包括：

提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；

按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；

基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。

2.根据权利要求1所述的处理方法，其特征在于，所述第一数据模型为主数据模型，所述第二数据模型为交易数据模型。

3.根据权利要求2所述的处理方法，其特征在于，所述主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，所述交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

4.根据权利要求1所述的处理方法，其特征在于，所述过滤后的数据为所述初始日期之前的数据、所述结束日期之后的数据、从所述初始日期到所述结束日期之间的数据或从所述初始日期到所述结束日期之间某一天的数据其中之一。

5.根据权利要求1所述的处理方法，其特征在于，采用增量更新的方式对所述第一数据模型中的数据进行更新。

6.一种数据模型的处理装置，其特征在于，包括：

开始模块，用于提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；

过滤模块，用于按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；

关联模块，用于基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。

7.根据权利要求6所述的处理装置，其特征在于，所述第一数据模型为主数据模型，所述第二数据模型为交易数据模型。

8.根据权利要求7所述的处理装置，其特征在于，所述主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，所述交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

9.根据权利要求6所述的处理装置，其特征在于，所述过滤模块得到的所述过滤后的数据为所述初始日期之前的数据、所述结束日期之后的数据、从所述初始日期到所述结束日期之间的数据或从所述初始日期到所述结束日期之间某一天的数据其中之一。

10.根据权利要求6所述的处理装置，其特征在于，还包括：

更新模块，用于采用增量更新的方式对所述第一数据模型中的数据进行更新。