CN108021588B - 一种面向电子商务的用户首次购数据整合方法及装置 - Google Patents

一种面向电子商务的用户首次购数据整合方法及装置 Download PDF

Info

Publication number
CN108021588B
CN108021588B CN201610969936.4A CN201610969936A CN108021588B CN 108021588 B CN108021588 B CN 108021588B CN 201610969936 A CN201610969936 A CN 201610969936A CN 108021588 B CN108021588 B CN 108021588B
Authority
CN
China
Prior art keywords
order
user
data
model
purchase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610969936.4A
Other languages
English (en)
Other versions
CN108021588A (zh
Inventor
阎开品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201610969936.4A priority Critical patent/CN108021588B/zh
Publication of CN108021588A publication Critical patent/CN108021588A/zh
Application granted granted Critical
Publication of CN108021588B publication Critical patent/CN108021588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635Processing of requisition or of purchase orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种面向电子商务的用户首次购数据整合方法及装置,该方法包括:从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和/或精缩订单明细表数据;根据精缩订单表和精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,该用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,对订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,动态数据的更新方式为全量更新,动态数据根据设定条件转移至静态数据。本发明在满足对首次购买数据的统计需求的前提下,实现了对首次购数据模型的整合,降低统计模型的维护成本和风险。

Description

一种面向电子商务的用户首次购数据整合方法及装置
技术领域
本发明涉及数据分析及计算机软件领域,具体涉及一种面向电子商务的用户首次购数据整合方法及装置。
背景技术
伴随着电子商务的不断发展,用户的行为和购买数据在不断地快速积累。用户首次下单的相关数据(即用户首次购)的分析和挖掘,在购买数据分析中占有绝对重要的地位。
由于首次购买数据需求复杂多样,如:全站范围的用户首次购,各渠道用户首次购,去恶意订单后的首次购,去风险用户首次购等。因为用户首次购的相关信息,需要系统对所有用户的全部订单数据进行遍历,对于大型电商公司来说,这会对仓库的资源或性能带来挑战。
现有技术中是通过数据抽取工具,将线上数据抽取到数据仓库中,然后通过模型搭建来满足数据业务需求。然后,根据业务方数据需求的不同分别设计多个模型来逐一满足。例如:
(1)按不同渠道划分的用户首次购模型,即一个用户每个渠道的首次购订单信息为一条记录,这样一个用户有几个渠道下单就有几条记录;
(2)按用户划分的用户首次购模型,即一个用户所有下单中的首次购订单信息为一条记录,这样一个用户仅一条记录;
(3)按用户一级品类划分的首次购模型,即一个用户每个一级品类首次购订单信息为一条记录,这样一个用户在不同的一级品类下过单,就有几条记录;
(4)按用户去恶意订单后的首次购模型,即一个用户所有下单中,去掉恶意订单的首次购订单。这样一个用户仅有一条记录。
由于类似上述不同的首次购业务需求还有很多,如果分别满足不同的业务数据需求,那么需要设计并构建多个相似的模型。这样的话,多个全量扫描订单的表执行起来会对集群产生较大压力,并且在后期维护时,对同一个口径的修改需要修改多个底层脚本。对于大量级的数据存储,大多进行增量或全量加工,这将对抽取和加工产生较大压力,未来发展到一定阶段,这种方式必然将产生数据处理瓶颈。
通过现有技术的方法来处理用户首次购数据的需求,会产生如下情况:
(1)集群压力大:如果同样是用户首次购数据,若存在多个相似的模型,那就要对订单全量数据进行多次扫描,集群压力会非常大。
(2)后期维护成本高:如果一个共有指标同时存在于较多模型中,在将来对该指标的加工口径进行调整时就需要维护多个模型,成本高,风险大;
(3)直接根据订单GDM层模型进行加工,其实用户首次购并不需要这么多指标,加工时带着大量无用指标必然会影响加工效率;
(4)需要根据业务场景建立较多首次购相关的模型,模型量大、口径不统一、划分角度不统一。
发明内容
有鉴于此,本发明的目的是提供一种面向电子商务的用户首次购数据整合方法及装置,在满足大多数对首次购买数据的统计需求的前提下,以实现对首次购数据模型的整合,进而降低统计模型的维护成本和风险。
本发明的技术方案是提供一种面向电子商务的用户首次购数据整合方法,所述方法包括:
从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述静态数据不进行更新,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据。
可选地,所述用户首次购信息至少包括:
订单维度、用户属性指标、订单指标以及去恶意订单指标。
可选地,所述精缩订单表和精缩订单明细表数据保存于临时数据层。
可选地,所述订单级用户首次购模型至少包括:第一维度区、第一用户属性指标区、第一订单指标区以及去恶意订单后的订单指标区,其中
所述第一维度区包括用户账号以及下单渠道;
所述第一用户属性指标区包括用户风险级别、用户风险管理、用户绑定状态,用户注册时间;
所述第一订单指标区至少包括订单编号、下单日期、全局首次购标志、实付金额;
所述去恶意订单后的订单指标区至少包括去恶意订单编号、去恶意后下单日期、全局首次购标志、收获地址、实付金额以及销售订单种类代码。
可选地,所述订单明细级用户首次购模型至少包括:第二维度区、第二用户属性指标区、第二订单指标区,其中,
所述第二维度区包括用户账号、商品一级分类代码以及商品一级分类名称;
所述第二用户属性指标至少包括用户注册时间等用户属性;
所述订单指标包括订单编号、下单日期、简单订单来源、全局首次购标志。
可选地,在对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分的步骤中,还包括:
根据不同业务场景设定的拆分条件对订单数据进行数据拆分,将所述订单数据分别生成所述静态数据和所述动态数据。
本发明还提供一种面向电子商务的用户首次购数据整合装置,所述装置包括:
数据精缩模块,用于从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
数据搭建模块,用于根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述静态数据不进行更新,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据。
可选地,所述用户首次购信息至少包括:
订单维度、用户属性指标、订单指标以及去恶意订单指标。
可选地,所述精缩订单表和精缩订单明细表数据保存于临时数据层。
可选地,所述订单级用户首次购模型至少包括:第一维度区、第一用户属性指标区、第一订单指标区以及去恶意订单后的订单指标区,其中
所述第一维度区包括用户账号以及下单渠道;
所述第一用户属性指标区包括用户风险级别、用户风险管理、用户绑定状态,用户注册时间;
所述第一订单指标区至少包括订单编号、下单日期、全局首次购标志、实付金额;
所述去恶意订单后的订单指标区至少包括去恶意订单编号、去恶意后下单日期、全局首次购标志、收获地址、实付金额以及销售订单种类代码。
可选地,所述订单明细级用户首次购模型至少包括:第二维度区、第二用户属性指标区、第二订单指标区,其中,
所述第二维度区包括用户账号、商品一级分类代码以及商品一级分类名称;
所述第二用户属性指标至少包括用户注册时间等用户属性;
所述订单指标包括订单编号、下单日期、简单订单来源、全局首次购标志。
可选地,所述装置还包括:数据拆分模块,所述数据拆分模块用于根据不同业务场景设定条件对订单数据进行数据拆分,将所述订单数据分别生成所述静态数据和所述动态数据。
为实现上述目的,根据本发明实施例的又一方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的面相电子商务的用户首次购数据整合方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的面相电子商务的用户首次购数据整合方法。
通过本发明提供的面向电子商务的用户首次购数据整合方法及装置,从订单和订单明细的视角(维度),通过对与用户首次购信息相关信息进行精缩,并且按照合理的维度,将用户属性和订单信息的顺序拼接,建立用户首次购模型,从而实现对用户首次购数据进行高效整合。此外,通过对用户首次购数据进行动静态数据拆分,将数据后期的加工性能提高,降低加工时长和资源占用。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明一实施例的面向电子商务的用户首次购数据整合方法的流程示意图;
图2为本发明实施方式的面向电子商务的用户首次购数据整合装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
本领域技术技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
在本文中,需要理解的是,所涉及的术语中:
TEMP层(临时数据层):临时数据加工、存储的层;
全局首次购标志:是订单指标中,最为重要的一个指标。全局首次购指不限定购物渠道等任何条件下的用户订单信息,一个用户仅一个全局首单。一个用户账号下,在各渠道的首单“下单日期”获取后,再取这些首单日期的最大值,即max(H列);
恶意订单:伴随着业务的快速发展和大量促销活动的推出,已经出现了大量恶意下单的人群,因此有必要在首次购分析的时候将这些恶意订单数据进行剔除。如果订单数据中的订单量和实付金额满足预设条件,则可以认定为是恶意订单数据,例如:一个账号的订单量=1且实付金额<1元,那么可以认为该账号的数据为“恶意订单数据”;
GDM层:即通用数据层(General Data Model)。以通用性为目标,将多个基础数据层(Fundamental Data Model)的数表以业务逻辑进行关联和加工,从而形成某个维度的模型并存放于该层,即为通用数据层。
数据维度(数据粒度):是指从数据对象何种属性或特征来看数据。如:订单维度(一个订单为一条记录)、订单明细维度(一个订单中的一个商品为一条记录,如果同订单买了多个商品,则有多条记录)、用户维度(一个用户一条记录)。
数据指标:是指可以按总数或比值衡量的具体维度元素。如:以订单为维度时,用户需要看到与该维度数据对应的其他数据和内容。例如,订单常见指标有:订单编号、下单时间、下单金额、付款时间等。
SKU:商品的最小粒度,例如,某个杯子,颜色和容量的数据组合即为一个SKU。其中,黄色500ML即为一个SKU1,黄色300ML即为一个SKU2。
示例性方法
下面参见图1所示对本发明示例性的实施方式进行介绍。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
例如,参见图1所示,为本发明一实施例的面向电子商务的用户首次购数据整合方法的流程示意图。
如图所示,该方法包括:
步骤S101:从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
步骤S102:根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述静态数据不进行更新,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据。
可选地,所述用户首次购信息至少包括:
订单维度、用户属性指标、订单指标以及去恶意订单指标。
可选地,所述精缩订单表和精缩订单明细表数据保存于临时数据层。
可选地,所述订单级用户首次购模型至少包括:第一维度区、第一用户属性指标区、第一订单指标区以及去恶意订单后的订单指标区,其中
所述第一维度区包括用户账号以及下单渠道;
所述第一用户属性指标区包括用户风险级别、用户风险管理、用户绑定状态,用户注册时间;
所述第一订单指标区至少包括订单编号、下单日期、全局首次购标志、实付金额;
所述去恶意订单后的订单指标区至少包括去恶意订单编号、去恶意后下单日期、全局首次购标志、收获地址、实付金额以及销售订单种类代码。
可选地,所述订单明细级用户首次购模型至少包括:第二维度区、第二用户属性指标区、第二订单指标区,其中,
所述第二维度区包括用户账号、商品一级分类代码以及商品一级分类名称;
所述第二用户属性指标至少包括用户注册时间等用户属性;
所述订单指标包括订单编号、下单日期、简单订单来源、全局首次购标志。
可选地,在对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分的步骤中,还包括:
根据不同业务场景设定的拆分条件对订单数据进行数据拆分,将所述订单数据分别生成所述静态数据和所述动态数据。
实施例一
下面结合一个具体实施例对本发明进行具体描述,然而值得注意的是该具体实施例仅是为了更好地描述本发明,并不构成对本发明的不当限定。
步骤S101:从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据。
具体来说,从订单模型和订单明细模型中,从100-150个订单指标中挑选与用户首次购相关的常用指标,这些指标大约在10-20个之间,基本能够满足日常数据使用。将该订单模型精缩后的临时表命名为Table a,将该订单明细模型精缩后的临时表命名为Tableb。这种方式将订单模型指标进行精缩,降低加工时长和资源占用。
特别的,由于订单信息较多,并且这些指标通常散落在多个线上表中,因此这些与用户首次购信息相关的数据通常是根据某一维度(业务逻辑)加工成多个GDM模型,其中一个订单GDM模型表,指标通常在100-150左右。
步骤S102:从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据。
下面以订单级用户首次购模型为例进行说明,该模型由4部分组成,具体内容如下表1所示,其中必有项为:
维度区、用户属性指标区(用户注册时间)、订单指标区(订单编号、下单日期以及全局首次购标志)、去恶意订单后的订单指标区(去恶意后订单编号、去恶意后下单日期以及全局首次购标志)。
表1
Figure GDA0001463947960000101
下面分别对表1中的各个组成部分进行详细解释。
第一部分:维度区(A列和B列)
对于大型电商来说,多渠道下单是非常常见的业务场景。该模型的维度区由“用户账号+下单渠道”组成,这个维度是用户首次购中较为常见的数据需求。若不涉及到多渠道下单,该模型的维度还可简化为“用户账号”。
第二部分:用户属性指标区(C列-F列)
在用户属性指标区中,需要将用户的各种状态或属性字段放在该区。例如,用户级别、用户风险等级、用户绑定状态等。
另外,该用户属性指标区还可以添加用户注册时间字段,以便于对通过用户的注册时间和下首单时间来对用户进行数据挖掘和分析。
第三部分:订单指标区(G列-L列)
将用户根据账号和下单渠道进行排序,获取同一账号各渠道首单的相关字段信息并存放于该订单指标区。该区通常要包含订单编号、下单日期、实付金额以及全局首次购标志等订单相关信息。该区最终放的指标,可由具体的业务场景灵活添加。
特别的是,全局首次购标志是订单指标区中最重要的一个指标。全局首次购指不限定购物渠道等任何条件下的用户订单信息,一个用户仅一个全局首单。一个用户账号下,在各渠道的首单“下单日期”获取后,再取这些首单日期的最大值,即max(H列)。这样处理能同时满足分渠道和全局首次购两种数据场景的需求。
第四部分:去恶意订单后的订单指标区(M列-R列)
伴随着业务的快速发展和大量促销的推出,会出现大量恶意下单的人或团体,因此这样的数据通常在分析首次购的时候需要剔除。
为了便于数据使用,从而添加这部分数据。这部分数据通常要求对订单量和实付金额满足一定的预设条件,例如,订单量=1且该订单的实付金额<1元。在剔除这样的订单数据后的首单信息,称之为去恶意订单后的首单数据。
上面是根据模板设定的一个具体模型,该模型不局限于满足以下首次购需求:
(1)用户全局首次购订单信息
当用户发送查询全局首次购订单信息请求时,查询请求中至少需指定I列数值,通过I列数值在模型中进行定位。当用户某条记录的I列数据取值为1时,该记录即为用户全局订单记录,依此类推从而筛选出满足条件的所有记录,最终进行结果输出。输出结果也可根据记录中的信息进行排序等处理,如:下单日期、收货地址等。
(2)用户全局首次购用户数量
当用户发送统计全局首次购用户数量请求时,查询请求中至少需指定I列数值,通过I列数值在模型中进行定位。当用户某条记录的I列数据取值为1时,该记录即为用户全局订单记录,依此类推从而筛选出满足条件的所有记录,再根据A列进行统计,统计数量即为输出结果。
(3)各渠道首次购用户数量
当用户发送统计各渠道首次购用户数量请求时,查询请求根据B列数值在模型中进行定位。所有记录根据B列进行分组并根据A列进行去重统计,该统计数量即为输出结果。
统计结果如下:
B=1(假设数值1为电脑PC端),100(去重后人数);
B=2(假设数值2为手机APP端),300(去重后人数)。
(4)指定渠道首次购订单信息
当用户发送查询指定渠道首次购订单信息请求时,查询请求中至少需指定B列数值,通过B列数值在模型中进行定位。当用户某条记录的B列数据取值为N时(用户指定渠道数值),该记录即为用户指定渠道的订单信息,依此类推从而筛选出满足条件的所有记录,最终进行结果输出。
(5)有购买用户量
当用户发送查询用过购买用户数量的请求时,根据A列去重后统计数量即可,最终进行结果输出。
实施例二
对于订单明细级用户首次购模型为例进行说明,该模型由4部分组成,具体内容如下表2所示,其中必有项为:
维度区(用户账号、商品一级分类代码以及商品以及分类名称)、用户属性指标区(用户注册时间)、订单指标区(订单编号、下单日期、首单订单来源以及全局首次购标志)。
表2
Figure GDA0001463947960000131
订单明细级用户首次购模型与订单级用户首次购模型整体思路是一致的,特别的是,因为商品品类随着业务的发展将越来越多,故对于订单明细级用户首次购模型而言,本发明一实施例中将品类首次购仅限于一级品类,如果再细的划分将会降低性能并占用较大资源。同时去恶意单后的相关信息,也不建议放于明细级表。
注:订单级和订单明细级首次购模型各区数据在关联时,根据用户账号进行关联。
最后,对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,其中,静态数据为已经稳定不变的数据,动态数据为需要持续更新的数据,并且所述静态数据不进行更新,动态数据的更新方式为全量更新,动态数据根据设定条件转移至静态数据。这种方式的目的在于伴随着数据规模越来越大,数据拆分处理能够有效的降低加工时长和资源占用。
下面结合表3对订单级用户首次购模型和订单明细级用户首次购模型的数据拆分进行详细描述。
对订单级数据的划分:
根据注册渠道对用户的订单数据Table a进行排序,利用“time>Nand各渠道首次购不为空”这个联合条件进行动静数据拆分。其中,Time为时间类型指标,如:订单完成时间、订单提交时间等,N为根据业务场景进行设定的时间点或时间范围的变量,如:1年、2015年等。
举例:
订单完成时间>1年,设定为静态数据Table11;
订单完成时间≤1年,设定为动态数据Table12。
因此,Table12的数据每天可进行全量更新,Table 11的数据初始化后不再更新,Table12的数据可以根据设定条件转移至Table 11。通过这种方式可以从数据加工上进行优化,从而降低资源消耗,缩短加工时长。
另外,对订单明细级数据的划分:
根据一级品类将用户的订单明细级数据Table b进行排序,然后进行动静数据拆分,分别形成静态数据Table21和动态数据Table22,由于方法与订单级数据划分方式的原理一致,故不在此赘述。
表3
Figure GDA0001463947960000141
Figure GDA0001463947960000151
如图2所示为本发明一实施例的面向电子商务的用户首次购数据整合装置的示意图,所述装置3包括:
数据精缩模块21,用于从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
数据搭建模块22,用于根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述静态数据不进行更新,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据。
可选地,所述用户首次购信息至少包括:
订单维度、用户属性指标、订单指标以及去恶意订单指标。
可选地,所述精缩订单表和精缩订单明细表数据保存于临时数据层。
可选地,所述订单级用户首次购模型至少包括:第一维度区、第一用户属性指标区、第一订单指标区以及去恶意订单后的订单指标区,其中
所述第一维度区包括用户账号以及下单渠道;
所述第一用户属性指标区包括用户风险级别、用户风险管理、用户绑定状态,用户注册时间;
所述第一订单指标区至少包括订单编号、下单日期、全局首次购标志、实付金额;
所述去恶意订单后的订单指标区至少包括去恶意订单编号、去恶意后下单日期、全局首次购标志、收获地址、实付金额以及销售订单种类代码。
可选地,所述订单明细级用户首次购模型至少包括:第二维度区、第二用户属性指标区、第二订单指标区,其中,
所述第二维度区包括用户账号、商品一级分类代码以及商品一级分类名称;
所述第二用户属性指标至少包括用户注册时间等用户属性;
所述订单指标包括订单编号、下单日期、简单订单来源、全局首次购标志。
可选地,所述装置还包括:数据拆分模块23,所述数据拆分模块23用于根据不同业务场景设定条件对订单数据进行数据拆分,将所述订单数据分别生成所述静态数据和所述动态数据。
由于本发明提供的面向电子商务的用户首次购数据整合装置是上述方法对应的装置,故不在此赘述。
通过本发明提供的面向电子商务的用户首次购数据整合方法及装置,从订单和订单明细的视角(维度),通过对与用户首次购信息相关信息进行精缩,并且按照合理的维度,将用户属性和订单信息的顺序拼接,建立用户首次购模型,从而实现对用户首次购数据进行高效整合。此外,通过对用户首次购数据进行动静态数据拆分,将数据后期的加工性能提高,降低加工时长和资源占用。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种面向电子商务的用户首次购数据整合方法,其特征在于,所述方法包括:
从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述静态数据不进行更新,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据;
其中,所述订单级用户首次购模型至少包括:第一维度区、第一用户属性指标区、第一订单指标区以及去恶意订单后的订单指标区;所述第一维度区包括用户账号以及下单渠道;所述去恶意订单后的订单指标区至少包括全局首次购标志;
所述订单明细级用户首次购模型至少包括:第二维度区、第二用户属性指标区、第二订单指标区;所述第二维度区包括用户账号、商品一级分类代码以及商品一级分类名称;所述订单指标包括全局首次购标志。
2.根据权利要求1所述的方法,其特征在于,所述用户首次购信息至少包括:
订单维度、用户属性指标、订单指标以及去恶意订单指标。
3.根据权利要求1所述的方法,其特征在于,所述精缩订单表和精缩订单明细表数据保存于临时数据层。
4.根据权利要求1所述的方法,其特征在于,
所述第一用户属性指标区包括用户风险级别、用户风险管理、用户绑定状态,用户注册时间;
所述第一订单指标区至少包括订单编号、下单日期、全局首次购标志、实付金额;
所述去恶意订单后的订单指标区至少包括去恶意订单编号、去恶意后下单日期、收获地址、实付金额以及销售订单种类代码。
5.根据权利要求1所述的方法,其特征在于,
所述第二用户属性指标至少包括用户注册时间用户属性;
所述订单指标包括订单编号、下单日期、简单订单来源。
6.根据权利要求1所述的方法,其特征在于,在对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分的步骤中,还包括:
根据不同业务场景设定的拆分条件对订单数据进行数据拆分,将所述订单数据分别生成所述静态数据和所述动态数据。
7.一种面向电子商务的用户首次购数据整合装置,其特征在于,所述装置包括:
数据精缩模块,用于从订单模型和订单明细模型中选择与用户首次购信息相关的筛选信息,生成精缩订单表和精缩订单明细表数据;
数据搭建模块,用于根据所述精缩订单表和所述精缩订单明细表数据,将用户属性和订单信息进行拼接,建立用户首次购模型,其中所述用户首次购模型包括订单级用户首次购模型和订单明细级用户首次购模型,并对所述订单级用户首次购模型和订单明细级用户首次购模型进行数据拆分,分别生成静态数据和动态数据,所述静态数据不进行更新,所述动态数据的更新方式为全量更新,并且所述动态数据根据设定条件转移至所述静态数据;其中,所述订单级用户首次购模型至少包括:第一维度区、第一用户属性指标区、第一订单指标区以及去恶意订单后的订单指标区;所述第一维度区包括用户账号以及下单渠道;所述去恶意订单后的订单指标区至少包括全局首次购标志;所述订单明细级用户首次购模型至少包括:第二维度区、第二用户属性指标区、第二订单指标区;所述第二维度区包括用户账号、商品一级分类代码以及商品一级分类名称;所述订单指标包括全局首次购标志。
8.根据权利要求7所述的装置,其特征在于,所述用户首次购信息至少包括:
订单维度、用户属性指标、订单指标以及去恶意订单指标。
9.根据权利要求7所述的装置,其特征在于,所述精缩订单表和精缩订单明细表数据保存于临时数据层。
10.根据权利要求7所述的装置,其特征在于,所述第一用户属性指标区包括用户风险级别、用户风险管理、用户绑定状态,用户注册时间;
所述第一订单指标区至少包括订单编号、下单日期、全局首次购标志、实付金额;
所述去恶意订单后的订单指标区至少包括去恶意订单编号、去恶意后下单日期、收获地址、实付金额以及销售订单种类代码。
11.根据权利要求7所述的装置,其特征在于,
所述第二用户属性指标至少包括用户注册时间用户属性;
所述订单指标包括订单编号、下单日期、简单订单来源。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括:
数据拆分模块,所述数据拆分模块用于根据不同业务场景设定条件对订单数据进行数据拆分,将所述订单数据分别生成所述静态数据和所述动态数据。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201610969936.4A 2016-10-28 2016-10-28 一种面向电子商务的用户首次购数据整合方法及装置 Active CN108021588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610969936.4A CN108021588B (zh) 2016-10-28 2016-10-28 一种面向电子商务的用户首次购数据整合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610969936.4A CN108021588B (zh) 2016-10-28 2016-10-28 一种面向电子商务的用户首次购数据整合方法及装置

Publications (2)

Publication Number Publication Date
CN108021588A CN108021588A (zh) 2018-05-11
CN108021588B true CN108021588B (zh) 2021-05-25

Family

ID=62084476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610969936.4A Active CN108021588B (zh) 2016-10-28 2016-10-28 一种面向电子商务的用户首次购数据整合方法及装置

Country Status (1)

Country Link
CN (1) CN108021588B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706049B (zh) * 2018-07-10 2024-08-20 北京京东尚科信息技术有限公司 数据处理方法及装置
CN115374166A (zh) * 2022-10-27 2022-11-22 中国标准化研究院 一种电子商务交易数据分类整合处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061498A (zh) * 2004-09-30 2007-10-24 邓尼赫姆拜有限公司 用于执行零售分析的方法
CN103854220A (zh) * 2014-03-28 2014-06-11 深圳市淘海科技有限公司 实现跨平台购物的实现方法及装置
CN104331454A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种维系挽留休眠用户的系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1428731A (zh) * 2001-12-24 2003-07-09 明日工作室股份有限公司 一种获取顾客动态数据的目标营销系统与方法
CN101639842A (zh) * 2008-07-29 2010-02-03 阿里巴巴集团控股有限公司 会员特征数据统计方法及特征数据统计系统
CN101576988A (zh) * 2009-06-12 2009-11-11 阿里巴巴集团控股有限公司 信用数据交互系统及交互方法
CN103646049B (zh) * 2013-11-26 2016-08-17 中国银行股份有限公司 自动生成数据报表的方法及系统
CN104714972B (zh) * 2013-12-17 2018-06-22 中国银联股份有限公司 数据库分表建立及查询方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061498A (zh) * 2004-09-30 2007-10-24 邓尼赫姆拜有限公司 用于执行零售分析的方法
CN103854220A (zh) * 2014-03-28 2014-06-11 深圳市淘海科技有限公司 实现跨平台购物的实现方法及装置
CN104331454A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种维系挽留休眠用户的系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于客户信息资源管理的e-CRM研究";卢小宾 等;《图书情报工作》;20090510;第53卷(第9期);11-15 *

Also Published As

Publication number Publication date
CN108021588A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN105447184B (zh) 信息抓取方法及装置
CN110147360B (zh) 一种数据整合方法、装置、存储介质和服务器
CN111177231A (zh) 报表生成方法和报表生成装置
CN108509316A (zh) 一种数据处理方法及装置
CN105205188A (zh) 采购物料供应商的推荐方法及推荐装置
CN103970761A (zh) 一种商品数据搜索方法及装置
CN108280091B (zh) 一种任务请求执行方法和装置
CN109064265A (zh) 基于网络平台的购车推荐方法及系统
CN110383321B (zh) 使用图表数据库创建各种实体之间的不同关系的系统和方法
CN108171528A (zh) 一种归因方法及归因系统
CN106844320B (zh) 一种财务报表整合方法和设备
CN108960672B (zh) 限额限次的风控方法、装置及计算机可读存储介质
CN106326243A (zh) 一种数据处理方法及装置
CN111242318A (zh) 基于异构特征库的业务模型训练方法及装置
CN108491408B (zh) 一种活动信息的处理方法、装置、电子设备及存储介质
CN113268500A (zh) 业务处理方法、装置及电子设备
CN114741392A (zh) 数据查询方法、装置、电子设备及存储介质
CN111724185A (zh) 用户维护方法和装置
CN108021588B (zh) 一种面向电子商务的用户首次购数据整合方法及装置
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN113256340A (zh) 执行任务的方法、装置及电子设备
CN113342793B (zh) 一种调研数据标准化方法及系统
CN113094444B (zh) 数据处理方法、数据处理装置、计算机设备和介质
CN113792084A (zh) 数据热度的分析方法、装置、设备及存储介质
CN105677776A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant