CN110941659A - 一种复合营收的数据分层拆分方法 - Google Patents
一种复合营收的数据分层拆分方法 Download PDFInfo
- Publication number
- CN110941659A CN110941659A CN201911175283.2A CN201911175283A CN110941659A CN 110941659 A CN110941659 A CN 110941659A CN 201911175283 A CN201911175283 A CN 201911175283A CN 110941659 A CN110941659 A CN 110941659A
- Authority
- CN
- China
- Prior art keywords
- data
- order
- income
- group
- expense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明涉及一种复合营收的数据分层拆分方法,包括以下步骤:S1、分别从返佣系统、团结算系统、订单系统和录入系统中获取数据源,其中,数据源包括收入支出数据和订单数据;S2、基于分层管理,将数据源同步到数据仓库中心,通过拆分模型对收入支出数据和订单数据进行处理,以将收入支出数据拆分到对应的订单数据上,完成宽表构建。与现有技术相比,本发明采用分层管理的数据仓库,针对来自不同业务系统的收入支出数据,分别结合订单数据进行拆分,既简化了数据处理过程,同时能够增加订单拆分维度,保证构建宽表的准确性。
Description
技术领域
本发明涉及互联网数据处理技术领域,尤其是涉及一种复合营收的数据分层拆分方法。
背景技术
在营收数据的处理过程中,如果在在线上或线下发生一笔收益或者支出成本,通常需要按照一定的逻辑,将该笔收益或者支出成本拆分到对应的订单上,以计算得到不同品类或者渠道的效益,整个数据处理过程比较复杂,需要依托数据中心强大的运算能力与存储能力。
为了简化数据处理过程,传统的数据处理方式是将该笔收益或者支出成本数据作为一笔整体费用,并在最后计入收入项或者成本项,但在实际应用中,由于和产品供应商签署的合同中返佣占比较大,导致部分产品订单数据原本的毛利率偏低,如果不提前加入这部分收益或支出成本数据的话,从订单维度考核该产品的盈利能力会存在漏洞。
此外,目前的数据处理方法通常无法对数据进行有效拆分,一方面由于从业务系统获取的数据过多,对大量数据同时进行预处理,将导致数据仓库存在大量冗余数据;另一方面,如果源业务系统的业务规则发生变化,也会使得整个数据仓库需要重建,这将影响整个数据处理过程,产生巨大的计算量,最终导致拆分的订单维度不能满足要求,构建的宽表数据准确性不够,也就不能真实反映该产品的投入产出效益。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种复合营收的数据分层拆分方法,通过分层管理和数据拆分的方式,能够有效简化数据处理过程、扩展订单维度,从而保证全面真实地反映投入产出效益。
本发明的目的可以通过以下技术方案来实现:一种复合营收的数据分层拆分方法,包括以下步骤:
S1、分别从返佣系统、团结算系统、订单系统和录入系统中获取数据源,其中,数据源包括收入支出数据和订单数据;
S2、基于分层管理,将数据源同步到数据仓库中心,通过拆分模型对收入支出数据和订单数据进行处理,以将收入支出数据拆分到对应的订单数据上,完成宽表构建。
进一步地,所述收入支出数据分别从返佣系统、团结算系统和录入系统获取,所述订单数据从订单系统获取。
进一步地,所述宽表包括主题数据表、有效订单成本收益表和子单维度团成本中间表。
进一步地,所述步骤S2具体包括以下步骤:
S21、针对从返佣系统获取的收入支出数据,结合订单数据,进行增量业绩订单的数据拆分,得到主题数据表;
S22、针对从录入系统获取的收入支出数据,结合订单数据,进行全量业绩订单的数据拆分,得到有效订单成本收益表;
S23、针对从团结算系统获取的收入支出数据,结合订单数据,进行团结算订单的数据拆分,得到子单维度团成本中间表。
进一步地,所述步骤S21具体包括以下步骤:
S211、对订单数据和从返佣系统获取的收入支出数据同时进行预处理,得到对应的订单信息表和返佣数据表,其中,预处理包括抽取、转换、清洗和加载;
S212、将订单信息表和返佣数据表同步至数据仓库后,输入给数据仓库中的拆分模型,得到主题数据表。
进一步地,所述返佣数据表包括存量数据和T1~Tn时点增量数据,所述主题数据表包括初始主题数据和T1~Tn时主题数据。
进一步地,所述步骤S22具体包括以下步骤:
S221、对订单数据单独进行预处理,得到对应的订单信息表,其中,预处理包括抽取、转换、清洗和加载;
S222、将订单信息表和从录入系统获取的收入支出数据同步至数据仓库后,输入给数据仓库中的拆分模型,得到有效订单成本收益表。
进一步地,所述步骤S23具体包括以下步骤:
S231、对订单数据和从团结算系统获取的收入支出数据同时进行预处理,得到对应的订单信息表和团结算数据表,其中,预处理包括抽取、转换、清洗和加载;
S232、将订单信息表和团结算数据表同步至数据仓库后,输入给数据仓库中的拆分模型,得到子弹维度团成本中间表。
进一步地,所述团结算数据表包括团信息表、团订单维度表、团成本预算表和订单信息表。
与现有技术相比,本发明具有以下优点:
一、本发明在数据仓库中采用分层逻辑结构,通过分层管理使数据仓库分步完成数据同步、拆分模型和宽表构建三部分工作,简化了数据预处理的过程,使每一层的处理逻辑变得更简单,避免大量冗余数据的产生。
二、本发明针对不同业务系统的收入支出数据,分别结合订单数据进行拆分,在源业务系统的业务规则发生变化时,只需要在数据仓库中对应地进行小部分重建,无需重建整个数据仓库,此外,通过生成各自对应的宽表,能够提高拆分的订单维度,保证不同业务系统的收入支出数据准确地被拆分到对应的订单上。
附图说明
图1为本发明的方法流程示意图;
图2为实施例中采用本发明方法的逻辑结构示意图;
图3为实施例中返佣系统的收入支出数据分层拆分过程示意图;
图4为实施例中录入系统的收入支出数据分层拆分过程示意图;
图5为实施例中团结算系统的收入支出数据分层拆分过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1所示,一种复合营收的数据分层拆分方法,包括以下步骤:
S1、分别从返佣系统、团结算系统、订单系统和录入系统中获取数据源,其中,数据源包括收入支出数据和订单数据;
S2、基于分层管理,将数据源同步到数据仓库中心,通过拆分模型对收入支出数据和订单数据进行处理,以将收入支出数据拆分到对应的订单数据上,完成宽表构建。
将上述数据分层拆分方法应用于本实施例,如图2所示,数据源分别从公司返佣系统、公司团结算系统、公司订单系统和录入系统中获取,将这些数据源同步到数据仓库,通过拆分模型进行处理,构建可对外使用的宽表,将宽表输出给应用层,根据不同需求,即可输出对应的应用结果,包括业绩分析、效能分析、用户分析和产品分析。
根据数据源的不同,本发明提出的数据分层拆分过程主要包括增量业绩订单拆分、全量业绩订单拆分和团结算订单成本拆分:
1)增量业绩订单拆分
此部分收入支出数据(业绩数据)来源于返佣系统,拆分的订单来源于订单系统,每天将两部分数据同步到数据中心进行存储与预处理。
首先,同步返佣系统中的数据:返佣系统数据的特点是只反映当前的商品或产品的返佣值,每天数据会更新并覆盖历史数据,不能满足财务做账要求,哪一天增加的返佣算到哪一天。第一次将返佣系统全量数据同步到数据仓库,之后每天通过ORACLE ODI集成工具,将返佣系统的全量数据每天定时同步到数据仓库,并每天保留数据快照。
之后,数据仓库数据处理和拆分模型处理:首次同步的全量数据,按照不同的返佣规则(1-普通阶梯返佣,2-超额阶梯返佣,3-无条件返佣,4-特殊返佣,5-混合返佣),结合不同的返佣方式(1-结算金额返佣方式,2-销量返佣方式,3-出游人数返佣方式),以及规则对应的有效起止日期,将全量数据的返佣金额拆分到对应的订单;
对于次日起同步的全量数据,将同一维度的商品进行返佣金额对比,记录和前一日对比的增量值,然后再根据对应的返佣规则和返佣方式将增量值拆分到对应的订单,并将当日日期作为财务归属日期。
如图3所示,从返佣系统获取的存量数据、T1~Tn时点增量数据,以及从订单系统获取的订单信息表经过抽取、转换、清洗和加载之后,被同步至数据仓库,通过拆分模型的处理,将返佣系统的收入支出数据拆分到对应的订单上,得到初始主题数据、T1~Tn时主题数据。
2)全量业绩订单拆分
此部分收入支出数据(业绩数据)来源于录入系统,适用于单笔供应商返佣和渠道费,或者不同分销商的佣金比例数据,根据相应的时间周期范围,将符合要求的订单按照不同拆分基数,一般是订单营业额、销量或出游人数,将单笔费用或者比例拆分对应到具体订单上。
首先,将单笔供应商返佣或分销商佣金比例线上化,根据业务规则和拆分需要,设计线上录入模板,本实施例中涉及的录入模板分为:
模板一:供应商返佣(收入)
业务人员或财务人员根据设计的模板,按照约定的录入周期,将供应商返佣对应的信息录入系统中。需要注意的是计提日期、分摊基础、出游开始日期和出游结束日期。计提日期就是财务上的归属日期,将这笔钱归属于那个做账月份。分摊基础,是根据这个基础去将这笔费用分摊到每个订单,也是拆分的依据;出游开始日期和结束日期,会涉及到将这笔钱拆分到哪些订单。
模板二:分销商佣金比例(成本)
一般是财务人员进行录入此模板,这关于给与分销商的佣金,属于公司的成本项,包含的细节比较多需谨慎。重点是规则类型,公司和分销商签署的分销协议多种多样,包含分销商+全品类、分销商+特定品类、分销商+特定商品、支付渠道+全品类等等,每一种规则对应一个佣金比例,同一个分销商因为品类或商品的不同,会有多个佣金比例。同样,同一个分销商,在不同时间的佣金比例也是不一致的。所以有效开始时间和有效结束时间的维护也尤为重要。
之后,根据录入模板中的关键字段,筛选出符合的有效订单:
根据录入模板中的规则类型和有效起止日期,筛选出对应的订单。这里的订单是有效订单,是已支付且未取消的订单,取消订单并不参与供应商返佣和分销商佣金的分摊。
如果录入的模板中的日期范围没有有效订单,因为业务特殊协议规定的情况,存在这样的情况,需要根据有效开始日期往前推15天,依次类推,直到找到符合条件的订单为止。
最后,由拆分模型进行加工处理:
将录入模板中的规则和符合条件的订单,进行数据分析模型处理。公司订单的特点是细化到子单维度,比如一个线路订单,会有门票子单、酒店子单、交通子单等等情况,我们最后需要的也是分摊到子单维度的数据。其中会涉及到二级拆分,有些分摊基础是到主单维度,比如出游人数,细化不到子单维度;这种情况就需要先按照出游人数将返佣金额和分销佣金拆分到主单,然后再按照主单中子单的营收占比,将主单分摊到的供应商返佣金额和分销商佣金再次拆分到子单,最后以子单分摊到的金额数据作为业绩。
如图4所示,从录入系统获取的收入支出数据被直接同步至数据仓库,从订单系统获取的订单信息表经过抽取、转换、清洗和加载之后,被同步至数据仓库,通过拆分模型的处理,将录入系统的收入支出数据拆分到对应的订单上,得到有效订单成本收益表。
3)团结算订单拆分
公司业务中有以团为单位的业务进行结算,主要是长线业务包括境内和境外。根据公司考核指标都是以订单维度进行的,这种情况下就需要把团维度的业务数据拆分到订单维度,主要涉及到团成本如何拆分到订单成本。
如图5所示,团的相关信息比较分散,团成团时间、出游时间等信息是一个表,团的成本项是单独一个表,团和订单的关联表是单独的,所以首先需要把团分散的信息整合到一张表中。团的成本项是多条记录值而非最终结果值,团出游之前业务人员可以多次录入成本并生成记录,汇总到同一张表时的成本需要是汇总值,团成本项会按照团维度做汇总处理,经过拆分模型处理,将团结算系统的收入支出数据拆分到对应的订单上,得到子单维度团成本中间表。
在实际应用中,团出游后如有成本的修改,会加入审核的过程。业务人员发起成本调整项,最终会由业务部门总负责人审核这笔成本调整项是否通过。只有审核通过的调整成本才会计入业绩,而且以最终的审核日期作为该笔费用的财务归属日期,有效督促业务人员及时处理自己负责的团。
综上所述,本发明采用分层的数据仓库对数据进行拆分,其扩展性好,能够根据需求任意地增减、替换数据仓库中的各个组成部分,具体有以下优点:
1、用空间换时间:通过数据预处理提高效率,通过大量的预处理可以提升应用系统的用户体验(效率),避免大量冗余数据的产生;
2、增强可扩展性:如果不分层的话,当源业务系统的业务规则发生变化整个数据仓库需要重建,这样将会影响整个数据清洗过程,工作量巨大;
3、通过分层管理来实现分步完成工作,简化数据清洗的过程,使每一层处理逻辑变得更简单,由于把原来一步的工作分到了多个步骤去完成,相当于把一个复杂的工作拆成了多个简单的工作,把一个大的黑盒变成了一个白盒,每一层的处理逻辑都相对简单和容易理解,这样容易保证每一个步骤的正确性,当数据发生错误的时候,只需要局部调整某个步骤即可。
采用本发明提出的方法,对于未到订单维度的营收项和成本项,可以精确拆分到订单,有效地拓展了分析的维度,有利于后续精确计算出每个品类、每个渠道的净营收和净毛利,能够对比筛选出重点发展的品类和渠道,有哪些品类渠道需要提升效率等,这对于公司策略选择和预算决议都有重要意义。
Claims (9)
1.一种复合营收的数据分层拆分方法,其特征在于,包括以下步骤:
S1、分别从返佣系统、团结算系统、订单系统和录入系统中获取数据源,其中,数据源包括收入支出数据和订单数据;
S2、基于分层管理,将数据源同步到数据仓库中心,通过拆分模型对收入支出数据和订单数据进行处理,以将收入支出数据拆分到对应的订单数据上,完成宽表构建。
2.根据权利要求1所述的一种复合营收的数据分层拆分方法,其特征在于,所述收入支出数据分别从返佣系统、团结算系统和录入系统获取,所述订单数据从订单系统获取。
3.根据权利要求2所述的一种复合营收的数据分层拆分方法,其特征在于,所述宽表包括主题数据表、有效订单成本收益表和子单维度团成本中间表。
4.根据权利要求3所述的一种复合营收的数据分层拆分方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、针对从返佣系统获取的收入支出数据,结合订单数据,进行增量业绩订单的数据拆分,得到主题数据表;
S22、针对从录入系统获取的收入支出数据,结合订单数据,进行全量业绩订单的数据拆分,得到有效订单成本收益表;
S23、针对从团结算系统获取的收入支出数据,结合订单数据,进行团结算订单的数据拆分,得到子单维度团成本中间表。
5.根据权利要求4所述的一种复合营收的数据分层拆分方法,其特征在于,所述步骤S21具体包括以下步骤:
S211、对订单数据和从返佣系统获取的收入支出数据同时进行预处理,得到对应的订单信息表和返佣数据表,其中,预处理包括抽取、转换、清洗和加载;
S212、将订单信息表和返佣数据表同步至数据仓库后,输入给数据仓库中的拆分模型,得到主题数据表。
6.根据权利要求5所述的一种复合营收的数据分层拆分方法,其特征在于,所述返佣数据表包括存量数据和T1~Tn时点增量数据,所述主题数据表包括初始主题数据和T1~Tn时主题数据。
7.根据权利要求4所述的一种复合营收的数据分层拆分方法,其特征在于,所述步骤S22具体包括以下步骤:
S221、对订单数据单独进行预处理,得到对应的订单信息表,其中,预处理包括抽取、转换、清洗和加载;
S222、将订单信息表和从录入系统获取的收入支出数据同步至数据仓库后,输入给数据仓库中的拆分模型,得到有效订单成本收益表。
8.根据权利要求4所述的一种复合营收的数据分层拆分方法,其特征在于,所述步骤S23具体包括以下步骤:
S231、对订单数据和从团结算系统获取的收入支出数据同时进行预处理,得到对应的订单信息表和团结算数据表,其中,预处理包括抽取、转换、清洗和加载;
S232、将订单信息表和团结算数据表同步至数据仓库后,输入给数据仓库中的拆分模型,得到子弹维度团成本中间表。
9.根据权利要求8所述的一种复合营收的数据分层拆分方法,其特征在于,所述团结算数据表包括团信息表、团订单维度表、团成本预算表和订单信息表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911175283.2A CN110941659A (zh) | 2019-11-26 | 2019-11-26 | 一种复合营收的数据分层拆分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911175283.2A CN110941659A (zh) | 2019-11-26 | 2019-11-26 | 一种复合营收的数据分层拆分方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110941659A true CN110941659A (zh) | 2020-03-31 |
Family
ID=69908673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911175283.2A Pending CN110941659A (zh) | 2019-11-26 | 2019-11-26 | 一种复合营收的数据分层拆分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110941659A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
CN103746854A (zh) * | 2014-01-27 | 2014-04-23 | 国家电网公司 | 通信网络系统的信息管理层和功能应用层通信的机制 |
CN104809110A (zh) * | 2014-01-23 | 2015-07-29 | 安徽海汇金融投资集团有限公司 | 一种大数据系统 |
CN109063078A (zh) * | 2018-07-24 | 2018-12-21 | 武汉胖猫智能科技有限公司 | 钢贸金融业务的数据分析方法及系统 |
CN110334088A (zh) * | 2019-07-11 | 2019-10-15 | 江苏曲速教育科技有限公司 | 教育数据管理系统 |
CN110457320A (zh) * | 2019-08-06 | 2019-11-15 | 深圳萨摩耶互联网金融服务有限公司 | 数据的实时存储方法与装置、存储介质及计算机设备 |
-
2019
- 2019-11-26 CN CN201911175283.2A patent/CN110941659A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
CN104809110A (zh) * | 2014-01-23 | 2015-07-29 | 安徽海汇金融投资集团有限公司 | 一种大数据系统 |
CN103746854A (zh) * | 2014-01-27 | 2014-04-23 | 国家电网公司 | 通信网络系统的信息管理层和功能应用层通信的机制 |
CN109063078A (zh) * | 2018-07-24 | 2018-12-21 | 武汉胖猫智能科技有限公司 | 钢贸金融业务的数据分析方法及系统 |
CN110334088A (zh) * | 2019-07-11 | 2019-10-15 | 江苏曲速教育科技有限公司 | 教育数据管理系统 |
CN110457320A (zh) * | 2019-08-06 | 2019-11-15 | 深圳萨摩耶互联网金融服务有限公司 | 数据的实时存储方法与装置、存储介质及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112967025B (zh) | 信息工程监理项目形象进度管理系统 | |
CN103136626B (zh) | 工程项目的在线管理方法 | |
CN111815283A (zh) | 信息系统工程监理企业业务管理系统 | |
CN101111835A (zh) | 多维企业软件系统中的自动默认维度选择 | |
Vazakidis et al. | Activity-based costing in the public sector | |
CN109978676A (zh) | 一种自动结算方法、系统以及存储介质 | |
Shangodoyin et al. | The role of statistics in national development with reference to Botswana and Nigeria statistical systems | |
Estache et al. | How (Un) even was the distribution of the impacts of Mali's water privatisation across stakeholders? | |
CN110941659A (zh) | 一种复合营收的数据分层拆分方法 | |
Hardouvelis et al. | Economic policy uncertainty and the Greek economic crisis | |
Cao | Research and implementation of budget management integration system based on data resource fusion | |
CN113792044A (zh) | 数据融合平台及神经网络模型托管训练方法 | |
CN112613960A (zh) | 一种基于票据信息的房地产土地增值税清算方法及系统 | |
CN101231717A (zh) | 一种多维动态参数成本分解系统和方法 | |
Mayrazaka et al. | Analysis of Determination of Production Costs and Full Cost Recovery (a Case Study at PDAM XYZ Banda Aceh City) | |
Spahn et al. | Tax modelling for economies in transition | |
CN113342798B (zh) | 一种基于数据融合的数据管理系统 | |
Sourrouille | Regional accounts: Theoretical and practical problems encountered in the recent experience of Argentina | |
Wilson | The architecture of the System of National Accounts: A three-way international comparison of Canada, Australia, and the United Kingdom | |
CN116797269A (zh) | 内部资金转移定价方法及系统 | |
Bloch et al. | Intangibles and their contribution to productivity: An overview | |
Zhuravleva et al. | Smart Governance: Digitalization of Tax Control in the Russian Federation to Increase VAT Collection | |
Motro et al. | Optimizing Procurement Decisions in Networked Virtual Enterprises | |
CN118052511A (zh) | 流程式单据报销信息展示方法、计算机装置及计算机可读存储介质 | |
Köppen et al. | An analytical model for data persistence in Business Data Warehouses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |