CN117689243A - 数据处理方法、装置 - Google Patents
数据处理方法、装置 Download PDFInfo
- Publication number
- CN117689243A CN117689243A CN202311575681.XA CN202311575681A CN117689243A CN 117689243 A CN117689243 A CN 117689243A CN 202311575681 A CN202311575681 A CN 202311575681A CN 117689243 A CN117689243 A CN 117689243A
- Authority
- CN
- China
- Prior art keywords
- performance
- granularity
- account
- index
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 235000019580 granularity Nutrition 0.000 claims abstract description 171
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 230000004044 response Effects 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 abstract 1
- 238000003860 storage Methods 0.000 description 15
- 238000011144 upstream manufacturing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置，所述方法包括：响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；根据分析引擎，获取不同粒度对应的指标业绩；根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。本申请实现了业绩数据的精细分成处理。本申请可用于金融领域的业绩数据的考核。
Description
技术领域
本申请涉及业绩核算技术领域，尤其涉及一种数据处理方法、装置。
背景技术
在银行业对公客户经理的业绩考核中，通过选择不同的考核指标组合和指标计算方法，创建方案和平衡计分卡，计算出柜员的积分。用以评价柜员的综合营销业绩和作为考核柜员的参考标准。
相关技术中，无法较好地处理营销业绩相关的数据，从而无法准确识别营销人员(柜员、客户经理)业绩数据。
发明内容
本申请实施例提供了一种数据处理方法、装置，以处理得到实际业务场景中营销人员的准确业绩数据，从而提高绩效考核的准确性。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种数据处理方法，其中，所述方法包括：
响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；
根据分析引擎，获取不同粒度对应的指标业绩；
根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
在一些实施例中，所述粒度至少包括如下之一：账户粒度、客户粒度、柜员粒度，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：
根据所述分析引擎，获取目标数据库中所述账户粒度的第一指标业绩；
根据所述分析引擎，获取目标数据库中所述客户粒度的第二指标业绩；
根据所述分析引擎，获取目标数据库中所述柜员粒度的第三指标业绩。
在一些实施例中，所述账户分成信息包括已绑定客户经理的账户分成比例、服务团组的客户分成比例，所述根据所述不同粒度对应的指标业绩以及所述账户分成信息，得到目标数据处理结果，包括：
根据所述客户粒度的第二指标业绩以及所述账户分成信息中的所述服务团组的客户分成比例，计算得到所述柜员粒度的第三指标业绩，所述客户粒度的第二指标业绩根据所述已绑定客户经理的账户分成比例和所述账户粒度的第一指标业绩计算得到。
在一些实施例中，所述分析引擎包括spark引擎，所述根据所述不同粒度对应的指标业绩以及所述账户分成信息，得到目标数据处理结果，包括：
通过spark引擎，计算出按照所述客户分成比例分成后的客户粒度指标业绩值以及汇总所述柜员名下多个客户的业绩值得到柜员粒度业绩作为所述目标数据处理结果。
在一些实施例中，所述响应于前端操作的业绩分成请求，在预设数据库中记录分成信息，包括：
响应于所述前端操作的账户业绩分成请求，将待分成的账户绑定客户经理；
对已绑定客户经理的账户设置分成比例，并在所述预设数据库中记录账户分成信息。
在一些实施例中，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：
通过spark引擎作业将最小粒度的指标业绩文件从EDB企业数据总线下载并解析之后生成标准的指标业绩文本数据，并存入HIVE数据库中。
在一些实施例中，所述响应于前端操作的业绩分成请求，在预设数据库中记录分成信息，包括：
响应于所述前端操作的客户业绩分成请求，创建服务团组；
在服务团组内对团组成员设置分成比例，并在所述预设数据库中记录客户分成信息。
在一些实施例中，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：
通过spark引擎，计算出按照账户分成比例分成后的账户粒度指标业绩值以及汇总客户下多个账户的业绩值得到客户粒度业绩。
在一些实施例中，所述预设数据库包括PG数据库，目标数据库包括HIVE，所述方法还包括：
在导出数据的过程中，通过Spark引擎为每个PG节点生成对应的同步文件，并行同步到所述PG数据库；
在采集数据的过程中，通过JCS调度系统调起传输作业，连接每个PG节点，生成对应的HDFS分布式文件系统同步文件，然后将对应同步文件载入进所述HIVE。
第二方面，本申请实施例还提供一种数据处理装置，其中，所述装置包括：
响应模块，用于响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；
采集模块，用于根据分析引擎，获取不同粒度对应的指标业绩；
计算模块，用于根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过响应于前端操作的业绩分成请求，在预设数据库中记录分成信息。之后根据分析引擎，获取不同粒度对应的指标业绩，最后根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。通过对营销业绩数据的拆分和再分配能够体现营销过程中营销人员的不同贡献，提高营销人员积极性，该方法应予以保护。上述数据处理方法，符合公司金融条线大客户营销场景下账户和客户粒度业绩分成，并利于实现客户营销业绩精准分配和考核。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中数据处理方法流程示意图；
图2为本申请实施例中数据处理方法实现原理示意图；
图3为本申请实施例中数据处理装置结构示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请涉及的技术术语如下：
指标业绩值：银行客户经理或者其他角色柜员为用户办理某一项业务的业绩值汇总。它是一种可以量化的指标，可以通过汇总指标业绩明细得到，可以客观地评价客户经理以及其他角色柜员的工作质量。比如“当月国际贸易融资新增放款”指标，表示客户经理当月在国际贸易融资产品上的新增发放贷款金额，是由每一笔贷款发放金额累加得到的。即指标业绩值是考核客户经理的一个重要指标。
客户粒度业绩明细：银行客户经理或者其他角色柜员为某一客户办理的某项业务业绩值汇总。特定指标下，柜员办理的所有客户业绩值汇总可得到该柜员的某指标业绩值。
EDB：EDB是企业数据总线(Extend Data Bus)的英文缩写，作为批量数据交换平台，主要负责系统间的数据(文件与消息)的分发和传输。
Apache Hive：Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Apache Spark：是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎，具有高效和易用两方面优点：(1)高效(比MapReduce快10～100倍)：提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销。(2)易用：提供了丰富的API，支持Java、Scala、Python等多种语言，相对于MapReduce，代码量减少。
账户粒度业绩明细：银行客户经理或者其他角色柜员为某一客户在其某个账户下办理的某项业务业绩值汇总。特定指标下，柜员办理的各账户业绩值按照账户汇总可得到该柜员的账户粒度业绩值。
对于金融领域的指标业绩数据处理过程中，以银行为例。在银行考核系统中使用的系统指标数据主要包含两种类型。第一类指标是由上游外系统加工。
对于由上游外系统加工的指标，考核系统只需要按照核定维度进行简单汇总即可直接使用的业绩指标，该类指标直接存储到Hive数据库与PG数据库中。这一类指标首先可以满足绝大部分场景下的柜员考核，但是也存在较大的弊端，即该指标不能精确地反映柜员的真实业绩，例如一项对公银行业务由一个服务团组多个同事协同合作，但是业绩却只能记录在管户客户经理个人名下，这就导致方案或者计分卡在使用该指标考核柜员时，存在明显的误差。
第二类指标是由上游外系统提供的账户粒度和客户粒度明细数据，本系统基于此进行二次加工。
对于这一类指标最重要的一个优点是能够真实反映出柜员的真实业绩水平，基于该指标的方案以及平衡计分卡在考核柜员时，更加科学合理。其次，账户粒度指标和客户粒度指标经过二次分配后更能够体现实际业务过程中各柜员的贡献，而且可以由业绩管理员对业绩进行灵活的分配，以达到激励营销团队的目的。
由于从上游接收的指标业绩是按照柜员维度汇总的，丢失了客户以及客户的账户信息，因此基于柜员维度的指标业绩数据是无法真实反映多人协作营销场景下参与人的实际贡献程度。在常见的单人营销过程中，产生的业绩是记在公司客户的管户经理名下，因此基于柜员维度的指标业绩的绩效考核是可以满足这种场景。然而，实际上公司客户往往是通过组建服务团组来进行营销和客户服务，但是业绩归只能属到管户客户经理；此外，针对存款类的业务场景，团组也可以为客户下某一账户进行服务的，然而同一客户存在多个账户，账户产生的业绩默认归属到客户管户客户经理。因此，如何灵活且准确地识别营销人员业绩，调动营销人员积极性具有很大的困难。
针对上述不足，本申请实施例中的数据处理方法，可以对客户和账户粒度业绩根据实际业务场景中营销人员的贡献进行拆分，从而精确地反映营销人员业绩，极大的提高营销人员在业务营销和客户服务过程中的积极性和主动性。同时，本申请实施例中的数据处理方法是基于客户账户粒度业绩和客户粒度业绩进行精确分成的绩效计算和考核的方法。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种数据处理方法，如图1所示，提供了本申请实施例中数据处理方法流程示意图，所述方法至少包括如下的步骤S110至步骤S130：
步骤S110，响应于前端操作的业绩分成请求，在预设数据库中记录分成信息。
在前端操作的业绩分成请求，会在预设PG数据库中记录分成结果。并且可以通过在前端直接进行展示。PG数据库中记录前端的操作记录。
需要注意的是，前端操作的业绩分成请求包括但不限于账户业绩分成请求、客户业绩分成请求。
可以理解，上述业绩分成请求可以预先配置并记录至PG数据库，当需要计算业绩分成时分别进行采集即可。比如，每天业务运行结束后，进行业绩分成集中采集。
步骤S120，根据分析引擎，获取不同粒度对应的指标业绩。
从原始业绩数据文件由上游系统将数据推送至EDB企业数据总线，并生成数据文件消息，数据处理的过程即消费该消息，从而获取数据文件的路径、文件名等相关信息，再通过根据分析引擎Spark作业将该文件从EDB下载、解析处理之后生成标准的文本数据，并存入HIVE数据库中。
步骤S130，根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
根据不同粒度对应的指标业绩和采集得到的分成信息，计算得到的业绩分成结果作为目标数据处理结果。
考虑到，柜员维度的指标可以满足粗放型的考核需求，但是在公司条线业务场景中，多个人组成一个营销团队服务一个公司客户的情况比较多，这时就需要对客户粒度的指标业绩进行分配，达到精细化考核的目的。特别地在公司条线业务中，存款、票据、结算等业务与客户账户具有强关联性，这就需要(不同粒度对应的指标业绩)客户账户粒度的指标进行分配，达到更加精细化的考核。
根据所述不同粒度对应的指标业绩以及所述分成信息的一种情况是：通过EDB接收外系统下发的指标业绩数据，并存储到Hive数据库中，经过数据清洗和汇总可以直接被考核方案和平衡计分卡使用。这种情况的粒度较粗的情况。
根据所述不同粒度对应的指标业绩以及所述分成信息的另一种情况是：客户粒度指标业绩处理。通过EDB接收外系统下发的客户粒度的指标业绩明细数据，并存储到Hive数据库中，再从前台PG库采集服务团组客户指标业绩分配方案数据，根据指标业绩数据和团组分配比例对指标业绩进行二次分配，分配后的业绩参与到后续方案和平衡计分卡的计算中。这种情况的粒度较为中等的情况。
根据所述不同粒度对应的指标业绩以及所述分成信息的再一种情况是：账户粒度指标业绩处理，通过EDB接收外系统下发的账户粒度的指标业绩明细数据，并存储到Hive数据库中，前台PG库进行账户客户经理绑定并设置分成比例后，批量进行数据采集对账户粒度业绩进行分配，用于方案和平衡计分卡的积分计算。这种情况的粒度较细的情况。
在实际数据处理场景中，会依次计算EDB接收外系统下发的指标业绩数据作为账户粒度指标业绩进行处理、处理客户粒度指标业绩、处理账户粒度指标业绩等。
通过上述方法，可以对客户和账户粒度业绩根据实际业务场景中营销人员的贡献进行拆分，可以精确地反映营销人员业绩，从而提高营销人员在业务营销和客户服务过程中的积极性和主动性。
区别于相关技术中将指标的原始业绩存储至Hive中，根据方案或者平衡计分卡选择的指标进行积分计算，并把计算的结果推送到PG数据库，以供前端查询。但是忽略了指标中其他成员的参与贡献程度，最终计算的结果往往难以反映柜员的真实的业绩结果，难以提高营销人员积极性，以及缺乏精细化考核处理的问题。通过上述方法，将用户(柜员)根据账户粒度业绩数据和客户粒度数据，考虑不同业绩参与人员对于业务的贡献程度，账户和客户粒度业绩数据设置相应的拆分比例。经过上述方法的数据处理之后，根据数据处理结果将拆分比例信息结合原始的指标业绩计算真实的指标业绩值。
在本申请的一个实施例中，所述粒度至少包括如下之一：账户粒度、客户粒度、柜员粒度，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：根据所述分析引擎，获取目标数据库中所述账户粒度的第一指标业绩；根据所述分析引擎，获取目标数据库中所述客户粒度的第二指标业绩；根据所述分析引擎，获取目标数据库中所述柜员粒度的第三指标业绩。
“分析引擎”包括但不限于采用Apache Spark，Apache Spark是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎。
请参考图2，根据所述分析引擎，获取目标数据库中所述账户粒度的指标业绩，上游系统将数据推送至EDB，并生成数据文件消息，本系统消费该消息，获取数据文件的路径、文件名等相关信息，通过spark作业将该文件从EDB下载到本系统，解析之后生成标准的文本数据，并存入HIVE数据库。对于存款类指标，通过在前端进行账户绑定操作，在绑定的所有柜员中设置账户粒度指标的分成比例。根据分配比例的设置，对于客户经理的指标原始业绩进行二次分配，计算出参与营销任务人员的实际指标业绩。
考虑到针对存款类的业务场景，团组也可以为客户下某一账户进行服务的，然而同一客户存在多个账户，账户产生的业绩默认归属到客户管户客户经理。故，根据所述分析引擎，获取目标数据库中所述客户粒度的指标业绩，客户粒度指标业绩主要是根据上游账户粒度指标业绩数据和采集的账户分成比例信息进行计算柜员客户粒度指标业绩。
考虑到柜员维度的指标可以满足粗放型的考核需求，但是在公司条线业务场景中，多个人组成一个营销团队服务一个公司客户的情况比较多，这时就需要对客户粒度的指标业绩进行分配，达到精细化考核的目的。故，根据所述分析引擎，获取目标数据库中所述柜员粒度的指标业绩，柜员指标业绩主要是根据客户粒度指标业绩数据和采集的团组分成比例信息进行计算柜员粒度指标业绩。
在本申请的一个实施例中，所述账户分成信息包括已绑定客户经理的账户分成比例、服务团组的客户分成比例，所述根据所述不同粒度对应的指标业绩以及所述账户分成信息，得到目标数据处理结果，包括：根据所述客户粒度的第二指标业绩以及所述账户分成信息中的所述服务团组的客户分成比例，计算得到所述柜员粒度的第三指标业绩，所述客户粒度的第二指标业绩根据所述已绑定客户经理的账户分成比例和所述账户粒度的第一指标业绩计算得到。
请参考图2具体实施时，根据客户粒度指标业绩数据和采集的团组分成比例信息进行计算柜员粒度指标业绩。
首先，计算出分成后客户i的客户粒度指标业绩值Ki，计算方法为其中bi为前台设置的分成比例，ki为客户粒度原业绩或账户分成后业绩，p为服务团组成员人数。
其次，汇总柜员名下多个客户的业绩值得到柜员粒度业绩gi，汇总方法包括但不限于采用其中Ki为客户粒度分成后指标业绩值，q为柜员管户客户数。
优选地，在数据处理计算的过程同样由高效的Spark引擎进行计算。之后柜员业绩计算完成后，用于后续绩效考核方案和平衡计分卡。绩效考核方案和平衡计分卡可以采用本领域的公知的技术手段，在此不再赘述。
进一步地，通过计算得到所述柜员粒度的第三指标业绩之前还需要采集客户业绩分成，对于公司条线客户，一般需要创建包含多人的服务团组对客户进行营销和服务，某客户的营销业绩是团组营销的结果，但在业务系统该笔业绩往往是归属于管户客户经理，因此需要在团组内对客户粒度指标业绩进行分成，对团组成员设置分成比例bi，并满足p为服务团组成员个数。
可以理解，上述仅为举例，并不用于限定本申请的保护范围。
在本申请的一个实施例中，所述分析引擎包括spark引擎，所述根据所述不同粒度对应的指标业绩以及所述账户分成信息，得到目标数据处理结果，包括：通过spark引擎，计算出按照所述客户分成比例分成后的客户粒度指标业绩值以及汇总所述柜员名下多个客户的业绩值得到柜员粒度业绩作为所述目标数据处理结果。
请参考图2，根据上游账户粒度指标业绩数据和采集的账户分成比例信息进行计算柜员客户粒度指标业绩。
首先，计算出分成后账户i的账户粒度指标业绩值zi，计算方法包括根据其中ai为前台设置的分成比例，yi为账户粒度原始业绩，n为参与分成的客户经理个数。
其次，汇总客户下多个账户的业绩值得到客户粒度业绩ki，汇总方法包括但不限于其中zi为账户粒度指标业绩值，m为客户账户数。该部分业绩计算由spark提供高效计算。
进一步地，上游采集的指标业绩和账户分成信息包括：
账户粒度指标业绩计算：柜员账户粒度指标业绩是上游下发的最细粒度的指标业绩，对于同一个指标，同一个客户C，该客户开立n个账户且都存在业绩，则该指标在客户C下的账户粒度指标业绩有n条指标业绩数据。接收的数据文件为账户粒度原始业绩数据文件，上游系统将数据推送至EDB，并生成数据文件消息，通过消费该消息，获取数据文件的路径、文件名等相关信息，通过spark作业将该文件从EDB下载到本系统，解析之后生成标准的文本数据，并存入HIVE数据库中。
在本申请的一个实施例中，所述响应于前端操作的业绩分成请求，在预设数据库中记录分成信息，包括：响应于所述前端操作的账户业绩分成请求，将待分成的账户绑定客户经理；对已绑定客户经理的账户设置分成比例，并在所述预设数据库中记录账户分成信息。
请继续参考图2，对于账户业绩分成，由于管户客户经理只存在于客户层面，在账户层面没有对应的客户经理，因此首先需要给需要分成的客户某账户进行绑定客户经理，可以根据实际业务场景绑定多名客户经理，并在某指标下对绑定的客户经理设置分成比例ai，并满足n为参与分成的客户经理个数。
在本申请的一个实施例中，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：通过spark引擎作业将最小粒度的指标业绩文件从EDB企业数据总线下载并解析之后生成标准的指标业绩文本数据，并存入HIVE数据库中。
请继续参考图2，对于账户粒度指标业绩，柜员账户粒度指标业绩是上游下发的最细粒度的指标业绩，对于同一个指标，同一个客户C，该客户开立n个账户且都存在业绩，则该指标在客户C下的账户粒度指标业绩有n条指标业绩数据。主要接收的数据文件为账户粒度原始业绩数据文件，上游系统将数据推送至EDB，并生成数据文件消息，通过消费该消息，获取数据文件的路径、文件名等相关信息，通过spark作业将该文件从EDB下载到本系统，解析之后生成标准的文本数据，并存入HIVE数据库中。
在本申请的一个实施例中，所述响应于前端操作的业绩分成请求，在预设数据库中记录分成信息，包括：响应于所述前端操作的客户业绩分成请求，创建服务团组；在服务团组内对团组成员设置分成比例，并在所述预设数据库中记录客户分成信息。
请继续参考图2，对于公司条线客户，一般需要创建包含多人的服务团组对客户进行营销和服务，某客户的营销业绩是团组营销的结果，但在业务系统该笔业绩往往是归属于管户客户经理，因此需要在团组内对客户粒度指标业绩进行分成，对团组成员设置分成比例bi，并满足p为服务团组成员个数。
在本申请的一个实施例中，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：通过spark引擎，计算出按照账户分成比例分成后的账户粒度指标业绩值以及汇总客户下多个账户的业绩值得到客户粒度业绩。
请继续参考图2，对于客户粒度指标业绩，客户粒度指标业绩主要是根据上游账户粒度指标业绩数据和采集的账户分成比例信息进行计算柜员客户粒度指标业绩。
首先，计算出分成后账户i的账户粒度指标业绩值zi，计算方法为其中ai为前台设置的分成比例，yi为账户粒度原始业绩，n为参与分成的客户经理个数。
其次，汇总客户下多个账户的业绩值得到客户粒度业绩ki，汇总方法为其中zi为账户粒度指标业绩值，m为客户账户数。该部分业绩计算由spark提供高效计算。
在本申请的一个实施例中，所述预设数据库包括PG数据库，目标数据库包括HIVE，所述方法还包括：在导出数据的过程中，通过Spark引擎为每个PG节点生成对应的同步文件，并行同步到所述PG数据库；在采集数据的过程中，通过JCS调度系统调起传输作业，连接每个PG节点，生成对应的HDFS分布式文件系统同步文件，然后将对应同步文件载入进所述HIVE。
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。PG数据库，用于存储并记录前端操作请求。
数据导出通过Spark分布式计算为每个PG节点生成对应的同步文件，然后通过copy命令并行同步到PG库。
进一步地，数据采集通过JCS调度系统调起PG2HIVE作业，连接每个PG节点，通过COPY命令生成对应的HDFS同步文件，然后将对应文件Load进Hive数仓。
本申请实施例还提供了数据处理装置300，如图3所示，提供了本申请实施例中数据处理装置的结构示意图，所述数据处理装置300至少包括：响应模块310、采集模块320、计算模块330，其中：
在本申请的一个实施例中，所述响应模块310具体用于：响应于前端操作的业绩分成请求，在预设数据库中记录分成信息。
在前端操作的业绩分成请求，会在预设PG数据库中记录分成结果。并且可以通过在前端直接进行展示。PG数据库中记录前端的操作记录。
需要注意的是，前端操作的业绩分成请求包括但不限于账户业绩分成请求、客户业绩分成请求。
可以理解，上述业绩分成请求可以预先配置并记录至PG数据库，当需要计算业绩分成时分别进行采集即可。比如，每天业务运行结束后，进行业绩分成集中采集。
在本申请的一个实施例中，所述采集模块320具体用于：根据分析引擎，获取不同粒度对应的指标业绩。
从原始业绩数据文件由上游系统将数据推送至EDB企业数据总线，并生成数据文件消息，数据处理的过程即消费该消息，从而获取数据文件的路径、文件名等相关信息，再通过根据分析引擎Spark作业将该文件从EDB下载、解析处理之后生成标准的文本数据，并存入HIVE数据库中。
在本申请的一个实施例中，所述计算模块330具体用于：根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
根据不同粒度对应的指标业绩和采集得到的分成信息，计算得到的业绩分成结果作为目标数据处理结果。
考虑到，柜员维度的指标可以满足粗放型的考核需求，但是在公司条线业务场景中，多个人组成一个营销团队服务一个公司客户的情况比较多，这时就需要对客户粒度的指标业绩进行分配，达到精细化考核的目的。特别地在公司条线业务中，存款、票据、结算等业务与客户账户具有强关联性，这就需要(不同粒度对应的指标业绩)客户账户粒度的指标进行分配，达到更加精细化的考核。
根据所述不同粒度对应的指标业绩以及所述分成信息的一种情况是：通过EDB接收外系统下发的指标业绩数据，并存储到Hive数据库中，经过数据清洗和汇总可以直接被考核方案和平衡计分卡使用。这种情况的粒度较粗的情况。
根据所述不同粒度对应的指标业绩以及所述分成信息的另一种情况是：客户粒度指标业绩处理。通过EDB接收外系统下发的客户粒度的指标业绩明细数据，并存储到Hive数据库中，再从前台PG库采集服务团组客户指标业绩分配方案数据，根据指标业绩数据和团组分配比例对指标业绩进行二次分配，分配后的业绩参与到后续方案和平衡计分卡的计算中。这种情况的粒度较为中等的情况。
根据所述不同粒度对应的指标业绩以及所述分成信息的再一种情况是：账户粒度指标业绩处理，通过EDB接收外系统下发的账户粒度的指标业绩明细数据，并存储到Hive数据库中，前台PG库进行账户客户经理绑定并设置分成比例后，批量进行数据采集对账户粒度业绩进行分配，用于方案和平衡计分卡的积分计算。这种情况的粒度较细的情况。
在实际数据处理场景中，会依次计算EDB接收外系统下发的指标业绩数据作为账户粒度指标业绩进行处理、处理客户粒度指标业绩、处理账户粒度指标业绩等。
能够理解，上述数据处理装置，能够实现前述实施例中提供的数据处理方法的各个步骤，关于数据处理方法的相关阐释均适用于数据处理装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；
根据分析引擎，获取不同粒度对应的指标业绩；
根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
上述如本申请图1所示实施例揭示的数据处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中数据处理装置执行的方法，并实现数据处理装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中数据处理装置执行的方法，并具体用于执行：
响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；
根据分析引擎，获取不同粒度对应的指标业绩；
根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据处理方法，其中，所述方法包括：
响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；
根据分析引擎，获取不同粒度对应的指标业绩；
根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
2.如权利要求1所述方法，其中，所述粒度至少包括如下之一：账户粒度、客户粒度、柜员粒度，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：
根据所述分析引擎，获取目标数据库中所述账户粒度的第一指标业绩；
根据所述分析引擎，获取目标数据库中所述客户粒度的第二指标业绩；
根据所述分析引擎，获取目标数据库中所述柜员粒度的第三指标业绩。
3.如权利要求2所述方法，其中，所述账户分成信息包括已绑定客户经理的账户分成比例、服务团组的客户分成比例，所述根据所述不同粒度对应的指标业绩以及所述账户分成信息，得到目标数据处理结果，包括：
根据所述客户粒度的第二指标业绩以及所述账户分成信息中的所述服务团组的客户分成比例，计算得到所述柜员粒度的第三指标业绩，所述客户粒度的第二指标业绩根据所述已绑定客户经理的账户分成比例和所述账户粒度的第一指标业绩计算得到。
4.如权利要求3所述方法，其中，所述分析引擎包括spark引擎，所述根据所述不同粒度对应的指标业绩以及所述账户分成信息，得到目标数据处理结果，包括：
通过spark引擎，计算出按照所述客户分成比例分成后的客户粒度指标业绩值以及汇总所述柜员名下多个客户的业绩值得到柜员粒度业绩作为所述目标数据处理结果。
5.如权利要求1所述方法，其中，所述响应于前端操作的业绩分成请求，在预设数据库中记录分成信息，包括：
响应于所述前端操作的账户业绩分成请求，将待分成的账户绑定客户经理；
对已绑定客户经理的账户设置分成比例，并在所述预设数据库中记录账户分成信息。
6.如权利要求5所述方法，其中，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：
通过spark引擎作业将最小粒度的指标业绩文件从EDB企业数据总线下载并解析之后生成标准的指标业绩文本数据，并存入HIVE数据库中。
7.如权利要求1所述方法，其中，所述响应于前端操作的业绩分成请求，在预设数据库中记录分成信息，包括：
响应于所述前端操作的客户业绩分成请求，创建服务团组；
在服务团组内对团组成员设置分成比例，并在所述预设数据库中记录客户分成信息。
8.如权利要求7所述方法，其中，所述根据分析引擎，获取不同粒度对应的指标业绩，包括：
通过spark引擎，计算出按照账户分成比例分成后的账户粒度指标业绩值以及汇总客户下多个账户的业绩值得到客户粒度业绩。
9.如权利要求1至8任一项所述方法，其中，所述预设数据库包括PG数据库，目标数据库包括HIVE，所述方法还包括：
在导出数据的过程中，通过Spark引擎为每个PG节点生成对应的同步文件，并行同步到所述PG数据库；
在采集数据的过程中，通过JCS调度系统调起传输作业，连接每个PG节点，生成对应的HDFS分布式文件系统同步文件，然后将对应同步文件载入进所述HIVE。
10.一种数据处理装置，其中，所述装置包括：
响应模块，用于响应于前端操作的业绩分成请求，在预设数据库中记录分成信息；
采集模块，用于根据分析引擎，获取不同粒度对应的指标业绩；
计算模块，用于根据所述不同粒度对应的指标业绩以及所述分成信息，得到目标数据处理结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311575681.XA CN117689243A (zh) | 2023-11-23 | 2023-11-23 | 数据处理方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311575681.XA CN117689243A (zh) | 2023-11-23 | 2023-11-23 | 数据处理方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117689243A true CN117689243A (zh) | 2024-03-12 |
Family
ID=90130956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311575681.XA Pending CN117689243A (zh) | 2023-11-23 | 2023-11-23 | 数据处理方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689243A (zh) |
-
2023
- 2023-11-23 CN CN202311575681.XA patent/CN117689243A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9063992B2 (en) | Column based data transfer in extract, transform and load (ETL) systems | |
| CN109086325A (zh) | 基于区块链的数据处理方法和装置 | |
| CN110134516B (zh) | 金融数据处理方法、装置、设备及计算机可读存储介质 | |
| KR20200034171A (ko) | 블록체인에 기반한, 자원 공유에 따른 보상 제공하는 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치 | |
| CN113094434A (zh) | 数据库同步方法、系统、装置、电子设备及介质 | |
| CN110766545A (zh) | 一种银行会计分录生成方法 | |
| CN110060139B (zh) | 账务处理方法及装置 | |
| CN115422205A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN107147610B (zh) | 资源的处理方法及装置 | |
| CN111429264A (zh) | 一种分布式系统的组合对账方法及装置 | |
| CN112561708A (zh) | 处理数据的方法、装置、设备和计算机可读介质 | |
| CN111209283A (zh) | 一种数据处理方法及装置 | |
| CN111708808A (zh) | 分布式业务系统及其业务汇总查询方法、装置和设备 | |
| CN117689243A (zh) | 数据处理方法、装置 | |
| CN115618825A (zh) | 财务报表合并方法、装置、计算机可读介质及终端设备 | |
| CN106874327B (zh) | 一种针对业务数据的计数方法及装置 | |
| CN113094414A (zh) | 流转图谱生成方法及装置 | |
| CN115544096B (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
| RU2751798C9 (ru) | Способ распределенной миграции клиентских данных с учетом дубликатов юридических и физических лиц | |
| CN115760457A (zh) | 交易的对账方法及装置、存储介质和处理器 | |
| CN116541396A (zh) | 票据数据处理方法、装置及系统 | |
| CN118277462A (zh) | 一种对账文件生成方法、装置及电子设备、存储介质 | |
| CN114647671A (zh) | 数据查询方法、装置、电子设备、存储介质及程序产品 | |
| CN116303619A (zh) | 指令的查询方法和装置、存储介质及电子装置 | |
| CN111143401A (zh) | 查询信息的处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |