CN114519059B - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质，通过该数据处理方法生成的第四数据表的数据包括了各个目标机构标识以及对应的人员等级标识的统计结果，本发明实施例提供的数据处理方法通过在第一数据表的基础上进行加工，最后得到第四数据表，可以简单直观地得到不同等级的代理人在不同的机构层级中的业务情况，进而可以直接读取对应维度的统计结果，实现多维度的数据分析处理，从而能够降低大数据分析的难度，提升大数据分析的效率。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及大数据技术领域，特别是涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

大数据分析是指对规模巨大的数据进行分析。大数据的基本特征如下：数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。大数据带来了数据仓库、数据安全、数据分析、数据挖掘等等各种技术，而其中核心的核心就是数据分析。商业价值的利用是各个行业争相追捧的利润焦点。随着大数据时代的来临，大数据分析也一直在巅峰中前行。

在保险行业中，大数据分析也是一个常用的技术手段。然而，代理人所处的机构的整体架构往往非常复杂，使得大数据分析的维度较多，从而提升了大数据分析的难度，降低了大数据分析的效率。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质，能够降低大数据分析的难度，提升大数据分析的效率。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取第一数据表，所述第一数据表包括代理人标识、所述代理人标识对应的多个层级的机构标识以及业务数据；

根据所述代理人标识对所述第一数据表中的所述业务数据进行汇总，生成第二数据表；

获取所述代理人标识对应的人员等级标识，在所述第二数据表中添加所述人员等级标识，根据所述人员等级标识对添加所述人员等级标识后的所述第二数据表中的所述业务数据进行合并，生成第三数据表；

遍历多个所述机构标识中的每个目标机构标识，分别根据每个所述目标机构标识对应的所述人员等级标识，对所述第三数据表中的所述业务数据进行统计，得到每个所述目标机构标识对应的所述人员等级标识的统计结果；

获取每个所述目标机构标识的上级机构标识，根据每个所述目标机构标识、每个所述目标机构标识对应的所述上级机构标识以及所述统计结果生成第四数据表。

进一步，所述根据所述代理人标识对所述第一数据表中的所述业务数据进行汇总，生成第二数据表，包括：

获取所述代理人标识对应的人员类型标识，在所述第一数据表中添加所述人员类型标识；

根据所述代理人标识对添加所述人员类型标识后的所述第一数据表中的所述业务数据进行汇总，生成第二数据表。

进一步，所述分别根据每个所述机构标识对应的所述人员等级标识对所述第三数据表中的所述业务数据进行统计，包括：

根据所述人员类型标识对每个所述机构标识对应的人员等级标识进行分类；

分别根据分类后的每个所述机构标识对应的所述人员等级标识对所述第三数据表中的所述业务数据进行统计。

进一步，所述根据所述目标机构标识、所述上级机构标识以及所述统计结果生成第四数据表，包括：

根据每个所述目标机构标识所在的层级确定每个所述目标机构标识对应的统计层级标识；

根据所述目标机构标识、所述上级机构标识、所述统计层级标识以及所述统计结果生成第四数据表。

进一步，所述数据处理方法还包括：

接收终端发送的数据查询指令，根据所述数据查询指令确定目标层级标识；

根据所述目标层级标识与所述统计层级标识的匹配关系，从所述第四数据表中读取与所述目标层级标识对应的所述统计结果；

将所述统计结果发送至所述终端。

进一步，所述第一数据表还包括时间标识，所述根据所述代理人标识对所述第一数据表中的所述业务数据进行汇总，生成第二数据表，包括：

确定统计时间范围，根据所述时间标识确定所述第一数据表中处于所述统计时间范围内的所述业务数据；

根据所述代理人标识对处于所述统计时间范围内的所述业务数据进行汇总，生成第二数据表。

进一步，所述数据处理方法还包括以下至少之一：

从所述第四数据表中获取相同的所述目标机构标识在不同的所述统计时间范围对应的所述统计结果，得到多个第一目标统计结果，将多个所述第一目标统计结果进行对比，得到第一对比结果；

从所述第四数据表中获取相同的所述人员等级标识在不同的所述统计时间范围对应的所述统计结果，得到多个第二目标统计结果，将多个所述第二目标统计结果进行对比，得到第二对比结果；

从所述第四数据表中获取不同的所述目标机构标识在相同的所述统计时间范围对应的所述统计结果，得到多个第三目标统计结果，将多个所述第三目标统计结果进行对比，得到第三对比结果；

从所述第四数据表中获取不同的所述人员等级标识在相同的所述统计时间范围对应的所述统计结果，得到多个第四目标统计结果，将多个所述第四目标统计结果进行对比，得到第四对比结果。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

第一数据表获取模块，用于获取第一数据表，所述第一数据表包括代理人标识、所述代理人标识对应的多个层级的机构标识以及业务数据；

第二数据表生成模块，用于根据所述代理人标识对所述第一数据表中的所述业务数据进行汇总，生成第二数据表；

第三数据表生成模块，用于获取所述代理人标识对应的人员等级标识，在所述第二数据表中添加所述人员等级标识，根据所述人员等级标识对添加所述人员等级标识后的所述第二数据表中的所述业务数据进行合并，生成第三数据表；

数据统计模块，用于遍历多个所述机构标识中的每个目标机构标识，分别根据每个所述目标机构标识对应的所述人员等级标识，对所述第三数据表中的所述业务数据进行统计，得到每个所述目标机构标识对应的所述人员等级标识的统计结果；

第四数据表生成模块，用于获取每个所述目标机构标识的上级机构标识，根据每个所述目标机构标识、每个所述目标机构标识对应的所述上级机构标识以及所述统计结果生成第四数据表。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如第一方面所述的数据处理方法。

本发明实施例至少包括以下有益效果：

本发明实施例提出的一种数据处理方法，通过获取第一数据表，第一数据表包括代理人标识、代理人标识对应的多个层级的机构标识以及业务数据，根据代理人标识对第一数据表中的业务数据进行汇总，生成第二数据表，从而得到以代理人为粒度的业务数据，然后，获取代理人标识对应的人员等级标识，在第二数据表中添加人员等级标识，根据人员等级标识对添加人员等级标识后的第二数据表中的业务数据进行合并，生成第三数据表，从而可以在代理人粒度的业务数据的基础上加入人员等级标识，接着，遍历多个机构标识中的每个目标机构标识，分别根据每个目标机构标识对应的人员等级标识，对第三数据表中的业务数据进行统计，得到每个目标机构标识对应的人员等级标识的统计结果，再获取目标机构标识的上级机构标识，根据每个目标机构标识、每个目标机构标识对应的上级机构标识以及统计结果生成第四数据表，此时，第四数据表的数据包括了各个目标机构标识以及对应的人员等级标识的统计结果，本发明实施例提供的数据处理方法通过在第一数据表的基础上进行加工，最后得到第四数据表，可以简单直观地得到不同等级的代理人在不同的机构层级中的业务情况，进而可以直接读取对应维度的统计结果，实现多维度的数据分析处理，从而能够降低大数据分析的难度，提升大数据分析的效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种实施环境的示意图；

图2为本发明实施例提供的数据处理方法的流程示意图；

图3为本发明实施例提供的生成第二数据表的具体流程示意图；

图4为本发明实施例提供的对所述第三数据表中的所述业务数据进行统计的具体流程示意图；

图5为本发明实施例提供的生成第四数据表的具体流程示意图；

图6为本发明实施例提供的查询统计结果的具体流程示意图；

图7为本发明实施例提供的生成第二数据表的另一种具体流程示意图；

图8为本发明实施例提供的一种架构示意图；

图9为本发明实施例提供的第四数据表的一种结构示意图；

图10为本发明实施例提供的数据处理装置的结构示意图；

图11为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

应了解，在本发明实施例的描述中，若干个的含义是一个以上，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

首先，对本申请中涉及的若干名词进行解析：

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

在保险行业中，大数据分析是一个常用的技术手段，例如，对代理人的业绩进行大数据分析，最主要的一个指标就是对保费进行分析。然而，在一个保险公司中会设置有多个不同层次的机构，每个机构会有多个不同等级的代理人，并且每个代理人也会有多个不同的保险销售记录，这样一来，在对代理人的业绩进行大数据分析时，基础数据的数据量就会很大，可以达到亿级甚至百亿级，并且，基于保险公司架构的复杂性，其数据分析的维度也很多，例如需要分析各个不同层级的机构以及不同等级的代理人的业绩。可见，在这种场景下，大数据分析的难度较大、效率较低。

基于此，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，能够降低大数据分析的难度，提升大数据分析的效率。

本发明实施例提供数据处理方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本公开实施例中的数据处理方法。

参照图1，图1为本发明实施例提供的一种实施环境的示意图，该实施环境包括终端101、服务器102和业务系统103，其中，终端101和服务器102之间、服务器102和业务系统103之间通过通信网络104连接。

服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

另外，服务器102还可以是区块链网络中的一个节点服务器。

终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端等，但并不局限于此。终端101以及服务器102、服务器102和业务系统103可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例在此不做限制。

其中，终端101用于提供用户界面，查询并显示相关的大数据分析结果，服务器102用于根据终端101的查询请求，将相应的数据分析结果推送至终端101进行显示；业务系统103用于向服务器102提供基础的业务数据供服务器102进行处理。

基于图1所示的实施环境，本发明实施例提供了一种数据处理方法，该数据处理方法可以由图1所示的服务器102执行，也可以由图1所示的终端101执行，或者由图1所示的终端101和服务器102配合执行，本发明实施例以该数据处理方法由图1所示的服务器102执行为例进行说明。

参照图2，图2为本发明实施例提供的数据处理方法的流程示意图，该数据处理方法包括但不限于以下步骤201至步骤205。

步骤201：获取第一数据表，第一数据表包括代理人标识、代理人标识对应的多个层级的机构标识以及业务数据；

步骤202：根据代理人标识对第一数据表中的业务数据进行汇总，生成第二数据表；

步骤203：获取代理人标识对应的人员等级标识，在第二数据表中添加人员等级标识，根据人员等级标识对添加人员等级标识后的第二数据表中的业务数据进行合并，生成第三数据表；

步骤204：遍历多个机构标识中的每个目标机构标识，分别根据每个目标机构标识对应的人员等级标识，对第三数据表中的业务数据进行统计，得到每个目标机构标识对应的人员等级标识的统计结果；

步骤205：获取每个目标机构标识的上级机构标识，根据每个目标机构标识、每个目标机构标识对应的上级机构标识以及统计结果生成第四数据表。

其中，在步骤201中，第一数据表记录原始的业务数据，服务器可以从业务系统中获取原始的基础数据，将基础数据中的缺失数据、错误数据和重复数据进行清洗，然后验证数据正确性、规范数据格式、进行数据转码、统一数据标准等等。最后，即可加载处理好的基础数据，从而生成第一数据表。

其中，代理人标识用于唯一标识一个代理人，代理人标识的具体形式可以根据实际需求而定，本发明实施例不做限定。每个代理人标识会对应的多个层级的机构标识，机构标识的具体形式和具体的层级数量可以根据实际需求而定，本发明实施例不做限定，例如，假设整体架构中设置有一级机构、二级机构和三级机构，一级机构是层级最高的机构，二级机构是一级机构的下一层级的机构，三级机构是二级机构的下一层级的机构，并且，二级机构的数量可以为多个，同理三级机构的数量也可以为多个，不同的三级机构可以归属于不同的二级机构，同理，不同的代理人可以归属于不同的三级机构，由此形成整体的人员架构。业务数据可以为需要统计的数据，例如可以是保费，新业务内含价值(New BusinessEmbedded Value，NBEV)，新增计划书数，转发资讯数，阅读资讯数，转发产品数，制定计划数，页面访问数，某个种类的保险销售件数，应用程序登录次数中的一种或者多种，本发明实施例不做限定。

其中，第一数据表中，同一个代理人标识的业务数据可能会有多条，以业务数据为保费作为例子，同一个代理人销售了多个产品时，会产生多个保费记录，基于此，在步骤202中，根据代理人标识对第一数据表中的业务数据进行汇总，即将同一个代理人标识对应的业务数据进行汇总，此时，第二数据表的数据结构为一个代理人标识一个业务数据记录，即第二数据表记录的是以代理人为粒度的业务数据。例如，在第一数据表中某一个代理人标识有100元和200元的保费记录，那么汇总后第二数据表中就只有该代理人标识300元的保费记录。

在步骤203中，人员等级标识用于标识某个代理人的等级，或者用于标识某个代理人对应的客群，例如钻石代理人、铂金代理人等，当然，人员等级标识的具体形式可以根据实际需求而定，本发明实施例不做限定。在第二数据表中添加人员等级标识，可以是添加一个人员等级对应的字段，然后从业务系统中获取每个代理人标识对应的人员等级标识，或者，也可以从服务器本地预先存储的代理人标识与人员等级标识的对应关系中获取每个代理人标识对应的人员等级标识，本发明实施例不做限定。根据人员等级标识对添加人员等级标识后的第二数据表中的业务数据进行合并后，此时，第三数据表的数据结构为一个人员等级标识一个代理人标识一个业务数据记录，从而可以在代理人粒度的业务数据的基础上加入人员等级标识。

在一个实施例中，人员等级标识除了对应不同的代理人等级以外，还可以设置一个“全部”的标识，该人员等级标识下包含了所有代理人，通过设置用于标识全部等级的代理人的人员等级标识，结合标识某个代理人等级的人员等级标识，便于在后续的数据统计灵活选择是否需要根据代理人等级来进行数据分析，提高了数据处理的灵活性。

在一个实施例中，对第二数据表中的业务数据进行合并，可以采用“union all”方式实现。

其中，在步骤204中，对第三数据表中的业务数据进行统计，得到每个目标机构标识对应的人员等级标识的统计结果，即根据不同的机构标识来进行分层次的数据统计，以上述整体架构中设置有一级机构、二级机构和三级机构为例进行说明，目标机构标识依次为一级机构、二级机构和三级机构，先以一级机构作为统计维度来统计一级机构下各个人员等级标识的业务数据，再以二级机构作为统计维度来统计二级机构下各个人员等级标识的业务数据，再三级机构作为统计维度来统计三级机构下各个人员等级标识的业务数据，假设人员等级标识只有一个，此时第四数据表中会有三条统计结果的记录，分别对应一级机构、二级机构和三级机构，当然，若人员等级标识有多个，则第四数据表中会有三组统计结果的记录，每组统计结果有多个对应不同人员等级标识的数据。

具体地，上述统计操作是由服务器基于上述第三数据表操作得到的，示例性地，由于第三数据表的数据结构为一个人员等级标识一个代理人标识一个业务数据记录，可以根据“group by”、“group set”等方式对第三数据表进行处理，即可得到第四数据表。

在步骤205中，生成第四数据表时，需要加入每个目标机构标识的上级机构标识，便于后续进行数据检索，也提高数据的完整性。例如，以上述整体架构中设置有一级机构、二级机构和三级机构为例进行说明，一级机构对应的统计数据记录为“一级机构-业务数据”，二级机构对应的统计数据记录为“一级机构-二级机构-业务数据”，三级机构对应的统计数据记录为“一级机构-二级机构-三级机构-业务数据”。

上述步骤201至步骤205中，通过获取第一数据表，第一数据表包括代理人标识、代理人标识对应的多个层级的机构标识以及业务数据，根据代理人标识对第一数据表中的业务数据进行汇总，生成第二数据表，从而得到以代理人为粒度的业务数据，然后，获取代理人标识对应的人员等级标识，在第二数据表中添加人员等级标识，根据人员等级标识对添加人员等级标识后的第二数据表中的业务数据进行合并，生成第三数据表，从而可以在代理人粒度的业务数据的基础上加入人员等级标识，接着，遍历多个机构标识中的每个目标机构标识，分别根据每个目标机构标识对应的人员等级标识，对第三数据表中的业务数据进行统计，得到每个目标机构标识对应的人员等级标识的统计结果，再获取目标机构标识的上级机构标识，根据每个目标机构标识、每个目标机构标识对应的上级机构标识以及统计结果生成第四数据表，此时，第四数据表的数据包括了各个目标机构标识以及对应的人员等级标识的统计结果，本发明实施例提供的数据处理方法通过在第一数据表的基础上进行加工，最后得到第四数据表，可以简单直观地得到不同等级的代理人在不同的机构层级中的业务情况，进而可以直接读取对应维度的统计结果，实现多维度的数据分析处理，从而能够降低大数据分析的难度，提升大数据分析的效率。

在一个实施例中，参照图3，图3为本发明实施例提供的生成第二数据表的具体流程示意图，上述步骤202中，根据代理人标识对第一数据表中的业务数据进行汇总，生成第二数据表，具体可以包括以下步骤301至步骤302。

步骤301：获取代理人标识对应的人员类型标识，在第一数据表中添加人员类型标识；

步骤302：根据代理人标识对添加人员类型标识后的第一数据表中的业务数据进行汇总，生成第二数据表。

其中，在步骤301中，人员类型标识用于标识某个代理人的人员类型，例如在一些架构中，会划分为营销和区拓两种不同类型的代理人，当然，人员类型标识的具体形式可以根据实际需求而定，本发明实施例不做限定。在第二数据表中添加人员类型标识，可以是添加一个人员类型对应的字段，然后从业务系统中获取每个代理人标识对应的人员类型标识，或者，也可以从服务器本地预先存储的代理人标识与人员类型标识的对应关系中获取每个代理人标识对应的人员类型标识，本发明实施例不做限定。

在第一数据表中添加了人员类型标识后，再根据代理人标识来进行数据汇总，生成的第二数据表的数据结构为一个代理人标识一个人员类型标识一个业务数据记录。相应地，后续生成的第三数据表的数据结构为一个人员等级标识一个代理人标识一个人员类型标识一个业务数据记录，进一步进行数据统计后，第四数据表中也可以记录不同人员类型标识的统计结果。

具体地，在第一数据表中添加了人员类型标识后，可以进一步根据人员类型标识对第三数据表中的业务数据进行统计。参照图4，图4为本发明实施例提供的对第三数据表中的业务数据进行统计的具体流程示意图，上述步骤204中，分别根据每个机构标识对应的人员等级标识对第三数据表中的业务数据进行统计，具体可以包括以下步骤401至步骤402。

步骤401：根据人员类型标识对每个机构标识对应的人员等级标识进行分类；

步骤402：分别根据分类后的每个机构标识对应的人员等级标识对第三数据表中的业务数据进行统计。

因此，通过在第一数据表中添加人员类型标识，可以丰富数据统计的维度，并且，基于本发明实施例提供的第四数据表的数据结构，在实现更多维度的数据统计的前提下，只需增加相应的字段即可，无须繁琐的代码进行处理，有利于提高数据处理的效率，降低服务器的资源占用。

在一个实施例中，参照图5，图5为本发明实施例提供的生成第四数据表的具体流程示意图，上述步骤205中，根据每个目标机构标识、每个目标机构标识对应的上级机构标识以及统计结果生成第四数据表，具体可以包括以下步骤501至步骤502。

步骤501：根据每个目标机构标识所在的层级确定每个目标机构标识对应的统计层级标识；

步骤502：根据每个目标机构标识、每个目标机构标识对应的上级机构标识、统计层级标识以及统计结果生成第四数据表。

其中，统计层级标识用于标识每一条统计结果所对应的统计层级，例如，依旧以上述整体架构中设置有一级机构、二级机构和三级机构为例进行说明，一级机构对应的的统计层级标识为“一级”，二级机构对应的的统计层级标识为“二级”，三级机构对应的的统计层级标识为“三级”。当然，统计层级标识的具体形式可以根据实际需求而定，本发明实施例不做限定。

通过设置统计层级标识，可以明确每一条统计记录所对应的统计层级，便于对不同目标机构标识进行归类，从而在后续进行数据查询时提高数据检索的效率。

具体地，在一个实施例中，参照图6，图6为本发明实施例提供的查询统计结果的具体流程示意图，上述数据处理方法还可以进一步包括以下步骤601至步骤603。

步骤601：接收终端发送的数据查询指令，根据数据查询指令确定目标层级标识；

步骤602：根据目标层级标识与统计层级标识的匹配关系，从第四数据表中读取与目标层级标识对应的统计结果；

步骤603：将统计结果发送至终端。

其中，服务器进行了数据统计以后，可以将数据统计的结果发送至终端进行展示，终端在发送查询指令时可以携带目标层级标识，目标层级标识用于指示用户当前需要查询的数据的层级，例如用户想查询一级机构的统计结果。由于第四数据表中设置有统计层级标识，服务器可以根据目标层级标识和统计层级标识之间的匹配关系快速确定候选的统计结果记录，从而可以快速地从第四数据表中读取与目标层级标识对应的统计结果，从而提高数据检索的效率。

其中，数据查询指令中写道的目标层级标识可以根据用户的具体选择而定，例如用户选择查看一级机构的统计结果，则终端可以根据用户相应的操作指令来生成数据查询指令。

在一个实施例中，第一数据表还可以包括时间标识，时间标识可以包括数据统计时间标识或者数据生成时间标识中的一种或者多种，相应地，参照图7，图7为本发明实施例提供的生成第二数据表的另一种具体流程示意图，上述步骤202中，根据代理人标识对第一数据表中的业务数据进行汇总，生成第二数据表，具体也可以包括以下步骤701至步骤702。

步骤701：确定统计时间范围，根据时间标识确定第一数据表中处于统计时间范围内的业务数据；

步骤701：根据代理人标识对处于统计时间范围内的业务数据进行汇总，生成第二数据表。

其中，统计时间范围可以是一个月、一个季度或者一年，也可以是当月累计(即统计累计该月份至当天的数据，如当月5日统计当月1日，2日，3日，4日，5日共5天的业务数据)、当天累计等等，本发明实施例不做限定。

时间标识可以从业务系统的基础数据中获取，此时，生成的第二数据表的数据结构为统计时间范围内一个代理人标识一个业务数据记录，例如一个月一个代理人标识一个业务数据记录。相应地，后续生成的第三数据表的数据结构为统计时间范围内一个人员等级标识一个代理人标识一个业务数据记录，进一步进行数据统计后，第四数据表中也可以记录不同统计时间范围内不同人员类型标识的统计结果，例如第四数据表可以是当月累计的统计结果，也可以是上个月一整个月的统计结果等等。

可以理解的是，图7所示的步骤与上述图3所示的步骤可以进行结合。

基于上述时间标识，在进行大数据分析时除了分析具体的业务数据时，还可以根据统计时间范围来进行对比，具体地，可以是从第四数据表中获取相同的目标机构标识在不同的统计时间范围对应的统计结果，得到多个第一目标统计结果，将多个第一目标统计结果进行对比，得到第一对比结果，例如，可以将本月某个目标机构标识对应的统计结果和上个月进行对比。

或者，也可以是从第四数据表中获取相同的人员等级标识在不同的统计时间范围对应的统计结果，得到多个第二目标统计结果，将多个第二目标统计结果进行对比，得到第二对比结果，例如，可以将本月某个人员等级标识对应的统计结果和上个月进行对比。

可以理解的是，上述第一种和第二种对比方式可以是同比、环比等形式，统计时间范围符合同比、环比等形式的要求即可，本发明实施例不做限定。

又或者，也可以是从第四数据表中获取不同的目标机构标识在相同的统计时间范围对应的统计结果，得到多个第三目标统计结果，将多个第三目标统计结果进行对比，得到第三对比结果；

又或者，也可以是从第四数据表中获取不同的人员等级标识在相同的统计时间范围对应的统计结果，得到多个第四目标统计结果，将多个第四目标统计结果进行对比，得到第四对比结果。

上述第三种和第四种对比方式属于相同统计时间范围的不同目标机构标识或者人员等级标识之间的横向对比，具体的对比方式可以是直接相减计算差距等，本发明实施例不做限定。

可以理解的是，上述四种对比方式可以选取一种或者多种执行，视实际需求而定，本发明实施例不做限定。当四种对比文件均执行的时候，有利于提高数据分析的丰富性。

另外，还可以根据不同的目标机构标识在相同的统计时间范围对应的统计结果对不同的目标机构进行排名，当然，进行排名的机构的层级应当相同，例如一级机构里面的各个机构进行排名。

可以理解的是，上述各种对比结果同样可以发送至终端进行显示，使得用户可以直观地掌握各种对比结果。

下面以一实际例子说明本发明实施例提供的数据处理方法的原理。

参照图8，图8为本发明实施例提供的一种架构示意图，其中，整体架构包括一级机构、二级机构、三级机构、四级机构、区、部、组，其中，区、部、组均划分为线路一和线路二两种线路，每种线路对应不同的人员类型。

基于图8所示的架构，以业务数据为保费作为例子，服务器先获取第一数据表，此时第一数据表的数据结构为“代理人标识-机构标识-保费-业务数据生成时间”，机构标识有七个，分别对应图8所示的架构展示的各个层级的机构，并且一个代理人有多条保费记录，然后，在第一数据表中添加人员类型的字段，并根据业务数据生成时间对第一数据表按照月份进行汇总，生成第二数据表，此时第二数据表的数据结构为“月份-代理人标识-机构标识-保费-人员类型”，接着，在第二数据表中添加人员等级的字段，并利用“union all”的方式依次根据人员等级对第二数据表的数据进行合并，生成第三数据表，此时第三数据表的数据结构为“月份-代理人标识-机构标识-保费-人员类型-人员等级”，最后，在dept层利用“group by”和“group set”对第三数据表进行各个维度的统计，生成第四数据表，参照图9，图9为本发明实施例提供的第四数据表的一种结构示意图，可见，此时第四数据表记录了不同维度的保费统计结果。另外，还可以是输出层根据不同维度输出单独的数据表，并进行同比、环比等对比操作。

可以理解的是，服务器从业务系统中获取了基础数据以后，便自动化地依次生成上述第一数据表、第二数据表、第三数据表、第四数据表。上述数据处理方法可以在大数据集群hive中实现。上述数据处理方法可以实现多个维度的数据分析处理，很好的解决了同时处理多维度数据分析所带来的计算代码繁杂、冗余、性能落后的问题。

可以理解的是，图9所示的第四数据表仅作为示意性说明，实际上第四数据表的数据量以及字段数量远远大于图9所示的数据量。

可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

另外，参照图10，图10为本发明实施例提供的数据处理装置的结构示意图，本发明实施例还提供了一种数据处理装置1000，该数据处理装置1000包括：

第一数据表获取模块1001，用于获取第一数据表，第一数据表包括代理人标识、代理人标识对应的多个层级的机构标识以及业务数据；

第二数据表生成模块1002，用于根据代理人标识对第一数据表中的业务数据进行汇总，生成第二数据表；

第三数据表生成模块1003，用于获取代理人标识对应的人员等级标识，在第二数据表中添加人员等级标识，根据人员等级标识对添加人员等级标识后的第二数据表中的业务数据进行合并，生成第三数据表；

数据统计模块1004，用于遍历多个机构标识中的每个目标机构标识，分别根据每个目标机构标识对应的人员等级标识，对第三数据表中的业务数据进行统计，得到每个目标机构标识对应的人员等级标识的统计结果；

第四数据表生成模块1005，用于获取每个目标机构标识的上级机构标识，根据每个目标机构标识、每个目标机构标识对应的上级机构标识以及统计结果生成第四数据表。

本发明实施例提供的数据处理装置1000与上述数据处理方法基于相同的发明构思，因此该数据处理装置通过在第一数据表的基础上进行加工，最后得到第四数据表，可以简单直观地得到不同等级的代理人在不同的机构层级中的业务情况，进而可以直接读取对应维度的统计结果，实现多维度的数据分析处理，从而能够降低大数据分析的难度，提升大数据分析的效率。

可以理解的是，上述数据处理装置1000的各个模块还可以具体用于执行在上述数据处理方法实施例中描述的各种流程。

参照图11，图11为本发明实施例提供的电子设备的结构示意图。电子设备1100包括：存储器1101、处理器1102及存储在存储器1101上并可在处理器1102上运行的计算机程序，计算机程序运行时用于执行上述的数据处理方法。

处理器1102和存储器1101可以通过总线或者其他方式连接。

存储器1101作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的数据处理方法。处理器1102通过运行存储在存储器1101中的非暂态软件程序以及指令，从而实现上述的数据处理方法。

存储器1101可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的数据处理方法。此外，存储器1101可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器1101可选包括相对于处理器1102远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备1100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的数据处理方法所需的非暂态软件程序以及指令存储在存储器1101中，当被一个或者多个处理器1102执行时，执行上述的数据处理方法。

本发明实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的数据处理方法。

在一实施例中，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可以实现上述的数据处理方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

还应了解，本发明实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (6)

1.一种数据处理方法，其特征在于，包括：

获取第一数据表，所述第一数据表包括代理人标识、所述代理人标识对应的多个层级的机构标识以及业务数据；

获取所述代理人标识对应的人员类型标识，在所述第一数据表中添加所述人员类型标识，根据所述代理人标识对添加所述人员类型标识后的所述第一数据表中的所述业务数据进行汇总，生成第二数据表，或者，当所述第一数据表还包括时间标识时，确定统计时间范围，根据所述时间标识确定所述第一数据表中处于所述统计时间范围内的所述业务数据，根据所述代理人标识对处于所述统计时间范围内的所述业务数据进行汇总，生成第二数据表；

获取所述代理人标识对应的人员等级标识，在所述第二数据表中添加所述人员等级标识，根据所述人员等级标识对添加所述人员等级标识后的所述第二数据表中的所述业务数据进行合并，生成第三数据表；

遍历多个所述机构标识中的每个目标机构标识，根据所述人员类型标识对每个所述机构标识对应的人员等级标识进行分类，分别根据分类后的每个所述机构标识对应的所述人员等级标识对所述第三数据表中的所述业务数据进行统计，得到每个所述目标机构标识对应的所述人员等级标识的统计结果；

获取每个所述目标机构标识的上级机构标识，根据每个所述目标机构标识所在的层级确定每个所述目标机构标识对应的统计层级标识，根据每个所述目标机构标识、每个所述目标机构标识对应的所述上级机构标识、所述统计层级标识以及所述统计结果生成第四数据表。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

接收终端发送的数据查询指令，根据所述数据查询指令确定目标层级标识；

根据所述目标层级标识与所述统计层级标识的匹配关系，从所述第四数据表中读取与所述目标层级标识对应的所述统计结果；

将所述统计结果发送至所述终端。

3.根据权利要求1所述的数据处理方法，其特征在于，当所述第一数据表还包括时间标识时，所述数据处理方法还包括以下至少之一：

从所述第四数据表中获取相同的所述目标机构标识在不同的所述统计时间范围对应的所述统计结果，得到多个第一目标统计结果，将多个所述第一目标统计结果进行对比，得到第一对比结果；

从所述第四数据表中获取相同的所述人员等级标识在不同的所述统计时间范围对应的所述统计结果，得到多个第二目标统计结果，将多个所述第二目标统计结果进行对比，得到第二对比结果；

从所述第四数据表中获取不同的所述目标机构标识在相同的所述统计时间范围对应的所述统计结果，得到多个第三目标统计结果，将多个所述第三目标统计结果进行对比，得到第三对比结果；

从所述第四数据表中获取不同的所述人员等级标识在相同的所述统计时间范围对应的所述统计结果，得到多个第四目标统计结果，将多个所述第四目标统计结果进行对比，得到第四对比结果。

4.一种数据处理装置，其特征在于，包括：

第一数据表获取模块，用于获取第一数据表，所述第一数据表包括代理人标识、所述代理人标识对应的多个层级的机构标识以及业务数据；

第二数据表生成模块，用于获取所述代理人标识对应的人员类型标识，在所述第一数据表中添加所述人员类型标识，根据所述代理人标识对添加所述人员类型标识后的所述第一数据表中的所述业务数据进行汇总，生成第二数据表，或者，当所述第一数据表还包括时间标识时，确定统计时间范围，根据所述时间标识确定所述第一数据表中处于所述统计时间范围内的所述业务数据，根据所述代理人标识对处于所述统计时间范围内的所述业务数据进行汇总，生成第二数据表；

第三数据表生成模块，用于获取所述代理人标识对应的人员等级标识，在所述第二数据表中添加所述人员等级标识，根据所述人员等级标识对添加所述人员等级标识后的所述第二数据表中的所述业务数据进行合并，生成第三数据表；

数据统计模块，用于遍历多个所述机构标识中的每个目标机构标识，根据所述人员类型标识对每个所述机构标识对应的人员等级标识进行分类，分别根据分类后的每个所述机构标识对应的所述人员等级标识对所述第三数据表中的所述业务数据进行统计，得到每个所述目标机构标识对应的所述人员等级标识的统计结果；

第四数据表生成模块，用于获取每个所述目标机构标识的上级机构标识，根据每个所述目标机构标识所在的层级确定每个所述目标机构标识对应的统计层级标识，根据每个所述目标机构标识、每个所述目标机构标识对应的所述上级机构标识、所述统计层级标识以及所述统计结果生成第四数据表。

5.一种电子设备，其特征在于，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至3中任意一项所述的数据处理方法。

6.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现权利要求1至3中任意一项所述的数据处理方法。