CN109284289A - 数据集处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据集处理的数据集处理方法、装置、计算机设备及存储介质，该数据集处理方法包括：遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树；统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。该数据集处理方法无需频繁地磁盘I/O操作，自动完成各个区域数据表的数据整合，提高数据采集和处理的速度。

Description

数据集处理方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据采集领域，尤其涉及一种数据集处理方法、装置、计算机设备及存储介质。

背景技术

现有各种组织之间可以按照层级划分建模为多叉树的遍历关系。而当统计各种组织相关的结构化数据时计算时间复杂度至少为mⁿ，其中m是叶节点的数量，n是层级数。尤其对于跨省或跨国的大型组织，由于层级数大，即使能获取大型组织的多个数据库，难以统计层级关系和与层级关系相关的数据，包括各个组织的资产，人员和职位等。如何统计散列组织中的人员关系及相关数据成为亟待解决的问题。

发明内容

本发明实施例提供一种数据集处理的数据集处理方法、装置、计算机设备及存储介质，以解决统计散列组织中的人员关系及相关数据的问题。

一种数据集处理方法，包括：

遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；

基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。

一种数据集处理装置，包括：

遍历数据表模块，用于遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；

获取目标ID模块，用于基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计成员属性模块，用于统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。

上述数据集处理方法、装置、计算机设备及存储介质，通过遍历每一区域数据表并保存到内存后形成层级关系树，可基于该层级关系树统计指定节点对应的至少一个成员属性，无需频繁地磁盘I/O操作，避免人员手工统计各个散列的区域数据表来获取成员属性，自动完成各个区域数据表的数据整合，快速获取需要的统计结果，降低计算复杂度，提高数据采集和处理的速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中数据集处理方法的应用环境示意图；

图2是本发明一实施例中数据集处理方法的流程图；

图3是本发明一实施例中数据集处理方法的另一流程图；

图4是本发明一实施例中数据集处理方法的另一流程图；

图5是本发明一实施例中数据集处理方法的另一流程图；

图6是本发明一实施例中数据集处理方法的另一流程图；

图7是本发明一实施例中数据集处理方法的另一流程图；

图8是本发明一实施例中数据集处理装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的数据集处理方法，可应用在如图1的应用环境中，该数据集处理方法应用在数据集处理系统中，该数据集处理系统包括客户端和服务器，其中，客户端通过网络与服务器进行通信。其中，客户端又称为用户端，是指与服务器相对应，为客户提供本地服务的程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种数据集处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10.遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点。

其中，区域数据表是记录不同区域的各类数据表格，比如，区域销售额表单，区域负责人表单等。成员ID是用以区别不同人员的标识。成员属性是不同人员具有的属性，比如销售额，年龄或负责人数等。

S20.基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点。

其中，层级差是指成员和该成员的直接上级和间接上级之间的级别差，可以理解地，该成员和其直接上级之间的层级差为1，成员和其直接上级的直接上级之间的层级差为2，依次类推。

层级关系树是基于层级差，成员对应的直接上级和间接上级的级别关系建立的级别树。

S30.统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。

具体地，举例说明某指定节点的成员属性获取过程，比如，若获取某节点的成员销售额，则层该指定子节点层层向下延伸，最终包括6个叶节点，也即该指定子节点的销售额由这6个叶节点分别对应的成员销售额的总和构成。

优选地，步骤S30中，即指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成，具体包括如下步骤：

若成员属性为成员数值，则将属于同一指定节点的每一叶节点对应的成员数值求和，获得指定节点对应的成员数值。

其中，成员数值就是记录该成员与数值有关的属性，比如销售额，管理人员数目等。本实施例可通过成员数值迅速获取每一节点对应的数据，便于后续提取数据时无需再计算，可直接提取现有数据。

本实施例提供的数据集处理方法通过遍历每一区域数据表并保存到内存后形成层级关系树，可基于该层级关系树统计指定节点对应的至少一个成员属性，无需频繁地磁盘I/O操作，避免人员手工统计各个散列的区域数据表来获取成员属性，自动完成各个区域数据表的数据整合，快速获取需要的统计结果，降低计算复杂度，提高数据采集和处理的速度。

在一实施例中，如图3所示，在步骤S20之前，即在基于区域数据表和层级差的步骤之前，该数据集处理方法还包括：

S201.基于区域数据表，获取每一成员ID对应的直接上级ID和所有间接上级ID。

具体地，区域数据表中包括每一成员的直接上级ID和所有间接上级ID。

S202.获取每一成员ID和每一间接上级ID之间的层级差，基于层级差，生成成员ID对应的成员记录，成员记录包括成员ID，和与成员ID对应的直接上级ID和所有间接ID。

具体地，本实施例中服务器可基于每一成员标明的直接ID和所有间接ID，获取每一成员和每一上级之间的层级差。比如，A的直接上级是B，A和B之间层级差为1；B的直接上级为C，则B和C之间的层级差为1，A和C之间的层级差为2。

本实施例可基于区域数据表列举的成员对应的所有上级，可获取成员和每一上级之间的层级差，利于后续基于该层级差建立层级关系树。

在一实施例中，层级关系树包括层级，根节点对应的层级为零级；如图4所示，步骤S20中，即建立层级关系树，具体包括如下步骤：

S21.基于叶节点对应的叶节点ID和目标ID，获取叶节点ID对应的成员记录和与目标ID对应的根节点之间的层级差。

其中，目标ID是层级关系树中根节点对应的成员的成员ID。

S22.若层级差为1，则根节点和叶节点直接关联，将叶节点直接关联根节点形成层级为一级的节点。

S23.若层级差大于1，则根节点和叶节点间接关联，基于成员记录，在根节点和叶节点依次按层级差建立子节点，直至将根节点关联叶节点。

具体地，当目标ID和叶节点之间的层级差大于1时，获取该目标ID和叶节点之间的每一子节点(也即该叶节点和该根节点直接的所有上级成员)。

本实施例中，服务器通过建立层级关系树，将区域数据表中的数据以直观的形象展示出来，便于通过该层级关系树迅速获取每一成员在层级关系树中的连接关系。

在一实施例中，如图5所示，在步骤S30之后，即在统计层级关系树中每一节点对应的至少一个成员属性的步骤之后，数据集处理方法还包括：

S301.获取成员属性统计请求，统计请求包括成员ID和成员属性。

其中，属性统计请求是用户端发送给服务器用以获取统计指定成员某成员属性的请求。

S302.基于成员ID，获取与成员属性对应的属性值。

具体地，服务器可基于每一节点记录的数据可直接获取该节点对应的成员属性的属性值。

在一实施例中，如图6所示，在步骤S30之后，即在统计层级关系树中每一节点对应的至少一个成员属性的步骤之后，数据集处理方法还包括：

S303.获取叶节点添加请求，节点添加请求包括至少一个成员添加ID、与成员添加ID对应的直接上级添加ID和至少一个成员添加属性。

其中，叶节点添加请求就是在指定成员形成的层级关系树中添加该层级关系树的新的叶节点的请求。

S304.若直接上级添加ID与层级关系树中任一节点对应的成员ID相同，则将成员ID对应的节点作为目标父节点。

S305.将成员添加ID和至少一个成员添加属性形成目标叶节点与目标父节点进行关联，更新成员添加ID对应的每一上级节点对应的成员属性。

上述数据集处理方法、装置、计算机设备及存储介质，通过遍历每一区域数据表并保存到内存后形成层级关系树，可基于该层级关系树统计指定节点对应的至少一个成员属性，无需频繁地磁盘I/O操作，避免人员手工统计各个散列的区域数据表来获取成员属性，自动完成各个区域数据表的数据整合，快速获取需要的统计结果，降低计算复杂度，提高数据采集和处理的速度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种数据集处理装置，该数据集处理装置与上述实施例中数据集处理方法一一对应。如图7所示，该数据集处理装置包括遍历数据表模块10、获取目标ID模块20和统计成员属性模块30。各功能模块详细说明如下：

遍历数据表模块10，用于遍历每一区域数据表并保存到内存，区域数据表包括至少一组成员记录，成员记录包括成员ID、直接上级ID和至少一个成员属性，将成员ID和至少一个成员属性形成一个叶节点；

获取目标ID模块20，用于基于基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计成员属性模块30，用于统计层级关系树中指定节点对应的至少一个成员属性，其中，指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。

关于数据集处理装置的具体限定可以参见上文中对于数据集处理方法的限定，在此不再赘述。上述数据集处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据集处理方法中需保存的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据集处理方法。

在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例数据集处理方法的步骤，例如图2所示的步骤S10至步骤S30。或者，处理器执行计算机程序时实现上述实施例中数据集处理装置的各模块/单元的功能，例如图7所示模块10至模块30的功能。为避免重复，此处不再赘述。

在一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例数据集处理方法，例如图2所示的步骤S10至步骤S30。或者，该计算机程序被处理器执行时实现上述装置实施例中数据集处理装置中各模块/单元的功能，例如图7所示模块10至模块30的功能。为避免重复，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据集处理方法，其特征在于，包括：

遍历每一区域数据表并保存到内存，所述区域数据表包括至少一组成员记录，所述成员记录包括成员ID、直接上级ID和至少一个成员属性，将所述成员ID和至少一个成员属性形成一个叶节点；

基于所述基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，所述层级关系树包括所述目标ID对应的根节点和与所述根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计所述层级关系树中指定节点对应的至少一个成员属性，其中，所述指定节点对应的至少一个成员属性由属于所述指定节点的每一叶节点对应的成员属性构成。

2.如权利要求1所述的数据集处理方法，其特征在于，在所述基于所述基于区域数据表和层级差的步骤之前，所述数据集处理方法还包括：

基于所述区域数据表，获取每一成员ID对应的直接上级ID和所有间接上级ID；

获取每一成员ID和每一间接上级ID之间的层级差，基于所述层级差，生成所述成员ID对应的成员记录，所述成员记录包括成员ID，和与所述成员ID对应的直接上级ID和所有间接ID。

3.如权利要求2所述的数据集处理方法，其特征在于，所述层级关系树包括层级，所述根节点对应的层级为零级；

所述建立层级关系树，包括：

基于所述叶节点对应的叶节点ID和目标ID，获取所述叶节点ID对应的成员记录和与所述目标ID对应的根节点之间的层级差；

若所述层级差为1，则所述根节点和所述叶节点直接关联，将所述叶节点直接关联根节点形成层级为一级的节点；

若所述层级差大于1，则所述根节点和所述叶节点间接关联，基于所述成员记录，在根节点和叶节点依次按层级差建立子节点，直至将所述根节点关联所述叶节点。

4.如权利要求1所述的数据集处理方法，其特征在于，所述成员属性包括成员数值；

所述指定节点对应的至少一个成员属性由属于所述指定节点的每一叶节点对应的成员属性构成，包括：

若所述成员属性为成员数值，则将属于同一所述指定节点的每一叶节点对应的成员数值求和，获得所述指定节点对应的成员数值。

5.如权利要求1所述的数据集处理方法，其特征在于，在所述统计所述层级关系树中每一节点对应的至少一个成员属性的步骤之后，所述数据集处理方法还包括：

获取成员属性统计请求，所述统计请求包括成员ID和成员属性；

基于所述成员ID，获取与所述成员属性对应的属性值。

6.如权利要求1所述的数据集处理方法，其特征在于，在所述统计所述层级关系树中每一节点对应的至少一个成员属性的步骤之后，所述数据集处理方法还包括：

获取叶节点添加请求，所述节点添加请求包括至少一个成员添加ID、与所述成员添加ID对应的直接上级添加ID和至少一个成员添加属性；

若所述直接上级添加ID与所述层级关系树中任一节点对应的成员ID相同，则将所述成员ID对应的节点作为目标父节点；

将所述成员添加ID和至少一个成员添加属性形成目标叶节点与所述目标父节点进行关联，更新所述成员添加ID对应的每一上级节点对应的成员属性。

7.一种数据集处理装置，其特征在于，包括：

遍历数据表模块，用于遍历每一区域数据表并保存到内存，所述区域数据表包括至少一组成员记录，所述成员记录包括成员ID、直接上级ID和至少一个成员属性，将所述成员ID和至少一个成员属性形成一个叶节点；

获取目标ID模块，用于基于所述基于区域数据表和层级差，获取指定的成员ID作为目标ID，建立层级关系树，所述层级关系树包括所述目标ID对应的根节点和与所述根节点直接关联或间接关联的至少一个叶节点，其中，根节点和叶节点之间的节点形成子节点；

统计成员属性模块，用于统计所述层级关系树中指定节点对应的至少一个成员属性，其中，所述指定节点对应的至少一个成员属性由属于所述指定节点的每一叶节点对应的成员属性构成。

8.如权利要求7所述的数据集处理装置，其特征在于，所述数据集处理装置还包括：

获取间接上级ID模块，用于基于所述区域数据表，获取每一成员ID对应的直接上级ID和所有间接上级ID；

获取层级差模块，用于获取每一成员ID和每一间接上级ID之间的层级差，基于所述层级差，生成所述成员ID对应的成员记录，所述成员记录包括成员ID，和与所述成员ID对应的直接上级ID和所有间接ID。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据集处理方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据集处理方法的步骤。