CN111708807A - 数据扁平化处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及大数据技术领域，公开了一种数据扁平化处理方法、装置、设备及存储介质，用于采用扁平化处理树形结构数据，提高对树形结构数据查询的效率。数据扁平化处理方法包括：从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将初始机构数据同步到第一机构数据表；当接收到扁平化处理机构数据请求时，通过预置计算引擎查询第一机构数据表，得到待处理机构数据；通过红黑树算法对待处理机构数据进行扁平化处理，得到目标机构数据；将目标机构数据更新到第二机构数据表，并生成对应的响应数据，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。本发明还涉及区块链技术，所述初始机构数据存储于区块链中。

Description

数据扁平化处理方法、装置、设备及存储介质

技术领域

本发明涉及大数据技术的树表查询领域，尤其涉及一种数据扁平化处理方法、装置、设备及存储介质。

背景技术

机构树是一种树形数据结构，树形数据结构是表达数据之间层次关系的数据结构，因而机构树采用分支关系定义层次结构，机构树中的每个结点有0个或者多个子结点，而每个子结点仅有一个父结点，父结点为空的结点为根结点，每个机构树仅有一个根结点。因此，在对机构树中的机构数据进行查询时需要采用递归查询方式。

目前在数据仓库中递归查询机构树的机构数据时，多采取表与表的连接查询方式，通过多次连接达到递归查询机构数据的目的，该查询方式通用性不高，拓展性较差，缺乏灵活性；另外，也可以使用自定义函数递归查询机构数据，但在某些业务场景下，需要将用户定义函数、用户定义表生成函数以及用户定义表生成函数相结合才能实现业务功能，采用这种方式生成的自定义函数一般会导致查询速度变慢，耗费更多的运算资源。

发明内容

本发明的主要目的在于解决了采用现有的递归查询方式对树形结构数据查询效率较低的技术问题。

为实现上述目的，本发明第一方面提供了一种数据扁平化处理方法，包括：从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据；当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据；通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集；将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

可选的，在本发明第一方面的第一种实现方式中，所述从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据，包括：从预置配置信息中读取源数据库的连接信息、源数据表名和第一机构数据表名；采用所述源数据库的连接信息连接源数据库，得到第一连接结果，所述源数据库为关系数据库；当所述第一连接结果为连接成功时，按照所述源数据表名读取目标机构树的初始机构数据，并按照预置字符编码格式对所述目标机构树的初始机构数据进行编码，所述初始机构数据为多维树形结构数据；基于所述第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表。

可选的，在本发明第一方面的第二种实现方式中，所述基于所述第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表，包括：按照所述第一机构数据表名获取对应的目标建表脚本；调用所述对应的目标建表脚本对已编码的初始机构数据进行数据格式转换，并将已转换的机构数据写入到目标数据库中的第一机构数据表中。

可选的，在本发明第一方面的第三种实现方式中，所述当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据，包括：当接收到终端发送的扁平化处理机构数据请求时，解析所述扁平化处理机构数据请求，得到至少一个待查询字段，并基于所述至少一个待查询字段和所述第一机构数据表名生成查询语句；获取所述目标数据库对应的连接地址、端口号和链接路径，并基于所述连接地址、所述端口号和所述链接路径连接所述目标数据库，得到第二连接结果；当所述第二连接结果为连接成功时，根据预置解析引擎执行所述查询语句，得到查询数据；按照预置数据格式对所述查询数据进行封装，得到待处理机构数据。

可选的，在本发明第一方面的第四种实现方式中，所述通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集，包括：通过红黑树算法初始化红黑树，并初始化红黑树的根结点；从所述待处理机构数据中遍历读取各机构结点，并将所述各机构结点插入到所述红黑树中，得到多个叶子结点；分别查找并获取每个叶子结点到所述根结点的机构结点路径信息，所述机构结点路径信息包括各机构结点名称和各机构结点标识；按照预设业务需求统计并抽取每个叶子结点到所述根结点的机构结点路径信息，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集。

可选的，在本发明第一方面的第五种实现方式中，所述将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作，包括：将目标机构数据通过预置分隔符进行分割，得到已分割的机构数据；通过映射算子对所述已分割的机构数据和预置字段进行映射处理，得到映射数据；通过所述预置计算引擎将所述映射数据更新到所述目标数据库中的第二机构数据表，得到更新结果，所述第二机构数据表为包括行索引和列索引的矩阵数据表；对所述更新结果进行数据封装，得到所述扁平化处理机构数据请求的响应数据，并将所述响应数据发送到所述终端，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

可选的，在本发明第一方面的第六种实现方式中，在所述将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作之后，所述数据扁平化处理方法还包括：当检测到所述第一机构数据表发生数据变更时，从所述第一机构数据表中读取已变更的机构数据；基于所述已变更的机构数据更新所述第二机构数据表。

本发明第二方面提供了一种数据扁平化处理装置，包括：获取模块，用于从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据；查询模块，当接收到终端发送的扁平化处理机构数据请求时，用于通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据；扁平化模块，用于通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集；第一更新模块，用于将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

可选的，在本发明第二方面的第一种实现方式中，所述获取模块还包括：读取单元，用于从预置配置信息中读取源数据库的连接信息、源数据表名和第一机构数据表名；连接单元，用于采用所述源数据库的连接信息连接源数据库，得到第一连接结果，所述源数据库为关系数据库；编码单元，当所述第一连接结果为连接成功时，用于按照所述源数据表名读取目标机构树的初始机构数据，并按照预置字符编码格式对所述目标机构树的初始机构数据进行编码，所述初始机构数据为多维树形结构数据；同步单元，用于基于所述第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表。

可选的，在本发明第二方面的第二种实现方式中，所述同步单元具体用于：按照所述第一机构数据表名获取对应的目标建表脚本；调用所述对应的目标建表脚本对已编码的初始机构数据进行数据格式转换，并将已转换的机构数据写入到目标数据库中的第一机构数据表中。

可选的，在本发明第二方面的第三种实现方式中，所述查询模块具体用于：当接收到终端发送的扁平化处理机构数据请求时，解析所述扁平化处理机构数据请求，得到至少一个待查询字段，并基于所述至少一个待查询字段和所述第一机构数据表名生成查询语句；获取所述目标数据库对应的连接地址、端口号和链接路径，并基于所述连接地址、所述端口号和所述链接路径连接所述目标数据库，得到第二连接结果；当所述第二连接结果为连接成功时，根据预置解析引擎执行所述查询语句，得到查询数据；按照预置数据格式对所述查询数据进行封装，得到待处理机构数据。

可选的，在本发明第二方面的第四种实现方式中，所述扁平化模块具体用于：通过红黑树算法初始化红黑树，并初始化红黑树的根结点；从所述待处理机构数据中遍历读取各机构结点，并将所述各机构结点插入到所述红黑树中，得到多个叶子结点；分别查找并获取每个叶子结点到所述根结点的机构结点路径信息，所述机构结点路径信息包括各机构结点名称和各机构结点标识；按照预设业务需求统计并抽取每个叶子结点到所述根结点的机构结点路径信息，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集。

可选的，在本发明第二方面的第五种实现方式中，所述第一更新模块具体用于：将目标机构数据通过预置分隔符进行分割，得到已分割的机构数据；通过映射算子对所述已分割的机构数据和预置字段进行映射处理，得到映射数据；通过所述预置计算引擎将所述映射数据更新到所述目标数据库中的第二机构数据表，得到更新结果，所述第二机构数据表为包括行索引和列索引的矩阵数据表；对所述更新结果进行数据封装，得到所述扁平化处理机构数据请求的响应数据，并将所述响应数据发送到所述终端，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

可选的，在本发明第二方面的第六种实现方式中，所述数据扁平化处理装置还包括：读取模块，当检测到所述第一机构数据表发生数据变更时，用于从所述第一机构数据表中读取已变更的机构数据；第二更新模块，用于基于所述已变更的机构数据更新所述第二机构数据表。

本发明第三方面提供了一种数据扁平化处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据扁平化处理设备执行上述的数据扁平化处理方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据扁平化处理方法。

本发明提供的技术方案中，从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据；当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据；通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集；将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。本发明实施例中，通过将关系数据库中的机构数据同步到数据仓库中，并调用计算引擎读取数据仓库中的机构数据，提高数据处理效率；同时采用红黑树算法对数据仓库中的机构数据进行扁平化处理，并将扁平化数据结构的机构数据存储到数据仓库中新的机构树表，当接收到查询机构数据请求时，从该新的机构树表中获取目标机构数据，提高对树形机构数据的查询效率。

附图说明

图1为本发明实施例中数据扁平化处理方法的一个实施例示意图；

图2为本发明实施例中数据扁平化处理方法的另一个实施例示意图；

图3为本发明实施例中数据扁平化处理装置的一个实施例示意图；

图4为本发明实施例中数据扁平化处理装置的另一个实施例示意图；

图5为本发明实施例中数据扁平化处理设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据扁平化处理方法、装置、设备及存储介质，用于通过将关系数据库中的机构数据同步到数据仓库中，并调用计算引擎读取数据仓库中的机构数据，提高数据处理效率；同时采用红黑树算法对数据仓库中的机构数据进行扁平化处理，提高对树形机构数据的查询效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据扁平化处理方法的一个实施例包括：

101、从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，初始机构数据为多维树形结构数据。

其中，源数据库为关系数据库，例如，mysql，目标数据库为数据仓库工具hive，进一步地，服务器通过数据同步工具sqoop将初始机构数据从源数据库中定时同步到目标数据库中的第一机构数据表。具体的，服务器从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式对该初始机构数据进行字符编码，然后通过sqoop生成数据同步脚本将已编码的初始机构数据同步到目标数据库中的第一机构数据表，该数据同步脚本中包括建表语句，该建表语句用于创建第一机构数据表。需要强调的是，为进一步保证上述初始机构数据的私密和安全性，上述初始机构数据还可以存储于一区块链的节点中。

需要说明的是，数据同步脚本的同步频率可以通过预置调度平台进行配置，也就是控制脚本文件的同步频率。而服务器采用预置字符编码格式进行字符编码，可以有效避免或者控制中文数据乱码的问题。

可以理解的是，本发明的执行主体可以为数据扁平化处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

102、当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询第一机构数据表，得到待处理机构数据。

具体的，服务器在接收到终端发送的扁平化处理机构数据请求之前，服务器接收目标终端上传预先已打包的预置计算引擎spark，并将预先已打包的预置计算引擎发送到预置计算引擎集群中。因此，当接收到终端发送的扁平化处理机构数据请求时，服务器通过预置计算引擎连接目标数据库，并在检测到连接成功时，服务器查询第一机构数据表，得到待处理机构数据。其中，预置计算引擎spark是一个实现快速通用的集群计算平台，也是通用内存并行计算框架，能够用来构建低延迟的数据分析应用程序，支撑更多计算模式，包括交互式查询和数据流处理，也能够在内存中进行数据计算。

103、通过红黑树算法对待处理机构数据进行扁平化处理，得到目标机构数据，目标机构数据为扁平化数据结构的机构数据集。

其中，红黑树算法的实质是一种二叉查找树，但在二叉查找树的每个结点上增加一个存储位，表示结点的颜色，结点的颜色可以是红RED或黑BLACK。扁平化处理是指将多维的待处理机构数据转换成一维的目标机构数据。例如，将通过递归查询才能查到的父机构结点的名称转换为根据子机构结点的标识一次查询就可以得到父机构结点的名称，无需递归处理，解决了目标机构树中层次重叠和组织机构运转效率低下的问题。

进一步地，服务器根据红黑树算法从待处理机构数据中分别查找并获取各叶子机构结点至根机构结点的数据集合，得到目标机构数据，目标机构数据包括叶子机构结点标识、父机构结点标识和根机构结点的集合，各机构结点标识采用唯一标识在树形结构数据中对应的机构结点。

104、将目标机构数据更新到目标数据库中的第二机构数据表，并生成扁平化处理机构数据请求对应的响应数据，向终端发送响应数据，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。

具体的，服务器按照字段映射顺序将目标机构数据更新到目标数据库中的第二机构数据表，当检测到更新成功时，服务器生成扁平化处理机构数据请求对应的响应数据，向终端发送响应数据。其中，第二机构数据表用于存储扁平化处理后的数据集，因此，在终端发送查询目标机构树的各机构数据时，服务器直接查询第二机构数据表，而不是递归查询第一机构数据表，进而提高了对目标机构数据的查询效率。例如，在计算规模保费时，在计算二级机构结点的保费时，需要对二级机构结点以下全部所属机构的保费进行数据查询并计算，其中，全部所属机构的保费包括三级结构和四级机构等，具体此处不做限定。在数据仓库中采用连接join查询操作，则需要根据子机构现有的数量进行连接查询，而且在增加新的子机构时，原有的查询脚本也需要对应修改，而定时同步新的子机构数据，并触发转换指令对新的子机构数据进行扁平化转换，不仅提高了业务查询效率，同时也提高了代码开发和维护效率。

本发明实施例中，通过将关系数据库中的机构数据同步到数据仓库中，并调用计算引擎读取数据仓库中的机构数据，提高数据处理效率；同时采用红黑树算法对数据仓库中的机构数据进行扁平化处理，并将扁平化数据结构的机构数据存储到数据仓库中新的机构树表，当接收到查询机构数据请求时，从该新的机构树表中获取目标机构数据，提高对树形机构数据的查询效率。

请参阅图2，本发明实施例中数据扁平化处理方法的另一个实施例包括：

201、从预置配置信息中读取源数据库的连接信息、源数据表名和第一机构数据表名。

其中，源数据库的连接信息包括源数据库连接地址、源数据库名、源数据库用户名和源数据库密码，例如，源数据库连接地址为http://localhost:1433，源数据库名为database_name，源数据库用户名为root，源数据库密码为root123，可以为空值，具体此处不做限定。进一步地，服务器可以根据源数据库中源数据表的数量设置多个定时调度任务，并基于多个定时调度任务分别读取预置配置信息，得到各自对应的目标配置信息，所诉各自对应的目标配置信息包括源数据库的连接信息、源数据表名和第一机构数据表名，其中，源数据表用于存储目标机构树的初始机构数据。

202、采用源数据库的连接信息连接源数据库，得到第一连接结果，源数据库为关系数据库。

具体的，服务器根据源数据库连接地址、源数据库名、源数据库用户名以和源数据库密码进行数据库连接，得到第一连接结果；服务器判断第一连接结果是否为连接成功，进一步地，服务器判断第一连接结果是否为目标值；若第一连接结果不为目标值，则服务器确定第一连接结果为连接失败；若第一连接结果为目标值，则服务器确定第一连接结果为连接成功。例如，若第一连接结果为true或者1，服务器确定第一连接结果为连接成功；若第一连接结果为0，服务器确定第一连接结果为连接失败。

203、当第一连接结果为连接成功时，按照源数据表名读取目标机构树的初始机构数据，并按照预置字符编码格式对目标机构树的初始机构数据进行编码，初始机构数据为多维树形结构数据。

其中，预置字符编码格式为utf-8编码格式，若初始机构数据中包括中文字符，则服务器采用utf-8编码格式从源数据表中导出目标机构树的初始机构数据，不仅可以统一初始机构数据的字符编码格式，还可以防止初始机构数据存在中文乱码的情况。具体的，服务器基于源数据表名生成待查询语句；服务器执行待查询语句，得到目标机构树的初始机构数据，初始机构数据为多维树形结构数据，进一步地，服务器采用utf-8编码格式对目标机构树的初始机构数据进行编码。

可以理解的是，目标机构树是一种树形数据结构，目标机构树采用分支关系定义层次结构，目标机构树中的机构数据包括根结点、父结点和子结点。

204、基于第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表。

具体的，服务器按照第一机构数据表名获取对应的目标建表脚本，其中，目标建表脚本存储到预置文件目录中，例如，/var/www/html/dir/a.shell；服务器调用对应的目标建表脚本对已编码的初始机构数据进行数据格式转换，并将已转换的机构数据写入到目标数据库中的第一机构数据表中。其中，目标建表脚本包括目标数据库名和预设建表语句，目标数据库为数据仓库，目标建表脚本用于指示对已编码的初始机构数据进行数据同步，并写入到第一机构数据表中。

进一步地，服务器对源数据库中源数据表的机构数据扁平化处理后，在目标数据库中对采集的初始机构数据进行数据清洗，并按照业务需求对清洗后的机构数据进行数据处理，并将已处理的数据进行入库操作。

可以理解的是，预设建表语句还用于检查第一机构数据表是否已存在；若第一机构数据表已存在，则服务器将已编码的初始机构数据转换后写入到第一机构数据表中；若第一机构数据表不存在，则创建第一机构数据表后，服务器将已编码的初始机构数据写入到第一机构数据表中，例如，

create table if not exists org_bank

……//省略包含的字段

其中，org_bank为第一机构数据表名，与源数据表名一致。

205、当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询第一机构数据表，得到待处理机构数据。

具体的，首先，当接收到终端发送的扁平化处理机构数据请求时，服务器解析扁平化处理机构数据请求，得到至少一个待查询字段，并基于至少一个待查询字段和第一机构数据表名生成查询语句，例如，查询语句如下所示：

select字段1,字段2from第一机构数据表名；

其次，服务器获取目标数据库对应的连接地址、端口号和链接路径，并基于连接地址、端口号和链接路径连接目标数据库，得到第二连接结果，例如，hdfs://目标数据库的连接地址：端口号/具体路径，其中，目标数据库的连接地址为192.168.40.51，端口号为9083，第二连接结果包括连接成功和连接失败。

然后，当第二连接结果为连接成功时，服务器根据预置解析引擎执行查询语句，得到查询数据，其中，预置解析引擎包括spark SQL，spark SQL能够在预置计算引擎上使用结构化查询语言SQL语句，其数据源包括弹性分布式数据集和外部的数据源，例如，数据仓库。

最后，服务器按照预置数据格式对查询数据进行封装，得到待处理机构数据，其中，预置数据格式用于指示对待处理机构数据按照预设字段映射关系进行数据格式的转换，其中，预设字段映射关系可以与第一机构数据表的字段名称保持一致，也可以不一致，具体此处不做限定。进一步地，目标终端发送的扁平化处理机构数据请求还包括目标用户的操作权限，服务器获取目标用户的操作权限，并根据预置权限和目标用户的操作权限判断目标用户是否具有操作权限。

需要说明的是，在预置计算引擎能够连接到数据仓库之前，还需要将数据仓库中的配置文件，例如hive-site.xml文件，拷贝到预置计算引擎的预置目录下，例如conf目录，以便于通过这个配置文件找到数据仓库的元数据以及数据存放位置。

206、通过红黑树算法对待处理机构数据进行扁平化处理，得到目标机构数据，目标机构数据为扁平化数据结构的机构数据集。

具体的，服务器通过红黑树算法初始化红黑树，并初始化红黑树的根结点；服务器从待处理机构数据中遍历读取各机构结点，并将各机构结点插入到红黑树中，得到多个叶子结点，进一步地，服务器将根结点标记为黑色，并在将各机构结点插入到红黑树过程中，对红黑树中的各机构进行变色和旋转处理，变色包括红色和黑色，旋转处理包括对各结点进行左右分支转换；服务器分别查找并获取每个叶子结点到根结点的机构结点路径信息，机构结点路径信息包括各机构结点名称和各机构结点标识，其中，机构结点路径信息用于将具有层级关系的机构结点进行组合；服务器按照预设业务需求统计并抽取每个叶子结点到根结点的机构结点路径信息，得到目标机构数据，目标机构数据为扁平化数据结构的机构数据集。可选的，目标机构数据为一个映射MAP集合数据，目标机构数据包括父机构结点标识、子机构结点标识、父机构结点名称以及子机构结点名称。

需要说明的是，红黑树算法的数据部分封装了一个泛型类T<E>，在调用算法的接口时传入具体的类后，通过JAVA反射机制的函数获取类的属性、方法、构造器、所有的字段、和上一级的具体泛型。

207、将目标机构数据更新到目标数据库中的第二机构数据表，并生成扁平化处理机构数据请求对应的响应数据，向终端发送响应数据，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。

具体的，服务器将目标机构数据通过预置分隔符进行分割，得到已分割的机构数据，其中，目标机构数据为按照预置分隔符进行分隔的序列化后的数据，预置分隔符包括逗号；服务器通过映射算子对已分割的机构数据和预置字段进行映射处理，得到映射数据，其中，预置字段包括目标机构结点标识、目标机构结点名称和父机构结点标识，进一步地，服务器通过映射算子对已分割的机构数据按照预置字段的顺序进行映射处理，得到映射数据；服务器通过预置计算引擎将映射数据更新到目标数据库中的第二机构数据表，得到更新结果，第二机构数据表为包括行索引和列索引的矩阵数据表；服务器对更新结果进行数据封装，得到扁平化处理机构数据请求的响应数据，并将响应数据发送到终端，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。进一步地，当服务器接收到查询机构数据请求时，服务器直接检索第二机构数据表，得到查询结果，例如，查询机构数据请求包括目标机构结点标识为101112、目标机构结点名称为A银行一级分行，预置业务需求为获取根机构结点名称，而第一结构数据表中一次查询只能获取目标机构结点对应的上层机构结点标识，但是第二机构数据表中可以直接提供目标机构结点对应的根机构结点名称，根据目标机构结点标识101112就可以查询得到根机构结点名称为A银行。

可选的，服务器通过预置同步工具将初始数据库中的初始机构数据实时同步到第三数据库中，其中，预置同步工具包括Oracle的同步工具OGG，第三数据库包括卡夫卡分布式数据源；通过预置计算引擎数据处理框架sparkStreaming从卡夫卡分布式数据源中读取数据，并将数据转换成弹性分布式数据集；服务器对弹性分布式数据集中的数据进行预处理，得到分布式数据集，并将分布式数据集存储到内存数据库中，内存数据库包括redis；服务器根据分布式数据集生成目标接口，并将分布式数据集更新到目标数据库中，目标接口用于指示预置调度任务实时调度JAR的脚本。

可选的，当检测到第一机构数据表发生数据变更时，服务器从第一机构数据表中读取已变更的机构数据；服务器基于已变更的机构数据更新第二机构数据表。

本发明实施例中，通过将关系数据库中的机构数据同步到数据仓库中，并调用计算引擎读取数据仓库中的机构数据，提高数据处理效率；同时采用红黑树算法对数据仓库中的机构数据进行扁平化处理，并将扁平化数据结构的机构数据存储到数据仓库中新的机构树表，当接收到查询机构数据请求时，从该新的机构树表中获取目标机构数据，提高对树形机构数据的查询效率。

上面对本发明实施例中数据扁平化处理方法进行了描述，下面对本发明实施例中数据扁平化处理装置进行描述，请参阅图3，本发明实施例中数据扁平化处理装置的一个实施例包括：

获取模块301，用于从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，初始机构数据为多维树形结构数据；

查询模块302，当接收到终端发送的扁平化处理机构数据请求时，用于通过预置计算引擎查询第一机构数据表，得到待处理机构数据；

扁平化模块303，用于通过红黑树算法对待处理机构数据进行扁平化处理，得到目标机构数据，目标机构数据为扁平化数据结构的机构数据集；

第一更新模块304，用于将目标机构数据更新到目标数据库中的第二机构数据表，并生成扁平化处理机构数据请求对应的响应数据，向终端发送响应数据，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。

本发明实施例中，通过将关系数据库中的机构数据同步到数据仓库中，并调用计算引擎读取数据仓库中的机构数据，提高数据处理效率；同时采用红黑树算法对数据仓库中的机构数据进行扁平化处理，并将扁平化数据结构的机构数据存储到数据仓库中新的机构树表，当接收到查询机构数据请求时，从该新的机构树表中获取目标机构数据，提高对树形机构数据的查询效率。

请参阅图4，本发明实施例中数据扁平化处理装置的另一个实施例包括：

获取模块301，用于从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，初始机构数据为多维树形结构数据；

查询模块302，当接收到终端发送的扁平化处理机构数据请求时，用于通过预置计算引擎查询第一机构数据表，得到待处理机构数据；

扁平化模块303，用于通过红黑树算法对待处理机构数据进行扁平化处理，得到目标机构数据，目标机构数据为扁平化数据结构的机构数据集；

第一更新模块304，用于将目标机构数据更新到目标数据库中的第二机构数据表，并生成扁平化处理机构数据请求对应的响应数据，向终端发送响应数据，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。

需要强调的是，为进一步保证上述初始机构数据的私密和安全性，上述初始机构数据还可以存储于一区块链的节点中。

可选的，审批模块301还可以具体用于：

读取单元3011，用于从预置配置信息中读取源数据库的连接信息、源数据表名和第一机构数据表名；

连接单元3012，用于采用源数据库的连接信息连接源数据库，得到第一连接结果，源数据库为关系数据库；

编码单元3013，当第一连接结果为连接成功时，用于按照源数据表名读取目标机构树的初始机构数据，并按照预置字符编码格式对目标机构树的初始机构数据进行编码，初始机构数据为多维树形结构数据；

同步单元3014，用于基于第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表。

可选的，同步单元3014还可以具体用于：

按照第一机构数据表名获取对应的目标建表脚本；

调用对应的目标建表脚本对已编码的初始机构数据进行数据格式转换，并将已转换的机构数据写入到目标数据库中的第一机构数据表中。

可选的，查询模块302还可以具体用于：

当接收到终端发送的扁平化处理机构数据请求时，解析扁平化处理机构数据请求，得到至少一个待查询字段，并基于至少一个待查询字段和第一机构数据表名生成查询语句；

获取目标数据库对应的连接地址、端口号和链接路径，并基于连接地址、端口号和链接路径连接目标数据库，得到第二连接结果；

当第二连接结果为连接成功时，根据预置解析引擎执行查询语句，得到查询数据；

按照预置数据格式对查询数据进行封装，得到待处理机构数据。

可选的，扁平化模块303还可以具体用于：

通过红黑树算法初始化红黑树，并初始化红黑树的根结点；

从待处理机构数据中遍历读取各机构结点，并将各机构结点插入到红黑树中，得到多个叶子结点；

分别查找并获取每个叶子结点到根结点的机构结点路径信息，机构结点路径信息包括各机构结点名称和各机构结点标识；

按照预设业务需求统计并抽取每个叶子结点到根结点的机构结点路径信息，得到目标机构数据，目标机构数据为扁平化数据结构的机构数据集。

可选的，第一更新模块304还可以具体用于：

将目标机构数据通过预置分隔符进行分割，得到已分割的机构数据；

通过映射算子对已分割的机构数据和预置字段进行映射处理，得到映射数据；

通过预置计算引擎将映射数据更新到目标数据库中的第二机构数据表，得到更新结果，第二机构数据表为包括行索引和列索引的矩阵数据表；

对更新结果进行数据封装，得到扁平化处理机构数据请求的响应数据，并将响应数据发送到终端，以供终端按照预置业务需求对第二机构数据表进行数据查询操作。

可选的，数据扁平化处理装置还包括：

读取模块305，当检测到第一机构数据表发生数据变更时，用于从第一机构数据表中读取已变更的机构数据；

第二更新模块306，用于基于已变更的机构数据更新第二机构数据表。

本发明实施例中，通过将关系数据库中的机构数据同步到数据仓库中，并调用计算引擎读取数据仓库中的机构数据，提高数据处理效率；同时采用红黑树算法对数据仓库中的机构数据进行扁平化处理，并将扁平化数据结构的机构数据存储到数据仓库中新的机构树表，当接收到查询机构数据请求时，从该新的机构树表中获取目标机构数据，提高对树形机构数据的查询效率。

上面图3和图4从模块化功能实体的角度对本发明实施例中的数据扁平化处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据扁平化处理设备进行详细描述。

图5是本发明实施例提供的一种数据扁平化处理设备的结构示意图，该数据扁平化处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据扁平化处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在数据扁平化处理设备500上执行存储介质530中的一系列指令操作。

数据扁平化处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的数据扁平化处理设备结构并不构成对数据扁平化处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据扁平化处理方法的步骤。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据扁平化处理方法，其特征在于，所述数据扁平化处理方法包括：

从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据；

当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据；

通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集；

将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

2.根据权利要求1所述的数据扁平化处理方法，其特征在于，所述从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据，包括：

从预置配置信息中读取源数据库的连接信息、源数据表名和第一机构数据表名；

采用所述源数据库的连接信息连接源数据库，得到第一连接结果，所述源数据库为关系数据库；

当所述第一连接结果为连接成功时，按照所述源数据表名读取目标机构树的初始机构数据，并按照预置字符编码格式对所述目标机构树的初始机构数据进行编码，所述初始机构数据为多维树形结构数据；

基于所述第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表。

3.根据权利要求2所述的数据扁平化处理方法，其特征在于，所述基于所述第一机构数据表名将已编码的初始机构数据同步到目标数据库中的第一机构数据表，包括：

按照所述第一机构数据表名获取对应的目标建表脚本；

调用所述对应的目标建表脚本对已编码的初始机构数据进行数据格式转换，并将已转换的机构数据写入到目标数据库中的第一机构数据表中。

4.根据权利要求2所述的数据扁平化处理方法，其特征在于，所述当接收到终端发送的扁平化处理机构数据请求时，通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据，包括：

当接收到终端发送的扁平化处理机构数据请求时，解析所述扁平化处理机构数据请求，得到至少一个待查询字段，并基于所述至少一个待查询字段和所述第一机构数据表名生成查询语句；

获取所述目标数据库对应的连接地址、端口号和链接路径，并基于所述连接地址、所述端口号和所述链接路径连接所述目标数据库，得到第二连接结果；

当所述第二连接结果为连接成功时，根据预置解析引擎执行所述查询语句，得到查询数据；

按照预置数据格式对所述查询数据进行封装，得到待处理机构数据。

5.根据权利要求1所述的数据扁平化处理方法，其特征在于，所述通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集，包括：

通过红黑树算法初始化红黑树，并初始化红黑树的根结点；

从所述待处理机构数据中遍历读取各机构结点，并将所述各机构结点插入到所述红黑树中，得到多个叶子结点；

分别查找并获取每个叶子结点到所述根结点的机构结点路径信息，所述机构结点路径信息包括各机构结点名称和各机构结点标识；

按照预设业务需求统计并抽取每个叶子结点到所述根结点的机构结点路径信息，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集。

6.根据权利要求1所述的数据扁平化处理方法，其特征在于，所述将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作，包括：

将目标机构数据通过预置分隔符进行分割，得到已分割的机构数据；

通过映射算子对所述已分割的机构数据和预置字段进行映射处理，得到映射数据；

通过所述预置计算引擎将所述映射数据更新到所述目标数据库中的第二机构数据表，得到更新结果，所述第二机构数据表为包括行索引和列索引的矩阵数据表；

对所述更新结果进行数据封装，得到所述扁平化处理机构数据请求的响应数据，并将所述响应数据发送到所述终端，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

7.根据权利要求1-6中任一项所述的数据扁平化处理方法，其特征在于，在所述将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作之后，所述数据扁平化处理方法还包括：

当检测到所述第一机构数据表发生数据变更时，从所述第一机构数据表中读取已变更的机构数据；

基于所述已变更的机构数据更新所述第二机构数据表。

8.一种数据扁平化处理装置，其特征在于，所述数据扁平化处理装置包括：

获取模块，用于从源数据库中获取目标机构树的初始机构数据，并按照预置字符编码格式将所述目标机构树的初始机构数据同步到目标数据库中的第一机构数据表，所述初始机构数据为多维树形结构数据；

查询模块，当接收到终端发送的扁平化处理机构数据请求时，用于通过预置计算引擎查询所述第一机构数据表，得到待处理机构数据；

扁平化模块，用于通过红黑树算法对所述待处理机构数据进行扁平化处理，得到目标机构数据，所述目标机构数据为扁平化数据结构的机构数据集；

第一更新模块，用于将所述目标机构数据更新到所述目标数据库中的第二机构数据表，并生成所述扁平化处理机构数据请求对应的响应数据，向所述终端发送所述响应数据，以供所述终端按照预置业务需求对所述第二机构数据表进行数据查询操作。

9.一种数据扁平化处理设备，其特征在于，所述数据扁平化处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据扁平化处理设备执行如权利要求1-7中任意一项所述的数据扁平化处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的数据扁平化处理方法。

Images