CN115827700A - 一种共性报表提取方法及装置 - Google Patents

Abstract

本申请提供一种共性报表提取方法及装置，该方法包括：预先构建主题报表的知识图谱；使用聚合类型的图算法对知识图谱进行处理，得到关系紧密的表；获取待查找表和字段指标；根据关系紧密的表确定待查找表对应的共性逻辑；根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。可见，实施这种实施方式，能够通过表的关系紧密性确定共性报表，节省人力物力，避免主观性对查找结果的影响，从而增加数据的可用性。

Description

一种共性报表提取方法及装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种共性报表提取方法及装置。

背景技术

目前，随着业务数据的快速增加，存在大量的基于业务场景的主题表开发需求。但是由于主题报表需求开发需要追溯源表，而源表中又不可避免的存在某些字段重复，造成了冗余。此外，对于某些特定字段，需要提取共性以梳理。现有通常通过人工查找的方式，导出全表进行筛选，需要进行额外的开发，且每次开发都需要特定的场景。可见，现有方法耗费人力物力，且人工方式主观性强，导致查找结果不一致。

发明内容

本申请实施例的目的在于提供一种共性报表提取方法及装置，能够通过表的关系紧密性确定共性报表，节省人力物力，避免主观性对查找结果的影响，从而增加数据的可用性。

本申请实施例第一方面提供了一种共性报表提取方法，包括：

预先构建主题报表的知识图谱；

使用聚合类型的图算法对所述知识图谱进行处理，得到关系紧密的表；

获取待查找表和字段指标；

根据所述关系紧密的表确定所述待查找表对应的共性逻辑；

根据所述共性逻辑和所述字段指标对所述关系紧密的表进行宽表合并处理，得到共性报表。

在上述实现过程中，该方法可以预先构建主题报表的知识图谱；然后，使用聚合类型的图算法对知识图谱进行处理，得到关系紧密的表；再获取待查找表和字段指标；并进一步根据关系紧密的表确定待查找表对应的共性逻辑；最后，再根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。可见，该方法能够通过表的关系紧密性确定共性报表，节省人力物力，避免主观性对查找结果的影响，从而增加数据的可用性。

进一步地，所述预先构建主题报表的知识图谱，包括：

获取多个基于业务场景的主题报表，并获取所述主题报表之间的关联关系；

根据所述主题报表和所述关联关系，生成关系型数据；

通过数据格式转化算法将所述关系型数据转换成图数据；

通过图数据转化算法将所述图数据转化为知识图谱；

输出所述知识图谱进行展示。

进一步地，所述通过数据格式转化算法将所述关系型数据转换成图数据，包括：

通过数据格式转化算法将二维表格模式的所述关系型数据转化为点边模式的图数据。

进一步地，所述获取所述主题报表之间的关联关系，包括：

获取所述主题报表之间的上下游血缘关系；

根据所述上下游血缘关系确定所述主题报表之间的关联关系。

进一步地，所述使用聚合类型的图算法对所述知识图谱进行处理，得到关系紧密的表，包括：

确定聚合类型的图算法为基于模块度的社区发现算法；

通过所述基于模块度的社区发现算法，对知识图谱中的节点的所有邻居的社区标签进行遍历，选择出最大化模块度增量的社区，其中，每个社区包括多个社区节点，所述社区节点为相应社区包括的关系紧密的表。

本申请实施例第二方面提供了一种共性报表提取装置，所述共性报表提取装置包括：

构建单元，用于预先构建主题报表的知识图谱；

处理单元，用于使用聚合类型的图算法对所述知识图谱进行处理，得到关系紧密的表；

获取单元，用于获取待查找表和字段指标；

确定单元，用于根据所述关系紧密的表确定所述待查找表对应的共性逻辑；

合并单元，用于根据所述共性逻辑和所述字段指标对所述关系紧密的表进行宽表合并处理，得到共性报表。

在上述实现过程中，该装置可以通过构建单元预先构建主题报表的知识图谱；通过处理单元使用聚合类型的图算法对知识图谱进行处理，得到关系紧密的表；通过获取单元获取待查找表和字段指标；通过确定单元来根据关系紧密的表确定待查找表对应的共性逻辑；最后，通过合并单元来根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。可见，该装置能够通过表的关系紧密性确定共性报表，节省人力物力，避免主观性对查找结果的影响，从而增加数据的可用性。

进一步地，所述构建单元包括：

第一获取子单元，用于获取多个基于业务场景的主题报表；

第二获取子单元，用于获取所述主题报表之间的关联关系；

生成子单元，用于根据所述主题报表和所述关联关系，生成关系型数据；

第一转换子单元，用于通过数据格式转化算法将所述关系型数据转换成图数据；

第二转换子单元，用于通过图数据转化算法将所述图数据转化为知识图谱；

输出子单元，用于输出所述知识图谱进行展示。

进一步地，所述第一转换子单元，具体用于通过数据格式转化算法将二维表格模式的所述关系型数据转化为点边模式的图数据。

进一步地，所述第二获取子单元包括：

获取模块，用于获取所述主题报表之间的上下游血缘关系；

确定模块，用于根据所述上下游血缘关系确定所述主题报表之间的关联关系。

进一步地，所述处理单元包括：

确定子单元，用于确定聚合类型的图算法为基于模块度的社区发现算法；

遍历子单元，用于通过所述基于模块度的社区发现算法，对知识图谱中的节点的所有邻居的社区标签进行遍历，选择出最大化模块度增量的社区，其中，每个社区包括多个社区节点，所述社区节点为相应社区包括的关系紧密的表。

本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的共性报表提取方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的共性报表提取方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种共性报表提取方法的流程示意图；

图2为本申请实施例提供的另一种共性报表提取方法的流程示意图；

图3为本申请实施例提供的一种共性报表提取装置的结构示意图；

图4为本申请实施例提供的另一种共性报表提取装置的结构示意图；

图5为本申请实施例提供的另一种共性报表提取方法的设计逻辑示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本实施例提供了一种共性报表提取方法的流程示意图。其中，该共性报表提取方法包括：

S101、预先构建主题报表的知识图谱。

S102、使用聚合类型的图算法对知识图谱进行处理，得到关系紧密的表。

S103、获取待查找表和字段指标。

S104、根据关系紧密的表确定待查找表对应的共性逻辑。

S105、根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

可见，实施本实施例所描述的共性报表提取方法，能够将业务主题数据表的血缘关系通过知识图谱的方式进行表达与展示，从而能够有效地展示数据表与数据表之间的关联关系；同时，通过社区的展示实现表的关系紧密性，逻辑下沉的自动化，从而减少人工筛选，减少冗余数据表格，并增加数据的可用性。

实施例2

请参看图2，图2为本实施例提供了一种共性报表提取方法的流程示意图。其中，该共性报表提取方法包括：

S201、获取多个基于业务场景的主题报表。

S202、获取主题报表之间的上下游血缘关系。

S203、根据上下游血缘关系确定主题报表之间的关联关系。

S204、根据主题报表和关联关系，生成关系型数据。

S205、通过数据格式转化算法将二维表格模式的关系型数据转化为点边模式的图数据。

S206、通过图数据转化算法将图数据转化为知识图谱。

S207、输出知识图谱进行展示。

S208、确定聚合类型的图算法为基于模块度的社区发现算法。

S209、通过基于模块度的社区发现算法，对知识图谱中的节点的所有邻居的社区标签进行遍历，选择出最大化模块度增量的社区，其中，每个社区包括多个社区节点，社区节点为相应社区包括的关系紧密的表。

S210、获取待查找表和字段指标。

S211、根据关系紧密的表确定待查找表对应的共性逻辑。

S212、根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。

本实施例中，该方法可以用于在金融领域中表示集合数据表的共性逻辑，实现数据复用，减少数据开发阶段的探源工作量。具体的，该方法可以通过查看主题表之间的关联关系(主要为上下游血缘关系)，利用知识图谱的方法与形式，展现数据表之间血缘逻辑，并加以参数设置与定向查找，配合特定的算法找出共性表，直接导出待查找表的共性逻辑，查看可能的共性合并。其中可以参照图5看出本申请包含的各个部分。

在本实施例中，关于关系型数据与图数据的数据格式转化模块：常用的数据存储形式为关系型数据库，即使用关系模型组织数据、使用行和列的形式存储数据的一种数据形式。简单来说就是二维表格模式数据。图数据库以点、边为基础存储单元，是一组点和边的集合。其中“点”表示实体，“边”表示实体之间的关系，它们被作为数据的一部分被存储起来。转化模块就是将二维表格模式数据转化为“点、边”模式的数据。转化模块使用python脚本，利用数据格式处理方法，共同组成转化模块。其中数据格式处理方法主要用于实现实体的定义与描述(即“点”的定义)，包括将具体的表名作为实体独立出来、将表的描述指标特征作为属性存储等；关系处理方法用于实现实体与实体之间关系的描述(即“边”的定义)，包括将点与点之间使用关系关联起来，包括关系的属性与方向。通过该模块将关系型数据转化为图数据，进而存储在系统中。

在本实施例中，关于图数据转化算法：该方法可以使用基于python的neo4j方法将图数据转化为知识图谱并进行展示。具体的说，使用python调用neo4j的接口，用于创建大量实体与关系，随后存储于图数据库中(图数据库在前期已经通过服务器节点搭建好)。

在本实施例中，关于知识图谱算法：为了找到可下沉的关联数据表，该方法可以使用聚合类型的图算法来找到关系紧密的表，使用的是Louvain算法。该算法是一种基于模块度的社区发现算法，其基本思想就是网络中的节点尝试遍历所有邻居的社区标签，并选择最大化模块度增量的社区。在最大化模块度之后，每个社区看成一个新的节点，重复直到模块度不再增大。其中模块度可以用下式表示：

在本实施例中，最后形成的展示结果包括圈和节点；其中，圈表示社区，圈内的节点表示同一社区的节点，也就是关系十分紧密的表。

在本实施例中，人工提取字段指标，合并宽表。基于知识图谱算法得到的社区节点，也就是关系十分紧密的表，根据其来源、上下游等人工将表进行多种操作，包括合并宽表、指标溯源、共性指标提取等。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

可见，实施本实施例所描述的共性报表提取方法，能够将业务主题数据表的血缘关系通过知识图谱的方式进行表达与展示，从而能够有效地展示数据表与数据表之间的关联关系；同时，通过社区的展示实现表的关系紧密性，逻辑下沉的自动化，从而减少人工筛选，减少冗余数据表格，并增加数据的可用性。

实施例3

请参看图3，图3为本实施例提供的一种共性报表提取装置的结构示意图。如图3所示，该共性报表提取装置包括：

构建单元310，用于预先构建主题报表的知识图谱；

处理单元320，用于使用聚合类型的图算法对知识图谱进行处理，得到关系紧密的表；

获取单元330，用于获取待查找表和字段指标；

确定单元340，用于根据关系紧密的表确定待查找表对应的共性逻辑；

合并单元350，用于根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。

本实施例中，对于共性报表提取装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的共性报表提取装置，能够将业务主题数据表的血缘关系通过知识图谱的方式进行表达与展示，从而能够有效地展示数据表与数据表之间的关联关系；同时，通过社区的展示实现表的关系紧密性，逻辑下沉的自动化，从而减少人工筛选，减少冗余数据表格，并增加数据的可用性。

实施例4

请参看图4，图4为本实施例提供的一种共性报表提取装置的结构示意图。如图4所示，该共性报表提取装置包括：

构建单元310，用于预先构建主题报表的知识图谱；

处理单元320，用于使用聚合类型的图算法对知识图谱进行处理，得到关系紧密的表；

获取单元330，用于获取待查找表和字段指标；

确定单元340，用于根据关系紧密的表确定待查找表对应的共性逻辑；

合并单元350，用于根据共性逻辑和字段指标对关系紧密的表进行宽表合并处理，得到共性报表。

作为一种可选的实施方式，构建单元310包括：

第一获取子单元311，用于获取多个基于业务场景的主题报表；

第二获取子单元312，用于获取主题报表之间的关联关系；

生成子单元313，用于根据主题报表和关联关系，生成关系型数据；

第一转换子单元314，用于通过数据格式转化算法将关系型数据转换成图数据；

第二转换子单元315，用于通过图数据转化算法将图数据转化为知识图谱；

输出子单元316，用于输出知识图谱进行展示。

作为一种可选的实施方式，第一转换子单元314，具体用于通过数据格式转化算法将二维表格模式的关系型数据转化为点边模式的图数据。

作为一种可选的实施方式，第二获取子单元312包括：

获取模块，用于获取主题报表之间的上下游血缘关系；

确定模块，用于根据上下游血缘关系确定主题报表之间的关联关系。

作为一种可选的实施方式，处理单元320包括：

确定子单元321，用于确定聚合类型的图算法为基于模块度的社区发现算法；

遍历子单元322，用于通过基于模块度的社区发现算法，对知识图谱中的节点的所有邻居的社区标签进行遍历，选择出最大化模块度增量的社区，其中，每个社区包括多个社区节点，社区节点为相应社区包括的关系紧密的表。

本实施例中，对于共性报表提取装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的共性报表提取装置，能够将业务主题数据表的血缘关系通过知识图谱的方式进行表达与展示，从而能够有效地展示数据表与数据表之间的关联关系；同时，通过社区的展示实现表的关系紧密性，逻辑下沉的自动化，从而减少人工筛选，减少冗余数据表格，并增加数据的可用性。

本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中的共性报表提取方法。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中的共性报表提取方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种共性报表提取方法，其特征在于，包括：

预先构建主题报表的知识图谱；

使用聚合类型的图算法对所述知识图谱进行处理，得到关系紧密的表；

获取待查找表和字段指标；

根据所述关系紧密的表确定所述待查找表对应的共性逻辑；

根据所述共性逻辑和所述字段指标对所述关系紧密的表进行宽表合并处理，得到共性报表。

2.根据权利要求1所述的共性报表提取方法，其特征在于，所述预先构建主题报表的知识图谱，包括：

获取多个基于业务场景的主题报表，并获取所述主题报表之间的关联关系；

根据所述主题报表和所述关联关系，生成关系型数据；

通过数据格式转化算法将所述关系型数据转换成图数据；

通过图数据转化算法将所述图数据转化为知识图谱；

输出所述知识图谱进行展示。

3.根据权利要求2所述的共性报表提取方法，其特征在于，所述通过数据格式转化算法将所述关系型数据转换成图数据，包括：

通过数据格式转化算法将二维表格模式的所述关系型数据转化为点边模式的图数据。

4.根据权利要求2所述的共性报表提取方法，其特征在于，所述获取所述主题报表之间的关联关系，包括：

获取所述主题报表之间的上下游血缘关系；

根据所述上下游血缘关系确定所述主题报表之间的关联关系。

5.根据权利要求1所述的共性报表提取方法，其特征在于，所述使用聚合类型的图算法对所述知识图谱进行处理，得到关系紧密的表，包括：

确定聚合类型的图算法为基于模块度的社区发现算法；

通过所述基于模块度的社区发现算法，对知识图谱中的节点的所有邻居的社区标签进行遍历，选择出最大化模块度增量的社区，其中，每个社区包括多个社区节点，所述社区节点为相应社区包括的关系紧密的表。

6.一种共性报表提取装置，其特征在于，所述共性报表提取装置包括：

构建单元，用于预先构建主题报表的知识图谱；

处理单元，用于使用聚合类型的图算法对所述知识图谱进行处理，得到关系紧密的表；

获取单元，用于获取待查找表和字段指标；

确定单元，用于根据所述关系紧密的表确定所述待查找表对应的共性逻辑；

合并单元，用于根据所述共性逻辑和所述字段指标对所述关系紧密的表进行宽表合并处理，得到共性报表。

7.根据权利要求6所述的共性报表提取装置，其特征在于，所述构建单元包括：

第一获取子单元，用于获取多个基于业务场景的主题报表；

第二获取子单元，用于获取所述主题报表之间的关联关系；

生成子单元，用于根据所述主题报表和所述关联关系，生成关系型数据；

第一转换子单元，用于通过数据格式转化算法将所述关系型数据转换成图数据；

第二转换子单元，用于通过图数据转化算法将所述图数据转化为知识图谱；

输出子单元，用于输出所述知识图谱进行展示。

8.根据权利要求7所述的共性报表提取装置，其特征在于，所述第一转换子单元，具体用于通过数据格式转化算法将二维表格模式的所述关系型数据转化为点边模式的图数据。

9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的共性报表提取方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的共性报表提取方法。

Images