CN110851667A - 一种多源头大量数据的整合分析方法及工具 - Google Patents

Abstract

本发明提供一种多源头大量数据的整合分析方法及工具。该方法包括：步骤1：获取数据源，设置数据源的相关属性信息，建立数据源编码；步骤2：定义并维护数据字典；步骤3：根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。该工具包括：数据源管理单元，用于获取数据源，设置数据源的相关属性信息，建立数据源编码；数据字典维护单元，用于定义并维护数据字典；数据整合分析单元，根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。本发明可实现从数据到信息的转化，辅助企业的经营管理。

Description

一种多源头大量数据的整合分析方法及工具

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多源头大量数据的整合分析方法及工具。

背景技术

数据承载了企业日常经营管理的重要信息，在互联网大潮下的今天，每家企业都或多或少有各种专业化的系统或定期报表，数据分散且难以分析使用。企业数据具备数量量大、格式类型多、来源渠道广、数据生产实时四个特点，大量数据在企业每天的经营业务中实时产生，存储在企业的各个专业化系统中、财务销售报表中，靠人工无法快速实现数据的关联整合和多维度分析，在企业面临外部积极的竞争和内部精细化管理的诉求下，无法及时转化为企业经营决策的有效支撑力量，等到数据分析整理完成，数据已经失去时效性，成为垃圾数据，无法发挥价值。如何让企业每天经营产生的大量数据快速实现整合分析，并实时为企业经营提供辅助决策支持，是目前企业数字化转型重点要解决的问题。

现有的技术方案（例如专利CN108595571A公开一种数据整合管理方法、装置、系统和用户终端，该发明通过使用可视化实施引擎进行数据匹配，从而通过数据源采集到全面“有效、有用、可用”的基础数据，并按照预设统一标准进行有效的清洗整合，以满足对于数据源的资源共享的需求）都是基于已有的关系型数据库进行单维度数据采集、数据清洗、数据建模、数据分析、报表展示，数据的处理分析过程专业化程度高，往往需要自有或外包大量的IT专业资源，一步步按照企业各个职能部门、管理人员的诉求，进行分析整理，设计开发，经过长期的测试修订后方可使用，一旦业务、管理流程发生改变，还需要再次做IT工具的开发调整，时间成本、经济成本居高不下。

发明内容

针对现有的基于已有关系型数据库进行数据分析的处理过程专业化程度高，且一旦业务、管理流程发生改变时需要再次做IT工具的开发调整的问题，本发明提供一种多源头大量数据的整合分析方法及工具。

一方面，本发明提供一种多源头大量数据的整合分析方法，该方法包括：

步骤1：获取数据源，设置数据源的相关属性信息，建立数据源编码；

步骤2：定义并维护数据字典；

步骤3：根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。

进一步地，所述数据源包括：关系型数据库中的数据、非关系型数据库中的数据、爬虫数据和报表数据。

进一步地，所述数据字典包括：唯一标识信息、时间维度信息、人员维度信息、资金信息和资源信息。

进一步地，步骤3具体包括：

步骤3.1：将数据源导入预设分析数据库，在预设分析数据库中建立所述数据源的数据表与映射关系；

步骤3.2：在建立好的数据表中，选择若干个数据表，并对所述若干个数据表进行关联得到数据视图；

步骤3.3：对所述数据视图进行操作整合，所述操作整合过程包括：过滤、新增列、对比、排序和分组；

步骤3.4：建立多个所述数据视图的数据模型，根据所述数据模型生成报表；

步骤3.5：将所述报表进行可视化图形展示。

进一步地，所述步骤3.4为：

从整合好的数据视图中选择字段作为维度和指标；

设置过滤条件并在设置过滤条件后生成一张宽表；

根据所述宽表的数据量来判断是否需要将数据抽取到kylin平台，以供在kylin平台建立cube分析。

另一方面，本发明提供一种多源头大量数据的整合分析工具，包括：

数据源管理单元，用于获取数据源，设置数据源的相关属性信息，建立数据源编码；

数据字典维护单元，用于定义并维护数据字典；

数据整合分析单元，根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。

进一步地，所述数据源包括：关系型数据库中的数据、非关系型数据库中的数据、爬虫数据和报表数据。

进一步地，所述数据字典包括：唯一标识信息、时间维度信息、人员维度信息、资金信息和资源信息。

进一步地，所述数据整合分析单元包括：

数据源导入模块，用于将数据源导入预设分析数据库，在预设分析数据库中建立所述数据源的数据表与映射关系；

数据关联模块，在建立好的数据表中，选择若干个数据表，并对所述若干个数据表进行关联得到数据视图；

数据整合模块，用于对所述数据视图进行操作整合，所述操作整合过程包括：过滤、新增列、对比、排序和分组；

数据分析模块，用于建立多个所述数据视图的数据模型，根据所述数据模型生成报表；

数据展示模块，用于将所述报表进行可视化图形展示。

进一步地，所述数据分析模块具体用于：

从整合好的数据视图中选择字段作为维度和指标；

设置过滤条件并在设置过滤条件后生成一张宽表；

根据所述宽表的数据量来判断是否需要将数据抽取到kylin平台，以供在kylin平台建立cube分析。

本发明的有益效果：

1、效率更高，时效更强：本发明提供的整合分析工具部署在云化资源池，可以包含的数据源来源广、类型多、数据量大，可以快速实现对数据的加工整合，大大降低企业对数据分析需求的成本；

2、分析运维成本更低：企业所有业务和管理人员均可通过本发明提供的整合分析工具实现对数据的加工分析，不需要依赖与专业的业务分析人员和专业化开发工具，降低了企业数据分析应用的技术门槛和开发运维成本；

3、发挥数据资产价值：数据结果分析可以固化为模型，反向监控业务异常，促进业务改进。

附图说明

图1为本发明实施例提供的一种多源头大量数据的整合分析方法的流程示意图；

图2为本发明实施例提供的数据源的示意图；

图3为本发明实施例提供的建立的关于各数据源的数据表的示意图；

图4为本发明实施例提供的数据表关联过程中的合并处理的示意图；

图5为本发明实施例提供的多个数据表之间的关联图；

图6为本发明实施例提供的快照示意图；

图7为本发明实施例提供的报表的可视化图形展示示意图；

图8为本发明实施例提供的一种多源头大量数据的整合分析工具的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种多源头大量数据的整合分析方法，该方法包括：

S101：整合分析工具获取数据源，设置数据源的相关属性信息，建立数据源编码；

具体地，如图2所示，所述数据源包括：关系型数据库中的数据、非关系型数据库中的数据、爬虫数据和报表数据。所述相关属性信息包括：数据源的地址、格式、频次、维度等信息。可以按照专利CN108182557A公开的编码方法建立数据源编码，此处不再赘述。

S102：整合分析工具定义并维护数据字典；

具体地，按照数据源分类，对数据进行整合处理，先定义数据字典，将企业经营所需信息作为数据字典，随之企业数据范围扩大， 数据字典可通过补充、变更、失效进行维护。

作为一种可实施方式，企业数字字典有以下几类：唯一标识信息、时间维度信息、人员维度信息、资金信息和资源信息。其中：

唯一标识信息：也称唯一的编码或ID类，例如单据编号、员工编号、部门编号、供应商编号、系统登录名、手机号码等信息。

时间维度信息：包括业务发生时间或数据产生、修改、失效、删除、使用时间，可以按时间轴建立起数据的横向、纵向关联。时间包含以下几类：

1）产生时间：包含数据和单据等产生的时间，往往与实际业务发生时间吻合，作为时间轴的关键里程碑；

2）修改、变更、失效、删除时间：数据或信息产生后被修改或变更的时间节点，一版在数据产生后，如果发生变化，记录到修改变更时间；

3）使用时间：数据或信息的调取、返还、迁移、复制等具体业务使用时间；

4）过程时间：记录数据或信息伴随业务全流程各个环节的里程碑和具体详细时间。

人员维度信息：包括业务发起、操作、审批、管理、审核等人员信息。人员包含以下二类：

1）直接人：直接参与业务或数据产生、变更、失效的人员信息；

2）干系人：间接参与数据或业务产生、变更、失效人员信息。

资金信息：包括资金的来源、金额、有效期、可用信息等。资金包含以下二类：

1）支出类：支出类主要是企业经营支出资金，含投资、预算、零资等多种；

2）收入类：业务关联的企业收入类，包含现金、转账、汇款、银行承兑等。

资源信息：包括业务所需的实物资源和非实物资源。资源包含以下二类：

1）实物类：记录与企业经营相关的实物类资源的基本信息与属性；

2）非实物类：记录与企业经营相关的非实物类资源的基本信息与属性。

S103：整合分析工具根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。

具体地，本步骤包含以下子步骤：

S1031：整合分析工具将数据源导入预设分析数据库，在预设分析数据库中建立所述数据源的数据表与映射关系；

具体地，数据源包括内部数据源和外部数据源。针对内部数据源，建立对应的数据连接和定时任务将需要分析数据同步到预设分析数据库中；针对外部数据源，采用导入或者爬虫脚本方式同步到预设分析数据库中。上述2种方式接收的都是不同数据来源下的结构化数据，然后自动将这些数据在预设分析数据库中建立对应的数据表与映射关系，整合分析工具得到的数据就是同步过来的数据表，前端通过异步查询方式给用户展现数据的结构和内容。如图3所示。

S1032：在建立好的数据表中，选择若干个数据表，并对所述若干个数据表进行关联得到数据视图；

具体地，选择若干个步骤S1031同步过来的数据表用作分析，并选择需要分析的表字段；在选择的数据表中通过字段与字段相等建立关联；数据处理过程是将关联后的数据表组合成一个SQL语句（相当于数据视图），如图4和图5所示，展示结果为若干个数据表关联后（数据视图）的查询结果。

S1033：对所述数据视图进行操作整合，所述操作整合过程包括：过滤、新增列、对比、排序和分组；

具体地，数据整合是针对步骤S1032建立的数据视图进行操作整合，具体分为过滤、新增列、对比、排序和分组。

过滤：对数据视图添加字段条件的过滤或者组合公式的过滤来筛选精简数据；

新增列：通过公式计算将数据视图新增一列数据,例如：新增一列金额，公式为(金额=数量*单价)；

对比：通过对比数据视图中的一列或多列数据是否存在与其他数据表中，输出结果为新的一列，内容为1（存在）或0(不存在)；

排序：数据视图单列或多列的排序；

分组：选择数据视图若干列进行分组聚合(group by )，输出生成新的数据视图。

此外，在对数据进行整合处理的过程中，对数据的每步处理都快速建立快照，可回溯到任何一环节，如图6所示。

S1034：建立多个所述数据视图的数据模型，根据所述数据模型生成报表；

具体地，针对于数据视图，可以建立多个数据模型，数据关系为一个数据视图对应多个数据模型，数据模型的结构为从步骤S1033整合好的数据视图中选择字段作为维度和指标，设置过滤条件并在设置过滤条件后，生成一张宽表，根据宽表的数据量来判断是否需要将数据抽取到kylin平台，例如抽取工具可采用sqoop，可以从关系型数据库抽取数据到hive，然后同步数据模型的指标和维度，在kylin平台建立cube分析。

模型建立完成后，拖拽模型的指标和维度生成SQL语句或者MDX语句,查询模型对应的宽表，将查询结果展示到前端。这一步工具会将拖拽的指标和维度以及生成的报表保存到数据库中。

S1035：将所述报表进行可视化图形展示。

具体地，数据展示是将步骤S1034生成的报表设计为图形化展示，可以对图形类型、图形属性和图形样式进行自定义设置，整合分析工具将这些属性值保存到预设分析数据库，查询报表时调用图形属性值展示图像，如图7所示。

在上述实施例的基础上，该方法还包括：对数据源和维度进行编译、解释。本步骤是维护字段名称和中文名的映射关系，便于用户使用。

如图8所示，本发明实施例提供一种多源头大量数据的整合分析工具，该工具包括：数据源管理单元801、数据字典维护单元802和数据整合分析单元803；其中：数据源管理单元801用于获取数据源，设置数据源的相关属性信息，建立数据源编码；数据字典维护单元802用于定义并维护数据字典；数据整合分析单元803用于根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。

具体地，所述数据源包括：关系型数据库中的数据、非关系型数据库中的数据、爬虫数据和报表数据。所述数据字典包括：唯一标识信息、时间维度信息、人员维度信息、资金信息和资源信息。

需要说明的是，本发明实施例提供的多源头大量数据的整合分析工具是为了实现上述方法的，其功能具体可参考上述方法实施例，此处不再赘述。

在上述实施例的基础上，所述数据整合分析单元803包括：数据源导入模块、数据关联模块、数据整合模块、数据分析模块和数据展示模块。其中：

数据源导入模块用于将数据源导入预设分析数据库，在预设分析数据库中建立所述数据源的数据表与映射关系；数据关联模块用于在建立好的数据表中，选择若干个数据表，并对所述若干个数据表进行关联得到数据视图；数据整合模块用于对所述数据视图进行操作整合，所述操作整合过程包括：过滤、新增列、对比、排序和分组；数据分析模块用于建立多个所述数据视图的数据模型，根据所述数据模型生成报表；数据展示模块用于将所述报表进行可视化图形展示。

作为一种可实施方式，所述数据分析模块具体用于：从整合好的数据视图中选择字段作为维度和指标；设置过滤条件并在设置过滤条件后生成一张宽表；根据所述宽表的数据量来判断是否需要将数据抽取到kylin平台，以供在kylin平台建立cube分析。

需要说明的是，本发明实施例提供的多源头大量数据的整合分析工具是为了实现上述方法的，其功能具体可参考上述方法实施例，此处不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多源头大量数据的整合分析方法，其特征在于，包括：

步骤1：获取数据源，设置数据源的相关属性信息，建立数据源编码；

步骤2：定义并维护数据字典；

步骤3：根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。

2.根据权利要求1所述的方法，其特征在于，所述数据源包括：关系型数据库中的数据、非关系型数据库中的数据、爬虫数据和报表数据。

3.根据权利要求1所述的方法，其特征在于，所述数据字典包括：唯一标识信息、时间维度信息、人员维度信息、资金信息和资源信息。

4.根据权利要求1所述的方法，其特征在于，步骤3具体包括：

步骤3.1：将数据源导入预设分析数据库，在预设分析数据库中建立所述数据源的数据表与映射关系；

步骤3.2：在建立好的数据表中，选择若干个数据表，并对所述若干个数据表进行关联得到数据视图；

步骤3.3：对所述数据视图进行操作整合，所述操作整合过程包括：过滤、新增列、对比、排序和分组；

步骤3.4：建立多个所述数据视图的数据模型，根据所述数据模型生成报表；

步骤3.5：将所述报表进行可视化图形展示。

5.根据权利要求4所述的方法，其特征在于，所述步骤3.4为：

从整合好的数据视图中选择字段作为维度和指标；

设置过滤条件并在设置过滤条件后生成一张宽表；

根据所述宽表的数据量来判断是否需要将数据抽取到kylin平台，以供在kylin平台建立cube分析。

6.一种多源头大量数据的整合分析工具，其特征在于，包括：

数据源管理单元，用于获取数据源，设置数据源的相关属性信息，建立数据源编码；

数据字典维护单元，用于定义并维护数据字典；

数据整合分析单元，根据所述数据字典将碎片化数据进行关联，对关联后的数据进行数据整合分析。

7.根据权利要求6所述的工具，其特征在于，所述数据源包括：关系型数据库中的数据、非关系型数据库中的数据、爬虫数据和报表数据。

8.根据权利要求6所述的工具，其特征在于，所述数据字典包括：唯一标识信息、时间维度信息、人员维度信息、资金信息和资源信息。

9.根据权利要求6所述的工具，其特征在于，所述数据整合分析单元包括：

数据源导入模块，用于将数据源导入预设分析数据库，在预设分析数据库中建立所述数据源的数据表与映射关系；

数据关联模块，在建立好的数据表中，选择若干个数据表，并对所述若干个数据表进行关联得到数据视图；

数据整合模块，用于对所述数据视图进行操作整合，所述操作整合过程包括：过滤、新增列、对比、排序和分组；

数据分析模块，用于建立多个所述数据视图的数据模型，根据所述数据模型生成报表；

数据展示模块，用于将所述报表进行可视化图形展示。

10.根据权利要求9所述的工具，其特征在于，所述数据分析模块具体用于：

从整合好的数据视图中选择字段作为维度和指标；

设置过滤条件并在设置过滤条件后生成一张宽表；

根据所述宽表的数据量来判断是否需要将数据抽取到kylin平台，以供在kylin平台建立cube分析。

Images