CN110765198B - 数据资源池建立方法及装置 - Google Patents

Abstract

本申请提供了一种数据资源池建立方法及装置，方法包括：将多个数据源端的原始数据收集至预设服务器上的数据汇集层；将数据汇集层中的原始数据转换为统一格式的预处理数据；将预处理数据进行数据清洗，得到有效数据；将有效数据进行数据融合，得到相互关联的结构化数据；根据结构化数据得到数据资源池。装置包括数据收集模块、数据预处理模块、数据清洗模块、数据融合模块和数据资源池生成模块。本申请具有有适应数据需求变化频繁特性、减少数据获取周期、支撑海量数据、降低成本、减少开发维护量、降低数据质量风险、提高数据获取实时性、保障数据高可用性等优点。

Description

数据资源池建立方法及装置

技术领域

本申请涉及数据管理技术领域，尤其涉及一种数据资源池建立方法及装置。

背景技术

当前，科技项目管理数据主要来源于资产域的项目管理子系统、投资计划管理子系统以及工作人员线下的收集。随着移动应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心，数据服务仅在必要时以接口或者消息队列方式进行数据交互。由于科技项目管理数据散落在不同的数据库、消息队列和文件系统中，计算平台如果在需要相应数据时进行数据访问，会遇到数据不可访问和数据传输延迟等问题。在一些场景下，计算平台直接访问上述项目管理子系统、投资计划管理子系统的数据库还会对上述系统吞吐造成显著影响，这给科技项目管理数据的融合计算带来了巨大挑战。

发明内容

本申请提供了一种数据资源池建立方法及装置，以解决数据融合处理效低的问题。

第一方面，本申请提供了一种数据资源池建立方法，该方法包括：

将多个数据源端的原始数据收集至预设服务器上的数据汇集层；

将所述数据汇集层中的原始数据转换为统一格式的预处理数据；

将所述预处理数据进行数据清洗，得到有效数据；

将所述有效数据进行数据融合，得到相互关联的结构化数据；

根据所述结构化数据得到数据资源池。

可选地，将多个数据源端的原始数据收集至预设服务器上的数据汇集层，之前还包括：根据支持海量/高可用的文件系统或数据仓库或者消息队列构建数据汇集层。

可选地，所述数据源端包括：资产域的项目管理子系统中的科技项目实施过程管理数据和科技创新管理数据，以及所述资产域的投资计划管理子系统中获取科技项目投资计划数据。

可选地，将所述预处理数据进行数据清洗，得到有效数据，包括：

对所述预处理数据进行一致性检查，剔除不符合预设一致性规则的数据；

查找所述预处理数据中的无效值和缺失值，分别对所述无效值和缺失值按照对应的预设处理规则进行处理。

可选地，所述预设一致性规则包括预设取值范围和预设逻辑关系，所述预设处理规则包括估算、整例删除、变量删除和成对删除。

可选地，将所述数据汇集层中的原始数据转换为统一格式的预处理数据，包括：将所述原始数据进行无状态转换处理，得到统一格式的预处理数据，所述无状态转换处理包括过滤、字段替换、嵌套结构一拆多和维度填充。

可选地，将所述有效数据进行数据融合，得到相互关联的结构化数据，包括：通过流式计算引擎将所述有效数据进行特征融合，得到相互关联的结构化数据，所述特征融合包括特征降维。

可选地，根据所述结构化数据得到数据资源池，包括：将所述结构化数据采用NOSQL的表示形式进行存储，得到包含所述结构化数据的数据资源池。

可选地，所述方法还包括：

对所述结构化数据进行数据质量管理，所述数据质量管理包括对所述结构化数据进行数据质量校验管理和校验结果管理，所述数据质量校验管理包括设置数据校验规则，根据所述数据校验规则对所述结构化数据进行数据校验，所述校验结果管理包括将通过所述数据校验的结构化数据存储至目标库，将未通过所述数据校验的结构化数据存储至问题库，以及根据所述目标库和问题库的数据生成质量报告。

第二方面，本申请还提供了一种数据资源池建立装置，所述数据资源池建立装置包括用于执行第一方面各种实现方式中方法步骤的模块：

数据收集模块，用于将多个数据源端的原始数据收集至预设服务器上的数据汇集层；

数据预处理模块，用于将所述数据汇集层中的原始数据转换为统一格式的预处理数据；

数据清洗模块，用于将所述预处理数据进行数据清洗，得到有效数据；

数据融合模块，用于将所述有效数据进行数据融合，得到相互关联的结构化数据；

数据资源池生成模块，用于根据所述结构化数据得到数据资源池。

本申请提供的数据资源池建立方法及装置的有益效果包括：

本申请实施例提供的数据资源池建立方法，通过将科技创新过程中的数据从不同的应用系统中采集至数据汇集层，然后再对数据汇集层的数据进行数据处理，实现了数据采集过程和数据处理过程的独立，避免了进行数据处理的计算平台直接获取数据而容易面临的数据不可访问、数据传输延迟以及影响系统吞吐等问题，提高了数据融合处理的整体效率；数据汇集层将采集的原始数据转换为统一格式的预处理数据，提高了后续数据处理的处理效率，通过将预处理数据进行数据清洗，避免了缺数据、错误数据及重复数据拖慢整个数据处理流程，通过将清洗后的数据进行数据融合，形成包含结构化数据的数据模型，实现数据关联关系的梳理，进而生成数据资源池，为科技项目监控、科技创新指标考评建立可靠的数据基础，具有适应数据需求变化频繁特性、减少数据获取周期、支撑海量数据、降低成本、减少开发维护量、降低数据质量风险、提高数据获取实时性、提高数据可靠性、完整性和准确性等显著优点。本申请实施例提供的数据资源池建立装置，采用流式处理方式进行数据处理，提高了数据处理效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据资源池建立方法的流程示意图；

图2为本申请实施例提供的一种数据清洗方法的流程示意图；

图3为本申请实施例提供的一种数据质量管理过程示意图；

图4为本申请实施例提供的一种数据处理任务流的流向示意图；

图5为本申请实施例提供的一种数据资源池建立装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

参见图1，为本申请实施例提供的一种数据资源池建立方法的流程示意图，如图1所示，本申请实施例提供的数据资源池建立方法，包括以下步骤：

步骤S100：根据支持海量/高可用的文件系统或数据仓库或者消息队列构建数据汇集层。

在预设服务器上构建数据汇集层，预设服务器为需要建立数据资源池的服务器，数据汇集层可基于任意支持海量/高可用的文件系统、数据仓库或者消息队列构建，常见的方案包括Hadoop分布式文件系统(HDFS，Hadoop Distributed File System)、分布式存储系统(Hbase,Hadoop Database)、分布式发布订阅消息系统(Kafka)等。

构建的数据汇集层包括两大数据仓库，一是原始数据的数据仓库，另一个是预处理数据的数据仓库。

步骤S110：将多个数据源端的原始数据收集至预设服务器上的数据汇集层。

本申请实施例中，数据源端包括：资产域的项目管理子系统中的科技项目实施过程管理数据和科技创新管理数据，以及资产域的投资计划管理子系统中获取科技项目投资计划数据。

将上述数据源端的原始数据存储至数据汇集层汇中原始数据的数据仓库。原始数据的存储可按照期限存储，即可存储一定期限内的原始数据，用于数据分析，当然，在服务器容量允许的情况下，也可存储全部期限内的原始数据。数据汇集层的原始数据独立于数据源端，能够提高后续步骤的数据分析的灵活度，例如，当后续步骤的数据分析需求发生改变时，可从数据汇集层获取原始数据，不需要重复从数据源端获取数据，直接基于数据汇集层就可以开发新的模型和应用。

步骤S120：将数据汇集层中的原始数据转换为统一格式的预处理数据。

将数据汇集层将异构的数据源数据转换为统一的格式，并且为后继的处理提供一致的访问接口，从而将数据处理逻辑和数据源端解耦开来，同时屏蔽了数据获取过程中可能发生的异常对后继作业的影响。

数据转换包括将原始数据进行无状态转换处理，得到统一格式的预处理数据，无状态转换处理包括过滤、字段替换、嵌套结构一拆多和维度填充。

步骤S130：将预处理数据进行数据清洗，得到有效数据。

数据清洗是为了对步骤S120得到的预处理数据中的残缺数据、错误数据及重复数据进行清洗处理，清洗步骤参见图2，为本申请实施例提供的一种数据清洗方法的流程示意图，如图2所示，本申请实施例提供的数据清洗方法，包括以下步骤：

步骤S3001：对预处理数据进行一致性检查，剔除不符合预设一致性规则的数据。

预设一致性规则包括预设取值范围和预设逻辑关系等，根据每个变量的合理取值范围和相互关系，检查预处理数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的预处理数据。

步骤S3002：查找预处理数据中的无效值和缺失值，分别对无效值和缺失值按照对应的预设处理规则进行处理。

预设处理规则包括估算、整例删除、变量删除和成对删除。由于编码和录入偏差，预处理数据中可能存在一些无效值和缺失值，需要给予适当的处理，例如：估算、整例删除、变量删除和成对删除。

步骤S140：将有效数据进行数据融合，得到相互关联的结构化数据。

将清洗后的所有数据及科技创新管理系统新增维护数据全部综合在一起，通过流式计算引擎将有效数据进行特征融合，建立起数据关联关系，得到相互关联的结构化数据。

流式计算引擎通过构建任务流对数据进行计算，并将计算结果实时输出到下游应用系统并自动开启下游应用系统处理下游数据处理任务，实现数据同步的批流一体化。在数据融合过程中，可利用流式引擎进行数据处理，当然，也可在对数据汇集层的原始数据的整个采集及处理过程中，均采用流式引擎进行一步一步数据处理。流式计算引擎可选用Kafka Streams，Kafka Streams的作业是以普通Java程序方式运行，本质上是一个调用Kafka Streaming API的Kafka Consumer，可以方便地嵌入各种应用，相较于Flink和KafkaStreams在实时性上更优。

特征融合中可通过特征降维来对于特征维度过大并且存在较大冗余的有效数据进行处理。特征降维是把当前特征空间投影到另外一个特征空间，从而达到降维的效果，本申请实施例可选用主成分分析法(PCA，Principal Component Analysis)、核主成分分析法(KPCA,Kernel Principal Component Analysis)、线性判别式分析(LDA,LinearDiscriminant Analysis)、独立成分分析(ICA,Indepengent Component CorrelationAlgorithm)或者是改进后的典型相关分析(CCA，canonical correlation analysis)来进行特征降维。

步骤S150：根据结构化数据得到数据资源池。

将结构化数据采用NOSQL的表示形式进行存储，得到包含结构化数据的数据资源池。

进一步的，对结构化数据进行数据质量管理，以保证数据质量的完整性、一致性、准确性及唯一性。

数据质量管理包括对结构化数据进行数据质量校验管理和校验结果管理，数据质量校验管理包括设置数据校验规则，根据数据校验规则对结构化数据进行数据校验，校验结果管理包括将通过数据校验的结构化数据存储至目标库，将未通过数据校验的结构化数据存储至问题库，以及根据目标库和问题库的数据生成质量报告。

参见图3，为本申请实施例提供的一种数据质量管理过程示意图，如图3所示，在数据源端，即数据汇集层，也进行数据质量管理，将预处理数据分为静态数据和流式数据进行质量管理；在数据资源池，根据校验规则进行数据校验，实现质量分析；对于校验结果，执行校验结果管理，管理方式参见上述内容，在此不再赘述。

本申请实施例各个步骤的处理通过任务流来实现，每个步骤可设置成定时任务，通过任务流可便捷地实现各个定时任务之间的批流一体。任务流的设置方式如下：

用户可以设置统一的执行时间，可以是定时也可以只执行一次(也支持通过API调用)，系统会按照用户设置的开始时间开启整个任务流。

用户可以自由地设置多个任务之间的依赖关系，例如数据任务、脚本任务以及延时器等组件任务，组件任务之间支持一对一、一对多或者多对一等依赖方式。

任务流激活后，提供可视化界面帮助用户监控整个任务流的运行状况。

数据质量管理任务流，让用户可以高效地完成数据的校验工作，保证数据源数据的质量安全。用户可以根据业务需求创建一个数据质量任务，指定需要检核的数据库、表、字段后，匹配检核规则即可完成。

数据质量任务会根据用户设置的执行周期产出相关的数据质量检核结果，用户可以通过折线图查看质量趋势，也可以下载每一次的检核结果报表。

参见图4，为本申请实施例提供的一种数据处理任务流的流向示意图，如图4所示，通过直接手段和间接手段实现原始数据获取(对应步骤S110)，直接手段包括对资产域的项目管理子系统、投资计划管理子系统发送数据获取的接口请求或者直接爬取数据，间接手段包括获取人工统计分析的数据。

对获取的数据进行预处理(对应步骤S120)后，进行数据处理，数据处理包括数据校准(对应步骤S130)、数据关联(对应步骤S140)；然后进行质量管理：态势评估和威胁评估，将评估后的数据进行数据汇集；汇集的数据生成动态数据库；根据动态数据库生成数据资源池(步骤S150)。

进一步的，根据数据关联后的数据实现对数据获取的目标跟踪，通过采集管理控制数据获取。

进一步的，根据威胁评估实现对数据获取的优化控制。

参见图5，为本申请实施例提供的一种数据资源池建立装置的结构示意图，如图5所示，本申请实施例提供的数据资源池建立装置，包括：数据收集模块、数据预处理模块、数据清洗模块、数据融合模块和数据资源池生成模块。

数据收集模块，用于将多个数据源端的原始数据收集至预设服务器上的数据汇集层；

数据预处理模块，用于将数据汇集层中的原始数据转换为统一格式的预处理数据；

数据清洗模块，用于将预处理数据进行数据清洗，得到有效数据；

数据融合模块，用于将有效数据进行数据融合，得到相互关联的结构化数据；

数据资源池生成模块，用于根据结构化数据得到数据资源池。

由上述实施例可见，本申请实施例提供的数据资源池建立方法，通过将科技创新过程中的数据从不同的应用系统中采集至数据汇集层，然后再对数据汇集层的数据进行数据处理，实现了数据采集过程和数据处理过程的独立，避免了进行数据处理的计算平台直接获取数据而容易面临的数据不可访问、数据传输延迟以及影响系统吞吐等问题，提高了数据融合处理的整体效率；数据汇集层将采集的原始数据转换为统一格式的预处理数据，提高了后续数据处理的处理效率，通过将预处理数据进行数据清洗，避免了缺数据、错误数据及重复数据拖慢整个数据处理流程，通过将清洗后的数据进行数据融合，形成包含结构化数据的数据模型，实现数据关联关系的梳理，进而生成数据资源池，为科技项目监控、科技创新指标考评建立可靠的数据基础，具有高可靠性、高完整性、高准确性以及高实时性等显著优点。本申请实施例提供的数据资源池建立装置，采用流式处理方式进行数据处理，提高了数据处理效率。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种数据资源池建立方法，其特征在于，包括：

将多个数据源端的原始数据收集至预设服务器上的数据汇集层；

将所述数据汇集层中的原始数据转换为统一格式的预处理数据；

将所述预处理数据进行数据清洗，得到有效数据；

将所述有效数据进行数据融合，得到相互关联的结构化数据；

对所述结构化数据进行数据质量管理，所述数据质量管理包括态势评估和威胁评估，将评估后的数据进行数据汇集；

根据所述结构化数据实现对原始数据收集的目标跟踪；

通过采集管理控制所述原始数据收集；

根据威胁评估实现对所述原始数据收集的优化控制；

根据所述结构化数据得到数据资源池。

2.如权利要求1所述的数据资源池建立方法，其特征在于，将多个数据源端的原始数据收集至预设服务器上的数据汇集层，之前还包括：根据支持海量/高可用的文件系统或数据仓库或者消息队列构建数据汇集层。

3.如权利要求1所述的数据资源池建立方法，其特征在于，所述数据源端包括：资产域的项目管理子系统中的科技项目实施过程管理数据和科技创新管理数据，以及所述资产域的投资计划管理子系统中获取科技项目投资计划数据。

4.如权利要求1所述的数据资源池建立方法，其特征在于，将所述预处理数据进行数据清洗，得到有效数据，包括：

对所述预处理数据进行一致性检查，剔除不符合预设一致性规则的数据；

查找所述预处理数据中的无效值和缺失值，分别对所述无效值和缺失值按照对应的预设处理规则进行处理。

5.如权利要求4所述的数据资源池建立方法，其特征在于，所述预设一致性规则包括预设取值范围和预设逻辑关系，所述预设处理规则包括估算、整例删除、变量删除和成对删除。

6.如权利要求1所述的数据资源池建立方法，其特征在于，将所述数据汇集层中的原始数据转换为统一格式的预处理数据，包括：将所述原始数据进行无状态转换处理，得到统一格式的预处理数据，所述无状态转换处理包括过滤、字段替换、嵌套结构一拆多和维度填充。

7.如权利要求1所述的数据资源池建立方法，其特征在于，将所述有效数据进行数据融合，得到相互关联的结构化数据，包括：通过流式计算引擎将所述有效数据进行特征融合，得到相互关联的结构化数据，所述特征融合包括特征降维。

8.如权利要求1所述的数据资源池建立方法，其特征在于，根据所述结构化数据得到数据资源池，包括：将所述结构化数据采用NOSQL的表示形式进行存储，得到包含所述结构化数据的数据资源池。

9.如权利要求1所述的数据资源池建立方法，其特征在于，对所述结构化数据进行质量管理还包括：

对所述结构化数据进行数据质量校验管理和校验结果管理，所述数据质量校验管理包括设置数据校验规则，根据所述数据校验规则对所述结构化数据进行数据校验，所述校验结果管理包括将通过所述数据校验的结构化数据存储至目标库，将未通过所述数据校验的结构化数据存储至问题库，以及根据所述目标库和问题库的数据生成质量报告。

10.一种数据资源池建立装置，其特征在于，包括：

数据收集模块，用于将多个数据源端的原始数据收集至预设服务器上的数据汇集层；

数据预处理模块，用于将所述数据汇集层中的原始数据转换为统一格式的预处理数据；

数据清洗模块，用于将所述预处理数据进行数据清洗，得到有效数据；

数据融合模块，用于将所述有效数据进行数据融合，得到相互关联的结构化数据；

数据资源池生成模块，用于对所述结构化数据进行数据质量管理，所述数据质量管理包括态势评估和威胁评估，将评估后的数据进行数据汇集；还用于根据威胁评估实现对所述原始数据收集的优化控制；还用于通过采集管理控制所述原始数据收集；还用于根据所述结构化数据实现对原始数据收集的目标跟踪；还用于根据所述结构化数据得到数据资源池。

Images