CN114925045A - 大数据集成和管理的PaaS平台 - Google Patents

Abstract

本发明公开了大数据集成和管理的PaaS平台，包括数据开发模块、数据对账模块和元数据管理系统，所述数据开发模块用于接入多源异构的数据源，并在数据中心对数据进行加工，所述元数据管理系统用于对数据源进行元数据采集，获悉数据源的构成、数据表结构和索引的元数据信息，获得并展示数据在数据流中的演化过程，支持字段级的数据血缘，以及展示数据全链关系。本发明中，通过统一的数据采集配置，统一调用数据基础设施，融合关联所有数据，在数据应用层，通过统一的数据AP I，向数据应用提供透明访问的数据服务，保证数据安全的同时，减少使用数据技术的复杂性，提供了丰富的数据适配器，实现了自由适配各类现代化数据基础设施。

Description

大数据集成和管理的PaaS平台

技术领域

本发明涉及云计算技术领域，尤其涉及大数据集成和管理的PaaS平台。

背景技术

云计算是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户，云计算是分布式计算、效用计算、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果，在大数据和人工智能的推动下，云计算的应用进入繁荣阶段，越来越多的企业在商业模式创新过程中都意识到要利用云计算。

数据的采集、利用、储存、交易等一系列的行为正发生变化，新的客体、新的主体正在产生形成有价值的数据，经过多年的建设，各企业积累了一大批数据，这些被企业用以支持业务流程运转数据，又会产生一系列其他的问题，如以下几个问题：

(1)业务系统之间缺少统一标准：各系统收集上来的数据多样化缺少数据标准，对表字段的命名随意性强，定义混乱，主要表现在：同一英文字段名对应多个中文名，反之也存在着中文的一对多，同一业务元素对应多种数据类型和长度等情况；

(2)系统之间数据变更对应的影响分析困难：已存在的历史数据往往庞大复杂，表关系不清晰，如遇到系统改造、表结构变更等情况，对应造成的影响难于甚至无法评估，对于已然形成的大量数据，系统悠久，找不到接口人，针对其应用困难；

(3)数据质量差，错误发现不及时：由于数据质量低下导致统计不准确，许多预期需求无法实现、造成决策失误，数据中的错误发现得不及时，数据处理过程中的问题也未能及时纠正，导致更多的后续错误；

(4)数据表和模型繁多，价值未最大释放：系统中表的数量多、相似表数量过多、无效表过多，导致信息获取难，表价值不明；

(5)业务系统之间数据资产分散，共享性差：DB、数据模型、应用程序、数据标准、数据质量等信息分散，政府企业数据资产无法集中管理和展现，共享性差；

(6)数据安全得不到保障：数据权限划分不清、敏感数据得不到监控、账号和权限无法追踪、非正常的访问行为无法捕捉等情况都是潜在的数据安全隐患；

(7)管理不到位，落地效果差：数据管理体系不完善，权责不明、管理角色分工不清，往往出了问题再补漏，数据管理部门和生产部门相互推脱责任，同时，企业标准管理系统不完善，已有标准落实差，标准管理软件易用性差，落实效果差。

发明内容

为了解决上述背景技术中所提到的技术问题，而提出的大数据集成和管理的PaaS平台。

为了实现上述目的，本发明采用了如下技术方案：

大数据集成和管理的PaaS平台，包括数据开发模块、数据对账模块和元数据管理系统，所述数据开发模块用于接入多源异构的数据源，并在数据中心对数据进行加工，即利用JDBC或者OGG工具从数据源中抽取数据，对抽取的数据按照规定格式进行解析和清洗，再利用Flume、Kafka组件将解析和清洗后的数据转换为消息队列，通过消息队列将解析和清洗后的数据送至数据中心下的主题库中，其中，所述数据源包括关系型数据库、非关系型数据库、流式数据和大数据组件；

在数据接入时，通过数据结账模块对数据提供方和接入方在某一对账时间节点的数据的完整性、一致性和正确性进行核对和校验，若出现数据提供方和接入方对应的数据条数不一致，则进行数据的重新接入或者增量接入；

所述元数据管理系统用于对数据源进行元数据采集，获悉数据源的构成、数据表结构和索引的元数据信息，获得并展示数据在数据流中的演化过程，支持字段级的数据血缘，以及展示数据全链关系；

所述元数据管理系统包括元模型管理模块、元数据管理模块和元数据采集模块，在所述元模型管理模块进行元模型的构建，在元数据管理模块选择元模型构建元数据采集悬挂路径，在元数据采集模块创建元数据采集任务，并输入任务名称、选择数据源、适配器类型、适配器、采集模式、数据库名和悬挂路径以配置采集任务，运行采集任务采集元数据，采集成功后在元数据管理模块查看采集结果，并对采集的元数据进行发布审批，审批通过的元数据为定版元数据，定版元数据支持进行血缘分析、影响分析、全链分析，以及与标准进行落地评估、生成落地评估报告。

作为上述技术方案的进一步描述：

还包括数据质量模块，所述数据质量模块包括规则录入模块、运行质检模块和问题知识库，平台使用者在规则录入模块录入或者修改数据质量规则，并与主题库中的数据表进行关联，多种规则组成质检方案以进行数据质检，在运行质检模块中运行数据质检任务，并生成质量分析报告，汇总历史质量分析报告发送至问题知识库中，其中，在运行数据质检任务过程中，若数据质检达到告警，则发送告警通知至平台使用者，对数据进行整改，质量整改后的数据返回数据中心下的对应主题库中。

作为上述技术方案的进一步描述：

还包括数据标准模块，在数据标准模块根据标准划分进行不同属性标准的创建，创建的标准发起标准评审，审批通过的标准形成定版数据标准，定版数据标准与定版元数据进行落地映射，实现数据标准的统一，其中，所述标准划分包括业务数据标准、管理数据标准与技术数据标准。

作为上述技术方案的进一步描述：

还包括数据服务模块，所述数据服务模块提供将数据中心的数据表生成数据API的能力。

作为上述技术方案的进一步描述：

还包括数据资产模块，所述数据资产模块包括数据管理模块、数据查询模块和流程管理模块，所述数据管理模块包括数据表管理模块、API管理模块、文件管理模块和目录管理模块；

所述数据表管理模块用于同步数据中心下各个数据库中的所有数据表，在目录管理模块中进行数据目录的创建，创建完成后在数据表、API、文件管理模块中与数据目录进行关联编辑，在流程管理模块中对数据表、API和文件进行上架，以及数据使用权限申请的审批流程，上架、审批通过后，在数据查询模块的对应数据目录查看上架的数据表、API和文件。

作为上述技术方案的进一步描述：

还包括任务调度模块，所述任务调度模块包括任务执行器和调度中心，所述任务执行器根据配置的调度中心的地址，自动注册到调度中，达到任务触发条件，调度中心下发任务，任务执行器基于线程池执行任务，并将执行结果放入内存队列中，执行日志写入日志文件中，任务执行器回调线程消费内存队列中的执行结果，主动上报给调度中心，在调度中心查看任务日志，调度中心请求任务执行器，任务执行器读取日志文件并返回日志详情。

作为上述技术方案的进一步描述：

还包括运维监控模块，所述运维监控模块对PssS平台的全部任务进行监控，任务出现异常时发出警告以提醒处理。

作为上述技术方案的进一步描述：

还包括数据安全模块，通过数据安全模块对数据接入到形成数据资产对外提供服务的全过程中对数据实现保护，敏感数据进行脱敏处理。

作为上述技术方案的进一步描述：

平台使用者在数据对账模块中创建对账策略，创建的对账策略与接入的数据库的同步任务进行关联调度，检验该数据库下数据表的对账情况，并将结果生成报告反馈，其中，所述对账策略包括策略名称、即时对账、定时对账和描述，以及定时对账的规则。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明通过统一的数据采集配置，统一调用数据基础设施，融合关联所有数据，在数据应用层，通过统一的数据API，向数据应用提供透明访问的数据服务，保证数据安全的同时，减少使用数据技术的复杂性，提供了丰富的数据适配器，实现了自由适配各类现代化数据基础设施，平台能通过配置式的、自由组合的方式，与大部分现代的数据基础实施集成，适配传统的关系型数据仓库，平台能快速应用到现有数据仓库中，避免数据的重构和迁移，适配多种数据库，平台能充分利用分布式系统的优势，实现对结构化大数据集的分析和查询的快速响应，能与Hadoop生态的大数据基础高效集成，充分利用HDFS的可靠性和MapReduce的扩展能力，并集成多种大数据计算能力，充分满足大数据的各种需求。

附图说明

图1示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据开发流程示意图；

图2示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据对账流程示意图；

图3示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的元数据管理流程示意图；

图4示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据质检流程示意图；

图5示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据标准管理流程示意图；

图6示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据服务流程示意图；

图7示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据资产管理流程示意图；

图8示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的任务调度流程示意图；

图9示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的任务调度管理流程示意图；

图10示出了根据本发明实施例提供的大数据集成和管理的PaaS平台的数据服务流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1-10，本发明提供一种技术方案：大数据集成和管理的PaaS平台，包括数据开发模块、数据对账模块、元数据管理系统、数据质量模块、数据标准模块、数据服务模块、数据资产模块、任务调度模块、运维监控模块和数据安全模块；

数据开发模块用于接入多源异构的数据源，并在数据中心对数据进行加工，当底层数据进行聚合后，数据仍然处于零散的状态，数据无法直接为上层智能算法和DI应用提供对应数据，因此，需要对数据进行汇聚加工，数据管理和开发人员需要在平台建立对应的数据中心，进行对应数据的加工，数据开发为数据使用者提供一站式的集成开发环境，可满足数据治理下，数据开发者进行ETL开发、数据主题库建设等需求，将接入的数据进行清洗等处理后，将解析清洗后的数据返回数据中心主题库中；

具体的，如图1所示，利用JDBC或者OGG工具从数据源中抽取数据，对抽取的数据按照规定格式进行解析和清洗，再利用Flume、Kafka组件将解析和清洗后的数据转换为消息队列，通过消息队列将解析和清洗后的数据送至数据中心下的主题库中，其中，数据源包括关系型数据库、非关系型数据库、流式数据和大数据组件；

进一步地，如利用JDBC工具，抽取Oracle类型的教育学工数据，并对教育学工数据进行解析、清洗，统一数据表中的数据规范，例如sex字段，设定sex＝‘0’，表示sex＝‘男’，sex＝‘1’，表示sex＝‘女’等，再利用Flume、Kafka组件，将解析后的数据转为消息队列，消息队列起到数据中转站的作用，通过数据中转站将解析、清洗后的数据送至平台创建的数据中心下的主题库中，可以在平台上进行数据预览，查看sex字段下的数据是否按照规范解析；

数据开发把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，通过应用间的数据有效流通和流通的管理从而达到集成，主要解决数据的分布性、异构性、有效性和及时性的问题，此外，数据开发是个长期不断持续的过程，需要有易用的工具、长期可靠的运行环境、全面有效的监控管理共同支撑，而非仅通过工具可以一次性解决的，通过数据开发对数据组织的建设，完成分布式数仓和实时数仓的建设，为高阶数据集提供基础数据；

在数据接入时，通过数据结账模块对数据提供方和接入方在某一对账时间节点的数据的完整性、一致性和正确性进行核对和校验，若出现数据提供方和接入方对应的数据条数不一致，则进行数据的重新接入或者增量接入，数据对账功能包括：对接情况、对账策略、对账单管理、对账报告、报警设置、报警日志等；

具体的，如图2所示，平台使用者在数据对账模块中创建对账策略，创建的对账策略与接入的数据库的同步任务进行关联调度，检验该数据库下数据表的对账情况，并将结果生成报告反馈，其中，对账策略包括策略名称、即时对账、定时对账和描述，以及定时对账的规则；

进一步地，如记入的教育学工的数据，需要检验其中一个表yw_school_roll同步到数据中心的主题库下的数据量的同步情况，那么数据对账就将这个表添加对账策略以及添加报警，当对账成功或是失败时以邮件的方式提醒负责人进行处理，同步任务完成即对账结束，无论对账成功或者失败均给出对账报告，报告展示该表同步的数据量是否一致，不一致的情况即为对账失败，给出条数确实或者冗余的结果方便负责人排查；

元数据管理系统用于对数据源进行元数据采集，获悉数据源的构成、数据表结构和索引的元数据信息，获得并展示数据在数据流中的演化过程，支持字段级的数据血缘，以及展示数据全链关系；

元数据管理系统具有元数据概览、分类管理、元数据管理、元模型管理、元数据标准管理、元数据采集、任务日志、数据地图八个功能，元数据管理对数据的属性(名称、大小、数据类型等)和关系(依赖关系、组合关系)进行描述，并对数据在使用中的变化进行识别、追踪、展示(血缘分析、影响分析、全链分析等)；

其中，元数据概览：支持通过元数据概览页面展示元数据管理系统中的元数据对象(如元数据目录)、元数据统计信息和元数据变化趋势等内容；

元数据分类管理：支持元数据分类目录创建(包括自动、手工或自定义)，支持用户浏览元数据目录，并逐层递进；

元模型管理：支持用户创建元模型，内容包括业务元数据、技术元数据和管理元数据等，创建方式包括自动和手动采集等；

元数据采集：提供灵活的元数据采集方式，用户可采集或导入元数据和元模型，采集或导入的方式包括自动(或订阅)和手动，支持包括数据库、大数据工具、报表工具等的采集；

元数据管理：支持用户创建、修改、删除元数据操作时的元数据历史信息的变更管理；支持用户查看元数据历史信息，支持两个不同版本元数据比对，展示比对结果详细信息(新增、删除和修改)；

数据血缘：当发现数据问题时可以通过数据的血缘关系，追根溯源，快速地定位到问题数据的来源和加工过程，减少数据问题排查分析的时间和难度；

影响分析：当发现数据问题时可以通过数据的关联关系，向下追踪，快速找到都哪些应用或数据库使用了这个数据，从而避免或降低数据问题带来的更大的影响；

数据地图：通过元数据可以对整体数据进行完整的梳理、采集和整合，从而形成完整的数据资产地图，数据资产地图支持以拓扑图的形式进行可视化展示各类元数据和数据处理过程，通过不同层次的图形展现粒度控制，满足业务上不同应用场景的数据查询和辅助分析需要；

具体的，如图3所示，在元模型管理模块进行元模型的构建，在元数据管理模块选择元模型构建元数据采集悬挂路径，在元数据采集模块创建元数据采集任务，并输入任务名称、选择数据源、适配器类型、适配器、采集模式、数据库名和悬挂路径以配置采集任务，运行采集任务采集元数据，采集成功后在元数据管理模块查看采集结果，并对采集的元数据进行发布审批，审批通过的元数据为定版元数据，定版元数据支持进行血缘分析、影响分析、全链分析，以及与标准进行落地评估、生成落地评估报告；

进一步地，如平台使用者在元数据管理模块选择已内置好的关系型数据库里的目录元模型构建教育学工元数据采集悬挂路径，在元数据采集模块创建教育学工元数据采集任务，输入任务名称、选择Oracle类型数据源、数据库的适配器类型、关系型数据库采集适配器、JDBC采集模式、数据库名、教育学工元数据悬挂路径等配置采集任务，运行采集任务采集教育学工数据，采集成功后，在元数据管理模块查看教育学工元数据的表结构、索引和表字段信息等，将采集的教育学工元数据进行发行审批，审批通过的元数据为定版元数据，定版元数据支持进行血缘分析，影响分析、全链分析，以及与标准进行落地评估、生成落地评估报告，评估数据是否符合制定的标准；

数据质量模块包括规则录入模块、运行质检模块和问题知识库，具体的，如图4所示，平台使用者在规则录入模块录入或者修改数据质量规则，并与主题库中的数据表进行关联，多种规则组成质检方案以进行数据质检，在运行质检模块中运行数据质检任务，并生成质量分析报告，汇总历史质量分析报告发送至问题知识库中，其中，在运行数据质检任务过程中，若数据质检达到告警，则发送告警通知至平台使用者，对数据进行整改，质量整改后的数据返回数据中心下的对应主题库中；

首先，数据质量模块支持对数据中心中全部表进行监控规则配置、订阅管理和关联调度，检测表质量，是否质量问题，并将结果生成报告反馈，质量有待整改的数据通过邮件或者短信的方式，通知数据管理与开发人员进行确认与整改，整改后的数据返回数据中心对应主题库下，其次，数据质量模块进行数据质量的检测，支持输出质量分析结果报告，包括汇总数据列表、错误汇总列表、质量得分分析、规则分析结果等内容；

数据标准管理是对数据的定义、组织、监督和安全的过程制定统一的格式，确保数据在复杂数据环境下保持一致性和规范性，数据标准模块包括标准监控、数据标准管理、标准发布审批与落地评估功能；

具体的，标准监控：对数据标准的监控和统计分析，可统计近三个月数据标准发布审批情况、定版标准统计情况、落地映射、标准变更情况等，并以图表的方式展现，数据标准监控对数据标准的KPI指标进行监控，包括已生成标准个数，失效个数，提交个数，通过个数，退回个数等指标，另外，监控表可根据客户需求进行二次改造；

数据标准管理：定义不同的数据标准可能存在需要录入不同的属性，为了满足不同项目对数据标准的设计，平台提供了数据标准集管理，内置了业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性等供用户选择使用，并支持自定义属性；

标准发布审批：数据标准创建保存，并确认无误后，支持整集发起审批，审批支持通过、退回操作，可采用邮件或任务提醒的方式通知参与审批的用户，同时支持审批列表的搜索，快速定位数据标准；

落地评估：为了方便用户检查业务系统是否按照数据标准进行建设，平台提供对数据标准进行落地评估，并支持多种方式评估，包括单条数据标准、标准集进行评估；

具体的，如图5所示，在数据标准模块根据标准划分进行不同属性标准的创建，创建的标准发起标准评审，审批通过的标准形成定版数据标准，定版数据标准与定版元数据进行落地映射，实现数据标准的统一，其中，标准划分包括业务数据标准、管理数据标准与技术数据标准；

进一步地，如平台使用者进行教育学工数据标准的创建，为业务数据标准，例如创建性别标准，输入标准的中文名：性别，标准英文名：sex，字段类型为int，创建的标准发起标准评审，审批通过的标准形成定版数据标准，定版数据标准与定版元数据进行落地映射，实现数据标准的统一，将性别标准与采集的教育学工元数据中的sex字段进行映射，看是否符合设定的标准，不符合重新到数据开发模块进行数据的字段类型的转换；

数据服务模块提供将数据中心的数据表生成数据API的能力，数据服务是为用户提供简单、快速、低成本、低风险的API托管服务，涵盖API发布、管理、运维、交易的全生命周期，用户可以将能力、服务、数据以API的形式开放给合作伙伴，实现内部系统集成、业务能力开放及业务能力变现；

具体的，如图6所示，创建API，API基本信息包括API分组、API名称和描述，定义用户如何请求API、包括请求类型、协议、自定义域名、请求Path、HTTP Method、入参请求模式和入参定义，定义一些参数的前后端映射，即API后端服务的配置，包括后端服务类型、后端服务地址、后端Path、HTTP Method、后端超时时间、参数映射、常量参数和系统参数，录入返回ContentType、返回结果示例、失败返回结果示例和错误码定义，调试是否API创建成功，成功进行发布，不成功重新配置API或者取消创建，发布到API应用市场，即发布至数据资产模块，管理人员对API做上架审批；

进一步地，如首先，在分组管理新增API分组教育分组，即创建API的目录，然后在分组下生成API与注册API，例如，接入的教育学工数据支持将它通过生成API功能生成教育学工API，生成的教育学工API进行测试，测试通过将API发布至数据资产模块，在数据资产模块进行上架后对外提供服务；

数据资产模块支持热门数据、最新上线、最新更新、最近一周数据增量、各部门共享数的数据统计，支持共享数据表、API、文件以及提供对三类数据检索功能，数据资产模块包括数据管理模块、数据查询模块和流程管理模块，数据管理模块包括数据表管理模块、API管理模块、文件管理模块和目录管理模块；

其中，数据管理：平台使用者可在数据管理对数据进行归属管理与共享范围设定并且可以创建数据共享目录体系；

数据查询：用户在数据查询可以依据数据共享目录来快速查找与定位相关数据并且可以对该数据进行使用权限的申请；

流程管理；在流程管理用户可以新建数据的上架流程、下架流程、申请流程，用户依据相应的流程进行数据权限的申请通过后即可获得该数据的使用权限；

具体的，如图7所示，数据表管理模块用于同步数据中心下各个数据库中的所有数据表，在目录管理模块中进行数据目录的创建，创建完成后在数据表、API、文件管理模块中与数据目录进行关联编辑，在流程管理模块中对数据表、API和文件进行上架，以及数据使用权限申请的审批流程，上架、审批通过后，在数据查询模块的对应数据目录查看上架的数据表、API和文件；

具体的，如图8所示，任务调度模块包括任务执行器和调度中心，任务执行器根据配置的调度中心的地址，自动注册到调度中，达到任务触发条件，调度中心下发任务，任务执行器基于线程池执行任务，并将执行结果放入内存队列中，执行日志写入日志文件中，任务执行器回调线程消费内存队列中的执行结果，主动上报给调度中心，在调度中心查看任务日志，调度中心请求任务执行器，任务执行器读取日志文件并返回日志详情；

具体的，如图9所示，任务调度模块对任务进行统一管控，可查看周期任务与手动任务，周期任务可在调度周期中自动运行，手动任务手动点击运行，运行结束可查看周期实例与手动实例，查看任务的运行结果以及任务的运行日志，周期任务也可支持手动运行、支持冻结任务以及对周期任务添加报警，在任务自动周期执行的过程中可通过报警将任务执行成功、任务失败、任务未执行的三种情况推送给负责人，方便负责人及时进行处理；

进一步地，如在数据开发模块创建了sex字段的数据规范处理的周期任务，设置这个周期任务的调度周期的时间粒度为每天执行一次，那么就可以在任务调度模块查找到该任务，查看该任务的运行情况以及运行日志，以及支持对该任务添加报警将任务执行成功、任务失败、任务未执行的三种情况推送给负责人，方便负责人及时进行处理，任务执行成功即实现了数据规范化，那么重新回到数据开发模块创建数据推送(kafka)或是数据同步的手动任务，任务调度模块手动运行任务成功后即实现了将数据推送平台创建的数据中心下的主题库中；

运维监控模块对PssS平台的全部任务进行监控，任务出现异常时发出警告以提醒处理；

通过数据安全模块对数据接入到形成数据资产对外提供服务的全过程中对数据实现保护，敏感数据进行脱敏处理，数据安全为平台提供安全服务，通过数据安全功能保障数据安全和对应自定义化的安全功能配置；

具体的，如图10所示，从数据开发模块实现数据的接入，再通过数据开发模块下的数据中心对各个数据划分主题库进行分类存储，在数据分类存储的过程中数据安全模块对数据进行存储加密以及对敏感数据进行数据脱敏，对于达到有效保护的数据方可进行数据的应用以及传输，数据的传输过程也进行加密处理，对于传输完成的数据进行归档与备份，在数据生成到销毁的全过程中数据安全模块起到了数据维护安全与数据防泄漏的作用。

以建设数据PaaS层为切入点，帮助企业或者机构快速构建新一代数据仓库，可以在云端或数据中心部署本平台，快速的让企业或者机构拥有大数据处理的能力，帮助用户在单一平台下，实现对海量数据、全类型数据、外部数据的存储归档、搜索访问、计算加工、价值挖掘、安全控制、以及数据资产全生命周期管理。

本平台把现代化的数据基础设施、所有数据之间的关联融合、对数据加工、服务的需求、数据洞察、可视化建模的能力，进行统一的封装，构建一个大数据集成和管理的PaaS平台,减少用户对于数据技术的直接使用，并依据完整成熟的数据运营方法论，帮助企业或者机构快速进行“数字化”转型、全面迈入DT时代。

本平台在数据底层，通过统一的数据采集配置，统一调用数据基础设施，融合关联所有数据，在数据应用层，通过统一的数据API，向数据应用提供透明访问的数据服务，保证数据安全的同时，减少使用数据技术的复杂性，提供了丰富的数据适配器，实现了自由适配各类现代化数据基础设施，平台能通过配置式的、自由组合的方式，与大部分现代的数据基础实施集成，适配传统的关系型数据仓库，平台能快速应用到现有数据仓库中，避免数据的重构和迁移，适配多种数据库，平台能充分利用分布式系统的优势，实现对结构化大数据集的分析和查询的快速响应，能与Hadoop生态的大数据基础高效集成，充分利用HDFS的可靠性和MapReduce的扩展能力，并集成多种大数据计算能力，充分满足大数据的各种需求；

大数据集成和管理的PaaS平台通过采集、存储、计算，治理技术形成统一标准和口径的数据资产服务，解决数据孤岛、数据资产流失、数据服务能力不足、数据价值低的问题，最终使数据能够赋能业务场景、产生业务价值，提供对企业内部全量数据资产的数字化管理，理清大数据平台内数据及数据间的脉络及关系；

(1)数据开发更简单：提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本；

(2)数据服务更便捷：能够赋予数据以业务价值，让各级用户直观的理解数据，并以此为基础应应用输出数据服务；

(3)数据应用更智能：通过不断提升数据面向业务价值，积累沉淀业务模型，能够向上层应用提供更加智能的数据；

(4)数据资产更清晰：从宏观到微观助力数据管理方全面盘点数据资产，理清战略数据资源，做到让管理者心里有数；

(5)数据运营更高效：遵循应用先行，以用带存、由存而因通促用的理念，实现城市数据运营，驱动业务创新；

(6)在实施大数据集成和管理的PaaS平台后，快速实现数字化转型，无形的数据价值将得到提前释放，管理、连接和分析所有企业数据，打通数据孤岛，让数据更容易，更安全的被获取、使用和共享，融合数据碎片，汇聚全域数据，让分析更全面、更精准；

(7)在管理、业务和IT三个层面获得不同的价值回报：

(71)管理价值：通过数据驱动，快速智能决策，实现企业快速增值，加速企业数字化转型，依托数字决策更智能、更有说服力，全面掌控数据资产，加速数据资产价值变现，提供有数据支持的战略决策，更高效的趋势发现、预警能力，通过数据资产价值挖掘，提供独立的数据产品服务和应用；

(72)业务价值：通过数据驱动，快速捕捉业务趋势，达成业务目标，融合结构化和非结构化数据，信息支持更全面，业务分析更快速、精准，IT能力工具化，更快速地得到数据需求响应，更自主地获取、分析数据，融合、连接、深层挖掘后的数据，更直接、准确地揭露业务趋势；

(73)IT价值：通过数据平台一体化，快速响应业务，专注技术创新，帮助IT打通数据孤岛，快速实现系统间数据共享，帮助快速部署企业级数据平台，让数据更容易被管理、更安全被获取，助力传统IT人员，更轻松分析、处理海量复杂数据，帮助IT人员从提数需求中解放出来，专注更有价值的技术工作。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.大数据集成和管理的PaaS平台，其特征在于，包括数据开发模块、数据对账模块和元数据管理系统，所述数据开发模块用于接入多源异构的数据源，并在数据中心对数据进行加工，即利用JDBC或者OGG工具从数据源中抽取数据，对抽取的数据按照规定格式进行解析和清洗，再利用Flume、Kafka组件将解析和清洗后的数据转换为消息队列，通过消息队列将解析和清洗后的数据送至数据中心下的主题库中，其中，所述数据源包括关系型数据库、非关系型数据库、流式数据和大数据组件；

在数据接入时，通过数据结账模块对数据提供方和接入方在某一对账时间节点的数据的完整性、一致性和正确性进行核对和校验，若出现数据提供方和接入方对应的数据条数不一致，则进行数据的重新接入或者增量接入；

所述元数据管理系统用于对数据源进行元数据采集，获悉数据源的构成、数据表结构和索引的元数据信息，获得并展示数据在数据流中的演化过程，支持字段级的数据血缘，以及展示数据全链关系；

所述元数据管理系统包括元模型管理模块、元数据管理模块和元数据采集模块，在所述元模型管理模块进行元模型的构建，在元数据管理模块选择元模型构建元数据采集悬挂路径，在元数据采集模块创建元数据采集任务，并输入任务名称、选择数据源、适配器类型、适配器、采集模式、数据库名和悬挂路径以配置采集任务，运行采集任务采集元数据，采集成功后在元数据管理模块查看采集结果，并对采集的元数据进行发布审批，审批通过的元数据为定版元数据，定版元数据支持进行血缘分析、影响分析、全链分析，以及与标准进行落地评估、生成落地评估报告。

2.根据权利要求1所述的大数据集成和管理的PaaS平台，其特征在于，还包括数据质量模块，所述数据质量模块包括规则录入模块、运行质检模块和问题知识库，平台使用者在规则录入模块录入或者修改数据质量规则，并与主题库中的数据表进行关联，多种规则组成质检方案以进行数据质检，在运行质检模块中运行数据质检任务，并生成质量分析报告，汇总历史质量分析报告发送至问题知识库中，其中，在运行数据质检任务过程中，若数据质检达到告警，则发送告警通知至平台使用者，对数据进行整改，质量整改后的数据返回数据中心下的对应主题库中。

3.根据权利要求2所述的大数据集成和管理的PaaS平台，其特征在于，还包括数据标准模块，在数据标准模块根据标准划分进行不同属性标准的创建，创建的标准发起标准评审，审批通过的标准形成定版数据标准，定版数据标准与定版元数据进行落地映射，实现数据标准的统一，其中，所述标准划分包括业务数据标准、管理数据标准与技术数据标准。

4.根据权利要求3所述的大数据集成和管理的PaaS平台，其特征在于，还包括数据服务模块，所述数据服务模块提供将数据中心的数据表生成数据API的能力。

5.根据权利要求4所述的大数据集成和管理的PaaS平台，其特征在于，还包括数据资产模块，所述数据资产模块包括数据管理模块、数据查询模块和流程管理模块，所述数据管理模块包括数据表管理模块、API管理模块、文件管理模块和目录管理模块；

所述数据表管理模块用于同步数据中心下各个数据库中的所有数据表，在目录管理模块中进行数据目录的创建，创建完成后在数据表、API、文件管理模块中与数据目录进行关联编辑，在流程管理模块中对数据表、API和文件进行上架，以及数据使用权限申请的审批流程，上架、审批通过后，在数据查询模块的对应数据目录查看上架的数据表、API和文件。

6.根据权利要求5所述的大数据集成和管理的PaaS平台，其特征在于，还包括任务调度模块，所述任务调度模块包括任务执行器和调度中心，所述任务执行器根据配置的调度中心的地址，自动注册到调度中，达到任务触发条件，调度中心下发任务，任务执行器基于线程池执行任务，并将执行结果放入内存队列中，执行日志写入日志文件中，任务执行器回调线程消费内存队列中的执行结果，主动上报给调度中心，在调度中心查看任务日志，调度中心请求任务执行器，任务执行器读取日志文件并返回日志详情。

7.根据权利要求6所述的大数据集成和管理的PaaS平台，其特征在于，还包括运维监控模块，所述运维监控模块对PssS平台的全部任务进行监控，任务出现异常时发出警告以提醒处理。

8.根据权利要求7所述的大数据集成和管理的PaaS平台，其特征在于，还包括数据安全模块，通过数据安全模块对数据接入到形成数据资产对外提供服务的全过程中对数据实现保护，敏感数据进行脱敏处理。

9.根据权利要求1所述的大数据集成和管理的PaaS平台，其特征在于，平台使用者在数据对账模块中创建对账策略，创建的对账策略与接入的数据库的同步任务进行关联调度，检验该数据库下数据表的对账情况，并将结果生成报告反馈，其中，所述对账策略包括策略名称、即时对账、定时对账和描述，以及定时对账的规则。

Images