CN112306992A - 一种基于互联网的大数据平台 - Google Patents

Abstract

本发明提出的一种基于互联网的大数据平台，包括：大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统和大数据安全管理子系统。本发明通过梳理现有共享开放数据资源、互联网数据资源，建立统一的大数据基础资源库，统一建立数据标准、数据分类，搭建高性能、高可靠的智能分析服务平台。

Description

一种基于互联网的大数据平台

技术领域

本发明涉及大数据技术领域，更具体的说是涉及一种基于互联网的大数据平台。

背景技术

大数据时代的到来，简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。

随着大数据技术的快速发展，为了满足企业对于数据的各种要求，大数据平台应运而生。大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。现有的大数据平台既可以采用开源平台，也可以采用商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台具有数据存储量大，计算速度快，兼容性强等优点，并能提供数据分析功能，符合当前国际大数据产业的发展趋势和产业化应用要求。

然而现有的大数据平台大多功能单一，框架不完善，由于数据处理量巨大，数据安全性有所欠缺，无法实现真正的大数据时代。

发明内容

针对以上问题，本发明的目的在于提供一种基于互联网的大数据平台，通过梳理现有共享开放数据资源、互联网数据资源，建立统一的大数据基础资源库，统一建立数据标准、数据分类，搭建高性能、高可靠的智能分析服务平台。

本发明为实现上述目的，通过以下技术方案实现：一种基于互联网的大数据平台，包括：大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统和大数据安全管理子系统；

所述大数据采集子系统，用于互联网访问进程中的日志采集和数据源数据同步；所述大数据治理子系统，用于设定数据治理标准和数据清洗规则，并配置数据清洗规则，对清洗后的数据进行检查和验证；

所述大数据管理子系统，用于管理数据标准和元数据，并进行元数据亲缘关系配置和数据质量监控；

所述大数据存储子系统，用于建立分布式、关系型存储数据库，并支持选择数据存储方式；

所述大数据资源中心子系统，用于对数据库数据进行分层维护和数据安全管理，设定并执行数据自动备份机制；

所述大数据安全管理子系统，用于收集和汇总子系统产生的信息数据，运用预设风险分析方法对信息数据事件进行统一加工分析，根据分析结果信息数据进行统一监控管理和未知风险预警处理。

进一步，所述大数据采集子系统包括：日志采集单元、数据源数据同步单元和配置单元；

所述日志采集单元包括：

浏览器页面采集模块，用于收集页面的浏览日志和交互操作日志，并在页面日志收集完成后，在服务端进行预设的预处理

客户端日志采集模块，用于通过专用SDK进行客户端的数据采集，采集完成的数据与唯一ID相关联，通过预设插件进行合并，并通过SDK统一的发送；

所述数据源数据同步单元用于通过直接数据源同步、生成数据文件同步和数据库日志同步的方式完成数据同步，具体包括：

第一同步模块，用于连接业务数据库，通过预设接口去读取目标数据库的数据；第二同步模块，用于从数据源系统中生成数据文件，然后通过文件系统同步到目标数据库里；

第三同步模块，用于基于源数据库的日志文件进行同步；

所述配置单元，用于建立大数据采集规则，并进行定时任务配置。

进一步，所述大数据治理子系统包括：

预处理单元，用于将数据导入预处理工具并查看元数据；

清洗单元，用于根据数据清洗规则去除或补全缺失的数据、去除或修改数据的格式和内容、去除或修改数据的逻辑错误、并去除非必要数据；

验证单元，用于根据数据的来源进行关联性验证。

进一步，所述大数据管理子系统包括：

数据标准管理单元，用于定义、维护和展现数据标准，并按照预设流程实现数据标准；

元数据管理单元，用于采集元数据，并对采集的元数据信息进行展示、查询和统计，并按照预设机制完成元数据的影响分析和亲缘分析；

数据质量监控单元，用于根据数据质量检查规则来进行计算和比对，并输出数据质量查询结果和处理结果；

补录单元，用于根据数据质量的处理结果，通过配置补录的字段、格式、检查规则，在后台系统及数据库自动产生补录界面。

进一步，所述元数据管理单元包括：

第一分析模块，用于以元数据的任一物理表或字段为出发点，查找其下游所有层次的影响对象，并将查找结果以图形方式展示；

第二分析模块，用于以元数据的任一物理表或字段为出发点，查找其上游所有层次的对象，并将查找结果以图形方式展示。

进一步，所述大数据存储子系统包括：

查询单元，用于接收用户查询指令，根据预设算法对查询指令进行编译后生成查询程序，执行查询程序并生产查询结果；

监控单元，用于根据数据管理标准执行分布式计算任务，并进行元数据管理和存储节点监控；

部署单元，用于部署分布式计算任务和关系型数据库。

进一步，所述大数据资源中心子系统包括：

数据源管理单元，用于采集预设格式和系统的数据源，并对数据源进行汇总和质量管理；

同步单元，用于将数据源同步到大数据存储子系统中对应的存储数据库中。

进一步，所述大数据安全管理子系统包括：

采集单元，用于收集和汇总大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统在运行过程中产生的信息数据；

扫描单元，用于扫描信息数据中是否含有预设敏感数据，若是，划定含有敏感数据的数据块，并根据预设加密算法对所述数据块进行加密；

加固单元，用于根据含有敏感数据的数据块的数据表找到所属的数据库，针对所属数据库启动访问控制引擎，向用户提供黑白名单和例外策略，并对用户登录行为、用户访问权限进行控制。

对比现有技术，本发明有益效果在于：本发明提供了基于互联网的大数据平台，提供数据采集、数据治理、数据管理、数据存储的基础支撑体系，实现目标数据从“异构”到“同构”的复杂过程，对不同领域的数据进行战略性规划与运用，将各种数据进行汇聚融合，形成大数据资源中心，建立统一的数据管理体系，从全局审视盘点数据内容，实现各种产业链业务数据互联互通。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1是本发明的系统结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做出说明。

如图1所示的一种基于互联网的大数据平台，包括大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统和大数据安全管理子系统。

1、大数据采集子系统，用于互联网访问进程中的日志采集和数据源数据同步。包括：日志采集单元、数据源数据同步单元和配置单元；

其中，日志采集单元包括：

浏览器页面采集模块，用于收集页面的浏览日志和交互操作日志，并在页面日志收集完成后，在服务端进行预设的预处理

客户端日志采集模块，用于通过专用SDK进行客户端的数据采集，采集完成的数据与唯一ID相关联，通过预设插件进行合并，并通过SDK统一的发送。

所述数据源数据同步单元用于通过直接数据源同步、生成数据文件同步和数据库日志同步的方式完成数据同步，具体包括：

第一同步模块，用于连接业务数据库，通过预设接口去读取目标数据库的数据；第二同步模块，用于从数据源系统中生成数据文件，然后通过文件系统同步到目标数据库里；

第三同步模块，用于基于源数据库的日志文件进行同步。

所述配置单元，用于建立大数据采集规则，并进行定时任务配置。

2、大数据治理子系统，用于设定数据治理标准和数据清洗规则，并配置数据清洗规则，对清洗后的数据进行检查和验证。包括：

预处理单元，用于将数据导入预处理工具并查看元数据；

清洗单元，用于根据数据清洗规则去除或补全缺失的数据、去除或修改数据的格式和内容、去除或修改数据的逻辑错误、并去除非必要数据；

验证单元，用于根据数据的来源进行关联性验证。

3、大数据管理子系统，用于管理数据标准和元数据，并进行元数据亲缘关系配置和数据质量监控。包括：

数据标准管理单元，用于定义、维护和展现数据标准，并按照预设流程实现数据标准；

元数据管理单元，用于采集元数据，并对采集的元数据信息进行展示、查询和统计，并按照预设机制完成元数据的影响分析和亲缘分析；

数据质量监控单元，用于根据数据质量检查规则来进行计算和比对，并输出数据质量查询结果和处理结果；

补录单元，用于根据数据质量的处理结果，通过配置补录的字段、格式、检查规则，在后台系统及数据库自动产生补录界面。

其中，元数据管理单元包括：

第一分析模块，用于以元数据的任一物理表或字段为出发点，查找其下游所有层次的影响对象，并将查找结果以图形方式展示；

第二分析模块，用于以元数据的任一物理表或字段为出发点，查找其上游所有层次的对象，并将查找结果以图形方式展示。

4、大数据存储子系统，用于建立分布式、关系型存储数据库，并支持选择数据存储方式。包括：

查询单元，用于接收用户查询指令，根据预设算法对查询指令进行编译后生成查询程序，执行查询程序并生产查询结果；

监控单元，用于根据数据管理标准执行分布式计算任务，并进行元数据管理和存储节点监控；

部署单元，用于部署分布式计算任务和关系型数据库。

5、大数据资源中心子系统，用于对数据库数据进行分层维护和数据安全管理，设定并执行数据自动备份机制。包括：

数据源管理单元，用于采集预设格式和系统的数据源，并对数据源进行汇总和质量管理；

同步单元，用于将数据源同步到大数据存储子系统中对应的存储数据库中。

6、大数据安全管理子系统，用于收集和汇总子系统产生的信息数据，运用预设风险分析方法对信息数据事件进行统一加工分析，根据分析结果信息数据进行统一监控管理和未知风险预警处理。包括：

采集单元，用于收集和汇总大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统在运行过程中产生的信息数据；

扫描单元，用于扫描信息数据中是否含有预设敏感数据，若是，划定含有敏感数据的数据块，并根据预设加密算法对所述数据块进行加密；

加固单元，用于根据含有敏感数据的数据块的数据表找到所属的数据库，针对所属数据库启动访问控制引擎，向用户提供黑白名单和例外策略，并对用户登录行为、用户访问权限进行控制。

本发明采用hadoop+spark技术架构，集成kafka、solr等大数据组件，基于TensorFlow、Caffe、Torch等开源深度学习框架进行自主研发，对外提供数据检索、数据分析等服务。

本发明能够通过梳理现有共享开放数据资源、互联网数据资源，建立统一的大数据基础资源库，统一建立数据标准、数据分类，搭建高性能、高可靠的智能分析服务平台，提供大数据交易平台、金融大数据综合服务系统、政务服务门户、电商大数据系统、旅游大数据系统等分析服务，同时支持更多应用扩展。

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

Claims (8)

1.一种基于互联网的大数据平台，其特征在于，包括：大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统和大数据安全管理子系统；

所述大数据采集子系统，用于互联网访问进程中的日志采集和数据源数据同步；

所述大数据治理子系统，用于设定数据治理标准和数据清洗规则，并配置数据清洗规则，对清洗后的数据进行检查和验证；

所述大数据管理子系统，用于管理数据标准和元数据，并进行元数据亲缘关系配置和数据质量监控；

所述大数据存储子系统，用于建立分布式、关系型存储数据库，并支持选择数据存储方式；

所述大数据资源中心子系统，用于对数据库数据进行分层维护和数据安全管理，设定并执行数据自动备份机制；

所述大数据安全管理子系统，用于收集和汇总子系统产生的信息数据，运用预设风险分析方法对信息数据事件进行统一加工分析，根据分析结果信息数据进行统一监控管理和未知风险预警处理。

2.根据权利要求1所述的基于互联网的大数据平台，其特征在于，所述大数据采集子系统包括：日志采集单元、数据源数据同步单元和配置单元；

所述日志采集单元包括：

浏览器页面采集模块，用于收集页面的浏览日志和交互操作日志，并在页面日志收集完成后，在服务端进行预设的预处理

客户端日志采集模块，用于通过专用SDK进行客户端的数据采集，采集完成的数据与唯一ID相关联，通过预设插件进行合并，并通过SDK统一的发送；

所述数据源数据同步单元用于通过直接数据源同步、生成数据文件同步和数据库日志同步的方式完成数据同步，具体包括：

第一同步模块，用于连接业务数据库，通过预设接口去读取目标数据库的数据；

第二同步模块，用于从数据源系统中生成数据文件，然后通过文件系统同步到目标数据库里；

第三同步模块，用于基于源数据库的日志文件进行同步；

所述配置单元，用于建立大数据采集规则，并进行定时任务配置。

3.根据权利要求1所述基于互联网的大数据平台，其特征在于，所述大数据治理子系统包括：

预处理单元，用于将数据导入预处理工具并查看元数据；

清洗单元，用于根据数据清洗规则去除或补全缺失的数据、去除或修改数据的格式和内容、去除或修改数据的逻辑错误、并去除非必要数据；

验证单元，用于根据数据的来源进行关联性验证。

4.根据权利要求1所述的基于互联网的大数据平台，其特征在于，所述大数据管理子系统包括：

数据标准管理单元，用于定义、维护和展现数据标准，并按照预设流程实现数据标准；

元数据管理单元，用于采集元数据，并对采集的元数据信息进行展示、查询和统计，并按照预设机制完成元数据的影响分析和亲缘分析；

数据质量监控单元，用于根据数据质量检查规则来进行计算和比对，并输出数据质量查询结果和处理结果；

补录单元，用于根据数据质量的处理结果，通过配置补录的字段、格式、检查规则，在后台系统及数据库自动产生补录界面。

5.根据权利要求4所述的基于互联网的大数据平台，其特征在于，所述元数据管理单元包括：

第一分析模块，用于以元数据的任一物理表或字段为出发点，查找其下游所有层次的影响对象，并将查找结果以图形方式展示；

第二分析模块，用于以元数据的任一物理表或字段为出发点，查找其上游所有层次的对象，并将查找结果以图形方式展示。

6.根据权利要求1所述的基于互联网的大数据平台，其特征在于，所述大数据存储子系统包括：

查询单元，用于接收用户查询指令，根据预设算法对查询指令进行编译后生成查询程序，执行查询程序并生产查询结果；

监控单元，用于根据数据管理标准执行分布式计算任务，并进行元数据管理和存储节点监控；

部署单元，用于部署分布式计算任务和关系型数据库。

7.根据权利要求1所述的基于互联网的大数据平台，其特征在于，所述大数据资源中心子系统包括：

数据源管理单元，用于采集预设格式和系统的数据源，并对数据源进行汇总和质量管理；

同步单元，用于将数据源同步到大数据存储子系统中对应的存储数据库中。

8.根据权利要求1所述的基于互联网的大数据平台，其特征在于，所述大数据安全管理子系统包括：

采集单元，用于收集和汇总大数据采集子系统、大数据治理子系统、大数据管理子系统、大数据存储子系统、大数据资源中心子系统在运行过程中产生的信息数据；

扫描单元，用于扫描信息数据中是否含有预设敏感数据，若是，划定含有敏感数据的数据块，并根据预设加密算法对所述数据块进行加密；

加固单元，用于根据含有敏感数据的数据块的数据表找到所属的数据库，针对所属数据库启动访问控制引擎，向用户提供黑白名单和例外策略，并对用户登录行为、用户访问权限进行控制。

Images