CN112463771A - 一种数据湖管理平台 - Google Patents

Abstract

本发明申请公开了一种数据湖管理平台，包括操作界面、数据资产目录模块、数据应用模块、数据地图模块、个人中心模块、后台管理模块、数据应用管理模块、系统管理模块、流程管理模块、统计报表模块和系统监控模块；本数据湖管理平台满足基础数据、汇总数据、多维分析等分主题、多层次、各类型应用供数需求提供基础，统一的数据传输、加工、存储、应用，从而构建集团统一数据门户，从数据管理、数据权限、数据资产、数据分析四个方面提供数据服务；对客户领域的数据资产梳理，形成数据资产管理清单；对集团目前的数据采集情况、数据存储情况、数据使用情况等提供可视化的分析视图；制定数据管理规范及流程文档，并固化到数据管理模块。

Description

一种数据湖管理平台

技术领域

本发明涉及一种数据系统，具体涉及一种数据湖管理平台。

背景技术

随着互联网的不断发展，各企业的资料也往往数据化，因此一个企业的数据资料往往会种类繁多，数据庞大，因此如今的企业数据管理都较为混乱，无法快速便捷地调用所需数据，无法对客户领域内的资料进行有效整理和管理，无法对企业内部数据源资产进行可视化管理，无规范流程对企业数据进行归档和调用分析。

发明内容

本发明意在提供一种为企业集团提供统一的数据展示入口，涵盖范围包括集团本部、城市运营、房产开发、金融产业、实业投资、商贸服务、现代服务，从数据地图、数据资产、数据应用、数据分析、数据开放服务等方面提供可视化的数据视图，让数据一目了然的数据湖管理平台。

为达到以上目的，提供如下方案：一种数据湖管理平台，包括操作界面、以及设置在操作界面处的数据资产目录模块、数据应用模块、数据地图模块、个人中心模块、后台管理模块、数据应用管理模块、系统管理模块、流程管理模块、统计报表模块和系统监控模块；

所述操作界面包括各模块的功能界面和简介；

所述数据资产目录模块显示相关数据集信息内容，数据资产目录数据分类分为主题和板块两个入口查看相关数据集；

所述数据应用模块包括展示若干数据应用卡片，用于展示各应用的附件、demo和产品白皮书；

所述数据地图汇总个模块的宏观数据；

所述个人中心模块用于查看用户数据集、数据应用的申请记录以及数据湖管理平台的所有系统信息；

所述后台管理模块用于数据统计分析、用户权限管理、整个系统的全局相关内容进行配置；

所述数据应用管理模块用于前端应用与数据应用页面之间的配置管理；

所述系统管理模块包括同用户管理、角色管理、资源管理和系统权限管理功能；

所述流程管理模块同距用户的申请记录，用于查看用户申请的审核状态；

所述统计报表模块用于统计数据集、数据应用的数据及数据分析；

所述系统监控模块用于查看服务器的信息、记录系统操作日志。

进一步，所述数据资产目录模块包括数据筛选条件模块、数据集列表模块和数据集二级模块；

所述数据筛选条件模块包括数据分类模块和条件筛选模块；

所述数据列表模块展示用户权限内能够看到的所有数据集；

所述数据集二级模块展示各数据集的详细信息。

进一步，所述个人中心模块包括数据集申请记录模块、数据应用申请记录模块和消息模块；

所述数据集申请记录模块分页展示用户申请过的数据集；

所述数据应用申请记录模块用于查看用户申请过的数据应用；

所述消息模块用于展示所有的系统通知消息。

进一步，所述后台管理模块包括项目看板模块、数据资产管理模块、数据地图管理模块；

所述项目看板模块用于展示数据集、数据应用的申请记录及数据分析；

所述数据资产管理模块包括板块、主体、数据集、搜索及操作界面的展示和配置管理；

所述数据地图管理模块用于前端应用与数据地图模块页面的配置管理。

进一步，所述流程中心模块包括流程提醒模块、数据集申请记录模块、数据应用申请记录模块。

进一步，所述统计报表模块包括数据集下载分析模块和数据应用分析模块；

所述数据集下载分析模块用于数据集的统计与分析；

所述数据应用分析模块用于数据应用的统计和数据分析以及数据会汇聚分析。

进一步，所述系统监控模块包括监控信息模块、系统日志模块和数据审计日志模块；

所述监控信息模块用于查看系统服务器的信息；

所述系统日志模块用于记录用户在系统内访问的模块及其时间；

所述数据审计日志模块用于记录数据表操作的日志信息。

本发明的优点在于：本数据湖管理平台满足基础数据、汇总数据、多维分析等分主题、多层次、各类型应用供数需求提供基础，统一的数据传输、加工、存储、应用，从而构建集团统一数据门户，从数据管理、数据权限、数据资产、数据分析四个方面提供数据服务；对客户领域的数据资产梳理，形成数据资产管理清单，并提供清晰可见的数据资产视图，让业务人员对集团数据资产可见、可申请、可使用；对集团目前的数据采集情况、数据存储情况、数据使用情况等提供可视化的分析视图，让管理者对数据情况一目了然；制定数据管理规范及流程文档，并固化到数据管理模块，让数据运维流程化、标准化。

具体实施方式

下面通过具体实施方式进一步详细的说明：

一种数据湖管理平台，包括操作界面、以及设置在操作界面处的数据资产目录模块、数据应用模块、数据地图模块、个人中心模块、后台管理模块、数据应用管理模块、系统管理模块、流程管理模块、统计报表模块和系统监控模块；

所述操作界面包括各模块的功能界面和简介；操作界面包括动态banner图、板块和主题分类及简介、以及数据热点三个功能模块；操作界面首页主要为展示数据信息、搜索、点击跳转到其他相关页面。

所述数据资产目录模块显示相关数据集信息内容，数据资产目录数据分类分为主题和板块两个入口查看相关数据集；数据资产目录模块显示相关数据集信息内容，数据资产目录数据分类分为主题和板块两个入口查看相关数据集，也可以根据“更新频次”、“更新时间”、“名称排序”、“访问量”、“下载量”、“关键字搜索”筛选条件查看相关数据集。点击数据集可进入查看数据集详情。数据资产目录页面包括数据筛选条件、数据集列表、数据集信息二级页面三个功能。

所述数据应用模块包括展示若干数据应用卡片，用于展示各应用的附件、demo和产品白皮书；通过点击数据应用模块可跳转查看应用的附件和demo，产品白皮书等，可进行权限申请，申请结果在个人中心的消息中返回。

所述数据地图汇总个模块的宏观数据；数据地图划分为业务视图、基础数据、资产主题信息、数据汇聚情况、数据体量、数据更新频率、数据资产目录概览、访问情况、热门搜索九个区域。以图表、柱状图、饼图、波形图、滚动视图等形式清晰明了地展示数据的信息。

所述个人中心模块用于查看用户数据集、数据应用的申请记录以及数据湖管理平台的所有系统信息；个人中心模块划分为数据集申请记录、数据应用申请记录、消息三个tab，可切换tab查看不同的列表；其中的导航栏的消息通知图标会显示最新的系统消息。

所述后台管理模块用于数据统计分析、用户权限管理、整个系统的全局相关内容进行配置；可划分为项目看板、数据资产管理、数据地图管理、数据应用管理、系统管理、流程中心、统计报表、系统监控八个菜单，部分菜单有权限限制，没有权限的用户不显示。

所述数据应用管理模块用于前端应用与数据应用页面之间的配置管理；数据应用管理模块包括应用配置管理用于前台-数据应用配置管理，可查看、创建、编辑、删除数据应用的数据，进入编辑页面进行编辑，更新后前台页面对应更新最新数据。

所述系统管理模块包括同用户管理、角色管理、资源管理和系统权限管理功能；

所述流程管理模块同距用户的申请记录，用于查看用户申请的审核状态；分为流程提醒、数据集申请记录、数据应用申请记录三个tab。

所述统计报表模块用于统计数据集、数据应用的数据及数据分析；以图表的形式直观展示统计信息的属性，更清晰的了解数据间的比例关系及变化趋势；分为数据集下载分析、数据应用分析两个tab；没有权限的用户不显示此菜单栏的入口。

所述系统监控模块用于查看服务器的信息、记录系统操作日志；分为监控信息、系统日志、数据审计日志三个tab，没有权限的用户不显示此菜单栏的入口。

所述数据资产目录模块包括数据筛选条件模块、数据集列表模块和数据集二级模块；

所述数据筛选条件模块包括数据分类模块和条件筛选模块；数据分模块通过更新频次、更新时间、开放等级以及搜索栏都可点击作为筛选条件筛选出对应的数据集列表，条件筛选模块通过更新时间、名称排序、访问量、下载量可对筛选出的数据进行选择排序；没有权限的数据集不显示。

所述数据列表模块展示用户权限内能够看到的所有数据集；数据列表模块默认展示用户权限能看到的所有数据集，根据筛选条件会加载出对应的数据集信息，点击数据集跳转进入数据集二级模块的页面。

所述数据集二级模块展示各数据集的详细信息；数据集额日记模块的数据集信息页面展示数据集详细信息，包括数据预览列表五条数据、数据下载页，数据集信息均由管理员在后台配置，根据数据集的开放等级和配置决定该数据集能否下载或预览，开放等级分为三个等级：公开/授权/保密，公开的数据集可预览和直接下载；授权的数据集需申请权限通过后，才能下载；保密的数据集不可下载。

所述个人中心模块包括数据集申请记录模块、数据应用申请记录模块和消息模块；

所述数据集申请记录模块分页展示用户申请过的数据集；数据集申请记录模块可通过审核状态筛选展示不同状态的数据集列表，点击详情可进入查看数据集的审核进度以及数据预览。

所述数据应用申请记录模块用于查看用户申请过的数据应用；可点击操作一列访问、或查看附件/demo。

所述消息模块用于展示所有的系统通知消息；主要包括我的消息和消息通知功能；我的消息主要展示所有系统通知消息、数据集/数据应用的申请记录，可通过消息的读取状态筛选展示全部/未读状态的消息列表，点击“查看”可跳转进入对应的页面，如数据集的通知则跳转进入数据集详情页，如数据应用的申请通知则跳转进入数据应用页面；消息通知是显示系统消息的通知栏，与我的消息-未读消息的数据同步，点击消息可跳转到对应到页面。

所述后台管理模块包括项目看板模块、数据资产管理模块、数据地图管理模块；

所述项目看板模块用于展示数据集、数据应用的申请记录及数据分析；可划分为快捷入口、数据集申请记录、数据集申请人所属板块占比情况、数据应用申请记录、数据应用申请人所属板块占比情况、数据集下载分析六个功能，快捷入口由权限控制，该用户如无权限则不显示。用饼图、柱状图的形式统计分析数据。

所述数据资产管理模块包括板块、主体、数据集、搜索及操作界面的展示和配置管理；分为板块管理、主题管理、数据集管理、搜索配置、banner管理五个子菜单，没有权限的用户不显示部分子菜单的入口；板块管理用于板块配置管理，可查看、创建、编辑、删除板块的数据，对板块进行编辑，更新后，前台页面对应更新最新数据；主体管理用于主题配置管理，可查看、创建、编辑、删除主题的数据，对主题进行编辑，更新后，前台页面对应更新最新数据；数据集管理用于数据集配置管理，可查看、编辑数据集的数据。在编辑页面可配置数据集的“开放状态”、“开放等级”、数据预览时字段是否脱敏，对数据集进行编辑，更新后，前台页面对应更新最新数据；搜索配置用于搜索配置管理，可查看、创建、编辑、删除数据集的关联关键词。对数据集的关联关键词进行编辑，更新后，前台-首页和数据资产目录tab内的搜索框可进行关键词搜索查询数据集信息；banner管理，可查看、创建、编辑、删除应用页面的banner图，对应用页面的banner图进行编辑，更新后，前端模块与操作界面、数据资产目录、数据应用、个人中心页面的banner图对应显示；问题反馈模块用于查看用户对前台数据集信息的问题反馈，可查看提交用户的姓名、单位、邮箱，以及问题类型和意见反馈。

所述数据地图管理模块用于前端应用与数据地图模块页面的配置管理；具体包括系统接入情况配置和指标信息配置；系统接入情况配置用于前台-数据地图-数据汇聚情况的系统接入情况配置管理，可查看包括板块名称及各自的系统总数、可接入系统总数、已接入系统总数的数据，并且可进入编辑页面进行编辑，更新后前台页面对应更新；指标信息配置用于前台-数据地图的指标信息配置管理，分为基础数据、资产主题信息、数据汇聚情况三个tab，分别可配置数据地图对应的模块。进入指标信息配置页面，默认选中并显示基础数据的页面；基础数据用于前台-数据地图-基础数据模块的指标信息配置，功能主要包括创建、编辑、删除，管理员配置后前台页面对应更新；资产主题信息用于前台-数据地图-资产主题信息模块的指标信息配置。主要功能包括查询、编辑，可控制该主题是否在前台对应位置显示，管理员配置后前台页面对应更新；数据汇聚情况用于前台-数据地图-数据汇聚情况模块的指标信息配置，主要功能包括功能主要包括创建、编辑、删除，管理员配置后前台页面对应更新。

所述流程中心模块包括流程提醒模块、数据集申请记录模块、数据应用申请记录模块；流程管理用于统计超过五天没有受理审核的数据集申请记录；数据集申请记录用于统计用户的数据集申请记录，可查看包括申请人、申请人组织、数据集名称、提交申请时间、审核状态；数据应用申请记录——用于统计用户的数据应用申请记录，可查看包括申请人、申请人组织、数据应用名称、申请时间、提交申请时间。

所述统计报表模块包括数据集下载分析模块和数据应用分析模块；

所述数据集下载分析模块用于数据集的统计与分析；数据集下载分析模块用于数据集的统计与数据分析，可划分为顶部统计卡片、数据集下载分析、数据更新频率三个模块。

所述数据应用分析模块用于数据应用的统计和数据分析以及数据会汇聚分析；数据应用分析模块用于数据应用的统计和数据分析以及数据汇聚分析，可划分为顶部统计卡片、数据应用分析、数据汇聚情况三个模块。

所述系统监控模块包括监控信息模块、系统日志模块和数据审计日志模块；

所述监控信息模块用于查看系统服务器的信息；监控信息模块用于查看系统服务器的CPU使用率，线程数量，可切换顶部tab查看部署的服务器监控信息。

所述系统日志模块用于记录用户在系统内访问的模块及其时间；系统日志模块用于记录用户在系统内访问页面及其时间。消息内容包括操作用户、操作页面、操作模块、所做操作、操作ip、操作的时间等。

所述数据审计日志模块用于记录数据表操作的日志信息；数据审计日志模块用于记录对数据表操作的日志，包括操作用户、数据内容、数据表名、操作类型及时间。

本数据湖管理平台满足基础数据、汇总数据、多维分析等分主题、多层次、各类型应用供数需求提供基础，统一的数据传输、加工、存储、应用，从而构建集团统一数据门户，从数据管理、数据权限、数据资产、数据分析四个方面提供数据服务；对客户领域的数据资产梳理，形成数据资产管理清单，并提供清晰可见的数据资产视图，让业务人员对集团数据资产可见、可申请、可使用；对集团目前的数据采集情况、数据存储情况、数据使用情况等提供可视化的分析视图，让管理者对数据情况一目了然；制定数据管理规范及流程文档，并固化到数据管理模块，让数据运维流程化、标准化。

以上所述仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的适用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (7)

1.一种数据湖管理平台，其特征在于：包括操作界面、以及设置在操作界面处的数据资产目录模块、数据应用模块、数据地图模块、个人中心模块、后台管理模块、数据应用管理模块、系统管理模块、流程管理模块、统计报表模块和系统监控模块；

所述操作界面包括各模块的功能界面和简介；

所述数据资产目录模块显示相关数据集信息内容，数据资产目录数据分类分为主题和板块两个入口查看相关数据集；

所述数据应用模块包括展示若干数据应用卡片，用于展示各应用的附件、demo和产品白皮书；

所述数据地图汇总个模块的宏观数据；

所述个人中心模块用于查看用户数据集、数据应用的申请记录以及数据湖管理平台的所有系统信息；

所述后台管理模块用于数据统计分析、用户权限管理、整个系统的全局相关内容进行配置；

所述数据应用管理模块用于前端应用与数据应用页面之间的配置管理；

所述系统管理模块包括同用户管理、角色管理、资源管理和系统权限管理功能；

所述流程管理模块同距用户的申请记录，用于查看用户申请的审核状态；

所述统计报表模块用于统计数据集、数据应用的数据及数据分析；

所述系统监控模块用于查看服务器的信息、记录系统操作日志。

2.根据权利要求1所述的数据湖管理平台，其特征在于：所述数据资产目录模块包括数据筛选条件模块、数据集列表模块和数据集二级模块；

所述数据筛选条件模块包括数据分类模块和条件筛选模块；

所述数据列表模块展示用户权限内能够看到的所有数据集；

所述数据集二级模块展示各数据集的详细信息。

3.根据权利要求1所述的数据湖管理平台，其特征在于：所述个人中心模块包括数据集申请记录模块、数据应用申请记录模块和消息模块；

所述数据集申请记录模块分页展示用户申请过的数据集；

所述数据应用申请记录模块用于查看用户申请过的数据应用；

所述消息模块用于展示所有的系统通知消息。

4.根据权利要求1所述的数据湖管理平台，其特征在于：所述后台管理模块包括项目看板模块、数据资产管理模块、数据地图管理模块；

所述项目看板模块用于展示数据集、数据应用的申请记录及数据分析；

所述数据资产管理模块包括板块、主体、数据集、搜索及操作界面的展示和配置管理；

所述数据地图管理模块用于前端应用与数据地图模块页面的配置管理。

5.根据权利要求1所述的数据湖管理平台，其特征在于：所述流程中心模块包括流程提醒模块、数据集申请记录模块、数据应用申请记录模块。

6.根据权利要求1所述的数据湖管理平台，其特征在于：所述统计报表模块包括数据集下载分析模块和数据应用分析模块；

所述数据集下载分析模块用于数据集的统计与分析；

所述数据应用分析模块用于数据应用的统计和数据分析以及数据会汇聚分析。

7.根据权利要求1所述的数据湖管理平台，其特征在于：所述系统监控模块包括监控信息模块、系统日志模块和数据审计日志模块；

所述监控信息模块用于查看系统服务器的信息；

所述系统日志模块用于记录用户在系统内访问的模块及其时间；

所述数据审计日志模块用于记录数据表操作的日志信息。