CN105701649A - 一种数据管控系统 - Google Patents

Abstract

本发明实施例公开了一种数据管控系统，解决了由于目前的办公自动化功能过于简单，无法灵活操作，而导致的体验性低的技术问题。本发明实施例包括：hive信息调用单元、查询引擎、任务配置单元；hive信息调用单元，用于调用hive信息并进行动态显示；查询引擎，用于根据获取到的数据查询指令进行对应的数据查询；任务配置单元，用于将个性化报表进行展示给前端，并保存配置后的任务报表。

Description

一种数据管控系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据管控系统。

背景技术

办公自动化(OfficeAutomation,简称OA)是将现代化办公和计算机网络功能结合起来的一种新型的办公方式。办公自动化没有统一的定义，凡是在传统的办公室中采用各种新技术、新机器、新设备从事办公业务，都属于办公自动化的领域。在行政机关中，大多把办公自动化叫做电子政务，企事业单位就都叫OA，即办公自动化。通过实现办公自动化，或者说实现数字化办公，可以优化现有的管理组织结构，调整管理体制，在提高效率的基础上，增加协同办公能力，强化决策的一致性，最后实现提高决策效能的目的。

目前的办公自动化系统的数据处理能力低下，当配置更多的功能，从而导致了数据处理效率低的技术问题。

发明内容

本发明实施例提供的一种数据管控系统，解决了由于目前的办公自动化功能过于简单，无法灵活操作，而导致的体验性低的技术问题。

本发明实施例提供的一种数据管控系统，包括：

前端客户端、数据管控平台、Hive服务器和Metasys集群；

所述前端客户端和所述数据管控平台通信连接；

所述数据管控平台与所述Hive服务器、所述Metasys集群通信连接；

其中，所述数据管控平台通过所述Hive服务器调用Hive表，所述数据管控平台通过Metasys集群提取预置的推荐GP，并将所述Hive表和所述推荐GP发送至所述前端客户端进行显示。

可选地，所述数据管控系统还包括：

Redis服务器，与所述数据管控平台通信连接，用于提供Hive的表结构和表信息提供给所述数据管控平台。

可选地，所述数据管控系统还包括：

邮件服务器，与所述Metasys集群通信连接，用于所述Metasys集群下发的邮件报表指令进行对应的邮件任务处理，并将邮件任务推送至所述前端客户端。

可选地，所述数据管控系统还包括：

报表服务器，与所述邮件服务器通信连接。

可选地，所述数据管控系统还包括：

GP数据库，与所述Metasys集群通信连接，用于推送GP数据给所述Metasys集群。

可选地，所述数据管控平台，用于每隔预置时间段定时从metastore同步Hive的数据库和表结构到数据管控平台的redis。

可选地，所述数据管控平台，还用于动态分配到不同的数据查询引擎上进行查询，查询的数据分为presto数据和hive数据。

可选地，所述数据管控平台，还用于用户在数据管控平台的数据订阅模块配置相应的定时任务，通过接口传给metasys调度系统，并将邮件报表服务开放接口给所述Metasys集群的shell调用，生成个性化的邮件正文，定制的邮件附件。

可选地，所述数据管控平台，还用于当用户在数据管控平台的自助报表定义个性化报表，在模块配置相应的定时任务，通过接口传给metasys调度系统，并将邮件报表服务开放接口给metasys的shell调用，生成个性化移动端的报表。

可选地，所述数据管控系统还包括：

大数据平台和仪表盘；

所述大数据平台与所述数据管控平台、所述邮件服务器通信连接；

所述仪表盘与所述报表服务器通信连接。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供的一种数据管控系统，包括：前端客户端、数据管控平台、Hive服务器和Metasys集群；所述前端客户端和所述数据管控平台通信连接；所述数据管控平台与所述Hive服务器、所述Metasys集群通信连接；其中，所述数据管控平台通过所述Hive服务器调用Hive表，所述数据管控平台通过Metasys集群提取预置的推荐GP，并将所述Hive表和所述推荐GP发送至所述前端客户端进行显示。本实施例中，通过数据管控平台通过所述Hive服务器调用Hive表，所述数据管控平台通过Metasys集群提取预置的推荐GP，并将所述Hive表和所述推荐GP发送至所述前端客户端进行显示，解决了由于目前的办公自动化系统的数据处理能力低下，当配置更多的功能，而导致的数据处理效率低的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种数据管控系统的一个实施例的结构示意图；

图2(a)至(c)为数据管控系统处理邮件发送任务的界面示意图；

图3为数据管控系统处理推送GP任务的界面示意图；

图4为数据管控系统处理每日执行任务的界面示意图；

图5为数据管控系统处理推送MySQL任务的界面示意图；

图6(a)至(c)为数据管控系统处理脚本程序分类管理的界面示意图；

图7(a)和(b)为数据管控系统处理脚本程序分享的界面示意图。

具体实施方式

本发明实施例提供的一种数据管控系统，解决了由于目前的办公自动化功能过于简单，无法灵活操作，而导致的体验性低的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种数据管控系统的一个实施例包括：

前端客户端11、数据管控平台12、Hive服务器13和Metasys集群14；

前端客户端11和数据管控平台12通信连接；

数据管控平台12与Hive服务器13、Metasys集群14通信连接；

其中，数据管控平台12通过Hive服务器13调用Hive表，数据管控平台12通过Metasys集群14提取预置的推荐GP，并将Hive表和推荐GP发送至前端客户端11进行显示。

进一步地，数据管控系统还包括：

Redis服务器15，与数据管控平台12通信连接，用于提供Hive的表结构和表信息提供给数据管控平台12。

进一步地，数据管控系统还包括：

邮件服务器16，与Metasys集群14通信连接，用于Metasys集群14下发的邮件报表指令进行对应的邮件任务处理，并将邮件任务推送至前端客户端11。

进一步地，数据管控系统还包括：

报表服务器17，与邮件服务器16通信连接。

进一步地，数据管控系统还包括：

GP数据库18，与Metasys集群14通信连接，用于推送GP数据给Metasys集群14。

进一步地，数据管控平台12，用于每隔预置时间段定时从metastore同步Hive的数据库和表结构到数据管控平台12的redis。

进一步地，数据管控平台12，还用于动态分配到不同的数据查询引擎上进行查询，查询的数据分为presto数据和hive数据，该数据查询可以是通过大数据平台进行查询。

进一步地，数据管控平台12，还用于用户在数据管控平台12的数据订阅模块配置相应的定时任务，通过接口传给metasys调度系统，并将邮件报表服务开放接口给Metasys集群14的shell调用，生成个性化的邮件正文，定制的邮件附件。

进一步地，数据管控平台12，还用于当用户在数据管控平台12的自助报表定义个性化报表，在模块配置相应的定时任务，通过接口传给metasys调度系统，并将邮件报表服务开放接口给metasys的shell调用，生成个性化移动端的报表。

进一步地，数据管控系统还包括：

大数据平台19和仪表盘10；

大数据平台19与数据管控平台12、邮件服务器16通信连接；

仪表盘10与报表服务器17通信连接。

需要说明的是，数据管控平台12定时任务每天定时从metastore同步Hive的数据库和表结构到数据管控平台的Redis服务器15，数据管控平台12通过调用Redis服务器15的数据在数据管控平台12动态显示hive的表结构和表信息，分析师可以在前端客户端11上操作表信息，数据管控平台12可以动态的分配查询引擎到不同的数据查询引擎上进行查询，分为presto和hive。前端客户端11的用户在数据管控平台12的数据订阅模块配置相应的定时任务，通过接口传给metasys调度系统，数据管控平台12的邮件报表服务开放接口给metasys的shell调用，生成个性化的邮件正文，定制的邮件附件。前端客户端11的用户在数据管控平台12的自助报表定义个性化报表，在模块配置相应的定时任务，通过接口传给metasys调度系统，数据管控平台12的邮件报表服务开放接口给metasys的shell调用，生成个性化移动端的报表，还可以指定推送的策略，自助报表支持报表格式的动态扩展。

本实施例中，通过数据管控平台12通过Hive服务器13调用Hive表，数据管控平台12通过Metasys集群14提取预置的推荐GP，并将Hive表和推荐GP发送至前端客户端11进行显示，解决了由于目前的办公自动化系统的数据处理能力低下，当配置更多的功能，而导致的数据处理效率低的技术问题。

为了便于理解，下面分别对各单元及子单元进行应用场景的描述。

如图2(a)至(c)所示，如何创建定时任务——发送邮件

Step1新建任务(点击二级Button新建任务---弹出新建任务表框--按规范填写表单信息)；

Step2提交任务(提交任务—选择调试)；

Step3启用任务(调试通过—启用任务)

若调试失败，则可以编辑任务修改后，重新调试，通过后即可启用。

如图3所示，如何创建定时任务——推送GP

Step1HIVE中建目标表createtabletemp_***.....

Step2数据订阅中新建任务(点击二级Button新建任务---弹出新建任务表框--按规范填写表单信息)

Step3提交任务(提交任务—选择调试)

Step4启用任务(调试通过—启用任务)

若调试失败，则可以编辑任务修改后，重新调试，通过后即可启用

如图4所示，如何创建定时任务——每日执行

Step1新建任务(点击二级Button新建任务---弹出新建任务表框--按规范填写表单信息)

Step2提交任务(提交任务—选择调试)

Step3启用任务(调试通过—启用任务)

若调试失败，则可以编辑任务修改后，重新调试，通过后即可启用

如图5所示，如何创建定时任务——推送MySQL

Step1HIVE中建目标表createtabletemp_***.....

Step2数据订阅中新建任务(点击二级Button新建任务---弹出新建任务表框--按规范填写表单信息)

Step3提交任务(提交任务—选择调试)

Step4启用任务(调试通过—启用任务)

若调试失败，则可以编辑任务修改后，重新调试，通过后即可启用

如图6(a)至(c)所示，如何对编辑好的脚本程序进行分类管理；

1>在左侧树，我的程序根目录下，右键选中新建目录，则会自动在我的程序下新增子目录—>对新增的目录(目前新增目录后名字为默认值，需要选中新增目录右键重命名)进行重命名-->将需要保存在该目录下的文件拖动至该目录下；

2>文件保存时主动选择将该文件保存在已经建好的目录下；

3>可对已保存好的文件或目录，通过左键拖动来调整位置。

如图7(a)和(b)所示，如何将脚本分享给小组其他成员；

系统默认你可以在小组程序中，打开查看同小组其他成员保存的所有程序文件，默认小组其他成员都只能查看的脚本程序，若你想要协同合作，需要其他成员帮你完成下面的程序编辑，你可在文件保存时将文件属性设置为公有。则跟你同小组的其他人，可对你的该份文件进行任意编辑保存工作。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据管控系统，其特征在于，包括：

前端客户端、数据管控平台、Hive服务器和Metasys集群；

所述前端客户端和所述数据管控平台通信连接；

所述数据管控平台与所述Hive服务器、所述Metasys集群通信连接；

其中，所述数据管控平台通过所述Hive服务器调用Hive表，所述数据管控平台通过Metasys集群提取预置的推荐GP，并将所述Hive表和所述推荐GP发送至所述前端客户端进行显示。

2.根据权利要求1所述的数据管控系统，其特征在于，所述数据管控系统还包括：

Redis服务器，与所述数据管控平台通信连接，用于提供Hive的表结构和表信息提供给所述数据管控平台。

3.根据权利要求2所述的数据管控系统，其特征在于，所述数据管控系统还包括：

邮件服务器，与所述Metasys集群通信连接，用于所述Metasys集群下发的邮件报表指令进行对应的邮件任务处理，并将邮件任务推送至所述前端客户端。

4.根据权利要求3所述的数据管控系统，其特征在于，所述数据管控系统还包括：

报表服务器，与所述邮件服务器通信连接。

5.根据权利要求4所述的数据管控系统，其特征在于，所述数据管控系统还包括：

GP数据库，与所述Metasys集群通信连接，用于推送GP数据给所述Metasys集群。

6.根据权利要求5所述的数据管控系统，其特征在于，所述数据管控平台，用于每隔预置时间段定时从metastore同步Hive的数据库和表结构到数据管控平台的redis。

7.根据权利要求6所述的数据管控系统，其特征在于，所述数据管控平台，还用于动态分配到不同的数据查询引擎上进行查询，查询的数据分为presto数据和hive数据。

8.根据权利要求7所述的数据管控系统，其特征在于，所述数据管控平台，还用于用户在数据管控平台的数据订阅模块配置相应的定时任务，通过接口传给metasys调度系统，并将邮件报表服务开放接口给所述Metasys集群的shell调用，生成个性化的邮件正文，定制的邮件附件。

9.根据权利要求7所述的数据管控系统，其特征在于，所述数据管控平台，还用于当用户在数据管控平台的自助报表定义个性化报表，在模块配置相应的定时任务，通过接口传给metasys调度系统，并将邮件报表服务开放接口给metasys的shell调用，生成个性化移动端的报表。

10.根据权利要求9所述的数据管控系统，其特征在于，所述数据管控系统还包括：

大数据平台和仪表盘；

所述大数据平台与所述数据管控平台、所述邮件服务器通信连接；

所述仪表盘与所述报表服务器通信连接。