CN105930511A - 一种answer大数据订阅平台 - Google Patents

一种answer大数据订阅平台 Download PDF

Info

Publication number
CN105930511A
CN105930511A CN201610316463.8A CN201610316463A CN105930511A CN 105930511 A CN105930511 A CN 105930511A CN 201610316463 A CN201610316463 A CN 201610316463A CN 105930511 A CN105930511 A CN 105930511A
Authority
CN
China
Prior art keywords
data
subscription
platform
unit
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610316463.8A
Other languages
English (en)
Inventor
张维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aotian Technology Co ltd
Original Assignee
Shenzhen Aotian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aotian Technology Co ltd filed Critical Shenzhen Aotian Technology Co ltd
Priority to CN201610316463.8A priority Critical patent/CN105930511A/zh
Publication of CN105930511A publication Critical patent/CN105930511A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis

Abstract

本发明公开了一种answer大数据订阅平台，包括元数据管理系统、调度系统、接口系统、权限管理系统和订阅平台整合系统；元数据管理系统用于进行数据源信息的可视化和数据分类；调度系统用于进行数据调度；接口系统用于选择接口服务和选择接口类型；权限管理系统用于确定用户可以看到数据的范围；订阅平台整合系统用于进行数据分析和订阅数据报表。发明降低了企业大数据应用的门槛，提高大数据应用的普及，本套系统能够帮助企业减少大数据专业人员的维护工作，并且通过清晰友好的界面，业务人员也能够使用大数据平台进行数据分析和报表输出，解决了沟通和周期的问题。

Description

一种answer大数据订阅平台
技术领域
本发明属于信息领域，尤其涉及一种answer大数据订阅平台。
背景技术
大数据技术已经应用于各行各业，由于数据量大，需要相关大数据技术才能维护和使用。目前在企业应用中很多时候是由大数据技术专业研发人员收到业务人员需求，按照需求进行大数据报告开发的，现在大数据技术主要基于hadoop，这有别于传统数据仓库的展示方式。整个流程必须经过提需求-评审-开发-输出等一系列活动才能最终输出数据报告，在一系列活动中牵扯业务部门及研发部门的协调，最终才能输出结果。
现有解决方案的问题：一方面由于沟通协调人员多，输出结果也未必完全满足业务部门需求，造成计算资源和沟通成本的提升；另一方面数据是有时效性的，经过一系列活动到最终输出结果，时间周期较长。
目前报表系统较多，大部分都是针对关系型数据库方案，众所周知关系型数据库已经满足不了当前大数据时代的要求，本系统是基于hadoop大数据生态开源架构。
hadoop分布式计算存储平台提供了底层数据处理的方案，但是界面化操作门槛较高。
本发明区别于大数据计算与数据仓库进行数据交换的相关发明，就目前而言很多项目利用大数据集群计算后，导入数据仓库（一般为关系数据库）进行二次分析，输出报表，数据时效性就会降低，并且流程相对复杂不适合业务人员的界面化操作。
发明内容
为解决上述问题，本发明提供了一种answer大数据订阅平台。本发明降低了企业大数据应用的门槛，提高大数据应用的普及，本套系统能够帮助企业减少大数据专业人员的维护工作，并且通过清晰友好的界面，业务人员也能够使用大数据平台进行数据分析和报表输出，解决了沟通和周期的问题。
为达到上述技术效果，本发明的技术方案是：
一种answer大数据订阅平台，包括元数据管理系统、调度系统、接口系统、权限管理系统和订阅平台整合系统；元数据管理系统用于进行数据源信息的可视化和数据分类；调度系统用于进行数据调度；接口系统用于选择接口服务和选择接口类型；权限管理系统用于确定用户可以看到数据的范围；订阅平台整合系统用于进行数据分析和订阅数据报表；订阅平台整合系统包括数据表单元、数据提取单元、数据统计分析单元、订阅配置单元、订阅查看单元和监控数据流程单元；数据表单元用于用户创建和管理自己的数据表，将数据表内的数据导入元数据管理系统；数据提取单元用于提取数据和清理数据；数据统计分析单元用于统计数据，进行数据关联分析，生成维度表和数据报表；订阅配置单元用于配置订阅数据报表的方式；订阅查看单元用于查看订阅的数据报表；监控数据流程单元用于对数据流程进行监控。
进一步的改进，所述订阅配置单元包括数据粒度单元和数据字段单元；数据粒度单元用于按照数据周期粒度查看已有数据资源；数据字段单元用于按照字段查看已有数据资源。
进一步的改进，所述数据周期粒度包括小时、天、周、月和立即执行。
进一步的改进，所述接口类型包括直接将数据导入元数据管理系统的数据库；以报表带中文头输出数据和将文件以订阅名称+时间形式放入FTP目录。
进一步的改进，所述订阅配置单元通过组合条件配置订阅数据报表的方式，组合条件包括对字段的模糊匹配和=、>、>=、<、<=某一时间；订阅配置单元还可通过直接填写SQL脚本配置订阅数据报表的方式。
进一步的改进，订阅查看单元将处于不同服务器的零散文件整合归集，实现统一视图，并进行界面化操作下载数据表。
进一步的改进，权限管理系统限定当前用户只能看到自己的定制的数据报表。
进一步的改进，所述数据提取单元对数据进行单表提取或多表提取。
进一步的改进，所述answer大数据订阅平台为hadoop平台。
本发明的优点：
1.降低企业大数据应用门槛；
2.降低企业大数据运维成本；
3.普及大数据技术。
附图说明
图1为数据分类和数据源信息的界面图；
图2为用户创建数据表的界面图；
图3为清洗的清单数据界面图；
图4为在元数据中查看的界面图；
图5为订阅查看的界面图；
图6为对数据单表提取的界面图；
图7为对数据多表提取的界面图
图8为统计分析界面图；
图9为周期输出界面图；
图10为接口服务界面图；
图11为订阅配置界面图；
图12A为监控数据流程界面图A
图12B为监控数据流程界面图B；
图13为数据订阅界面图；
图14为设置过滤方案的界面图；
图15为用户自行建表的操作界面图。
具体实施方式
以下通过具体实施方式并且结合附图对本发明的技术方案作具体说明。
实施例1
本系统是基于hadoop平台的大数据订阅系统，将元数据管理系统，调度系统，接口系统，权限管理系统，订阅平台整合，形成一套完整的数据处理流程，支持数据的分类，外部数据导入，数据关联分析，流程监控等功能，重点在于用户可以在界面上方便的看到存储在hadoop底层的各类数据文件资源，并且能够单独挑选数据列进行计算分析，最终根据自己的需求及时或周期输出数据报告，数据报告可以通过配置直接导入数据库或以报表文件形式提供查询下载。
Ø数据分类及数据源信息如图1所示
通过元数据管理子系统，可以清楚的了解已有数据资源。
Ø 数据表
l 用户表，用户可以创建管理自己的表，并将自己的数据导入导数据环境如图2所示
l 清单数据，经过清洗的清单数据（即清理删除的数据）如图3所示
l 统计类数据，按业务需求经过统计后的数据宽表，可用于数据关联分析
l 维度表，各种分类ID的关联表
Ø 数据粒度
按照数据周期粒度查看已有数据资源
Ø 数据字段
l 在元数据中查看，如图4所示
Ø 在订阅查看，如图5所示
Ø 提取数据
l 单表，如图6所示
l 多表，如图7所示
Ø 数据统计分析，如图8所示
Ø 周期输出，如图9所示
Ø 报表导入数据库
l 接口服务，如图10所示
l 订阅配置，如图11所示
Ø 监控数据流程如图12所示
2.3 本发明技术方案带来的有益效果
1.降低企业大数据应用门槛；
2.降低企业大数据运维成本；
3.普及大数据技术；
基于hadoop平台的界面化数据订阅分析，将元数据，调度，接口，权限，订阅整合一套流程是本发明的技术关键点。
数据订阅界面，如图13所示。
订阅分为计划报表，按配置报表频率执行：
小时（每小时第几分钟）
天（每天几点）
周（周几，几点，几分）
月（几号，几点，几分）；
及时报表：立即执行。
设置报表有效期：开始时间-结束时间
接口类型：可以选择三项。直接导入数据仓库；以报表带中文头输出，还可以将文件以订阅名称+时间形式放入FTP目录。
激活功能：控制报表是否立即生效。
数据类型选择大项：根据数据源的时间周期，查看数据源信息，勾选需要关联分析的各类数据。
设置显示列：树形展示勾选数据源的各列信息，勾选加至右侧，可选择最终输出报表按任意字段组合排序，支持常用统计函数，灵活调整字段数据。并自断简历各数据源的关联。
设置过滤方案，如图14所示。
独立于显示方案，选择各类数据源的列，按照需求组合条件过滤（=,>,>=,<,<=,模糊匹配等），支持条件分组。
时间设置：可以设置具体报表运行时间。
高级设置：支持直接填写SQL脚本执行。
报表概述：主要是填写报表描述。
用户数据导入：用户需要导入自己已有数据，用户关联各类数据源进行分析输出报表，一种是文件形式，另一种是数据库形式，此类需求在数据仓库中很好实现，在大数据技术下存在技术壁垒，并且很多相关产品暂不支持界面化操作。如下图，用户可以自行建表，对自己建的表数据导入，查询，删除等操作。如图15所示。
操作流程；
数据源本身具有周期性，有的是每天更新一次数据，有的是每小时更新，或者周，月等等。基于数据报告和分析的意义，主题流程如下，重点是整个流程通过界面化操作：
选择数据源周期->选择需要数据源->设置报表相关信息->显示方案->过滤方案->自动执行->界面查看->下载报表。
最终数据报表输出方式；
1.导入数据仓库，有利于数据打通，对接各系统；
2.通过界面查看报表，并下载报表文件。通常大数据计算生成的文件不利于前台展示下载，主要原因在于文件可能分布在不同的服务器上，我们通过将零散文件整合归集，实现统一视图，并支持界面化操作下载文件，这样就不用将数据再导入数据库查看，减少了操作步骤，提高了用户体验；
3.权限控制当面，当前用户只能看到自己的定制的数据报表
上述仅为本发明的一个具体导向实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明的保护范围的行为。

Claims (9)

1.一种answer大数据订阅平台，其特征在于，包括元数据管理系统、调度系统、接口系统、权限管理系统和订阅平台整合系统；元数据管理系统用于进行数据源信息的可视化和数据分类；调度系统用于进行数据调度；接口系统用于选择接口服务和选择接口类型；权限管理系统用于确定用户可以看到数据的范围；订阅平台整合系统用于进行数据分析和订阅数据报表；订阅平台整合系统包括数据表单元、数据提取单元、数据统计分析单元、订阅配置单元、订阅查看单元和监控数据流程单元；数据表单元用于用户创建和管理自己的数据表，将数据表内的数据导入元数据管理系统；数据提取单元用于提取数据和清理数据；数据统计分析单元用于统计数据，进行数据关联分析，生成维度表和数据报表；订阅配置单元用于配置订阅数据报表的方式；订阅查看单元用于查看订阅的数据报表；监控数据流程单元用于对数据流程进行监控。
2.如权利要求1所述的answer大数据订阅平台，其特征在于，所述订阅配置单元包括数据粒度单元和数据字段单元；数据粒度单元用于按照数据周期粒度查看已有数据资源；数据字段单元用于按照字段查看已有数据资源。
3.如权利要求2所述的answer大数据订阅平台，其特征在于，所述数据周期粒度包括小时、天、周、月和立即执行。
4.如权利要求1所述的answer大数据订阅平台，其特征在于，所述接口类型包括直接将数据导入元数据管理系统的数据库；以报表带中文头输出数据和将文件以订阅名称+时间形式放入FTP目录。
5.如权利要求1所述的answer大数据订阅平台，其特征在于，所述订阅配置单元通过组合条件配置订阅数据报表的方式，组合条件包括对字段的模糊匹配和=、>、>=、<、<=某一时间；订阅配置单元还可通过直接填写SQL脚本配置订阅数据报表的方式。
6.如权利要求1所述的answer大数据订阅平台，其特征在于，订阅查看单元将处于不同服务器的零散文件整合归集，实现统一视图，并进行界面化操作下载数据表。
7.如权利要求1所述的answer大数据订阅平台，其特征在于，权限管理系统限定当前用户只能看到自己的定制的数据报表。
8.如权利要求1所述的answer大数据订阅平台，其特征在于，所述数据提取单元对数据进行单表提取或多表提取。
9.如权利要求1所述的answer大数据订阅平台，其特征在于，所述answer大数据订阅平台为hadoop平台。
CN201610316463.8A 2016-05-12 2016-05-12 一种answer大数据订阅平台 Pending CN105930511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610316463.8A CN105930511A (zh) 2016-05-12 2016-05-12 一种answer大数据订阅平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610316463.8A CN105930511A (zh) 2016-05-12 2016-05-12 一种answer大数据订阅平台

Publications (1)

Publication Number Publication Date
CN105930511A true CN105930511A (zh) 2016-09-07

Family

ID=56834813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610316463.8A Pending CN105930511A (zh) 2016-05-12 2016-05-12 一种answer大数据订阅平台

Country Status (1)

Country Link
CN (1) CN105930511A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392421A (zh) * 2017-06-12 2017-11-24 安徽中控仪表有限公司 一种能源监控优化管理系统平台
CN107562790A (zh) * 2017-07-31 2018-01-09 北京北信源软件股份有限公司 一种实现数据处理批量入库的方法和系统
CN108572945A (zh) * 2018-03-09 2018-09-25 吉贝克信息技术（北京）有限公司 创建报表的方法、系统、存储介质、及电子设备
CN109379399A (zh) * 2018-08-31 2019-02-22 杭州东方通信软件技术有限公司 一种基于元数据的数据共享自订阅处理方法及系统
CN109857967A (zh) * 2019-01-09 2019-06-07 平安科技（深圳）有限公司 基于大数据的报表订阅方法及系统
CN110737694A (zh) * 2019-09-17 2020-01-31 中电万维信息技术有限责任公司 一种政务数据资源目录智能订阅方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075307A (zh) * 2006-05-18 2007-11-21 徐明达 报表检索与呈现的方法及系统
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN102841938A (zh) * 2012-08-14 2012-12-26 北京久其软件股份有限公司 一种参数化报表的生成方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075307A (zh) * 2006-05-18 2007-11-21 徐明达 报表检索与呈现的方法及系统
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN102841938A (zh) * 2012-08-14 2012-12-26 北京久其软件股份有限公司 一种参数化报表的生成方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392421A (zh) * 2017-06-12 2017-11-24 安徽中控仪表有限公司 一种能源监控优化管理系统平台
CN107562790A (zh) * 2017-07-31 2018-01-09 北京北信源软件股份有限公司 一种实现数据处理批量入库的方法和系统
CN107562790B (zh) * 2017-07-31 2020-05-01 北京北信源软件股份有限公司 一种实现数据处理批量入库的方法和系统
CN108572945A (zh) * 2018-03-09 2018-09-25 吉贝克信息技术（北京）有限公司 创建报表的方法、系统、存储介质、及电子设备
CN109379399A (zh) * 2018-08-31 2019-02-22 杭州东方通信软件技术有限公司 一种基于元数据的数据共享自订阅处理方法及系统
CN109379399B (zh) * 2018-08-31 2021-08-24 杭州东方通信软件技术有限公司 一种基于元数据的数据共享自订阅处理方法及系统
CN109857967A (zh) * 2019-01-09 2019-06-07 平安科技（深圳）有限公司 基于大数据的报表订阅方法及系统
CN109857967B (zh) * 2019-01-09 2024-03-29 平安科技（深圳）有限公司 基于大数据的报表订阅方法及系统
CN110737694A (zh) * 2019-09-17 2020-01-31 中电万维信息技术有限责任公司 一种政务数据资源目录智能订阅方法

Similar Documents

Publication Publication Date Title
CN105930511A (zh) 一种answer大数据订阅平台
CN106651633B (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN104063411B (zh) 基于波特五力模型的企业情报收集方法
CN104809634B (zh) 旅游数据调研与监测系统
CN110163621A (zh) 一种电力客服大数据决策支持系统
CN103514514A (zh) 电力营销业务数据在线监测方法
CN109409678B (zh) 一种应用于电网的高效多功能技术标准信息系统
CN102929892A (zh) 基于社交网络的信息精准推广系统及方法
CN106815709A (zh) 一种服务快速响应中心支撑系统及方法
CN107909300A (zh) 智能工厂管理平台和方法
CN102855525B (zh) 一种居民用户负荷预测分析系统和方法
CN105956048A (zh) 一种社区服务大数据算法挖掘系统
CN105512790A (zh) 一体化运维管理系统
CN103377432A (zh) 智能客服营销分析系统
CN103136335A (zh) 一种基于数据平台的数据控制方法
CN101373533A (zh) 基于移动通信信令网关的实时精确营销装置及数据处理方法
CN102567531B (zh) 一种通用的轻量级数据库状态监控方法
CN109993479A (zh) 采购数据处理方法、装置、存储介质及服务器
CN109558991B (zh) 基于自贩机的货道量推荐方法、装置、设备及存储介质
CN102056351A (zh) 一种推送服务系统及方法
CN107993004A (zh) 一种用电信息处理系统和方法
CN103824150A (zh) 一种食品安全监控系统
Mazzuto et al. A big data analytics approach to quality, reliability and risk management
CN106355489A (zh) 一种面向管理的数据中心系统及数据处理方法
CN102663613A (zh) 一种客户数据处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160907

RJ01 Rejection of invention patent application after publication