CN106326400A - 基于多维数据集的数据处理系统 - Google Patents

基于多维数据集的数据处理系统 Download PDF

Info

Publication number
CN106326400A
CN106326400A CN201610700763.6A CN201610700763A CN106326400A CN 106326400 A CN106326400 A CN 106326400A CN 201610700763 A CN201610700763 A CN 201610700763A CN 106326400 A CN106326400 A CN 106326400A
Authority
CN
China
Prior art keywords
data
module
cube
dimension
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610700763.6A
Other languages
English (en)
Inventor
朱焰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Calabar Inforamtion Technology Ltd By Share Ltd
Original Assignee
Chengdu Calabar Inforamtion Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Calabar Inforamtion Technology Ltd By Share Ltd filed Critical Chengdu Calabar Inforamtion Technology Ltd By Share Ltd
Priority to CN201610700763.6A priority Critical patent/CN106326400A/zh
Publication of CN106326400A publication Critical patent/CN106326400A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了基于多维数据集的数据处理系统，包括：数据采集模块：从各类数据源收集数据到数据处理中心；多维数据集处理模块：针对采集到的各类数据分别存储用户输入的扩展字段，为扩展字段定义扩展属性；数据存储管理模块：针对经过所述多维数据集处理模块处理的数据进行存储管理，数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，数据监控模块：对所述数据采集模块中的数据收集过程、多维数据集处理模块的多维度数据集、数据服务模块中的数据访问过程进行监控记录和处理。本发明改善了海量数据的访问效率低下，浪费时间的问题，减少用户扩展字段为维度进行多维数据分析而占用的时间和系统资源。

Description

基于多维数据集的数据处理系统
技术领域
本发明涉及数据访问，具体涉及基于多维数据集的数据处理系统。
背景技术
联机分析技术是一种常用的商业智能分析方法，多维数据集是进行联机分析处理分析的基础，多维数据集中都包含一个事实表，事实表存储分析主题中主要的业务数据，对应一个数据库表或视图，其中我们也是通过建立多维数据集生成用户扩展字段事实表。
出于用户业务需要的灵活性，现在使用的业务系统也具有用户扩展字段功能。例如，当考核系统部署后并未定义有哪些考核指标，这个时候随着业务的发展，用户相继定义了数量、得分、奖金这类考核指标，但是这些指标都是用户需要扩展的字段，系统的部署这时候也没有完全生成。要根据这类用户扩展字段为维度进行多维数据分析，就会需要系统后台人工操作执行并产生新的多维数据集而且占用大量的时间和系统资源，不仅浪费时间，而且效率低下。
发明内容
本发明所要解决的技术问题是海量数据的访问效率低下，时间占用太多，目的在于提供基于多维数据集的数据处理系统，减少用户扩展字段为维度进行多维数据分析而占用的时间和系统资源。
本发明通过下述技术方案实现：
基于多维数据集的数据处理系统，包括：
数据采集模块：从各类数据源收集数据到数据处理中心，针对所收集的各类数据进行初步加工，即格式检查和标准化处理；
多维数据集处理模块：针对采集到的各类数据分别存储用户输入的扩展字段，为扩展字段定义扩展属性，通过视图定义将扩展字段转换为多行形式的视图，将多行形式的视图作为事实表根据扩展属性与预设的维表关联生成多维数据集；通过触发器调用所述视图定义的存储过程动态更新所述视图定义对应的视图；将多维数据集与分析软件进行链接，对所述扩展字段进行转置展示，同时对多维数据集进行多维分析；
数据存储管理模块：针对经过所述多维数据集处理模块处理的数据进行存储管理，所述数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迁移与回迁、数据归档和数据访问接口；
数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理；
数据监控模块：对所述数据采集模块中的数据收集过程、多维数据集处理模块的多维度数据集、数据服务模块中的数据访问过程进行监控记录和处理。在数据处理的过程中，从大量数据中查找需要访问的资料采用一般的方式很费时间，使用多维数据集可以节约时间和精力，减少繁琐的查询工作。
数据存储管理模块具有集中化备份管理、集中化复制管理、连续数据保护、分析和报告和简化管理的优点，提高了数据库可用性、增加了应用程序正常运行时间、减少了业务风险。
进一步地，扩展属性映射到数据源视图中的维度表或视图中的一列或多列。
进一步地，分析软件包括excel数据透视表。
本发明与现有技术相比，具有如下的优点和有益效果：解决海量数据的访问效率低下，浪费时间的问题，减少用户扩展字段为维度进行多维数据分析而占用的时间和系统资源。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，基于多维数据集的数据处理系统，包括：
数据采集模块：从各类数据源收集数据到数据处理中心，针对所收集的各类数据进行初步加工，即格式检查和标准化处理；在本实施例中数据采集模块的数据采集主要针对数字信号。
多维数据集处理模块：针对采集到的各类数据分别存储用户输入的扩展字段，为扩展字段定义扩展属性，通过视图定义将扩展字段转换为多行形式的视图，将多行形式的视图作为事实表根据扩展属性与预设的维表关联生成多维数据集；通过触发器调用所述视图定义的存储过程动态更新所述视图定义对应的视图；将多维数据集与分析软件进行链接，对所述扩展字段进行转置展示，同时对多维数据集进行多维分析；本实施例中多维数据集基于OLAP工具的开发环境、统计分析、时间序列分析、财政报告、用户接口、多层体系结构、图表的功能。
数据存储管理模块：针对经过所述多维数据集处理模块处理的数据进行存储管理，所述数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迁移与回迁、数据归档和数据访问接口；本实施例中数据存储管理模块使用了SAN的存储方式，SAN主要包括存储和备份设备、光纤通道网络连接部件、应用和管理软件，SAN的优势在于网络部署容易、高速存储性能和良好的扩展能力。
数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理；
数据监控模块：对所述数据采集模块中的数据收集过程、多维数据集处理模块的多维度数据集、数据服务模块中的数据访问过程进行监控记录和处理。在数据处理的过程中，从大量数据中查找需要访问的资料采用一般的方式很费时间，使用多维数据集可以节约时间和精力，减少繁琐的查询工作。对所述扩展字段进行行列转置展示包括对所述扩展字段进行行列转置展示。分析软件包括excel数据透视表。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于多维数据集的数据处理系统，其特征在于，包括：
数据采集模块：从各类数据源收集数据到数据处理中心，针对所收集的各类数据进行初步加工，即格式检查和标准化处理；
多维数据集处理模块：针对数据采集模块采集到的各类数据，多维数据集处理模块针对各类数据存储用户输入的扩展字段，为扩展字段定义扩展属性，通过视图定义将扩展字段转换为多行形式的视图，将多行形式的视图作为事实表根据扩展属性与预设的维表关联生成多维数据集；通过触发器调用所述视图定义的存储过程动态更新所述视图定义对应的视图；将多维数据集与分析软件进行链接，对所述扩展字段进行转置展示，同时对多维数据集进行多维分析；
数据存储管理模块：针对经过所述多维数据集处理模块处理的数据进行存储管理，所述数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迁移与回迁、数据归档和数据访问接口；
数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理；
数据监控模块：对所述数据采集模块中的数据收集过程、多维数据集处理模块的多维数据集、数据服务模块中的数据访问过程进行监控记录和处理。
2.根据权利要求1所述的基于多维数据集的数据处理系统，其特征在于，所述扩展属性映射到数据源视图中的维度表或视图中的一列或多列。
3.根据权利要求1所述的基于多维数据集的数据处理系统，其特征在于，所述分析软件包括excel数据透视表。
CN201610700763.6A 2016-08-23 2016-08-23 基于多维数据集的数据处理系统 Pending CN106326400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610700763.6A CN106326400A (zh) 2016-08-23 2016-08-23 基于多维数据集的数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610700763.6A CN106326400A (zh) 2016-08-23 2016-08-23 基于多维数据集的数据处理系统

Publications (1)

Publication Number Publication Date
CN106326400A true CN106326400A (zh) 2017-01-11

Family

ID=57741137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610700763.6A Pending CN106326400A (zh) 2016-08-23 2016-08-23 基于多维数据集的数据处理系统

Country Status (1)

Country Link
CN (1) CN106326400A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779873A (zh) * 2017-01-13 2017-05-31 山东浪潮商用系统有限公司 一种基于电信运营商数据采集、汇总、交易的方法
CN107301220A (zh) * 2017-06-16 2017-10-27 百度在线网络技术（北京）有限公司 数据驱动视图的方法、装置、设备及存储介质
CN107753013A (zh) * 2017-11-09 2018-03-06 广州众健医疗科技有限公司 一种心电数据采集器数据处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354178A (zh) * 2011-08-02 2012-02-15 常州节安得能源科技有限公司 能效监控系统
CN103678420A (zh) * 2012-09-25 2014-03-26 北大方正集团有限公司 一种建立多维数据集的方法和多维数据集处理装置
CN205428174U (zh) * 2016-02-10 2016-08-03 天津城建大学 一种远程能耗数据采集系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354178A (zh) * 2011-08-02 2012-02-15 常州节安得能源科技有限公司 能效监控系统
CN103678420A (zh) * 2012-09-25 2014-03-26 北大方正集团有限公司 一种建立多维数据集的方法和多维数据集处理装置
CN205428174U (zh) * 2016-02-10 2016-08-03 天津城建大学 一种远程能耗数据采集系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779873A (zh) * 2017-01-13 2017-05-31 山东浪潮商用系统有限公司 一种基于电信运营商数据采集、汇总、交易的方法
CN107301220A (zh) * 2017-06-16 2017-10-27 百度在线网络技术（北京）有限公司 数据驱动视图的方法、装置、设备及存储介质
CN107301220B (zh) * 2017-06-16 2020-12-11 百度在线网络技术（北京）有限公司 数据驱动视图的方法、装置、设备及存储介质
CN107753013A (zh) * 2017-11-09 2018-03-06 广州众健医疗科技有限公司 一种心电数据采集器数据处理方法

Similar Documents

Publication Publication Date Title
US11989707B1 (en) Assigning raw data size of source data to storage consumption of an account
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
US10417265B2 (en) High performance parallel indexing for forensics and electronic discovery
CN102968374B (zh) 一种数据仓库测试方法
CN109284251A (zh) 日志管理方法、装置、计算机设备以及存储介质
CN110795257A (zh) 处理多集群作业记录的方法、装置、设备及存储介质
CN105824744A (zh) 一种基于b2b平台的实时日志采集分析方法
DE202012013469U1 (de) Datenverarbeitungsdienst
DE202011110890U1 (de) System für die Bereitstellung eines Datenspeicherungs- und Datenverarbeitungsservices
US8005860B1 (en) Object-level database performance management
CN105095247B (zh) 符号数据分析方法和系统
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
CN1859505B (zh) 话单查询系统及查询方法
CN107301214A (zh) 在hive中数据迁移方法、装置及终端设备
CN110928851A (zh) 处理日志信息的方法、装置、设备及存储介质
US8965879B2 (en) Unique join data caching method
US20180276289A1 (en) Efficient database query aggregation of variable length data
CN106326400A (zh) 基于多维数据集的数据处理系统
CN111400361A (zh) 数据实时存储方法、装置、计算机设备和存储介质
CN113688288A (zh) 数据关联分析方法、装置、计算机设备和存储介质
CN105279138B (zh) 一种资讯研究报告自动生成系统
CN107920067B (zh) 一种主动对象存储系统上的入侵检测方法
CN106919566A (zh) 一种基于海量数据的查询统计方法及系统
CN107577809A (zh) 离线小文件处理方法及装置
CN110019152A (zh) 一种大数据清洗方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170111

WD01 Invention patent application deemed withdrawn after publication