CN104794113A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN104794113A
CN104794113A CN201410020273.2A CN201410020273A CN104794113A CN 104794113 A CN104794113 A CN 104794113A CN 201410020273 A CN201410020273 A CN 201410020273A CN 104794113 A CN104794113 A CN 104794113A
Authority
CN
China
Prior art keywords
data
dimension
tolerance
analysis
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410020273.2A
Other languages
English (en)
Other versions
CN104794113B (zh
Inventor
袁银行
洪科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410020273.2A priority Critical patent/CN104794113B/zh
Priority to PCT/CN2014/083255 priority patent/WO2015106559A1/zh
Publication of CN104794113A publication Critical patent/CN104794113A/zh
Application granted granted Critical
Publication of CN104794113B publication Critical patent/CN104794113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种数据处理方法及装置,该方法包括:获取待分析展现的原始数据;通过联机分析处理OLAP对原始数据进行多维分析展现处理;将经过OLAP的多维分析展现结果进行趋势预测处理,通过本发明,解决了相关技术中单独使用多维分析技术或是趋势预测技术均存在优势单一的问题,进而达到了不仅能够了解过去及当前数据的多维度信息,而且还可以对数据将来的发展趋势进行预测,结合了多维度分析和趋势预测的优势,有效地实现了数据的深层研究的效果。

Description

数据处理方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种数据处理方法及装置。
背景技术
随着大数据量时代的到来,对数据信息的分析要求越来越高,联机分析处理(On-LineAnalytical Processing,简称为OLAP)技术应运而生。根据OLAP委员会的定义,它是指使分析人员、管理人员或执行人员能够从多种角度对原始数据中转化出来的、能够真正被用户所理解的、并真实反映企业特性的信息进行快速、一致、交互地存取,从而获得对数据更深入了解的一类软件技术,其特点包括:快速性、可分析性、多维性、信息性。在一个OLAP数据模型中,信息被抽象视为一个立方体(Cube),它包括维度(Dimension)和度量(Measure),这个多维的数据模型使得终端用户提交的复杂查询、报表数据的分类排列、概要数据向详细数据的转化和过滤、数据的切片等工作变得简单。多维分析就是指对以多维形式组织起来的数据采取切片、切块、旋转、上卷、下钻等各种分析动作,以求从多维度剖析数据,使最终用户能从多个角度观察数据库中的数据,从而获取包含在数据中深层次的信息。
数据挖掘是从大量的数据中挖掘出有用的信息,用来解决“数据丰富、知识贫乏”的问题,根据时间序列进行趋势预测是数据挖掘中的一个重要研究部分,所谓时间序列就是将某一指标在不同时间上的不同数据,按照时间的先后顺序排列而成的数列。由于前后时刻数据的相关性,往往呈现某种规律变化。因此时间序列里蕴藏着其他信息所不能代替的知识。
但是目前在多维分析及趋势预测两个方面均是纵向发展,分别在多维分析和趋势预测技术两个方面有较深层次的研究,而对于基于发掘数据多维分析的基础上,对将来的后续发展趋势的研究在相关技术中是空白的,即在相关技术中要么单独地对数据进行多维分析,要么对数据仅进行趋势预测,因此,在相关技术中使用其中任一种技术均存在优势单一性的问题。
发明内容
本发明提供了一种数据处理方法及装置,以至少解决相关技术中单独使用多维分析技术或是趋势预测技术均存在优势单一的问题。
根据本发明的一个方面,提供了一种数据处理方法,包括:获取待分析展现的原始数据;通过联机分析处理OLAP对所述原始数据进行多维分析展现处理;将经过OLAP的多维分析展现结果进行趋势预测处理。
优选地,通过所述OLAP对所述原始数据进行多维分析展现处理包括:依据选择的立方体,创建实时多维分析模型;确定所述实时多维分析模型的维度和度量;对确定的所述维度和度量进行分析操作;将所述原始数据以进行分析操作之后的所述维度和度量进行展现。
优选地,确定所述实时多维分析模型的维度和度量包括:在切片处选择进行分析的维度,移动所述维度至行轴;在列轴处,选择进行展现的度量,调整所述度量的展现顺序。
优选地,对确定的所述维度和度量进行分析操作包括以下至少之一:选择位置钻取方式,其中,在进行上卷和下钻时,所选父节点仍然展现,所选父节点的下一级子节点展开,上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察;选择替换钻取方式,其中,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开;选择排序在前显示的度量、方式及数值;选择过滤组合条件;选择某一维度上数据的统计类型。
优选地,在通过所述OLAP对所述原始数据进行多维分析展现处理之后,还包括:通过以下方式至少之一导出所述多维分析展现结果:excel方式、pdf方式、word方式、csv方式,其中,上述各种方式的显式方式均包含表格形式、图形形式、图表形式。
优选地,将经过所述OLAP的所述多维分析展现结果进行趋势预测处理包括:获取所述多维分析展现结果;根据所述多维分析展现结果,选择预测列及预测数目;采用预定预测算法,对选择的所述预测列及预测数目进行趋势预测处理。
根据本发明的另一方面,提供了一种数据处理装置,包括:获取模块,用于获取待分析展现的原始数据;第一处理模块,用于通过联机分析处理OLAP对所述原始数据进行多维分析展现处理;第二处理模块,用于将经过OLAP的多维分析展现结果进行趋势预测处理。
优选地,所述第一处理模块包括:创建单元,用于依据选择的立方体,创建实时多维分析模型;确定单元,用于确定所述实时多维分析模型的维度和度量;分析单元,用于对确定的所述维度和度量进行分析操作;展现单元,用于将所述原始数据以进行分析操作之后的所述维度和度量进行展现。
优选地,所述确定单元包括:第一确定子单元,用于在切片处选择进行分析的维度,移动所述维度至行轴;第二确定子单元,用于在列轴处,选择进行展现的度量,调整所述度量的展现顺序。
优选地,所述分析单元包括以下至少之一:第一选择子单元,用于选择位置钻取方式,其中,在进行上卷和下钻时,所选父节点仍然展现,所选父节点的下一级子节点展开,上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察;第二选择子单元,用于选择替换钻取方式,其中,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开;第三选择子单元,用于选择排序在前显示的度量、方式及数值;第四选择子单元,用于选择过滤组合条件;第五选择子单元,用于选择某一维度上数据的统计类型。
优选地,该装置还包括:展现模块,用于通过以下方式至少之一导出所述多维分析展现结果:excel方式、pdf方式、word方式、csv方式,其中,上述各种方式的显式方式均包含表格形式、图形形式、图表形式。
优选地,所述第二处理模块包括:获取单元,用于获取所述多维分析展现结果;选择单元,用于根据所述多维分析展现结果,选择预测列及预测数目;预测单元,用于采用预定预测算法,对选择的所述预测列及预测数目进行趋势预测处理。
通过本发明,采用获取待分析展现的原始数据;通过联机分析处理OLAP对所述原始数据进行多维分析展现处理;将经过OLAP的多维分析展现结果进行趋势预测处理,解决了相关技术中单独使用多维分析技术或是趋势预测技术均存在优势单一的问题,进而达到了不仅能够了解过去及当前数据的多维度信息,而且还可以对数据将来的发展趋势进行预测,结合了多维度分析和趋势预测的优势,有效地实现了数据的深层研究的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据处理方法的流程图;
图2是根据本发明实施例的数据处理装置的结构框图;
图3是根据本发明实施例的数据处理装置中第一处理模块24的优选结构框图;
图4是根据本发明实施例的数据处理装置中第一处理模块24中确定单元34的优选结构框图;
图5是根据本发明实施例的数据处理装置中第一处理模块24中分析单元36的优选结构框图;
图6是根据本发明实施例的数据处理装置的优选结构框图;
图7是根据本发明实施例的数据处理装置中第二处理模块26的优选结构框图;
图8是根据本发明优选实施方式的实时多维分析与趋势预测联动分析并展现数据方法原理图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种数据处理方法,图1是根据本发明实施例的数据处理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,获取待分析展现的原始数据;
步骤S104,通过联机分析处理OLAP对原始数据进行多维分析展现处理;
步骤S106,将经过OLAP的多维分析展现结果进行趋势预测处理。
通过上述步骤,在对数据进行多维分析处理的基础上,进行趋势预测分析处理,相对于相关技术中,两种分析处理方式分别独立进行,不仅解决了相关技术中单独使用多维分析技术或是趋势预测技术均存在优势单一的问题,进而达到了不仅能够了解过去及当前数据的多维度信息,而且还可以对数据将来的发展趋势进行预测,结合了多维度分析和趋势预测的优势,有效地实现了数据的深层研究的效果。
优选地,通过OLAP对原始数据进行多维分析展现处理依据处理细则的不同,可以采用多种方式,例如,可以采用以下大致处理:先依据选择的立方体,创建实时多维分析模型;确定实时多维分析模型的维度和度量;对确定的维度和度量进行分析操作;将原始数据以进行分析操作之后的维度和度量进行展现。其中,确定实时多维分析模型的维度和度量可以采用以下处理:在切片处选择进行分析的维度,移动维度至行轴;在列轴处,选择进行展现的度量(即,选择度量中的一个或多个度量成员),调整度量的展现顺序。
对确定的维度和度量进行分析操作可以包括以下至少之一:选择位置钻取方式,其中,在进行上卷和下钻时,所选父节点仍然展现,所选父节点的下一级子节点展开,上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察;选择替换钻取方式,其中,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开;选择排序在前显示的度量、方式及数值(例如,可以是TOPN,且当N为10时,表示某一度量在某一方式下的排序在前的10位度量值);选择过滤组合条件;选择某一维度上数据的统计类型。
优选地,在通过OLAP对原始数据进行多维分析展现处理之后,还包括:通过以下方式至少之一导出多维分析展现结果:excel方式、pdf方式、word方式、csv方式,其中,上述各种方式的显式方式均包含表格形式、图形形式、图表形式。
将经过OLAP的多维分析展现结果进行趋势预测处理时,可以采用以下处理方式:获取多维分析展现结果,例如,可以先获取上述多维分析展现结果的位置,之后再到该位置获取该多维分析展现结果;之后,根据多维分析展现结果,选择预测列及预测数目;最后,在后台采用预定预测算法,对选择的预测列及预测数目进行趋势预测处理。
在本实施例中还提供了一种数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的数据处理装置的结构框图,如图2所示,该装置包括获取模块22、第一处理模块24和第二处理模块26,下面对该装置进行说明。
获取模块22,用于获取待分析展现的原始数据;第一处理模块24,连接至上述获取模块22,用于通过联机分析处理OLAP对原始数据进行多维分析展现处理;第二处理模块26,连接至上述第一处理模块24,用于将经过OLAP的多维分析展现结果进行趋势预测处理。
图3是根据本发明实施例的数据处理装置中第一处理模块24的优选结构框图,如图3所示,该第一处理模块24包括创建单元32、确定单元34、分析单元36和展现单元38,下面对该第一处理模块24进行说明。
创建单元32,用于依据选择的立方体,创建实时多维分析模型;确定单元34,连接至上述创建单元32,用于确定实时多维分析模型的维度和度量;分析单元36,连接至上述确定单元34,用于对确定的维度和度量进行分析操作;展现单元38,连接至上述分析单元36,用于将原始数据以进行分析操作之后的维度和度量进行展现。
图4是根据本发明实施例的数据处理装置中第一处理模块24中确定单元34的优选结构框图,如图4所示,该确定单元34包括第一确定子单元42、第二确定子单元44,下面对该确定单元34进行说明。
第一确定子单元42,用于在切片处选择进行分析的维度,移动维度至行轴;第二确定子单元44,用于在列轴处,选择进行展现的度量,调整度量的展现顺序。
图5是根据本发明实施例的数据处理装置中第一处理模块24中分析单元36的优选结构框图,如图5所示,该分析单元36包括以下至少之一:第一选择子单元50、第二选择子单元52、第三选择子单元54、第四选择子单元56、第五选择子单元58,下面对该分析单元36进行说明。
第一选择子单元50,用于选择位置钻取方式,其中,在进行上卷和下钻时,所选父节点仍然展现,所选父节点的下一级子节点展开,上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察;第二选择子单元52,用于选择替换钻取方式,其中,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开;第三选择子单元54,用于选择排序在前显示的度量、方式及数值;第四选择子单元56,用于选择过滤组合条件;第五选择子单元58,用于选择某一维度上数据的统计类型。
图6是根据本发明实施例的数据处理装置的优选结构框图,如图6所示,该装置除包括图2所示的所有模块外,还包括展现模块62,下面对该展现模块62进行说明。
展现模块62,与上述第一处理模块24和第二处理模块26连接,用于通过以下方式至少之一导出多维分析展现结果:excel方式、pdf方式、word方式、csv方式,其中,上述各种方式的显式方式均包含表格形式、图形形式、图表形式。
图7是根据本发明实施例的数据处理装置中第二处理模块26的优选结构框图,如图7所示,该第二处理模块26包括:获取单元72、选择单元74和预测单元76,下面对该第二处理模块26进行说明。
获取单元72,用于获取多维分析展现结果;选择单元74,连接至上述获取单元72,用于根据多维分析展现结果,选择预测列及预测数目;预测单元76,连接至上述选择单元,用于采用预定预测算法,对选择的预测列及预测数目进行趋势预测处理。
在本实施例中,提供了一种实现实时多维分析与趋势预测联动分析并展现数据的方法,该方法有利于帮助用户进行多角度、灵活动态地分析数据的同时,将实时的多维度、多度量组合的分析结果作为基础数据在多个维度上采用合适的算法进行趋势预测,两者结果联动展现不仅能够帮助用户了解过去及当前的多方位信息,还能为后续产品定位及推广提供一定的参考价值,将多维分析和趋势预测的优势结合起来,解决其中任意一种技术的单一性问题。该方法主要包括如下步骤:
数据提取、转换和加载(Extraction-Transformation-Loading,简称为ETL)组件获取原始数据文件并转换数据文件;将转换数据文件传递给OLAP组件;该OLAP组件分析展现数据;将分析展现数据结果传递给趋势预测组件;趋势预测组件分析并展现数据。
较佳地,OLAP组件分析展现数据可以包含以下步骤:选择合适的模型文件,创建立方体;选择立方体,创建实时多维分析;打开分析,设置维度和度量;对已设置维度和度量的分析进行钻取、TOPN、过滤、小计等分析操作;数据以表格形式展现;对已设置维度和度量的分析进行图片配置;数据以图形形式或以图表共存形式展现;对分析结果导出保存。
较优地,打开分析,设置维度和度量可以采用以下操作:在切片处选择需要进行分析的维度,移动所选维度至行轴,维度设置完毕;在列轴处,选择需要展现的度量成员,调整度量成员的展现顺序,度量成员设置完毕。
其中,对已设置维度和度量的分析进行钻取、TOPN、过滤、小计等分析可以采用以下操作:选择位置钻取方式,在进行上卷(Roll Up)和下钻(Drill Down)时,所选父节点仍然展现,所选父节点的下一级子节点展开;选择替换钻取方式,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开,其中上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察,这两者都是改变维度层次粒度的操作。选择TOPN,设置需要TOP显示的度量、方式及数值,数据以所选方式进行展现。选择过滤,设置过滤组合条件,数据以所选方式进行展现。选择小计,设置某一维度上数据的求和、求平均值、求最大值和求最小值,表格中的数据增加一行小计。
其中,数据以图形形式或以图表共存形式展现可以采用以下操作:在图表共存形式中,可以放大图形,设置为柱状图或饼图时,可以对图形进行下钻;在图形形式及图表形式中,可以调整度量是否显示在图形上。
其中,对分析结果导出保存可以采用如下操作:选择excel方式,可以导出excel文件,根据界面上的显示方式导出,包含表格形式、图形形式、图表共存形式;选择pdf方式,可以导出pdf文件,根据界面上的显示方式导出,包含表格形式、图形形式、图表共存形式;选择word方式,可以导出word文件,根据界面上的显示方式导出,包含表格形式、图形形式、图表共存形式;选择csv方式,可以导出csv文件,根据界面上的显示方式导出,包含表格形式、图形形式、图表共存形式。
较佳地,将分析展现数据结果传递给趋势预测组件;趋势预测组件分析并展现数据可以采用以下较优的处理方式:在实时多维分析界面点击趋势预测按钮;打开趋势预测界面,选择预测列,配置预测数目等;点击预测按钮,获取预测数据并以图形形式展现;对预测结果导出保存。
其中,在实时多维分析界面点击趋势预测按钮可以采用如下操作:点击趋势预测按钮后,OLAP组件生成多维分析数据文件,通知趋势预测组件多维分析数据文件所在位置,趋势预测组件获取多维分析数据文件并生成数据源。
其中,打开趋势预测界面,选择预测列,配置预测数目等可以采用如下操作:在趋势预测界面,预测列中显示所有度量,并默认将第一个度量选中,以图形的形式展现所选度量数据。可以选择不同的度量作为预测列,配置相应的预测数目。
其中,获取预测数据并以图形形式展现可以采用如下操作:在趋势预测组件中,点击预测按钮,前台将预测列和预测数目传递给后台,后台根据参数选择合适的预测算法并进行预测,预测完毕后,返回TaskID,前台根据TaskID查询预测结果,默认将结果以图形形式展现在界面上,同时也可以以表格形式展现数据。
下面结合附图对本发明优选实施方式的实时多维分析与趋势预测联动分析并展现数据的方法进行说明。
需要说明的是,在本发明优选实施方式中,以分组传送网(Packet Transfer Network,简称为PTN)为例进行说明,PTN设备端口业务类型包含2G/3G/LTE/集客/家宽/WLAN,PTN业务数量是指经过端口的业务数量,以条数计算。
维度就是观察数据的一种角度,用户通过维度分析度量数据,在本实例中维度包含时间维度和区域,其中,区域对应到端口;度量是指要分析的指标数据,度量成员包含PTN业务数量/上行流量/下行流量/接收流速/发送流速。
图8是根据本发明优选实施方式的实时多维分析与趋势预测联动分析并展现数据方法原理图,如图8所示,将ETL组件传送的数据通过OLAP组件在界面上进行实时多维分析展现,通过多维分析文件实现实时多维分析与趋势预测联动分析并展现数据。下面对该方案进行说明。
用户打开实时多维分析后,可以设置需要展现的维度和度量,设置完毕后,对打开的数据表格进行位置钻取、替换钻取、TOPN、过滤、小计等分析操作,在进行这些操作时,前台发送MDX语句到后台,后台将MDX语句转换成传统的SQL语句在原始表或者聚集表中进行实时查询,然后将查询结果返回到前台界面,其中,在本实施例中,支持图形及图表共同展现方法,提供线图、柱状图、饼图等设置,提供对柱状图和饼图的下钻功能。在多维分析界面上触发趋势预测时,OLAP组件将生成的多维分析数据文件告知趋势预测组件,趋势预测组件获取此文件及预测所需参数并选择合适的算法进行预测,默认以图形形式展现预测结果,从而实现实时多维分析与趋势预测联动分析并展现数据的目的。因ETL组件主要是对原始数据进行抽取、转换,然后加载到数据库中供后面的OLAP组件进行使用,而本实施例的重点为联合分析及展现数据,故下面对分析及展现数据的两个组件,即OLAP组件和趋势预测组件进行详细描述,ETL组件功能则不赘述。
OLAP组件包含模型管理、立方体管理和实时多维分析三个模块。用户首先根据需要配置一个实例中所涉及到的所有维度及度量信息,即一个模型文件,在这个模型文件中,至少包含如下内容:
所有维度的名称及等级,一个等级包含一个维度表名称及多个层级,比如时间维度名称为Time,对应的等级为Hierarchy,Hierarchy包含一个维度表名称,包含的层级为年、月、日、时、分钟;
有且只有一个立方体模板信息,此立方体模板信息中包含所有的维度信息、度量成员名称及事实表名称。
接着在模型管理模块中上传此模型文件,后台处理此模型文件,生成立方体配置文件。之后,转入立方体管理模块,立方体是由维度构建出来的多维空间,依据模型文件创建立方体,本实例中选择的维度包含时间、区域,选择的度量包含PTN业务数量、上行流量、下行流量、接收流速、发送流速,后台根据所选维度和度量,创建立方体,并在数据库创建对应的聚集表,修改立方体配置文件。立方体创建完毕后,转入实时多维分析模块,创建实时多维分析,实时多维分析是立方体多维空间的一个子集,立方体中的维度对应实时多维分析中的行轴和切片选项,立方体中的度量对应实时多维分析中的列轴选项,其中位于切片的维度不显示在表格上,行轴和列轴的选项显示在表格上。多维分析创建完毕后,打开此分析,默认以表格形式展现数据,进行维度和度量设置,比如将时间和区域维度移至行轴,列轴中的度量值选择PTN业务数量、上行流量及下行流量。选择某个操作,比如选择替换钻取,表格中对于可以进行钻取的维度层级增加上卷或者下钻按钮,因下钻功能用户使用较多,这里以下钻为例进行说明。选择时间维度下钻,年层级的子节点会替代其父节点并展开。在这个过程中,前台根据这些操作组织MDX语句发送至后台的Mondrian进程,Mondrian进程将MDX语句处理,转换成传统的SQL语句,向立方体配置文件中的原始表及聚集表发送SQL请求,其中若有聚集表,则优先从聚集表中获取数据,若无聚集表,则从事实表中获取数据,其中聚集表和事实表中的数据均来自ETL组件实时转换的数据。之后,Mondrian进程将查询结果返回界面,在表格中展现出来。在本实例中,进行第一次钻取之后,表格中展现的是2013年和所有区域对应的PTN业务数量、上行流量及下行流量。其他分析操作,如位置钻取、TOPN、过滤、小计等过程与此类似,在此不一一赘述。图形形式及图表形式共存能够更形象地将数据展现在用户面前。选择图形配置,可以设置各度量成员的图片类型和颜色,本实例中以PTN业务数量为柱状图,颜色为蓝色为例进行讲述。配置完毕后,选择图形展现,可以看到PTN数量显示为柱状图,右键可以选择下钻功能,此处下钻的维度是指在表格展现中离度量最近的维度,比如时间和区域中,时间维度离度量较近,则下钻功能是针对时间维度进行向下替换钻取功能。分析完毕后,用户可以将分析结果导出保存,导出文件的格式包含常见的excel、pdf、word、csv等。
特殊地,分析完毕后,用户可以将已分析的结果进行趋势预测。在分析界面,点击趋势预测按钮,转入趋势预测组件。此过程及趋势预测的过程详细如下。
以上述实时多维分析为例。行轴包含时间维度和区域维度,列轴中的度量PTN业务数量、上行流量、下行流量均勾选。时间维度替换钻取到小时层级,区域维度替换钻取到设备端口层级。
点击趋势预测按钮后,在后台,OLAP组件根据上述分析结果生成多维分析数据文件,通知趋势预测组件此文件所在位置,趋势预测组件获取文件并生成数据源,其中数据源是指趋势预测所需的源文件;在前台,趋势预测界面打开,预测列是从数据源中获取,包含所选的度量,即PTN业务数量、上行流量、下行流量。根据度量的上下顺序,默认显示PTN业务数量,并将其对应的数据在图形中展现出来。此实例中,选择PTN业务数量作为预测列,填写预测数目,点击预测按钮。前台将预测列和预测数目传递给后台,趋势预测组件根据参数选择合适的预测算法并进行预测,预测完毕后,返回TaskID,前台根据TaskID查询预测结果。本实例中,预测结果具体为未来N个小时内,某端口的业务数量分布情况,其中N为预测数目。默认将结果以图形形式展现在界面上,图形中包含三部分数据:检测数据、验证数据、预测数据,其中检测数据是指数据源中的数据,验证数据是预测部分与数据源部分重合的数据,预测数据是用户真正希望预计估算的数据。同时也可以将预测数据用表格形式展现。预测完毕后,用户可以将预测结果中的图形和数据以excel方式导出保存。
以上对本发明实施例及优选实施方式所提供的实现实时多维分析与趋势预测联动分析并展现数据的方法进行了详细的说明。对本领域的技术人员而言,在不背离本发明精神及实质的情况下可以增加或减少多维分析展现操作以及更改趋势预测算法等,但是这些相应的改变和变形都属于本发明所附的权利要求的保护范围。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
获取待分析展现的原始数据;
通过联机分析处理OLAP对所述原始数据进行多维分析展现处理;
将经过OLAP的多维分析展现结果进行趋势预测处理。
2.根据权利要求1所述的方法,其特征在于,通过所述OLAP对所述原始数据进行多维分析展现处理包括:
依据选择的立方体,创建实时多维分析模型;
确定所述实时多维分析模型的维度和度量;
对确定的所述维度和度量进行分析操作;
将所述原始数据以进行分析操作之后的所述维度和度量进行展现。
3.根据权利要求2所述的方法,其特征在于,确定所述实时多维分析模型的维度和度量包括:
在切片处选择进行分析的维度,移动所述维度至行轴;
在列轴处,选择进行展现的度量,调整所述度量的展现顺序。
4.根据权利要求2所述的方法,其特征在于,对确定的所述维度和度量进行分析操作包括以下至少之一:
选择位置钻取方式,其中,在进行上卷和下钻时,所选父节点仍然展现,所选父节点的下一级子节点展开,上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察;
选择替换钻取方式,其中,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开;
选择排序在前显示的度量、方式及数值;
选择过滤组合条件;
选择某一维度上数据的统计类型。
5.根据权利要求1所述的方法,其特征在于,在通过所述OLAP对所述原始数据进行多维分析展现处理之后,还包括:通过以下方式至少之一导出所述多维分析展现结果:
excel方式、pdf方式、word方式、csv方式,其中,上述各种方式的显式方式均包含表格形式、图形形式、图表形式。
6.根据权利要求1所述的方法,其特征在于,将经过所述OLAP的所述多维分析展现结果进行趋势预测处理包括:
获取所述多维分析展现结果;
根据所述多维分析展现结果,选择预测列及预测数目;
采用预定预测算法,对选择的所述预测列及预测数目进行趋势预测处理。
7.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待分析展现的原始数据;
第一处理模块,用于通过联机分析处理OLAP对所述原始数据进行多维分析展现处理;
第二处理模块,用于将经过OLAP的多维分析展现结果进行趋势预测处理。
8.根据权利要求7所述的装置,其特征在于,所述第一处理模块包括:
创建单元,用于依据选择的立方体,创建实时多维分析模型;
确定单元,用于确定所述实时多维分析模型的维度和度量;
分析单元,用于对确定的所述维度和度量进行分析操作;
展现单元,用于将所述原始数据以进行分析操作之后的所述维度和度量进行展现。
9.根据权利要求8所述的装置,其特征在于,所述确定单元包括:
第一确定子单元,用于在切片处选择进行分析的维度,移动所述维度至行轴;
第二确定子单元,用于在列轴处,选择进行展现的度量,调整所述度量的展现顺序。
10.根据权利要求8所述的装置,其特征在于,所述分析单元包括以下至少之一:
第一选择子单元,用于选择位置钻取方式,其中,在进行上卷和下钻时,所选父节点仍然展现,所选父节点的下一级子节点展开,上卷是指在某一维度上将低层次的细节数据概括到高层次的汇总数据,下钻是指从汇总数据深入到细节数据进行观察;
第二选择子单元,用于选择替换钻取方式,其中,在进行上卷和下钻时,所选父节点均被所选父节点的下一级子节点所替换,所有子节点展开;
第三选择子单元,用于选择排序在前显示的度量、方式及数值;
第四选择子单元,用于选择过滤组合条件;
第五选择子单元,用于选择某一维度上数据的统计类型。
11.根据权利要求7所述的装置,其特征在于,还包括:展现模块,用于通过以下方式至少之一导出所述多维分析展现结果:excel方式、pdf方式、word方式、csv方式,其中,上述各种方式的显式方式均包含表格形式、图形形式、图表形式。
12.根据权利要求7所述的装置,其特征在于,所述第二处理模块包括:
获取单元,用于获取所述多维分析展现结果;
选择单元,用于根据所述多维分析展现结果,选择预测列及预测数目;
预测单元,用于采用预定预测算法,对选择的所述预测列及预测数目进行趋势预测处理。
CN201410020273.2A 2014-01-16 2014-01-16 数据处理方法及装置 Active CN104794113B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410020273.2A CN104794113B (zh) 2014-01-16 2014-01-16 数据处理方法及装置
PCT/CN2014/083255 WO2015106559A1 (zh) 2014-01-16 2014-07-29 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410020273.2A CN104794113B (zh) 2014-01-16 2014-01-16 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN104794113A true CN104794113A (zh) 2015-07-22
CN104794113B CN104794113B (zh) 2019-04-23

Family

ID=53542363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410020273.2A Active CN104794113B (zh) 2014-01-16 2014-01-16 数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN104794113B (zh)
WO (1) WO2015106559A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405069A (zh) * 2015-12-02 2016-03-16 国家电网公司 一种购电经营决策分析与数据处理方法
CN106372114A (zh) * 2016-08-23 2017-02-01 电子科技大学 一种基于大数据的联机分析处理系统和方法
CN106598988A (zh) * 2015-10-16 2017-04-26 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN106776515A (zh) * 2016-12-16 2017-05-31 刘立 数据处理的方法及装置
CN106886596A (zh) * 2017-02-23 2017-06-23 山东浪潮云服务信息科技有限公司 一种应用于行政执法领域的案件趋势预测分析通用方法
CN106933845A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 使用sql实现mdx查询效果的方法和装置
CN107767933A (zh) * 2016-08-16 2018-03-06 厦门君沣信息科技有限公司 基于olap的心理态势预警方法及装置
CN107767242A (zh) * 2016-08-15 2018-03-06 平安科技(深圳)有限公司 账务数据处理方法及账务数据处理装置
CN107783982A (zh) * 2016-08-24 2018-03-09 北京国双科技有限公司 数据处理方法及数据处理装置
CN107967338A (zh) * 2017-12-06 2018-04-27 东南大学 一种个人日常行为数据的多维分析方法
CN109063031A (zh) * 2018-07-16 2018-12-21 北京百度网讯科技有限公司 数据钻取方法、装置和服务器
CN109189802A (zh) * 2018-08-13 2019-01-11 成都四方伟业软件股份有限公司 数据处理方法、装置、电子设备及可读存储介质
CN109190984A (zh) * 2018-09-06 2019-01-11 赛尔网络有限公司 基于数据立方体模型的数据处理系统及方法
CN109241159A (zh) * 2018-08-07 2019-01-18 威富通科技有限公司 一种数据立方体的分区查询方法、系统及终端设备
CN110427599A (zh) * 2019-06-06 2019-11-08 北京辰森世纪科技股份有限公司 报表小计的统计方法及装置、存储介质、电子装置
CN112286409A (zh) * 2020-08-21 2021-01-29 上海柯林布瑞信息技术有限公司 数据可视化分析方法及装置、存储介质、终端
CN112527868A (zh) * 2020-12-23 2021-03-19 东莞市盟大塑化科技有限公司 一种数据获取方法、装置、设备及存储介质
CN113160426A (zh) * 2021-03-31 2021-07-23 北京晟世天安科技有限公司 一种新型多维度数据模型展示方法
CN116126647A (zh) * 2023-04-17 2023-05-16 南京飓风引擎信息技术有限公司 一种适配于数字化企业的数据联动分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064923A (zh) * 2012-12-17 2013-04-24 浙江鸿程计算机系统有限公司 一种基于维度层次结构特征的olap查询间距离计算方法
CN103399926A (zh) * 2013-08-05 2013-11-20 河海大学 水利普查数据多维分析服务系统及其封装和实现方法
US20130318031A1 (en) * 2012-05-22 2013-11-28 Jaskaran Singh Bawa Distributed processing of streaming data records
CN103455540A (zh) * 2012-05-29 2013-12-18 Sap股份公司 从数据仓库模型生成内存模型的系统和方法
US20140006443A1 (en) * 2012-03-20 2014-01-02 Schlumberger Technology Corporation Method and system for accessing a virtual seismic cube

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609456A (zh) * 2009-07-09 2009-12-23 河北全通通信有限公司 Olap系统维度异常聚合法
CN101710273B (zh) * 2009-10-28 2013-09-11 金蝶软件(中国)有限公司 联机分析处理服务器中多维查询语句的解析方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140006443A1 (en) * 2012-03-20 2014-01-02 Schlumberger Technology Corporation Method and system for accessing a virtual seismic cube
US20130318031A1 (en) * 2012-05-22 2013-11-28 Jaskaran Singh Bawa Distributed processing of streaming data records
CN103455540A (zh) * 2012-05-29 2013-12-18 Sap股份公司 从数据仓库模型生成内存模型的系统和方法
CN103064923A (zh) * 2012-12-17 2013-04-24 浙江鸿程计算机系统有限公司 一种基于维度层次结构特征的olap查询间距离计算方法
CN103399926A (zh) * 2013-08-05 2013-11-20 河海大学 水利普查数据多维分析服务系统及其封装和实现方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598988B (zh) * 2015-10-16 2020-08-21 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN106598988A (zh) * 2015-10-16 2017-04-26 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN105405069A (zh) * 2015-12-02 2016-03-16 国家电网公司 一种购电经营决策分析与数据处理方法
CN105405069B (zh) * 2015-12-02 2019-12-06 国家电网公司 一种购电经营决策分析与数据处理方法
CN106933845B (zh) * 2015-12-30 2020-07-24 阿里巴巴集团控股有限公司 使用sql实现mdx查询效果的方法和装置
CN106933845A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 使用sql实现mdx查询效果的方法和装置
CN107767242A (zh) * 2016-08-15 2018-03-06 平安科技(深圳)有限公司 账务数据处理方法及账务数据处理装置
CN107767933A (zh) * 2016-08-16 2018-03-06 厦门君沣信息科技有限公司 基于olap的心理态势预警方法及装置
CN106372114B (zh) * 2016-08-23 2019-09-10 电子科技大学 一种基于大数据的联机分析处理系统和方法
CN106372114A (zh) * 2016-08-23 2017-02-01 电子科技大学 一种基于大数据的联机分析处理系统和方法
CN107783982A (zh) * 2016-08-24 2018-03-09 北京国双科技有限公司 数据处理方法及数据处理装置
CN107783982B (zh) * 2016-08-24 2021-09-07 北京国双科技有限公司 数据处理方法及数据处理装置
CN106776515A (zh) * 2016-12-16 2017-05-31 刘立 数据处理的方法及装置
CN106776515B (zh) * 2016-12-16 2020-02-18 刘立 数据处理的方法及装置
CN106886596A (zh) * 2017-02-23 2017-06-23 山东浪潮云服务信息科技有限公司 一种应用于行政执法领域的案件趋势预测分析通用方法
CN107967338A (zh) * 2017-12-06 2018-04-27 东南大学 一种个人日常行为数据的多维分析方法
CN109063031A (zh) * 2018-07-16 2018-12-21 北京百度网讯科技有限公司 数据钻取方法、装置和服务器
CN109063031B (zh) * 2018-07-16 2020-11-20 北京百度网讯科技有限公司 数据钻取方法、装置和服务器
CN109241159B (zh) * 2018-08-07 2021-07-23 威富通科技有限公司 一种数据立方体的分区查询方法、系统及终端设备
CN109241159A (zh) * 2018-08-07 2019-01-18 威富通科技有限公司 一种数据立方体的分区查询方法、系统及终端设备
CN109189802A (zh) * 2018-08-13 2019-01-11 成都四方伟业软件股份有限公司 数据处理方法、装置、电子设备及可读存储介质
CN109190984A (zh) * 2018-09-06 2019-01-11 赛尔网络有限公司 基于数据立方体模型的数据处理系统及方法
CN109190984B (zh) * 2018-09-06 2022-02-22 赛尔网络有限公司 基于数据立方体模型的数据处理系统及方法
CN110427599A (zh) * 2019-06-06 2019-11-08 北京辰森世纪科技股份有限公司 报表小计的统计方法及装置、存储介质、电子装置
CN112286409B (zh) * 2020-08-21 2021-09-24 上海柯林布瑞信息技术有限公司 数据可视化分析方法及装置、存储介质、终端
CN112286409A (zh) * 2020-08-21 2021-01-29 上海柯林布瑞信息技术有限公司 数据可视化分析方法及装置、存储介质、终端
CN112527868A (zh) * 2020-12-23 2021-03-19 东莞市盟大塑化科技有限公司 一种数据获取方法、装置、设备及存储介质
CN113160426A (zh) * 2021-03-31 2021-07-23 北京晟世天安科技有限公司 一种新型多维度数据模型展示方法
CN116126647A (zh) * 2023-04-17 2023-05-16 南京飓风引擎信息技术有限公司 一种适配于数字化企业的数据联动分析系统

Also Published As

Publication number Publication date
CN104794113B (zh) 2019-04-23
WO2015106559A1 (zh) 2015-07-23

Similar Documents

Publication Publication Date Title
CN104794113A (zh) 数据处理方法及装置
US10887191B2 (en) Service monitoring interface with aspect and summary components
US10503746B2 (en) Incident review interface
US10521409B2 (en) Automatic associations in an I.T. monitoring system
US10650051B2 (en) Machine data-derived key performance indicators with per-entity states
US9747351B2 (en) Creating an entity definition from a search result set
US10120912B2 (en) System and method for combination-based data analysis
US9602345B2 (en) Performance optimizations for wireless access points
US9437022B2 (en) Time-based visualization of the number of events having various values for a field
CN105488048A (zh) 一种数据查询的方法及装置
US20160103918A1 (en) Associating entities with services using filter criteria
CN105404648A (zh) 一种基于密度与紧密度聚类的用户移动行为确定方法
CN101794296B (zh) 一种基于空中活动目标数据的挖掘方法
US20160104090A1 (en) State determination using per-entity thresholds
CN113778286A (zh) 应用控件显示方法、装置、存储介质及电子设备
CN101330735B (zh) 用于网络优化的统计数据分析方法
Taleghani Executive information systems development lifecycle
EP2947910B1 (en) Performance optimizations for wireless access points
WO2020181027A1 (en) Curating and graphically presenting unstructured data based on analytics
US11846741B2 (en) Systems and methods for evaluating a simulation model of a hydrocarbon field
CN105808611A (zh) 数据挖掘方法和装置
Benito-Ostolaza et al. Modeling local social migrations: A cellular automata approach
US11549359B2 (en) Systems and methods to identify and quantify field development opportunities through integration of surface and sub-surface data
Shin et al. Multiple regression models for a big data empowered SON framework
Wang et al. BI Dashboarding Application in Reservoir Simulation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant