数据分析系统、方法、存储介质及电子设备
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据分析系统、方法、存储介质及电子设备。
背景技术
随着互联网及数据技术的发展,各互联网平台所储存、计算的数据量非常庞大,尤其对车货匹配平台,其面对的通常是全国的司机和货主。一方面,每天用户的行为数据量非常大,有些需要实时计算,有些需要离线计算,复杂度非常高。另一方面,数据分析人员的需求灵活多变,每次数据分析都非常耗时。
现在有一些成熟的商业化分析软件,这些软件普遍存在的问题是:在接入大数据量的时候,计算非常慢,甚至卡死;有一些对实时计算不支持;有一些权限管理很难控制不同存储组件上的数据;还有一些缺乏数据安全审计功能。
发明内容
针对现有技术中的问题,本发明的目的在于提供一种数据分析系统、方法、存储介质及电子设备,以快速分析实时和离线数据。
根据本发明的一方面,提供一种数据分析系统,所述数据分析系统包括:
数据采集模块:用以采集实时数据及离线数据,将已采集的离线数据以Hive的形式存储至HDFS;
实时计算模块:响应于用户的查询指令,通过分布式处理引擎Flink消费实时数据形成实时数据宽表,所述实时数据宽表数据经过消息中间件kafka转存在Druid中;
离线计算模块:用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表;
查询引擎模块:将用户的查询指令转化成SQL语句;若所述查询指令的类型为实时查询,则将所述SQL语句转换为Druid语法查询实时数据宽表;若所述查询类型为离线查询,则将所述SQL语句哈希后作为关键字,通过所述关键字查询redis中与该关键字对应的值,以将与该关键字对应的值作为所查询的离线数据。
在本发明一实施方式中,所述查询引擎模块还用以当redis中查不到相应的离线数据时,将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
在本发明一实施方式中,所获取的离线数据作为值在redis储存的时间不超过预定时间段,所述预定时间段根据数据刷新周期和所述redis的储存容量确定。
在本发明一实施方式中,所述的数据分析系统还包括用户权限管理模块,所述用户权限管理模块用以通过用户和组以及组和数据的映射关系,对用户的数据使用权限进行鉴权。
在本发明一实施方式中,所述的数据分析系统还包括可视化分析库,所述可视化分析库用以以可视化方式展示对应于所述查询指令的离线或实时查询结果。
根据本发明的另一方面,提供一种数据分析方法,所述数据分析方法包括:
采集实时数据及离线数据,将已采集的离线数据以Hive的形式存储至HDFS;
用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表;
将用户的查询指令转化成SQL语句;
若所述查询指令的类型为实时查询,则将所述SQL语句转换为Druid语法查询实时数据宽表;
若所述查询类型为离线查询,则将所述SQL语句哈希后作为关键字,通过所述关键字查询redis中与该关键字对应的值,以将与该关键字对应的值作为所查询的离线数据。
在本发明的一实施方式中,所述查询指令指示若干指标和维度,每一指标和维度分别对应唯一的编码;
所述将用户的查询指令转化成SQL语句的步骤之前还包括:
将所述指标和维度按照各自的编码进行排序。
在本发明的一实施方式中,若所述查询类型为离线查询,当redis中查不到相应的离线数据时,则将所述SQL语句哈希后作为关键字,通过所述关键字查询redis中与该关键字对应的值,以将与该关键字对应的值作为所查询的离线数据。
根据本发明的又一方面,提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上所述数据分析方法中的步骤。
根据本发明的又一方面,提供一种电子设备,所述电子设备包括:
处理器;
存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如上所述数据分析方法中的步骤。
本发明能够实时或者离线的方式接入数据,并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容,然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下,本发明通过查询引擎优化,用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例中数据分析系统的结构示意图。
图2是本发明另一实施例中数据分析系统的结构示意图。
图3是本发明一实施例中数据分析方法的流程图。
图4是本发明另一实施例中数据分析方法的流程图。
图5是本发明一实施例中计算机可读存储介质的结构示意图。以及
图6是本发明一实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
为了解决现有技术的不足,根据本发明的一方面,提供一种数据分析系统,图1是本发明一实施例中数据分析系统的结构示意图。如图1所示,所述数据分析系统100包括:数据采集模块101、实时计算模块102、离线计算模块103以及查询引擎模块104。
所述数据采集模块101用以采集实时数据及离线数据,将已采集的离线数据以Hive的形式存储至HDFS。数据采集方式可以分为实时采集和离线采集,实时采集可以是将用户埋点日志、mysql的数据库日志消费到Flink和HDFS,离线采集可以是将mysql、Hbase、Mongo等数据抽取到HDFS。Hive是基于Hadoop(分布式系统基础架构)的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce(一种编程模型,用于大规模数据集的并行运算)任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
所述实时计算模块102响应于用户的查询指令,通过分布式处理引擎Flink消费实时数据形成实时数据宽表,所述实时数据宽表数据经过消息中间件kafka转存在Druid中。Flink是一个针对流数据和批数据的分布式处理引擎。它主要是由Java代码实现。对Flink而言,其所要处理的主要场景就是流数据,批数据只是流数据的一个极限特例而已。再换句话说,Flink会把所有任务当成流来处理,这也是其最大的特点。Druid是一个分布式的支持实时分析的数据存储系统(Data Store)。在设计之初,开发人员确定了三个设计原则(Design Principle)。(1)快速查询(Fast Query):部分数据的聚合(Partial Aggregate)+内存化(In-emory)+索引(Index)。(2)水平扩展能力(Horizontal Scalability):分布式数据(Distributed Data)+并行化查询(Parallelizable Query)。(3)实时分析(RealtimeAnalytics):不可变的过去,只追加的未来(Immutable Past,Append-Only Future)。从技术定位上看,Druid是一个分布式的数据分析平台,在功能上也非常像传统的OLAP系统,但是在实现方式上做了很多聚焦和取舍,为了支持更大的数据量、更灵活的分布式部署、更实时的数据摄入,Druid舍去了OLAP查询中比较复杂的操作,例如JOIN等。相比传统数据库,Druid是一种时序数据库,按照一定的时间粒度对数据进行聚合,以加快分析查询。
所述离线计算模块103用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表。在本发明的一些实施例中,通过根据离线数据宽表的不同维度形成多维的离线数据预汇总表,从而可以将多维的离线数据预汇总表用作数据分析的核心模型,并用以实现下钻、上卷、切片等不同的方式进行数据分析。具体而言,Kylin是一套OLAP(联机分析处理)系统,主要用于支持大数据生态圈的数据分析业务,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中。在OLAP系统中,不需要使用绑定(BIND)变量,因为整个系统的执行量很小,分析时间对于执行时间来说,可以忽略,而且可避免出现错误的执行计划。但是OLAP中可以大量使用位图索引,物化视图,对于大的事务,尽量寻求速度上的优化。对于OLAP系统来说,绝大多数时候数据库上运行着的是报表作业,执行基本上是聚合类的SQL操作。
所述查询引擎模块104将用户的查询指令转化成SQL语句。若所述查询指令的类型为实时查询,则将所述SQL语句转换为Druid语法查询实时数据宽表。若所述查询类型为离线查询,则将所述SQL语句哈希后作为关键字,通过所述关键字查询redis中与该关键字对应的值,以将与该关键字对应的值作为所查询的离线数据。SQL语句即结构化查询语言。redis是一个key-value存储系统。key value根据关键字取值,key是关键字,value是值。
可以理解,本文中所述的“组”可以是根据用户的部门或其他职能划分的组,也可以是根据数据所属的项目(例如应用的功能模块)等划分的组。例如,上述的映射关系例如可以是某一部门的用户仅可以处理与该部门(用户组)具有映射关系的数据。又例如,上述的映射关系例如可以某用户仅可以处理与某一项目具有映射关系的数据组。本发明并非以此为限。
在本发明一实施例中,所述查询引擎模块104还用以当redis中查不到相应的离线数据时,将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
进一步地,所获取的离线数据作为值在redis储存的时间不超过预定时间段,所述预定时间段根据数据刷新周期和所述redis的储存容量确定。例如,所述redis的储存容量越大,允许所获取的离线数据的储存时间越长(预定时间段),本发明并非以为限。
在本发明的一些实施例中,在接受用户指令时,提供筛选项的图形化界面,用户可以根据图形化界面中对于筛选项的托拉拽操作来确定自己要分析的内容所需的筛选项,并根据所确定的筛选项生成前述的查询指令以进行查询。
本发明能够实时或者离线的方式接入数据,并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容,然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下,本发明通过查询引擎优化,用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
本发明还提供另一种数据分析系统,图2是本发明另一实施例中数据分析系统的结构示意图。如图2所示,所述数据分析系统200包括:数据采集模块201、实时计算模块202、离线计算模块203、查询引擎模块204、用户权限管理模块205以及可视化分析库206。所述数据采集模块201用以采集实时数据及离线数据,将已采集的离线数据以Hive的形式存储至HDFS。所述实时计算模块202响应于用户的查询指令,通过分布式处理引擎Flink消费实时数据形成实时数据宽表,所述实时数据宽表数据经过消息中间件kafka转存在Druid中。所述离线计算模块203用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表。所述查询引擎模块204将用户的查询指令转化成SQL语句。若所述查询指令的类型为实时查询,则将所述SQL语句转换为Druid语法查询实时数据宽表。若所述查询类型为离线查询,则将所述SQL语句哈希后作为关键字,通过所述关键字查询redis中与该关键字对应的值,以将与该关键字对应的值作为所查询的离线数据。所述查询引擎模块还用以当redis中查不到相应的离线数据时,将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。所述用户权限管理模块205用以通过用户和组以及组和数据的映射关系,对用户的数据使用权限进行鉴权。所述可视化分析库206用以以可视化方式展示对应于所述查询指令的离线或实时查询结果。所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。具体而言,可视化分析库206用以对多维的离线数据预汇总表实现下钻、上卷、切片等可视化操作以进行数据分析。
本发明能够实时或者离线的方式接入数据,并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容,然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下,本发明通过查询引擎优化,用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
具体而言,上述图1及图2所示的各个模块可以由软件、硬件、固件、插件或他们的任意组合来实现,本发明并非以此为限,模块的合并、增加、拆分在不违背本发明构思的前提下,都在本发明的保护范围之内。
根据本发明的另一方面,提供一种数据分析方法,图3是本发明一实施例中数据分析方法的流程图。
请参阅图3,所述数据分析方法通过上述数据分析系统实现,该数据分析方法包括:
S310、采集实时数据。实时采集可以是将用户埋点日志、mysql的数据库日志消费到Flink和HDFS。具体地,所述实时数据可以是来自Kafka(一种高吞吐量的分布式发布订阅消息系统)binlog、流量日志数据。其中,binlog用于记录用户对数据库更新的SQL语句信息,例如更改数据库表和更改内容的SQL语句都会记录到binlog里,但是对库表等内容的查询不会记录。当有数据写入到数据库时,还会同时把更新的SQL语句写入到对应的binlog文件里,主要作用是用于数据库的主从复制及数据的增量恢复。
S320、接收用户的查询指令,所述查询指令指示若干指标和维度,将所述指标和维度按照各自的编码进行排序。可以通过用户和组以及组和数据的映射关系,对用户的数据使用权限进行鉴权。首先指标、维度是有明确的编码,比如发货主题下的当日发货量为cg_001,当日发货人数为cg_002。订单主题下的当日订单数为od_001,当日订单人数为od_002。把用户筛选的指标和维度以及其他过滤条件等信息按照编码排序。
S330、将用户的查询指令转化成SQL语句。根据所述编码排序可以保证同样的筛选条件,SQL是一致的。
S340、将所述SQL语句转换为Druid语法查询实时数据宽表。所述实时数据宽表由所述实时计算模块响应于用户的查询指令,通过分布式处理引擎Flink消费实时数据形成。所述实时数据宽表数据经过消息中间件kafka转存在Druid中。
S350、以可视化方式展示对应于所述查询指令的实时查询结果。所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
本发明各步骤的实施不以上述排序为限,也即,以上步骤可能有多种实施顺序,以上排序不能用来限制本发明的保护范围。
根据本发明还提供另一种数据分析方法,图4是本发明一实施例中数据分析方法的流程图。
请参阅图4,所述数据分析方法通过上述数据分析系统实现,该数据分析方法包括:
S810、采集离线数据,离线采集可以是将mysql、Hbase、Mongo等数据抽取到HDFS。具体地,所述离线数据可以是来自Kafka(一种高吞吐量的分布式发布订阅消息系统)的binlog、流量日志数据以及mysql、mongo、hbase的数据。其中,binlog用于记录用户对数据库更新的SQL语句信息,例如更改数据库表和更改内容的SQL语句都会记录到binlog里,但是对库表等内容的查询不会记录。当有数据写入到数据库时,还会同时把更新的SQL语句写入到对应的binlog文件里,主要作用是用于数据库的主从复制及数据的增量恢复。mysql是一个关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内。MongoDB是一个基于分布式文件存储的数据库。HBase是一个分布式的、面向列的开源数据库。
S820、用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表。
S830、接收用户的查询指令,所述查询指令指示若干指标和维度,将所述指标和维度按照各自的编码进行排序。可以通过用户和组以及组和数据的映射关系,对用户的数据使用权限进行鉴权。首先指标、维度是有明确的编码,比如发货主题下的当日发货量为cg_001,当日发货人数为cg_002。订单主题下的当日订单数为od_001,当日订单人数为od_002。把用户筛选的指标和维度以及其他过滤条件等信息按照编码排序。
S840、将用户的查询指令转化成SQL语句。根据所述编码排序可以保证同样的筛选条件,SQL是一致的。
S850、将所述SQL语句哈希后作为关键字,通过所述关键字查询redis中与该关键字对应的值,以将与该关键字对应的值作为所查询的离线数据。
进一步地,当redis中查不到相应的离线数据时,将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
S860、以可视化方式展示对应于所述查询指令的离线查询结果。所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
本发明各步骤的实施不以上述排序为限,也即,以上步骤可能有多种实施顺序,以上排序不能用来限制本发明的保护范围。
通过如图3及图4所示的实施例,本发明能够实时或者离线的方式接入数据,并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容,然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下,本发明通过查询引擎优化,用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
在本发明的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被例如处理器执行时可以实现上述实施例中所述数据分析方法中的步骤。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述数据分析方法描述的根据本发明各种示例性实施方式的步骤。
图5是本发明一实施例中计算机可读存储介质的结构示意图。图5描述了根据本发明的实施方式的用于实现上述方法的程序产品600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品600可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的示例性实施例中,还提供一种电子设备,该电子设备可以包括处理器,以及用于存储所述处理器的可执行指令的存储器。其中,所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述数据分析方法中的步骤。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备400。图6显示的电子设备400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于:至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元410执行,使得所述处理单元410执行本说明书上述数据分析方法中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元410可以执行如图1中所示的步骤。
所述存储单元420可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202,还可以进一步包括只读存储单元(ROM)4203。
所述存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204,这样的程序模块4205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备400交互的设备通信,和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且,电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述数据分析方法的步骤。
本发明能够实时或者离线的方式接入数据,并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容,然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下,本发明通过查询引擎优化,用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志,供系统管理人员做数据安全审计。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。