CN109684352A - 数据分析系统、方法、存储介质及电子设备 - Google Patents
数据分析系统、方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN109684352A CN109684352A CN201811638070.4A CN201811638070A CN109684352A CN 109684352 A CN109684352 A CN 109684352A CN 201811638070 A CN201811638070 A CN 201811638070A CN 109684352 A CN109684352 A CN 109684352A
- Authority
- CN
- China
- Prior art keywords
- data
- line data
- keyword
- line
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007405 data analysis Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000012550 audit Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 241001074085 Scophthalmus aquosus Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 241001178520 Stomatepia mongo Species 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据分析系统、方法、存储介质及电子设备，所述数据分析系统包括：数据采集模块：用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；实时计算模块：响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中；离线计算模块：用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；以及查询引擎模块。本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据分析系统、方法、存储介质及电子设备。
背景技术
随着互联网及数据技术的发展，各互联网平台所储存、计算的数据量非常庞大，尤其对车货匹配平台，其面对的通常是全国的司机和货主。一方面，每天用户的行为数据量非常大，有些需要实时计算，有些需要离线计算，复杂度非常高。另一方面，数据分析人员的需求灵活多变，每次数据分析都非常耗时。
现在有一些成熟的商业化分析软件，这些软件普遍存在的问题是：在接入大数据量的时候，计算非常慢，甚至卡死；有一些对实时计算不支持；有一些权限管理很难控制不同存储组件上的数据；还有一些缺乏数据安全审计功能。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种数据分析系统、方法、存储介质及电子设备，以快速分析实时和离线数据。
根据本发明的一方面，提供一种数据分析系统，所述数据分析系统包括：
数据采集模块：用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；
实时计算模块：响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中；
离线计算模块：用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；
查询引擎模块：将用户的查询指令转化成SQL语句；若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
在本发明一实施方式中，所述查询引擎模块还用以当redis中查不到相应的离线数据时，将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
在本发明一实施方式中，所获取的离线数据作为值在redis储存的时间不超过预定时间段，所述预定时间段根据数据刷新周期和所述redis的储存容量确定。
在本发明一实施方式中，所述的数据分析系统还包括用户权限管理模块，所述用户权限管理模块用以通过用户和组以及组和数据的映射关系，对用户的数据使用权限进行鉴权。
在本发明一实施方式中，所述的数据分析系统还包括可视化分析库，所述可视化分析库用以以可视化方式展示对应于所述查询指令的离线或实时查询结果。
根据本发明的另一方面，提供一种数据分析方法，所述数据分析方法包括：
采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；
用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；
将用户的查询指令转化成SQL语句；
若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；
若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
在本发明的一实施方式中，所述查询指令指示若干指标和维度，每一指标和维度分别对应唯一的编码；
所述将用户的查询指令转化成SQL语句的步骤之前还包括：
将所述指标和维度按照各自的编码进行排序。
在本发明的一实施方式中，若所述查询类型为离线查询，当redis中查不到相应的离线数据时，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
根据本发明的又一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述数据分析方法中的步骤。
根据本发明的又一方面，提供一种电子设备，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述数据分析方法中的步骤。
本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下，本发明通过查询引擎优化，用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例中数据分析系统的结构示意图。
图2是本发明另一实施例中数据分析系统的结构示意图。
图3是本发明一实施例中数据分析方法的流程图。
图4是本发明另一实施例中数据分析方法的流程图。
图5是本发明一实施例中计算机可读存储介质的结构示意图。以及
图6是本发明一实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
为了解决现有技术的不足，根据本发明的一方面，提供一种数据分析系统，图1是本发明一实施例中数据分析系统的结构示意图。如图1所示，所述数据分析系统100包括：数据采集模块101、实时计算模块102、离线计算模块103以及查询引擎模块104。
所述数据采集模块101用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS。数据采集方式可以分为实时采集和离线采集，实时采集可以是将用户埋点日志、mysql的数据库日志消费到Flink和HDFS，离线采集可以是将mysql、Hbase、Mongo等数据抽取到HDFS。Hive是基于Hadoop(分布式系统基础架构)的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce(一种编程模型，用于大规模数据集的并行运算)任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
所述实时计算模块102响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中。Flink是一个针对流数据和批数据的分布式处理引擎。它主要是由Java代码实现。对Flink而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink会把所有任务当成流来处理，这也是其最大的特点。Druid是一个分布式的支持实时分析的数据存储系统(Data Store)。在设计之初，开发人员确定了三个设计原则(Design Principle)。(1)快速查询(Fast Query)：部分数据的聚合(Partial Aggregate)+内存化(In-emory)+索引(Index)。(2)水平扩展能力(Horizontal Scalability)：分布式数据(Distributed Data)+并行化查询(Parallelizable Query)。(3)实时分析(RealtimeAnalytics)：不可变的过去，只追加的未来(Immutable Past，Append-Only Future)。从技术定位上看，Druid是一个分布式的数据分析平台，在功能上也非常像传统的OLAP系统，但是在实现方式上做了很多聚焦和取舍，为了支持更大的数据量、更灵活的分布式部署、更实时的数据摄入，Druid舍去了OLAP查询中比较复杂的操作，例如JOIN等。相比传统数据库，Druid是一种时序数据库，按照一定的时间粒度对数据进行聚合，以加快分析查询。
所述离线计算模块103用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表。在本发明的一些实施例中，通过根据离线数据宽表的不同维度形成多维的离线数据预汇总表，从而可以将多维的离线数据预汇总表用作数据分析的核心模型，并用以实现下钻、上卷、切片等不同的方式进行数据分析。具体而言，Kylin是一套OLAP(联机分析处理)系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中。在OLAP系统中，不需要使用绑定(BIND)变量，因为整个系统的执行量很小，分析时间对于执行时间来说，可以忽略，而且可避免出现错误的执行计划。但是OLAP中可以大量使用位图索引，物化视图，对于大的事务，尽量寻求速度上的优化。对于OLAP系统来说，绝大多数时候数据库上运行着的是报表作业，执行基本上是聚合类的SQL操作。
所述查询引擎模块104将用户的查询指令转化成SQL语句。若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表。若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。SQL语句即结构化查询语言。redis是一个key-value存储系统。key value根据关键字取值，key是关键字，value是值。
可以理解，本文中所述的“组”可以是根据用户的部门或其他职能划分的组，也可以是根据数据所属的项目(例如应用的功能模块)等划分的组。例如，上述的映射关系例如可以是某一部门的用户仅可以处理与该部门(用户组)具有映射关系的数据。又例如，上述的映射关系例如可以某用户仅可以处理与某一项目具有映射关系的数据组。本发明并非以此为限。
在本发明一实施例中，所述查询引擎模块104还用以当redis中查不到相应的离线数据时，将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
进一步地，所获取的离线数据作为值在redis储存的时间不超过预定时间段，所述预定时间段根据数据刷新周期和所述redis的储存容量确定。例如，所述redis的储存容量越大，允许所获取的离线数据的储存时间越长(预定时间段)，本发明并非以为限。
在本发明的一些实施例中，在接受用户指令时，提供筛选项的图形化界面，用户可以根据图形化界面中对于筛选项的托拉拽操作来确定自己要分析的内容所需的筛选项，并根据所确定的筛选项生成前述的查询指令以进行查询。
本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下，本发明通过查询引擎优化，用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
本发明还提供另一种数据分析系统，图2是本发明另一实施例中数据分析系统的结构示意图。如图2所示，所述数据分析系统200包括：数据采集模块201、实时计算模块202、离线计算模块203、查询引擎模块204、用户权限管理模块205以及可视化分析库206。所述数据采集模块201用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS。所述实时计算模块202响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中。所述离线计算模块203用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表。所述查询引擎模块204将用户的查询指令转化成SQL语句。若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表。若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。所述查询引擎模块还用以当redis中查不到相应的离线数据时，将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。所述用户权限管理模块205用以通过用户和组以及组和数据的映射关系，对用户的数据使用权限进行鉴权。所述可视化分析库206用以以可视化方式展示对应于所述查询指令的离线或实时查询结果。所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。具体而言，可视化分析库206用以对多维的离线数据预汇总表实现下钻、上卷、切片等可视化操作以进行数据分析。
本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下，本发明通过查询引擎优化，用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
具体而言，上述图1及图2所示的各个模块可以由软件、硬件、固件、插件或他们的任意组合来实现，本发明并非以此为限，模块的合并、增加、拆分在不违背本发明构思的前提下，都在本发明的保护范围之内。
根据本发明的另一方面，提供一种数据分析方法，图3是本发明一实施例中数据分析方法的流程图。
请参阅图3，所述数据分析方法通过上述数据分析系统实现，该数据分析方法包括：
S310、采集实时数据。实时采集可以是将用户埋点日志、mysql的数据库日志消费到Flink和HDFS。具体地，所述实时数据可以是来自Kafka(一种高吞吐量的分布式发布订阅消息系统)binlog、流量日志数据。其中，binlog用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，主要作用是用于数据库的主从复制及数据的增量恢复。
S320、接收用户的查询指令，所述查询指令指示若干指标和维度，将所述指标和维度按照各自的编码进行排序。可以通过用户和组以及组和数据的映射关系，对用户的数据使用权限进行鉴权。首先指标、维度是有明确的编码，比如发货主题下的当日发货量为cg_001，当日发货人数为cg_002。订单主题下的当日订单数为od_001，当日订单人数为od_002。把用户筛选的指标和维度以及其他过滤条件等信息按照编码排序。
S330、将用户的查询指令转化成SQL语句。根据所述编码排序可以保证同样的筛选条件，SQL是一致的。
S340、将所述SQL语句转换为Druid语法查询实时数据宽表。所述实时数据宽表由所述实时计算模块响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成。所述实时数据宽表数据经过消息中间件kafka转存在Druid中。
S350、以可视化方式展示对应于所述查询指令的实时查询结果。所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
本发明各步骤的实施不以上述排序为限，也即，以上步骤可能有多种实施顺序，以上排序不能用来限制本发明的保护范围。
根据本发明还提供另一种数据分析方法，图4是本发明一实施例中数据分析方法的流程图。
请参阅图4，所述数据分析方法通过上述数据分析系统实现，该数据分析方法包括：
S810、采集离线数据，离线采集可以是将mysql、Hbase、Mongo等数据抽取到HDFS。具体地，所述离线数据可以是来自Kafka(一种高吞吐量的分布式发布订阅消息系统)的binlog、流量日志数据以及mysql、mongo、hbase的数据。其中，binlog用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，主要作用是用于数据库的主从复制及数据的增量恢复。mysql是一个关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内。MongoDB是一个基于分布式文件存储的数据库。HBase是一个分布式的、面向列的开源数据库。
S820、用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表。
S830、接收用户的查询指令，所述查询指令指示若干指标和维度，将所述指标和维度按照各自的编码进行排序。可以通过用户和组以及组和数据的映射关系，对用户的数据使用权限进行鉴权。首先指标、维度是有明确的编码，比如发货主题下的当日发货量为cg_001，当日发货人数为cg_002。订单主题下的当日订单数为od_001，当日订单人数为od_002。把用户筛选的指标和维度以及其他过滤条件等信息按照编码排序。
S840、将用户的查询指令转化成SQL语句。根据所述编码排序可以保证同样的筛选条件，SQL是一致的。
S850、将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
进一步地，当redis中查不到相应的离线数据时，将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
S860、以可视化方式展示对应于所述查询指令的离线查询结果。所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
本发明各步骤的实施不以上述排序为限，也即，以上步骤可能有多种实施顺序，以上排序不能用来限制本发明的保护范围。
通过如图3及图4所示的实施例，本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下，本发明通过查询引擎优化，用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述实施例中所述数据分析方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述数据分析方法描述的根据本发明各种示例性实施方式的步骤。
图5是本发明一实施例中计算机可读存储介质的结构示意图。图5描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品600可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述数据分析方法中的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备400。图6显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述数据分析方法中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图1中所示的步骤。
所述存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
所述存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述数据分析方法的步骤。
本发明能够实时或者离线的方式接入数据，并抽象计算出核心模型。数据分析人员可以通过托拉拽的方式筛选自己要分析的内容，然后可以选择以丰富的可视化图表的方式展现。本发明还可以进行下钻、上卷、切片等方式进行数据分析。特别是在大数据场景下，本发明通过查询引擎优化，用户可以快速分析实时和离线数据。本发明可以通过用户和组以及组和数据的映射关系对用户的数据使用权限进行鉴权。而且所有用户的分析操作都会记录日志，供系统管理人员做数据安全审计。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种数据分析系统，其特征在于，包括：
数据采集模块：用以采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；
实时计算模块：响应于用户的查询指令，通过分布式处理引擎Flink消费实时数据形成实时数据宽表，所述实时数据宽表数据经过消息中间件kafka转存在Druid中；
离线计算模块：用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；以及
查询引擎模块：将用户的查询指令转化成SQL语句；若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
2.根据权利要求1所述的数据分析系统，其特征在于，所述查询引擎模块还用以当redis中查不到相应的离线数据时，将所述SQL语句转为Kylin语法以从所述Kylin中获取相应的离线数据,将所述SQL语句哈希后作为关键字并将所获取的离线数据作为值存储在redis。
3.根据权利要求2所述的数据分析系统，其特征在于，所获取的离线数据作为值在redis储存的时间不超过预定时间段，所述预定时间段根据数据刷新周期和redis的储存容量确定。
4.根据权利要求1所述的数据分析系统，其特征在于，还包括用户权限管理模块，所述用户权限管理模块用以通过用户和组以及组和数据的映射关系，对用户的数据使用权限进行鉴权。
5.根据权利要求1所述的数据分析系统，其特征在于，还包括可视化分析库，所述可视化分析库用以以可视化方式展示对应于所述查询指令的离线或实时查询结果。
6.一种数据分析方法，其特征在于，包括：
采集实时数据及离线数据，将已采集的离线数据以Hive的形式存储至HDFS；
用Hive清洗计算离线数据以形成离线数据宽表并将所述离线数据宽表同步到分布式分析引擎Kylin中以形成多维的离线数据预汇总表；
将用户的查询指令转化成SQL语句；
若所述查询指令的类型为实时查询，则将所述SQL语句转换为Druid语法查询实时数据宽表；
若所述查询类型为离线查询，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
7.根据权利要求6所述的数据分析方法，其特征在于，所述查询指令指示若干指标和维度，每一指标和维度分别对应唯一的编码；
所述将用户的查询指令转化成SQL语句的步骤之前还包括：
将所述指标和维度按照各自的编码进行排序。
8.根据权利要求6所述的数据分析方法，其特征在于，若所述查询类型为离线查询，当redis中查不到相应的离线数据时，则将所述SQL语句哈希后作为关键字，通过所述关键字查询redis中与该关键字对应的值，以将与该关键字对应的值作为所查询的离线数据。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求6至8中任一项所述的步骤。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求6至8中任一项所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811638070.4A CN109684352B (zh) | 2018-12-29 | 2018-12-29 | 数据分析系统、方法、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811638070.4A CN109684352B (zh) | 2018-12-29 | 2018-12-29 | 数据分析系统、方法、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109684352A true CN109684352A (zh) | 2019-04-26 |
| CN109684352B CN109684352B (zh) | 2020-12-01 |
Family
ID=66191276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811638070.4A Active CN109684352B (zh) | 2018-12-29 | 2018-12-29 | 数据分析系统、方法、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109684352B (zh) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209893A (zh) * | 2019-04-23 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 任务生成方法、系统和存储介质 |
| CN110413701A (zh) * | 2019-08-08 | 2019-11-05 | 江苏满运软件科技有限公司 | 分布式数据库入库方法、系统、设备及存储介质 |
| CN110502566A (zh) * | 2019-08-29 | 2019-11-26 | 江苏满运软件科技有限公司 | 近实时数据采集方法、装置、电子设备、存储介质 |
| CN110688416A (zh) * | 2019-09-05 | 2020-01-14 | 深圳市中电数通智慧安全科技股份有限公司 | 一种数据查询方法、装置及电子设备 |
| CN110704402A (zh) * | 2019-10-18 | 2020-01-17 | 广州趣丸网络科技有限公司 | 一种多数据源的数据分析系统、方法及设备 |
| CN110727700A (zh) * | 2019-10-22 | 2020-01-24 | 中信银行股份有限公司 | 多源流式数据整合成事务型流数据的方法及系统 |
| CN110784419A (zh) * | 2019-10-22 | 2020-02-11 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 铁路电务专业数据可视化方法及系统 |
| CN110851514A (zh) * | 2019-10-17 | 2020-02-28 | 杭州安恒信息技术股份有限公司 | 基于flink的etl处理方法 |
| CN111221816A (zh) * | 2019-12-03 | 2020-06-02 | 苏宁云计算有限公司 | 基于位图汇总模型的原子指标存储方法 |
| CN111240693A (zh) * | 2020-01-17 | 2020-06-05 | 北京三快在线科技有限公司 | 实时数据处理方法、装置、设备及存储介质 |
| CN111311326A (zh) * | 2020-02-18 | 2020-06-19 | 平安科技（深圳）有限公司 | 用户行为实时多维度分析方法、装置及存储介质 |
| CN111459944A (zh) * | 2020-04-07 | 2020-07-28 | 北京红山信息科技研究院有限公司 | 一种mr数据存储方法、装置、服务器及存储介质 |
| CN111651510A (zh) * | 2020-05-14 | 2020-09-11 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN111753017A (zh) * | 2020-06-29 | 2020-10-09 | 中国建设银行股份有限公司 | 基于Kylin系统的维表处理方法、装置、电子设备及存储介质 |
| CN111782479A (zh) * | 2020-07-03 | 2020-10-16 | 北京妙医佳健康科技集团有限公司 | 日志处理方法、装置、电子设备及计算机可读存储介质 |
| CN112000636A (zh) * | 2020-08-31 | 2020-11-27 | 民生科技有限责任公司 | 基于Flink流式处理的用户行为统计分析方法 |
| CN112148719A (zh) * | 2020-09-11 | 2020-12-29 | 苏宁云计算有限公司 | 基于olap预计算模型的数据加工查询方法及装置 |
| CN112231344A (zh) * | 2020-10-19 | 2021-01-15 | 泰康保险集团股份有限公司 | 实时流数据查询方法及装置 |
| CN112230894A (zh) * | 2020-10-19 | 2021-01-15 | 浪潮天元通信信息系统有限公司 | 一种基于Flink的流批一体化指标设计方法 |
| CN112380295A (zh) * | 2020-11-16 | 2021-02-19 | 常州微亿智造科技有限公司 | 基于工业云边服务的数仓系统 |
| CN112463868A (zh) * | 2020-12-04 | 2021-03-09 | 车智互联（北京）科技有限公司 | 数据处理方法、数据处理系统及计算设备 |
| CN112507029A (zh) * | 2020-12-18 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 数据处理系统及数据实时处理方法 |
| CN112506887A (zh) * | 2020-11-30 | 2021-03-16 | 北京公共交通控股（集团）有限公司 | 车辆终端can总线数据处理方法及装置 |
| CN112765130A (zh) * | 2021-01-20 | 2021-05-07 | 银盛支付服务股份有限公司 | 一种数据仓库构建方法、系统、计算机设备及存储介质 |
| CN112765282A (zh) * | 2021-01-18 | 2021-05-07 | 恒安嘉新（北京）科技股份公司 | 一种数据联机分析处理方法、装置、设备及存储介质 |
| CN112783852A (zh) * | 2021-01-13 | 2021-05-11 | 南京信息工程大学 | 基于大数据的网络安全分析系统 |
| CN112948455A (zh) * | 2021-01-08 | 2021-06-11 | 四川新网银行股份有限公司 | 一种基于Apache Druid的实时分析计算方法 |
| CN113010542A (zh) * | 2021-03-12 | 2021-06-22 | 中国平安财产保险股份有限公司 | 业务数据处理方法、装置、计算机设备及存储介质 |
| CN113434376A (zh) * | 2021-06-24 | 2021-09-24 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113468199A (zh) * | 2021-07-29 | 2021-10-01 | 上海哔哩哔哩科技有限公司 | 索引更新方法及系统 |
| CN113515285A (zh) * | 2020-04-10 | 2021-10-19 | 北京沃东天骏信息技术有限公司 | 生成实时计算逻辑数据的方法和装置 |
| CN113762997A (zh) * | 2020-07-01 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种信息生成的方法、装置、系统和存储介质 |
| CN113824954A (zh) * | 2021-11-23 | 2021-12-21 | 深圳市华曦达科技股份有限公司 | 一种ott视频质量监控方法、装置、设备及存储介质 |
| CN115062028A (zh) * | 2022-07-27 | 2022-09-16 | 中建电子商务有限责任公司 | 一种OLTP领域多表join查询的方法 |
| CN115114359A (zh) * | 2022-05-27 | 2022-09-27 | 马上消费金融股份有限公司 | 用户数据处理方法及装置 |
| WO2022237764A1 (zh) * | 2021-05-10 | 2022-11-17 | 北京京东振世信息技术有限公司 | 一种数据加工方法和系统 |
| CN116385160A (zh) * | 2022-12-27 | 2023-07-04 | 上海亿通国际股份有限公司 | 一种贸易辅助核验系统、方法及电子设备 |
| CN117555541A (zh) * | 2024-01-11 | 2024-02-13 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567006A (zh) * | 2009-05-25 | 2009-10-28 | 中兴通讯股份有限公司 | 一种数据库系统及分布式sql语句执行计划重用方法 |
| CN104834730A (zh) * | 2015-05-15 | 2015-08-12 | 北京京东尚科信息技术有限公司 | 数据分析系统和方法 |
| CN106446170A (zh) * | 2016-09-27 | 2017-02-22 | 努比亚技术有限公司 | 数据查询方法及装置 |
| CN108153850A (zh) * | 2017-06-01 | 2018-06-12 | 广州舜飞信息科技有限公司 | 一种用户行为统计分析方法及系统 |
| CN108829731A (zh) * | 2018-05-15 | 2018-11-16 | 吉贝克信息技术（北京）有限公司 | 数据分析方法、系统、计算机可读存储介质、及电子终端 |
-
2018
- 2018-12-29 CN CN201811638070.4A patent/CN109684352B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567006A (zh) * | 2009-05-25 | 2009-10-28 | 中兴通讯股份有限公司 | 一种数据库系统及分布式sql语句执行计划重用方法 |
| CN104834730A (zh) * | 2015-05-15 | 2015-08-12 | 北京京东尚科信息技术有限公司 | 数据分析系统和方法 |
| CN106446170A (zh) * | 2016-09-27 | 2017-02-22 | 努比亚技术有限公司 | 数据查询方法及装置 |
| CN108153850A (zh) * | 2017-06-01 | 2018-06-12 | 广州舜飞信息科技有限公司 | 一种用户行为统计分析方法及系统 |
| CN108829731A (zh) * | 2018-05-15 | 2018-11-16 | 吉贝克信息技术（北京）有限公司 | 数据分析方法、系统、计算机可读存储介质、及电子终端 |
Non-Patent Citations (1)
| Title |
|---|
| 刘玉春: ""Saygo网站流量的大数据分析系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209893A (zh) * | 2019-04-23 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 任务生成方法、系统和存储介质 |
| CN110413701A (zh) * | 2019-08-08 | 2019-11-05 | 江苏满运软件科技有限公司 | 分布式数据库入库方法、系统、设备及存储介质 |
| CN110502566B (zh) * | 2019-08-29 | 2022-09-09 | 江苏满运软件科技有限公司 | 近实时数据采集方法、装置、电子设备、存储介质 |
| CN110502566A (zh) * | 2019-08-29 | 2019-11-26 | 江苏满运软件科技有限公司 | 近实时数据采集方法、装置、电子设备、存储介质 |
| CN110688416A (zh) * | 2019-09-05 | 2020-01-14 | 深圳市中电数通智慧安全科技股份有限公司 | 一种数据查询方法、装置及电子设备 |
| CN110851514A (zh) * | 2019-10-17 | 2020-02-28 | 杭州安恒信息技术股份有限公司 | 基于flink的etl处理方法 |
| CN110704402A (zh) * | 2019-10-18 | 2020-01-17 | 广州趣丸网络科技有限公司 | 一种多数据源的数据分析系统、方法及设备 |
| CN110727700A (zh) * | 2019-10-22 | 2020-01-24 | 中信银行股份有限公司 | 多源流式数据整合成事务型流数据的方法及系统 |
| CN110784419B (zh) * | 2019-10-22 | 2023-02-28 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 铁路电务专业数据可视化方法及系统 |
| CN110784419A (zh) * | 2019-10-22 | 2020-02-11 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 铁路电务专业数据可视化方法及系统 |
| CN111221816A (zh) * | 2019-12-03 | 2020-06-02 | 苏宁云计算有限公司 | 基于位图汇总模型的原子指标存储方法 |
| CN111240693A (zh) * | 2020-01-17 | 2020-06-05 | 北京三快在线科技有限公司 | 实时数据处理方法、装置、设备及存储介质 |
| CN111311326A (zh) * | 2020-02-18 | 2020-06-19 | 平安科技（深圳）有限公司 | 用户行为实时多维度分析方法、装置及存储介质 |
| CN111311326B (zh) * | 2020-02-18 | 2024-05-28 | 平安科技（深圳）有限公司 | 用户行为实时多维度分析方法、装置及存储介质 |
| CN111459944A (zh) * | 2020-04-07 | 2020-07-28 | 北京红山信息科技研究院有限公司 | 一种mr数据存储方法、装置、服务器及存储介质 |
| CN111459944B (zh) * | 2020-04-07 | 2023-09-01 | 北京红山信息科技研究院有限公司 | 一种mr数据存储方法、装置、服务器及存储介质 |
| CN113515285A (zh) * | 2020-04-10 | 2021-10-19 | 北京沃东天骏信息技术有限公司 | 生成实时计算逻辑数据的方法和装置 |
| CN111651510A (zh) * | 2020-05-14 | 2020-09-11 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN111753017B (zh) * | 2020-06-29 | 2024-02-02 | 中国建设银行股份有限公司 | 基于Kylin系统的维表处理方法、装置、电子设备及存储介质 |
| CN111753017A (zh) * | 2020-06-29 | 2020-10-09 | 中国建设银行股份有限公司 | 基于Kylin系统的维表处理方法、装置、电子设备及存储介质 |
| CN113762997B (zh) * | 2020-07-01 | 2024-07-19 | 北京沃东天骏信息技术有限公司 | 一种信息生成的方法、装置、系统和存储介质 |
| CN113762997A (zh) * | 2020-07-01 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种信息生成的方法、装置、系统和存储介质 |
| CN111782479A (zh) * | 2020-07-03 | 2020-10-16 | 北京妙医佳健康科技集团有限公司 | 日志处理方法、装置、电子设备及计算机可读存储介质 |
| CN112000636A (zh) * | 2020-08-31 | 2020-11-27 | 民生科技有限责任公司 | 基于Flink流式处理的用户行为统计分析方法 |
| CN112148719A (zh) * | 2020-09-11 | 2020-12-29 | 苏宁云计算有限公司 | 基于olap预计算模型的数据加工查询方法及装置 |
| CN112148719B (zh) * | 2020-09-11 | 2022-11-18 | 苏宁云计算有限公司 | 基于olap预计算模型的数据加工查询方法及装置 |
| CN112230894B (zh) * | 2020-10-19 | 2024-09-13 | 浪潮通信信息系统有限公司 | 一种基于Flink的流批一体化指标设计方法 |
| CN112231344B (zh) * | 2020-10-19 | 2023-10-13 | 泰康保险集团股份有限公司 | 实时流数据查询方法及装置 |
| CN112231344A (zh) * | 2020-10-19 | 2021-01-15 | 泰康保险集团股份有限公司 | 实时流数据查询方法及装置 |
| CN112230894A (zh) * | 2020-10-19 | 2021-01-15 | 浪潮天元通信信息系统有限公司 | 一种基于Flink的流批一体化指标设计方法 |
| CN112380295A (zh) * | 2020-11-16 | 2021-02-19 | 常州微亿智造科技有限公司 | 基于工业云边服务的数仓系统 |
| CN112506887A (zh) * | 2020-11-30 | 2021-03-16 | 北京公共交通控股（集团）有限公司 | 车辆终端can总线数据处理方法及装置 |
| CN112506887B (zh) * | 2020-11-30 | 2024-03-08 | 北京公共交通控股（集团）有限公司 | 车辆终端can总线数据处理方法及装置 |
| CN112463868A (zh) * | 2020-12-04 | 2021-03-09 | 车智互联（北京）科技有限公司 | 数据处理方法、数据处理系统及计算设备 |
| CN112507029B (zh) * | 2020-12-18 | 2022-11-04 | 上海哔哩哔哩科技有限公司 | 数据处理系统及数据实时处理方法 |
| CN112507029A (zh) * | 2020-12-18 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 数据处理系统及数据实时处理方法 |
| CN112948455A (zh) * | 2021-01-08 | 2021-06-11 | 四川新网银行股份有限公司 | 一种基于Apache Druid的实时分析计算方法 |
| CN112783852A (zh) * | 2021-01-13 | 2021-05-11 | 南京信息工程大学 | 基于大数据的网络安全分析系统 |
| CN112765282B (zh) * | 2021-01-18 | 2023-11-28 | 恒安嘉新（北京）科技股份公司 | 一种数据联机分析处理方法、装置、设备及存储介质 |
| CN112765282A (zh) * | 2021-01-18 | 2021-05-07 | 恒安嘉新（北京）科技股份公司 | 一种数据联机分析处理方法、装置、设备及存储介质 |
| CN112765130A (zh) * | 2021-01-20 | 2021-05-07 | 银盛支付服务股份有限公司 | 一种数据仓库构建方法、系统、计算机设备及存储介质 |
| CN113010542A (zh) * | 2021-03-12 | 2021-06-22 | 中国平安财产保险股份有限公司 | 业务数据处理方法、装置、计算机设备及存储介质 |
| CN113010542B (zh) * | 2021-03-12 | 2023-09-19 | 中国平安财产保险股份有限公司 | 业务数据处理方法、装置、计算机设备及存储介质 |
| WO2022237764A1 (zh) * | 2021-05-10 | 2022-11-17 | 北京京东振世信息技术有限公司 | 一种数据加工方法和系统 |
| CN113434376A (zh) * | 2021-06-24 | 2021-09-24 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113434376B (zh) * | 2021-06-24 | 2023-04-11 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113468199B (zh) * | 2021-07-29 | 2022-11-04 | 上海哔哩哔哩科技有限公司 | 索引更新方法及系统 |
| CN113468199A (zh) * | 2021-07-29 | 2021-10-01 | 上海哔哩哔哩科技有限公司 | 索引更新方法及系统 |
| CN113824954B (zh) * | 2021-11-23 | 2022-02-08 | 深圳市华曦达科技股份有限公司 | 一种ott视频质量监控方法、装置、设备及存储介质 |
| CN113824954A (zh) * | 2021-11-23 | 2021-12-21 | 深圳市华曦达科技股份有限公司 | 一种ott视频质量监控方法、装置、设备及存储介质 |
| CN115114359B (zh) * | 2022-05-27 | 2023-11-14 | 马上消费金融股份有限公司 | 用户数据处理方法及装置 |
| CN115114359A (zh) * | 2022-05-27 | 2022-09-27 | 马上消费金融股份有限公司 | 用户数据处理方法及装置 |
| CN115062028A (zh) * | 2022-07-27 | 2022-09-16 | 中建电子商务有限责任公司 | 一种OLTP领域多表join查询的方法 |
| CN116385160A (zh) * | 2022-12-27 | 2023-07-04 | 上海亿通国际股份有限公司 | 一种贸易辅助核验系统、方法及电子设备 |
| CN116385160B (zh) * | 2022-12-27 | 2024-06-07 | 上海亿通国际股份有限公司 | 一种贸易辅助核验系统、方法及电子设备 |
| CN117555541A (zh) * | 2024-01-11 | 2024-02-13 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
| CN117555541B (zh) * | 2024-01-11 | 2024-04-09 | 南京研利科技有限公司 | 数据页面展示方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109684352B (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684352A (zh) | 数据分析系统、方法、存储介质及电子设备 | |
| Casado et al. | Emerging trends and technologies in big data processing | |
| Gupta et al. | Cloud computing and big data analytics: what is new from databases perspective? | |
| Duggal et al. | Big Data analysis: Challenges and solutions | |
| Rahmati | Big data: Now and then | |
| Akhtar et al. | A perusal of big data classification and hadoop technology | |
| Gürcan et al. | Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges | |
| Chavan et al. | Survey paper on big data | |
| WO2016018942A1 (en) | Systems and methods for an sql-driven distributed operating system | |
| CN106030573A (zh) | 半结构化数据作为第一等级数据库元素的实现 | |
| Patgiri | A taxonomy on big data: Survey | |
| Mohammed et al. | A review of big data environment and its related technologies | |
| Wang et al. | An empirical study on recent graph database systems | |
| Zicari et al. | Setting up a big data project: Challenges, opportunities, technologies and optimization | |
| Hashem et al. | An Integrative Modeling of BigData Processing. | |
| Singh et al. | A literature review on Hadoop ecosystem and various techniques of big data optimization | |
| Hussein | Using hadoop technology to overcome big data problems by choosing proposed cost-efficient scheduler algorithm for heterogeneous hadoop system (BD3) | |
| Hendawi et al. | Benchmarking large-scale data management for Internet of Things | |
| Kekevi et al. | Real-time big data processing and analytics: Concepts, technologies, and domains | |
| US12061579B2 (en) | Database gateway with machine learning model | |
| Ravichandran | Big Data processing with Hadoop: a review | |
| Piedra et al. | SmartLand-LD: A Linked data approach for integration of heterogeneous datasets to intelligent management of high biodiversity territories | |
| Aivalis | Big data technologies | |
| Taori et al. | Big Data Management | |
| Dawei et al. | Exploration on big data oriented data analyzing and processing technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210219 Address after: 210012 4th floor, building 5, no.170-1, software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee after: Jiangsu manyun Logistics Information Co.,Ltd. Address before: 210012 3-5 / F, building 4, 170-1 software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: JIANGSU MANYUN SOFTWARE TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 210012 3rd floor, building a, Wanbo Science Park, 66 Huashen Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee after: Jiangsu Yunmanman Information Technology Co.,Ltd. Address before: 210012 4th floor, building 5, no.170-1, software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: Jiangsu manyun Logistics Information Co.,Ltd. |