CN110019453A - 一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统 - Google Patents

一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统 Download PDF

Info

Publication number
CN110019453A
CN110019453A CN201710979600.0A CN201710979600A CN110019453A CN 110019453 A CN110019453 A CN 110019453A CN 201710979600 A CN201710979600 A CN 201710979600A CN 110019453 A CN110019453 A CN 110019453A
Authority
CN
China
Prior art keywords
tax data
data
tax
dynamic
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710979600.0A
Other languages
English (en)
Inventor
果然
范钢
秦瑜
田宜喜
吴伟刚
谢宇
陈荣兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201710979600.0A priority Critical patent/CN110019453A/zh
Publication of CN110019453A publication Critical patent/CN110019453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/123—Tax preparation or submission

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本发明公开了一种基于分布式系统基础架构平台对税务数据进行处理的方法，所述方法包括：将税务数据存储至分布式文件系统；将所述税务数据分为动态税务数据和静态税务数据；采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。本申请通过大数据平台的构建，使得海量税务数据能够进行统一管理，并在此基础上进行数据的处理分析，有效实现了税务数据的应用。

Description

一种基于分布式系统基础架构平台对税务数据进行处理的方 法及系统
技术领域
本发明涉及税务数据处理技术领域，更具体地，涉及一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统。
背景技术
目前，省国税局的数据汇聚库归集了金三核心征管、防伪税控、货运、电子底账、稽核和出口退税等主要业务系统数据。维度模型所需源数据主要通过数据汇聚库推送，再进行加工处理进入维度模型。维度模型数据加工处理作业约900个，加上纳税信息等级、决策二包、大企业等约1300个数据处理作业。税收监控分析、税收优惠等在用的统计分析类系统也通过数据汇聚库得到生产系统数据。现有的数据加工处理存在以下问题：不同系统采集的数据不统一，采集的数据没有进行统一整合，存在数据信息不完整的问题；不同的系统、不同的服务商分别进行各自的数据集中和加工处理，由于各服务商加工处理数据的方式各不相同，没有统一的标准规范，数据分析处理、挖掘困难，很难形成对税务数据的应用。随着税务大数据时代的到来，数据日益具备数据海量、类型多样、变化迅速、价值稀疏的显著特征，现有基于传统技术架构的数据分析应用面临巨大挑战，技术架构必须进行相应调整，以便适应的大数据分析挖掘的需要。
因此，需要一种技术，以实现基于分布式系统基础架构平台对税务数据进行处理。
发明内容
本发明一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统，以解决如何对税务数据进行处理的问题。
为了解决上述问题，本发明提供了一种基于分布式系统基础架构平台对税务数据进行处理的方法，所述方法包括：
将税务数据存储至分布式文件系统；
将所述税务数据分为动态税务数据和静态税务数据；
采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；
将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；
对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；
对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。
优选地，还包括：建立用于所述税务数据展示的展示数据库。
优选地，还包括：对所述税务数据进行检索。
优选地，还包括：对所述税务数据进行展示。
优选地，还包括：通过以空间换空间的方式，进行所述税务数据的展示。
基于本发明的另一方面，提供一种基于分布式系统基础架构平台对税务数据进行处理的系统，所述系统包括：
第一存储单元，用于将税务数据存储至分布式文件系统；
定义单元，用于将所述税务数据分为动态税务数据和静态税务数据；
第一处理单元，用于采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；
第二存储单元，用于将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；
第二处理单元，用于对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；
分析单元，用于对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。
优选地，还包括展示单元，用于建立用于所述税务数据展示的展示数据库。
优选地，还包括检索单元，用于对所述税务数据进行检索。
优选地，还包括展示单元，用于对所述税务数据进行展示。
优选地，所述展单元还用于：通过以空间换空间的方式，进行所述税务数据的展示。
本申请技术方案通过使用基于分布式系统基础架构平台Hadoop，统一进行税务数据的处理。本申请将税务数据存储至分布式文件系统HDFS，并将需要修改的税务数据分为动态税务数据，不需要修改的税务数据分为静态税务数据，本申请通过Sqoop将税务数据存储至分布式文件系统HDFS，通过Flume和Kafka采集动态税务数据，并可以实现对采集的动态税务数据进行实时处理。本申请分别将动态税务数据存储至第一数据库，利用第一数据库的查询功能，使得动态税务数据查询以及处理速度快。本申请将静态税务数据存储至第二数据库，使得静态税务数据能够实现分区或分时间段的存储。本申请技术方案，通过Spark程序，将不同来源的税务数据进行清洗转换，对于不完整的税务数据，进行完整性处理；对于税务数据信息不统一的税务数据，进行统一处理。通过本申请的技术方案，能够实现对静态税务数据进行挖掘和分析，以及实现对动态税务数据进行流式处理。本申请通过大数据平台Hadoop的构建，使得海量税务数据能够进行统一管理，并在此基础上进行数据的处理分析，有效实现了税务数据的应用。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明一实施方式的一种基于分布式系统基础架构平台对税务数据进行处理的方法流程图；以及
图2为根据本发明一实施方式的一种基于分布式系统基础架构平台对税务数据进行处理的系统结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明一实施方式的一种基于分布式系统基础架构平台对税务数据进行处理的方法流程图。本申请实施方式通过使用基于分布式系统基础架构平台Hadoop，统一进行税务数据的处理。本申请将税务数据存储至分布式文件系统HDFS，并将需要修改的税务数据分为动态税务数据，和不需要修改的税务数据分为静态税务数据，本申请通过Sqoop将税务数据存储至分布式文件系统HDFS，通过Flume和Kafka采集动态税务数据，并可以实现对采集的动态税务数据进行实时处理。本申请分别将动态税务数据存储至第一数据库，利用第一数据库的查询功能，使得动态税务数据查询以及处理速度快。本申请将静态税务数据存储至第二数据库，使得静态税务数据能够实现分区或分时间段的存储。本申请实施方式，通过Spark程序，将不同来源的税务数据进行清洗转换，对于不完整的税务数据，进行完整性处理；对于税务数据信息不统一的税务数据，进行统一处理。如图1所示，一种基于分布式系统基础架构平台对税务数据进行处理的方法100从步骤101开始：
优选地，在步骤101：将税务数据存储至分布式文件系统HDFS。本申请中由于税局的大部分原始税务数据都是存放的Oracle中的，所以第一步就是通过Sqoop将税务数据导入到大数据平台。
优选地，在步骤102：将税务数据分为动态税务数据和静态税务数据。本申请中，将经常会发生变化的税务数据定义为动态税务数据，将不会发生变化的税务数据，分为静态税务数据。
优选地，在步骤103：采集动态税务数据，对采集的动态税务数据进行实时处理。本申请对于一些需要实时处理的动态税务数据，通过Flume和Kafka进行统一的数据采集。
优选地，在步骤104：将动态税务数据存储至第一数据库，将静态税务数据存储至第二数据库，其中：第一数据库为数据库Hbase，第二数据库为数据库Hive。
本申请将税务数据存储在HDFS中，对于将经常有变化的动态税务数据存入到第一数据库Hbase中，对不会发生变化的静态税务数据存储在第二数据库Hive中。因为第二数据库Hive数据库要进行全表扫描，所以聚合表和事实表只留存一个月的数据，历史数据存储在Hbase中。Hbase的列式存储特性及rowkey的存在，使得查询速度会比较快。本申请第二数据库Hive中存储的税务数据，能够实现分区、分时间段的税务数据存储。
优选地，在步骤105：对税务数据进行清洗转换，包括对税务数据进行统一处理，以及将不完整的税务数据补充完整。本申请通过Spark对税务数据进行补充，使税务数据完整。
本申请针对税务数据来源的不统一，以及某些税务数据信息的不完整性，需要对税务数据进行清洗转换。主要涉及税务数据的统一处理及信息的补全操作。这部分主要通过Spark程序实现。
优选地，在步骤106：对静态税务数据进行挖掘和分析；对动态税务数据进行流式处理。优选地，通过Spark Streaming接收采集的实时税务数据，并对实时税务数据进行流式处理。
本申请针对税务数据的分析处理，以及对税务数据进行挖掘，主要通过Spark实现。对于实时信息，通过Spark Streaming接受Kafka采集的数据，进行流式处理。
优选地，还包括：建立用于税务数据展示的展示数据库。优选地，通过Greenplum作为数据展示的数据库。
本申请税务数据展示部分的数据库采用Greenplum，利用mpp数据库的优势，批量导入，并行查询。
优选地，方法100还包括对税务数据进行检索。优选地，通过ElasticSearch进行税务数据的检索。
本申请对于需要全文搜索的税务数据，采用ElasticSearch，利用其全文检索的速度优势，达到秒级的检索速度。
优选地，方法100还包括对税务数据进行展示。优选地，通过Apache Kylin进行税务数据展示。
本申请采用Apache Kylin用于税务数据展示，通过以空间换空间的方式，提高聚合数据的查询展示速度，并且简化税务数据处理过程。
本申请的实施方式灵活的使用了Hbase表和Hive表各自的优势，用以存储不同类型的税务数据。本申请税务数据的展示过程，按照不同的查询分类，利用多种技术进行数据展示，在提高系统响应速度的同时简化开发难度。本申请通过大数据平台的构建，得以对海量数据能够进行统一的管理，并在此基础上进行数据的处理分析展示，为领导决策和疑点监控提供了有利的保障。同时该平台具备良好的扩展性，能够轻松应对将来数据的增长情况。
图2为根据本发明一实施方式的一种基于分布式系统基础架构平台对税务数据进行处理的系统结构图。如图2所示，系统200包括：
第一存储单元201，用于将税务数据存储至分布式文件系统HDFS。本申请中由于税局的大部分原始税务数据都是存放的Oracle中的，所以第一步就是通过Sqoop将税务数据导入到大数据平台。
定义单元202，用于将税务数据分为动态税务数据和静态税务数据。本申请中，将经常会发生变化的税务数据定义为动态税务数据，将不会发生变化的税务数据，分为静态税务数据。
第一处理单元203，用于采集动态税务数据，对采集的动态税务数据进行实时处理。本申请对于一些需要实时处理的动态税务数据，通过Flume和Kafka进行统一的数据采集。
第二存储单元204，用于将动态税务数据存储至第一数据库，将静态税务数据存储至第二数据库，其中：第一数据库为数据库Hbase，第二数据库为数据库Hive。
本申请将税务数据存储在HDFS中，对于将经常有变化的动态税务数据存入到第一数据库Hbase中，对不会发生变化的静态税务数据存储在第二数据库Hive中。因为第二数据库Hive数据库要进行全表扫描，所以聚合表和事实表只留存一个月的数据，历史数据存储在Hbase中。Hbase的列式存储特性及rowkey的存在，使得查询速度会比较快。本申请第二数据库Hive中存储的税务数据，能够实现分区、分时间段的税务数据存储。
第二处理单元205，用于对税务数据进行清洗转换，包括对税务数据进行统一处理，以及将不完整的税务数据补充完整。本申请通过Spark对税务数据进行补充，使税务数据完整。
本申请针对税务数据来源的不统一，以及某些税务数据信息的不完整性，需要对税务数据进行清洗转换。主要涉及税务数据的统一处理及信息的补全操作。这部分主要通过Spark程序实现。
分析单元206，用于对静态税务数据进行挖掘和分析；对动态税务数据进行流式处理。优选地，通过Spark Streaming接收采集的实时税务数据，并对实时税务数据进行流式处理。
本申请针对税务数据的分析处理，以及对税务数据进行挖掘，主要通过Spark实现。对于实时信息，通过Spark Streaming接受Kafka采集的数据，进行流式处理。
优选地，系统200还包括展示单元，用于建立用于税务数据展示的展示数据库。优选地，通过Greenplum作为数据展示的数据库。
本申请税务数据展示部分的数据库采用Greenplum，利用mpp数据库的优势，批量导入，并行查询。
优选地，系统200还包括检索单元，用于对税务数据进行检索。优选地，通过ElasticSearch进行税务数据的检索。
本申请对于需要全文搜索的税务数据，采用ElasticSearch，利用其全文检索的速度优势，达到秒级的检索速度。
优选地，系统200还包括展示单元，用于对税务数据进行展示。优选地，通过ApacheKylin进行税务数据展示。
本申请采用Apache Kylin用于税务数据展示，通过以空间换空间的方式，提高聚合数据的查询展示速度，并且简化税务数据处理过程。
本发明一实施方式的一种基于分布式系统基础架构平台对税务数据进行处理的系统200与本发明另一实施方式一种基于分布式系统基础架构平台对税务数据进行处理的方法100相对应，在此不再进行赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种基于分布式系统基础架构平台对税务数据进行处理的方法，所述方法包括：
将税务数据存储至分布式文件系统；
将所述税务数据分为动态税务数据和静态税务数据；
采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；
将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；
对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；
对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。
2.根据权利要求1所述的方法，还包括：建立用于所述税务数据展示的展示数据库。
3.根据权利要求1所述的方法，还包括：对所述税务数据进行检索。
4.根据权利要求1所述的方法，还包括：对所述税务数据进行展示。
5.根据权利要求4所述的方法，还包括：通过以空间换空间的方式，进行所述税务数据的展示。
6.一种基于分布式系统基础架构平台对税务数据进行处理的系统，所述系统包括：
第一存储单元，用于将税务数据存储至分布式文件系统；
定义单元，用于将所述税务数据分为动态税务数据和静态税务数据；
第一处理单元，用于采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；
第二存储单元，用于将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；
第二处理单元，用于对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；
分析单元，用于对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。
7.根据权利要求6所述的系统，还包括展示单元，用于建立用于所述税务数据展示的展示数据库。
8.根据权利要求6所述的系统，还包括检索单元，用于对所述税务数据进行检索。
9.根据权利要求6所述的系统，还包括展示单元，用于对所述税务数据进行展示。
10.根据权利要求9所述的系统，所述展单元还用于：通过以空间换空间的方式，进行所述税务数据的展示。
CN201710979600.0A 2017-10-19 2017-10-19 一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统 Pending CN110019453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710979600.0A CN110019453A (zh) 2017-10-19 2017-10-19 一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710979600.0A CN110019453A (zh) 2017-10-19 2017-10-19 一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统

Publications (1)

Publication Number Publication Date
CN110019453A true CN110019453A (zh) 2019-07-16

Family

ID=67186665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710979600.0A Pending CN110019453A (zh) 2017-10-19 2017-10-19 一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统

Country Status (1)

Country Link
CN (1) CN110019453A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222927A (zh) * 2019-12-26 2020-06-02 大象慧云信息技术有限公司 一种对发票数据的进行实时采集的方法及系统
CN111222930A (zh) * 2020-01-02 2020-06-02 大象慧云信息技术有限公司 支持大屏幕展示的发票监控方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8312056B1 (en) * 2011-09-13 2012-11-13 Xerox Corporation Method and system for identifying a key influencer in social media utilizing topic modeling and social diffusion analysis
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8312056B1 (en) * 2011-09-13 2012-11-13 Xerox Corporation Method and system for identifying a key influencer in social media utilizing topic modeling and social diffusion analysis
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王安琪: "使用Sqoop从MySQL导入数据到Hive和Hbase及近期感悟", 《博客园》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222927A (zh) * 2019-12-26 2020-06-02 大象慧云信息技术有限公司 一种对发票数据的进行实时采集的方法及系统
CN111222930A (zh) * 2020-01-02 2020-06-02 大象慧云信息技术有限公司 支持大屏幕展示的发票监控方法、装置及系统

Similar Documents

Publication Publication Date Title
Santos et al. A big data system supporting bosch braga industry 4.0 strategy
Venkatraman et al. SQL versus NoSQL movement with big data analytics
Li et al. A spatiotemporal indexing approach for efficient processing of big array-based climate data with MapReduce
CN104205039B (zh) 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能系统和方法
CN103491187B (zh) 一种基于云计算的大数据统一分析处理方法
CN105653609B (zh) 基于内存的数据处理方法及装置
CN109344223A (zh) 一种基于云计算技术的建筑信息模型管理系统及方法
CN106407278A (zh) 一种大数据平台的架构设计系统
CN107220310A (zh) 一种数据库数据管理系统、方法及装置
CN109063196A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN100354865C (zh) 仿人工细粒度网页信息采集方法
CN108737492A (zh) 一种基于大数据系统的导航与位置服务的方法
CN102254029A (zh) 一种基于视图的数据访问系统及其方法
Wu et al. Movemine 2.0: Mining object relationships from movement data
CN106294805A (zh) 数据处理方法及装置
CN110019453A (zh) 一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统
CN104268158A (zh) 一种结构化数据分布式索引及检索方法
Ranawade et al. Online analytical processing on hadoop using apache kylin
CN110134511A (zh) 一种OpenTSDB共享存储优化方法
Karim et al. Spatiotemporal Aspects of Big Data.
Delchev et al. Big Data Analysis Architecture
Wang et al. A hybrid index for temporal big data
Fiore et al. Big data analytics on large-scale scientific datasets in the indigo-datacloud project
CN110580144A (zh) 一种通过给页面控件添加查询运算符实现的通用查询方法
CN105930462A (zh) 基于云计算平台的海量数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication