CN104102702A - 一种实现软硬件结合的面向应用的大数据系统及方法 - Google Patents
一种实现软硬件结合的面向应用的大数据系统及方法 Download PDFInfo
- Publication number
- CN104102702A CN104102702A CN201410321901.0A CN201410321901A CN104102702A CN 104102702 A CN104102702 A CN 104102702A CN 201410321901 A CN201410321901 A CN 201410321901A CN 104102702 A CN104102702 A CN 104102702A
- Authority
- CN
- China
- Prior art keywords
- platform
- big data
- hardware
- application
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000011161 development Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 241000282813 Aepyceros melampus Species 0.000 claims description 7
- 238000007418 data mining Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 7
- 241000251730 Chondrichthyes Species 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种实现软硬件结合的面向应用的大数据系统及方法，包括：硬件层、基础平台层、平台增强层；其中，硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；平台增强层，用于根据基础平台层选择的大数据平台提供相应的大数据平台工具；其中，应用场景为用户应用需求或用户应用场景。本申请的技术方案屏蔽了平台多样性对用户带来的选择和搭配的难度，并且充分利用了软硬件结合的优势以及结合大数据平台工具提高易用性，极大地提高了行业大数据应用的开发质量和效率。
Description
技术领域
本发明涉及大数据领域，尤指一种实现软硬件结合的面向应用的大数据系统及方法。
背景技术
大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集，并不是说一定要超过特定万亿字节(TB)值的数据集才能算是大数据。国际数据公司(IDC)从四个特征定义大数据，即海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value)。大数据几乎渗透到国民经济的所有部门，应用领域涉及信息服务、智慧城市、金融、制造业、国家安全和科学研究等。但目前这些行业处理大数据时，至少会面临如下的问题：
1、数据存储与管理
大数据给存储系统带来了3个方面的挑战：存储规模大，通常达到PB(1,000TB)甚至EB(1,000PB)量级；存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据；上层应用对存储系统的性能、可靠性等指标有不同的要求，而数据的大规模和高复杂度放大了达到这些指标的技术难度。
2、数据分析处理
传统的并行计算方法主要从体系结构和编程语言的层面定义了一些较为底层的并行计算抽象和模型，但由于大数据处理问题具有很高层的数据特征和计算特征，因此大数据处理需要更多地结合这些高层特征考虑更为高层的计算模式。大数据处理包括以下典型的特征和维度：
1)数据结构特征
可分为结构化数据处理、半结构化数据处理与非结构化数据处理。
2)数据获取处理方式
按照数据获取方式，大数据可分为批处理与流式计算方式。
3)数据处理类型
从数据处理类型来看，大数据处理可分为传统的查询分析计算和复杂的数据挖掘分析计算。
4)实时性
从数据计算响应性能角度看，大数据处理可分为实时/准实时与非实时计算，或者是联机计算与离线计算。
5)并行计算体系结构
由于需要支持大规模数据的存储计算，大数据处理通常需要使用基于集群的分布式存储与并行计算体系结构和硬件平台。
3、数据系统使用及日常运维
目前大数据系统与传统关系型数据库(比如Oracle、MySql等)相比，对于企业IT人员在使用和日常运维方面还有不小的难度。一方面，大数据系统相关配套工具很零散或不成熟(比如数据导入导出、数据安全、备份容灾等)；另一方面由于大数据系统部署在集群上，服务器数量较多，怎样减少人工操作成本和提高效率，这对大数据系统进行监控和运维提出了很大挑战。
4、应用迁移与开发难度
目前行业内大部分的应用系统都不是基于大数据平台，随着数据规模的增大，这些应用系统已逐渐满足不了日常需求，需要在大数据系统框架下进行应用系统迁移或重构。但大数据应用的开发跟传统应用的开发还是有很大区别，加上缺乏面向行业解决方案的开发工具包，使得行业内大数据应用系统开发成本及难度很高，难以短时间内进行普及。
另外，现有的平台级的大数据系统及产品，每个都侧重于解决一种应用场景，而现实中大数据应用一般都是混合型场景，比如既包含批处理又包含查询分析，并且现有技术中并没有通过对硬件的一些限定来适应大数据平台运行的方法这至少会带来三个问题：第一，平台的多样性会给用户的选择与搭配能力带来极大挑战；第二，需要有为应用场景定制的硬件才能使平台发挥出其优势，采取通用硬件往往达不到最佳效果或者造成浪费；第三，目前这些平台基本是面向通用性，缺乏对具体行业应用的支持，使用及应用开发难度比较大，离用户还有一定距离。
发明内容
为了解决上述技术问题，本发明提供了一种实现软硬件结合的面向应用的大数据系统及方法，能够屏蔽平台多样性对用户带来的选择和搭配的难度，充分利用软硬件结合的优势以及结合大数据平台工具提高易用性，极大地提高了行业大数据应用的开发质量和效率。
为了达到上述发明目的，本发明公开了一种实现软硬件结合的面向应用的大数据系统，包括：硬件层、基础平台层、平台增强层；其中，
硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；
基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；
平台增强层，用于根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；
其中，所述应用场景为用户应用需求或用户应用场景。
进一步地，大数据平台搭配能力以及应用场景的策略包括：
批处理查询分析对应平台：映射规约平台MapReduce，内存计算引擎平台Spark，数据仓库工具Hive，数据仓库工具Shark；
交互式查询分析对应平台：交互式数据分析系统Dremel，实时查询开源项目Impala，内存数据库；
高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库Hbase；
流式计算场景对应平台：流式计算平台Storm，流式计算平台Sparkstreaming；
复杂查询场景对应平台：大规模并行处理数据库，内存数据库。
进一步地，上述系统还包括业务增值层，用于根据用户应用场景提供与行业应用结合的大数据开发工具包；
所述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。
进一步地，硬件层具体用于：
对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型；
对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小；
对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。
进一步地，大数据平台工具包括：运维监控、数据导入导出、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。
本发明还公开了一种实现软硬件结合的面向应用的大数据方法，包括以下步骤：
根据应用场景以及系统需求对硬件进行定制，并提供硬件支撑；
根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；
根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；
其中，所述应用场景为用户应用需求或用户应用场景。
进一步地，大数据平台搭配能力以及应用场景的策略包括：
批处理查询分析对应平台：映射规约平台MapReduce，内存计算引擎平台Spark，数据仓库工具Hive，数据仓库工具Shark；
交互式查询分析对应平台：交互式数据分析系统Dremel，实时查询开源项目Impala，内存数据库；
高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库Hbase；
流式计算场景对应平台：流式计算平台Storm，流式计算平台Sparkstreaming；
复杂查询场景对应平台：大规模并行处理数据库，内存数据库。
进一步地，上述方法还包括：根据用户应用场景提供与行业应用结合的大数据开发工具包；
所述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。
进一步地，根据应用场景以及系统需求对硬件进行定制，包括：
对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型；
对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小；
对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。
进一步地，大数据平台工具包括：运维监控、数据导入导出、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。
本申请技术方案包括：硬件层、基础平台层、平台增强层；其中，硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；平台增强层，用于根据基础平台层选择的大数据平台提供相应的大数据平台工具；其中，应用场景为用户应用需求或用户应用场景。本申请的技术方案为行业应用提供一个相对完整的解决方案，屏蔽了平台多样性对用户带来的选择和搭配的难度，并且充分利用了软硬件结合的优势以及结合大数据平台工具提高易用性，极大地提高了行业大数据应用的开发质量和效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实现软硬件结合的面向应用的大数据系统的结构示意图；
图2为本发明实现软硬件结合的面向应用的大数据方法的流程图。
具体实施方式
大数据查询分析的典型系统包括分布式系统基础架构(Hadoop)下的分布式的、面向列的开源数据库(HBase)和数据仓库工具(Hive)，社交服务网站Facebook开发的非关系型数据库(Cassandra)，Google公司的交互式数据分析系统(Dremel)，Cloudera公司的实时查询开源项目(Impala)；此外为了实现更高性能的数据查询分析，还出现了不少基于内存的分布式数据存储管理和查询系统，UC Berkeley AMPLab的基于内存计算引擎(Spark)的数据仓库(Shark)。还有大规模并行处理(MPP，Massively ParallelProcessing)数据库，比如唯冠公司(EMC)的数据库引擎GreenPlum，惠普公司(HP)的基于列存储的数据库Vertica。
最适合于大数据批处理的计算模式是MapReduce，MapReduce是一个单输入、两阶段(Map和Reduce)的数据处理过程。MapReduce的简单易用性使其成为目前大数据处理最为成功、最广为接受使用的主流并行计算模式。在开源社区的努力下，Hadoop系统目前已发展成为较为成熟的大数据处理平台，并已发展成一个包含众多数据处理工具和环境的完整的生态系统。Spark也是一个批处理系统，在性能方面比Hadoop MapReduce有很大提升，但是其易用性及稳定性方面目前仍不如Hadoop MapReduce。
流式计算是一种高实时性的计算模式，需要对一定时间窗口内产生的新数据完成实时的计算处理，避免造成数据堆积和丢失。Facebook的Scribe和Apache的Flume都提供了机制来构建日志数据处理流图。通用的流式计算系统是Twitter公司的Storm、Yahoo公司的S4、以及UC Berkeley AMPLab的Spark Streaming。
下面结合附图及具体实施例对本发明进行详细说明。
图1为本发明实现软硬件结合的面向应用的大数据系统的结构示意图，如图1所示，包括：硬件层、基础平台层、平台增强层。其中，
硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑。
上述应用场景为用户应用需求或用户应用场景。
该硬件层具体用于：
首先，对硬件的网络性能进行定制，包括：根据该应用场景选择节点间的网络互连类型。
其次，对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小。
最后，对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。
基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台。
需要说明的是，基础平台层在众多的大数据平台中选择合适的平台或组合，可以把用户从众多平台的选择中解放出来，其中合适的是指满足用户应用需求的，选择即是根据上述策略，匹配出合适的大数据平台。
上述大数据平台搭配能力以及应用场景的策略包括：
批处理查询分析对应平台：映射规约平台(MapReduce)，内存计算引擎平台(Spark)，数据仓库工具(Hive)，数据仓库工具(Shark)；
交互式查询分析对应平台：交互式数据分析系统(Dremel)，实时查询开源项目(Impala)，内存数据库；
高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库(Hbase)；
流式计算场景对应平台：流式计算平台(Storm)，流式计算平台(Sparkstreaming)；
复杂查询场景对应平台：大规模并行处理数据库，内存数据库。
平台增强层，用于根据基础平台层选择的所述大数据平台提供相应的大数据平台工具。
上述大数据平台工具包括：运维监控、数据导入导出(ETL)、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。
较优地，上述系统还包括业务增值层，用于根据用户应用场景提供与行业应用结合的大数据开发工具包；
其中，上述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。这些工具包是指跟具体业务相关的代码或类库，方便进行应用开发。跟传统工具包不同的是，这些代码或类库是基于大数据平台的。
图2为本发明实现软硬件结合的面向应用的大数据方法的流程图，如图2所示，包括以下步骤：
步骤201，根据应用场景以及系统需求对硬件进行定制，并提供硬件支撑。
上述应用场景为用户应用需求或用户应用场景。
本步骤具体包括：
对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型。
对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小。
对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。
步骤202，根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台。
上述大数据平台搭配能力以及应用场景的策略包括：
批处理查询分析对应平台：映射规约平台(MapReduce)，内存计算引擎平台(Spark)，数据仓库工具(Hive)，数据仓库工具(Shark)；
交互式查询分析对应平台：交互式数据分析系统(Dremel)，实时查询开源项目(Impala)，内存数据库；
高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库(Hbase)；
流式计算场景对应平台：流式计算平台(Storm)，流式计算平台(Sparkstreaming)；
复杂查询场景对应平台：大规模并行处理数据库，内存数据库。
本步骤需要说明是，在众多的大数据平台中选择合适的平台或组合，可以把用户从众多平台的选择中解放出来，其中合适的是指满足用户应用需求的，选择即是根据上述策略，匹配出合适的大数据平台。
步骤203，根据基础平台层选择的所述大数据平台提供相应的大数据平台工具。
上述大数据平台工具包括：运维监控、数据导入导出(ETL)、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。
较优地，上述方法还包括：根据用户应用场景提供与行业应用结合的大数据开发工具包。
其中，上述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。这些工具包是指跟具体业务相关的代码或类库，方便进行应用开发。跟传统工具包不同的是，这些代码或类库是基于大数据平台的。
实施例一
本实施中以交通卡口数据查询为例，来详细说明如何实现实现软硬件结合的面向应用的大数据系统。
交通卡口数据可以理解为高速公路收费口或路口的车辆通行信息，每条记录至少包含：车牌号、通行时间、车辆类型、卡口编号(可根据卡口编号得到卡口所在城市信息)等。基于交通卡口数据的一个应用场景是，查询在指定时间段内同时出现在指定卡口的车辆信息。比如6月28日上午9:00-10:00出现在卡口1,6月28日上午11:00-12:00出现在卡口3,6月28日下午4:00-5:00出现在卡口10的所有车辆信息。假设卡口数据总量为2T，服务器节点数为10。
此实施例的应用场景为数据复杂查询场景，基础平台层可以选用内存数据库产品。根据数据量来看，硬件层可以选用内存比较大而硬盘相对较小的机器，而且为了提高读写速度可以选用ssd硬盘。对于平台增强层，需要有集群管理、运维监控、备份与容灾模块(这个具体还要基于客户需求)。对于业务增值层，由于这个场景是卡口数据的一个通用场景，可以把场景逻辑实现为一个应用程序接口(API)，上层应用(比如UI展示)只需调用这个API，应用开发者无需关注具体使用何种大数据平台。当基础平台层发生变化(比如版本升级或客户强制要求替换)时无需对上层应用进行修改，同时简化了上层应用的开发难度。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种实现软硬件结合的面向应用的大数据系统，其特征在于，包括：硬件层、基础平台层、平台增强层；其中，
硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；
基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；
平台增强层，用于根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；
其中，所述应用场景为用户应用需求或用户应用场景。
2.根据权利要求1所述的系统，其特征在于，所述大数据平台搭配能力以及应用场景的策略包括：
批处理查询分析对应平台：映射规约平台MapReduce，内存计算引擎平台Spark，数据仓库工具Hive，数据仓库工具Shark；
交互式查询分析对应平台：交互式数据分析系统Dremel，实时查询开源项目Impala，内存数据库；
高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库Hbase；
流式计算场景对应平台：流式计算平台Storm，流式计算平台Sparkstreaming；
复杂查询场景对应平台：大规模并行处理数据库，内存数据库。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括业务增值层，用于根据用户应用场景提供与行业应用结合的大数据开发工具包；
所述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。
4.根据权利要求1所述的系统，其特征在于，所述硬件层具体用于：
对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型；
对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小；
对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。
5.根据权利要求1所述的系统，其特征在于，所述大数据平台工具包括：运维监控、数据导入导出、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。
6.一种实现软硬件结合的面向应用的大数据方法，其特征在于，包括：
根据应用场景以及系统需求对硬件进行定制，并提供硬件支撑；
根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；
根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；
其中，所述应用场景为用户应用需求或用户应用场景。
7.根据权利要求6所述的方法，其特征在于，所述大数据平台搭配能力以及应用场景的策略包括：
批处理查询分析对应平台：映射规约平台MapReduce，内存计算引擎平台Spark，数据仓库工具Hive，数据仓库工具Shark；
交互式查询分析对应平台：交互式数据分析系统Dremel，实时查询开源项目Impala，内存数据库；
高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库Hbase；
流式计算场景对应平台：流式计算平台Storm，流式计算平台Sparkstreaming；
复杂查询场景对应平台：大规模并行处理数据库，内存数据库。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据用户应用场景提供与行业应用结合的大数据开发工具包；
所述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。
9.根据权利要求6所述的方法，其特征在于，所述根据应用场景以及系统需求对硬件进行定制，包括：
对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型；
对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小；
对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。
10.根据权利要求6所述的方法，其特征在于，所述大数据平台工具包括：运维监控、数据导入导出、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410321901.0A CN104102702A (zh) | 2014-07-07 | 2014-07-07 | 一种实现软硬件结合的面向应用的大数据系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410321901.0A CN104102702A (zh) | 2014-07-07 | 2014-07-07 | 一种实现软硬件结合的面向应用的大数据系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104102702A true CN104102702A (zh) | 2014-10-15 |
Family
ID=51670856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410321901.0A Pending CN104102702A (zh) | 2014-07-07 | 2014-07-07 | 一种实现软硬件结合的面向应用的大数据系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104102702A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468710A (zh) * | 2014-10-31 | 2015-03-25 | 西安未来国际信息股份有限公司 | 一种混合大数据处理系统及处理方法 |
| CN104598631A (zh) * | 2015-02-05 | 2015-05-06 | 北京航空航天大学 | 分布式数据处理平台 |
| CN104731595A (zh) * | 2015-03-26 | 2015-06-24 | 江苏物联网研究发展中心 | 面向大数据分析的混合计算系统 |
| CN105426472A (zh) * | 2015-11-16 | 2016-03-23 | 广州供电局有限公司 | 分布式计算系统及其数据处理方法 |
| CN105574643A (zh) * | 2015-11-23 | 2016-05-11 | 江苏瑞中数据股份有限公司 | 一种电网实时数据中心与大数据平台融合方法 |
| CN105989117A (zh) * | 2015-02-13 | 2016-10-05 | 中国移动通信集团山西有限公司 | 一种半结构化数据快速联合处理的方法及系统 |
| CN106383886A (zh) * | 2016-09-21 | 2017-02-08 | 深圳市博瑞得科技有限公司 | 一种基于大数据分布式编程框架的大数据预统系统及方法 |
| CN106649828A (zh) * | 2016-12-29 | 2017-05-10 | 中国银联股份有限公司 | 一种数据查询方法及系统 |
| CN107193854A (zh) * | 2016-03-14 | 2017-09-22 | 商业对象软件有限公司 | 用于分布式处理平台的统一客户端 |
| CN107358494A (zh) * | 2017-06-23 | 2017-11-17 | 武汉理工大学 | 一种基于大数据的客户需求信息挖掘方法 |
| CN107506381A (zh) * | 2017-07-21 | 2017-12-22 | 中国建设银行股份有限公司 | 一种大数据分布式调度分析方法、系统装置及存储介质 |
| CN108197486A (zh) * | 2017-12-20 | 2018-06-22 | 北京天融信网络安全技术有限公司 | 大数据脱敏方法、系统、计算机可读介质及设备 |
| CN109446395A (zh) * | 2018-09-29 | 2019-03-08 | 上海派博软件有限公司 | 一种提高基于Hadoop大数据综合查询引擎效率的方法及系统 |
| US10261806B2 (en) | 2017-04-28 | 2019-04-16 | International Business Machines Corporation | Adaptive hardware configuration for data analytics |
| CN110032131A (zh) * | 2018-01-12 | 2019-07-19 | 中科院微电子研究所昆山分所 | 基于Storm的电动车状态监控处理系统及监控系统 |
| CN112947993A (zh) * | 2019-12-31 | 2021-06-11 | 深圳市明源云链互联网科技有限公司 | 系统框架的重构方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
| US20130227558A1 (en) * | 2012-02-29 | 2013-08-29 | Vmware, Inc. | Provisioning of distributed computing clusters |
| CN103312797A (zh) * | 2013-05-31 | 2013-09-18 | 苏州市职业大学 | 一种基于云计算的感知实体动态协同模型建立方法 |
| CN103838617A (zh) * | 2014-02-18 | 2014-06-04 | 河海大学 | 大数据环境下的数据挖掘平台的构建方法 |
-
2014
- 2014-07-07 CN CN201410321901.0A patent/CN104102702A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
| US20130227558A1 (en) * | 2012-02-29 | 2013-08-29 | Vmware, Inc. | Provisioning of distributed computing clusters |
| CN103312797A (zh) * | 2013-05-31 | 2013-09-18 | 苏州市职业大学 | 一种基于云计算的感知实体动态协同模型建立方法 |
| CN103838617A (zh) * | 2014-02-18 | 2014-06-04 | 河海大学 | 大数据环境下的数据挖掘平台的构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王德政 等: ""大数据发展趋势"", 《HTTP://WWW.ZTE.COM.CN/CNDATA/MAGAZINE/ZTE_TECHNOLOGIES/2014/2014_3/MAGAZINE/201403/T20140319_419078.HTML》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468710A (zh) * | 2014-10-31 | 2015-03-25 | 西安未来国际信息股份有限公司 | 一种混合大数据处理系统及处理方法 |
| CN104598631A (zh) * | 2015-02-05 | 2015-05-06 | 北京航空航天大学 | 分布式数据处理平台 |
| CN104598631B (zh) * | 2015-02-05 | 2017-11-14 | 北京航空航天大学 | 分布式数据处理平台 |
| CN105989117A (zh) * | 2015-02-13 | 2016-10-05 | 中国移动通信集团山西有限公司 | 一种半结构化数据快速联合处理的方法及系统 |
| CN104731595A (zh) * | 2015-03-26 | 2015-06-24 | 江苏物联网研究发展中心 | 面向大数据分析的混合计算系统 |
| CN105426472A (zh) * | 2015-11-16 | 2016-03-23 | 广州供电局有限公司 | 分布式计算系统及其数据处理方法 |
| CN105426472B (zh) * | 2015-11-16 | 2019-08-16 | 广州供电局有限公司 | 分布式计算系统及其数据处理方法 |
| CN105574643A (zh) * | 2015-11-23 | 2016-05-11 | 江苏瑞中数据股份有限公司 | 一种电网实时数据中心与大数据平台融合方法 |
| CN107193854A (zh) * | 2016-03-14 | 2017-09-22 | 商业对象软件有限公司 | 用于分布式处理平台的统一客户端 |
| CN107193854B (zh) * | 2016-03-14 | 2022-02-25 | 商业对象软件有限公司 | 用于分布式处理平台的统一客户端 |
| CN106383886A (zh) * | 2016-09-21 | 2017-02-08 | 深圳市博瑞得科技有限公司 | 一种基于大数据分布式编程框架的大数据预统系统及方法 |
| CN106649828A (zh) * | 2016-12-29 | 2017-05-10 | 中国银联股份有限公司 | 一种数据查询方法及系统 |
| CN106649828B (zh) * | 2016-12-29 | 2019-12-24 | 中国银联股份有限公司 | 一种数据查询方法及系统 |
| US10261806B2 (en) | 2017-04-28 | 2019-04-16 | International Business Machines Corporation | Adaptive hardware configuration for data analytics |
| CN107358494A (zh) * | 2017-06-23 | 2017-11-17 | 武汉理工大学 | 一种基于大数据的客户需求信息挖掘方法 |
| CN107506381A (zh) * | 2017-07-21 | 2017-12-22 | 中国建设银行股份有限公司 | 一种大数据分布式调度分析方法、系统装置及存储介质 |
| CN108197486A (zh) * | 2017-12-20 | 2018-06-22 | 北京天融信网络安全技术有限公司 | 大数据脱敏方法、系统、计算机可读介质及设备 |
| CN110032131A (zh) * | 2018-01-12 | 2019-07-19 | 中科院微电子研究所昆山分所 | 基于Storm的电动车状态监控处理系统及监控系统 |
| CN109446395A (zh) * | 2018-09-29 | 2019-03-08 | 上海派博软件有限公司 | 一种提高基于Hadoop大数据综合查询引擎效率的方法及系统 |
| CN112947993A (zh) * | 2019-12-31 | 2021-06-11 | 深圳市明源云链互联网科技有限公司 | 系统框架的重构方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104102702A (zh) | 一种实现软硬件结合的面向应用的大数据系统及方法 | |
| JP7333424B2 (ja) | 分散イベント処理システムのためのグラフ生成 | |
| US11561869B2 (en) | Optimized disaster-recovery-as-a-service system | |
| US9971633B1 (en) | Operation efficiency management with respect to application compile-time | |
| CN109997126B (zh) | 事件驱动提取、变换、加载（etl）处理 | |
| US9317542B2 (en) | Declarative specification of data integration workflows for execution on parallel processing platforms | |
| CN107766568B (zh) | 使用列式数据库中的直方图进行有效查询处理 | |
| Tian et al. | Optimized cloud resource management and scheduling: theories and practices | |
| US9747127B1 (en) | Worldwide distributed job and tasks computational model | |
| US11977532B2 (en) | Log record identification using aggregated log indexes | |
| CN107408114B (zh) | 基于事务访问模式识别联结关系 | |
| Lai et al. | Towards a framework for large-scale multimedia data storage and processing on Hadoop platform | |
| CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
| US10558665B2 (en) | Network common data form data management | |
| US11321318B2 (en) | Dynamic access paths | |
| US10706102B2 (en) | Operation efficiency management with respect to application run-time | |
| CN110807016A (zh) | 一种应用于金融业务的数据仓库构建方法、装置和电子设备 | |
| CN110659999A (zh) | 一种数据处理方法、装置及电子设备 | |
| US10067849B2 (en) | Determining dynamic statistics based on key value patterns | |
| CN113849503A (zh) | 一种开放式大数据处理系统、方法及介质 | |
| Bhagattjee | Emergence and taxonomy of big data as a service | |
| US11893020B2 (en) | Enhancing database query processing | |
| US20230306026A1 (en) | Database query performance improvement | |
| US11704314B2 (en) | Multiplexing data operation | |
| Vaidya | Handling critical issues of big data on cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141015 |