CN102880709A - 数据仓库管理系统和数据仓库管理方法 - Google Patents
数据仓库管理系统和数据仓库管理方法 Download PDFInfo
- Publication number
- CN102880709A CN102880709A CN2012103723198A CN201210372319A CN102880709A CN 102880709 A CN102880709 A CN 102880709A CN 2012103723198 A CN2012103723198 A CN 2012103723198A CN 201210372319 A CN201210372319 A CN 201210372319A CN 102880709 A CN102880709 A CN 102880709A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- analysis
- warehouse management
- hbase database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据仓库管理系统，包括：数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。本发明还提出了一种数据仓库管理方法。通过本发明的技术方案，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。
Description
技术领域
本发明涉及数据管理技术领域，具体而言，涉及一种数据仓库管理系统和一种数据仓库管理方法。
背景技术
互联网发展至今天，各大信息化领域企业的数据规模急剧扩大，有些甚至达到了PB级，用户和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储以及在未来访问和使用这些数据已成为难点，想从海量的数据里得到对自己有用的信息也变得倍加艰难。
在分析数据的技术上，大多数公司采用了数据仓库技术，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，数据仓库会将多个系统的数据整合到一起，然后根据不同的主体进行数据分析，分析结果用于支持管理决策。但是随着数据量级的增大，传统的事务型数据仓库由于构架平台陈旧，无法支持对于海量数据的分析，并且显得越来越力不从心。
因此，需要一种新的数据仓库管理技术，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。
发明内容
本发明正是基于上述问题，提出了一种新的数据仓库管理技术，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。
有鉴于此，本发明提出了一种数据仓库管理系统，包括：数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。
在该技术方案中，HBase（Hadoop Database，一种分布式的、面向列的开源数据库）数据库是基于Hadoop（一种分布式系统基础构架，由Apache基金会开发）平台构建的，从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。
在上述技术方案中，优选地，还包括：数据过滤单元，用于按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。
在上述任一技术方案中，优选地，还包括：格式转换单元，用于获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。
在上述任一技术方案中，优选地，所述数据分析单元包括：文件获取子单元，用于调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；数据获取子单元，用于所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；分析处理子单元，用于所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；结果存储子单元，用于将存储有所述分析结果的二维表存储至所述HBase数据库中。
在上述任一技术方案中，优选地，所述结果展示单元包括：报表展示子单元，用于按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。
根据本发明的又一方面，还提出了一种数据仓库管理方法，包括：步骤202，建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；步骤204，对所述HBase数据库中的数据进行数据挖掘分析；步骤206，展现所述数据挖掘分析的分析结果。
在该技术方案中，HBase数据库是基于Hadoop平台构建的，从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。
在上述技术方案中，优选地，所述步骤202还包括：按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。
在上述任一技术方案中，优选地，所述步骤202还包括：获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。
在上述任一技术方案中，优选地，所述步骤204包括：调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；将存储有所述分析结果的二维表存储至所述HBase数据库中。
在上述任一技术方案中，优选地，所述步骤206包括：按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。
通过以上技术方案，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。
附图说明
图1示出了根据本发明的一个实施例的数据仓库管理系统的框图；
图2示出了根据本发明的一个实施例的数据仓库管理方法的流程图；
图3示出了根据本发明的另一个实施例的数据仓库管理系统的框图；
图4示出了根据本发明的一个实施例的将数据写入HBase数据库的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的一个实施例的数据仓库管理系统的框图。
如图1所示，根据本发明的一个实施例的数据仓库管理系统100，包括：数据库建立单元102，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元104，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元106，用于展现所述数据挖掘分析的分析结果。
在该技术方案中，HBase（Hadoop Database，一种分布式的、面向列的开源数据库）数据库是基于Hadoop（一种分布式系统基础构架，由Apache基金会开发）平台构建的，从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。
在上述技术方案中，优选地，还包括：数据过滤单元108，用于按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。
在上述任一技术方案中，优选地，还包括：格式转换单元110，用于获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。
在上述任一技术方案中，优选地，所述数据分析单元104包括：文件获取子单元1042，用于调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；数据获取子单元1044，用于所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；分析处理子单元1046，用于所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；结果存储子单元1048，用于将存储有所述分析结果的二维表存储至所述HBase数据库中。
在上述任一技术方案中，优选地，所述结果展示单元106包括：报表展示子单元1060，用于按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。
图2示出了根据本发明的一个实施例的数据仓库管理方法的流程图。
如图2所示，根据本发明的一个实施例的数据仓库管理方法，包括：步骤202，建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；步骤204，对所述HBase数据库中的数据进行数据挖掘分析；步骤206，展现所述数据挖掘分析的分析结果。
在该技术方案中，HBase数据库是基于Hadoop平台构建的，从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。
在上述技术方案中，优选地，所述步骤202还包括：按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。
在上述任一技术方案中，优选地，所述步骤202还包括：获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。
在上述任一技术方案中，优选地，所述步骤204包括：调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；将存储有所述分析结果的二维表存储至所述HBase数据库中。
在上述任一技术方案中，优选地，所述步骤206包括：按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。
图3示出了根据本发明的另一个实施例的数据仓库管理系统的框图。
如图3所示，本发明的数据仓库管理系统基于Hadoop及其相关子项目组成的Hadoop生态系统，Hadoop生态系统提供了一个基础平台。在数据仓库的整体架构中，HBase数据库构建于Hadoop之上，Hive是基于Hadoop的一个数据仓库工具。Hadoop实现了分布式文件系统HDFS（Hadoop Distributed File System，分布式文件系统）和MapReduce计算框架，其中，HDFS使Hadoop具有扩展性良好、安全、经济等优点，所以架构在Hadoop之上的数据仓库继承了这些特点；MapReduce采用移动计算而非移动数据的思想，对分布式存储在HDFS的海量数据进行分布式的并行计算，大大提高了计算的速度。
本发明中基于Hadoop生态系统开发出数据管理系统，其中的数据建仓工具、数据分析工具和自由报表工具都是基于HBase数据库构建，与HBase连接，针对HBase中的数据进行运作。数据分析工具基于数据仓库工具Hive构建，并根据具体业务需要对Hive模块进行调用。
数据建仓工具提供了事务型数据库数据、文本格式数据等多种异构数据与数据仓库之间的接口，支持多种异构数据向数据仓库中的数据载入，以及数据仓库中的数据向事务型数据库中的数据载入。
数据建仓工具的具体工作过程如下：
1）输入业务系统的数据库的连接参数，包括：连接字符串、IP地址、服务名、服务端口、用户名和密码。
2）输入数据抽取参数，包括：数据表、字段、HBase中目标数据的结构、转换规则、并行度和异常处理机制。
3）输入数据清洗参数：主要包括：过滤方式和过滤项目。其中，过滤方式包括：缺失值，近似记录，重复记录，数据异常等；过滤项目可以按领域选择也可以按表或者字段。
4）数据建仓工具从业务系统的数据库中抽取数据，根据数据清洗参数执行数据清洗算法。并从MapReduce计算框架的Map函数中抽取用于转换数据的HQL语句，获得目标数据结构，然后参照图4所示，将数据清洗过滤后的数据按照目标数据结构写入HBase数据库。
数据建仓工具的实现充分利用了Hadoop提供的MapReduce分布式并行计算框架，实现了数据抽取过程的并行化。同时数据建仓工具在从业务系统数据库向数据仓库中载入数据时采用了数据清洗技术，从而大大提高了业务数据的质量。
数据分析工具，该工具根据预置的商业智能分析规则，调用Hive进行数据挖掘分析。数据分析工具具体工作过程如下：
1）输入商业智能分析规则。指定需要做数据分析的数据范围，类型或者其他规则。
2）数据分析工具根据所采用的商业智能分析规则，抽取HBase中需要分析的数据对应的结构化的数据文件，并将该数据文件映射为一张数据库表。但该数据库表中的数据并不都是必须的，因而由数据分析工具根据商业智能分析规则所明确的需要分析的数据类型，指示Hive在HBase中建立一个临时表，用于存储从数据库表中提取出来的用于数据挖掘分析的数据；同时，指示Hive在Hive中建立一张空白二维表，并在该空白二维表与临时表之间建立关联关系。数据仓库工具Hive对临时表中的数据进行多维分析，将分析后的数据写入空白二维表。分析完成后，数据分析工具指示Hive将写入分析后数据的二维表重新转换为HBase中的结构化的数据文件。
自由报表工具，该工具连接到HBase数据库，按预置的语义模型从Hive的分析结果中提取需要展示的数据，形成数据模型，再按预置的报表格式显示。
自由报表工具的具体工作过程如下：
1）输入查询逻辑，确定报表的语义模型。
2）输入报表的展示格式。
3）自由报表工具根据语义模型的查询规则，从Hive分析结果中提取需要的数据，形成数据模型，再把这个数据模型按照定义的报表格式显示出来。
自由报表工具充分满足了用户的各种查询定制需求，使得企业对于数据分析的结果可以进行全方位的使用。
以上结合附图详细说明了本发明的技术方案，本发明提供了一种数据仓库管理系统和一种数据仓库管理方法，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据仓库管理系统，其特征在于，包括：
数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；
数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；
结果展现单元，用于展现所述数据挖掘分析的分析结果。
2.根据权利要求1所述的数据仓库管理系统，其特征在于，还包括：
数据过滤单元，用于按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。
3.根据权利要求2所述的数据仓库管理系统，其特征在于，还包括：
格式转换单元，用于获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。
4.根据权利要求1至3中任一项所述的数据仓库管理系统，其特征在于，所述数据分析单元包括：
文件获取子单元，用于调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；
数据获取子单元，用于所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；
分析处理子单元，用于所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；
结果存储子单元，用于将存储有所述分析结果的二维表存储至所述HBase数据库中。
5.根据权利要求4所述的数据仓库管理系统，其特征在于，所述结果展示单元包括：
报表展示子单元，用于按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。
6.一种数据仓库管理方法，其特征在于，包括：
步骤202，建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；
步骤204，对所述HBase数据库中的数据进行数据挖掘分析；
步骤206，展现所述数据挖掘分析的分析结果。
7.根据权利要求6所述的数据仓库管理方法，其特征在于，所述步骤202还包括：
按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。
8.根据权利要求7所述的数据仓库管理方法，其特征在于，所述步骤202还包括：
获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。
9.根据权利要求6至8中任一项所述的数据仓库管理方法，其特征在于，所述步骤204包括：
调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；
所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；
所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；
将存储有所述分析结果的二维表存储至所述HBase数据库中。
10.根据权利要求9所述的数据仓库管理方法，其特征在于，所述步骤206包括：
按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210372319.8A CN102880709B (zh) | 2012-09-28 | 2012-09-28 | 数据仓库管理系统和数据仓库管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210372319.8A CN102880709B (zh) | 2012-09-28 | 2012-09-28 | 数据仓库管理系统和数据仓库管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102880709A true CN102880709A (zh) | 2013-01-16 |
| CN102880709B CN102880709B (zh) | 2016-07-06 |
Family
ID=47482035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210372319.8A Active CN102880709B (zh) | 2012-09-28 | 2012-09-28 | 数据仓库管理系统和数据仓库管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102880709B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102737A (zh) * | 2014-07-28 | 2014-10-15 | 中国农业银行股份有限公司 | 一种历史数据存储方法和系统 |
| CN104298779A (zh) * | 2014-11-04 | 2015-01-21 | 中国银行股份有限公司 | 海量数据加工的处理方法和系统 |
| CN104318481A (zh) * | 2014-05-04 | 2015-01-28 | 国家电网公司 | 一种面向电网运行的全息时标量测数据萃取转换方法 |
| CN104391910A (zh) * | 2014-11-17 | 2015-03-04 | 西安交通大学 | 一种基于HBase的税收统计报表存储与计算的方法 |
| CN105095247A (zh) * | 2014-05-05 | 2015-11-25 | 中国电信股份有限公司 | 符号数据分析方法和系统 |
| CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告（上海）有限公司 | 数据收集和加工方法及装置 |
| CN107391765A (zh) * | 2017-09-01 | 2017-11-24 | 云南电网有限责任公司电力科学研究院 | 一种电网自然灾害数据仓库模型实现方法 |
| CN107391550A (zh) * | 2017-06-06 | 2017-11-24 | 广东广业开元科技有限公司 | 一种基于大数据模板技术的报表生成方法及系统 |
| CN109584668A (zh) * | 2018-12-29 | 2019-04-05 | 中铁工程装备集团有限公司 | 一种基于虚拟现实和大数据的隧道掘进机实训平台 |
| CN109785099A (zh) * | 2018-12-27 | 2019-05-21 | 大象慧云信息技术有限公司 | 一种自动对业务数据信息进行处理的方法及系统 |
| CN109885676A (zh) * | 2019-02-26 | 2019-06-14 | 苏州华盖信息科技有限公司 | 家用设备报告的生成方法、大数据系统和存储介质 |
| CN110888929A (zh) * | 2019-12-06 | 2020-03-17 | 秒针信息技术有限公司 | 数据处理方法、装置、数据节点及存储介质 |
| CN110990392A (zh) * | 2019-12-13 | 2020-04-10 | 南京币鑫数据科技有限公司 | 一种用于外贸服务供应链的方法 |
| US10628500B2 (en) | 2017-08-29 | 2020-04-21 | International Business Machines Corporation | Providing hyperlinks in presentations viewed remotely |
| CN112259099A (zh) * | 2020-12-23 | 2021-01-22 | 跬云(上海)信息科技有限公司 | 基于语音交互的任务处理方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030217055A1 (en) * | 2002-05-20 | 2003-11-20 | Chang-Huang Lee | Efficient incremental method for data mining of a database |
| US7146572B2 (en) * | 2001-10-09 | 2006-12-05 | National Instruments Corporation | System and method for configuring database result logging for a test executive sequence |
| US7526575B2 (en) * | 2001-09-28 | 2009-04-28 | Siebel Systems, Inc. | Method and system for client-based operations in server synchronization with a computing device |
| US20090144230A1 (en) * | 2007-01-26 | 2009-06-04 | David Fant | Address list generation system and method employing a geographical buffer zone |
| US20090171999A1 (en) * | 2007-12-27 | 2009-07-02 | Cloudscale Inc. | System and Methodology for Parallel Stream Processing |
| CN101840432A (zh) * | 2010-05-11 | 2010-09-22 | 同方知网(北京)技术有限公司 | 一种基于Deep Web深层动态数据的数据挖掘装置及方法 |
| CN101996250A (zh) * | 2010-11-15 | 2011-03-30 | 中国科学院计算技术研究所 | 一种基于Hadoop的海量流数据存储和查询方法及系统 |
| CN102236867A (zh) * | 2011-08-15 | 2011-11-09 | 悠易互通（北京）广告有限公司 | 基于云计算的受众行为分析广告定向系统 |
| CN102521246A (zh) * | 2011-11-11 | 2012-06-27 | 国网信息通信有限公司 | 一种云数据仓库系统 |
-
2012
- 2012-09-28 CN CN201210372319.8A patent/CN102880709B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7526575B2 (en) * | 2001-09-28 | 2009-04-28 | Siebel Systems, Inc. | Method and system for client-based operations in server synchronization with a computing device |
| US7146572B2 (en) * | 2001-10-09 | 2006-12-05 | National Instruments Corporation | System and method for configuring database result logging for a test executive sequence |
| US20030217055A1 (en) * | 2002-05-20 | 2003-11-20 | Chang-Huang Lee | Efficient incremental method for data mining of a database |
| US20090144230A1 (en) * | 2007-01-26 | 2009-06-04 | David Fant | Address list generation system and method employing a geographical buffer zone |
| US20090171999A1 (en) * | 2007-12-27 | 2009-07-02 | Cloudscale Inc. | System and Methodology for Parallel Stream Processing |
| CN101840432A (zh) * | 2010-05-11 | 2010-09-22 | 同方知网(北京)技术有限公司 | 一种基于Deep Web深层动态数据的数据挖掘装置及方法 |
| CN101996250A (zh) * | 2010-11-15 | 2011-03-30 | 中国科学院计算技术研究所 | 一种基于Hadoop的海量流数据存储和查询方法及系统 |
| CN102236867A (zh) * | 2011-08-15 | 2011-11-09 | 悠易互通（北京）广告有限公司 | 基于云计算的受众行为分析广告定向系统 |
| CN102521246A (zh) * | 2011-11-11 | 2012-06-27 | 国网信息通信有限公司 | 一种云数据仓库系统 |
Non-Patent Citations (2)
| Title |
|---|
| 成静静: "基于Hadoop的分布式云计算/云存储方案的研究与设计", 《数据通信》 * |
| 王跃: "基于Hadoop分布式文件系统的分析与研究", 《计算机光盘软件与应用》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318481A (zh) * | 2014-05-04 | 2015-01-28 | 国家电网公司 | 一种面向电网运行的全息时标量测数据萃取转换方法 |
| CN105095247A (zh) * | 2014-05-05 | 2015-11-25 | 中国电信股份有限公司 | 符号数据分析方法和系统 |
| CN105095247B (zh) * | 2014-05-05 | 2018-07-17 | 中国电信股份有限公司 | 符号数据分析方法和系统 |
| CN104102737B (zh) * | 2014-07-28 | 2018-01-30 | 中国农业银行股份有限公司 | 一种历史数据存储方法和系统 |
| CN104102737A (zh) * | 2014-07-28 | 2014-10-15 | 中国农业银行股份有限公司 | 一种历史数据存储方法和系统 |
| CN104298779A (zh) * | 2014-11-04 | 2015-01-21 | 中国银行股份有限公司 | 海量数据加工的处理方法和系统 |
| CN104391910A (zh) * | 2014-11-17 | 2015-03-04 | 西安交通大学 | 一种基于HBase的税收统计报表存储与计算的方法 |
| CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告（上海）有限公司 | 数据收集和加工方法及装置 |
| CN107391550A (zh) * | 2017-06-06 | 2017-11-24 | 广东广业开元科技有限公司 | 一种基于大数据模板技术的报表生成方法及系统 |
| US10628500B2 (en) | 2017-08-29 | 2020-04-21 | International Business Machines Corporation | Providing hyperlinks in presentations viewed remotely |
| US10628499B2 (en) | 2017-08-29 | 2020-04-21 | International Business Machines Corporation | Providing hyperlinks in presentations viewed remotely |
| CN107391765A (zh) * | 2017-09-01 | 2017-11-24 | 云南电网有限责任公司电力科学研究院 | 一种电网自然灾害数据仓库模型实现方法 |
| CN109785099A (zh) * | 2018-12-27 | 2019-05-21 | 大象慧云信息技术有限公司 | 一种自动对业务数据信息进行处理的方法及系统 |
| CN109785099B (zh) * | 2018-12-27 | 2021-07-06 | 大象慧云信息技术有限公司 | 一种自动对业务数据信息进行处理的方法及系统 |
| CN109584668A (zh) * | 2018-12-29 | 2019-04-05 | 中铁工程装备集团有限公司 | 一种基于虚拟现实和大数据的隧道掘进机实训平台 |
| CN109885676B (zh) * | 2019-02-26 | 2020-04-17 | 利辛县雨若信息科技有限公司 | 家用设备报告的生成方法、大数据系统和存储介质 |
| CN109885676A (zh) * | 2019-02-26 | 2019-06-14 | 苏州华盖信息科技有限公司 | 家用设备报告的生成方法、大数据系统和存储介质 |
| CN110888929A (zh) * | 2019-12-06 | 2020-03-17 | 秒针信息技术有限公司 | 数据处理方法、装置、数据节点及存储介质 |
| CN110888929B (zh) * | 2019-12-06 | 2022-03-29 | 秒针信息技术有限公司 | 数据处理方法、装置、数据节点及存储介质 |
| CN110990392A (zh) * | 2019-12-13 | 2020-04-10 | 南京币鑫数据科技有限公司 | 一种用于外贸服务供应链的方法 |
| CN112259099A (zh) * | 2020-12-23 | 2021-01-22 | 跬云(上海)信息科技有限公司 | 基于语音交互的任务处理方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102880709B (zh) | 2016-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102880709A (zh) | 数据仓库管理系统和数据仓库管理方法 | |
| Poorthuis et al. | Making big data small: strategies to expand urban and geographical research using social media | |
| US10482122B2 (en) | System and method for multiresolution and multitemporal image search | |
| CN106649656B (zh) | 一种面向数据库的时空轨迹大数据存储方法 | |
| US9020802B1 (en) | Worldwide distributed architecture model and management | |
| CN107832407B (zh) | 用于生成知识图谱的信息处理方法、装置和可读存储介质 | |
| US9280381B1 (en) | Execution framework for a distributed file system | |
| CN105701104B (zh) | 一种基于地理信息的三维数据引擎系统 | |
| CN107861859A (zh) | 一种基于微服务架构的日志管理方法及系统 | |
| CN109997126A (zh) | 事件驱动提取、变换、加载（etl）处理 | |
| CN106030573A (zh) | 半结构化数据作为第一等级数据库元素的实现 | |
| CN103984755A (zh) | 基于多维度模型的油气资源数据要览系统实现方法及系统 | |
| CN105989076A (zh) | 一种数据统计方法以及装置 | |
| CN104111996A (zh) | 基于hadoop平台的医保门诊大数据抽取系统及方法 | |
| CN105045869A (zh) | 基于多数据中心的自然资源地理空间数据组织方法和系统 | |
| CN102982130A (zh) | 一种nosql与rdbms的数据库同步方法和系统 | |
| CN111258978A (zh) | 一种数据存储的方法 | |
| CN102855332A (zh) | 一种基于图形数据库的图形配置管理数据库 | |
| CN102135983A (zh) | 基于网络用户行为的群体划分方法和装置 | |
| CN104834650A (zh) | 一种有效查询任务生成方法及系统 | |
| CN104081383A (zh) | 对冗余消费者交易规则进行过滤 | |
| CN108900619A (zh) | 一种独立访客统计方法及装置 | |
| CN106649602A (zh) | 业务对象数据处理方法、装置和服务器 | |
| CN106599190A (zh) | 基于云计算的动态Skyline查询方法 | |
| Shangguan et al. | Big spatial data processing with Apache Spark |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100094 Haidian District North Road, Beijing, No. 68 Applicant after: Yonyou Network Technology Co., Ltd. Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park Applicant before: UFIDA Software Co., Ltd. |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |