CN103605732B - 基于Infobright的数据仓库和系统及其构建方法 - Google Patents
基于Infobright的数据仓库和系统及其构建方法 Download PDFInfo
- Publication number
- CN103605732B CN103605732B CN201310582660.0A CN201310582660A CN103605732B CN 103605732 B CN103605732 B CN 103605732B CN 201310582660 A CN201310582660 A CN 201310582660A CN 103605732 B CN103605732 B CN 103605732B
- Authority
- CN
- China
- Prior art keywords
- data
- storehouse
- infobright
- data warehouse
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 23
- 230000008676 import Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000003860 storage Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000010076 replication Effects 0.000 claims description 7
- 238000005194 fractionation Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013515 script Methods 0.000 description 2
- 229910017435 S2 In Inorganic materials 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007728 cost analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于Infobright的数据仓库，包括：源数据仓，其存放从关系型数据库中抽取过来的原始数据；加工仓，其具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。本发明还提供一种基于Infobright的数据仓库系统，其包括所述的基于Infobright的数据仓库；关系型数据库，其用于产生业务有关的原始数据；数据导入单元，其将所述原始数据导入到所述数据仓库中。本发明还提出了基于Infobright的数据仓库和系统的构件方法。本发明的数据仓库具有高性能且可扩展的优点。
Description
技术领域
本发明涉及数字数据处理技术。
背景技术
数据仓库（Data Warehouse）是为企业进行分析性报告和决策支持的数据集合。构建数据仓库的意义在于：
1.有效集成企业内部和外部数据，为企业各层决策提供数据依据；
2.将分散的，异构数据库系统的数据统一集成起来；
3.可以进行企业的利润与成本分析；
4.规范管理，优化流程，决策支持。
常见的构建数据仓库的工具有IBM Cognos和SAP B0等。上述二者均采用集中式的单节点模式来构建数据仓库，这种类型的数据仓库的扩展性差。随着大数据时代的来临，数据的规模急剧扩大，有些已经达到TB级别，上述传统数据仓库已经越来越不能满足使用需要。
现有技术方案的缺陷表现在如下几个方面：
1.因为在架构上采用集中式的单节点模式，因此水平扩展能力差，在高并发应用场景下无法水平扩展；
2.数据量级支持有限，无法支持TB级以上的数据量，这样就满足不了电商、互联网等企业的海量数据分析；
3.因为基于传统关系型数据库，所以在查询性能上很难有突破，这样在报表展现时用户体验会很差；
4.费用昂贵，对企业来说是一笔不小的开销。
发明内容
基于现有技术的缺点，本发明提出一种基于Infobright的数据仓库的构建方法，包括：构建源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据；构建加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。
本发明还提出一种基于Infobright的数据仓库系统的构建方法，包括：按照如上所述的方法构建基于Infobright的数据仓库；构建一关系型数据库，所述关系型数据库用于产生与业务有关的原始数据；构建一数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。
本发明还提出一种基于Infobright的数据仓库，包括：源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据；加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。
本发明还提出一种基于Infobright的数据仓库系统，包括：如前所述的数据仓库；关系型数据库，所述关系型数据库用于产生业务有关的原始数据；数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。
本发明提出的数据仓库和数据仓库的构建方法基于Infobright，构建出高性能的且可扩展的数据仓库。
本发明的优点如下：
1.采用一主多从的分布式架构，可水平扩展，可以满足高并发需求；
2.单一节点的Infobright就能支持30TB的数据量，而且还可扩展，因而可以支持真正的海量数据分析；
3.Infobright采用的是基于列存储技术，有别于传统的行存储技术，在分析报表常用的聚合函数的查询性能上表现优异，在查询性能上大大优于现有技术方案；
4.本发明采用Infobright社区版，可以免费使用，大大降低了成本。
附图说明
图1为本发明的基于Infobright的数据仓库系统的示意图；
图2为本发明的基于Infobright的数据仓库系统的优选实施例的示意图；
图3为本发明的基于Infobright的数据仓库系统的另一优选实施例的示意图；
图4为本发明的基于Infobright的数据仓库的示意图；
图5为本发明的基于Infobright的数据仓库的构建方法的示意图；
图6为本发明的基于Infobright的数据仓库系统的构建方法的示意图。
具体实施方式
本发明的基于Infobright的数据仓库系统的结构如图1所示。所述系统包括关系型数据库1、数据导入单元2、数据仓库3。关系型数据库1是业务的生产数据库，其生成整个业务的数据。数据导入单元2负责将关系型数据库1生成的数据导入到数据仓库3中。数据仓库3对数据进行处理并存储。
优选地，所述系统还包括报表展示单元4，报表展示单元4包括报表服务端和报表客户端，数据仓库3为其数据源，报表展示单元4将数据仓库3中加工好的数据通过报表的方式展现出来。
数据导入单元2被配置为执行如下将数据从关系型数据库1导入到数据仓库3的步骤：
步骤1）：数据导入单元2连接到关系型数据库1。具体为，配置关系型数据库1的连接参数（关系数据库的IP地址、用户名、密码、数据库名等），通过所述连接参数连接到关系型数据库1。
步骤2）：数据导入单元2配置数据传输参数（数据源、数据表、主键等）。
步骤3）：数据导入单元2根据所述步骤1）和步骤2）中的连接参数和数据传输参数将数据从关系型数据库1搬运到数据仓库3。
如图2所示，在另一个优选实施例中，数据导入单元2被配置为执行如下将数据从关系型数据库1导入到数据仓库3的步骤：
步骤1）：数据导入单元2连接到关系型数据库1。具体为，配置关系型数据库1的连接参数（关系数据库的IP地址、用户名、密码、数据库名等），通过所述连接参数连接到关系型数据库1。
步骤2）：数据导入单元2配置数据传输参数（数据源、数据表、主键等）。
步骤3）：数据导入单元2的数据抽取平台根据所述步骤1）和步骤2）中的连接参数和数据传输参数将数据从关系型数据库1抽取到云存储（该云存储为一个基于云计算的存储空间）。
步骤4）：数据导入单元2的任务调度平台执行下载任务。所述任务调度平台通过调用API从云存储中下载数据到数据仓库3。
任务调度平台是指任务调度控制台，其定时执行用shell脚本编写的任务。
如图3所示，在另一个优选实施例中，数据导入单元2由ETL（数据提取-转换-加载，Extraction-Transformation-Loading）工具构建，该ETL工具通过增量方式将数据导入到数据仓库3中。数据导入单元2利用了ETL工具。数据导入单元2被配置为执行如下将数据从关系型数据库1导入到数据仓库3的步骤：
步骤1）数据导入单元2连接到关系型数据库1。具体为，配置关系型数据库1的连接参数（关系数据库的IP地址、用户名、密码、数据库名等），通过所述连接参数连接到关系型数据库1。
步骤2）：数据导入单元2配置作为数据传输参数的ETL参数（数据源、数据表、主键、增量判断字段等）。
步骤3）：数据导入单元2根据所述步骤1）和步骤2）中的连接参数和数据传输参数，将关系型数据库1中的数据以文本文件方式（csv,txt等）抽取到云存储中。
步骤4）：数据导入单元2的任务调度平台调用API将文本文件从云存储中下载到数据仓库服务器。
步骤5）：数据导入单元2的任务调度平台将所述文本文件通过load data infile的方式下载到数据仓库中。
图4显示了图1中所示的数据仓库3的结构。如图4所示，数据仓库3从逻辑上分为三个层次：源数据仓、加工仓和结果仓。下面对各个仓分别说明。
源数据仓具有Infobright的brighthouse引擎，Infobright是开源的MySQL数据仓库解决方案，在Mysql的Innodb存储引擎基础上改造而成，采用列存储模式，引入了知识网格技术，具有高压缩比、高性能的聚合函数查询性能、支持TB级的海量数据等特点。
源数据仓存放从关系型数据库中抽取过来的原始数据，原始数据均以增量的方式被加载到源数据仓中。
源数据仓的数据被传输到加工仓。加工仓是一个集群，包括加工仓主库以及多个加工仓从库。加工仓同样具有brighthouse引擎，和源数据仓不同的是，加工仓采用了一主多从的集群架构，这样就可以支持水平扩展，支持高并发。
原始数据在加工仓中需要进行处理。譬如，因ICE版的Infobright并不支持insert、update和delete命令操作，数据导入只能通过“load data infile”方式导入，每次增量导入的数据中包括了update和insert数据，因为Infobright引擎不支持主键，所以源数据仓里各表中的数据就可能会出现重复记录，这些重复的数据在加工仓中被去除。
加工仓对源数据仓的原始数据的处理包括排重、合并、拆分等。加工仓包括任务调度平台，通过任务调度平台进行上述加工过程。优选地，任务调度平台调度shell任务脚本来完成。
任务调度平台部署在加工仓主库中，加工仓从库并不需要部署，加工仓从库的数据是采用数据库自身的binlog复制模式从主库复制到各个从库中。
加工仓是一个一主多从的集群架构，数据加工过程（排重、合并、拆分）均在主库中完成，从库是读库，可扩展，用作汇总类报表的数据源，可根据并发量水平扩展。
原始数据通过增量的方式load到源数据仓之后，因为infobright社区版不支持主键和update操作，所以load方式导入到源数据仓的数据可能会存在重复，因而需要排重，以申请单表（apply）为例，排重的步骤描述如下：
步骤1：在源数据仓中，根据表apply中的主键字段和更新时间字段（时间戳），从源数据仓的表apply中过滤出主键重复的记录中更新时间最新的一条记录，按照这种算法查询出所有主键不重复的记录集合，并通过load data outfile的方式导出到文本文件apply.csv中，该文本文件保存在源数据仓中（例如源数据仓的文件系统中）；
步骤2：任务调度平台执行文件传输任务将所述文本文件apply.csv从源数据仓传输到加工仓（例如加工仓的文件系统中）；
步骤3：任务调度平台执行任务，删除加工仓中表apply中所有数据和表结构，并重新创建新表apply；
步骤4：任务调度平台执行load任务将所述文本文件apply.csv通过load datainfile方式导入到步骤3中创建的新表apply中。至此，排重完毕，表apply中的数据是干净的无重复记录的数据；
数据的合并、拆分等加工过程和排重类似，也是通过任务调度平台调度不同的任务实现的，这里不再赘述。
加工仓加工后的数据同步到结果仓，图4中的结果仓使用MyISAM引擎，和加工仓一样采用一主多从的集群架构，支持水平扩展，支持高并发。MyIsam是MySQL的一种存储引擎，不支持事务，插入修改性能优于Innodb，在本发明中作为Infobright的一个辅助，用于分析报表明细数据查询。
与加工仓的架构一样，结果仓也是一个可扩展的一主多从的集群架构，加工仓主库的数据同步到结果仓主库中，结果仓主库中的数据通过数据库自身的binlog负责模式实时复制到多个结果仓从库中，结果仓从库用来作为明细类报表展示的数据源，可根据并发量随时扩展。
结果仓可以带来另外的优点。因为社区版的Infobright并发只能支持到10-18，而且Infobright的性能优势主要体现在查询汇总数据，明细数据还需要从MyISAM引擎上实现，所以结果仓选择用MyISAM引擎，MyISAM引擎能支持高并发，而且可以在结果仓中实现明细类报表。对于离线报表，也可以通过计算任务在夜间计算好想要的汇总数据存放到结果仓，直接在结果仓中实现汇总类和明细类报表。
综上所述，在本发明所述数据仓库方案中，加工仓集群负责数据加工，充分利用infobright聚合函数高性能的特性。结果仓集群用来作为汇总类报表的数据源，由于聚合函数性能优越，可以做到报表展现高效，并发性能好，用户体验好。
本发明的加工仓采用了分布式一主多从集群，支持水平扩展，支持高并发。结果仓集群中的数据来源于加工仓，选择Mysql自身的Myisam引擎，Myisam引擎具有高并发，很高的insert性能和查询性能等特点，作为明细类报表的数据源，对加工仓正好是一个很好的补充。
本发明还提出一种基于Infobright的数据仓库的构建方法，通过该构建方法，可以构建出如上所述的基于Infobright的数据仓库。其具体过程如图5所示。首先，在步骤S1中，构建源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据。在步骤S2中，构建加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。
更进一步，在步骤S3中，构建结果仓，所述结果仓具有MyISAM引擎，采用一主多从的集群架构，包括一个结果仓主库和多个结果仓从库，所述结果仓对加工仓加工完的数据进行汇总，作为汇总类报表的数据源。
优选地，将结果仓主库构建为采用binlog复制模式将数据从结果仓主库复制到各个结果仓从库中。将加工仓主库构建为采用binlog复制模式将数据从加工仓主库复制到各个加工仓从库中。
其中，所述源数据仓、加工仓、结果仓的数据处理方式如参照图1-4的实施方式所述，在此不再赘述。
优选地，在所述加工仓主库中构建任务调度平台，来完成对数据的各种处理。
基于上述基于Infobright的数据仓库的构建方法，可以构建基于Infobright的数据仓库系统。因此，本发明还提出一种基于Infobright的数据仓库系统的构建方法，如图6所示。在构建完如上所述的基于Infobright的数据仓库后，构建一关系型数据库，所述关系型数据库用于产生与业务有关的原始数据。然后，构建一数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。
优选地，还可以构建一报表展示单元，所述报表展示单元包括报表服务端和报表客户端，报表展示单元将数据仓库中加工完的数据以报表的方式展现。
其中，所述原始数据以增量的方式从关系型数据库，经由所述数据导入单元，加载到所述数据仓库。
优选地，所述数据导入单元被构建为包括ETL工具，所述数据导入单元被构建为执行下述步骤来完成所述加载：
步骤1）：数据导入单元配置关系型数据库的连接参数，通过所述连接参数连接到关系型数据库；
步骤2）：数据导入单元配置数据传输参数；
步骤3）：数据导入单元根据所述步骤1）和步骤2）中的连接参数和数据传输参数将数据从关系型数据库的数据以文本文件方式抽取到云存储中；
步骤4）：数据导入单元的任务调度平台调用API将文本文件从云存储中下载到数据仓库。
步骤5）：数据导入单元的任务调度平台将所述文本文件通过load data infile方式下载到数据仓库中。
其中，所述连接参数包括：关系数据库的IP地址、用户名、密码、数据库名；所述数据传输参数包括：数据源、数据表、主键、增量判断字段；所述文本文件为csv或txt类型的文本文件。
上述实施例为本发明的典型的实施方式，但本发明并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、替代、组合、简化，均为等效的置换方式，包含在本发明的保护范围之内。
Claims (22)
1.一种基于Infobright的数据仓库的构建方法，其特征在于，包括：
构建源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据，源数据仓具有Infobright的brighthouse引擎，将所述原始数据从关系型数据库抽取到云存储，从云存储中下载所述原始数据到数据仓库中，原始数据均以增量的方式被加载到源数据仓中；
构建加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储，数据加工过程均在加工仓主库中完成，加工仓主库对所述原始数据的加工处理包括排重、合并、拆分，加工仓从库为读库；
构建结果仓，所述结果仓具有MyISAM引擎，采用一主多从的集群架构，包括一个结果仓主库和多个结果仓从库，所述结果仓对加工仓加工完的数据进行汇总，作为汇总类报表的数据源；
所述源数据仓被构建为，针对所述原始数据中的表，根据表中的主键字段和更新时间字段，从表中过滤出主键重复的记录中更新时间最新的一条记录，查询出所有主键不重复的记录集合，并通过load dataoutfile方式导出到文本文件中，该文本文件保存在源数据仓中。
2.根据权利要求1所述的基于Infobright的数据仓库的构建方法，其特征在于，将结果仓主库构建为采用binlog复制模式将数据从结果仓主库复制到各个结果仓从库中。
3.根据权利要求1所述的基于Infobright的数据仓库的构建方法，其特征在于，将加工仓主库构建为采用binlog复制模式将数据从加工仓主库复制到各个加工仓从库中。
4.根据权利要求1所述的基于Infobright的数据仓库的构建方法，其特征在于，在所述加工仓主库中构建任务调度平台，所述加工仓被构建为：
执行文件传输任务将所述文本文件从源数据仓传输到加工仓；
删除加工仓中的表中所有表结构，并重新创建新表；
执行load任务将所述文本文件通过load data infile方式导入到创建的所述新表中。
5.一种基于Infobright的数据仓库系统的构建方法，其特征在于，包括：
按照权利要求1-4任意一项所述的方法构建基于Infobright的数据仓库；
构建一关系型数据库，所述关系型数据库用于产生与业务有关的原始数据；
构建一数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。
6.根据权利要求5所述的基于Infobright的数据仓库系统的构建方法，其特征在于，还包括：
构建一报表展示单元，所述报表展示单元包括报表服务端和报表客户端，报表展示单元将数据仓库中加工完的数据以报表的方式展现。
7.根据权利要求5所述的基于Infobright的数据仓库系统的构建方法，其特征在于，所述原始数据以增量的方式从关系型数据库，经由所述数据导入单元，加载到所述数据仓库。
8.根据权利要求7所述的基于Infobright的数据仓库系统的构建方法，其特征在于，所述数据导入单元被构建为包括ETL工具，所述数据导入单元被构建为执行下述步骤来完成所述加载：
步骤1)：数据导入单元配置关系型数据库的连接参数，通过所述连接参数连接到关系型数据库；
步骤2)：数据导入单元配置数据传输参数；
步骤3)：数据导入单元根据所述步骤1)和步骤2)中的连接参数和数据传输参数将数据从关系型数据库的数据以文本文件方式抽取到云存储中；
步骤4)：数据导入单元的任务调度平台调用API将文本文件从云存储中下载到数据仓库；
步骤5)：数据导入单元的任务调度平台将所述文本文件通过load data infile方式下载到数据仓库中。
9.根据权利要求8所述的基于Infobright的数据仓库系统的构建方法，其特征在于，所述连接参数包括：关系数据库的IP地址、用户名、密码、数据库名；所述数据传输参数包括：数据源、数据表、主键、增量判断字段；所述文本文件为csv或txt类型的文本文件。
10.一种基于Infobright的数据仓库，其特征在于，包括：
源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据，源数据仓具有Infobright的brighthouse引擎，其中，将所述原始数据从关系型数据库抽取到云存储，从云存储中下载所述原始数据到数据仓库中，原始数据均以增量的方式被加载到源数据仓中；
加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储，数据加工过程均在加工仓主库中完成，加工仓主库对所述原始数据的加工处理包括排重、合并、拆分，加工仓从库为读库；
所述数据仓库还包括：
结果仓，所述结果仓具有MyISAM引擎，采用一主多从的集群架构，包括一个结果仓主库和多个结果仓从库，所述结果仓对加工仓加工完的数据进行汇总，作为汇总类报表的数据源；
所述源数据仓被配置为，针对所述原始数据中的表，根据表中的主键字段和更新时间字段，从表中过滤出主键重复的记录中更新时间最新的一条记录，查询出所有主键不重复的记录集合，并通过load data outfile方式导出到文本文件中，该文本文件保存在源数据仓中。
11.根据权利要求10所述的基于Infobright的数据仓库，其特征在于，结果仓主库中的数据采用binlog复制模式复制到各个结果仓从库中。
12.根据权利要求10所述的基于Infobright的数据仓库，其特征在于，加工仓主库中的数据采用binlog复制模式复制到各个加工仓从库中。
13.根据权利要求10所述的基于Infobright的数据仓库，其特征在于，所述加工仓主库包括任务调度平台，所述任务调度平台被配置为：
执行文件传输任务将所述文本文件从源数据仓传输到加工仓；
删除加工仓中的表中所有数据和表结构，并重新创建新表；
执行load任务将所述文本文件通过load data infile方式导入到创建的所述新表中。
14.一种基于Infobright的数据仓库系统，其特征在于，包括：
根据权利要求10-13任意一项所述的数据仓库；
关系型数据库，所述关系型数据库用于产生业务有关的原始数据；
数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。
15.根据权利要求14所述的基于Infobright的数据仓库系统，其特征在于，还包括：
报表展示单元，所述报表展示单元包括报表服务端和报表客户端，报表展示单元将数据仓库中加工完的数据以报表的方式展现。
16.根据权利要求14所述的基于Infobright的数据仓库系统，其特征在于，所述原始数据以增量的方式从关系型数据库，经由所述数据导入单元，加载到所述数据仓库。
17.根据权利要求16所述的基于Infobright的数据仓库系统，其特征在于，所述数据导入单元包括ETL工具，所述数据导入单元被配置为执行下述步骤来完成所述加载：
步骤1)：数据导入单元配置关系型数据库的连接参数，通过所述连接参数连接到关系型数据库；
步骤2)：数据导入单元配置数据传输参数；
步骤3)：数据导入单元根据所述步骤1)和步骤2)中的连接参数和数据传输参数将数据从关系型数据库的数据以文本文件方式抽取到云存储中；
步骤4)：数据导入单元的任务调度平台调用API将文本文件从云存储中下载到数据仓库；
步骤5)：数据导入单元的任务调度平台将所述文本文件通过load data infile方式下载到数据仓库中。
18.根据权利要求17所述的基于Infobright的数据仓库系统，其特征在于，所述连接参数包括：关系数据库的IP地址、用户名、密码、数据库名；所述数据传输参数包括：数据源、数据表、主键、增量判断字段；所述文本文件为csv或txt类型的文本文件。
19.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任意一项所述的基于Infobright的数据仓库的构建方法。
20.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5-9中任意一项所述的基于Infobright的数据仓库系统的构建方法。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任意一项所述的基于Infobright的数据仓库的构建方法。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5-9中任意一项所述的基于Infobright的数据仓库系统的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310582660.0A CN103605732B (zh) | 2013-11-19 | 2013-11-19 | 基于Infobright的数据仓库和系统及其构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310582660.0A CN103605732B (zh) | 2013-11-19 | 2013-11-19 | 基于Infobright的数据仓库和系统及其构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103605732A CN103605732A (zh) | 2014-02-26 |
| CN103605732B true CN103605732B (zh) | 2018-03-30 |
Family
ID=50123954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310582660.0A Active CN103605732B (zh) | 2013-11-19 | 2013-11-19 | 基于Infobright的数据仓库和系统及其构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103605732B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106383886B (zh) * | 2016-09-21 | 2019-08-30 | 深圳市博瑞得科技有限公司 | 一种基于大数据分布式编程框架的大数据预统系统及方法 |
| CN106713487B (zh) * | 2017-01-16 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 数据的同步方法和装置 |
| CN108170770A (zh) * | 2017-12-26 | 2018-06-15 | 山东联科云计算股份有限公司 | 一种基于大数据的分析训练平台 |
| CN110515995A (zh) * | 2019-08-22 | 2019-11-29 | 深圳前海环融联易信息科技服务有限公司 | 快速生成大数据平台的etl作业方法及装置 |
| CN111143369B (zh) * | 2019-12-27 | 2023-02-07 | 合肥美的智能科技有限公司 | 云端业务数据转存方法及装置、本地服务器及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
| CN103218415A (zh) * | 2013-03-27 | 2013-07-24 | 互爱互动(北京)科技有限公司 | 基于数据仓库的数据处理系统和方法 |
-
2013
- 2013-11-19 CN CN201310582660.0A patent/CN103605732B/zh active Active
Non-Patent Citations (3)
| Title |
|---|
| "Infobright高性能数据仓库";真实的归宿;《blog.csdn.net/hguisu/article/details/11848411》;20130921;正文第1页第1段-第15页倒数第1段，附图1 * |
| "异构数据仓库中数据存储与访问的研究与实现";佟妍等;《计算机与数字工程》;20080320;第36卷(第3期);第59页左栏第2段-右栏第5段，图2 * |
| "数据管理技术的新格局";覃雄派等;《软件学报》;20121123;第24卷(第2期);第182页倒数第1段-第183页第5段，图4-5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103605732A (zh) | 2014-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11829360B2 (en) | Database workload capture and replay | |
| KR102307371B1 (ko) | 데이터베이스 시스템 내의 데이터 복제 및 데이터 장애 조치 | |
| JP4537751B2 (ja) | クライアント／サーバ環境における同期を容易にするシステムおよび方法 | |
| CN103605732B (zh) | 基于Infobright的数据仓库和系统及其构建方法 | |
| EP2780834B1 (en) | Processing changes to distributed replicated databases | |
| CN102999537B (zh) | 一种数据迁移系统和方法 | |
| Padhy | Big data processing with Hadoop-MapReduce in cloud systems | |
| US20080162518A1 (en) | Data aggregation and grooming in multiple geo-locations | |
| Im et al. | Pinot: Realtime olap for 530 million users | |
| CN104205039A (zh) | 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能系统和方法 | |
| WO2011146452A1 (en) | Data storage and processing service | |
| CN108121778B (zh) | 一种异构数据交换与清洗系统及方法 | |
| CN104778225A (zh) | 一种非结构化数据多存储系统中同步数据的方法 | |
| Cubukcu et al. | Citus: Distributed postgresql for data-intensive applications | |
| CN107220310A (zh) | 一种数据库数据管理系统、方法及装置 | |
| CN107357848A (zh) | 基于驱动封装的数据库同步方法 | |
| CN102779160B (zh) | 海量数据信息索引系统和索引构建方法 | |
| US11841845B2 (en) | Data consistency mechanism for hybrid data processing | |
| CN111008244A (zh) | 一种用于数据库的同步和分析方法及系统 | |
| US8700679B2 (en) | Classic to in-memory cube conversion | |
| Pineda-Morales et al. | Managing hot metadata for scientific workflows on multisite clouds | |
| Ivanov et al. | A hot decomposition procedure: Operational monolith system to microservices | |
| CN110225077A (zh) | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 | |
| Liu et al. | Planning your sql-on-hadoop deployment using a low-cost simulation-based approach | |
| CN104731697A (zh) | 测试用例的运行控制方法、控制系统和监听器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200518 Address after: 710100 Building 5, center square, aerospace city, No. 666, East Chang'an Street, national civil aerospace industry base, Xi'an City, Shaanxi Province Patentee after: Xi'an jingxundi Supply Chain Technology Co., Ltd Address before: 100080, Beijing, Suzhou Street, No. 20, building 2, No. 2, Haidian District Co-patentee before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd. Patentee before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |