CN101251861B - 一种海量数据加载和查询的方法 - Google Patents
一种海量数据加载和查询的方法 Download PDFInfo
- Publication number
- CN101251861B CN101251861B CN2008101021211A CN200810102121A CN101251861B CN 101251861 B CN101251861 B CN 101251861B CN 2008101021211 A CN2008101021211 A CN 2008101021211A CN 200810102121 A CN200810102121 A CN 200810102121A CN 101251861 B CN101251861 B CN 101251861B
- Authority
- CN
- China
- Prior art keywords
- data
- loading
- partition table
- partition
- temporary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000011068 loading method Methods 0.000 title claims abstract description 23
- 238000005192 partition Methods 0.000 claims abstract description 29
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
项目 | 描述 |
处理器 | Intel(R)Xeon(TM)CPU 2.80GHz*2 |
内存 | 4G |
硬盘 | SCSI硬盘,7200rpm,146G*4,做成raid5 |
项目 | 单位 | 普通表 | 临时表+分区表 |
入库记录 | 条 | 1421567 | 1421567 |
入库时间 | 秒 | 2844 | 184 |
项目 | 单位 | 普通表 | 临时表+分区表 |
建立索引时间 | 秒 | 0 | 79.3 |
转移时间 | 秒 | 0 | 2.4 |
入库速度 | 条/秒 | 500 | 5345 |
查询时间(天) | 普通表(秒) | 临时表+分区表(秒) | 命中数据条数(条) |
1 | 8 | 10 | 597 |
2 | 10 | 9 | 1349 |
30 | 16 | 14 | 6324 |
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101021211A CN101251861B (zh) | 2008-03-18 | 2008-03-18 | 一种海量数据加载和查询的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101021211A CN101251861B (zh) | 2008-03-18 | 2008-03-18 | 一种海量数据加载和查询的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101251861A CN101251861A (zh) | 2008-08-27 |
CN101251861B true CN101251861B (zh) | 2010-04-21 |
Family
ID=39955250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101021211A Expired - Fee Related CN101251861B (zh) | 2008-03-18 | 2008-03-18 | 一种海量数据加载和查询的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101251861B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101459557B (zh) * | 2008-11-29 | 2011-02-02 | 成都市华为赛门铁克科技有限公司 | 一种安全日志集中存储方法及装置 |
CN102063439B (zh) * | 2009-11-18 | 2013-03-06 | 南京南瑞继保电气有限公司 | 内存数据库在线装载方法 |
CN102456024A (zh) * | 2010-10-26 | 2012-05-16 | 深圳市金蝶友商电子商务服务有限公司 | 异步处理大数据量新增的方法及装置 |
US8515945B2 (en) * | 2010-11-16 | 2013-08-20 | Sybase, Inc. | Parallel partitioning index scan |
CN102567415B (zh) * | 2010-12-31 | 2013-11-06 | 百度在线网络技术(北京)有限公司 | 一种数据库的控制方法和装置 |
CN102207964B (zh) * | 2011-05-31 | 2013-06-05 | 广州从兴电子开发有限公司 | 实时海量数据索引建立方法及系统 |
CN102521406B (zh) * | 2011-12-26 | 2014-06-25 | 中国科学院计算技术研究所 | 海量结构化数据复杂查询任务的分布式查询方法和系统 |
CN102521405B (zh) * | 2011-12-26 | 2014-06-25 | 中国科学院计算技术研究所 | 支持高速加载的海量结构化数据存储、查询方法和系统 |
CN102750377B (zh) * | 2012-06-21 | 2016-07-27 | 深圳市谷米科技有限公司 | 海量数据存储和检索方法 |
CN103049519A (zh) * | 2012-12-18 | 2013-04-17 | 曙光信息产业(北京)有限公司 | 数据加载方法以及数据加载装置 |
CN103106271B (zh) * | 2013-02-05 | 2016-04-20 | 广东全通教育股份有限公司 | 一种基于海量数据的数据库备份及恢复方法和系统 |
CN104933042B (zh) * | 2013-09-29 | 2018-04-13 | 国家电网公司 | 基于大数据量的数据库表采集优化技术 |
CN105468651B (zh) * | 2014-09-12 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 一种关系数据库数据查询方法及系统 |
CN104484441A (zh) * | 2014-12-23 | 2015-04-01 | 中国银行股份有限公司 | 文件批量处理及调度的方法 |
CN104679821B (zh) * | 2014-12-30 | 2018-12-21 | 深圳市海蕴新能源有限公司 | 数据访问处理方法和装置 |
CN107132992B (zh) * | 2016-02-26 | 2020-12-15 | 创新先进技术有限公司 | 一种海量数据的处理方法及其装置 |
CN108268468B (zh) * | 2016-12-30 | 2021-01-26 | 北京京东尚科信息技术有限公司 | 一种大数据的分析方法及系统 |
CN109598963A (zh) * | 2017-09-30 | 2019-04-09 | 杭州海康威视系统技术有限公司 | 一种过车查询方法、装置、电子设备及可读存储介质 |
CN107992516A (zh) * | 2017-10-27 | 2018-05-04 | 平安科技(深圳)有限公司 | 电子装置、数据查询的方法及存储介质 |
CN109800252A (zh) * | 2019-03-05 | 2019-05-24 | 深圳市国晨工程造价咨询有限公司 | 一种工程项目档案信息管理系统 |
CN111460037A (zh) * | 2020-04-03 | 2020-07-28 | 中国建设银行股份有限公司 | 金融数据查询方法及装置 |
CN113420052B (zh) * | 2021-07-08 | 2023-02-17 | 上海浦东发展银行股份有限公司 | 一种多级分布式缓存系统及方法 |
CN116204534B (zh) * | 2023-05-06 | 2023-07-07 | 深圳市华磊迅拓科技有限公司 | 数据归档方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1858735A (zh) * | 2005-12-30 | 2006-11-08 | 华为技术有限公司 | 一种海量数据的处理方法 |
CN101086709A (zh) * | 2007-07-19 | 2007-12-12 | 中兴通讯股份有限公司 | 通信设备快速加载海量数据的方法 |
CN101086732A (zh) * | 2006-06-11 | 2007-12-12 | 上海全成通信技术有限公司 | 一种海量数据管理方法 |
-
2008
- 2008-03-18 CN CN2008101021211A patent/CN101251861B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1858735A (zh) * | 2005-12-30 | 2006-11-08 | 华为技术有限公司 | 一种海量数据的处理方法 |
CN101086732A (zh) * | 2006-06-11 | 2007-12-12 | 上海全成通信技术有限公司 | 一种海量数据管理方法 |
CN101086709A (zh) * | 2007-07-19 | 2007-12-12 | 中兴通讯股份有限公司 | 通信设备快速加载海量数据的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101251861A (zh) | 2008-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101251861B (zh) | 一种海量数据加载和查询的方法 | |
CN100462979C (zh) | 分布式索引文件的检索方法、检索系统及检索服务器 | |
CN102906751B (zh) | 一种数据存储、数据查询的方法及装置 | |
CN102375837B (zh) | 数据采集系统和方法 | |
US20060173926A1 (en) | Data transformation to maintain detailed user information in a data warehouse | |
CN102375853A (zh) | 分布式数据库系统、在其中建立索引的方法和查询方法 | |
Tang et al. | Deferred lightweight indexing for log-structured key-value stores | |
CN101354726A (zh) | 一种机群文件系统的内存元数据管理方法 | |
CN102521406A (zh) | 海量结构化数据复杂查询任务的分布式查询方法和系统 | |
CN105164674A (zh) | 涉及多个数据库和执行引擎的查询 | |
CN106886371B (zh) | 缓存数据处理方法及装置 | |
CN103064933A (zh) | 数据查询方法及系统 | |
CN101030217A (zh) | 一种语义网信息的索引与获取方法 | |
CN104809182A (zh) | 基于动态可分裂Bloom Filter的网络爬虫URL去重方法 | |
CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
CN105159845A (zh) | 存储器读取方法 | |
CN104050276A (zh) | 一种分布式数据库的缓存处理方法及系统 | |
CN112015741A (zh) | 一种海量数据的分库分表存储方法与装置 | |
Silberstein et al. | Efficient bulk insertion into a distributed ordered table | |
CN102081649B (zh) | 一种搜索电脑文件的方法及其系统 | |
CN104376109A (zh) | 一种基于数据分布库的多维度数据分布方法 | |
US11645281B1 (en) | Caching query plans in database systems | |
CN100367278C (zh) | 历史数据归档和查询装置及方法 | |
CN106155934A (zh) | 一种云环境下基于重复数据的缓存方法 | |
CN101937442A (zh) | 用于缓存术语数据的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method for loading and inquiring magnanimity data Effective date of registration: 20140623 Granted publication date: 20100421 Pledgee: China Co. truction Bank Corp Beijing Zhongguancun branch Pledgor: RUN TECHNOLOGIES Co.,Ltd. BEIJING Registration number: 2014990000497 |
|
PLDC | Enforcement, change and cancellation of contracts on pledge of patent right or utility model | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Zhu Hejun Inventor after: Liu Tao Inventor before: Zhu Hejun |
|
PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20180327 Granted publication date: 20100421 Pledgee: China Co. truction Bank Corp Beijing Zhongguancun branch Pledgor: RUN TECHNOLOGIES Co.,Ltd. BEIJING Registration number: 2014990000497 |
|
PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method for loading and inquiring magnanimity data Effective date of registration: 20180627 Granted publication date: 20100421 Pledgee: China Co. truction Bank Corp Beijing Zhongguancun branch Pledgor: RUN TECHNOLOGIES Co.,Ltd. BEIJING Registration number: 2018110000015 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210128 Granted publication date: 20100421 Pledgee: China Co. truction Bank Corp Beijing Zhongguancun branch Pledgor: Run Technologies Co.,Ltd. Beijing Registration number: 2018110000015 |
|
PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100421 |
|
CF01 | Termination of patent right due to non-payment of annual fee |