CN102737127A - 一种海量数据存储方法 - Google Patents
一种海量数据存储方法 Download PDFInfo
- Publication number
- CN102737127A CN102737127A CN2012102041238A CN201210204123A CN102737127A CN 102737127 A CN102737127 A CN 102737127A CN 2012102041238 A CN2012102041238 A CN 2012102041238A CN 201210204123 A CN201210204123 A CN 201210204123A CN 102737127 A CN102737127 A CN 102737127A
- Authority
- CN
- China
- Prior art keywords
- data
- memory database
- database server
- hash
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210204123.8A CN102737127B (zh) | 2012-06-20 | 2012-06-20 | 一种海量数据存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210204123.8A CN102737127B (zh) | 2012-06-20 | 2012-06-20 | 一种海量数据存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102737127A true CN102737127A (zh) | 2012-10-17 |
CN102737127B CN102737127B (zh) | 2015-04-08 |
Family
ID=46992628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210204123.8A Active CN102737127B (zh) | 2012-06-20 | 2012-06-20 | 一种海量数据存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102737127B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102955845A (zh) * | 2012-10-23 | 2013-03-06 | 北京亿赞普网络技术有限公司 | 数据访问方法、装置与分布式数据库系统 |
WO2014089828A1 (zh) * | 2012-12-14 | 2014-06-19 | 华为技术有限公司 | 访问存储设备的方法和存储设备 |
CN103888499A (zh) * | 2012-12-21 | 2014-06-25 | 中国科学院深圳先进技术研究院 | 一种分布式对象处理的方法及系统 |
CN104050270A (zh) * | 2014-06-23 | 2014-09-17 | 成都康赛信息技术有限公司 | 一种基于一致性哈希算法的分布式存储方法 |
CN104298541A (zh) * | 2014-10-22 | 2015-01-21 | 浪潮(北京)电子信息产业有限公司 | 云存储系统的数据分布算法及其装置 |
CN104391863A (zh) * | 2014-10-23 | 2015-03-04 | 中国建设银行股份有限公司 | 一种数据存储方法及装置 |
CN104424275A (zh) * | 2013-08-29 | 2015-03-18 | 中兴通讯股份有限公司 | 数据库系统以及数据同步方法 |
CN104572711A (zh) * | 2013-10-18 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 一种分布式文档形数据存取方法及装置 |
CN105117171A (zh) * | 2015-08-28 | 2015-12-02 | 南京国电南自美卓控制系统有限公司 | 一种能源scada海量数据分布式处理系统及其方法 |
CN105511801A (zh) * | 2015-11-12 | 2016-04-20 | 长春理工大学 | 数据存储的方法和装置 |
CN105550306A (zh) * | 2015-12-14 | 2016-05-04 | 北京奇虎科技有限公司 | 多副本数据的读写方法及系统 |
CN105607594A (zh) * | 2015-12-25 | 2016-05-25 | 福州福群电子科技有限公司 | 基于智能家居的服务器内存查找设备的方法 |
CN105745639A (zh) * | 2013-11-20 | 2016-07-06 | 惠普发展公司,有限责任合伙企业 | 可移动储存器数据散列 |
CN105930510A (zh) * | 2016-05-12 | 2016-09-07 | 广西尊达电子商务有限公司 | 一种基于库表散列的多数据库管理系统 |
CN106156328A (zh) * | 2016-07-06 | 2016-11-23 | 中国银行股份有限公司 | 一种银行运行日志数据监控方法及系统 |
CN106599322A (zh) * | 2017-01-03 | 2017-04-26 | 北京网智天元科技股份有限公司 | 数据脱敏的方法及设备 |
CN106777166A (zh) * | 2016-12-21 | 2017-05-31 | 济南浪潮高新科技投资发展有限公司 | 一种利用Docker容器进行虚拟内存数据库存储的实现方法 |
WO2017161956A1 (zh) * | 2016-03-22 | 2017-09-28 | 北京京东尚科信息技术有限公司 | 一种数据库扩展系统、设备和用于扩展数据库的方法 |
CN107622062A (zh) * | 2016-07-13 | 2018-01-23 | 天脉聚源(北京)科技有限公司 | 一种对大批量数据存储的方法和系统 |
CN107844388A (zh) * | 2012-11-26 | 2018-03-27 | 亚马逊科技公司 | 从备份系统流式恢复数据库 |
CN107992417A (zh) * | 2017-11-29 | 2018-05-04 | 平安科技(深圳)有限公司 | 基于存储过程的测试方法、装置及设备、可读存储介质 |
CN108108436A (zh) * | 2017-12-20 | 2018-06-01 | 东软集团股份有限公司 | 数据存储方法、装置、存储介质及电子设备 |
CN108334551A (zh) * | 2017-12-29 | 2018-07-27 | 谷米科技有限公司 | 数据存储方法和系统、数据查询方法和系统 |
CN109246102A (zh) * | 2018-09-07 | 2019-01-18 | 公安部第研究所 | 一种支撑大规模认证数据快速存储及检索的系统及方法 |
CN109508261A (zh) * | 2018-08-31 | 2019-03-22 | 云南电网有限责任公司信息中心 | 一种基于大数据的电网数据节点备份方法及备份系统 |
CN112327777A (zh) * | 2020-11-13 | 2021-02-05 | 上海能誉科技股份有限公司 | 一种数据采集系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101398869A (zh) * | 2008-10-07 | 2009-04-01 | 深圳市蓝韵实业有限公司 | 一种海量数据存储方法 |
US20100179954A1 (en) * | 2009-01-09 | 2010-07-15 | Linkage Technology Group Co., Ltd. | Quick Mass Data Manipulation Method Based on Two-Dimension Hash |
CN102298633A (zh) * | 2011-09-08 | 2011-12-28 | 厦门市美亚柏科信息股份有限公司 | 一种分布式海量数据排重方法及系统 |
-
2012
- 2012-06-20 CN CN201210204123.8A patent/CN102737127B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101398869A (zh) * | 2008-10-07 | 2009-04-01 | 深圳市蓝韵实业有限公司 | 一种海量数据存储方法 |
US20100179954A1 (en) * | 2009-01-09 | 2010-07-15 | Linkage Technology Group Co., Ltd. | Quick Mass Data Manipulation Method Based on Two-Dimension Hash |
CN102298633A (zh) * | 2011-09-08 | 2011-12-28 | 厦门市美亚柏科信息股份有限公司 | 一种分布式海量数据排重方法及系统 |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102955845A (zh) * | 2012-10-23 | 2013-03-06 | 北京亿赞普网络技术有限公司 | 数据访问方法、装置与分布式数据库系统 |
CN102955845B (zh) * | 2012-10-23 | 2015-11-25 | 北京亿赞普网络技术有限公司 | 数据访问方法、装置与分布式数据库系统 |
CN107844388A (zh) * | 2012-11-26 | 2018-03-27 | 亚马逊科技公司 | 从备份系统流式恢复数据库 |
US11475038B2 (en) | 2012-11-26 | 2022-10-18 | Amazon Technologies, Inc. | Automatic repair of corrupted blocks in a database |
WO2014089828A1 (zh) * | 2012-12-14 | 2014-06-19 | 华为技术有限公司 | 访问存储设备的方法和存储设备 |
CN104054071A (zh) * | 2012-12-14 | 2014-09-17 | 华为技术有限公司 | 访问存储设备的方法和存储设备 |
CN103888499A (zh) * | 2012-12-21 | 2014-06-25 | 中国科学院深圳先进技术研究院 | 一种分布式对象处理的方法及系统 |
CN103888499B (zh) * | 2012-12-21 | 2018-08-14 | 中国科学院深圳先进技术研究院 | 一种分布式对象处理的方法及系统 |
CN104424275A (zh) * | 2013-08-29 | 2015-03-18 | 中兴通讯股份有限公司 | 数据库系统以及数据同步方法 |
CN104572711A (zh) * | 2013-10-18 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 一种分布式文档形数据存取方法及装置 |
CN105745639A (zh) * | 2013-11-20 | 2016-07-06 | 惠普发展公司,有限责任合伙企业 | 可移动储存器数据散列 |
CN104050270A (zh) * | 2014-06-23 | 2014-09-17 | 成都康赛信息技术有限公司 | 一种基于一致性哈希算法的分布式存储方法 |
CN104298541A (zh) * | 2014-10-22 | 2015-01-21 | 浪潮(北京)电子信息产业有限公司 | 云存储系统的数据分布算法及其装置 |
CN104391863A (zh) * | 2014-10-23 | 2015-03-04 | 中国建设银行股份有限公司 | 一种数据存储方法及装置 |
CN105117171B (zh) * | 2015-08-28 | 2018-11-30 | 南京国电南自维美德自动化有限公司 | 一种能源scada海量数据分布式处理系统及其方法 |
CN105117171A (zh) * | 2015-08-28 | 2015-12-02 | 南京国电南自美卓控制系统有限公司 | 一种能源scada海量数据分布式处理系统及其方法 |
CN105511801A (zh) * | 2015-11-12 | 2016-04-20 | 长春理工大学 | 数据存储的方法和装置 |
CN105511801B (zh) * | 2015-11-12 | 2018-11-16 | 长春理工大学 | 数据存储的方法和装置 |
CN105550306A (zh) * | 2015-12-14 | 2016-05-04 | 北京奇虎科技有限公司 | 多副本数据的读写方法及系统 |
CN105607594A (zh) * | 2015-12-25 | 2016-05-25 | 福州福群电子科技有限公司 | 基于智能家居的服务器内存查找设备的方法 |
US11243921B2 (en) | 2016-03-22 | 2022-02-08 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Database expansion system, equipment, and method of expanding database |
WO2017161956A1 (zh) * | 2016-03-22 | 2017-09-28 | 北京京东尚科信息技术有限公司 | 一种数据库扩展系统、设备和用于扩展数据库的方法 |
CN105930510A (zh) * | 2016-05-12 | 2016-09-07 | 广西尊达电子商务有限公司 | 一种基于库表散列的多数据库管理系统 |
CN106156328A (zh) * | 2016-07-06 | 2016-11-23 | 中国银行股份有限公司 | 一种银行运行日志数据监控方法及系统 |
CN106156328B (zh) * | 2016-07-06 | 2019-05-07 | 中国银行股份有限公司 | 一种银行运行日志数据监控方法及系统 |
CN107622062A (zh) * | 2016-07-13 | 2018-01-23 | 天脉聚源(北京)科技有限公司 | 一种对大批量数据存储的方法和系统 |
CN106777166A (zh) * | 2016-12-21 | 2017-05-31 | 济南浪潮高新科技投资发展有限公司 | 一种利用Docker容器进行虚拟内存数据库存储的实现方法 |
CN106599322A (zh) * | 2017-01-03 | 2017-04-26 | 北京网智天元科技股份有限公司 | 数据脱敏的方法及设备 |
CN107992417B (zh) * | 2017-11-29 | 2019-01-29 | 平安科技(深圳)有限公司 | 基于存储过程的测试方法、装置及设备、可读存储介质 |
CN107992417A (zh) * | 2017-11-29 | 2018-05-04 | 平安科技(深圳)有限公司 | 基于存储过程的测试方法、装置及设备、可读存储介质 |
CN108108436A (zh) * | 2017-12-20 | 2018-06-01 | 东软集团股份有限公司 | 数据存储方法、装置、存储介质及电子设备 |
CN108108436B (zh) * | 2017-12-20 | 2020-07-31 | 东软集团股份有限公司 | 数据存储方法、装置、存储介质及电子设备 |
CN108334551A (zh) * | 2017-12-29 | 2018-07-27 | 谷米科技有限公司 | 数据存储方法和系统、数据查询方法和系统 |
CN109508261A (zh) * | 2018-08-31 | 2019-03-22 | 云南电网有限责任公司信息中心 | 一种基于大数据的电网数据节点备份方法及备份系统 |
CN109508261B (zh) * | 2018-08-31 | 2019-12-13 | 云南电网有限责任公司信息中心 | 一种基于大数据的电网数据节点备份方法及备份系统 |
CN109246102A (zh) * | 2018-09-07 | 2019-01-18 | 公安部第研究所 | 一种支撑大规模认证数据快速存储及检索的系统及方法 |
CN109246102B (zh) * | 2018-09-07 | 2021-02-09 | 公安部第一研究所 | 一种支撑大规模认证数据快速存储及检索的系统及方法 |
CN112327777A (zh) * | 2020-11-13 | 2021-02-05 | 上海能誉科技股份有限公司 | 一种数据采集系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102737127B (zh) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102737127B (zh) | 一种海量数据存储方法 | |
CN109241161B (zh) | 一种气象数据管理方法 | |
US10296498B2 (en) | Coordinated hash table indexes to facilitate reducing database reconfiguration time | |
CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
US10248356B2 (en) | Using scratch extents to facilitate copying operations in an append-only storage system | |
CN107391758B (zh) | 数据库切换方法、装置及设备 | |
EP2474919B1 (en) | System and method for data replication between heterogeneous databases | |
CN105843702B (zh) | 一种用于数据备份的方法以及装置 | |
CN108595664B (zh) | 一种hadoop环境下的农业数据监控方法 | |
US9547706B2 (en) | Using colocation hints to facilitate accessing a distributed data storage system | |
US9223797B2 (en) | Reparse point replication | |
US9753792B2 (en) | Method and system for byzantine fault tolerant data replication | |
CN104657459A (zh) | 一种基于文件粒度的海量数据存储方法 | |
CN104184812B (zh) | 一种基于私有云的多点数据传输方法 | |
US11221785B2 (en) | Managing replication state for deleted objects | |
CN109298978B (zh) | 一种指定位置的数据库集群的恢复方法及系统 | |
CN102722584B (zh) | 数据存储系统及方法 | |
US11567899B2 (en) | Managing dependent delete operations among data stores | |
CN105630919A (zh) | 存储方法及系统 | |
CN102890678A (zh) | 一种基于格雷编码的分布式数据布局方法及查询方法 | |
WO2019171296A1 (en) | Resilient, durable, scalable, and consistent distributed timeline data store | |
CN109902127B (zh) | 历史态数据处理方法、装置、计算机设备及存储介质 | |
US11409711B2 (en) | Barriers for dependent operations among sharded data stores | |
CN107832159A (zh) | 管理分布式锁的方法和计算机可读存储介质 | |
CN111984696A (zh) | 一种新型数据库和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: XIAMEN UNIVERSITY Free format text: FORMER OWNER: XIAMEN JUHAIYUAN INTERNET OF THINGS TECHNOLOGY CO., LTD. Effective date: 20140924 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20140924 Address after: Xiamen City, Fujian Province, 361000 South Siming Road No. 422 Applicant after: Xiamen University Address before: Post and No. 16 building, 361000 Fujian province Xiamen software park two 5 floor view of the road Applicant before: Xiamen Juhaiyuan Internet of Things Network Technology Co., Ltd. |
|
C53 | Correction of patent of invention or patent application | ||
CB03 | Change of inventor or designer information |
Inventor after: Lin Fan Inventor before: Lin Wei Inventor before: Lin Fan Inventor before: Huang Wenlin |
|
COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: LIN WEI LIN FAN HUANG WENLIN TO: LIN FAN |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |