CN102722584B - 数据存储系统及方法 - Google Patents
数据存储系统及方法 Download PDFInfo
- Publication number
- CN102722584B CN102722584B CN201210189359.9A CN201210189359A CN102722584B CN 102722584 B CN102722584 B CN 102722584B CN 201210189359 A CN201210189359 A CN 201210189359A CN 102722584 B CN102722584 B CN 102722584B
- Authority
- CN
- China
- Prior art keywords
- data
- performance data
- server
- key assignments
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种数据存储系统及方法。其中，系统包括：数据采集服务器，用于实时采集多个节点的性能数据，并将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，键值为性能数据的唯一标识，属性值为性能数据；目录存储服务器，用于根据“键值/属性值”对生成性能数据的索引目录；以及多个数据存储服务器，每个数据存储服务器分别用于存储性能数据的一个备份，且每个数据存储服务器包括多个数据文件，每个数据文件用于存储性能数据的多个数据块。本发明采用分布式模式存储数据并生成数据的索引目录，提高数据的访问速度，同时方便对数据的处理。此外，由于对数据存储多个备份，因此提高数据的安全性。
Description
技术领域
本发明涉及数据存储技术领域，特别涉及一种数据存储系统及方法。
背景技术
目前，监控数据日志一般存储在Oracle、Mysql、Sql Server等关系型数据库中。在关系型数据库中，数据以行和列的形式存储，一系列的行和列被称为表，一组表便组成了数据库。而关系是各个表之间的一种连接，通过关系，用户可以灵活的表示和操作数据。
现有的关系型数据库至少存在以下问题：
1、数据备份采用冷、热备份，受计算机软件和硬件的影响，在计算机发生故障时容易造成数据丢失。
2、关系型数据库在处理复杂的逻辑关系等数据时比较方便，但是在处理关系相对简单的海量日志时存在瓶颈。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。
为达到上述目的，本发明一方面提出一种数据存储系统，其特征在于，包括：数据采集服务器，用于实时采集多个节点的性能数据，并将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，所述键值为所述性能数据的唯一标识，所述属性值为所述性能数据；目录存储服务器，用于根据所述“键值/属性值”对生成所述性能数据的索引目录；以及多个数据存储服务器，每个所述数据存储服务器分别用于存储所述性能数据的一个备份，且每个所述数据存储服务器均包括多个数据文件，每个所述数据文件用于存储所述性能数据的多个数据块。
根据本发明实施例的数据存储系统，采用分布式模式存储数据并生成数据的索引目录，提高数据的访问速度，同时方便对数据的处理。此外，由于对数据存储多个备份，因此提高数据的安全性。
本发明另一方面还提出一种数据存储方法，包括以下步骤：实时采集各个节点的性能数据；将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，所述键值为所述性能数据的唯一标识，所述属性值为所述性能数据；根据所述“键值/属性值”对生成所述性能数据的索引目录；以及将所述性能数据复制为多个备份并将所述多个备份分别存储到多个服务器中，其中，每个服务器包括多个数据文件，每个所述数据文件存储所述性能数据的多个数据块。
根据本发明实施例的数据存储方法，采用分布式模式存储数据并生成数据的索引目录，提高数据的访问速度，同时方便对数据的处理。此外，由于对数据存储多个备份，因此提高数据的安全性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的数据存储系统的结构示意图；
图2为根据本发明另一个实施例的数据存储系统的结构示意图；
图3为根据本发明一个实施例的数据存储方法的流程图；以及
图4为根据本发明另一个实施例的数据存储方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
下面结合说明书附图详细描述根据本发明实施例的数据存储系统。
图1为根据本发明一个实施例的数据存储系统的结构示意图。如图1所示，根据本发明实施例的数据存储系统包括：数据采集服务器100、目录存储服务器200和多个数据存储服务器300。
数据采集服务器100用于实时采集多个节点的性能数据，并将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，键值为性能数据的唯一标识，属性值为性能数据。目录存储服务器200用于根据键值生成性能数据的索引目录。每个数据存储服务器300用于存储性能数据的一个备份，且每个数据存储服务器300均包括多个数据文件，每个数据文件用于存储性能数据的多个数据块。
具体地，在本发明中，为了提高数据的容灾恢复能力，使用多个数据存储服务器300存储数据的多个备份。此外，为了提高数据的访问速度，在每个数据存储服务器300中均将每个性能数据切分为多个数据块，然后将每个数据块存放在不同的数据文件中，也就是说，在每个数据存储服务器300中均存在多个数据文件，每个数据文件中存放多条数据记录。因此为了查找方便，在本发明中，在数据采集服务器100采集到性能数据后，为每个性能数据生成一个唯一的标识，即键值。具体地，本发明的一个实施例中，键值可以包括3个字节的节点标识号+12位的数据唯一标识号+8位文件标识号+8位时间戳属性。其中，节点标识号表示性能数据的来源，文件标识号表示数据将被存入的数据文件，时间戳表示性能数据的获取时间。由此，根据该“键值/属性值”对在目录存储服务器200中存放每一条记录的索引，从而在查找统计时可先通过目录存储服务器200查找到相应的数据存储服务器300然后再查找到相应的数据，提高数据的访问速度。
应理解，由于使用时间戳信息，可以保证误操作情况下对数据的恢复，增加了系统的可靠性，同时也兼顾了关系型数据库的常用特性，使得使用方便，便于上层应用程序的集成。
此外，由于在键值中使用时间戳表明数据是在什么时间获取到的，因此在生成索引目录时还可以通过时间戳对数据进行按年、月、日、时、分、秒进行排列记录，以便进行后续的统计、求和、平均等操作。
根据本发明实施例的数据存储系统，采用分布式模式存储数据并生成数据的索引目录，由此提高数据的访问速度，同时方便对数据的处理。此外，由于对数据存储多个备份，因此提高数据的安全性。
图2为根据本发明另一个实施例的数据存储系统的结构示意图。如图2所示，在图1所示的实施例的基础上，根据本发明实施例的数据存储系统还包括异地备份服务器400。
异地备份服务器400与多个数据存储服务器300属于不同的网络，用于存储性能数据的一个备份。由此，可以保证多个数据存储服务器出错时的数据恢复，提高数据的容灾恢复能力。
进一步地，在本发明的一个实施例中，异地备份服务器400为至少两个，且每个异地备份服务器400属于不同的网络。由此，进一步提高数据的容灾恢复能力。
本发明另一方面还提出一种数据存储方法。
图3为根据本发明一个实施例的数据存储方法的流程图。如图3所示，根据本发明实施例的数据存储方法包括下述步骤。
步骤S101，实时采集多个节点的性能数据，例如，配电柜的有功功率、数据中心的温度等。
步骤S102，将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，键值为性能数据的唯一标识，属性值为性能数据。
在本发明的一个实施例中，键值包括3位的节点标识号+12位的数据唯一标识号+8位文件标识号+8位时间戳属性。其中，节点标识号表示性能数据的来源，文件标识号表示数据将被存入的数据文件，时间戳表示性能数据的获取时间。
步骤S103，根据“键值/属性值”对生成性能数据的索引目录。
具体地，由于数据将被切分成多个数据块而存放在不同的数据文件中，因此，为了方便查找，需根据“键值/属性值”对生成索引目录，由此在查找统计时可先通过索引目录查找到数据所在的服务器然后再查找到相应的数据，提高数据的访问速度。
步骤S104，将性能数据复制为多个备份，并将多个备份分别存储到多个服务器中，其中，每个服务器均包括多个数据文件，每个数据文件用于存储性能数据的多个数据块。
具体地，在本发明的一个实施例中，数据在每个服务器中均以文件形式存储，且每个文件的大小均不大于预定值如2K。也就是说，每个数据均被切分成多个数据块，每个数据块存储在一个数据文件中。
根据本发明实施例的数据存储方法，采用分布式模式存储数据并生成数据的索引目录，由此提高数据的访问速度，同时方便对数据的处理。此外，由于对数据存储多个备份，因此提高数据的安全性。
图4为根据本发明另一个实施例的数据存储方法的流程图。如图4所示，根据本发明实施例的数据存储方法包括下述步骤。
步骤S201，实时采集多个节点的性能数据。
步骤S202，将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，键值为性能数据的唯一标识，属性值为性能数据。
步骤S203，根据“键值/属性值”对生成性能数据的索引目录。
步骤S204，将性能数据复制为多个备份，并将多个备份分别存储到多个服务器中，其中，每个服务器包括多个数据文件，每个数据文件用于存储性能数据的多个数据块。
上述步骤S201至步骤S204的具体实现过程可与上述步骤S101至步骤S104相同，此处不再详细描述。
步骤S205，将性能数据存储到至少一个异地服务器中，其中，异地服务器与上述多个服务器属于不同的网络，且每个异地服务器也属于不同的网络。
根据本发明实施例的数据存储方法，除了将数据存储到多个服务器外，还对数据进行异地备份，由此提高数据的容灾恢复能力，进一步保证数据的安全性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
Claims (5)
1.一种数据存储系统，其特征在于，包括：
数据采集服务器，用于实时采集多个节点的性能数据，并将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，所述键值为所述性能数据的唯一标识，所述键值包括3位的节点标识号+12位的数据唯一标识号+8位文件标识号+8位时间戳属性，其中，所述节点标识号表示性能数据的来源，所述文件标识号表示数据将被存入的数据文件，所述时间戳表示性能数据的获取时间，所述属性值为所述性能数据；
目录存储服务器，用于根据所述“键值/属性值”对生成所述性能数据的索引目录；
多个数据存储服务器，每个所述数据存储服务器分别用于存储所述性能数据的一个备份，且每个所述数据存储服务器均包括多个数据文件，每个所述数据文件用于存储所述性能数据的多个数据块。
2.根据权利要求1所述的数据存储系统，其特征在于，还包括：
异地备份服务器，与所述多个数据存储服务器属于不同的网络，用于存储所述性能数据的一个备份。
3.根据权利要求2所述的数据存储系统，其特征在于，所述异地备份服务器为至少两个，且所述至少两个异地备份服务器的每个属于不同的网络。
4.一种数据存储方法，其特征在于，包括以下步骤：
S1：实时采集各个节点的性能数据；
S2：将采集到的每个性能数据均转换为“键值/属性值”对的格式，其中，所述键值为所述性能数据的唯一标识，所述键值包括3位的节点标识号+12位的数据唯一标识号+8位文件标识号+8位时间戳属性，其中，所述节点标识号表示性能数据的来源，所述文件标识号表示数据将被存入的数据文件，所述时间戳表示性能数据的获取时间，所述属性值为所述性能数据；
S3：根据所述“键值/属性值”对生成所述性能数据的索引目录；以及
S4：将所述性能数据复制为多个备份并将所述多个备份分别存储到多个服务器中，其中，每个服务器包括多个数据文件，每个所述数据文件存储所述性能数据的多个数据块。
5.根据权利要求4所述的数据存储方法，其特征在于，还包括：
将所述性能数据存储到至少一个异地服务器中，其中，所述异地服务器与所述多个服务器属于不同的网络，且每个异地服务器也属于不同的网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210189359.9A CN102722584B (zh) | 2012-06-08 | 2012-06-08 | 数据存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210189359.9A CN102722584B (zh) | 2012-06-08 | 2012-06-08 | 数据存储系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102722584A CN102722584A (zh) | 2012-10-10 |
| CN102722584B true CN102722584B (zh) | 2015-07-15 |
Family
ID=46948345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210189359.9A Active CN102722584B (zh) | 2012-06-08 | 2012-06-08 | 数据存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102722584B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103944744B (zh) * | 2013-01-21 | 2019-02-19 | 博雅网络游戏开发（深圳）有限公司 | 日志采集方法和系统 |
| CN104572711A (zh) * | 2013-10-18 | 2015-04-29 | 腾讯科技（深圳）有限公司 | 一种分布式文档形数据存取方法及装置 |
| CN104679452B (zh) * | 2013-12-02 | 2018-04-20 | 航天信息股份有限公司 | 一种税控系统中发票打印数据绑定方法 |
| CN107315806B (zh) * | 2017-06-26 | 2020-04-10 | 杭州时趣信息技术有限公司 | 一种基于文件系统的嵌入式存储方法和装置 |
| CN107729412A (zh) * | 2017-09-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种基于外带通信的历史性能统计的方法及系统 |
| CN109189609A (zh) * | 2018-08-16 | 2019-01-11 | 黄疆 | 一种非结构化数据快速备份系统和方法 |
| CN109615530A (zh) * | 2018-12-11 | 2019-04-12 | 平安科技（深圳）有限公司 | 定投计算方法、装置、计算机设备以及存储介质 |
| CN112434066A (zh) * | 2020-11-24 | 2021-03-02 | 深圳市前海迅智系统科技有限公司 | 一种多路高频实时数据聚合方法及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141370A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于网格服务的电力企业实时数据处理方法 |
| CN101188569A (zh) * | 2006-11-16 | 2008-05-28 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060294571A1 (en) * | 2005-06-27 | 2006-12-28 | Microsoft Corporation | Collaborative video via distributed storage and blogging |
| CN100573528C (zh) * | 2007-10-30 | 2009-12-23 | 北京航空航天大学 | 数字博物馆网格及其构造方法 |
-
2012
- 2012-06-08 CN CN201210189359.9A patent/CN102722584B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101188569A (zh) * | 2006-11-16 | 2008-05-28 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储系统 |
| CN101141370A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于网格服务的电力企业实时数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102722584A (zh) | 2012-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102722584B (zh) | 数据存储系统及方法 | |
| CN102737127B (zh) | 一种海量数据存储方法 | |
| CN113010506B (zh) | 一种多源异构水环境大数据管理系统 | |
| CN104794123B (zh) | 一种为半结构化数据构建NoSQL数据库索引的方法及装置 | |
| CN102426609B (zh) | 一种基于MapReduce编程架构的索引生成方法和装置 | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| US20150339308A1 (en) | Managing site-based search configuration data | |
| CN109522290B (zh) | 一种HBase数据块恢复及数据记录提取方法 | |
| US20100094802A1 (en) | Method and a system for replicating databases | |
| CN107273482A (zh) | 基于HBase的告警数据存储方法及装置 | |
| CN104657459A (zh) | 一种基于文件粒度的海量数据存储方法 | |
| CN108319645B (zh) | 一种异构存储环境下多版本文件视图管理方法和装置 | |
| CN102890678A (zh) | 一种基于格雷编码的分布式数据布局方法及查询方法 | |
| CN111046036A (zh) | 数据同步方法、装置、系统及存储介质 | |
| CN102779138A (zh) | 实时数据的硬盘存取方法 | |
| CN103793493A (zh) | 一种处理车载终端海量数据的方法和系统 | |
| CN102508833A (zh) | 数据监控装置及方法 | |
| CN106055678A (zh) | 一种基于hadoop的全景大数据分布式存储方法 | |
| CN112181940A (zh) | 全国工商大数据处理系统的构建方法 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN107330017A (zh) | 一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统 | |
| Murugesan et al. | Audit log management in MongoDB | |
| CN107291881A (zh) | 基于HBase的海量日志存储和查询方法 | |
| CN107341198B (zh) | 一种基于主题实例的电力海量数据存储和查询方法 | |
| US20220413971A1 (en) | System and Method for Blockchain Based Backup and Recovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160513 Address after: 214135 Jiangsu province Wuxi city Wuxi District Taihu international science and Technology Park Linghu Road No. 200 China Sensor Network International Innovation Park Room D2-622 Patentee after: Wuxi Tianyun Data Center Technology Co. Ltd. Address before: 100176, room six, building 18, building 1, North Street, No. 606, Sheng Bei street, Beijing economic and Technological Development Zone, Beijing Patentee before: Beijing Cloud-frame Technology Co., Ltd. |