CN106850837A - 一种云存储量子数据及处理系统 - Google Patents
一种云存储量子数据及处理系统 Download PDFInfo
- Publication number
- CN106850837A CN106850837A CN201710126895.7A CN201710126895A CN106850837A CN 106850837 A CN106850837 A CN 106850837A CN 201710126895 A CN201710126895 A CN 201710126895A CN 106850837 A CN106850837 A CN 106850837A
- Authority
- CN
- China
- Prior art keywords
- data
- quantal
- cloud storage
- storage
- management server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 66
- 238000007726 management method Methods 0.000 claims abstract description 17
- 238000013500 data storage Methods 0.000 claims abstract description 7
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 claims description 3
- 102000057593 human F8 Human genes 0.000 claims description 3
- 229940047431 recombinate Drugs 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000013139 quantization Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种云存储量子数据及处理系统，将大数据块切片成量子数据片，按照内容标记、顺序标记、时序标记、存储设备IP地址，备份存储设备IP地址，生成量子数据块的索引参数组，所述量子数据片存储到任意分配的云存储设备和备份设备中。所述的索引数据存储在管理服务器数据库中。当用户端检索和下载内容标识的内容，管理服务器将生成索引数据文件下载给用户，用户将根据量子数据片的存储地址和顺序标识或时序标识下载和重组恢复原数据文件。所述的云存储系统由管理服务器、云存储设备及用户组成。本发明解决互联网应用中海量数据存储和访问瓶颈，大大减小了对单一存储单元的负荷要求，且便于对文件进行管理，减少运营成本和带宽资源。
Description
技术领域
本发明涉及数据处理和云存储领域，特别是明涉及一种云存储数据及处理系统。
背景技术
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。切分数据，可以降低单台机器的负载，通过负载均衡策略，有效地降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，虚拟存储和备份，增加了数据安全性和可靠性；通过多路读写，可大大提高了应用中读取 （Read）数据的速度和并发量。
数据切分不是一门新技术，而是一个相对简朴的软件理念。例如，多媒体流文件是一种连续传输的大数据文件，常用的存储方式需要服务器有较大存储空间，对视频服务器的负荷要求极高，且占用大量带宽资源，维护起来比较麻烦，投资运营成本较高。苹果公司发明的Http Live Streaming （HLS）技术是将整个流媒体切片的典型应用，其流媒体文件由一个服务器分发。在播放端，用户可以根据M3u8索引文件，从流媒体服务器下载切片组装还原流媒体。
作为为了互联网传输技术的突破技术之一，MIT专家提出了标定数据网络的概念（Named Data Network，NDN）。可见，具有信息内容，数据标签和地址标签的数据结构，将是NDN的最佳数据元。
发明内容
本发明提出一种云存储量子数据及处理系统，将大数据块切片成量子数据片，按照内容标记、顺序标记、时序标记、存储设备IP地址，备份存储设备IP地址，生成量子数据块的索引参数组，所述量子数据片存储到任意分配的云存储设备和备份设备中。所述的索引数据存储在管理服务器数据库中。当用户端检索和下载内容标识的内容，管理服务器将生成索引数据文件下载给用户，用户将根据量子数据片的存储地址和顺序标识或时序标识下载和重组恢复原数据文件。所述的云存储系统由管理服务器、云存储设备及用户组成。本发明解决互联网应用中海量数据存储和访问瓶颈，大大减小了对单一存储单元的负荷要求，且便于对文件进行管理，减少运营成本和带宽资源。
作为优选方案之一，所述的量子数据由量子数据片，内容标识，序列标识号，时序标识、存储设备地址，备份设备IP地址，组成。
进一步，所述的量子数据可分解为量子数据片，和索引数据两部分。
进一步，所述的量子数据片存储在具有IP地址为的存储设备，及具有IP地址为，的备份存储设备中。
进一步，所述的索引数据存储在管理服务器的数据库中。
进一步，所述的内容标识，直接用内容的名称赋值，便于在检索时根据内容标识生成索引文件，存储在数据库中。例如，检索某一份文档，，从数据库中检索出所有含的索引数据，生成索引文件。用户根据该索引文件从存储其量子数据的存储设备中下载，并根据该索引文件重组数据文件。
进一步，序列标识号表示第i个量子数据切片序号，时序标识表示第j个时间标识。序列标识号和时序标识，都可以用来按照顺序重组和恢复数据文件。
作为优选方案之二，所述的数据文件量子化步骤是，将原文件C（）顺序切割成一个个量子数据片；给每一个量子数据片按顺序分配序列标识和时间序列标识；再给分配相应存储设备（IP地址）；将索引数据存入数据库，量子数据片存入具有地址的存储设备。
进一步，所述的索引数据包括内容标记、排序标记和时间标记、及量子数据片存储地址。
进一步，所述的量子数据片大小可以根据具体情况做最佳化调整。
作为优选方案之三，所述的原文件获取的步骤如下：首先在数据库中根据内容分类检索到所需的内容，存储管理服务器根据生成索引文件，并将索引文件下载给用户；用户根据量子数据片的存储地址取得所有的量子数据片；再根据量子数据片的顺序重组和恢复数据文件。
进一步，所述的量子数据下载，可以同时多路下载以提高下载速度和效率。
进一步，所述的原文件重组可以便下载边进行，以减少时延。
作为优选方案之三，所述的量子数据片可以存储在不止一个存储设备上，这些存储设备分别记为主存储设备和备份存储设备。
进一步，所述的存储设备用IP地址区分。具有地址的设备记为主存储设备，依次具有，的存储设备分别为备份存储设备。
进一步，在数据作备份存储时，索引数据将增加备份存储设备地址。可以增加不止2个备份存储设备，以增加数据安全性。
进一步，在主存储设备中的量子数据片丢失或损坏时，将依次从备份存储设备中获取量子数据片。
本发明的有益效果是：所述的大数据文件经量子化处理，能够将原大数据文件切片成由内容量子数据片、内容标识、顺序标识、时间标识和存储IP地址标识的量子数据。量子数据片可以存储在任意云存储设备上。从而大大减小了对服务器的负荷要求，更加方便云存储的虚拟化，并进一步加强其稳定性、安全性和可靠性。
图1是本发明优选实施例的数据量子化原理图；
图2是本发明优选实施例的数据量子化及存储流程；
图3是本发明优选实施例的量子云数据存储系统；
图4是本发明优选实施例的文件获取流程。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
图1是本发明优选实施例的数据量子化原理图。大数据101被切成量子数据片102，103，104，假设这里被切开后的数据非常小。在此，按照切割顺序分别给量子数据切102，103，104编号，如104编号为i+1，103编号为i，102编号为i-1，以此类推，i为某一时刻的编号。在给量子数据片102，103，104编号的同时，还可以赋予其时间标识如j-1，j，j+1等等。标识后的切片量子数据片可以存储到云端的任意存储设备上，如果需要更高的数据安全性，可以同时存储到备份存储设备上。在接收端，量子数据片数据片可以按照顺序组装恢复成为原数据文件105。
图2是本发明优选实施例的数据量子化及存储流程，S02开始将大数据文件切片成量子数据片，S03给该量子数据片赋予相应的顺序标识i，时间标识j；S04将量子数据片存入云端IP地址为的存储设备，如果需要备份，同时再存入具有IP地址为的备份存储设备；S05生成索引数据，并将其存入管理服务器数据库S06；S07流程结束。
图3是本发明优选实施例的量子云数据存储系统，管理服务器301负责将大数据文件切片成量子数据片，标所述的量子数据片，生成其相应的索引数据，并将其存入301的数据库。在用户304检索和下载内容时，301还负责生成该内容的索引文件，并下载给用户304。303是互联网，管理服务301通过互联网303和云存储设备302构成一个实际的量子数据云存储系统。所述的量子数据云存储系统构成本发明的云存储量子数据及处理系统。304是用户，用户通过管理服务检索所要获取的文件，获得索引数据文件，并根据量子数据片的存储地址，同时多路下载数据，再按照顺序重组和恢复数据。
图4是本发明优选实施例的文件获取流程，例如用户需要取出分类为的数据文件。S09开始从管理服务器301的数据库中检索内容，然后生成索引文件S10，或在有备份存储情况下为；S11下载索引文件给用户；S12用户收到索引文件后，将根据索引文件给出的数据存储设备地址，同时多路下载量子数据片；S13根据索引文件的顺序或时序恢复原数据文件。
以上述依据本发明的实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (8)
1.一种云存储量子数据，其特征在于所述的量子数据由内容大数据文件切片成微小的量子数据片 ，内容标识 ，顺序标识 ，时序标识 ，存储IP地址标识 ，备份存储IP地址标识 组成。
2.一种云存储量子数据处理系统，其特征在于所述的系统由管理服务器，云存储设备和用户组成。
3.如权利要求1中所述的量子数据片，其特征在于，是大数据文件的微小部分，按照一定顺序和时序切割、重组和恢复。
4.如权利要求1中所述的量子数据片，其特征在于，是一种标识数据，可以任意存储到云端（互联网）的任意存储设备，可以备份到不少于一个备份存储设备以保证数据安全。
5.如权利要求1中所述的量子数据，其特征在于，索引数据 存储在管理服务器数据库，量子数据切片 存储到任意云存储设备 ，同时备份到任意云存储设备 。
6.如权利要求2中所述的量子数据处理系统，其特征在于，由一个管理服务器，至少一个用户和大于2个云存储设备组成。
7.如权利要求6中所述的管理服务器，其特征在于，完成云存储量子数据处理和保存索引数据 。
8.如权利要求6中所述的用户，其特征在于，获取相应文件时，首先从管理服务器下载数据索引文件，根据索引文件同时多路下载所述的量子数据切片，并按照顺序或时序组装恢复原数据文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710126895.7A CN106850837A (zh) | 2017-03-06 | 2017-03-06 | 一种云存储量子数据及处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710126895.7A CN106850837A (zh) | 2017-03-06 | 2017-03-06 | 一种云存储量子数据及处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106850837A true CN106850837A (zh) | 2017-06-13 |
Family
ID=59138056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710126895.7A Pending CN106850837A (zh) | 2017-03-06 | 2017-03-06 | 一种云存储量子数据及处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106850837A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363927A (zh) * | 2018-02-11 | 2018-08-03 | 成都信息工程大学 | 基于顺序重排更好用户隐私性的量子数据库隐私查询方法 |
| CN110555138A (zh) * | 2019-08-05 | 2019-12-10 | 慧镕电子系统工程股份有限公司 | 一种云计算架构下的混合云存储方法 |
| CN112422686A (zh) * | 2020-11-19 | 2021-02-26 | 北京浪潮数据技术有限公司 | 一种云平台的优化方法、装置、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102255942A (zh) * | 2011-03-28 | 2011-11-23 | 苏州汉辰数字多媒体有限公司 | 一种多媒体量子流及云处理技术与实现方法 |
| CN103067386A (zh) * | 2012-12-28 | 2013-04-24 | 苏州汉辰数字科技有限公司 | 一种多媒体流文件量子化处理方法 |
| WO2014071786A1 (zh) * | 2012-11-06 | 2014-05-15 | 腾讯科技（深圳）有限公司 | 一种文件传输的方法及系统 |
| US9459969B1 (en) * | 2012-09-28 | 2016-10-04 | Emc Corporation | Method and system for enhanced backup database indexing |
| CN106130912A (zh) * | 2016-08-26 | 2016-11-16 | 中国科学技术大学 | 一种路由节点及路由方法 |
-
2017
- 2017-03-06 CN CN201710126895.7A patent/CN106850837A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102255942A (zh) * | 2011-03-28 | 2011-11-23 | 苏州汉辰数字多媒体有限公司 | 一种多媒体量子流及云处理技术与实现方法 |
| US9459969B1 (en) * | 2012-09-28 | 2016-10-04 | Emc Corporation | Method and system for enhanced backup database indexing |
| WO2014071786A1 (zh) * | 2012-11-06 | 2014-05-15 | 腾讯科技（深圳）有限公司 | 一种文件传输的方法及系统 |
| CN103067386A (zh) * | 2012-12-28 | 2013-04-24 | 苏州汉辰数字科技有限公司 | 一种多媒体流文件量子化处理方法 |
| CN106130912A (zh) * | 2016-08-26 | 2016-11-16 | 中国科学技术大学 | 一种路由节点及路由方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363927A (zh) * | 2018-02-11 | 2018-08-03 | 成都信息工程大学 | 基于顺序重排更好用户隐私性的量子数据库隐私查询方法 |
| CN110555138A (zh) * | 2019-08-05 | 2019-12-10 | 慧镕电子系统工程股份有限公司 | 一种云计算架构下的混合云存储方法 |
| CN112422686A (zh) * | 2020-11-19 | 2021-02-26 | 北京浪潮数据技术有限公司 | 一种云平台的优化方法、装置、设备及可读存储介质 |
| CN112422686B (zh) * | 2020-11-19 | 2023-01-24 | 北京浪潮数据技术有限公司 | 一种云平台的优化方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10929435B2 (en) | Content delivery network analytics management via edge stage collectors | |
| US11757740B2 (en) | Aggregation of select network traffic statistics | |
| US11061942B2 (en) | Unstructured data fusion by content-aware concurrent data processing pipeline | |
| CN106534273B (zh) | 区块链元数据存储系统及其存储方法与检索方法 | |
| CN105868286B (zh) | 基于分布式文件系统小文件合并的并行追加方法及系统 | |
| CN102882703B (zh) | 一种基于http分析的url自动分类分级的系统及方法 | |
| US9210090B1 (en) | Efficient storage and flexible retrieval of full packets captured from network traffic | |
| US9491225B2 (en) | Offline download method and system | |
| CN103078847B (zh) | 一种多码率流文件的存储和读取方法及相关装置 | |
| CN105072196B (zh) | 分布式数据包存储、回溯方法及系统 | |
| US8666985B2 (en) | Hardware accelerated application-based pattern matching for real time classification and recording of network traffic | |
| CN109040252A (zh) | 文件传输方法、系统、计算机设备和存储介质 | |
| US20110125749A1 (en) | Method and Apparatus for Storing and Indexing High-Speed Network Traffic Data | |
| CN106850837A (zh) | 一种云存储量子数据及处理系统 | |
| CN106156328A (zh) | 一种银行运行日志数据监控方法及系统 | |
| CN108287905A (zh) | 一种网络流特征的提取与存储方法 | |
| CN108183973A (zh) | 一种流媒体量子流数据块结构及加解密方法 | |
| CN102255942A (zh) | 一种多媒体量子流及云处理技术与实现方法 | |
| US20180052858A1 (en) | Methods and procedures for timestamp-based indexing of items in real-time storage | |
| CN104378234A (zh) | 跨数据中心的数据传输处理方法及系统 | |
| CN107241305A (zh) | 一种基于多核处理器的网络协议分析系统及其分析方法 | |
| CN109033319A (zh) | 一种大数据日志归一化方法及工具 | |
| CN105447146A (zh) | 一种海量数据的收集与交换系统及方法 | |
| CN110109874A (zh) | 一种基于区块链的无中心分布式文件检索方法 | |
| Sawyer et al. | Understanding query performance in Accumulo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170613 |