CN108173881A - 一种量子流数据块的随机存储方法与系统 - Google Patents

一种量子流数据块的随机存储方法与系统 Download PDF

Info

Publication number
CN108173881A
CN108173881A CN201810154836.5A CN201810154836A CN108173881A CN 108173881 A CN108173881 A CN 108173881A CN 201810154836 A CN201810154836 A CN 201810154836A CN 108173881 A CN108173881 A CN 108173881A
Authority
CN
China
Prior art keywords
storage
random
data block
quantum
flow data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810154836.5A
Other languages
English (en)
Inventor
秦绮玲
刘亚平
周琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU HANCHEN DIGITAL TECHNOLOGY Co Ltd
Original Assignee
SUZHOU HANCHEN DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU HANCHEN DIGITAL TECHNOLOGY Co Ltd filed Critical SUZHOU HANCHEN DIGITAL TECHNOLOGY Co Ltd
Priority to CN201810154836.5A priority Critical patent/CN108173881A/zh
Publication of CN108173881A publication Critical patent/CN108173881A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0625—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation with splitting of the data block into left and right halves, e.g. Feistel based algorithms, DES, FEAL, IDEA or KASUMI

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种量子流数据块的随机存储方法与系统，该系统由部署在互联网上的至少一个管理系统和量子流媒体处理系统，和两个以存储设备组成。所述的量子流数据块是一组内容切片后加密扰乱了的数据块，在系统中不同的存储设备上存储和备份。本发明采用随机存储和随机副本拷贝的分布式存储数据冗余策略来保证数据存储安全，并通过随机存储和对存储设备存储量的调整来实现存储均衡。

Description

一种量子流数据块的随机存储方法与系统
技术领域
本发明涉及流媒体数据量子化处理和云存储领域，特别是明涉及一种量子流数据块的随机存储方法与系统。
背景技术
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。切分数据，可以降低单台机器的负载，通过负载均衡策略，有效地降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，虚拟存储和备份，增加了数据安全性和可靠性；通过多路读写，可大大提高了应用中读取 （Read）数据的速度和并发量。
数据切分不是一门新技术，而是一个相对简朴的软件理念。例如，多媒体流文件是一种连续传输的大数据文件，常用的存储方式需要服务器有较大存储空间，对流媒体服务器的负荷要求极高，且占用大量带宽资源，维护起来比较麻烦，投资运营成本较高。苹果公司发明的Http Live Strearing （HLS）技术是将整个流媒体切片的典型应用，其被连续切片的流媒体文件由一个服务器分发。在播放端，用户可以根据R3u8索引文件，从流媒体服务器下载切片组装还原流媒体。
谷歌文件系统(Google File System，GFS)、Hadoop分布式文件系统(HadoopDistributed File System，HDFS)等著名的分布式文件系统都采用了副本布局方式来提高数据存储的可靠性。这种方法可以利用存储目录中存放的存储节点信息，将数据对象的多个副本放置在不同机架上，从而大大提高系统的数据可靠性。
发明内容
本发明公开一种量子流数据块的随机存储方法与系统，旨在解决云存储数据安全，提高存取效率问题。
本发明公开一种量子流数据块的随机存储方法与系统，该系统由部署在互联网上的至少一个管理系统和量子流媒体处理系统，和两个以存储设备组成。所述的量子流数据块是一组内容切片后加密扰乱了的数据块，在系统中不同的存储设备上存储和备份。本发明采用随机存储和随机副本拷贝的分布式存储数据冗余策略来保证数据存储安全，并通过随机存储和对存储设备存储量的调整来实现存储均衡。
作为优选方案之一，流媒体连续数据D（t）切片成量子数据片，其中内容标记i和顺序标记j。
进一步，采用加密算法将j加密成r，得到量子数据片。
进一步，将数据集合成量子流数据块。
优选地，所述的量子流数据块，伴生信息包括内容标识i，加密算法，加密密钥，及加密后的顺序号r。
进一步，选用DES加密算法为默认加密算法，此时，所述的伴生信息就只包含i，和r。
作为优选方案之二，所述的量子流数据块被随机存入云存储系统的存储设备中，构成量子流数据块分布式虚拟云存储系统。
进一步，所述系统的文件存储与备份流程是：
第一步，随机获取主存储设备的IP地址，记为，并将数据块存入该存储设备；
第二步，再随机获取备份设备的IP地址，记为，等，并将数据块存入该存储设备；
第三步，将所述量子流数据块的管理信息存入管理系统的管理数据库。
优选地，所述的备份数据块可以不止一个，可以备份在分布式云存储系统的不同的存储设备中。
作为优选方案之二，所述云存储设备由其IP地址定位，IPV4的地址记为，其中取值分别为0–255之间的整数，其中代表网络地址，代表某网段地址。
进一步，所述的存储设备IP随机地址由一个随机数R决定，该随机数由随机数据发生器产生，R用来控制改变IP地址中的某一段数值。选择某段地址中与R最近的地址为所选的随机IP地址。为保证IP地址有效，R取值0到255之间。
进一步，在选择所述的存储或备份设备前，先扫描一遍云存储系统中所有的存储设备，记录其IP地址列表，检出IP地址中有变化的段，n=1，或2，3，4，用R替代作为存储设备随机数选择的IP地址。
进一步，所述的存储设备在被随机选中后，如果存储量小于某百分数，则被选中，否则将重选。
进一步，所述的衡量某存储设备存储量的百分数可以随意设定，通过随机存储和控制云存储系统均衡。
进一步，所述的数据只做一个备份副本时，优先在本网段的云存储设备中备份。
进一步，所述的数据做大于一个备份时，优先在本网段的云存储设备中做第一个备份，另一个备份选择在网络中的其它网段存储设备上。
进一步，云存储系统由多于一个网段的云存储设备组成时，选择多于一个备份副本，以提高云存储系统的可靠性。
进一步，所有的云存储设备既可以是主存储设备，又可以是备份存储设备。
进一步，在所述的云存储系统中，每个文件块拷贝至少1个副本，副本存储设备由数据块云存储设备地址和随机数确定。所以，一个云存储设备的失败并不会带来数据丢失，使得该系统的存储可靠性完全可控。
本发明的有益效果是：
提供一种最简单、部署方便、存储安全可靠、低能耗绿色环保的云存储系统。可以为大数据云存储产业提供优选，推动该产业的发展。
由于所存储的数据由多个云存储设备以数据块方式同时读取，数据读取效率大大高于其它方法。
采取数据随机存储均衡策略，多副本拷贝虚拟存储技术保证数据存储安全，使得该云存储系统比其它云存储系统更加安全可靠。
该系统大大降低了成本和使用门槛，极大的方便了云存储的推广使用。最智慧城市、智慧社区、智慧医疗的推动具有重要作用。
附图说明
图1是本发明优选实施例的系统架构；
图2是本发明优选实施例的流媒体量子流数据块形成过程；
图3是本发明优选实施例的量子流数据块随机存储与均衡管理流程。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
图1是本发明优选实施例的系统架构，包括管理系统101，量子流媒体处理系统102，互联网103，云存储设备104，用户终端105组成。102将流媒体文件切片处理成量子流，并将量子流数据加密成，再组合成量子流数据块{}。101将{}数据块随机存储到主存储设备104和备份到备份存储设备104中，在此，104既可以作为主存储设备，又可以作为备份存储设备。
图2是本发明优选实施例的流媒体量子流数据块形成过程。201是待处理流媒体文件，通过102首先做切片处理成量子流数据片，例如取j为任意数值，204编号为j+1，203编号为j，202编号为j-1，以此类推.j为某一时刻的编号。增加或减少j，获得201的连续切片量子数据片，，将j用DES算法加密，202，203，204数据片变成j加密后的数据片205，206，207，用表示，将一组加密后的量子流数据切片集成为量子流数据块，所对应的j的DES加密信息r，和加密密钥为作为伴生信息。此时，和相对应，暂存在102中。
图3是本发明优选实施例的量子流数据块随机存储与均衡管理流程。S301从流媒体处理服务器获得量子流数据块和伴生信息；S302扫描一遍云存储系统中的所有存储设备，记录其IP地址列表，检出IP地址中变化的，n=1，或2，3，4，作为随机选择的存储地址；S303产生随机数R，生成主存储设备地址。调用一个随机数发生器，产生任意随机数R（0-255），首先选择局域网中不同作为主存储设备，最靠近R。作为新的，主存储地址IP= ，检测该存储设备的存储量是否小于，如果小于则将该设备作为主存储设备，存储量如果大于，则重选。S304产生随机数R，确定备份存储设备地址。调用一个随机数发生器，产生任意随机数R（0-255），如果只需一个备份，优选选择局域网中不同作为备份存储设备新IP地址，，最靠近R，用新的作为备份存储地址IP1= ，检测该存储设备的存储量是否小于，如果小于则将该设备作为备份存储设备，存储量如果大于，则重选。如果需要第二个备份，则选择，最靠近R，用新的作为备份存储地址IP1= ，检测该存储设备的存储量是否小于，如果小于则将该设备作为备份存储设备，存储量如果大于，则重选。如果不变，则选择或。S305将量子流块数据分别存入主存储设备和备份存储设备，生成量子流数据块管理信息，并将其存入管理系统的管理数据库。
以上述依据本发明的实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种量子流数据块的随机存储方法与系统，其特征在于，所述的系统是一个云存储系统，包括至少一个管理系统，至少一个流媒体处理系统，至少两个数据存储设备；所述的流媒体文件由量子流数据块和其对应的量子流数据块管理信息为组成。
2.如权利要求1中所述的量子流数据块，其特征在于，以块数据任意随机存储到云端（互联网）的任一存储设备，并随机备份到至少一个存储设备以保证数据安全。
3.如权利要求1中所述的量子流数据块，其特征在于，是一组顺序被扰乱了的量子流数据片，其大小可以任意设定。
4.如权利要求3中所述的量子流数据片，其特征在于，是由连续切片的量子流数据，对j加密成r后得到的一组加扰数据。
5.如权利要求4中所述的对j加密，其特征在于，用DES加密算法将j加密成r，其加密密钥记为。
6.如权利要求2中所述的随机存储，其特征在于，量子流数据块在存储和备份时，随机选择云存储系统中的存储设备的IP地址。
7.如权利要求6中所述的随机选择IP地址，其特征在于，某段IP地址段可以由随机数R随机决定，R由随机算法确定，取值0-255，随机选取R后，选择一个最靠近R的=R的存储设备作为主存储或备份存储设备。
8.如权利要求6中所述的随机选择IP地址，其特征在于，只有一个备份时，在主存储设备同一网段随机选择备份存储设备，在多于一个备份时，另外的备份存储分别在其它网段中选择。
CN201810154836.5A 2018-02-23 2018-02-23 一种量子流数据块的随机存储方法与系统 Pending CN108173881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810154836.5A CN108173881A (zh) 2018-02-23 2018-02-23 一种量子流数据块的随机存储方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810154836.5A CN108173881A (zh) 2018-02-23 2018-02-23 一种量子流数据块的随机存储方法与系统

Publications (1)

Publication Number Publication Date
CN108173881A true CN108173881A (zh) 2018-06-15

Family

ID=62511526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810154836.5A Pending CN108173881A (zh) 2018-02-23 2018-02-23 一种量子流数据块的随机存储方法与系统

Country Status (1)

Country Link
CN (1) CN108173881A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108964911A (zh) * 2018-09-18 2018-12-07 苏州米特希赛尔人工智能有限公司 一种基于区块链和量子流数据块技术的流媒体服务系统
CN109687960A (zh) * 2018-12-29 2019-04-26 如般量子科技有限公司 基于多个公共非对称密钥池的抗量子计算代理云存储方法和系统
CN109787965A (zh) * 2018-12-29 2019-05-21 如般量子科技有限公司 基于多个非对称密钥池的抗量子计算云存储方法和系统
CN111211901A (zh) * 2020-04-22 2020-05-29 广东纬德信息科技股份有限公司 基于5g的配网通信安全传输方法、系统、装置及存储介质
CN112685232A (zh) * 2021-01-11 2021-04-20 河南大学 一种计算机备份数据监测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108964911A (zh) * 2018-09-18 2018-12-07 苏州米特希赛尔人工智能有限公司 一种基于区块链和量子流数据块技术的流媒体服务系统
CN109687960A (zh) * 2018-12-29 2019-04-26 如般量子科技有限公司 基于多个公共非对称密钥池的抗量子计算代理云存储方法和系统
CN109787965A (zh) * 2018-12-29 2019-05-21 如般量子科技有限公司 基于多个非对称密钥池的抗量子计算云存储方法和系统
CN111211901A (zh) * 2020-04-22 2020-05-29 广东纬德信息科技股份有限公司 基于5g的配网通信安全传输方法、系统、装置及存储介质
CN111211901B (zh) * 2020-04-22 2020-07-28 广东纬德信息科技股份有限公司 基于5g的配网通信安全传输方法、系统、装置及存储介质
CN112685232A (zh) * 2021-01-11 2021-04-20 河南大学 一种计算机备份数据监测方法及系统

Similar Documents

Publication Publication Date Title
CN108173881A (zh) 一种量子流数据块的随机存储方法与系统
CN112910840B (zh) 一种基于联盟区块链的医疗数据存储共享方法及系统
CN102833346B (zh) 基于存储元数据的云敏感数据安全保护系统及方法
CN105339929B (zh) 选择用于取消重复数据的存储
CN105120003B (zh) 一种实现云环境下数据备份的方法
CN110445822A (zh) 一种对象存储方法及装置
CN108183973A (zh) 一种流媒体量子流数据块结构及加解密方法
TWI749488B (zh) 電腦實現的用於檢測和禁止重放攻擊的方法、系統及非暫時性電腦可讀的儲存媒體
US20150161409A1 (en) Method and system for handling of group sharing in a distributed data storage, particularly in p2p environment
CN106131048A (zh) 一种用于区块链的非信任远程交易文件安全存储系统
JP5298200B2 (ja) データ転送記憶における分解／再構築
TW201216073A (en) System and method for sharing network storage and computing resource
WO2009048727A1 (en) Virtualized data storage vaults on a dispersed data storage network
CN108964911A (zh) 一种基于区块链和量子流数据块技术的流媒体服务系统
KR20210050959A (ko) 블록체인 기반 파일 송신 방법 및 그 시스템
JP2018190227A (ja) ネットワーク分散型重複排除ファイルストレージシステム
CN106506613B (zh) 分布式key‑value存储系统的数据存储位置加密方法
Arslan et al. Compress-store on blockchain: a decentralized data processing and immutable storage for multimedia streaming
Mahesh et al. A review on data deduplication techniques in cloud
US20200265351A1 (en) Data similacrum based on locked information manipulation
KR101371202B1 (ko) 멀티 메타데이터 서버 구조를 갖는 분산 파일 시스템 및 이를 이용한 데이터 처리 방법
CN107038092A (zh) 一种数据复制方法及装置
Ali et al. Blockstack technical whitepaper
Nygaard et al. Distributed storage system based on permissioned blockchain
Galletta et al. Big mri data dissemination and retrieval in a multi-cloud hospital storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180615