CN113641754A - 一种分布式储存方法及其系统 - Google Patents

一种分布式储存方法及其系统 Download PDF

Info

Publication number
CN113641754A
CN113641754A CN202110784489.6A CN202110784489A CN113641754A CN 113641754 A CN113641754 A CN 113641754A CN 202110784489 A CN202110784489 A CN 202110784489A CN 113641754 A CN113641754 A CN 113641754A
Authority
CN
China
Prior art keywords
content
module
storage
edge
storage module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110784489.6A
Other languages
English (en)
Inventor
孙军涛
姜静
王凯
杜剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Wukongyun Information Technology Co ltd
Original Assignee
Shaanxi Wukongyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Wukongyun Information Technology Co ltd filed Critical Shaanxi Wukongyun Information Technology Co ltd
Priority to CN202110784489.6A priority Critical patent/CN113641754A/zh
Publication of CN113641754A publication Critical patent/CN113641754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种分布式存储系统,包括运营管理模块、内容管理模块、目录服务器、内容路由模块以及边缘存储模块;运营管理模块、内容管理模块、目录服务器、内容路由模块与边缘存储模块连接,实现信息的分布式存储和交互。本发明还提供了一种分布式存储方法能够实现用户数据存储功能、网络热点内容存储功能、基于联盟链的数据共享存储功能。本发明提供的一种分布式储存系统可以有效缓解随用户量增加而对内容分发网络或集中式服务器存储系统造成巨大服务压力。

Description

一种分布式储存方法及其系统
技术领域
本发明涉及计算机存储系统,具体涉及一种分布式存储系统,还具体涉及一种分布式存储方法。
背景技术
随着4K高清视频、8K高清视频、增强现实、虚拟现实等移动互联网新型业务的不断成熟和普及,移动网络数据流量呈爆炸式增长。根据思科公司的预测,从2017年到2022年,全球移动数据流量将增长7倍,移动视频流量将以每年55%的复合增长率高速增长,预计到2022年底,视频流量将占移动网络数据流量的79%。
视频业务的快速攀升使网络带宽成本急剧上升,例如4K视频带宽要求至少50Mbit/s,8K视频要求达到200Mbit/s。带宽成本占据整个内容分发网络(ContentDelivery Network,CDN)成本的50%以上,如果单纯采用CDN进行分发,将产生高昂的带宽费用。CDN进行系统扩容时需要不断增加互联网数据中心(Internet Data Center,IDC)带宽和服务器数量,对于大规模直播(大型演唱会、春节联欢晚会等千万级并发活动),由于用户访问的突发性和广泛分布性,要提供大规模服务的成本非常高。因此,采用点对点(peerto peer,p2p)+CDN混合架构,可以减少CDN服务器数量和IDC出口带宽,缓解了CDN边缘服务器压力,提供更高性价比的传输服务。P2P+CDN虽然初始阶段增加了系统成本,但是随着用户规模增大,P2P+CDN的系统成本不再线性增加,而且小于单纯的CDN。P2P+CDN和CDN可以互为补充,如对于长尾观看模式(大量不同视频节目被观看,但是每个节目只有少量观众),传统CDN更适合。对于热度极高的内容(同一个节目被大量观众同时观看,如直播、点播、大文件分发),P2P+CDN显著胜过传统CDN。P2P+CDN可以解决随用户量增加而对CDN系统造成巨大服务压力的问题,显著提高高清视频等大交互量数据传输的吞吐能力,同时具有更低的带宽成本,目前已是互联网CDN厂家采用的标配技术。
但是以前采取的P2PCDN混合架构虽然可以缓解CDN边缘服务器压力,但系统成本线性增加,CDN边缘服务器无法预测网络热点内容。本发明所提出的分布式存储系统将具备个人存储、网络热点内容存储和联盟链数据存储三个功能,分别针对个人数据的存储、网络公共数据的分布式存储以及联盟链范围内的数据共享,在分布式存储领域将具有广阔的应用前景。
发明内容
本发明提供一种分布式存储系统,可以预测网络内容,进一步提高内容数据业务传输能力。同时本发明通过联盟链进行数据共享交易,更好的将分散在各地的边缘存储模块聚合起来,随着用户规模增大,P2P CDN的系统成本不再线性增加。本发明还提供一种分布式存储方法。
一种分布式存储系统,其特殊之处在于,设置有运营管理模块、内容管理模块、目录服务器、内容路由模块以及若干个边缘存储模块;
运营管理模块、内容管理模块、目录服务器、内容路由模块与边缘存储模块连接,实现信息交互和内容存储。
进一步地,所述边缘存储模块设置有存储空间,边缘存储模块的存储空间分为用户数据存储空间、网络热点内容存储空间、基于联盟链的数据共享存储空间,边缘存储模块的存储空间用于存储各种信息。
进一步地,所述运营管理模块通过分析边缘存储模块的基本信息来对分布式存储系统中边缘存储模块注册、注销、设备状态、网络拓扑和链路监控进行管理,所述基本信息包括边缘存储模块的网络地址、剩余存储空间、是否在线、自身上传下载带宽的情况信息。
进一步地所述内容管理模块用于执行内容副本放置、内容更新及删除的管理列表以及内容的分片。
进一步地,所述目录服务器用于查找所请求内容存储的边缘存储模块、搜索内容资源,以及为边缘存储模块中所存储的内容进行内容共享并提供内容分片定位服务,同时存储费用冻结证明,以便联盟链交易的授权。
进一步地,所述内容路由模块用于通过内容路由策略,将用户请求重定向至某些确定的边缘存储模块,使得用户能够快速得到服务。
进一步地,当信号指令为数据存储指令时,用户先通过终端将数据手动或自动上传至边缘存储模块,边缘存储模块生成数据存放目录列表,并将数据存储至边缘存储模块内对应该用户的用户数据存储空间,当用户对应的用户数据存储空间存满时,分布式存储系统根据边缘存储模块的基本信息将数据存储在具有闲置的用户数据存储空间的边缘存储模块中;
当信号指令为内容检索时,分布式存储系统根据内容检索数据存放目录列表,检索出对应的数据存储的边缘存储模块,再将该边缘存储模块内的数据发送至前述发出指令用户对应的边缘存储模块,再由用户对应的边缘存储模块将数据发送至用户。
一种分布式存储方法,其特殊之处在于,实现用户数据存储功能,具体步骤如下:
步骤101,当用户终端与边缘存储模块位于同一网络时,用户终端向边缘存储模块申请注册;
步骤102,边缘存储模块通过校验注册表后,边缘存储模块更新注册表,根据注册表为每个用户终端建立对应的数据存放目录;
步骤103,用户终端根据所述目录将数据自动或手动上传到边缘存储模块中用户数据存储空间,并可下载、删除、修改、浏览存储空间中的数据。
一种分布式存储方法,其特殊之处在于,实现用户数据存储功能,实现网络热点内容存储功能,具体步骤如下:
步骤201,运营管理模块管理边缘存储模块的基本信息,所述基本信息包括边缘存储模块的网络地址、剩余存储空间、是否在线、自身上传下载带宽的信息,通过分析边缘存储模块的基本信息可用于对边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理;
步骤202,内容管理模块每隔一段时间执行内容副本放置算法和更新内容管理列表,内容管理列表管理存储网络热点内容,所述网络热点内容在进入内容管理模块前进行统一的编码,即所有由边缘存储系统承接的业务都按照预先制定好的规律进行统一的内容ID唯一编码;内容ID由字符串组成,用来表示该路径下的唯一文件标识;
步骤203,每个边缘存储模块执行网络热点内容副本放置后,用户终端可以实现对若干个边缘存储模块中网络热点内容的访问,根据用户终端发出的请求内容的ID,如果在用户所登录的边缘存储模块内容管理模块中的内容列表中找到了所请求的内容,则该边缘存储模块接受内容请求;根据用户IP地址,最终将请求内容返回用户;当用户请求热点内容未存储于其登录的边缘存储模块时,该边缘存储模块向目录服务器发起访问申请;
步骤204,内容路由模块根据目录服务器提供的内容定位及内容路由策略决策选择一个最佳的边缘存储模块为用户提供内容服务,并向用户登录的边缘存储模块返回存储请求内容的指令,最终由内容管理模块处理指令;所存储的内容存储在网络热点内容存储空间中,同时内容管理模块更新内容列表。
一种分布式存储方法,其特殊之处在于,实现用户数据存储功能,实现基于联盟链的数据共享存储功能,具体步骤如下:
步骤301,运营管理模块管理边缘存储模块的基本信息,所述基本信息包括边缘存储模块的注册、注销、网络地址、存储空间、剩余存储空间、是否在线、自身上传下载带宽信息;通过分析边缘存储模块的基本信息可用于对分布式存储系统内边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理;
步骤302,内容管理模块把数据切割成大小相同或不同的片段,同时为每个片段进行统一的内容ID编码,并将数据依次存储在有闲置数据共享存储空间的边缘存储模块中;
步骤303,存储交易:在有闲置数据共享存储空间的边缘存储模块存储数据时将存储需要的费用冻结在联盟链上,并获取一个冻结相数额的证明,同时目录服务器获取该数据分段及证明;
步骤304,有闲置数据共享存储空间的边缘存储模块每提供部分时间的缓存空间,目录服务器则授权联盟链将冻结金额的一部分转给所述边缘存储模块,如果不授权转给提供闲置数据共享存储空间的边缘存储模块,那么所述边缘存储模块将会暂停提供闲置数据共享存储空间;
步骤305,检索交易:用户通过用户终端对上传到数据共享存储空间中的资源进行下载,内容路由模块根据路由策略及目录服务器提供每个内容片段ID定位返回用户终端,用户根据内容定位,把每个内容片段ID拼接在一起并与整个内容ID进行校验;同时,将下载数据需要的费用冻结在联盟链上,并获取一个冻结相数额的证明,并将该证明返回目录服务器;
步骤306,用户通过用户终端每下载部分时间的资源,目录服务器则授权联盟链将冻结金额的一部分转给提供下载资源的边缘存储模块,如果不授权转给提供下载资源的边缘存储模块,那么提供下载资源的边缘存储模块将会暂停提供缓存空间。
本发明的有益效果具体如下:
(1)本发明中包括了若干个边缘存储模块,实现了数据共享分发,有效缓解了用户量的增加对服务器造成的压力。
(2)通过网络热点内容的预测和存储,减少冗余数据的存储;网络热点内容的放置和更新进一步结合业务类型、地域特点,使CDN+P2P的存储内容更加符合用户的偏好,将显著提高CDN网络的存储和传输的效率。
(3)联盟链数据存储的方式将基于区块链技术实现局域网数据在联盟链内的高效、安全地共享,将为物联网、工业互联网等5G应用提供更灵活的存储方式。
(4)本发明所提出的分布式存储系统将具备个人存储、网络热点内容存储和联盟链数据存储三个功能,分别针对个人数据的存储、网络公共数据的分布式存储以及联盟链范围内的数据共享,在分布式存储领域将具有广阔的应用前景。
附图说明
图1为一种分布式存储系统结构示意图;
图2为一种分布式存储系统方法实现用户数据存储功能流程图:
图3为一种分布式存储方法实现网络热点内容存储功能流程图;
图4为一种分布式存储方法基于联盟链的存储共享交易功能流程图。
附图标识:
1.运营管理模块、内容管理模块、目录服务器和内容路由模块,2.边缘存储模块,3.用户终端。
具体实施方式
下面将结合本发明的附图,对本发明实施例中的技术方案进行描述。
本发明提供了一种分布式存储系统,如图1所示,该分布式存储系统包括运营管理模块、内容管理模块、目录服务器、内容路由模块以及若干个边缘存储模块;运营管理模块、内容管理模块、目录服务器、内容路由模块与边缘存储模块连接,实现信息的分布式存储和交互。该架构能够实现三个功能:即用户数据存储、网络热点内容存储和基于联盟链的数据共享存储。
用户通过用户终端可以向边缘存储模块发出信号指令,信号指令包括数据存储、数据下载、数据访问浏览、数据删除、数据检索、数据转存。
边缘存储模块设置有存储空间,边缘存储模块的存储空间分为用户数据存储空间、网络热点内容存储空间、基于联盟链的数据共享存储空间。边缘存储模块能够实现用户数据存储、网络热点内容存储、基于联盟链的存储共享交易三个功能。
运营管理模块作用:运营管理模块管理边缘存储模块的基本信息,包括边缘存储模块的注册、注销、网络地址、剩余存储空间、是否在线、自身上传下载带宽等信息。通过分析边缘存储模块的基本信息可用于对边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理。
内容管理模块作用:执行内容副本放置算法并更新内容管理列表以及内容的分片。
目录服务器作用:维护系统内内容分布情况、边缘存储模块中内容的查找和资源的搜索,为边缘存储模块中所存储的内容进行内容共享并提供内容分片定位服务。同时存储费用冻结证明为联盟链交易的授权。
内容路由模块作用:通过内容路由策略,将用户请求重定向至某些确定的边缘存储模块,使得用户能够快速得到服务。
用户数据存储功能是指:当用户从用户终端生成海量数据时,边缘存储模块便为用户可靠地存储海量数据,而且还为用户提供内容分布式备份存储的功能,用来防止数据丢失。
网络热点内容存储是指:每个边缘存储模块根据用户在用户终端所表现出的兴趣和在线社交网络的互动来捕捉用户对内容的请求,根据请求完成对网络热点内容预测、存储、访问。网络热点内容存储由内容路由模块、目录服务器、内容管理模块、运营管理模块、边缘存储模块共同实现。
基于联盟链的存储共享交易是指:每个边缘存储模块可以共享存储,用于建立联盟链,联盟链维护一个分布式账本。具体的,边缘存储模块可以存储其他用户的数据。
联盟链维护一个分布式账本。分布式账本记录了有闲置存储资源的用户共享其带宽和存储资源给需要的用户使用的存储资源的时间以及大小,共享资源的用户从而赚取租金。所有通过认证机构认证的边缘存储模块都可以加入到分布式账本中参与记账。
一种分布式存储方法,能够实现用户数据存储、网络热点内容存储和基于联盟链的数据共享存储三个功能。
如图2所示,实现用户数据存储功能的流程图。
本流程中,边缘存储模块为具有读写功能的硬盘;其中,硬盘总存储空间划分三部分,分别为用户数据存储空间、网络热点内容存储空间、基于联盟链的数据共享存储空间;硬盘同时维护一个注册表,用于存储用户的设置信息。
步骤101,当用户终端与边缘存储模块位于同一网络时,用户终端可以向边缘存储模块申请注册。
步骤102,边缘存储模块通过校验注册表后,边缘存储模块更新注册表,根据注册表为每个用户终端建立对应的数据存放目录。
步骤103,用户终端根据所述目录将数据自动或手动上传到边缘存储模块中用户数据存储空间,并可下载、删除、修改、浏览存储空间中的数据。
如图3所示,实现网络热点内容存储功能流程图,所述方法包括:
步骤201,运营管理模块管理边缘存储模块的基本信息,所述基本信息包括边缘存储模块的网络地址、剩余存储空间、是否在线、自身上传下载带宽的信息。通过分析边缘存储模块的基本信息可用于对边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理。
步骤202,内容管理模块每隔一段时间执行内容副本放置算法和更新内容管理列表。
所述内容副本放置算法为:内容管理模块基于在线边缘存储模块内容列表,预测在线边缘存储模块所偏好的网络热点内容。若预测的网络热点内容与边缘存储模块的内容列表关联大于预定阈值,则该预测的网络热点内容即为网络热点内容,若边缘存储模块中网络热点内容存储空间足够,则内容管理模块在其网络热点内容存储空间中执行内容副本放置;若边缘存储模块中网络热点内容存储空间不够,则替换内容列表中访问频率最少的内容,直到可以满足存储网络热点内容所需的空间,然后再执行内容副本放置。最后,内容管理模块更新内容管理列表。
所述预定阈值为一个0到1之间的常数,这个常数由预先设定。关联程度大于某个设定的常数,就执行内容副本放置算法,否则不执行。
所述内容管理列表管理存储的网络热点内容在进入内容管理模块前进行统一的编码,即所有由边缘存储系统承接的业务都按照预先制定好的规律进行统一的内容ID唯一编码。内容ID由字符串组成,用来表示该路径下的唯一文件标识。
所述预测网络热点内容具体为:网络热点内容可以属于不同的类别(例如,新闻、音乐、游戏等。)每当用户对某个内容感兴趣时,他可以请求属于其首选类别的视频。设用户对第g类内容感兴趣的概率为I(g),该参数的影响使用以下公式计算:
Figure BDA0003158621100000091
其中Vgl是用户ul请求的第g类内容的数量,H是用户ul请求的内容总数量所拥有的类别。
步骤203,每个边缘存储模块执行网络热点内容副本放置后,用户终端可以实现对若干个边缘存储模块中网络热点内容的访问。根据用户终端发出的请求内容的ID,如果在用户所登录的边缘存储模块内容管理模块中的内容列表中找到了所请求的内容,则该边缘存储模块接受内容请求。根据用户IP地址,最终将请求内容返回用户终端;当用户请求热点内容未存储与其登录的边缘存储模块时,该边缘存储模块向目录服务器发起访问申请,使得该用户在用户终端向目录服务器注册,并将自身的资源和位置信息上传到目录服务器,以完成加入分布式存储系统的过程。
步骤204,内容路由模块根据目录服务器提供的内容定位及内容路由策略指标选择一个最佳的边缘存储模块为用户提供内容服务,并向用户登录的边缘存储模块返回存储请求内容的指令,最终由内容管理模块处理指令。所存储的内容存储在网络热点内容存储空间中,同时内容管理模块更新内容列表。
内容路由策略指标选取为在线用户数。通过动态最小连接算法,把新的连接请求分配到当前连接用户最少的边缘存储模块提供内容请求。
如图4所示,实现基于联盟链的数据共享存储功能流程图。
联盟链维护一个分布式账本。分布式账本记录了有闲置存储资源的用户共享其带宽和存储资源给需要的用户使用的存储资源的时间以及大小,共享资源的用户从而赚取租金。所有通过认证机构认证的边缘存储模块都可以加入到分布式账本中参与记账。
步骤301,运营管理模块管理边缘存储模块的基本信息,所述基本信息包括边缘存储模块的网络地址、剩余存储空间、是否在线、自身上传下载带宽的信息。通过分析边缘存储模块的基本信息可用于对边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理。
步骤302,内容管理模块把数据切割成大小相同的片段(例如256KB),同时为每个片段进行统一的内容ID编码,并将数据依次存储在有闲置数据共享存储空间的边缘存储模块中。
步骤303,存储交易:在有闲置数据共享存储空间的边缘存储模块存储数据时将存储需要的费用冻结在联盟链上,并获取一个冻结相数额的证明,同时目录服务器获取该数据分段及证明。
步骤304,有闲置数据共享存储空间的边缘存储模块每提供部分时间的缓存空间,目录服务器则授权联盟链将冻结金额的一部分转给所述边缘存储模块,如果不授权转给提供闲置数据共享存储空间的边缘存储模块,那么所述边缘存储模块将会暂停提供闲置数据共享存储空间。
步骤305,检索交易:用户通过用户终端对上传到数据共享存储空间中的资源进行下载,内容路由模块根据路由策略及目录服务器提供每个内容片段ID定位返回用户,用户根据内容定位,把每个内容片段ID拼接在一起并与整个内容ID进行校验。同时,将下载数据需要的费用冻结在联盟链上,并获取一个冻结相数额的证明,并将该证明返回目录服务器。
步骤306,用户每下载部分时间的资源,目录服务器则授权联盟链将冻结金额的一部分转给提供下载资源的边缘存储模块,如果不授权转给提供下载资源的边缘存储模块,那么提供下载资源的边缘存储模块将会暂停提供缓存空间。
本发明通过P2P的数据共享分发机制和CDN的集中式管理,可以缓解随用户量增加而对CDN系统造成巨大服务压力,显著提高高清视频吞吐能力。

Claims (10)

1.一种分布式存储系统,其特征在于,设置有运营管理模块、内容管理模块、目录服务器、内容路由模块以及若干个边缘存储模块;
运营管理模块、内容管理模块、目录服务器、内容路由模块与边缘存储模块连接,实现信息的分布式存储和交互。
2.根据权利要求1所述的一种分布式存储系统,其特征在于,所述边缘存储模块设置有存储空间,边缘存储模块的存储空间分为用户数据存储空间、网络热点内容存储空间、基于联盟链的数据共享存储空间,边缘存储模块的存储空间用于存储各种信息。
3.根据权利要求1所述的一种分布式存储系统,其特征在于,所述运营管理模块通过分析边缘存储模块的基本信息来对分布式存储系统中边缘存储模块注册、注销、设备状态、网络拓扑和链路监控进行管理,所述基本信息包括边缘存储模块的网络地址、剩余存储空间、是否在线、自身上传下载带宽的情况信息。
4.根据权利要求1所述的一种分布式存储系统,其特征在于,所述内容管理模块用于执行内容副本放置、内容更新及删除的管理列表以及内容的分片。
5.根据权利要求1所述的一种分布式存储系统,其特征在于,所述目录服务器用于查找所请求内容存储的边缘存储模块、搜索内容资源,以及为边缘存储模块中所存储的内容进行内容共享并提供内容分片定位服务,同时存储费用冻结证明,以便联盟链交易的授权。
6.根据权利要求1所述的一种分布式存储系统,其特征在于,所述内容路由模块用于通过内容路由策略,将用户请求重定向至某些确定的边缘存储模块,使得用户能够快速得到服务。
7.根据权利要求2所述的一种分布式存储系统,其特征在于,
当信号指令为数据存储指令时,用户先通过终端将数据手动或自动上传至边缘存储模块,边缘存储模块生成数据存放目录列表,并将数据存储至边缘存储模块内对应该用户的用户数据存储空间,当用户对应的用户数据存储空间存满时,分布式存储系统根据边缘存储模块的基本信息将数据存储在具有闲置的用户数据存储空间的边缘存储模块中;
当信号指令为内容检索时,分布式存储系统根据内容检索数据存放目录列表,检索出对应的数据存储的边缘存储模块,再将该边缘存储模块内的数据发送至前述发出指令用户对应的边缘存储模块,再由用户对应的边缘存储模块将数据发送至用户。
8.一种分布式存储方法,其特征在于,实现用户数据存储功能,具体步骤如下:
步骤101,当用户终端与边缘存储模块位于同一网络时,用户终端向边缘存储模块申请注册;
步骤102,边缘存储模块通过校验注册表后,边缘存储模块更新注册表,根据注册表为每个用户终端建立对应的数据存放目录;
步骤103,用户终端根据所述目录将数据自动或手动上传到边缘存储模块中用户数据存储空间,并可下载、删除、修改、浏览存储空间中的数据。
9.一种分布式存储方法,其特征在于,实现用户数据存储功能,实现网络热点内容存储功能,具体步骤如下:
步骤201,运营管理模块管理边缘存储模块的基本信息,所述基本信息包括边缘存储模块的网络地址、剩余存储空间、是否在线、自身上传下载带宽的信息,通过分析边缘存储模块的基本信息可用于对边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理;
步骤202,内容管理模块每隔一段时间执行内容副本放置算法和更新内容管理列表,内容管理列表管理存储网络热点内容,所述网络热点内容在进入内容管理模块前进行统一的编码,即所有由边缘存储系统承接的业务都按照预先制定好的规律进行统一的内容ID唯一编码;内容ID由字符串组成,用来表示该路径下的唯一文件标识;
步骤203,每个边缘存储模块执行网络热点内容副本放置后,用户终端可以实现对若干个边缘存储模块中网络热点内容的访问,根据用户终端发出的请求内容的ID,如果在用户所登录的边缘存储模块内容管理模块中的内容列表中找到了所请求的内容,则该边缘存储模块接受内容请求;根据用户IP地址,最终将请求内容返回用户;当用户请求热点内容未存储于其登录的边缘存储模块时,该边缘存储模块向目录服务器发起访问申请;
步骤204,内容路由模块根据目录服务器提供的内容定位及内容路由策略决策选择一个最佳的边缘存储模块为用户提供内容服务,并向用户登录的边缘存储模块返回存储请求内容的指令,最终由内容管理模块处理指令;所存储的内容存储在网络热点内容存储空间中,同时内容管理模块更新内容列表。
10.一种分布式存储方法,其特征在于,实现用户数据存储功能,实现基于联盟链的数据共享存储功能,具体步骤如下:
步骤301,运营管理模块管理边缘存储模块的基本信息,所述基本信息包括边缘存储模块的注册、注销、网络地址、存储空间、剩余存储空间、是否在线、自身上传下载带宽信息;通过分析边缘存储模块的基本信息可用于对分布式存储系统内边缘存储模块分布情况、网络拓扑、网络设备和链路监控进行管理;
步骤302,内容管理模块把数据切割成大小相同或不同的片段,同时为每个片段进行统一的内容ID编码,并将数据依次存储在有闲置数据共享存储空间的边缘存储模块中;
步骤303,存储交易:在有闲置数据共享存储空间的边缘存储模块存储数据时将存储需要的费用冻结在联盟链上,并获取一个冻结相数额的证明,同时目录服务器获取该数据分段及证明;
步骤304,有闲置数据共享存储空间的边缘存储模块每提供部分时间的缓存空间,目录服务器则授权联盟链将冻结金额的一部分转给所述边缘存储模块,如果不授权转给提供闲置数据共享存储空间的边缘存储模块,那么所述边缘存储模块将会暂停提供闲置数据共享存储空间;
步骤305,检索交易:用户通过用户终端对上传到数据共享存储空间中的资源进行下载,内容路由模块根据路由策略及目录服务器提供每个内容片段ID定位返回用户终端,用户根据内容定位,把每个内容片段ID拼接在一起并与整个内容ID进行校验;同时,将下载数据需要的费用冻结在联盟链上,并获取一个冻结相数额的证明,并将该证明返回目录服务器;
步骤306,用户通过用户终端每下载部分时间的资源,目录服务器则授权联盟链将冻结金额的一部分转给提供下载资源的边缘存储模块,如果不授权转给提供下载资源的边缘存储模块,那么提供下载资源的边缘存储模块将会暂停提供缓存空间。
CN202110784489.6A 2021-07-12 2021-07-12 一种分布式储存方法及其系统 Pending CN113641754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110784489.6A CN113641754A (zh) 2021-07-12 2021-07-12 一种分布式储存方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110784489.6A CN113641754A (zh) 2021-07-12 2021-07-12 一种分布式储存方法及其系统

Publications (1)

Publication Number Publication Date
CN113641754A true CN113641754A (zh) 2021-11-12

Family

ID=78417138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110784489.6A Pending CN113641754A (zh) 2021-07-12 2021-07-12 一种分布式储存方法及其系统

Country Status (1)

Country Link
CN (1) CN113641754A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320410A (zh) * 2014-11-11 2015-01-28 南京优速网络科技有限公司 基于http的全业务cdn系统及其工作方法
CN104883393A (zh) * 2015-04-28 2015-09-02 深圳市美贝壳科技有限公司 家庭云存储方法
CN105681387A (zh) * 2015-11-26 2016-06-15 乐视云计算有限公司 一种直播视频的上传方法、装置及系统
CN111338906A (zh) * 2020-03-06 2020-06-26 清华大学 终端设备、边缘节点及基于区块链的应用监管方法和系统
CN112235345A (zh) * 2020-09-08 2021-01-15 国网河北省电力有限公司雄安新区供电公司 一种内容分发网络主动式缓存交付方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320410A (zh) * 2014-11-11 2015-01-28 南京优速网络科技有限公司 基于http的全业务cdn系统及其工作方法
CN104883393A (zh) * 2015-04-28 2015-09-02 深圳市美贝壳科技有限公司 家庭云存储方法
CN105681387A (zh) * 2015-11-26 2016-06-15 乐视云计算有限公司 一种直播视频的上传方法、装置及系统
CN111338906A (zh) * 2020-03-06 2020-06-26 清华大学 终端设备、边缘节点及基于区块链的应用监管方法和系统
CN112235345A (zh) * 2020-09-08 2021-01-15 国网河北省电力有限公司雄安新区供电公司 一种内容分发网络主动式缓存交付方法及系统

Similar Documents

Publication Publication Date Title
CN110336843B (zh) 一种用于众包的内容分发方法、中心节点及边缘节点
US7359955B2 (en) Metadata enabled push-pull model for efficient low-latency video-content distribution over a network
US9705951B2 (en) Method and apparatus for instant playback of a movie
US10148716B1 (en) Dynamic generation of video manifest files
KR100994948B1 (ko) 디지털 콘텐트 파일을 분배하는 방법 및 디지털 콘텐트 분배 시스템
US9270775B2 (en) Content engine for mobile communications systems
US20020162109A1 (en) Distributed storage on a P2P network architecture
US20070250880A1 (en) Peer-to-peer video on demand techniques
JP2004513411A (ja) コンテンツ交換装置
JP2004501556A (ja) 選択的ルーティング
WO2003026220A1 (en) Parallel information delivery method based on peer-to-peer enabled distributed computing technology and the system thereof
WO2009068952A2 (en) Method, network, and node for distributing electronic content in a content distribution network
KR20030060777A (ko) 뷰어 오브젝트 프록시
KR101634215B1 (ko) 피어-투-피어 네트워크에서의 타겟 광고
US20070140140A1 (en) System and apparatus for distributing data over a network
WO2009087549A2 (en) Multimedia content prefetching engine
KR20030022805A (ko) 콘텐트 추적
CN113641754A (zh) 一种分布式储存方法及其系统
Zhang et al. Video on-demand streaming on the internet—a survey
Liang et al. Adjustable two-tier cache for IPTV based on segmented streaming
KR20030022804A (ko) 콘텐트 매니저
CN101150713A (zh) 视频点播系统及通过该系统实现视频点播的方法
EP2287800A1 (en) Systems and methods for advertisement and content distribution
Naor et al. Content Placement for Video-on-Demand Services Over Cellular Networks
Okada et al. A Color-Based Cooperative Caching Strategy for Time-Shifted Live Video Streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination