CN111597259A - 数据存储系统、方法、装置、电子设备及存储介质 - Google Patents
数据存储系统、方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111597259A CN111597259A CN202010395476.5A CN202010395476A CN111597259A CN 111597259 A CN111597259 A CN 111597259A CN 202010395476 A CN202010395476 A CN 202010395476A CN 111597259 A CN111597259 A CN 111597259A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- stored
- edge node
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000005192 partition Methods 0.000 claims abstract description 149
- 238000004891 communication Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据存储系统、方法、装置、电子设备及存储介质，涉及计算机技术领域，各分布式存储分区分别包括至少两个边缘节点，其中，各边缘节点分别包括缓存区和存储区，存储区用于存储；其中，针对任一分布式存储分区，各边缘节点建立通信连接，以使得用户在缓存区查询不到数据时，可以从同一分布式存储分区的存储区查询数据，通过利用分布式存储分区将各边缘节点进行全局管理，使得各边缘节点的存储区可用于存储数据，以此提高资源的利用率，而且各边缘节点的存储区存储数据后，当从边缘节点的缓存中查找不到数据时，可从各边缘节点的存储区直接获取数据，无需再从全局数据库获取数据，以此可减少回源带宽。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及数据存储系统、方法、装置、电子设备及存储介质。
背景技术
在CDN(Content Delivery Network，内容分发网络)架构中，将源站内容分发至最接近用户的边缘节点，边缘节点指在靠近用户的网络边缘侧构建的业务平台，将部分关键业务应用下沉到接入网络边缘，以减少网络传输和多级转发带来的宽度和时延损耗，边缘节点用于缓存数据，当用户查询数据时，可先通过查询边缘节点是否存在缓存有用户查询的数据，当边缘节点缓存有用户查询的数据时，直接从边缘节点获取用户查询的数据；当边缘节点没有缓存用户查询的数据时，则需要去源站调用用户查询的数据。
但是，随着内容资源的更新越来越快，同时随着编码技术的发展，可能需要对内容资源中的历史内容进行批量转码，会造成内容资源的倍增，从而使得边缘节点需要缓存的内容更新周期变短，边缘节点缓存的都是热度比较高的内容，在边缘节点的缓存内容更新后，用户需要获取历史内容时，用户只能从源站获取内容，而CDN架构中，边缘节点数量众多，导致存储资源的利用率不高。
发明内容
本发明实施例的目的在于提供一种数据存储系统、方法、装置、电子设备及存储介质，以实现解决现有技术中存储资源的利用率不高的问题。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种数据存储系统，所述系统包括：
中控服务器、全局数据库、多个分布式存储分区；
所述全局数据库用于存储全量数据；
各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；
所述中控服务器用于针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，并向各边缘节点的存储区下发表示其待存储数据的存储命令；
所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
可选的，所述系统包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述中控服务器具体用于：
从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；
根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
可选的，所述数据信息还包括查询数据的频率，所述中控服务器具体用于：
从所述全量数据中获取查询频率大于第一预设查询频率阈值的数据作为待存储数据。
可选的，各所述分布式存储分区分别包括区域数据索引库，所述区域数据索引库用于存储对应的分布式存储分区中各边缘节点的存储区存储的数据的各索引信息。
可选的，所述系统还包括调度器，所述调度器用于：
获取用户端针对目标数据的访问请求，所述访问请求包括所述目标数据的标识；
根据所述目标数据的标识，当确定所述边缘节点的缓存区中不存在所述目标数据时，从所述区域数据索引库中获取所述目标数据的索引信息；
将所述目标数据的索引信息发送至用户端，以使存储所述目标数据的边缘节点的存储区在接收到用户端针对所述目标数据的访问请求时，将所述目标数据发送至所述用户端。
可选的，所述数据信息还包括数据的查询频率，所述中控服务器还用于：
从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
在本发明实施的第二方面，提供了一种数据存储方法，应用于数据存储系统，所述数据存储系统包括：中控服务器、全局数据库、多个分布式存储分区；所述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；所述方法包括：
所述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，并向各边缘节点的存储区下发表示其待存储数据的存储命令；
所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
可选的，所述数据存储系统还包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，包括：
所述中控服务器从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
可选的，各所述分布式存储分区分别包括区域数据索引库，所述区域数据索引库用于存储对应的分布式存储分区中各边缘节点的存储区存储的数据的各索引信息。
可选的，所述数据存储系统还包括还包括调度器，所述方法还包括：
所述调度器获取用户端针对目标数据的访问请求，所述访问请求包括所述目标数据的标识；根据所述目标数据的标识，当确定所述边缘节点的缓存区中不存在所述目标数据时，从所述区域数据索引库中获取所述目标数据的索引信息；将所述目标数据的索引信息发送至用户端，以使存储所述目标数据的边缘节点的存储区在接收到用户端针对所述目标数据的访问请求时，将所述目标数据发送至所述用户端。
可选的，所述数据信息还包括数据的查询频率，在所述各边缘节点的存储区当接收到的存储命令时，按照所述接收到的存储命令分别从所述全局数据库中下载并存储相应的数据的步骤之后，所述方法还包括：
从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
在本发明实施的又一方面，还提供了一种数据存储方法，应用于中控服务器，所述中控服务器应用于数据存储系统，所述数据存储系统还包括全局数据库、多个分布式存储分区，所述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；所述方法包括：
针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
向各边缘节点的存储区下发表示其待存储数据的存储命令，以使所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
可选的，所述数据存储系统还包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，包括：
所述中控服务器从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
可选的，所述数据信息还包括数据的查询频率，在所述各边缘节点的存储区当接收到的存储命令时，按照所述接收到的存储命令分别从所述全局数据库中下载并存储相应的数据的步骤之后，所述方法还包括：
从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
在本发明实施的又一方面，还提供了一种数据存储装置，应用于中控服务器，所述中控服务器应用于数据存储系统，所述数据存储系统还包括全局数据库、多个分布式存储分区，所述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；所述装置包括：
确定模块，用于针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
下发模块，用于向各边缘节点的存储区下发表示其待存储数据的存储命令，以使所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
可选的，所述数据存储系统还包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述确定模块具体用于：
所述中控服务器从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
可选的，所述数据信息还包括数据的查询频率，所述装置还包括：
删除模块，用于从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第三方面任一所述的数据存储方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第三方面任一所述的数据存储方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第三方面任一所述的数据存储方法。
本发明实施例提供的数据存储系统、方法、装置、电子设备及存储介质，通过中控服务器针对每个分布式存储分区，分别确定各上述分布式存储分区中的各边缘节点的存储区的待存储数据，并向各上述各边缘节点的存储区下发表示其待存储数据的存储命令；上述各边缘节点的存储区当接收到的存储命令时，按照上述接收到的存储命令从上述全局数据库中下载并存储相应的数据，各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存，上述存储区用于存储；其中，针对任一分布式存储分区，各边缘节点建立通信连接，以使得用户在上述缓存区查询不到数据时，可以从同一分布式存储分区的存储区查询数据，通过利用分布式存储分区将各边缘节点进行全局管理，使得各边缘节点的存储区可用于存储数据，以此提高资源的利用率，而且各边缘节点的存储区存储数据后，当从边缘节点的缓存中查找不到数据时，可从各边缘节点的存储区直接获取数据，无需再从全局数据库获取数据，以此可减少回源带宽。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例的数据存储系统的第一种示意图；
图1b为本申请实施例的数据存储系统的第二种示意图；
图1c为本申请实施例的数据存储系统的第三种示意图；
图1d为本申请实施例的数据存储系统的第四种示意图；
图2为本申请实施例的应用于数据存储系统的数据存储方法的一种示意图；
图3为本申请实施例的应用于中控服务器的数据存储方法的一种示意图；
图4为本申请实施例的数据存储装置的一种示意图；
图5为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中解决现有技术中存储资源的利用率不高的问题，提高资源的利用率，本申请公开了一种数据存储系统，上述系统包括：
中控服务器、全局数据库、多个分布式存储分区；
上述全局数据库用于存储全量数据；
各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存上述全量数据中的部分数据，上述存储区用于存储上述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；
上述中控服务器用于针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，并向各边缘节点的存储区下发表示其待存储数据的存储命令；
上述边缘节点用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
通过中控服务器针对每个分布式存储分区，分别确定各上述分布式存储分区中的各边缘节点的存储区的待存储数据，并向各上述各边缘节点的存储区下发表示其待存储数据的存储命令；上述各边缘节点的存储区当接收到的存储命令时，按照上述接收到的存储命令从上述全局数据库中下载并存储相应的数据，各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存，上述存储区用于存储；其中，针对任一分布式存储分区，各边缘节点建立通信连接，以使得用户在上述缓存区查询不到数据时，可以从同一分布式存储分区的存储区查询数据，通过利用分布式存储分区将各边缘节点进行全局管理，使得各边缘节点的存储区可用于存储数据，以此提高资源的利用率，而且各边缘节点的存储区存储数据后，当从边缘节点的缓存中查找不到数据时，可从各边缘节点的存储区直接获取数据，无需再从全局数据库获取数据，以此可减少回源带宽。
本申请实施例提供了数据存储系统，参见图1a，图1a为本申请实施例的数据存储系统的第一种示意图，包括：
中控服务器110、全局数据库120、多个分布式存储分区130；
上述全局数据库120用于存储全量数据；
各分布式存储分区130分别包括至少两个边缘节点131，其中，各上述边缘节点分别包括缓存区1311和存储区1312，上述缓存区1311用于缓存上述全量数据中的部分数据，上述存储区1312用于存储上述全量数据中的部分数据；其中，同一分布式存储分区130中的各边缘节点131的存储区1312组成一个分布式存储系统；
上述中控服务器110用于针对任一分布式存储分区130，分别确定存储在各边缘节点131的存储区1312的待存储数据，并向各边缘节点131的存储区1312下发表示其待存储数据的存储命令；
上述边缘节点131用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
因为在CDN的架构中，存有多个边缘节点，可根据预设划分规则将CDN架构中的各边缘节点划分为多个分布式存储分区130，使得各分布式存储分区130分别包括至少两个边缘节点131，其中，上述预设划分规则可以为根据地区、运营商网络环境、用户数量、数据类型等条件划分的规则。
例如，某视频网站的CDN架构中，在中国各个省、区、直辖市均设置有边缘节点，则可根据中国七大地理分区将各个省的边缘节点进行划分，将中国境内的边缘节点化为为东北分布式存储分区、华北分布式存储分区、华东分布式存储分区、华中分布式存储分区、华南分布式存储分区、西北分布式存储分区、西南分布式存储分区；具体的，将河南省的边缘节点、湖北省的边缘节点和湖南省的边缘节点划分为华中分布式存储分区，即，华中分布式存储分区包括河南省的边缘节点、湖北省的边缘节点和湖南省的边缘节点。当然，也可以根据运营商网络环境对各边缘节点划分为多个分布式存储分区130，或者根据各地区的用户数量对边缘节点进行划分，也可根据数据类型对边缘节点进行划分，具体在此不再赘述。使得分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点131分别包括缓存区1311和存储区1312，上述缓存区1311用于缓存，上述存储区1312用于存储，其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统，具体的，因为各边缘节点的存储区用于存储，则可以为同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统，参见图1b，图1b为本申请实施例的数据存储系统的第二种示意图，其中，针对任一分布式存储系统，各边缘节点131的存储区1312建立通信连接，以使得用户在上述缓存区1311查询不到数据时，可以从同一分布式存储分区的存储区1312查询数据。
在现有技术中，边缘节点131作为靠近用户的网络边缘侧构建的业务平台，仅仅用于缓存数据，因为边缘节点缓存的数据由所属边缘节点上的存储资源管理的程序进行控制，保证不超过整体存储资源的预设比例，例如90％，所以，边缘节点只能缓存当下的热门数据，而次热门数据则因为所属边缘节点上的存储资源管理的程序的控制，使得在边缘节点上不能得以缓存，当用户查询次热门数据的时候，只能从全局数据库120中进行获取，其中，上述热门数据为上述全量数据中查询频率大于第一预设值的数据，上述次热门数据为上述全量数据中查询频率不大于第一预设值的数据。
在本申请实施例提供了数据存储系统中，将边缘节点131分为缓存区1311和存储区1312，即，从边缘节点131中的存储资源中，划分出部分存储资源用于存储，例如，预留边缘节点131中的存储资源5％的资源作为存储区，以用于存储，具体的将边缘节点131中多少百分比的容量可根据实际需要进行设定，在此不再详细赘述，其中用于存储的存储资源为存储区1312，其余的存储资源依旧用于缓存。即，缓存区1311缓存热门数据，缓存区1311缓存的数据依旧由所属边缘节点上的存储资源管理的程序控制，存储区1312则可以存储有全量数据中的次热门数据，当然，在存储区1312存储资源足够的情况下，同一分布式存储分区中存储区1312可以存储全量数据，而存储区1312中存储的数据有中控服务器110控制，中控服务器110控制存储区1312中存储的数据的占比不超过所属边缘节点131的预设百分比阈值，例如，预设百分比阈值可以为10％，当中控服务器110控制存储区1312中存储的数据的占比达到所属边缘节点131的预设百分比阈值时，按照预设更新规则，将上述存储区1312中存储的数据进行更新。
上述中控服务器110用于针对每个分布式存储分区130，分别确定存储在各上述分布式存储分区130中的各边缘节点131的存储区1312的待存储数据，具体的，上述中控服务器110从上述全量数据中获取需要存储的待存储数据，待存储数据有多个，根据各待存储数据的大小和同一分布式存储分区130中各边缘节点131的存储区1312的容量大小，分别确定各边缘节点的131存储区1312的待存储数据。例如，华中分布式存储分区130包括河南省的边缘节点、湖北省的边缘节点和湖南省的边缘节点，则中控服务器110用于针对华中分布式存储分区130，分别确定存储在河南省的边缘节点的存储区、湖北省的边缘节点的存储区和湖南省的边缘节点的存储区的待存储数据。例如，中控服务器110确定要存储10个视频，则，中控服务器110根据10个视频的大小，以及河南省的边缘节点的存储区、湖北省的边缘节点的存储区和湖南省的边缘节点的存储区的大小，确定河南省的边缘节点的存储区存储视频1-视频4，湖北省的边缘节点的存储区存储视频5-视频7，湖南省的边缘节点的存储区存储视频8-视频10，使得华中分布式存储分区130中的边缘节点的存储区将待存储数据存储完。其中，针对任一分布式存储分区，各边缘节点建立通信连接，以使得用户在上述缓存区查询不到数据时，可以从同一分布式存储分区的存储区查询数据。
可选的，为了节约存储资源，针对任一分布式存储分区，存储在各边缘节点的存储区的待存储数据各不相同，以使得各分布式存储分区可以存储更多的数据，在一种可能的实施方式中，针对任一分布式存储分区，同一分布式存储分区中存储了上述全量数据，各边缘节点的存储区分别存储了上述全量数据的不同数据。
当用户查询数据时，优先通过查询边缘节点的缓存区是否存在缓存有用户查询的数据，当边缘节点缓存区有用户查询的数据时，直接从边缘节点的缓存区获取用户查询的数据，以此减少网络传输和多级转发带来的宽度和时延损耗，当用于缓存的边缘节点的缓存区没有缓存用户查询的数据时，通过查询所属分布式存储分区130中的各边缘节点的存储区1312，从各边缘节点的存储区1312中获取所查询的数据，无需从全局数据库120中获取数据，不仅减少网络传输和多级转发带来的宽度和时延损耗，降低成本，也可以有效利用边缘节点的存储资源，提高资源利用率。
通过中控服务器针对每个分布式存储分区，分别确定各上述分布式存储分区中的各个边缘节点的存储区的待存储数据，并向各上述各边缘节点的存储区下发表示其待存储数据的存储命令；上述各边缘节点的存储区当接收到的存储命令时，按照上述接收到的存储命令从上述全局数据库中下载并存储相应的数据，各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存，上述存储区用于存储；其中，针对任一分布式存储分区，各边缘节点建立通信连接，以使得用户在上述缓存区查询不到数据时，可以从同一分布式存储分区的存储区查询数据，通过利用分布式存储分区将各边缘节点进行全局管理，使得各边缘节点的存储区可用于存储数据，以此提高资源的利用率，而且各边缘节点的存储区存储数据后，可通过各边缘节点的存储区提供数据，即，当从边缘节点的缓存中查找不到数据时，可从各边缘节点的存储区直接获取数据，无需再从全局数据库获取数据，以此可减少回源带宽。
在一种可能的实施方式中，上述系统还包括预设全量数据库，上述预设全量数据库用于存储上述全量数据的数据信息，上述数据信息包括数据的大小，上述中控服务器110具体用于：
从上述全量数据中获取需要存储的待存储数据，上述待存储数据有多个；
根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
预设全量数据库用于存储上述全量数据的数据信息，其中，上述数据信息具体可包括数据的标识，数据的大小，以及数据的查询次数，数据的查询频率等等，上述中控服务器110从上述全量数据中获取需要存储的待存储数据，上述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
在一种可能的实施方式中，上述数据信息还包括数据的查询频率，上述中控服务器具体用于：
从上述全量数据中获取查询频率大于第一预设查询频率阈值的数据作为待存储数据。例如，在全量数据中，将查询频率大于1分钟每1次的数据，作为待存储数据，中控服务器110根据待存储数据中各待存储数据的大小，以及针对任一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。以使得用户在上述缓存区查询不到数据时，可以从同一分布式存储分区的存储区查询数据。
例如，数据为视频，则在某一视频网站的全局数据库存储该视频网站所有的视频，在预设全量数据库存储全部视频的数据信息，其中，数据信息可包括视频的名称，视频的大小，视频的查询次数，视频的播放量，视频的时长，视频的查询频率，视频中的人物，更进一步的，数据信息可包括根据视频的播放量计算得到的视频的热度，根据视频的播放量得到的视频在整个视频网站的播放排名等信息。
中控服务器110根据所有视频的数据信息，从全局数据库存储的该视频网站所有的视频中获取需要存储的视频，例如，视频A是排名101位的视频，而边缘节点的缓存区只能缓存排名前100位的视频，即，排名前100为的视频是热门视频，而视频A是次热门数据，则中控服务器110根据预设全量数据库存储全部视频的数据信息中存储的视频的排名，获取排名1-排名500的视频，然后根据各视频的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
当然，为了节约存储空间，也可只获取排名101-排名500的视频，然后根据各视频的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。例如，河南省的边缘节点的存储区容量较大，河南省的边缘节点的存储区容量较小，则河南省的边缘节点的存储区存储排名101-排名300的视频、湖北省的边缘节点的存储区存储排名301-排名500的视频，湖南省的边缘节点的存储区存储排名401-排名500的视频；当然，因为在实际应用中，全量数据的大小远小于分布式存储分区中边缘节点的容量大小，在同一分布式存储系统中，可根据分布式存储系统中各边缘节点的存储区的大小，存储尽可能多的数据，或者同一分布式存储系统中可存储全量数据。
参见图1c，图1c为本申请实施例的数据存储系统的第三种示意图，在一种可能的实施方式中，各上述分布式存储分区130分别包括区域数据索引库140，上述区域数据索引库140用于存储对应的分布式存储分区130中各边缘节点的存储区1312存储的数据的各索引信息。
各上述分布式存储分区130分别包括区域数据索引库140，上述区域数据索引库140用于存储对应的分布式存储分区130中各边缘节点的存储区1312存储的数据的各索引信息，例如华中分布式存储分区对应的包含华中区域数据索引库140，华中区域数据索引库140用于存储华中区域数据索引库140中各边缘节点的存储区1312存储的数据的各索引信息，华南分布式存储分区对应的包含华南区域数据索引库140，华南区域数据索引库140用于存储华南区域数据索引库140中各边缘节点的存储区1312存储的数据的各索引信息。
在一种可能的实施方式中，上述系统还包括调度器150，上述调度器150用于：
获取用户端160针对目标数据的访问请求，上述访问请求包括上述目标数据的标识；
根据上述目标数据的标识，当确定上述边缘节点的缓存区1311中不存在上述目标数据时，从上述区域数据索引库140中获取上述目标数据的索引信息；
将上述目标数据的索引信息发送至用户端160，以使存储上述目标数据的边缘节点的存储区1312在接收到用户端160针对上述目标数据的访问请求时，将上述目标数据发送至上述用户端160。
用户可通过用户端160向调度器发送针对目标数据的访问请求，例如，用户通过用户端160向调度器发送视频URI(Uniform Resource Identifier，通用资源标志符)，以请求视频播放地址，调度器收到用户端160针对目标数据的访问请求后，根据上述目标数据的标识，先从用户缓存的边缘节点查询，当上述用户边缘节点的缓存区1311中存在上述目标数据时，则可通过边缘节点的缓存区1311缓存的数据地址直接向用户端160返回地址，若当上述用户边缘节点的缓存区1311中不存在上述目标数据时，从上述区域数据索引库140中获取上述目标数据的存储地址，调度器将上述存储地址发送至用户端160，以使上述各边缘节点的存储区1312在接收到用户端160针对上述存储地址的访问请求时，上述各边缘节点的存储区1312将上述目标数据发送至上述用户端160。通过利用分布式存储分区130将各边缘节点进行全局管理，使得各边缘节点的存储区可用于存储数据，以此提高资源的利用率，而且各边缘节点的存储区存储数据后，当从边缘节点的缓存中查找不到数据时，可从各边缘节点的存储区直接获取数据，无需再从全局数据库获取数据，提高用户访问的命中率，以此可减少回源带宽。
参见图1d，图1d为本申请实施例的数据存储系统的第四种示意图，预设全量数据库100用于存储上述全量数据的数据信息，上述中控服务器110根据上述预设全量数据库100存储上述全量数据的数据信息，从上述全量数据中获取需要存储的待存储数据，根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。上述中控服务器110向各边缘节点131的存储区1312下发表示其待存储数据的存储命令；上述边缘节点131用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
用户通过用户端160向调度器150发送针对目标数据的访问请求，例如，用户通过用户端160向调度器150发送视频URI，以请求视频播放地址，调度器150收到用户端160针对目标数据的访问请求后，根据上述目标数据的标识，先从用户缓存的边缘节点查询，当上述用户边缘节点的缓存区1311中存在上述目标数据时，则可通过边缘节点的缓存区1311缓存的数据地址直接向用户端160返回地址，若当上述用户边缘节点的缓存区1311中不存在上述目标数据时，从上述区域数据索引库140中获取上述目标数据的存储地址，调度器150将上述存储地址发送至用户端160，以使上述各边缘节点的存储区1312在接收到用户端160针对上述存储地址的访问请求时，上述各边缘节点的存储区1312将上述目标数据发送至上述用户端160。通过利用分布式存储分区130将各边缘节点进行全局管理，使得各边缘节点的存储区可用于存储数据，以此提高资源的利用率，而且各边缘节点的存储区存储数据后，当从边缘节点的缓存中查找不到数据时，可从同一分布式存储区中的各边缘节点的存储区直接获取数据，无需再从全局数据库获取数据，提高用户访问的命中率，以此可减少回源带宽。
在一种可能的实施方式中，上述数据信息还包括数据的查询频率，上述中控服务器110还用于：
从上述预设全量数据库中获取各上述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于上述预设阈值的数据从相应的边缘节点的存储区删除。
上述各边缘节点的存储区1312用于当接收到的存储命令时，按照上述接收到的存储命令从上述全局数据库120中下载并存储相应的数据后，中控服务器110可按照预设时间周期从上述数据全量索引库中获取各上述各边缘节点的存储区1312中存储的数据的热度值，当数据的热度值小于预设热度阈值时，将热度值小于预设热度阈值的数据从上述各边缘节点的存储区1312删除。以此更新各边缘节点的存储区中存储的数据内容。
在一种可能的实施方式中，上述各边缘节点的存储区1312用于当接收到的存储命令时，按照上述接收到的存储命令从上述全局数据库120中下载并存储相应的数据后，当上述各边缘节点的存储区1312故障时，根据所属分布式存储分区中其他边缘节点的存储容量，从上述分布式存储分区中其他边缘节点中确定更新后的各边缘节点的存储区，并将上述各边缘节点的存储区存储的目标数据迁移至上述更新后的各边缘节点的存储区，在将上述目标数据迁移成功后，更新上述目标数据的索引信息，以使在接收到用户针对上述目标数据的访问请求时，通过上述更新后的目标数据的索引信息获取上述目标数据。
本申请实施例提供了数据存储方法，应用于数据存储系统，上述数据存储系统包括：中控服务器、全局数据库、多个分布式存储分区；上述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存上述全量数据中的部分数据，上述存储区用于存储上述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；参见图2，图2为本申请实施例的应用于数据存储系统的数据存储方法的一种示意图，上述方法包括：
步骤210，上述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，并向各边缘节点的存储区下发表示其待存储数据的存储命令；
步骤220，上述边缘节点用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
在一种可能的实施方式中，上述数据存储系统还包括预设全量数据库，上述预设全量数据库用于存储上述全量数据的数据信息，上述数据信息包括数据的大小，上述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，包括：
上述中控服务器从上述全量数据中获取需要存储的待存储数据，上述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
在一种可能的实施方式中，各上述分布式存储分区分别包括区域数据索引库，上述区域数据索引库用于存储对应的分布式存储分区中各边缘节点的存储区存储的数据的各索引信息。
在一种可能的实施方式中，上述数据存储系统还包括调度器，上述方法还包括：
上述调度器获取用户端针对目标数据的访问请求，上述访问请求包括上述目标数据的标识；根据上述目标数据的标识，当确定上述边缘节点的缓存区中不存在上述目标数据时，从上述区域数据索引库中获取上述目标数据的索引信息；将上述目标数据的索引信息发送至用户端，以使存储上述目标数据的边缘节点的存储区在接收到用户端针对上述目标数据的访问请求时，将上述目标数据发送至上述用户端。
在一种可能的实施方式中，上述数据信息还包括数据的查询频率，在上述各边缘节点的存储区当接收到的存储命令时，按照上述接收到的存储命令分别从上述全局数据库中下载并存储相应的数据的步骤之后，上述方法还包括：
从上述预设全量数据库中获取各上述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于上述预设阈值的数据从相应的边缘节点的存储区删除。
关于上述实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例提供了数据存储方法，应用于中控服务器，上述中控服务器应用于数据存储系统，上述数据存储系统还包括全局数据库、多个分布式存储分区，上述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存上述全量数据中的部分数据，上述存储区用于存储上述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；参见图3，图3为本申请实施例的应用于中控服务器的数据存储方法的一种示意图，上述方法包括：
步骤310，针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
步骤320，向各边缘节点的存储区下发表示其待存储数据的存储命令，以使上述边缘节点用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
在一种可能的实施方式中，上述数据存储系统还包括预设全量数据库，上述预设全量数据库用于存储上述全量数据的数据信息，上述数据信息包括数据的大小，上述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，包括：
上述中控服务器从上述全量数据中获取需要存储的待存储数据，上述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
在一种可能的实施方式中，上述数据信息还包括数据的查询频率，在上述各边缘节点的存储区当接收到的存储命令时，按照上述接收到的存储命令分别从上述全局数据库中下载并存储相应的数据的步骤之后，上述方法还包括：
从上述预设全量数据库中获取各上述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于上述预设阈值的数据从相应的边缘节点的存储区删除。
关于上述实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例还提供了一种装置，参见图4，图4为本申请实施例的数据存储装置的一种示意图，应用于中控服务器，上述中控服务器应用于数据存储系统，上述数据存储系统还包括全局数据库、多个分布式存储分区，上述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各上述边缘节点分别包括缓存区和存储区，上述缓存区用于缓存上述全量数据中的部分数据，上述存储区用于存储上述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；上述装置包括：
确定模块410，用于针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
下发模块420，用于向各边缘节点的存储区下发表示其待存储数据的存储命令，以使上述边缘节点用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
在一种可能的实施方式中，上述数据存储系统还包括预设全量数据库，上述预设全量数据库用于存储上述全量数据的数据信息，上述数据信息包括数据的大小，上述确定模块410具体用于：
上述中控服务器从上述全量数据中获取需要存储的待存储数据，上述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
在一种可能的实施方式中，上述数据信息还包括数据的查询频率，上述装置还包括：
删除模块，用于从上述预设全量数据库中获取各上述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于上述预设阈值的数据从相应的边缘节点的存储区删除。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种电子设备，如图5所示，图5为本申请实施例的电子设备的一种示意图，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
向各边缘节点的存储区下发表示其待存储数据的存储命令，以使上述边缘节点用于当接收到的存储命令时，按照上述存储命令从上述全局数据库中下载并存储上述存储命令表示的待存储数据。
可选的，处理器501，用于执行存储器503上所存放的程序时，还可以实现上述任一应用于中控服务器的数据存储方法。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的应用于数据存储系统的数据存储方法。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的应用于中控服务器的数据存储方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的应用于数据存储系统的数据存储方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的应用于中控服务器的数据存储方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本发明实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器110或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器110或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器110、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上上述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (19)
1.一种数据存储系统，其特征在于，所述系统包括：
中控服务器、全局数据库、多个分布式存储分区；
所述全局数据库用于存储全量数据；
各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；
所述中控服务器用于针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，并向各边缘节点的存储区下发表示其待存储数据的存储命令；
所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
2.根据权利要求1所述的系统，其特征在于，所述系统包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述中控服务器具体用于：
从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；
根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
3.根据权利要求2所述的系统，其特征在于，所述数据信息还包括数据的查询频率，所述中控服务器具体用于：
从所述全量数据中获取查询频率大于第一预设查询频率阈值的数据作为待存储数据。
4.根据权利要求2所述的系统，其特征在于，所述数据信息还包括数据的查询频率，所述中控服务器还用于：
从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
5.根据权利要求1-4任一项所述的系统，其特征在于，各所述分布式存储分区分别包括区域数据索引库，所述区域数据索引库用于存储对应的分布式存储分区中各边缘节点的存储区存储的数据的各索引信息。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括调度器，所述调度器用于：
获取用户端针对目标数据的访问请求，所述访问请求包括所述目标数据的标识；
根据所述目标数据的标识，当确定所述边缘节点的缓存区中不存在所述目标数据时，从所述区域数据索引库中获取所述目标数据的索引信息；
将所述目标数据的索引信息发送至用户端，以使存储所述目标数据的边缘节点的存储区在接收到用户端针对所述目标数据的访问请求时，将所述目标数据发送至所述用户端。
7.一种数据存储方法，其特征在于，应用于数据存储系统，所述数据存储系统包括：中控服务器、全局数据库、多个分布式存储分区；所述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；所述方法包括：
所述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，并向各边缘节点的存储区下发表示其待存储数据的存储命令；
所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
8.根据权利要求7所述的方法，其特征在于，所述数据存储系统还包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，包括：
所述中控服务器从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
9.根据权利要求7所述的方法，其特征在于，各所述分布式存储分区分别包括区域数据索引库，所述区域数据索引库用于存储对应的分布式存储分区中各边缘节点的存储区存储的数据的各索引信息。
10.根据权利要求9所述的方法，其特征在于，所述数据存储系统还包括调度器，所述方法还包括：
所述调度器获取用户端针对目标数据的访问请求，所述访问请求包括所述目标数据的标识；根据所述目标数据的标识，当确定所述边缘节点的缓存区中不存在所述目标数据时，从所述区域数据索引库中获取所述目标数据的索引信息；将所述目标数据的索引信息发送至用户端，以使存储所述目标数据的边缘节点的存储区在接收到用户端针对所述目标数据的访问请求时，将所述目标数据发送至所述用户端。
11.根据权利要求8所述的方法，其特征在于，所述数据信息还包括数据的查询频率，在所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据的步骤之后，所述方法还包括：
从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
12.一种数据存储方法，其特征在于，应用于中控服务器，所述中控服务器应用于数据存储系统，所述数据存储系统还包括全局数据库、多个分布式存储分区，所述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；所述方法包括：
针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
向各边缘节点的存储区下发表示其待存储数据的存储命令，以使所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
13.根据权利要求12所述的方法，其特征在于，所述数据存储系统还包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述中控服务器针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据，包括：
所述中控服务器从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
14.根据权利要求13所述的方法，其特征在于，所述数据信息还包括数据的查询频率，在所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据的步骤之后，所述方法还包括：
从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
15.一种数据存储装置，其特征在于，应用于中控服务器，所述中控服务器应用于数据存储系统，所述数据存储系统还包括全局数据库、多个分布式存储分区，所述全局数据库用于存储全量数据，各分布式存储分区分别包括至少两个边缘节点，其中，各所述边缘节点分别包括缓存区和存储区，所述缓存区用于缓存所述全量数据中的部分数据，所述存储区用于存储所述全量数据中的部分数据；其中，同一分布式存储分区中的各边缘节点的存储区组成一个分布式存储系统；所述装置包括：
确定模块，用于针对任一分布式存储分区，分别确定存储在各边缘节点的存储区的待存储数据；
下发模块，用于向各边缘节点的存储区下发表示其待存储数据的存储命令，以使所述边缘节点用于当接收到的存储命令时，按照所述存储命令从所述全局数据库中下载并存储所述存储命令表示的待存储数据。
16.根据权利要求15所述的装置，其特征在于，所述数据存储系统还包括预设全量数据库，所述预设全量数据库用于存储所述全量数据的数据信息，所述数据信息包括数据的大小，所述确定模块具体用于：
所述中控服务器从所述全量数据中获取需要存储的待存储数据，所述待存储数据有多个；根据各待存储数据的大小和同一分布式存储分区中各边缘节点的存储区的容量大小，分别确定各边缘节点的存储区的待存储数据。
17.根据权利要求16所述的装置，其特征在于，所述数据信息还包括数据的查询频率，所述装置还包括：
删除模块，用于从所述预设全量数据库中获取各所述各边缘节点的存储区中存储的数据的查询频率，当数据的查询频率小于预设阈值时，将查询频率小于所述预设阈值的数据从相应的边缘节点的存储区删除。
18.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求12-14任一所述的方法步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求12-14任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010395476.5A CN111597259B (zh) | 2020-05-12 | 2020-05-12 | 数据存储系统、方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010395476.5A CN111597259B (zh) | 2020-05-12 | 2020-05-12 | 数据存储系统、方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111597259A true CN111597259A (zh) | 2020-08-28 |
| CN111597259B CN111597259B (zh) | 2023-04-28 |
Family
ID=72191977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010395476.5A Active CN111597259B (zh) | 2020-05-12 | 2020-05-12 | 数据存储系统、方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597259B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632129A (zh) * | 2020-12-31 | 2021-04-09 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN113515545A (zh) * | 2021-06-30 | 2021-10-19 | 北京百度网讯科技有限公司 | 数据查询方法、装置、系统、电子设备以及存储介质 |
| CN114201339A (zh) * | 2020-09-17 | 2022-03-18 | Emc Ip控股有限公司 | 边缘数据中心备份 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110307534A1 (en) * | 2009-03-25 | 2011-12-15 | Zte Corporation | Distributed file system supporting data block dispatching and file processing method thereof |
| US20130013729A1 (en) * | 2011-07-07 | 2013-01-10 | International Business Machines Corporation | Multi-level adaptive caching within asset-based web systems |
| CN103312776A (zh) * | 2013-05-08 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 边缘节点服务器缓存视频的内容的方法和装置 |
| CN103927265A (zh) * | 2013-01-04 | 2014-07-16 | 深圳市龙视传媒有限公司 | 一种内容分级存储装置、内容获取方法及内容获取装置 |
| CN106657196A (zh) * | 2015-11-02 | 2017-05-10 | 华为技术有限公司 | 一种缓存内容淘汰方法及缓存装置 |
| CN106936877A (zh) * | 2015-12-31 | 2017-07-07 | 华为软件技术有限公司 | 一种内容分发方法、装置及系统 |
| CN108268209A (zh) * | 2016-12-31 | 2018-07-10 | 深圳市优朋普乐传媒发展有限公司 | 一种cdn系统中的数据存储方法及cdn系统 |
| US20180359334A1 (en) * | 2016-02-16 | 2018-12-13 | Panasonic Corporation | Terminal device, edge server, data delivery system, and delivery control method |
| CN109639801A (zh) * | 2018-12-17 | 2019-04-16 | 深圳市网心科技有限公司 | 数据节点分配及数据获取方法及系统 |
| CN110248210A (zh) * | 2019-05-29 | 2019-09-17 | 上海交通大学 | 视频传输优化方法 |
| CN110677684A (zh) * | 2019-09-30 | 2020-01-10 | 北京奇艺世纪科技有限公司 | 视频处理、视频访问方法及分布式存储、视频访问系统 |
-
2020
- 2020-05-12 CN CN202010395476.5A patent/CN111597259B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110307534A1 (en) * | 2009-03-25 | 2011-12-15 | Zte Corporation | Distributed file system supporting data block dispatching and file processing method thereof |
| US20130013729A1 (en) * | 2011-07-07 | 2013-01-10 | International Business Machines Corporation | Multi-level adaptive caching within asset-based web systems |
| CN103927265A (zh) * | 2013-01-04 | 2014-07-16 | 深圳市龙视传媒有限公司 | 一种内容分级存储装置、内容获取方法及内容获取装置 |
| CN103312776A (zh) * | 2013-05-08 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 边缘节点服务器缓存视频的内容的方法和装置 |
| CN106657196A (zh) * | 2015-11-02 | 2017-05-10 | 华为技术有限公司 | 一种缓存内容淘汰方法及缓存装置 |
| CN106936877A (zh) * | 2015-12-31 | 2017-07-07 | 华为软件技术有限公司 | 一种内容分发方法、装置及系统 |
| US20180359334A1 (en) * | 2016-02-16 | 2018-12-13 | Panasonic Corporation | Terminal device, edge server, data delivery system, and delivery control method |
| CN108268209A (zh) * | 2016-12-31 | 2018-07-10 | 深圳市优朋普乐传媒发展有限公司 | 一种cdn系统中的数据存储方法及cdn系统 |
| CN109639801A (zh) * | 2018-12-17 | 2019-04-16 | 深圳市网心科技有限公司 | 数据节点分配及数据获取方法及系统 |
| CN110248210A (zh) * | 2019-05-29 | 2019-09-17 | 上海交通大学 | 视频传输优化方法 |
| CN110677684A (zh) * | 2019-09-30 | 2020-01-10 | 北京奇艺世纪科技有限公司 | 视频处理、视频访问方法及分布式存储、视频访问系统 |
Non-Patent Citations (1)
| Title |
|---|
| 单芝栋: "视频网格中自适应热度变化的条块化存储", 《无线电工程》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201339A (zh) * | 2020-09-17 | 2022-03-18 | Emc Ip控股有限公司 | 边缘数据中心备份 |
| CN112632129A (zh) * | 2020-12-31 | 2021-04-09 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN112632129B (zh) * | 2020-12-31 | 2023-11-21 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN113515545A (zh) * | 2021-06-30 | 2021-10-19 | 北京百度网讯科技有限公司 | 数据查询方法、装置、系统、电子设备以及存储介质 |
| CN113515545B (zh) * | 2021-06-30 | 2024-05-14 | 北京百度网讯科技有限公司 | 数据查询方法、装置、系统、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111597259B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109947668B (zh) | 存储数据的方法和装置 | |
| KR100791628B1 (ko) | 이동망 시스템의 능동적 캐쉬 제어 방법, 그 기록 매체 및그 시스템 | |
| CN111200657B (zh) | 一种管理资源状态信息的方法和资源下载系统 | |
| CN111597259B (zh) | 数据存储系统、方法、装置、电子设备及存储介质 | |
| CN107301215B (zh) | 一种搜索结果缓存方法及装置、搜索方法及装置 | |
| CN104731516A (zh) | 一种存取文件的方法、装置及分布式存储系统 | |
| CN110958300B (zh) | 一种数据的上传方法、系统、装置、电子设备和计算机可读介质 | |
| CN111753223B (zh) | 一种访问控制的方法和装置 | |
| CN111221469B (zh) | 同步缓存数据的方法、装置和系统 | |
| CN111782692B (zh) | 一种频率控制方法及装置 | |
| CN112445626B (zh) | 一种基于消息中间件的数据处理方法和装置 | |
| CN112513830A (zh) | 内容分发网络中的回源方法及相关装置 | |
| CN110620828A (zh) | 一种文件推送方法、系统、装置、电子设备及介质 | |
| US11494314B2 (en) | Caching system for eventually consistent services | |
| US11775480B2 (en) | Method and system for deleting obsolete files from a file system | |
| US20090319519A1 (en) | Communication system, communication device, and computer program | |
| CN114676074A (zh) | 一种访问请求处理方法、装置、电子设备及存储介质 | |
| CN111190861B (zh) | 热点文件管理方法、服务器及计算机可读存储介质 | |
| CN111400327B (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
| CN113138943A (zh) | 一种处理请求的方法和装置 | |
| US20240134549A1 (en) | Method and system for data uploading, and computer-readable storage medium | |
| US20210173878A1 (en) | Systems and methods of incremented aggregated data retrieval | |
| CN117176816A (zh) | 一种网络资源的发送方法、系统及装置 | |
| CN112783443A (zh) | 数据读取方法、装置及电子设备 | |
| CN117971896A (zh) | 数据处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |