CN105162847A - 分布式流数据存储系统的存储资源规划方法 - Google Patents

分布式流数据存储系统的存储资源规划方法 Download PDF

Info

Publication number
CN105162847A
CN105162847A CN201510487363.7A CN201510487363A CN105162847A CN 105162847 A CN105162847 A CN 105162847A CN 201510487363 A CN201510487363 A CN 201510487363A CN 105162847 A CN105162847 A CN 105162847A
Authority
CN
China
Prior art keywords
band
task
data
storage
data server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510487363.7A
Other languages
English (en)
Other versions
CN105162847B (zh
Inventor
段翰聪
闵革勇
张建
陈楚材
王瑾
张�杰
张宇露
程欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510487363.7A priority Critical patent/CN105162847B/zh
Publication of CN105162847A publication Critical patent/CN105162847A/zh
Application granted granted Critical
Publication of CN105162847B publication Critical patent/CN105162847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

一种分布式流数据存储系统的存储资源规划方法，包括：获得满足最大存储需求所需数据服务器的最少数量；将数据服务器中的每块磁盘等分为条条带；根据实际存储需求设置台数据服务器；将同一台数据服务器中的每Nb/Db条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上；将所有条带捆集合成存储资源带，所述存储资源带中的任意个相邻条带捆不在同一数据服务器中；将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。本发明提供的规划方法，能降低分布式流数据存储系统的功耗、减小设备损耗、减少产生的碎片。

Description

分布式流数据存储系统的存储资源规划方法
技术领域
本发明涉及流数据存储技术领域，特别涉及一种分布式流数据存储系统的存储资源规划方法。
背景技术
分布式存储系统，是将数据分散存储在多台独立设备上的存储系统。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
图1是典型的分布式视频流数据存储系统的结构示意图，所述分布式视频流数据存储系统包括元服务器(MS，MetaServer)11和若干台数据服务器(DS，DataServer)12。所述元服务器11适于接收摄像机10的注册请求，调度所述数据服务器12存储视频流数据，并接收所述数据服务器12汇报的自身硬件和负载状况。所述数据服务器12则在所述元服务器11的调度下向摄像机10请求数据，对视频流数据进行存储。当多个进程同时访问同一块磁盘时，可能会出现磁盘冲突。为了避免磁盘冲突，现有技术中采用条带化技术将视频流数据存储到不同数据服务器中的不同磁盘上去。
条带化技术能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突，而且在需要对流数据进行顺序访问的时候可以获得最大程度上的I/O并行能力。然而，当前这种将流数据的存储位置分散到不同数据服务器中的不同磁盘上的存储资源调度方法，会导致大量的数据服务器和磁盘处在活跃状态。与处在静默状态的数据服务器和磁盘相比，处在活跃状态的数据服务器和磁盘的功耗更高、设备损耗更大。并且，流数据存在存储生命周期的需求，当前这种存储资源调度方法在过期流数据删除后会产生大量的碎片。其中，活跃状态是指执行读任务或者写任务时的状态，静默状态是指未执行读任务或者写任务时的状态。
发明内容
本发明所要解决的是分布式流数据存储系统功耗高、设备损耗大、流数据删除后产生大量碎片的问题。
为解决上述问题，本发明提供一种分布式流数据存储系统的存储资源规划方法，包括：
获得满足最大存储需求所需数据服务器的最少数量；
将数据服务器中的每块磁盘等分为条条带，其中，DSmax为满足最大存储需求所需数据服务器的最少数量，Dv为磁盘的容量，Nb为数据服务器的网络带宽，Dn为数据服务器中磁盘的数量，Smax为存储系统所能承受的流任务的最大数量，Sb为流任务的码率，T为流任务的存储周期，Db为磁盘的带宽；
根据实际存储需求设置台数据服务器，其中，Sn为流任务的实际数量，Dsn为每块磁盘中条带的数量；
将同一台数据服务器中的每Nb/Db条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上；
将所有条带捆集合成存储资源带，所述存储资源带中的任意个相邻条带捆不在同一数据服务器中；
将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。
通过将同一台数据服务器中不同磁盘上的条带集合成条带捆，将所有条带捆集合成存储资源带，在满足存储系统所有读写任务的网络带宽和磁盘带宽的要求下，尽可能地将写任务集中到了同一台数据服务器中的同一块磁盘上，减少了过期流数据删除后产生的碎片，在底层存储资源上形成连续可写入的磁盘空间，可最大化磁盘写入带宽。当所有写任务集合成的任务总窗口在所述存储资源带中滚动时，只有任务总窗口中的数据服务器和磁盘处于活跃状态，因而能够降低分布式流数据存储系统的功耗、减小设备损耗。
进一步，本发明在进行条带划分时，将所有条带规划成两部分：一部分条带用作存储流任务带来的数据总量，该部分条带的存储容量等于流任务带来的数据总大小；另一部分条带为最大任务总窗口所需的多个连续条带。通过如此设置，在任务总窗口滚动到存储资源带的末端时，存储资源带前端条带中存储的数据过期，可以重新写入数据，因而能够保证在流数据的存储周期内有足够的可用磁盘。
可选的，所述获得满足最大存储需求所需的数据服务器的最少数量包括：
步骤S11，根据获得满足最大存储需求所需数据服务器的初始数量，其中，DSmax'为所述初始数量；
步骤S12，判断所述初始数量DSmax'是否大于
步骤S13，若所述初始数量DSmax'大于则所述初始数量DSmax'即为满足最大存储需求所需数据服务器的最少数量DSmax，否则将所述初始数量DSmax'作为变量不断累加1，直至大于
可选的，所述存储资源带中的首尾条带相连。
可选的，使所述任务总窗口在所述存储资源带中滚动包括：在当前任务集束写满一条条带后，将当前任务集束向前滚动到空白或者未写满数据的条带中；在有新的写任务加入时，将新加入的写任务分配到前端任务集束中。
可选的，使所述任务总窗口在所述存储资源带中滚动还包括：在当前任务集束的条带被调度执行读任务时，将当前任务集束向前滚动到空白或者未写满数据的条带中。
可选的，写满数据但数据已过期的条带可被任务集束重新写入数据。
与现有技术相比，本发明具有以下优点：
本发明提供的分布式流数据存储系统的存储资源规划方法，基于流数据的时间序列特征和存储生命周期的需求，将同一台数据服务器中不同磁盘上的条带集合成条带捆避免磁盘冲突，将存储资源带中任意个相邻条带捆设计成不在同一数据服务器中以满足存储系统所有读写任务的网络带宽，尽可能将写任务集中到了同一台数据服务器中的同一块磁盘上，而不是尽量将存储位置分散到不同数据服务器中的不同磁盘上，从而减少了过期流数据删除后产生的碎片，并能够降低分布式流数据存储系统的功耗高、减小设备损耗。
附图说明
图1是典型的分布式视频流数据存储系统的结构示意图；
图2是本发明实施例将所有磁盘条带化后的示意图；
图3是本发明实施例将条带集合成条带捆、条带捆集合成存储资源带后的示意图；
图4是本发明实施例任务总窗口在存储资源带中滚动的示意图；
图5是本发明实施例任务总窗口在首尾条带相连的存储资源带中滚动的示意图。
具体实施方式
本发明实施例提供一种分布式流数据存储系统的存储资源规划方法，所述流数据可以为传感器网络数据、航空航天监测数据、气象监控数据、金融服务数据或者图1所示的视频流数据等，所述分布式流数据存储系统与图1所示的分布式视频流数据存储系统类似，包括元服务器和若干台数据服务器，每台数据服务器包括若干块磁盘。作为数据服务器的属性，数据服务器的网络带宽、数据服务器中的磁盘数量、磁盘的带宽以及磁盘的容量都是确定的。而作为需要存储的流数据的属性，流任务的码率和流任务的存储周期也是确定的，流任务是指将单路流数据存储进存储系统。本发明实施例提供的分布式流数据存储系统的存储资源规划方法，正是基于数据服务器的属性和流数据的属性提出的。所述规划方法包括：
步骤S1：获得满足最大存储需求所需数据服务器的最少数量；
步骤S2：将数据服务器中的每块磁盘等分为条条带，其中，DSmax为满足最大存储需求所需数据服务器的最少数量，Dv为磁盘的容量，Nb为数据服务器的网络带宽，Dn为数据服务器中磁盘的数量，Smax为存储系统所能承受的流任务的最大数量，Sb为流任务的码率，T为流任务的存储周期，Db为磁盘的带宽；
步骤S3：根据实际存储需求设置台数据服务器，其中，Sn为流任务的实际数量，Dsn为每块磁盘中条带的数量；
步骤S4：将同一台数据服务器中的每Nb/Db条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上；
步骤S5：将所有条带捆集合成存储资源带，所述存储资源带中的任意个相邻条带捆不在同一数据服务器中；
步骤S6：将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。
本实施例提供的分布式流数据存储系统的存储资源规划方法，通过尽可能将写任务集中到同一台数据服务器中的同一块磁盘上，减少过期流数据删除后产生的碎片，在底层存储资源上形成连续可写入的磁盘空间，可最大化磁盘写入带宽。当所有写任务集合成的任务总窗口在存储资源带中滚动时，只有任务总窗口中的数据服务器和磁盘处于活跃状态，因而能够降低分布式流数据存储系统的功耗、减小设备损耗。
下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。
如步骤S1所述，获得满足最大存储需求所需数据服务器的最少数量。分布式流数据存储系统的构建一般是多期的，比如规划是存储来自1000路网络摄像头的视频流，但第一期只上马600路网络摄像头，此时分布式流数据存储系统的构建依然按照满足存储来自1000路网络摄像头的视频流来计算所需数据服务器的最少数量，以该最少数量来计算磁盘应当等分的条带数，再以该等分的磁盘条带数计算存储来自600路网络摄像头的视频流所需的数据服务器。获得满足最大存储需求所需数据服务器的最少数量具体包括：
步骤S11，根据获得满足最大存储需求所需数据服务器的初始数量，其中，DSmax'为所述初始数量。具体地，为了满足最大存储需求，构建的分布式存储系统总存储容量首先必须大于最大数量的流任务带来的数据总量，即需要满足不等式DSmax×Dn×Dv＞Smax×Sb×T，根据此不等式可以获得满足最大存储需求所需数据服务器的初始数量DSmax'。由于数据服务器的数量为整数，因此需要对进行向上取整。
步骤S12，判断所述初始数量DSmax'是否大于满足最大存储需求所需数据服务器的最少数量除了在容量上需要满足存储需求，还要满足网络带宽的需求，即需要满足不等式DSmax×Nb＞Smax×Sb，因而需要判断所述初始数量DSmax'是否大于
步骤S13，若所述初始数量DSmax'大于则所述初始数量DSmax'即为满足最大存储需求所需数据服务器的最少数量DSmax，否则将所述初始数量DSmax'作为变量不断累加1，直至大于具体地，若所述初始数量DSmax'满足网络带宽的需求，则不用再增加数据服务器的数量；若所述初始数量DSmax'满足网络带宽的需求，则还需要增加数据服务器的数量，直到满足网络带宽需求为止。
如步骤S2所述，将数据服务器中的每块磁盘等分为条条带。具体地，将磁盘划分为多条条带类似于对磁盘进行分区，每条条带的带宽与每块磁盘的带宽相同，每条条带的存储容量与单块磁盘中的条带数量的乘积等于单块磁盘的存储容量。在本实施例中，将所有条带规划成两部分：一部分条带用作存储流任务带来的数据总量，该部分条带的存储容量等于流任务带来的数据总大小；另一部分条带为最大任务总窗口所需的多个连续条带，所述任务总窗口由所有任务集束构成，所述任务集束为在同一条带中执行的写任务的集合。由于网络带宽的限制，最大任务总窗口占用的连续条带数量为获得关系式：
D v D s n × ( DS m a x × D n × D s n - DS m a x × N b D b ) = S m a x × S b × T
其中，为每条条带的存储容量，DSmax×Dn×Dsn为整个存储系统中条带的数量，Smax×Sb×T为最大数量的流任务带来的数据总量。根据上述等式，获得每块磁盘划分成的条带的数量。
如步骤S3所述，根据实际存储需求设置台数据服务器。与步骤S2中类似，基于流数据的实际数量Sn存在关系式：
D v D s n × ( DS n u m × D n × D s n - DS n u m × N b D b ) = S n × S b × T
其中，DSnum为根据实际存储需求设置的数据服务器的数量。下面以每台数据服务器包括四块磁盘、根据步骤S2获得每块磁盘划分成的条带的数量为2、根据步骤S3获得实际存储需求设置的数据服务器的数量为2为例，图2是本发明实施例将所有磁盘条带化后的示意图，数据服务器21包括磁盘d11、磁盘d12、磁盘d13以及磁盘d14，数据服务器22包括磁盘d21、磁盘d22、磁盘d23以及磁盘d24，每块磁盘包括两条条带：磁盘d11包括条带d11_s1和条带d11_s2、磁盘d12包括条带d12_s1和条带d12_s2、磁盘d13包括条带d13_s1和条带d13_s2、磁盘d14包括条带d14_s1和条带d14_s2、磁盘d21包括条带d21_s1和条带d21_s2、磁盘d22包括条带d22_s1和条带d22_s2、磁盘d23包括条带d23_s1和条带d23_s2、磁盘d24包括条带d24_s1和条带d24_s2。
如步骤S4所述，将同一台数据服务器中的每Nb/Db条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上。实际应用中，数据服务器的网络带宽远小于其上的磁盘聚合带宽，比如一台包括24块磁盘的网络服务器，单块磁盘的带宽约为100MB/S，其磁盘聚合带宽能达到2400MB/S，而数据服务器的网络带宽只有500MB/S。因而在设置条带捆时，是按照条带捆的带宽等于数据服务器的网络带宽进行的，即所述条带捆中所包含的条带数量为Nb/Db。传统的分散存储方法就数据服务器的网络带宽占用量而言，经常都不能达到单块磁盘的带宽。而在本发明实施例中，所述条带捆中的条带数量为Nb/Db充分利用了单块磁盘的带宽，因而过期流数据删除后产生的碎片少，分布式流数据存储系统的功耗低、设备损耗小。进一步，为了避免磁盘冲突，所述条带捆中的任意两条条带不在同一磁盘上，即所述条带捆中的条带分布在同一台数据服务器中的不同磁盘上。
如步骤S5所述，将所有条带捆集合成存储资源带，所述存储资源带中的任意个相邻条带捆不在同一数据服务器中。具体地，为了满足存储系统所有读写任务的网络带宽，存储资源带中的任意个相邻条带捆不在同一台数据服务器中，即依次从每台数据服务器中取出一个条带捆，取出个条带捆后，再依次从每台数据服务器中取出一个条带捆，直至每台数据服务器中的条带捆取尽，存储资源带中的首尾条带捆视为相邻。以根据步骤S4获得每个条带捆中的条带数量为4为例，图3是本实施例将条带集合成条带捆、条带捆集合成存储资源带后的示意图：条带d11_s1、条带d12_s1、条带d13_s1以及条带d14_s1集合成条带捆31；…；条带d21_s2、条带d22_s2、条带d23_s2以及条带d24_s2集合成条带捆34，所述条带捆31、…、所述条带捆34集合成存储资源带30。
如步骤S6所述，将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。图4是本实施例任务总窗口40在所述存储资源带30中滚动的示意图，所述任务总窗口40包括5个任务集束：任务集束41、任务集束42、任务集束43、任务集束44以及任务集束45，其中，所述任务集束41、所述任务集束42、所述任务集束43以及所述任务集束44为满任务集束，满任务集束为将所在条带的带宽用尽的任务集束，即写任务的流数据码率带宽正好达到条带的带宽；所述任务集束45为未满任务集束。所述任务总窗口40中的第一个任务集束(即所述任务集束41)为后端任务集束，所述任务总窗口40中的最后一个任务集束(即所述任务集束45)为后端任务集束。
使所述任务总窗口40在所述存储资源带30中滚动包括：
在当前任务集束写满一条条带后，将当前任务集束向前滚动到空白或者未写满数据的条带中。例如，所述任务集束41写满所述条带捆31中的最后一条条带后，将所述任务集束41向前滚动到所述条带捆33中的第一条条带中。在有新的写任务加入时，将新加入的写任务分配到前端任务集束中，即分配到所述任务集束45中。在当前任务集束的条带被调度执行读任务时，将当前任务集束向前滚动到空白或者未写满数据的条带中。例如，在所述条带捆32中的第一条条带被调度执行读任务时，将所述任务集束42向前滚动到所述条带捆33中的第一条条带中。由于流数据具有单调递增的时间序列特征，每条条带上写入的流数据均有时间戳(t0～t12)。在规定的时间后，写入的流数据过期，写满数据但数据已过期的条带将如同空白条带一样可以接收新的数据，即可被任务集束重新写入数据。采用本实施例提供的方法划分条带，在所述任务总窗口40滚动到所述存储资源带30的末端时，所述存储资源带30前端条带中存储的数据过期，可以重新写入数据，因而能够保证在流数据的存储周期内有足够的可用磁盘。
进一步，所述存储资源带30中的首尾条带可以相连，构成存储资源环，图5是所述任务总窗口40在首尾条带相连的存储资源带中滚动的示意图。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种分布式流数据存储系统的存储资源规划方法，其特征在于，包括：
获得满足最大存储需求所需数据服务器的最少数量；
将数据服务器中的每块磁盘等分为条条带，其中，DSmax为满足最大存储需求所需数据服务器的最少数量，Dv为磁盘的容量，Nb为数据服务器的网络带宽，Dn为数据服务器中磁盘的数量，Smax为存储系统所能承受的流任务的最大数量，Sb为流任务的码率，T为流任务的存储周期，Db为磁盘的带宽；
根据实际存储需求设置台数据服务器，其中，Sn为流任务的实际数量，Dsn为每块磁盘中条带的数量；
将同一台数据服务器中的每Nb/Db条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上；
将所有条带捆集合成存储资源带，所述存储资源带中的任意个相邻条带捆不在同一数据服务器中；
将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。
2.根据权利要求1所述的分布式流数据存储系统的存储资源规划方法，其特征在于，所述获得满足最大存储需求所需的数据服务器的最少数量包括：
步骤S11，根据获得满足最大存储需求所需数据服务器的初始数量，其中，DSmax'为所述初始数量；
步骤S12，判断所述初始数量DSmax'是否大于
步骤S13，若所述初始数量DSmax'大于则所述初始数量DSmax'即为满足最大存储需求所需数据服务器的最少数量DSmax，否则将所述初始数量DSmax'作为变量不断累加1，直至大于
3.根据权利要求1所述的分布式流数据存储系统的存储资源规划方法，其特征在于，所述存储资源带中的首尾条带相连。
4.根据权利要求1所述的分布式流数据存储系统的存储资源规划方法，其特征在于，使所述任务总窗口在所述存储资源带中滚动包括：
在当前任务集束写满一条条带后，将当前任务集束向前滚动到空白或者未写满数据的条带中；
在有新的写任务加入时，将新加入的写任务分配到前端任务集束中。
5.根据权利要求4所述的分布式流数据存储系统的存储资源规划方法，其特征在于，使所述任务总窗口在所述存储资源带中滚动还包括：
在当前任务集束的条带被调度执行读任务时，将当前任务集束向前滚动到空白或者未写满数据的条带中。
6.根据权利要求1所述的分布式流数据存储系统的存储资源规划方法，其特征在于，写满数据但数据已过期的条带可被任务集束重新写入数据。
CN201510487363.7A 2015-08-10 2015-08-10 分布式流数据存储系统的存储资源规划方法 Active CN105162847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510487363.7A CN105162847B (zh) 2015-08-10 2015-08-10 分布式流数据存储系统的存储资源规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510487363.7A CN105162847B (zh) 2015-08-10 2015-08-10 分布式流数据存储系统的存储资源规划方法

Publications (2)

Publication Number Publication Date
CN105162847A true CN105162847A (zh) 2015-12-16
CN105162847B CN105162847B (zh) 2018-05-08

Family

ID=54803600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510487363.7A Active CN105162847B (zh) 2015-08-10 2015-08-10 分布式流数据存储系统的存储资源规划方法

Country Status (1)

Country Link
CN (1) CN105162847B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019386A (zh) * 2017-09-05 2019-07-16 中国移动通信有限公司研究院 一种流数据处理方法及设备
CN112383628A (zh) * 2020-11-16 2021-02-19 北京中电兴发科技有限公司 一种基于流式存储的存储网关资源分配方法
CN115712390A (zh) * 2022-11-14 2023-02-24 安超云软件有限公司 可用数据条带分片数确定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2331474A1 (en) * 2001-01-19 2002-07-19 Stergios V. Anastasiadis Stride-based disk space allocation scheme
CN1692356A (zh) * 2002-11-14 2005-11-02 易斯龙系统公司 对分布式文件系统中的文件重新条带化的系统和方法
CN101645038A (zh) * 2009-05-20 2010-02-10 中国科学院声学研究所 基于彼特森的网络存储结构的数据存储方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2331474A1 (en) * 2001-01-19 2002-07-19 Stergios V. Anastasiadis Stride-based disk space allocation scheme
CN1692356A (zh) * 2002-11-14 2005-11-02 易斯龙系统公司 对分布式文件系统中的文件重新条带化的系统和方法
CN101645038A (zh) * 2009-05-20 2010-02-10 中国科学院声学研究所 基于彼特森的网络存储结构的数据存储方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019386A (zh) * 2017-09-05 2019-07-16 中国移动通信有限公司研究院 一种流数据处理方法及设备
CN110019386B (zh) * 2017-09-05 2021-01-15 中国移动通信有限公司研究院 一种流数据处理方法及设备
CN112383628A (zh) * 2020-11-16 2021-02-19 北京中电兴发科技有限公司 一种基于流式存储的存储网关资源分配方法
CN112383628B (zh) * 2020-11-16 2021-06-18 北京中电兴发科技有限公司 一种基于流式存储的存储网关资源分配方法
CN115712390A (zh) * 2022-11-14 2023-02-24 安超云软件有限公司 可用数据条带分片数确定方法及系统

Also Published As

Publication number Publication date
CN105162847B (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN106126407A (zh) 一种针对分布式存储系统的性能监控调优系统及方法
CN101216821B (zh) 数据采集系统的存储管理方法
CN105187464B (zh) 一种分布式存储系统中的数据同步方法、装置及系统
CN106201355A (zh) 数据处理方法和装置以及存储系统
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN105005617A (zh) 一种时间序列数据的存储方法及装置
CN103678408A (zh) 一种查询数据的方法及装置
CN106506665B (zh) 一种分布式视频监控系统的负载均衡方法及平台
CN104301671B (zh) Hdfs中基于事件密集度的交通监控视频存储方法
CN105389376B (zh) 基于连续块的无碎片化多媒体数据存储方法及系统
CN101179494B (zh) 面向网络多媒体传输服务的资源分发方法
CN105162847A (zh) 分布式流数据存储系统的存储资源规划方法
CN106407191B (zh) 一种数据处理方法及服务器
CN107103068A (zh) 业务缓存的更新方法及装置
CN112434938A (zh) 一种资源容量的管理方法和装置
CN103885887A (zh) 用户数据存储方法、读取方法及系统
CN105224244A (zh) 一种文件存储的方法和装置
WO2012100349A1 (en) Statistics forecast for range partitioned tables
CN102081947A (zh) 一种嵌入式多媒体系统上音视频文件的管理控制方法
CN102404411A (zh) 云存储系统的数据同步方法
CN103176750A (zh) 基于交错时间分区的移动互联网数据存储系统及其方法
CN103812934A (zh) 基于云存储系统的遥感数据发布方法
CN202872848U (zh) 一种基于云信息云计算服务的云存储终端设备
CN105007330A (zh) 分布式流数据存储系统的存储资源调度模型的建模方法
CN103119567A (zh) 用于管理虚拟带库域的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant