CN109799947A - 分布式存储方法及装置 - Google Patents
分布式存储方法及装置 Download PDFInfo
- Publication number
- CN109799947A CN109799947A CN201711139336.6A CN201711139336A CN109799947A CN 109799947 A CN109799947 A CN 109799947A CN 201711139336 A CN201711139336 A CN 201711139336A CN 109799947 A CN109799947 A CN 109799947A
- Authority
- CN
- China
- Prior art keywords
- block
- data
- granularity
- data file
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分布式存储方法及装置。所述方法包括：对原始数据进行划分，得到至少一个数据文件。根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块。获取每个粒度块对应的存储地址。根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。由此，通过对数据文件进行进一步切割，将一个数据文件离散存储到多个存储节点，可实现多节点的并行读取。并且，采用块系统存储数据，能够以ISCSI协议实现直接读取和直接存储，数据传输路径最短，数据索引占用空间小。
Description
技术领域
本发明涉及存储技术领域，具体而言，涉及一种分布式存储方法及装置。
背景技术
在现有技术中，存储节点上存在多个文件系统，比如FS1、FS2等。原始数据可被划分为多个文件大小一定的(比如1GB)数据文件，多个数据文件可按照一定的策略离散存储到多个存储节点的文件系统上。比如，多个数据文件可按照存储节点1的FS1、存储节点2的FS1及存储节点3的FS2的顺序循环进行存储。
现有方案的缺点在于，以单个数据文件作为存储粒度写入文件系统，存储粒度过大，如果需要读取的数据段占用的存储空间较小，该数据段可能全部存储在一个存储节点的文件系统上。在读取数据段时，无法实现多存储节点的并行读取，数据读取速度受限于该存储节点的能力，读取性能不好。并且，采用文件系统存储数据，数据索引占用的空间较大。
发明内容
为了克服现有技术中的上述不足，本发明实施例提供一种分布式存储方法及装置。
本发明实施例的第一目的在于提供一种分布式存储方法，所述方法包括：
对原始数据进行划分，得到至少一个数据文件；
根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块；
获取每个粒度块对应的存储地址；
根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
本发明实施例的第二目的在于提供一种分布式存储方法，应用于监控系统，所述监控系统包括：相互通信连接的管理服务器及至少一个数据采集设备，所述方法包括：
管理服务器或数据采集设备对原始数据进行划分，得到至少一个数据文件；
管理服务器或数据采集设备根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块；
管理服务器或数据采集设备获取每个粒度块对应的存储地址；
管理服务器或数据采集设备根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
本发明实施例的第三目的在于提供一种分布式存储装置，所述装置应用于与多个存储节点通信连接的管理服务器或数据采集设备，所述装置包括：
划分模块，用于对原始数据进行划分，得到至少一个数据文件；
切割模块，用于根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块；
获取模块，用于获取每个粒度块对应的存储地址；
索引生成模块，用于根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
相对于现有技术而言，本发明具有以下有益效果：
本发明实施例提供一种分布式存储方法及装置。所述方法包括：对原始数据进行划分，得到至少一个数据文件。根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块。获取每个粒度块对应的存储地址。根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。由此，通过对数据文件进行进一步切割，将一个数据文件离散存储到多个存储节点，可实现多节点的并行读取。并且，采用块系统存储数据，能够以ISCSI协议实现直接读取和直接存储，数据路径最短，数据索引占用空间小。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的监控系统的方框示意图。
图2是本发明实施例提供的数据采集设备的方框示意图。
图3是本发明第一实施例提供的分布式存储方法的步骤流程图之一。
图4是本发明第一实施例提供的数据分布式存储的方案示意图。
图5是本发明第一实施例提供的以录像数据为例的索引存储表。
图6是本发明第一实施例提供的分布式存储方法的步骤流程图之二
图7是本发明第一实施例提供的分布式存储方法的步骤流程图之三。
图8是本发明第一实施例提供的资源映射表。
图9是本发明第一实施例提供的数据读取过程示意图。
图10是本发明第二实施例提供的分布式存储方法的步骤流程图。
图11为发明第三实施例提供的分布式存储装置的功能模块框图。
图标：10-监控系统；100-数据采集设备；110-存储器；120-处理器；130-网络模块；140-采集器；200-分布式存储装置；210-划分模块；220-切割模块；230-存储模块；240-获取模块；250-索引生成模块；300-管理服务器；400-存储节点；410-资源块；500-终端设备。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1，图1是本发明实施例提供的监控系统10的方框示意图。所述监控系统10包括：相互通信连接的管理服务器300、至少一个数据采集设备100、多个存储节点400及至少一个终端设备500。
在本实施例中，数据采集设备100用于采集原始数据(比如，录像数据、音频数据、图像等)，终端设备500用于与用户进行交互，存储节点400用于对所述数据采集设备100采集的原始数据(比如，录像数据、音频数据等)进行存储，管理服务器300用于对整个监控系统10进行管控。
在本实施例中，所述数据采集设备100可以是，但不限于，摄像机、IPC(IP CAMERA，网络摄像机)等。IPC是一种结合传统摄像机与网络技术所产生的新一代摄像机，由网络编码模块和模拟摄像机组合而成，网络编码模块将模拟摄像机采集到的模拟视频信号编码压缩成数字信号，从而可以直接接入网络交换及路由设备。
在本实施例中，所述存储节点400可以是，但不限于，由主机及磁盘柜组成的存储设备。所述磁盘柜包括多个用于存储数据的磁盘，所述主机用于对所述磁盘柜进行管理。所述磁盘柜可采用磁盘阵列(Redundant Array of Independent Disks，RAID)柜，磁盘阵列是由多个价格便宜、容量较小、稳定性较高的磁盘组合而成的大型磁盘组，可利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。磁盘阵列还能利用同位检查(Parity Check)的观念，即使磁盘组中任意一个磁盘出现故障，仍可实现数据读取，在进行数据重构时，可将故障磁盘内的数据计算后重新置入新磁盘中。
在本实施例中，所述管理服务器300或数据采集设备100可对采集的原始数据进行划分、切割及索引存储构建等操作，以便于终端设备500可根据构建的索引存储关系(索引存储表)快速查找到需要读取的数据信息。下面以数据采集设备100为例，对所述数据采集设备100包括的器件结构进行说明。
请参照图2，图2是本发明实施例提供的数据采集设备100的方框示意图。所述数据采集设备100包括存储器110、处理器120、网络模块130、采集器140及分布式存储装置200。
所述存储器110、处理器120、网络模块130及采集器140相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线或信号线实现电性连接。存储器110中存储有分布式存储装置200，所述分布式存储装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块，所述处理器120通过运行存储在存储器110内的软件程序以及模块，从而执行各种功能应用以及数据处理。
所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。进一步地，上述存储器110内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
所述处理器120可以是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块130用于通过网络建立所述数据采集设备100与管理服务器300、多个存储节点400及至少一个终端设备500之间的通信连接，实现网络信号及数据的收发传输操作。
采集器140用于采集原始数据(比如，录像数据、音频数据、图像等)。所述采集器140可以是，但不限于，摄像头、扬声器等设备。例如，当需要采集录像数据时，所述采集器140可以是摄像头，当需要采集音频数据时，所述采集器140可以是扬声器。
可以理解，图2所述的结构仅为示意，数据采集设备100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参照图3及图4，图3是本发明第一实施例提供的分布式存储方法的步骤流程图之一，图4是本发明第一实施例提供的数据分布式存储的方案示意图。其中，每个存储节点400包括至少一个资源块410，每个存储节点400上的挂靠的资源块410的数量可根据实际需求进行设定。
下面对分布式存储方法的流程进行详细阐述。所述方法包括：步骤S110、步骤S120、步骤S140及步骤S150。
步骤S110，对原始数据进行划分，得到至少一个数据文件。
在本实施例中，先从采集器140获取原始数据，并对所述原始数据进行划分，划分为至少一个如图4所示的文件大小固定的数据文件。其中，每个数据文件的文件大小可根据实际需求进行划分，比如，每个数据文件可划分为1GB。
步骤S120，根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块。
在本实施例中，可根据数据文件的数据内容对所述数据文件进行切割，得到多个如图4所示的大小固定的粒度块。其中，每个粒度块的大小可根据实际需求进行切割，比如，每个粒度块的大小可切割为1MB，则1GB的数据文件可切割为1024个粒度块。
在本实施例中，本方案与通常采用的以磁盘块为单位的切割方式不同，本方案的粒度块是通过感知数据文件的数据内容进行切割的，可保证数据切割的完整性。例如，对于录像数据，可按照帧对齐的方式进行切割，可保证每个粒度块中的图像帧是完整的，避免出现某个完整图像的图像数据被切割到不同的粒度块中的情况。
步骤S140，获取每个粒度块对应的存储地址。
在本实施例中，所述粒度块的存储地址包括所述粒度块存储在对应的资源块410中的存储位置的偏移地址及所述资源块410的资源块编码(比如，1、2或3等)。
步骤S150，根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
在本实施例中，根据所述数据文件的文件参数(比如，文件大小、文件名称、数据采集时间等)及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
请参照图5，图5是本发明第一实施例提供的以录像数据为例的索引存储表。在图5所示的表中，存储地址“1:0-2:0-3:0”中的1、2或3表示资源块编码，0表示偏移地址，即所述数据文件的多个粒度块分别存储在资源块编码为1、2、3的资源块410中，且在对应资源块410中存储位置的偏移地址为0。
在本实施例中，需要说明的是，在整个监控系统10中，资源块编码是全局唯一的，用于在读取数据时便于进行索引。
在本实施例中，本方案采用块设备的存储方式替代现有技术中的文件系统的存储方式。文件系统的存储地址是文件的访问路径，通常占用256个字节。块存储路径为资源块编码+偏移地址的组合。假设，一个存储集群有8个存储节点400，每一个存储节点400上有一个资源块410，每个资源块410按8TB计算。采用资源块编码+偏移地址的块存储路径占用95个字节，相比于文件系统的256个字节，索引占用空间减少了约62％。由此，采用块存储数据，数据索引占用空间小，索引性能好。
请参照图6，图6是本发明第一实施例提供的分布式存储方法的步骤流程图之二。所述方法还包括步骤S130。
步骤S130，将每个粒度块存储到指定的存储节点400的资源块410中。
在本实施例中，可采用预设策略将每个粒度块按顺序存储到指定的存储节点400的资源块410中。例如，如图4所示，某个数据文件的预设策略为：按照存储节点1的资源块2、存储节点2的资源块1及存储节点3的资源块1的顺序进行存储，则数据文件的多个粒度块可按照该顺序循环进行存储。由此，可将一个数据文件的多个粒度块离散存储到多个存储节点400中，在进行数据读取时，可实现多节点的并行读取。
在本实施例中，在将数据文件写入存储节点400之前，可先在多个存储节点400的资源块410内分配相同大小的连续空间，例如，写入的数据文件大小为1GB，则可在每个存储节点400的每个资源块410内都分配1GB的连续空间。然后，将多个存储节点400的存储空间设定为单个数据文件大小的整数倍(N)。由此，可避免造成空间浪费，刚好存储N个数量的数据文件。
在本实施例中，上述步骤S110、步骤S120、步骤S130、步骤S140及步骤S150可由管理服务器300或数据采集设备100执行。
请参照图7，图7是本发明第一实施例提供的分布式存储方法的步骤流程图之三。所述方法还包括步骤S160及步骤S170。当终端设备500需要读取数据时，所述步骤S160及步骤S170可由终端设备500执行。
步骤S160，获得用于记录每个数据文件与存储节点400的映射关系的资源映射表。
在本实施例中，从所述管理服务器300获取所述资源映射表，并从所述管理服务器300或数据采集设备100获取索引存储表。
在本实施例中，当数据文件存储完成后，所述管理服务器300可按照预设协议将获取的所述数据文件所属的终端设备信息(比如，终端设备名称、终端设备标识号等)，以及所述数据文件对应存储的存储节点信息(比如，存储节点名称、存储节点标识号、资源块信息等)生成对应的映射关系，并存储到资源映射表。其中，所述预设协议可以是，但不限于，ISCSI(Internet Small Computer System，Internet小型计算机系统接口)协议。
在本实施例中，本方案采用块系统存储数据，能够以ISCSI协议实现直接读取和直接存储，数据路径最短，数据索引占用空间小。
请参照图8，图8是本发明第一实施例提供的资源映射表。在图8所示的表中，所述资源映射表包括六部分信息：存储节点项用于记录数据对应存储的存储节点400的访问地址。存储资源项用于记录数据在存储节点400中对应存储的资源编号(比如资源1、资源2等)，在同一存储节点400内，所述资源编号是唯一的。启动器项用于记录ISCSI的客户端标识，即终端设备标识。目标器项用于记录ISCSI的服务端标识，即管理服务器标识。逻辑卷ID用于记录资源块410绑定到目标器时的序号。资源块编码项用于记录全局唯一的资源块编码。
步骤S170，根据所述资源映射表及索引存储表得到每个粒度块的实际存储地址，并读取对应的数据信息。
在本实施例中，在读取数据时，先根据摄像机名称及文件名称在索引存储表中找到每个粒度块的存储地址，然后根据资源块编码在资源映射表中转换为实际存储地址(存储节点IP+ISCSI启动器+ISCSI目标器+逻辑卷ID)。
请参照图9，图9是本发明第一实施例提供的数据读取过程示意图。在本实施例中，所述终端设备500可先根据存储节点400的个数，设定进行数据读取的线程数，每个线程负责读取一个存储节点400，每次读取一个粒度块的数据(与存储时一致)。所述终端设备500将读取的粒度块按先后次序拼接，拼接完成后，可根据用户需求返回数据。
第二实施例
请参照图10，图10是本发明第二实施例提供的分布式存储方法的步骤流程图。所述分布式存储方法应用于监控系统10，所述监控系统10包括：相互通信连接的管理服务器300、至少一个数据采集设备100、多个存储节点400及至少一个终端设备500。每个存储节点400包括至少一个资源块410。所述方法包括：步骤S210、步骤S220、步骤S230、步骤S240、步骤S250、步骤S260及步骤S270。
步骤S210，管理服务器300或数据采集设备100对原始数据进行划分，得到至少一个数据文件。
步骤S220，管理服务器300或数据采集设备100根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块。
步骤S230，所述管理服务器300或数据采集设备100将每个粒度块存储到指定的存储节点400的资源块410中。
步骤S240，管理服务器300或数据采集设备100获取每个粒度块对应的存储地址。
步骤S250，管理服务器300或数据采集设备100根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
步骤S260，终端设备500获得用于记录每个数据文件与存储节点400的映射关系的资源映射表。
步骤S270，终端设备500根据所述资源映射表及索引存储表得到每个粒度块的实际存储地址，并读取对应的数据信息。
在本实施例中，关于步骤S210、步骤S220、步骤S230、步骤S240、步骤S250、步骤S260及步骤S270的描述可参照上述第一实施例中对步骤S110、步骤S120、步骤S130、步骤S140、步骤S150、步骤S160及步骤S170的描述。
第三实施例
请参照图11，图11为发明第三实施例提供的分布式存储装置200的功能模块框图。所述分布式存储装置200应用于与多个存储节点400通信连接的管理服务器300或数据采集设备100。所述装置包括：
划分模块210，用于对原始数据进行划分，得到至少一个数据文件；
切割模块220，用于根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块。
获取模块240，用于获取每个粒度块对应的存储地址。
索引生成模块250，用于根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
请再次参照图11，所述装置还包括：
存储模块230，用于将每个粒度块存储到指定的存储节点400的资源块410中，其中，每个存储节点400包括至少一个资源块410，所述粒度块的存储地址包括所述粒度块在资源块410中存储位置的偏移地址及所述资源块410的资源块编码。
综上所述，本发明实施例提供一种分布式存储方法及装置。所述方法包括：对原始数据进行划分，得到至少一个数据文件。根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块。获取每个粒度块对应的存储地址。根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。由此，通过对数据文件进行进一步切割，将一个数据文件离散存储到多个存储节点，可实现多节点的并行读取。
并且，采用块系统存储数据，能够以ISCSI协议实现直接读取和直接存储，数据路径最短，数据索引占用空间小。
其次，本方案的粒度块是通过感知数据文件的数据内容进行切割的，可保证数据切割的完整性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式存储方法，其特征在于，所述方法包括：
对原始数据进行划分，得到至少一个数据文件；
根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块；
获取每个粒度块对应的存储地址；
根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
2.如权利要求1所述的方法，其特征在于，在获取每个粒度块对应的存储地址之前，所述方法还包括：
将每个粒度块存储到指定的存储节点的资源块中，其中，每个存储节点包括至少一个资源块，所述粒度块的存储地址包括所述粒度块在资源块中存储位置的偏移地址及所述资源块的资源块编码。
3.如权利要求2所述的方法，其特征在于，所述将每个粒度块存储到指定的存储节点的资源块中，包括：
将每个粒度块按顺序存储到指定的存储节点的资源块中。
4.如权利要求1-3任意一项所述的方法，其特征在于，在读取数据时，所述方法还包括：
获得用于记录每个数据文件与存储节点的映射关系的资源映射表；
根据所述资源映射表及索引存储表得到每个粒度块的实际存储地址，并读取对应的数据信息。
5.一种分布式存储方法，应用于监控系统，其特征在于，所述监控系统包括：相互通信连接的管理服务器及至少一个数据采集设备，所述方法包括：
管理服务器或数据采集设备对原始数据进行划分，得到至少一个数据文件；
管理服务器或数据采集设备根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块；
管理服务器或数据采集设备获取每个粒度块对应的存储地址；
管理服务器或数据采集设备根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
6.如权利要求5所述的方法，其特征在于，所述监控系统还包括多个存储节点，每个存储节点包括至少一个资源块，在获取每个粒度块对应的存储地址之前，所述方法还包括：
所述管理服务器或数据采集设备将每个粒度块存储到指定的存储节点的资源块中，其中，所述粒度块的存储地址包括所述粒度块在资源块中存储位置的偏移地址及所述资源块的资源块编码。
7.如权利要求6所述的方法，其特征在于，所述管理服务器或数据采集设备将每个粒度块存储到指定的存储节点的资源块中，包括：
将每个粒度块按顺序存储到指定的存储节点的资源块中。
8.如权利要求5-7任意一项所述的方法，其特征在于，所述监控系统还包括至少一个终端设备，当所述终端设备需要读取数据时，所述方法还包括：
所述终端设备获得用于记录每个数据文件与存储节点的映射关系的资源映射表；
所述终端设备根据所述资源映射表及索引存储表得到每个粒度块的实际存储地址，并读取对应的数据信息。
9.一种分布式存储装置，其特征在于，所述装置应用于与多个存储节点通信连接的管理服务器或数据采集设备，所述装置包括：
划分模块，用于对原始数据进行划分，得到至少一个数据文件；
切割模块，用于根据所述数据文件的数据内容对所述数据文件进行切割，得到多个粒度块；
获取模块，用于获取每个粒度块对应的存储地址；
索引生成模块，用于根据所述数据文件的文件参数及获取的每个粒度块对应的存储地址生成一条对应的索引记录，并将所述索引记录写入索引存储表。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
存储模块，用于将每个粒度块存储到指定的存储节点的资源块中，其中，每个存储节点包括至少一个资源块，所述粒度块的存储地址包括所述粒度块在资源块中存储位置的偏移地址及所述资源块的资源块编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711139336.6A CN109799947A (zh) | 2017-11-16 | 2017-11-16 | 分布式存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711139336.6A CN109799947A (zh) | 2017-11-16 | 2017-11-16 | 分布式存储方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109799947A true CN109799947A (zh) | 2019-05-24 |
Family
ID=66555646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711139336.6A Pending CN109799947A (zh) | 2017-11-16 | 2017-11-16 | 分布式存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109799947A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022000324A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 数据编码方法、数据解码方法、数据处理方法、编码器、解码器、系统、可移动平台与计算机可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150397A (zh) * | 2013-03-26 | 2013-06-12 | 北京经纬恒润科技有限公司 | 一种数据索引创建方法、数据检索方法和系统 |
| CN103593486A (zh) * | 2013-12-06 | 2014-02-19 | 国家电网公司 | 一种电能质量海量数据存储及读取方法 |
| CN105320773A (zh) * | 2015-11-03 | 2016-02-10 | 中国人民解放军理工大学 | 一种基于Hadoop平台的分布式重复数据删除系统和方法 |
| CN105824881A (zh) * | 2016-03-10 | 2016-08-03 | 中国人民解放军国防科学技术大学 | 一种基于负载均衡的重复数据删除数据放置方法器 |
| CN107133334A (zh) * | 2017-05-15 | 2017-09-05 | 成都优孚达信息技术有限公司 | 基于高带宽存储系统的数据同步方法 |
-
2017
- 2017-11-16 CN CN201711139336.6A patent/CN109799947A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150397A (zh) * | 2013-03-26 | 2013-06-12 | 北京经纬恒润科技有限公司 | 一种数据索引创建方法、数据检索方法和系统 |
| CN103593486A (zh) * | 2013-12-06 | 2014-02-19 | 国家电网公司 | 一种电能质量海量数据存储及读取方法 |
| CN105320773A (zh) * | 2015-11-03 | 2016-02-10 | 中国人民解放军理工大学 | 一种基于Hadoop平台的分布式重复数据删除系统和方法 |
| CN105824881A (zh) * | 2016-03-10 | 2016-08-03 | 中国人民解放军国防科学技术大学 | 一种基于负载均衡的重复数据删除数据放置方法器 |
| CN107133334A (zh) * | 2017-05-15 | 2017-09-05 | 成都优孚达信息技术有限公司 | 基于高带宽存储系统的数据同步方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘景宁等: "对象存储设备端数据管理策略研究", 《计算机研究与发展》 * |
| 朱珍民等: "嵌入式RTDBS的物理结构", 《嵌入式实时操作系统及其应用开发》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022000324A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 数据编码方法、数据解码方法、数据处理方法、编码器、解码器、系统、可移动平台与计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210004171A1 (en) | I/o request processing method and device | |
| CN102282544B (zh) | 存储系统 | |
| WO2019041738A1 (zh) | 客户资源获取方法、装置、终端设备及存储介质 | |
| US10728335B2 (en) | Data processing method, storage system, and switching device | |
| CN106663054A (zh) | 在非易失性固态储存器中的非易失性ram存储器和闪存存储器 | |
| CN108347459A (zh) | 一种云端数据快速存储方法及装置 | |
| CN113946291A (zh) | 数据访问方法、装置、存储节点及可读存储介质 | |
| CN111585815B (zh) | 一种端口数据采集方法及装置 | |
| CN114979158A (zh) | 一种资源监控方法、系统、设备及计算机可读存储介质 | |
| CN110704198A (zh) | 数据操作方法、装置、存储介质以及处理器 | |
| CN109799947A (zh) | 分布式存储方法及装置 | |
| CN104205730A (zh) | 网元数据访问方法、装置以及网络管理系统 | |
| CN109614354B (zh) | 接口分配方法、板卡、设备及存储介质 | |
| CN113918519A (zh) | 一种文件夹挂载方法、装置及终端设备 | |
| CN107493181B (zh) | 虚拟扩展端口的指示方法和装置 | |
| CN111125011B (zh) | 一种文件处理方法、系统及相关设备 | |
| CN115525603A (zh) | 存储统计方法、装置、计算机可读存储介质与ai设备 | |
| CN110677463B (zh) | 并行数据传输方法、装置、介质及电子设备 | |
| CN106559439B (zh) | 一种业务处理方法及设备 | |
| CN105939278B (zh) | 一种流量处理方法及装置 | |
| CN107506283B (zh) | 一种主机向san存储推送信息的方法和系统 | |
| CN112148513A (zh) | 单点服务数据的转储方法、装置及存储介质 | |
| KR101359034B1 (ko) | 네트워크 시스템에서 통계데이터를 저장하기 위한 장치 및방법 | |
| CN115904879B (zh) | 用于Prometheus集群的实例分配系统、方法及设备 | |
| US20180176110A1 (en) | Recovering from and avoiding network connectivity loss |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190524 |