CN110727640A - 一种轻量级非主从分布式路由文件查询存储系统及方法 - Google Patents

一种轻量级非主从分布式路由文件查询存储系统及方法 Download PDF

Info

Publication number
CN110727640A
CN110727640A CN201910857174.2A CN201910857174A CN110727640A CN 110727640 A CN110727640 A CN 110727640A CN 201910857174 A CN201910857174 A CN 201910857174A CN 110727640 A CN110727640 A CN 110727640A
Authority
CN
China
Prior art keywords
data
node
file
mapping directory
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910857174.2A
Other languages
English (en)
Inventor
韩超
李勇波
陈奕铨
劳作媚
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201910857174.2A priority Critical patent/CN110727640A/zh
Publication of CN110727640A publication Critical patent/CN110727640A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种轻量级非主从分布式路由文件查询存储系统及方法。本发明的系统包括若干个文件存储服务器和文件存储系统软件，所述的文件存储服务器之间为平等的节点、没有主从区分；所述的文件存储系统软件实现哈希码生成方法、地址映射目录、主机名字映射目录、文件存储结构、数据同步机制和数据上传功能。本发明的方法包括文件上传、文件和数据删除、文件读取、数据校验及同步。本发明解决了分布式文件存储查找方法的文件目录服务器负载过大等问题；可以用于轻量级非主从分布式路由文件查询存储。

Description

一种轻量级非主从分布式路由文件查询存储系统及方法
技术领域
本发明涉及软件应用技术领域，特别涉及一种轻量级非主从分布式路由文件查询存储系统及方法。
背景技术
目前的文件存储系统都是通过集中的目录服务器来查找分布式文件存储的位置；当用户对文件进行请求，首先在目录服务器查询文件所在的服务器，然后再向文件所在的服务器查询文件。
按照现有的分布式文件存储位置查找方法，会导致获取文件时文件目录服务器负载过大；在高并发时甚至可能会导致服务器崩溃。此外，软件多数属于重量级，部署复杂；在时间上延时也较大。
发明内容
本发明解决的技术问题在于提供一种轻量级非主从分布式路由文件查询存储系统及方法；解决现有分布式文件存储查找方法的文件目录服务器负载过大等问题。
本发明解决上述技术问题的技术方案是：
所述系统包括若干个文件存储服务器和文件存储系统软件，所述的文件存储服务器之间为平等的节点、没有主从区分；所述的文件存储系统软件实现哈希码生成方法、地址映射目录、主机名字映射目录、文件存储结构、数据同步机制和数据上传功能。
所述的文件存储系统软件包括文件上传模块、文件删除模块、文件读取模块和守护进程模块；所述文件上传模块负责文件的上传，文件删除模块负责文件、数据的删除，文件读取模块负责对服务器的文件内容进行读取并返回，守护进程模块对用户数据进行持续校验和同步。
所述的方法包括文件上传、文件和数据删除、文件读取、数据校验及同步；
所述的文件上传流程是：(1)、用户向任意一台服务器提交文件；(2)、服务器根据设定的哈希内容获取哈希码，并返回哈希码；(3)、启动数据同步校验；(4)、根据校验的结果进行同步数据；
所述的文件删除流程是：(1)、用户向任意一台服务器提交哈希码，服务器查找文件是否在本地，如果没有，则标记删除地址映射目录中本文件的信息；(2)、启动数据同步校验，使各个服务器的地址映射目录均标记本信息；
所述的文件读取流程为：(1)、向任意一台服务器请求读取文件；(2)、服务器查询文件是否在本地，如果在本地则直接返回文件的信息；如果不在本地则根据映射的信息，将请求跳转到相应的服务器；(3)、跳转到的服务器回复文件的信息；
所述的数据校验及同步流程是：(1)、定时启动数据同步的校验，校验地址映射目录和主机名字映射目录；(2)、如果发现地址映射目录或者主机名字映射目录存在数据不一致的情况，则进入下一步；(3)、启动数据同步流程，同步数据。
所述方法的哈希码生成方法是获取文件的字节内容并放入数组，获取时间戳并放入同一数组；对数组进行哈希，生成唯一的哈希码作为文件的名称。
所述方法的地址映射目录实现快速查找文件，是文件名称与实际物理存储的映射表；映射表完整的驻留在内存中，并在更新表的时候写入硬盘；
地址映射目录在每个节点主机都存储一份；每个节点维护地址映射目录，实时相互同步更新地址映射目录表的内容；当新节点加入系统时，每个节点自动同步地址映射目录表。
所述方法的主机名字映射目录由节点自动维护，实现主机名字与IP的映射；当新节点加入系统，每个节点自动更新主机名字映射目录表，并广播自己的主机和IP信息。
所述方法的文件存储结构由文件字节内容、文件名称、文件格式、时间戳和哈希码构成。
所述方法的数据同步包括同步地址映射目录表和主机名字映射目录表，分为新增节点同步和新增数据同步；具体区分为新增节点主机名字映射目录同步、新增或删除地址映射目录的数据同步和节点主动同步地址映射目录数据；
新增节点主机名字映射目录同步流程是：(1)、读取主机名字映射目录配置文件中的首IP地址；(2)、向主机名字映射目录中的节点请求同步配置文件；(3)、节点同意同步数据；(4)、节点推送配置文件；(5)、新增节点往配置文件中写入所同步的数据；(6)、新增节点往配置文件末端写入自己的IP地址；(7)、广播一个新增节点的消息；(8)、各节点收到消息后把信息写入配置文件；
新增或删除地址映射目录的数据同步流程为：(1)、读取主机名字映射目录配置文件中的首IP地址；(2)、向此IP节点请求读取地址映射目录；(3)、此IP节点告知同步数据的节点，同意同步数据，并锁定自己的地址映射目录数据；(4)、同步数据的节点启动地址映射目录数据广播的监听进程，监听广播的数据；(5)、此IP节点和需要同步数据的节点如果监测到有广播的删除或者新增的数据，则把数据写入临时地址目录；(6)、需要同步数据的节点从此IP节点读取地址映射目录；(7)、数据同步完毕后，告知此IP节点，解锁目录，把临时地址目录的内容复制到地址映射目录；(8)、数据同步节点复制临时地址映射目录数据到地址映射目录；
节点主动同步地址映射目录数据流程是：(1)、询问所有节点的数据量；(2)、根据各个节点的回复，找出地址目录数据数量最大的节点；(3)、向此节点请求增量数据。
所述方法的数据校验是通过定时检查数据，确定数据的正确性；包括节点主机名字映射目录校验和地址映射目录校验；
节点主机名字映射目录校验流程包括：(1)、节点按照主机名映射目录的记录主动向所有节点询问配置内容；(2)、所有节点读取配置内容，按照主机名字字母进行升序排列，并且对内容取哈希码，附带哈希码回复询问节点；(3)、询问节点收到其他节点发来的回应消息，统计回复的哈希码，找出占比最大的哈希码，与询问节点比对哈希码，如果哈希码不一致，询问节点从占比最大的哈希码的主机下载主机名映射目录，并更新自己的目录数据；
地址映射目录校验流程是：(1)、节点主动广播，询问地址映射目录数据数量；(2)、各个节点回复本节点的数据量大小；(3)、询问节点根据回复的数量来判别自己的数据是否是最新的，如果数量是最大的，则说明是最新的。
所述方法的数据删除采用集中删除方式，先标记本数据是否删除，然后在固定的时间一次性删除数据；
标记流程为：(1)、向某节点请求删除一条数据；(2)、此节点广播删除消息；(3)、各个节点标记删除此数据；
删除流程为：(1)、某节点向全网广播，集中清除数据；(2)、所有节点锁定地址映射目录，并回复此节点，在期间接收到的广播新增信息放入临时地址映射目录，收到的删除广播信息放入删除列表；(3)、各个节点清除标记的数据；(4)、解锁地址映射目录，并把临时地址映射目录的数据复制到地址映射目录，把删除列表的数据在地址映射目录进行标记，清空临时地址映射目录和删除列表。
本发明的系统和方法可以实现系统轻量级便捷的部署，实现自动化的文件配置；能够很好地减轻目录服务器的负载，实现系统的稳定流畅运行。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明存储系统的部署框架图；
图2是本发明节点内部主要构成图；
图3是本发明地址映射目录结构图；
图4本发明存储结构图。
具体实施方式
见图1所示，是本发明的系统包括若干个文件存储服务器和文件存储系统软件。
S10：若干个文件存储服务器。
文件存储服务器安装文件存储系统软件，分别由若干台这样的服务器组成，没有主从节点之分，全部属于平等的节点。
S20：文件存储系统软件包含哈希码生成方法、地址映射目录、主机名字映射目录、文件存储结构、数据同步机制和数据上传功能。
S21：文件上传模块负责文件的上传。上传文件工作的流程：(1)用户向任意一台服务器提交文件；(2)服务器根据设定的哈希内容获取哈希值，并返回哈希值；(3)启动数据同步校验；(4)根据校验的结果进行同步数据。
S22：文件删除模块负责文件的删除。删除文件工作流程：(1)用户向任意一台服务器提交哈希码，服务器查找文件是否在本地，如果没有，则标记删除地址映射目录中的本文件的信息；(2)启动数据同步校验，使各个服务器的地址映射目录均标记本信息。
S23：文件读取模块负责对服务器的文件内容进行读取并返回，其流程为：(1)向任意一台服务器请求读取文件；(2)服务器查询文件是否在本地，如果在本地则直接返回文件的信息；如果不在本地则根据映射的信息，把请求跳转到相应的服务器；(3)跳转到的服务器回复文件的信息。
S24：守护进程模块主要对用户数据的持续校验及数据的同步，工作流程是：(1)定时启动数据同步的校验，校验地址映射目录和主机名字映射目录；(2)如果发现地址映射目录或者主机名字映射目录存在数据不一致的情况，则进入下一步；(3)启动数据同步流程，同步数据。
哈希码生成
在本发明中哈希码主要用于唯一标识文件，其生成的主要方法是：对文件、文件名称与时间戳的字节内容进行哈希编码，得到唯一的文件名称。其实现方法为：获取文件的字节内容并放入数组；获取时间戳并放入同一数组；对数组进行哈希，生成唯一的哈希码作为文件的名称。
地址映射目录
地址映射目录主要用于快速查找文件，是文件名称与实际物理存储的映射表；由于每张文件的映射数据小，所以地址映射表完整的驻留在内存中，并在更新表的时候写入硬盘。地址映射目录在每个节点主机都存储一份，并且每个节点维护地址映射目录，实时相互同步更新地址映射目录表的内容。当一个新的节点加入系统时，节点会自动同步地址映射目录表。
主机名字映射目录
主机名字映射目录主要用于主机名字与IP的映射,使得节点被迁移的时候更加简单便捷。此目录可以由节点自动维护。当一个新的节点加入系统，会自动更新主机名字映射目录表，并广播自己的主机和IP信息。
文件存储结构
如图2所示，是节点的内部主要构成图，主要由数据存储、临时地址映射目录、地址映射目录和删除列表组成；数据存储是用于实际的内容存储；临时地址映射目录是用于新增数据的映射临时存储；地址映射目录是存储文件哈希码与物理存储地址的映射；删除列表是存储要删除的文件的哈希码。地址映射目录结构如图3所示。
如图4所示，文件存储结构分别由文件字节内容、文件名称、文件格式、时间戳和哈希码构成。哈希码是对文件、文件名称与时间戳进行取哈希值所得。
数据同步机制
数据同步机制主要是同步地址映射目录表和主机名字映射目录表。数据的同步分为新增节点同步和新增数据同步。
新增节点主机名字映射目录同步流程为：(1)读取主机名字映射目录配置文件中的首IP地址；(2)向主机名字映射目录中的节点请求同步配置文件；(3)节点同意同步数据；(4)节点推送配置文件；(5)新增节点往配置文件中写入所同步的数据；(6)新增节点往配置文件末端写入自己的IP地址；(7)广播一个新增节点的消息；(8)各节点收到消息后把信息写入配置文件。
新增或删除地址映射目录的数据同步流程为：(1)读取主机名字映射目录配置文件中的首IP地址；(2)向此IP节点请求读取地址映射目录；(3)此IP节点告知同步数据的节点，同意同步数据，并锁定自己的地址映射目录数据；(4)同步数据的节点启动地址映射目录数据广播的监听进程，监听广播的数据；(5)此IP节点和需要同步数据的节点如果监测到有广播的删除或者新增的数据，则把数据写入临时地址目录；(6)需要同步数据的节点从此IP节点读取地址映射目录；(7)数据同步完毕后，告知此IP节点，解锁目录，把临时地址目录的内容复制到地址映射目录；(8)数据同步节点复制临时地址映射目录数据到地址映射目录，至此，两节点间的数据同步结束。
节点主动同步地址映射目录数据流程：(1)询问所有节点的数据量；(2)根据各个节点的回复，找出地址目录数据数量最大的节点；(3)向此节点请求增量数据。
数据同步校验
通过定时检查数据，确定数据的正确性
节点主机名字映射目录校验流程：(1)节点按照主机名映射目录的记录主动向所有节点询问配置内容；(2)所有节点读取配置内容，按照主机名字字母进行升序排列，并且对内容取哈希码，附带哈希码回复询问节点；(3)询问节点收到其他节点发来的回应消息，统计回复的哈希码，找出占比最大的哈希码，与询问节点比对哈希码，如果哈希码不一致，询问节点从占比最大的哈希码的主机下载主机名映射目录，并更新自己的目录数据。
地址映射目录校验流程：(1)节点主动广播，询问地址映射目录数据数量；(2)各个节点回复本节点的数据量大小；(3)询问节点根据回复的数量来判别自己的数据是否是最新的，如果数量是最大的，则说明是最新的。
删除数据
系统删除数据，采用的是集中删除的方式，即先标记本数据是否删除，然后再在固定的时间一次性删除数据，其流程为：(1)向某节点请求删除一条数据；(2)此节点广播删除消息；(3)各个节点标记删除此数据。集中删除的流程为：(1)某节点向全网广播，集中清除数据；(2)所有节点锁定地址映射目录，并回复此节点，在期间接收到的广播新增信息放入临时地址映射目录，收到的删除广播信息放入删除列表；(3)各个节点清除标记的数据；(4)解锁地址映射目录，并把临时地址映射目录的数据复制到地址映射目录，把删除列表的数据在地址映射目录进行标记，清空临时地址映射目录和删除列表。

Claims (10)

1.一种轻量级非主从分布式路由文件查询存储系统，其特征在于：所述系统包括若干个文件存储服务器和文件存储系统软件，所述的文件存储服务器之间为平等的节点、没有主从区分；所述的文件存储系统软件实现哈希码生成方法、地址映射目录、主机名字映射目录、文件存储结构、数据同步机制和数据上传功能。
2.根据权利要求1所述的系统，其特征在于：所述的文件存储系统软件包括文件上传模块、文件删除模块、文件读取模块和守护进程模块；所述文件上传模块负责文件的上传，文件删除模块负责文件、数据的删除，文件读取模块负责对服务器的文件内容进行读取并返回，守护进程模块对用户数据进行持续校验和同步。
3.一种权利要求1或2所述系统的实现方法，其特征在于：所述的方法包括文件上传、文件和数据删除、文件读取、数据校验及同步；
所述的文件上传流程是：(1)、用户向任意一台服务器提交文件；(2)、服务器根据设定的哈希内容获取哈希码，并返回哈希码；(3)、启动数据同步校验；(4)、根据校验的结果进行同步数据；
所述的文件删除流程是：(1)、用户向任意一台服务器提交哈希码，服务器查找文件是否在本地，如果没有，则标记删除地址映射目录中本文件的信息；(2)、启动数据同步校验，使各个服务器的地址映射目录均标记本信息；
所述的文件读取流程为：(1)、向任意一台服务器请求读取文件；(2)、服务器查询文件是否在本地，如果在本地则直接返回文件的信息；如果不在本地则根据映射的信息，将请求跳转到相应的服务器；(3)、跳转到的服务器回复文件的信息；
所述的数据校验及同步流程是：(1)、定时启动数据同步的校验，校验地址映射目录和主机名字映射目录；(2)、如果发现地址映射目录或者主机名字映射目录存在数据不一致的情况，则进入下一步；(3)、启动数据同步流程，同步数据。
4.根据权利要求3所述的方法，其特征在于：所述方法的哈希码生成方法是获取文件的字节内容并放入数组，获取时间戳并放入同一数组；对数组进行哈希，生成唯一的哈希码作为文件的名称。
5.根据权利要求3所述的方法，其特征在于：所述方法的地址映射目录实现快速查找文件，是文件名称与实际物理存储的映射表；映射表完整的驻留在内存中，并在更新表的时候写入硬盘；
地址映射目录在每个节点主机都存储一份；每个节点维护地址映射目录，实时相互同步更新地址映射目录表的内容；当新节点加入系统时，每个节点自动同步地址映射目录表。
6.根据权利要求3所述的方法，其特征在于：所述方法的主机名字映射目录由节点自动维护，实现主机名字与IP的映射；当新节点加入系统，每个节点自动更新主机名字映射目录表，并广播自己的主机和IP信息。
7.根据权利要求3所述的方法，其特征在于：所述方法的文件存储结构由文件字节内容、文件名称、文件格式、时间戳和哈希码构成。
8.根据权利要求3所述的方法，其特征在于：所述方法的数据同步包括同步地址映射目录表和主机名字映射目录表，分为新增节点同步和新增数据同步；具体区分为新增节点主机名字映射目录同步、新增或删除地址映射目录的数据同步和节点主动同步地址映射目录数据；
新增节点主机名字映射目录同步流程是：(1)、读取主机名字映射目录配置文件中的首IP地址；(2)、向主机名字映射目录中的节点请求同步配置文件；(3)、节点同意同步数据；(4)、节点推送配置文件；(5)、新增节点往配置文件中写入所同步的数据；(6)、新增节点往配置文件末端写入自己的IP地址；(7)、广播一个新增节点的消息；(8)、各节点收到消息后把信息写入配置文件；
新增或删除地址映射目录的数据同步流程为：(1)、读取主机名字映射目录配置文件中的首IP地址；(2)、向此IP节点请求读取地址映射目录；(3)、此IP节点告知同步数据的节点，同意同步数据，并锁定自己的地址映射目录数据；(4)、同步数据的节点启动地址映射目录数据广播的监听进程，监听广播的数据；(5)、此IP节点和需要同步数据的节点如果监测到有广播的删除或者新增的数据，则把数据写入临时地址目录；(6)、需要同步数据的节点从此IP节点读取地址映射目录；(7)、数据同步完毕后，告知此IP节点，解锁目录，把临时地址目录的内容复制到地址映射目录；(8)、数据同步节点复制临时地址映射目录数据到地址映射目录；
节点主动同步地址映射目录数据流程是：(1)、询问所有节点的数据量；(2)、根据各个节点的回复，找出地址目录数据数量最大的节点；(3)、向此节点请求增量数据。
9.根据权利要求3所述的方法，其特征在于：所述方法的数据校验是通过定时检查数据，确定数据的正确性；包括节点主机名字映射目录校验和地址映射目录校验；
节点主机名字映射目录校验流程包括：(1)、节点按照主机名映射目录的记录主动向所有节点询问配置内容；(2)、所有节点读取配置内容，按照主机名字字母进行升序排列，并且对内容取哈希码，附带哈希码回复询问节点；(3)、询问节点收到其他节点发来的回应消息，统计回复的哈希码，找出占比最大的哈希码，与询问节点比对哈希码，如果哈希码不一致，询问节点从占比最大的哈希码的主机下载主机名映射目录，并更新自己的目录数据；
地址映射目录校验流程是：(1)、节点主动广播，询问地址映射目录数据数量；(2)、各个节点回复本节点的数据量大小；(3)、询问节点根据回复的数量来判别自己的数据是否是最新的，如果数量是最大的，则说明是最新的。
10.根据权利要求3所述的方法，其特征在于：所述方法的数据删除采用集中删除方式，先标记本数据是否删除，然后在固定的时间一次性删除数据；
标记流程为：(1)、向某节点请求删除一条数据；(2)、此节点广播删除消息；(3)、各个节点标记删除此数据；
删除流程为：(1)、某节点向全网广播，集中清除数据；(2)、所有节点锁定地址映射目录，并回复此节点，在期间接收到的广播新增信息放入临时地址映射目录，收到的删除广播信息放入删除列表；(3)、各个节点清除标记的数据；(4)、解锁地址映射目录，并把临时地址映射目录的数据复制到地址映射目录，把删除列表的数据在地址映射目录进行标记，清空临时地址映射目录和删除列表。
CN201910857174.2A 2019-09-11 2019-09-11 一种轻量级非主从分布式路由文件查询存储系统及方法 Withdrawn CN110727640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910857174.2A CN110727640A (zh) 2019-09-11 2019-09-11 一种轻量级非主从分布式路由文件查询存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910857174.2A CN110727640A (zh) 2019-09-11 2019-09-11 一种轻量级非主从分布式路由文件查询存储系统及方法

Publications (1)

Publication Number Publication Date
CN110727640A true CN110727640A (zh) 2020-01-24

Family

ID=69218095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910857174.2A Withdrawn CN110727640A (zh) 2019-09-11 2019-09-11 一种轻量级非主从分布式路由文件查询存储系统及方法

Country Status (1)

Country Link
CN (1) CN110727640A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694887A (zh) * 2020-06-12 2020-09-22 最美天气(上海)科技有限公司 一种数据适应性存储调度系统及方法
CN114328134A (zh) * 2022-03-16 2022-04-12 深圳超盈智能科技有限公司 计算机内存动态测试系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996843A (zh) * 2005-12-26 2007-07-11 北大方正集团有限公司 轻量级分布式文件存储系统及文件上传的方法
US7266556B1 (en) * 2000-12-29 2007-09-04 Intel Corporation Failover architecture for a distributed storage system
CN103916483A (zh) * 2014-04-28 2014-07-09 中国科学院成都生物研究所 一种针对编码冗余存储系统的自适应数据存储与重构方法
CN104935668A (zh) * 2015-06-26 2015-09-23 四川长虹电器股份有限公司 分布式文件系统及其数据同步的方法
CN106407214A (zh) * 2015-08-02 2017-02-15 郑建锋 分布式存储方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266556B1 (en) * 2000-12-29 2007-09-04 Intel Corporation Failover architecture for a distributed storage system
CN1996843A (zh) * 2005-12-26 2007-07-11 北大方正集团有限公司 轻量级分布式文件存储系统及文件上传的方法
CN103916483A (zh) * 2014-04-28 2014-07-09 中国科学院成都生物研究所 一种针对编码冗余存储系统的自适应数据存储与重构方法
CN104935668A (zh) * 2015-06-26 2015-09-23 四川长虹电器股份有限公司 分布式文件系统及其数据同步的方法
CN106407214A (zh) * 2015-08-02 2017-02-15 郑建锋 分布式存储方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴吉义 等人: ""一种对等结构的云存储系统研究"", 《电子学报》, no. 2011, 15 May 2011 (2011-05-15), pages 1100 - 1107 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694887A (zh) * 2020-06-12 2020-09-22 最美天气(上海)科技有限公司 一种数据适应性存储调度系统及方法
CN111694887B (zh) * 2020-06-12 2023-07-04 最美天气(上海)科技有限公司 一种数据适应性存储调度系统及方法
CN114328134A (zh) * 2022-03-16 2022-04-12 深圳超盈智能科技有限公司 计算机内存动态测试系统
CN114328134B (zh) * 2022-03-16 2022-05-31 深圳超盈智能科技有限公司 计算机内存动态测试系统

Similar Documents

Publication Publication Date Title
US9626420B2 (en) Massively scalable object storage system
RU2425415C2 (ru) Обновление и репликация ресурсов
US20190356751A1 (en) Providing access to managed content
JP5090450B2 (ja) 階層に編成され、ネットワークを介してリンクされた複数のノードに保管された複製データを更新するための方法、プログラム、およびコンピュータ可読媒体
US20190370362A1 (en) Multi-protocol cloud storage for big data and analytics
EP2498476B1 (en) Massively scalable object storage system
US7653668B1 (en) Fault tolerant multi-stage data replication with relaxed coherency guarantees
US20190370360A1 (en) Cloud storage distributed file system
US20170124111A1 (en) System And Method For Synchronizing File Systems With Large Namespaces
US20120233418A1 (en) Massively scalable object storage
US20170075921A1 (en) Hosted file sync with direct access to hosted files
US20120233119A1 (en) Openstack database replication
US20190370365A1 (en) Distributed transactions in cloud storage with hierarchical namespace
EP2329379A1 (en) Shared namespace for storage clusters
CN111386522A (zh) 数据库表的多区多主复制
CN112035420B (zh) 数据共享方法、共享设备和系统
CN110727640A (zh) 一种轻量级非主从分布式路由文件查询存储系统及方法
EP2079219B1 (en) Data sharing system, data sharing method, information processing apparatus, and computer-readable storage medium
CN110750546A (zh) 一种数据库的更新方法及装置
CN115185891A (zh) 文件系统的数据管理方法及装置、电子设备及存储介质
CN114185991A (zh) 基于分布式数据库实现数据同步的方法及相关装置
CN111737052B (zh) 分布式对象存储系统及方法
WO2017077616A1 (ja) データベースシステム、トランザクション管理ノード、方法およびプログラム
JP4224289B2 (ja) データの複製管理方法
JP2005063374A (ja) データ管理方法、データ管理装置、およびそのためのプログラムならびに記録媒体。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200124