CN106598499A - 一种基于fpga的分布式文件系统架构 - Google Patents

一种基于fpga的分布式文件系统架构 Download PDF

Info

Publication number
CN106598499A
CN106598499A CN201611150381.7A CN201611150381A CN106598499A CN 106598499 A CN106598499 A CN 106598499A CN 201611150381 A CN201611150381 A CN 201611150381A CN 106598499 A CN106598499 A CN 106598499A
Authority
CN
China
Prior art keywords
fpga
file system
distributed file
node
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611150381.7A
Other languages
English (en)
Inventor
李进
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Toyou Feiji Electronics Co ltd
Original Assignee
Shenzhen City Rui Bo Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Rui Bo Storage Technology Co Ltd filed Critical Shenzhen City Rui Bo Storage Technology Co Ltd
Priority to CN201611150381.7A priority Critical patent/CN106598499A/zh
Publication of CN106598499A publication Critical patent/CN106598499A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于FPGA的分布式文件系统架构，包括至少一个FPGA纠删运算设备、用于存放数据的存储节点至少一个和提供数据访问的共享节点至少一个，共享节点连接FPGA纠删运算设备，FPGA纠删运算设备连接存储节点。本发明的优点是：发挥FPGA计算功能，减少分布式文件系统中需要大量计算纠删码，而配置的高性能X86CPU和大量内存。从而降低在使用纠删码作为容错方式的分布式文件系统总体硬件拥有成本。

Description

一种基于FPGA的分布式文件系统架构
技术领域
本发明涉及计算机系统存储领域，尤其涉及分布式存储。
背景技术
现代社会对信息化的需求催生了云计算和大数据两大热门领域。无论是云计算、大数据还是互联网公司的各种应用，其后台基础设施都是构建低成本、高性能、可扩展的分布式存储系统。
JBOD(Just a Bunch Of Disks)磁盘簇是存储领域中一类的存储设备，通常是在一个底板上安装带有多个磁盘驱动器的存储设备。JBOD与RAID阵列相比较的优势在于它的低成本，可以将多个磁盘合并到共享电源和风扇的盒子里，因此提供了一种经济的节省空间的配置存储方式。
FPGA(Field Programmable Gate Array)，即场效可编程逻辑闸阵列，它是在PAL、GAL、CPLD等可编程逻辑器件的基础上进一步发展的产物。它是作为专用集成电路领域中的一种半定制电路而出现的，具有体系结构和逻辑单元灵活、集成度高以及适用范围宽等特点。
FPGA兼容了PLD和通用门阵列的优点，可实现较大规模的电路，编程也很灵活。几乎所有应用门阵列、PLD和中小规模通用数字集成电路的场合均可应用FPGA。
现有的分布式存储架构中大多以x86服务器作为基本节点，成本较高。
发明内容
本发明的主要目的在于提供一种基于FPGA的分布式文件系统架构，旨在保证架构整体容错性、可扩展性以及容错性的同时，进一步降低分布式存储系统的成本。
为了实现上述目的，本发明提供了一种基于FPGA的分布式文件系统架构，其特征在于，包括至少一个FPGA纠删运算设备、用于存放数据的存储节点至少一个和提供数据访问的共享节点至少一个，共享节点连接FPGA纠删运算设备，FPGA纠删运算设备连接存储节点。
优选地，使用所述共享节点来接收或发送数据。
设置至少两个存储节点每个节点提供不同的共享服务。
优选地，设置至少一个存储节点，每个存储节点提供不同的共享服务
优选地，所述共享节点使用一个能提供至少一种共享服务，至少一个共享节点达到负载均衡。
优选地，所述共享节点能提供至少一种共享服务。
优选地，所述共享节点之间负载均衡。
优选地，所述的共享服务包括NFS、CIFS和ISCSI。
优选地，使用FPGA纠删运算设备将共享节点接收的数据按照纠删算法进行计算分片或计算出所需数据的存储位置。
优选地，所述存储节点写入由FPGA纠删运算设备处理过的数据或者读取经FPGA纠删运算设备定位的数据。
优选地，在所述FPGA纠删运算设备上配置纠删算法，在出现网络中断、掉电、服务器宕机故障导致部分存储节点不可用时，能确保数据安全可用。
优选地，所述共享节点使用x86架构设备作为共享节点。
优选地，使用基于FPGA的设备用作纠删运算，将共享节点接收的数据按照纠删算法进行计算分片或计算出所需数据的存储位置。
优选地，使用所述基于FPGA纠删设备作为数据计算单元。
优选地，所述存储节点写入读取来自FPGA纠删设备处理过的数据或者读取经FPGA纠删设备定位的数据。
优选地，也可以选用更为廉价JBOD设备作为存储节点，进一步降低成本。
优选地，所述分布式架构包括多个用于存放客户数据和支持所述客户所有业务处理需要的应用系统的数据中心节点，其中：所述数据中心节点包括多个数据节点，所述多个数据节点存放所述客户数据的多个副本，所述多个数据节点包括一个主数据节点和至少一个从数据节点。本发明在实现分布式架构优点的同时，在所述分布式架构中数据节点发生故障时，依然保持高可用性同时保证数据一致，并最大程度的缩小故障的影响范围。
本发明具有：高扩展性，能够通过增加所述分布式文件系统架构中的存储节点的数量，对所述分布式文件系统架构进行扩容。可以使用多个FPGA纠删运算设备，提高分布式文件系统的可用性。容错性，通过配置对应的纠删算法，在出现网络中断、掉电、服务器宕机等故障导致部分存储节点不可用时，也能确保数据安全可用。
x86架构设备作为共享节点能够兼容现有的大部分文件系统(CIFS、NFS等)和协议(ISCSI)，技术成熟、便于使用。使用所述基于FPGA纠删设备作为数据计算单元，计算效率高、性能好，成本相对传统的的x86架构服务器更为低廉。
本发明的工作原理是：分布式文件系统客户端在接收到数据时，先通过网络传输给使用FPGA作为CPU的计算节点，该节点通过计算得到文件的纠删码，然后通过网络传输给后端存储节点。
本发明的优点是：发挥FPGA计算功能，减少分布式文件系统中需要大量计算纠删码，而配置的高性能X86CPU和大量内存。从而降低在使用纠删码作为容错方式的分布式文件系统总体硬件拥有成本。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为一种基于FPGA的分布式文件系统架构示意图；
具体实施方式
下面可以参照附图1以及文字内容理解本发明的内容以及本发明与现有技术之间的区别点。下文通过附图以及列举本发明的一些可选实施例的方式，对本发明的技术方案(包括优选技术方案)做进一步的详细描述。需要说明的是：本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种，为了描述简洁的需要本文件中无法穷举本发明的所有可替代的技术特征以及可替代的技术方案，也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一，所以本领域技术人员应该知晓：可以将本发明提供的任意技术手段进行替换或将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到新的技术方案。本实施例内的任何技术特征以及任何技术方案均不限制本发明的保护范围，本发明的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本发明提供的任意两个或更多个技术手段或技术特征互相进行组合而得到的新的技术方案。
本发明实施例提供了一种基于FPGA的分布式文件系统架构。
下面结合图1对本发明提供的技术方案进行更为详细的阐述。
实施例1
一种基于FPGA的分布式文件系统架构，包括两个FPGA纠删运算设备、两个用于存放数据的存储节点和两个提供数据访问的共享节点，共享节点连接FPGA纠删运算设备，FPGA纠删运算设备连接存储节点；使用所述共享节点来接收或发送数据；每个节点提供不同的共享服务。
实施例2
如上所述实施例一种基于FPGA的分布式文件系统架构，设置两个存储节点，每个存储节点提供不同的共享服务。
实施例3
如上所述实施例一种基于FPGA的分布式文件系统架构，使用一个共享节点能提供至少一种共享服务，各个共享节点达到负载均衡。
实施例4
如上所述实施例一种基于FPGA的分布式文件系统架构，所述共享节点能提供至少一种共享服务，所述共享节点之间负载均衡，所述的共享服务包括NFS、CIFS和ISCSI。
实施例5
如上所述实施例一种基于FPGA的分布式文件系统架构，使用FPGA纠删运算设备将共享节点接收的数据按照纠删算法进行计算分片或计算出所需数据的存储位置。
实施例6
如上所述实施例一种基于FPGA的分布式文件系统架构，所述存储节点写入由FPGA纠删运算设备处理过的数据或者读取经FPGA纠删运算设备定位的数据。
实施例7
如上所述实施例一种基于FPGA的分布式文件系统架构，在所述FPGA纠删运算设备上配置纠删算法，在出现网络中断、掉电、服务器宕机故障导致部分存储节点不可用时，能确保数据安全可用。
实施例8
如上所述实施例一种基于FPGA的分布式文件系统架构，所述共享节点使用x86架构设备作为共享节点。
实施例9
如上所述实施例一种基于FPGA的分布式文件系统架构，使用基于FPGA的设备用作纠删运算，将共享节点接收的数据按照纠删算法进行计算分片或计算出所需数据的存储位置。
实施例10
如上所述实施例一种基于FPGA的分布式文件系统架构，使用所述基于FPGA纠删设备作为数据计算单元。
实施例11
如上所述实施例一种基于FPGA的分布式文件系统架构，所述存储节点写入读取来自FPGA纠删设备处理过的数据或者读取经FPGA纠删设备定位的数据。
实施例12
如上所述实施例一种基于FPGA的分布式文件系统架构，也可以选用更为廉价JBOD设备作为存储节点，进一步降低成本。
上述本发明所公开的任意技术方案除另有声明外，如果其公开了数值范围，那么公开的数值范围均为优选的数值范围，任何本领域的技术人员应该理解：优选的数值范围仅仅是诸多可实施的数值中技术效果比较明显或具有代表性的数值。由于数值较多，无法穷举，所以本发明才公开部分数值以举例说明本发明的技术方案，并且，上述列举的数值不应构成对本发明创造保护范围的限制。
如果本文中使用了“第一”、“第二”等词语来限定零部件的话，本领域技术人员应该知晓：“第一”、“第二”的使用仅仅是为了便于描述上对零部件进行区别如没有另行声明外，上述词语并没有特殊的含义。
另外，上述本发明公开的任意技术方案中所应用的用于表示位置关系或形状的术语除另有声明外其含义包括与其近似、类似或接近的状态或形状。本发明提供的任意部件既可以是由多个单独的组成部分组装而成，也可以为一体成形工艺制造出来的单独部件。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (9)

1.一种基于FPGA的分布式文件系统架构，其特征在于，包括至少一个FPGA纠删运算设备、用于存放数据的存储节点至少一个和提供数据访问的共享节点至少一个，共享节点连接FPGA纠删运算设备，FPGA纠删运算设备连接存储节点。
2.如权利要求1所述的基于FPGA的分布式文件系统架构，其特征在于，使用所述共享节点来接收或发送数据。
3.如权利要求1所述的基于FPGA的分布式文件系统架构，其特征在于，设置至少两个存储节点每个节点提供不同的共享服务。
4.如权利要求1所述的基于FPGA的分布式文件系统架构，其特征在于，所述共享节点能提供至少一种共享服务。
5.如权利要求1所述的基于FPGA的分布式文件系统架构，其特征在于，所述共享节点之间负载均衡。
6.如权利要求1所述的基于FPGA的分布式文件系统架构，其特征在于，所述的共享服务包括NFS、CIFS和ISCS I。
7.如权利要求2所述的基于FPGA的分布式文件系统架构，其特征在于，使用FPGA纠删运算设备将共享节点接收的数据按照纠删算法进行计算分片或计算出所需数据的存储位置。
8.如权利要求3所述的基于FPGA的分布式文件系统架构，其特征在于，所述存储节点写入由FPGA纠删运算设备处理过的数据或者读取经FPGA纠删运算设备定位的数据。
9.如权利要求1-5所述的基于FPGA的分布式文件系统架构，其特征在于，在所述FPGA纠删运算设备上配置纠删算法，在出现网络中断、掉电、服务器宕机故障导致部分存储节点不可用时，能确保数据安全可用。
CN201611150381.7A 2016-12-14 2016-12-14 一种基于fpga的分布式文件系统架构 Pending CN106598499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611150381.7A CN106598499A (zh) 2016-12-14 2016-12-14 一种基于fpga的分布式文件系统架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611150381.7A CN106598499A (zh) 2016-12-14 2016-12-14 一种基于fpga的分布式文件系统架构

Publications (1)

Publication Number Publication Date
CN106598499A true CN106598499A (zh) 2017-04-26

Family

ID=58801078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611150381.7A Pending CN106598499A (zh) 2016-12-14 2016-12-14 一种基于fpga的分布式文件系统架构

Country Status (1)

Country Link
CN (1) CN106598499A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491599A (zh) * 2018-10-24 2019-03-19 山东超越数控电子股份有限公司 一种分布式存储系统及其异构加速方法
CN113176850A (zh) * 2021-03-12 2021-07-27 湖南艾科诺维科技有限公司 基于srio接口的共享存储盘及其存取方法
CN116954523A (zh) * 2023-09-20 2023-10-27 苏州元脑智能科技有限公司 一种存储系统、数据存储方法、数据读取方法和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812519A (zh) * 2010-03-22 2012-12-05 莫塞德技术公司 具有错误校正的复合半导体存储设备
CN105378690A (zh) * 2013-04-30 2016-03-02 惠普发展公司，有限责任合伙企业 存储器节点差错校正
CN106201766A (zh) * 2016-07-25 2016-12-07 深圳市中博科创信息技术有限公司 数据存储控制方法及数据服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812519A (zh) * 2010-03-22 2012-12-05 莫塞德技术公司 具有错误校正的复合半导体存储设备
CN105378690A (zh) * 2013-04-30 2016-03-02 惠普发展公司，有限责任合伙企业 存储器节点差错校正
CN106201766A (zh) * 2016-07-25 2016-12-07 深圳市中博科创信息技术有限公司 数据存储控制方法及数据服务器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491599A (zh) * 2018-10-24 2019-03-19 山东超越数控电子股份有限公司 一种分布式存储系统及其异构加速方法
CN113176850A (zh) * 2021-03-12 2021-07-27 湖南艾科诺维科技有限公司 基于srio接口的共享存储盘及其存取方法
CN116954523A (zh) * 2023-09-20 2023-10-27 苏州元脑智能科技有限公司 一种存储系统、数据存储方法、数据读取方法和存储介质
CN116954523B (zh) * 2023-09-20 2024-01-26 苏州元脑智能科技有限公司 一种存储系统、数据存储方法、数据读取方法和存储介质

Similar Documents

Publication Publication Date Title
Terry et al. Consistency-based service level agreements for cloud storage
Bermbach et al. Metastorage: A federated cloud storage system to manage consistency-latency tradeoffs
US20190340167A1 (en) Multi-master architectures for distributed databases
KR101315330B1 (ko) 대용량 데이터베이스와 인터페이스하기 위한 다 계층소프트웨어 시스템에서 캐쉬 콘텐츠의 일관성을 유지하는시스템 및 방법
Zhang et al. Does erasure coding have a role to play in my data center?
CN103237046B (zh) 支持混合云存储应用的分布式文件系统及实现方法
US20080271130A1 (en) Minimizing client-side inconsistencies in a distributed virtual file system
Pujol et al. The little engine (s) that could: Scaling online social networks
CN106598499A (zh) 一种基于fpga的分布式文件系统架构
CN105635310B (zh) 一种存储资源的访问方法及装置
US20190034087A1 (en) Reducing data amplification when replicating objects across different sites
US11461156B2 (en) Block-storage service supporting multi-attach and health check failover mechanism
Sun et al. RRSD: A file replication method for ensuring data reliability and reducing storage consumption in a dynamic Cloud-P2P environment
Mahmood et al. Karma: cost-effective geo-replicated cloud storage with dynamic enforcement of causal consistency
Kim et al. Safety, Visibility, and Performance in a {Wide-Area} File System
André et al. Archiving cold data in warehouses with clustered network coding
CN105681426B (zh) 异构系统
US20070083521A1 (en) Routing requests based on synchronization levels
US20010027467A1 (en) Massively distributed database system and associated method
CN111158949A (zh) 容灾架构的配置方法、切换方法及装置、设备和存储介质
CN109067898A (zh) 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法
Raindel et al. Replicate and bundle (rnb)--a mechanism for relieving bottlenecks in data centers
CN106713041A (zh) 会话日志的发送方法及装置
Gorbenko et al. Analysis of trade-offs in fault-tolerant distributed computing and replicated databases
Cooper et al. PNUTS to sherpa: Lessons from yahoo!'s cloud database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 237372 Anhui Lu'an Jinzhai County Zhenjiang Meishan shop community party and mass service center two floor

Applicant after: Anhui Bo Rui deposit information technology Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402

Applicant before: SHENZHEN ZBSTOR TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171113

Address after: 518000 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402

Applicant after: SHENZHEN CHINA BLOG IMFORMATION TECHNOLOGY Co.,Ltd.

Address before: 237372 Anhui Lu'an Jinzhai County Zhenjiang Meishan shop community party and mass service center two floor

Applicant before: Anhui Bo Rui deposit information technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190902

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Applicant after: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.

Address before: 518000 Room 1402, Feiyada Science and Technology Building, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN CHINA BLOG IMFORMATION TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426