CN104462129B - 分布式文件存储和查询方法及存取系统 - Google Patents

分布式文件存储和查询方法及存取系统 Download PDF

Info

Publication number
CN104462129B
CN104462129B CN201310432666.XA CN201310432666A CN104462129B CN 104462129 B CN104462129 B CN 104462129B CN 201310432666 A CN201310432666 A CN 201310432666A CN 104462129 B CN104462129 B CN 104462129B
Authority
CN
China
Prior art keywords
distributed
server
original document
file system
data base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310432666.XA
Other languages
English (en)
Other versions
CN104462129A (zh
Inventor
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Original Assignee
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University Founder Group Co Ltd
Priority to CN201310432666.XA priority Critical patent/CN104462129B/zh
Publication of CN104462129A publication Critical patent/CN104462129A/zh
Application granted granted Critical
Publication of CN104462129B publication Critical patent/CN104462129B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种分布式文件存储和查询方法及存取系统，所述分布式文件存储方法，包括：向服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；所述服务器对所述打包文件进行解压，并对解压出的所述描述文件进行解析，以解析出所述描述文件的描述内容；所述服务器将解压出的所述原始文件传输到分布式文件系统；所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址；所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库。由此，可以对存储的文件进行内容的分类和检索，实现了存储的数据与现有业务数据的结合。

Description

分布式文件存储和查询方法及存取系统
技术领域
本发明涉及计算机存储技术领域，具体涉及一种分布式文件存储和查询方法及存取系统。
背景技术
分布式文件存储是对普通的文件系统的扩展，通过水平增加机器来实现数据的多点备份和存储容量的扩充。但是仅仅实现静态文件的存储而不可以对存储的内容进行一个宏观的控制和分类在现在这个大数据时代是有很大的局限性的。
随着移动互联网时代的到来，互联网应用由原来的浏览器为客户端的应用变成了多平台多终端的模式，如手机客户端、Pad客户端等。这些终端产生的数据如果放在本地易丢失也不易跨终端访问和查看，这样的数据查看有很大的狭隘性，将这些数据全部放在服务端存储可以解决以上的局限。但是，随着用户和应用功能的增大，又会存在产生的数据的存储问题。一台服务器的存储容量有限，如果存满了就需要不停的加磁盘，如果机器硬件或者网络发生故障，就无法访问服务器，从而导致用户体验太差。
对于以上的存储问题，现有技术中提出了很多解决办法，比如用多台机器进行文件的备份和增加存储节点的方式来扩容，这种文件存储系统业内已经有很多成熟的应用，比如HDFS、FastDFS、MooseFS、KFS等，他们都可以实现文件存储服务的高可用和高容量，但是这样的文件存储可扩展性不强，虽然可以存储大量文件，但是对存储的文件进行内容的分类和检索有很大的局限性；并且所存储的数据和现有的业务数据很难进行结合。
发明内容
本发明所要解决的技术问题之一是对存储的文件进行内容的分类和检索有很大的局限性。
为此目的，本发明提出了一种分布式文件存储方法，包括：向服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；所述服务器对所述打包文件进行解压，并对解压出的所述描述文件进行解析，以解析出所述描述文件的描述内容；所述服务器将解压出的所述原始文件传输到分布式文件系统；所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址；所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库。
优选地，当所述分布式文件系统配置为多节点存储时，所述服务器将解压出的所述原始文件传输到分布式文件系统以及所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址包括：所述服务器向多节点存储的所述分布式文件系统发送存储指令；所述分布式文件系统根据容量和/或带宽，向所述服务器发送用于存储所述原始文件的存储节点的信息；所述服务器将所述原始文件传输到分布式文件系统的该存储节点内，以进行存储；所述分布式文件系统向所述服务器返回所述原始文件存储的存储节点及所述存储节点内的网络地址。
优选地，当所述分布式数据库配置为多节点记录时，所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库包括：所述服务器向多节点记录的所述分布式数据库发送记录指令；所述分布式数据库根据容量和/或带宽，向所述服务器发送用于存储所述原始文件存储的网络地址和解析出的描述内容的记录节点的信息；所述服务器将用于存储所述原始文件存储的网络地址和解析出的描述内容记录在所述分布式数据库的所述记录节点内。
本发明还公开了一种分布式文件查询方法，包括：向服务器发送查询条件；所述服务器根据接收到的查询条件，向分布式数据库发送查询请求，以对所述分布式数据库内存储的原始文件的描述内容进行检索；所述分布式数据库根据所述查询请求从分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果；所述服务器返回所述检索结果；对所述检索结果进行解析，从所述分布式文件系统获取所请求的原始文件。
优选地，当所述分布式数据库配置为多节点记录时，所述分布式数据库根据所述查询请求从分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果包括：所述分布式数据库根据所述查询请求从记录有所述描述内容的记录节点中选择带宽较大的记录节点来执行所述查询请求；所述分布式数据库内所述带宽较大的记录节点从所述分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果。
优选地，当所述分布式文件系统配置为多节点存储时，所述分布式数据库根据所述查询请求从分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果包括：所述分布式文件系统在存储有所请求的原始文件的存储节点中选择带宽较大的存储节点，并将所述存储节点和所述存储节点内所请求的原始文件的网络地址发送回所述分布式数据库；所述分布式数据库将检索结果返回给所述服务器；并且，从所述分布式文件系统获取所请求的原始文件包括：从所述分布式文件系统的所述带宽较大的存储节点内的所请求的原始文件的网络地址获取所请求的原始文件。
优选地，所述查询条件是所请求的原始文件的名称、修改时间、上传时间、原始文件大小、原始文件类型中的至少一项。
本发明还公开了一种分布式文件存取系统，包括：客户端、服务器、分布式文件系统和分布式数据库，其中：所述客户端用于向所述服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；所述服务器，用于对接收到的所述打包文件进行解压，对所述描述文件进行解析，以解析出所述描述文件的描述内容，将解压出的原始文件传输到分布式文件系统；并将分布式文件系统发来的所述原始文件存储的网络地址以及解析出的所述描述内容传输到分布式数据库；所述分布式文件系统用于存储所述服务器传输的所述原始文件，并将所述原始文件存储的网络地址返回至所述服务器；所述分布式数据库用于存储所述服务器传输的所述原始文件存储的网络地址和解析出的所述描述内容。
优选地，所述服务器还用于根据所述客户端发送的查询条件，向所述分布式数据库发送查询请求，以对所述分布式数据库内存储的描述内容进行检索；所述分布式数据库还用于根据所述查询请求从所述分布式文件系统索取所请求的原始文件的存储节点，并向所述服务器返回检索结果；所述客户端还用于根据所述服务器返回的所述检索结果，从所述分布式文件系统获取所请求的原始文件。
优选地，所述分布式文件系统设置为多节点存储，所述分布式文件系统根据容量和/或带宽来选择存储节点进行存储和/或获取操作；和/或所述分布式数据库设置为多节点记录。所述分布式数据库根据容量和/或带宽来选择记录节点进行记录和/或查询操作。
为了结合文件存储实现可扩展的存储，本发明基于诸如FastDFS的分布式文件系统和诸如Hbase的分布式数据库的结合，使用分布式文件系统来存储原始文件，使用分布式数据库来记录存储文件的属性状态等文件附加记录，这样同时进行记录和文件的存储，使得存储系统有很好的扩展性，并且可以对存储的文件进行内容的分类和检索，实现了存储的数据与现有业务数据的结合。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了根据本发明实施例的分布式文件存储方法；
图2示出了根据本发明实施例的分布式文件查询方法；
图3示出了根据本发明另一实施例的分布式文件存储方法；
图4示出了根据本发明另一实施例的分布式文件查询方法；
图5示出了根据本发明实施例的分布式文件存取系统。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
图1示出了根据本发明实施例的分布式文件存储方法。如图1所示，该方法包括如下步骤：
步骤S101：客户端向服务器上传打包文件。
客户端可以是网页、移动终端，其可以通过socket将打包文件传输到服务器，打包文件包括原始文件和对原始文件进行描述的描述文件。
步骤S102：服务器在接收到整个打包文件后对其进行解压，并对解压出的描述文件进行解析，以解析出描述文件的描述内容。
步骤S103：服务器将解压出的原始文件传输到分布式文件系统(例如，FastDFS)进行存储。
优选地，分布式文件系统可以设置为多节点存储。多节点存储可以解决很多实际应用场景遇到的问题，主要解决容量和带宽问题，例如在当前节点的存储空间不足时，多节点存储可以自动把未存储的部分存放到其他存储节点；在当前节点访问的用户过多时，服务会告知客户端连接其他存储节点；还可以将同一文件在奇数号和偶数号存储节点各放置一份，以防止单节点故障，从而实现可靠的存储。
步骤S104：分布式文件系统向服务器返回原始文件存储的网络地址。
分布式文件系统中具有主机，分布式文件系统通过其中的主机将原始文件存储的网络地址传输到服务器。
步骤S105：服务器向分布式数据库(例如，Hbase)传输原始文件存储的网络地址和解析出的描述内容，以便于统计和查找。
优选地，分布式数据库可以设置为多节点记录。多节点记录同样也是解决容量和带宽问题，以实现可靠的存储和高效的查询。
图2示出了根据本发明实施例的分布式文件查询方法。如图2所示，该方法包括如下步骤：
步骤S201：客户端向服务器发送查询条件。
查询条件可以是所需要请求的原始文件名称或者其他过滤条件，比如修改时间、上传时间、原始文件大小、原始文件类型等。
步骤S202：服务器根据接收到的查询条件，向分布式数据库发送查询请求，以对分布式数据库内存储的原始文件的描述内容进行检索。
步骤S203：分布式数据库根据查询请求从分布式文件系统索取所请求的原始文件存储的网络地址，并向服务器返回检索结果。
步骤S204：服务器将检索结果返回到客户端。
优选地，服务器可以将检索结果组织成规范的json串返回到客户端。
步骤S205：客户端解析服务器返回的检索结果，从分布式文件系统获取所请求的原始文件，以执行展示和下载等操作。
图3示出了根据本发明另一实施例的分布式文件存储方法。在该存储方法中，分布式文件系统为多节点存储，分布式数据库为多节点记录，该方法包括如下步骤：
步骤S301：客户端向服务器上传打包文件。
步骤S302：服务器在接收到整个打包文件后对其进行解压，并对解压出的描述文件进行解析，以解析出描述文件的描述内容。
步骤S303：服务器向多节点存储的分布式文件系统发送存储指令。
步骤S304：分布式文件系统根据容量和/或带宽，向服务器发送用于存储原始文件的存储节点的信息。
分布式文件系统内的主机判断各个存储节点的容量和/或带宽，从中选取一个或多个存储节点。根据客户端的需求，当存储的文件比较重要，需要多存储节点备份时，选取多个存储节点，从而可将同一文件存放在多个存储节点内，以防止单节点故障，实现可靠的存储。
步骤S305：服务器将原始文件传输到分布式文件系统的该存储节点内，以进行存储。
步骤S306：分布式文件系统向服务器返回原始文件存储的该存储节点及该存储节点内的网络地址。
步骤S307：服务器向多节点记录的分布式数据库发送记录指令。
步骤S308：分布式数据库根据容量和/或带宽，向服务器发送用于存储原始文件的存储节点、该存储节点内的网络地址和解析出的描述内容的记录节点的信息。
分布式数据库内的主机判断各个记录节点的容量和/或带宽，从中选取一个或多个记录节点。根据客户端的需求，当存储的文件比较重要，需要多记录节点备份时，选取多个记录节点，从而可将同一信息记录在多个记录节点内，以防止单节点故障，实现可靠的查询。
步骤S309：服务器将用于存储原始文件的存储节点、该存储节点内的网络地址和解析出的描述内容记录在分布式数据库的该记录节点内，以便于统计和查找。
由此，完成了分布式文件系统为多节点存储、分布式数据库为多节点记录的分布式文件存储方法，实现了可靠、高效的存储。本领域技术人员可以理解，在该分布式文件存储方法中，不一定需要同时采用多节点存储的分布式文件系统和多节点记录的分布式数据库这两者，而可以仅采用多节点存储的分布式文件系统，或者仅采用多节点记录的分布式数据库，本实施例并非意在限定本发明。
图4示出了根据本发明另一实施例的分布式文件查询方法。在该查询方法中，分布式文件系统为多节点存储，分布式数据库为多节点记录，该方法包括如下步骤：
步骤S401：客户端向服务器发送查询条件。
步骤S402：服务器根据接收到的查询条件，向分布式数据库发送查询请求，以对分布式数据库内存储的描述内容进行检索。
步骤S403：分布式数据库根据查询请求从记录有该描述内容的记录节点中选择带宽较大的记录节点来执行该查询请求。
步骤S404：分布式数据库内带宽较大的记录节点从分布式文件系统索取所请求的原始文件存储的存储节点和该存储节点内的网络地址。
步骤S405：分布式文件系统在存储有所请求的原始文件的存储节点中选择带宽较大的存储节点，并将该存储节点和该存储节点内所请求的原始文件的网络地址发送回分布式数据库。
步骤S406：分布式数据库将检索结果返回给服务器。
步骤S407：服务器将检索结果返回到客户端。
步骤S408：客户端解析服务器返回的检索结果，从分布式文件系统的该存储节点内的网络地址获取所请求的原始文件，以执行展示和下载等操作。
由此，完成了分布式文件系统为多节点存储、分布式数据库为多节点记录的分布式文件查询方法。本领域技术人员可以理解，在该分布式文件查询方法中，不一定需要同时采用多节点存储的分布式文件系统和多节点记录的分布式数据库这两者，而可以仅采用多节点存储的分布式文件系统，或者仅采用多节点记录的分布式数据库，本实施例并非意在限定本发明。
图5示出了根据本发明实施例的分布式文件存取系统。如图3所示，该系统包括客户端、服务器、分布式文件系统和分布式数据库，其中：客户端501用于向服务器502上传打包文件，打包文件包括原始文件和描述文件；服务器502用于对接收到的打包文件进行解压，对描述文件进行解析，以解析出描述文件的描述内容，并分别向分布式文件系统504和分布式数据库503传输文件；分布式文件系统504用于存储服务器502传输的原始文件，并将原始文件存储的网络地址返回至服务器502；分布式数据库503用于存储服务器502传输的原始文件存储的网络地址和解析出的描述内容。
更进一步地，服务器502还用于根据客户端501发送的查询条件，向分布式数据库503发送查询请求，以对分布式数据库503内存储的描述内容进行检索；分布式数据库503还用于根据查询请求从分布式文件系统504索取所请求的原始文件的网络地址，并向服务器502返回检索结果；客户端501还用于根据服务器返回的检索结果，从分布式文件系统504获取所请求的原始文件。
优选地，分布式文件系统504可以设置为多节点存储，以根据容量和/或带宽来选择存储节点进行存储和/或获取操作；和/或分布式数据库503可以设置为多节点记录。以根据容量和/或带宽来选择记录节点进行记录和/或查询操作。
通过采用本发明所公开的分布式文件存储和查询方法及存取系统，可以对存储的文件进行内容的分类和检索，实现了存储的数据与现有业务数据的结合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种分布式文件存储方法，包括：
向服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；
所述服务器对所述打包文件进行解压，并对解压出的所述描述文件进行解析，以解析出所述描述文件的描述内容；
所述服务器将解压出的所述原始文件传输到分布式文件系统；
所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址；
所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库；其中，
所述分布式文件系统为多节点存储；
所述分布式文件系统与所述分布式数据库相互独立。
2.根据权利要求1所述的分布式文件存储方法，其中，当所述分布式文件系统配置为多节点存储时，所述服务器将解压出的所述原始文件传输到分布式文件系统以及所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址包括：
所述服务器向多节点存储的所述分布式文件系统发送存储指令；
所述分布式文件系统根据容量和/或带宽，向所述服务器发送用于存储所述原始文件的存储节点的信息；
所述服务器将所述原始文件传输到分布式文件系统的该存储节点内，以进行存储；
所述分布式文件系统向所述服务器返回所述原始文件存储的存储节点及所述存储节点内的网络地址。
3.根据权利要求1或2所述的分布式文件存储方法，其中，当所述分布式数据库配置为多节点记录时，所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库包括：
所述服务器向多节点记录的所述分布式数据库发送记录指令；
所述分布式数据库根据容量和/或带宽，向所述服务器发送用于存储所述原始文件存储的网络地址和解析出的描述内容的记录节点的信息；
所述服务器将用于存储所述原始文件存储的网络地址和解析出的描述内容记录在所述分布式数据库的所述记录节点内。
4.一种分布式文件查询方法，包括：
向服务器发送查询条件；
所述服务器根据接收到的查询条件，向分布式数据库发送查询请求，以对所述分布式数据库内存储的原始文件的描述内容进行检索；
所述分布式数据库根据所述查询请求从分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果；
所述服务器返回所述检索结果；
对所述检索结果进行解析，从所述分布式文件系统获取所请求的原始文件；其中，
所述分布式文件系统中存储有所述原始文件，所述分布式数据库中存储有所述原始文件对应的描述内容和网络地址。
5.根据权利要求4所述的分布式文件查询方法，其中，当所述分布式数据库配置为多节点记录时，所述分布式数据库根据所述查询请求从分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果包括：
所述分布式数据库根据所述查询请求从记录有所述描述内容的记录节点中选择带宽较大的记录节点来执行所述查询请求；
所述分布式数据库内所述带宽较大的记录节点从所述分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果。
6.根据权利要求4或5所述的分布式文件查询方法，其中，当所述分布式文件系统配置为多节点存储时，所述分布式数据库根据所述查询请求从分布式文件系统索取所请求的原始文件存储的网络地址并向所述服务器返回检索结果包括：
所述分布式文件系统在存储有所请求的原始文件的存储节点中选择带宽较大的存储节点，并将所述存储节点和所述存储节点内所请求的原始文件的网络地址发送回所述分布式数据库；
所述分布式数据库将检索结果返回给所述服务器；
并且，从所述分布式文件系统获取所请求的原始文件包括：
从所述分布式文件系统的所述带宽较大的存储节点内的所请求的原始文件的网络地址获取所请求的原始文件。
7.根据权利要求4所述的方法，其中：
所述查询条件是所请求的原始文件的名称、修改时间、上传时间、原始文件大小、原始文件类型中的至少一项。
8.一种分布式文件存取系统，包括：客户端、服务器、分布式文件系统和分布式数据库，其中：
所述客户端用于向所述服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；
所述服务器，用于对接收到的所述打包文件进行解压，对所述描述文件进行解析，以解析出所述描述文件的描述内容，将解压出的原始文件传输到分布式文件系统；并将分布式文件系统发来的所述原始文件存储的网络地址以及解析出的所述描述内容传输到分布式数据库；
所述分布式文件系统用于存储所述服务器传输的所述原始文件，并将所述原始文件存储的网络地址返回至所述服务器；
所述分布式数据库用于存储所述服务器传输的所述原始文件存储的网络地址和解析出的所述描述内容。
9.根据权利要求8所述的系统，其中：
所述服务器还用于根据所述客户端发送的查询条件，向所述分布式数据库发送查询请求，以对所述分布式数据库内存储的描述内容进行检索；
所述分布式数据库还用于根据所述查询请求从所述分布式文件系统索取所请求的原始文件的存储节点，并向所述服务器返回检索结果；
所述客户端还用于根据所述服务器返回的所述检索结果，从所述分布式文件系统获取所请求的原始文件。
10.根据权利要求9所述的系统，其中：
所述分布式文件系统设置为多节点存储，所述分布式文件系统根据容量和/或带宽来选择存储节点进行存储和/或获取操作；和/或
所述分布式数据库设置为多节点记录，所述分布式数据库根据容量和/或带宽来选择记录节点进行记录和/或查询操作。
CN201310432666.XA 2013-09-22 2013-09-22 分布式文件存储和查询方法及存取系统 Expired - Fee Related CN104462129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310432666.XA CN104462129B (zh) 2013-09-22 2013-09-22 分布式文件存储和查询方法及存取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310432666.XA CN104462129B (zh) 2013-09-22 2013-09-22 分布式文件存储和查询方法及存取系统

Publications (2)

Publication Number Publication Date
CN104462129A CN104462129A (zh) 2015-03-25
CN104462129B true CN104462129B (zh) 2018-05-25

Family

ID=52908185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310432666.XA Expired - Fee Related CN104462129B (zh) 2013-09-22 2013-09-22 分布式文件存储和查询方法及存取系统

Country Status (1)

Country Link
CN (1) CN104462129B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970943A (zh) * 2017-02-21 2017-07-21 南京中新赛克科技有限责任公司 基于异构数据源和分布式文件系统的融合查询方法
CN108763436A (zh) * 2018-05-25 2018-11-06 福州大学 一种基于ElasticSearch与HBase的分布式数据存储系统
CN110752011A (zh) * 2019-10-16 2020-02-04 王蓉 一种构建dicom服务器集群的方法
CN110888840A (zh) * 2019-11-07 2020-03-17 浪潮电子信息产业股份有限公司 分布式文件系统中的文件查询方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102195936A (zh) * 2010-03-09 2011-09-21 新奥特（北京）视频技术有限公司 多媒体文件的存储方法及系统、读取方法及系统
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285681B2 (en) * 2009-06-30 2012-10-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102195936A (zh) * 2010-03-09 2011-09-21 新奥特（北京）视频技术有限公司 多媒体文件的存储方法及系统、读取方法及系统
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云数据管理系统中查询技术研究综述;史英杰 等;《计算机学报》;20130215;第36卷(第2期);第209-225页 *

Also Published As

Publication number Publication date
CN104462129A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104272274B (zh) 一种分布式文件存储系统中的数据处理方法及设备
CN105183394A (zh) 一种数据存储处理方法和装置
CN104603739A (zh) 对并行存储的块级访问
CN104462129B (zh) 分布式文件存储和查询方法及存取系统
US9355121B1 (en) Segregating data and metadata in a file system
CN108108476A (zh) 高可靠分布式日志系统的工作方法
CN108200196B (zh) 基于分布式架构的数据储存、查询方法及系统
CN109684282A (zh) 一种构建元数据缓存的方法及装置
CN104050248A (zh) 一种文件存储系统及存储方法
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN105677251A (zh) 基于Redis集群的存储系统
CN103312624A (zh) 一种消息队列服务系统和方法
CN113360456B (zh) 数据归档方法、装置、设备以及存储介质
CN104657435A (zh) 一种应用数据的存储管理方法和网络管理系统
CN104579765A (zh) 一种集群系统的容灾方法和装置
CN109783564A (zh) 支持多节点的分布式缓存方法及设备
CN109697020A (zh) 一种数据存储方法、服务器及系统
CN111400334A (zh) 数据处理方法、装置、存储介质及电子装置
CN115098426B (zh) Pcie设备管理方法、接口管理模块、pcie系统、设备和介质
CN109597903A (zh) 图像文件处理装置和方法、文件存储系统及存储介质
CN115686932A (zh) 备份集文件恢复方法、装置和计算机设备
US9172754B2 (en) Storage fabric address based data block retrieval
CN111435286A (zh) 一种数据存储方法、装置和系统
CN109871365A (zh) 一种分布式文件系统
CN107122136A (zh) 一种容量获取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180525

Termination date: 20190922

CF01 Termination of patent right due to non-payment of annual fee