CN107800808A - 一种基于Hadoop架构的数据存储系统 - Google Patents

一种基于Hadoop架构的数据存储系统 Download PDF

Info

Publication number
CN107800808A
CN107800808A CN201711133881.4A CN201711133881A CN107800808A CN 107800808 A CN107800808 A CN 107800808A CN 201711133881 A CN201711133881 A CN 201711133881A CN 107800808 A CN107800808 A CN 107800808A
Authority
CN
China
Prior art keywords
data
namenode
storage
cluster
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711133881.4A
Other languages
English (en)
Inventor
何烈军
杨培锋
苏灿廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Olympic Data Polytron Technologies Inc
Original Assignee
Guangdong Olympic Data Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Olympic Data Polytron Technologies Inc filed Critical Guangdong Olympic Data Polytron Technologies Inc
Priority to CN201711133881.4A priority Critical patent/CN107800808A/zh
Publication of CN107800808A publication Critical patent/CN107800808A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata

Abstract

本发明涉及一种基于Hadoop架构的数据存储系统，所述存储系统包括至少一应用服务器、备份服务器、数据库集群以及至少一核心层交换机；所述数据库集群包括第一子存储集群和第二子存储集群；将所述结构化数据的基础数据存储至第一子存储集群，将所述非结构化和半结构化的松散数据存储至第二子存储集群；所述应用服务器、备份服务器、数据库集群分别连接所述核心层交换机；所述应用服务器连接所述备份服务器和数据库集群，用于管理备份服务器和数据库集群的实时数据。本发明采用分布式存储的方式存储数据，采用冗余存储来保证数据的可靠性。HDFS模块可以跨机器地可靠地存储海量的文件，它将每个文件存储成同样大小的数据块序列。

Description

一种基于Hadoop架构的数据存储系统
技术领域
本发明属于大数据存储技术领域，具体涉及一种基于Hadoop架构的数据存储系统。
背景技术
数据按类型分为结构化数据、半结构化数据和非结构化数据，其中结构化数据是指能够以二维结构表示的一种数据类型，能通过关系型数据库存储；半结构化数据是指具有一定结构，但语义不够明确的一种数据类型，如邮件、HTML网页等，它们有些字段是确定的，也有些字段是不确定的；非结构化数据是指无法用二维结构表示的一种数据类型，主要包括办公文档、文本、图片、音视频文件等，无法采用关系型数据库进行处理。伴随社交网络的兴起和发展，产生了大量的UGC(User Generated Content，用户生成内容)，包括音频、视频、文本和图片等非结构化数据。另外，物联网的数据量也剧增，加上移动互联网可以更加准确、快速地搜集用户信息，如位置、生活信息等数据，大数据处理给我们提出了新的挑战。在所有数据中，结构化数据占数据总量的20％，半结构化数据和非结构化数据占数据总量的80％，如何科学管理和合理应用这些数据显得日益重要。
目前针对大数据的处理技术，包括并行数据库、MapReduce技术、并行数据库和MapReduce技术混合架构，其中对于大数据的统一处理技术属于第三类并行数据库和MapReduce技术混合架构，该技术有分为并行数据库主导型、MapReduce主导型、并行数据库和MapReduce集成型三种。并行数据库主导型是利用MapReduce来增强并行数据库的数据处理功能，如EMC的Greenplum，Aster Data，但其可扩展性和容错能力并未改变；MapReduce主导型是利用关系数据库的SQL(Structure Query Language，结构化查询语言)接口和对模式的支持来改善MapReduce的易用性，如Hive、Pig Latin，但其对于数据处理的实时性方面仍无法满足需求；并行数据库和MapReduce集成型是借助Hadoop框架来获得较好的容错性和对异构环境的支持，同时获得关系型数据库的性能优势，但是目前并无应用案例，究其原因在于无法把工作推给适合的执行引擎。
综上所述，现有的大数据存储技术中，并行数据库主导型可扩展性和容错能力不佳；MapReduce主导型数据处理的实时性方面仍无法满足需求；并行数据库和MapReduce集成型无法把工作推给适合的执行引擎。因此，在大数据存储领域，一直渴望一种对海量结构化数据和非结构化数据进行统一管理并且数据处理灵活性和易用性较好的存储系统。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于Hadoop架构的数据存储系统。
为实现以上目的，本发明采用如下技术方案：
一种基于Hadoop架构的数据存储系统，其改进之处在于：
所述存储系统包括至少一应用服务器、备份服务器、数据库集群以及至少一核心层交换机；
所述数据库集群包括第一子存储集群和第二子存储集群；将所述结构化数据的基础数据存储至第一子存储集群，将所述非结构化和半结构化的松散数据存储至第二子存储集群；
所述应用服务器、备份服务器、数据库集群分别连接所述核心层交换机；
所述应用服务器连接所述备份服务器和数据库集群，用于管理备份服务器和数据库集群的实时数据。
进一步的，
所述第二子存储集群包括一个主服务器和多个块服务器；所述主服务器和和多个块服务器构建Hadoop集群平台；所述Hadoop集群平台中的HDFS模块用于存储Hadoop集群中所有存储节点上的文件。
进一步的，所述主服务器配置管理者文件系统NameNode名称节点，用于在HDFS模块内部提供元数据服务；所述块服务器配置文件系统的DataNode数据节点，用于根据客户端或者是NameNode名称节点的调度存储和检索数据，并定期向NameNode名称节点发送所存储的块的列表。
进一步的，存储在HDFS模块中的文件被分成块，将存储的块复制到多个块服务器DataNode数据节点上，所述主服务器NameNode名称节点用于控制多个块服务器DataNode数据节点上所有文件操作；HDFS模块内部通信采用TCP/IP协议。
进一步的，所述NameNode名称节点用于管理文件系统中的文件和控制外部客户端的访问。
进一步的，所述NameNode名称节点判断并执行是否将文件映射到DataNode数据节点上的复制块上。
进一步的，多个所述DataNode数据节点之间以机架的形式组织，通过一个交换机与所述NameNode名称节点连接。
进一步的，所述DataNode数据节点用于响应来自HDFS模块客户端的读写请求；还用于响应来自NameNode名称节点的创建、删除和复制块的命令。
进一步的，
所述NameNode名称节点用于接受每个DataNode数据节点的定期心跳消息；所述消息包含一个块报告，所述NameNode名称节点根据所述报告验证块映射和其他文件系统元数据；
所述DataNode数据节点不能发送心跳消息，NameNode名称节点将采取修复措施，重新复制在该DataNode数据节点上丢失的块。
进一步的，
所述备份服务器与数据库集群数据交互，实时备份数据库集群所有存储节点上的文件。
本发明采用以上技术方案，
本发明采用分布式存储的方式存储数据，采用冗余存储来保证数据的可靠性。同时，为了优化系统的执行性能，提高资源的数据利用率，需要对数据进行并行处理。HDFS模块可以跨机器地可靠地存储海量的文件，它将每个文件存储成同样大小的数据块序列。
本发明HDFS模块采用rack-aware的策略来改进数据的可靠性、有效性和网络带宽的利用。HDFS模块采用了副本选择、负载均衡、客户端缓存、流水线复制等措施来提升其性能。HDFS模块架构支持负载均衡策略。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于Hadoop架构的数据存储系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
一种基于Hadoop架构的数据存储系统，所述存储系统包括至少一应用服务器、备份服务器、数据库集群以及至少一核心层交换机；
所述数据库集群包括第一子存储集群和第二子存储集群；将所述结构化数据的基础数据存储至第一子存储集群，将所述非结构化和半结构化的松散数据存储至第二子存储集群；
所述应用服务器、备份服务器、数据库集群分别连接所述核心层交换机；
所述应用服务器连接所述备份服务器和数据库集群，用于管理备份服务器和数据库集群的实时数据。
第一子存储集群支持多种主流关系数据库系统，满足不同应用的性能、功能、系统伸缩性要求。
第二子存储集群采用Hadoop系统作为基础架构平台，Hadoop是一个能够对大量数据进行分布式处理的软件框架，是以一种可靠、高效、可伸缩的方式进行处理的。以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。
客户端的用户可通过HDFS模块进行创建、删除、移动或重命名文件等操作；
其中，Hadoop系统框架有许多元素构成。其最底部是Hadoop DistributedFileSystem(HDFS模块)，存储Hadoop集群中所有存储节点上的文件。
上述技术方案中，
所述第二子存储集群包括一个主服务器和多个块服务器；所述主服务器和和多个块服务器构建Hadoop集群平台；所述Hadoop集群平台中的HDFS模块用于存储Hadoop集群中所有存储节点上的文件。一个Hadoop集群平台包括一个主服务器和多个块服务器，这样一个Hadoop集群平台能够同时为多个客户端应用程序提供文件服务。文件被划分为固定的块，由主服务器安排存放到块服务器的本地硬盘上。
上述技术方案中，所述主服务器配置管理者文件系统NameNode名称节点，用于在HDFS模块内部提供元数据服务；块服务器配置文件系统的DataNode数据节点是文件系统的工作节点，用于根据客户端或者是NameNode名称节点的调度存储和检索数据，并定期向NameNode名称节点发送所存储的块的列表。
应用程序通过与主服务器管理者文件系统NameNode名称节点和块服务器DataNode数据节点的交互来实现对应用数据的读写，应用与主服务器NameNode名称节点之间的交互仅限于元数据，也就是一些控制数据，其他的数据操作都是直接与块服务器DataNode数据节点交互的。
上述技术方案中，
存储在HDFS模块中的文件被分成块，将存储的块复制到多个块服务器DataNode数据节点上，所述主服务器NameNode名称节点用于控制多个块服务器DataNode数据节点上所有文件操作；HDFS模块内部通信采用TCP/IP协议。
上述技术方案中，所述NameNode名称节点用于管理文件系统中的文件和控制外部客户端的访问。
NameNode名称节点管理者文件系统的Namespace。用于维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)；NameNode名称节点记录着每个文件中各个块所在的数据节点的位置信息，但并不持久化存储信息，所述信息会在系统启动时从DataNode数据节点重建。
上述技术方案中，所述NameNode名称节点判断并执行是否将文件映射到DataNode数据节点上的复制块上。
上述技术方案中，多个所述DataNode数据节点之间以机架的形式组织，通过一个交换机与所述NameNode名称节点连接。
上述技术方案中，所述DataNode数据节点用于响应来自HDFS模块客户端(client)的读写请求；还用于响应来自NameNode名称节点的创建、删除和复制块的命令。主服务器中NameNode名称节点会记录存放位置等数据，并负责维护和管理文件系统，包括块的租用、垃圾块的回收以及块在不同块服务器DataNode数据节点之间的迁移。此外，主服务器中NameNode名称节点还周期性地与每个块服务器通过消息交互，以监视运行状态或下达命令。
客户端(client)代表用户与NameNode名称节点和DataNode数据节点交互来访问整个文件系统；
上述技术方案中，
所述NameNode名称节点用于接受每个DataNode数据节点的定期心跳消息；所述消息包含一个块报告，所述NameNode名称节点根据所述报告验证块映射和其他文件系统元数据；
所述DataNode数据节点不能发送心跳消息，NameNode名称节点将采取修复措施，重新复制在该DataNode数据节点上丢失的块。
上述技术方案中，
所述备份服务器与数据库集群数据交互，实时备份数据库集群所有存储节点上的文件。Hadoop集群平台连接备份服务器，增加NameNode名称节点2作为NameNode名称节点备份机，将原有NameNode名称节点中的数据复制到选定的NameNode名称节点2中，在NameNode名称节点运行时，NameNode名称节点2会实时的检测NameNode名称节点的运行状态，同时把NameNode名称节点中的操作实时更新到本地，在NameNode名称节点出现故障时，NameNode名称节点2代替NameNode名称节点保证服务的正常进行。
本发明HDFS模块架构支持负载均衡策略。如单个DataNode数据节点的剩余磁盘空间下降到一定程度，按照负载均衡原则，系统会自动将这个DataNode数据节点的数据转移到其他节点。当对一个文件提出很高的要求，系统会自动启动对该文件副本的创建，同时平衡集群中的其他数据。此外，客户端创建文件的请求并不是立即送达数据命名节点，HDFS模块根据客户端需求先将数据缓存到本地的一个临时文件中，程序的写操作透明地重定向到这个临时文件。当写入数据达到块容量，命名空间会告诉客户端数据节点的ID和目标数据块ID，实现数据从缓存刷新到指定数据块。客户端缓存有效解决了网络速度和阻塞对数据写入的影响。当客户端写数据到HDFS模块的文件中时，数据一开始会写入本地临时文件。DataNode数据节点在接收客户端请求数据的同时，会将数据以流水线的形式传给后面的节点。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于Hadoop架构的数据存储系统，其特征在于：
所述存储系统包括至少一应用服务器、备份服务器、数据库集群以及至少一核心层交换机；
所述数据库集群包括第一子存储集群和第二子存储集群；将所述结构化数据的基础数据存储至第一子存储集群，将所述非结构化和半结构化的松散数据存储至第二子存储集群；
所述应用服务器、备份服务器、数据库集群分别连接所述核心层交换机；
所述应用服务器连接所述备份服务器和数据库集群，用于管理备份服务器和数据库集群的实时数据。
2.根据权利要求1所述的一种基于Hadoop架构的数据存储系统，其特征在于：
所述第二子存储集群包括一个主服务器和多个块服务器；所述主服务器和和多个块服务器构建Hadoop集群平台；所述Hadoop集群平台中的HDFS模块用于存储Hadoop集群中所有存储节点上的文件。
3.根据权利要求2所述的一种基于Hadoop架构的数据存储系统，其特征在于：所述主服务器配置管理者文件系统NameNode名称节点，用于在HDFS模块内部提供元数据服务；所述块服务器配置文件系统的DataNode数据节点，用于根据客户端或者是NameNode名称节点的调度存储和检索数据，并定期向NameNode名称节点发送所存储的块的列表。
4.根据权利要求3所述的一种基于Hadoop架构的数据存储系统，其特征在于：
存储在HDFS模块中的文件被分成块，将存储的块复制到多个块服务器DataNode数据节点上，所述主服务器NameNode名称节点用于控制多个块服务器DataNode数据节点上所有文件操作；HDFS模块内部通信采用TCP/IP协议。
5.根据权利要求4所述的一种基于Hadoop架构的数据存储系统，其特征在于：所述NameNode名称节点用于管理文件系统中的文件和控制外部客户端的访问。
6.根据权利要求3～5所述的一种基于Hadoop架构的数据存储系统，其特征在于：所述NameNode名称节点判断并执行是否将文件映射到DataNode数据节点上的复制块上。
7.根据权利要求3所述的一种基于Hadoop架构的数据存储系统，其特征在于：多个所述DataNode数据节点之间以机架的形式组织，通过一个交换机与所述NameNode名称节点连接。
8.根据权利要求3所述的一种基于Hadoop架构的数据存储系统，其特征在于：所述DataNode数据节点用于响应来自HDFS模块客户端的读写请求；还用于响应来自NameNode名称节点的创建、删除和复制块的命令。
9.根据权利要求7所述的一种基于Hadoop架构的数据存储系统，其特征在于：
所述NameNode名称节点用于接受每个DataNode数据节点的定期心跳消息；所述消息包含一个块报告，所述NameNode名称节点根据所述报告验证块映射和其他文件系统元数据；
所述DataNode数据节点不能发送心跳消息，NameNode名称节点将采取修复措施，重新复制在该DataNode数据节点上丢失的块。
10.根据权利要求1所述的一种基于Hadoop架构的数据存储系统，其特征在于：
所述备份服务器与数据库集群数据交互，实时备份数据库集群所有存储节点上的文件。
CN201711133881.4A 2017-11-15 2017-11-15 一种基于Hadoop架构的数据存储系统 Pending CN107800808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711133881.4A CN107800808A (zh) 2017-11-15 2017-11-15 一种基于Hadoop架构的数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711133881.4A CN107800808A (zh) 2017-11-15 2017-11-15 一种基于Hadoop架构的数据存储系统

Publications (1)

Publication Number Publication Date
CN107800808A true CN107800808A (zh) 2018-03-13

Family

ID=61536119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711133881.4A Pending CN107800808A (zh) 2017-11-15 2017-11-15 一种基于Hadoop架构的数据存储系统

Country Status (1)

Country Link
CN (1) CN107800808A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109100951A (zh) * 2018-11-01 2018-12-28 广东粤迪厚创科技发展有限公司 一种基于大数据的智能家居系统
CN109887576A (zh) * 2019-01-29 2019-06-14 中国人民解放军总医院 一种医学数据分布式存储方法及系统
CN110290179A (zh) * 2019-05-31 2019-09-27 国网上海市电力公司 一种基于Hadoop的分布式移动基站数据存储系统
CN111046013A (zh) * 2019-11-12 2020-04-21 上海麦克风文化传媒有限公司 一种冷数据全量存储和查询架构
CN111190992A (zh) * 2019-12-10 2020-05-22 华能集团技术创新中心有限公司 一种非结构化数据的海量存储方法及存储系统
CN111190991A (zh) * 2019-12-10 2020-05-22 华能集团技术创新中心有限公司 一种非结构化数据传输系统及交互方法
CN112380067A (zh) * 2020-11-30 2021-02-19 四川大学华西医院 一种Hadoop环境下基于元数据的大数据备份系统及方法
CN112463755A (zh) * 2020-12-11 2021-03-09 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN114003180A (zh) * 2021-11-11 2022-02-01 中国建设银行股份有限公司 一种基于跨机房Hadoop集群的数据处理方法及装置
CN115454959A (zh) * 2022-11-08 2022-12-09 中国民用航空飞行学院 航空飞行计划制定时气象数据核实方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN102624932A (zh) * 2012-04-23 2012-08-01 网经科技（苏州）有限公司 基于索引的异地云数据同步方法
CN102917038A (zh) * 2012-10-10 2013-02-06 江苏物联网研究发展中心 基于云计算的医疗物联网远程服务系统
CN103207867A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 处理数据块的方法、发起恢复操作的方法和节点
CN104063501A (zh) * 2014-07-07 2014-09-24 电子科技大学 基于hdfs的副本平衡方法
CN104462185A (zh) * 2014-10-13 2015-03-25 南京邮电大学 一种基于混合结构的数字图书馆云存储系统
CN104539730A (zh) * 2015-01-16 2015-04-22 浙江大学 一种hdfs中面向视频的负载均衡方法
CN104978236A (zh) * 2015-07-07 2015-10-14 四川大学 一种基于多衡量指标的hdfs负载源宿节点选取方法
CN106855872A (zh) * 2015-12-08 2017-06-16 山东商务职业学院 基于Hadoop平台的海量图片的快速检索方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN103207867A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 处理数据块的方法、发起恢复操作的方法和节点
CN102624932A (zh) * 2012-04-23 2012-08-01 网经科技（苏州）有限公司 基于索引的异地云数据同步方法
CN102917038A (zh) * 2012-10-10 2013-02-06 江苏物联网研究发展中心 基于云计算的医疗物联网远程服务系统
CN104063501A (zh) * 2014-07-07 2014-09-24 电子科技大学 基于hdfs的副本平衡方法
CN104462185A (zh) * 2014-10-13 2015-03-25 南京邮电大学 一种基于混合结构的数字图书馆云存储系统
CN104539730A (zh) * 2015-01-16 2015-04-22 浙江大学 一种hdfs中面向视频的负载均衡方法
CN104978236A (zh) * 2015-07-07 2015-10-14 四川大学 一种基于多衡量指标的hdfs负载源宿节点选取方法
CN106855872A (zh) * 2015-12-08 2017-06-16 山东商务职业学院 基于Hadoop平台的海量图片的快速检索方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109100951A (zh) * 2018-11-01 2018-12-28 广东粤迪厚创科技发展有限公司 一种基于大数据的智能家居系统
CN109887576A (zh) * 2019-01-29 2019-06-14 中国人民解放军总医院 一种医学数据分布式存储方法及系统
CN110290179A (zh) * 2019-05-31 2019-09-27 国网上海市电力公司 一种基于Hadoop的分布式移动基站数据存储系统
CN111046013A (zh) * 2019-11-12 2020-04-21 上海麦克风文化传媒有限公司 一种冷数据全量存储和查询架构
CN111046013B (zh) * 2019-11-12 2024-04-12 上海麦克风文化传媒有限公司 一种冷数据全量存储和查询架构
CN111190992B (zh) * 2019-12-10 2023-09-08 华能集团技术创新中心有限公司 一种非结构化数据的海量存储方法及存储系统
CN111190992A (zh) * 2019-12-10 2020-05-22 华能集团技术创新中心有限公司 一种非结构化数据的海量存储方法及存储系统
CN111190991A (zh) * 2019-12-10 2020-05-22 华能集团技术创新中心有限公司 一种非结构化数据传输系统及交互方法
CN111190991B (zh) * 2019-12-10 2023-11-10 华能集团技术创新中心有限公司 一种非结构化数据传输系统及交互方法
CN112380067A (zh) * 2020-11-30 2021-02-19 四川大学华西医院 一种Hadoop环境下基于元数据的大数据备份系统及方法
CN112380067B (zh) * 2020-11-30 2023-08-22 四川大学华西医院 一种Hadoop环境下基于元数据的大数据备份系统及方法
CN112463755B (zh) * 2020-12-11 2023-08-18 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN112463755A (zh) * 2020-12-11 2021-03-09 同济大学 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN114003180A (zh) * 2021-11-11 2022-02-01 中国建设银行股份有限公司 一种基于跨机房Hadoop集群的数据处理方法及装置
CN115454959A (zh) * 2022-11-08 2022-12-09 中国民用航空飞行学院 航空飞行计划制定时气象数据核实方法及系统

Similar Documents

Publication Publication Date Title
CN107800808A (zh) 一种基于Hadoop架构的数据存储系统
CN102779185B (zh) 一种高可用分布式全文索引方法
US9460185B2 (en) Storage device selection for database partition replicas
CA2929777C (en) Managed service for acquisition, storage and consumption of large-scale data streams
US10684990B2 (en) Reconstructing distributed cached data for retrieval
US9489443B1 (en) Scheduling of splits and moves of database partitions
JP6196368B2 (ja) 分散型データベースシステムのシステム全体のチェックポイント回避
US9558194B1 (en) Scalable object store
US20160378845A1 (en) System and method for implementing a scalable data storage service
US20210200446A1 (en) System and method for providing a committed throughput level in a data store
CN106815338A (zh) 一种大数据的实时存储、处理和查询系统
JP2018077895A (ja) 分散型データベースシステム用高速クラッシュ回復
US20080126404A1 (en) Scalable distributed object management in a distributed fixed content storage system
CN109299056B (zh) 一种基于分布式文件系统的数据同步方法和装置
CN103605698A (zh) 一种用于分布异构数据资源整合的云数据库系统
CN105243155A (zh) 一种大数据抽取和交换系统
CN102708158B (zh) 一种PostgreSQL云存储归档调度系统
US10877810B2 (en) Object storage system with metadata operation priority processing
CN111984696B (zh) 一种新型数据库和方法
CN102033912A (zh) 一种分布式数据库访问方法及系统
CN107343021A (zh) 国网云中应用的一种基于大数据的日志管理系统
CN107180113A (zh) 一种大数据检索平台
CN104462185A (zh) 一种基于混合结构的数字图书馆云存储系统
US8195700B2 (en) Distributed storage for collaboration servers
CN103607418B (zh) 基于云服务数据特征的大规模数据分割系统及分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313

RJ01 Rejection of invention patent application after publication