CN112463755A - 基于hdfs的异构物联网大数据的存储与读取系统及方法 - Google Patents

基于hdfs的异构物联网大数据的存储与读取系统及方法 Download PDF

Info

Publication number
CN112463755A
CN112463755A CN202011450126.0A CN202011450126A CN112463755A CN 112463755 A CN112463755 A CN 112463755A CN 202011450126 A CN202011450126 A CN 202011450126A CN 112463755 A CN112463755 A CN 112463755A
Authority
CN
China
Prior art keywords
data
hadoop
hdfs
hadoop cluster
query server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011450126.0A
Other languages
English (en)
Other versions
CN112463755B (zh
Inventor
赵生捷
张恒畅
韩丰夏
邓浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011450126.0A priority Critical patent/CN112463755B/zh
Publication of CN112463755A publication Critical patent/CN112463755A/zh
Application granted granted Critical
Publication of CN112463755B publication Critical patent/CN112463755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于HDFS的异构物联网大数据的存储与读取系统及方法，包括数据查询服务器、客户端和多个数据存储中心；数据查询服务器分别与客户端和各个数据存储中心连接；每一个数据存储中心包括数据采集模块、数据处理服务器和Hadoop集群，数据采集模块与数据处理服务器连接，数据处理服务器与Hadoop集群连接，Hadoop集群与数据查询服务器连接；Hadoop集群包括HDFS分布式文件系统；数据查询服务器中存储有各个Hadoop集群的存储参数。与现有技术相比，本发明在多个Hadoop集群之外，设置数据查询服务器，来保存各集群的IP地址和HDFS文件信息，打破了传统数据架构的壁垒，用户可以经数据查询服务器查询或下载多个Hadoop集群的数据，而不必依次访问各个Hadoop集群。

Description

基于HDFS的异构物联网大数据的存储与读取系统及方法
技术领域
本发明涉及大数据存储与读取领域，尤其是涉及一种基于HDFS的异构物联网大数据的存储与读取系统及方法。
背景技术
一方面，随着网络技术和通信技术的迅速发展，人类社会步入了大数据时代，人们也越来越关注大数据的处理和分析；另一方面，随着智慧城市的推进，各个部门的物联网系统产生了大量的数据，部门是指管理某物联网系统(如智慧交通系统)的机构，如交通、环保、水利、气象等，智慧城市物联网系统往往是异构互联网。
Hadoop是一个开源的分布式计算平台，Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce为核心，HDFS的诸多优点如高容错性、高扩展性让其有了很大的发展。用户可以在低廉的硬件上部署Hadoop，构建分布式文件系统；无需了解Hadoop分布式系统底层的具体细节就可以使用分布式编程模型开发应用程序。同时，用户可以很容易地组织计算机资源搭建自己的分布式计算平台，利用Hadoop优秀的计算和存储能力，完成大规模数据的处理。
HDFS是一种分布式文件系统，该系统由NameNode和DataNode两种节点组成。其中，NameNode用于管理Hadoop集群的命名空间和客户端对文件的访问操作，维护着文件系统树及整棵树内所有文件和目录。DataNode是文件系统的工作节点，管理存储的数据，它们根据需要存储并检索数据块，受客户端或NameNode调度，并且定期向NameNode发送它们所存储块的列表。
中国专利CN201910383263.8公开了一种基于Hadoop的云平台存储方法，将获取的大量数据存储在基于Hadoop的云平台，开发人员不需要对底层的磁盘、服务器等基础设施进行搭建和管理，而只需对云存储服务平台进行有效的维护和管理，致力于平台上的应用开发，以及云存储文件系统的优化，就可以满足用户的现实需求。
但是，在物联网系统中，受地理环境和成本限制，多个部门的物联网数据存储在不同的数据中心，即使使用Hadoop架构进行数据存储，每个部门的数据也分别存储在不同的Hadoop集群。用户如果想要读取不同部门的数据，就必须依次访问各个部门的数据中心，才能读取数据，不同部门的数据不互通，这给数据的综合分析使用带来了阻碍。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于HDFS的异构物联网大数据的存储与读取系统及方法，在多个Hadoop集群之外，设置数据查询服务器，来保存各集群的IP地址和HDFS文件信息，打破了传统数据架构的壁垒，用户可以经数据查询服务器查询或下载多个Hadoop集群的数据，而不必依次访问各个Hadoop集群。
本发明的目的可以通过以下技术方案来实现：
一种基于HDFS的异构物联网大数据的存储与读取系统，包括数据查询服务器、客户端和多个数据存储中心；
所述数据查询服务器分别与客户端和各个数据存储中心连接；
每一个数据存储中心包括数据采集模块、数据处理服务器和Hadoop集群，所述数据采集模块与数据处理服务器连接，所述数据处理服务器与Hadoop集群连接，所述Hadoop集群与数据查询服务器连接；
所述Hadoop集群包括HDFS分布式文件系统；
所述数据查询服务器中存储有各个Hadoop集群的存储参数。
进一步的，所述存储参数包括Hadoop集群的名称、Hadoop集群的IP地址、Hadoop集群的端口号和Hadoop集群的文件树。
更进一步的，所述存储参数通过XML文件保存在数据查询服务器中。
进一步的，所述客户端中安装有数据查询与读取软件，所述客户端通过网络连接数据查询服务器。
进一步的，所述数据采集模块包括数据采集设备，所述数据采集设备的数量至少为1个。
更进一步的，所述数据采集设备包括一种或多种传感器。
更进一步的，所述数据采集设备还包括数据采集接口；所述数据采集接口包括串行总线接口、并行总线接口、以太网接口、WiFi接口、2G接口、3G接口和4G接口中的一种或多种。
一种基于HDFS的异构物联网大数据的存储与读取方法，基于如上所述的存储与读取系统，包括以下步骤：
S1：在数据查询服务器中写入新加入的各个Hadoop集群的存储参数，数据查询服务器查询并更新各个Hadoop集群的文件树；
S2：数据采集模块采集的数据经数据处理服务器处理后存储在Hadoop集群的HDFS分布式文件系统中；
S3：数据查询服务器自动查询并更新各个Hadoop集群的文件树，如果有新的Hadoop集群添加至所述的存储与读取系统，则执行步骤S1，否则，执行步骤S4；
S4：如果客户端收到操作指令，则通过数据查询服务器完成操作指令，否则，重复步骤S3。
进一步的，所述步骤S3中，数据查询服务器1自动查询并更新各个Hadoop集群33的文件树具体为：数据查询服务器根据预设置的时间周期定期查询并更新各个Hadoop集群的文件树。
进一步的，所述步骤S4中，操作指令包括查询操作、下载操作和文件树更新操作；查询操作包括：查看Hadoop集群的名称、查看Hadoop集群的IP地址、查看Hadoop集群的端口号和查看Hadoop集群的文件树。
与现有技术相比，本发明具有以下有益效果：
(1)在多个Hadoop集群之外，设置数据查询服务器，来保存各集群的IP地址和HDFS文件信息，打破了传统数据架构的壁垒，用户可以经数据查询服务器查询或下载多个Hadoop集群的数据，而不必依次访问各个Hadoop集群。
(2)IP地址、端口号和文件树等信息通过XML文件存储在数据查询服务器1中，维护更加简单，兼容性高，编辑效率和准确性高。
(3)数据采集模块包括传感器、数据采集接口等数据采集设备，能获取多种数据，经数据处理服务器处理后再存储至HDFS，数据管理更加方便。
(4)提供了一种用户从多个独立的Hadoop集群中读取数据的方法，Hadoop集群中的数据通过数据查询服务器中转的方式发送给用户，不会产生临时文件。
附图说明
图1为本发明的结构示意图；
图2为文件树示意图；
图3为新部门加入示意图；
图4为查询和下载数据示意图；
附图标记：1、数据查询服务器，2、客户端，3、数据存储中心，31、数据采集模块，32、数据处理服务器，33、Hadoop集群。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1：
基于HDFS的异构物联网大数据的存储与读取系统，如图1所示，包括数据查询服务器1、客户端2和多个数据存储中心3；
数据查询服务器1分别与客户端2和各个数据存储中心3连接；
每一个数据存储中心3包括数据采集模块31、数据处理服务器32和Hadoop集群33，数据采集模块31与数据处理服务器32连接，数据处理服务器32与Hadoop集群33连接，Hadoop集群33与数据查询服务器1连接；Hadoop集群33包括HDFS分布式文件系统；
数据查询服务器1中存储有各个Hadoop集群33的存储参数，存储参数包括Hadoop集群33的名称、Hadoop集群33的IP地址、Hadoop集群33的端口号、Hadoop集群33的文件树。
数据采集模块31包括数据采集设备，数据采集设备的数量至少为1个。数据采集设备包括一种或多种传感器，还包括数据采集接口；数据采集接口包括串行总线接口、并行总线接口、以太网接口、WiFi接口、2G接口、3G接口和4G接口中的一种或多种。
一种基于HDFS的异构物联网大数据的存储与读取方法，包括以下步骤：
S1：在数据查询服务器1中写入新加入的各个Hadoop集群33的存储参数，数据查询服务器1查询并更新各个Hadoop集群33的文件树；
S2：数据采集模块31采集的数据经数据处理服务器32处理和整合运算后存储在Hadoop集群33的HDFS分布式文件系统中；
S3：数据查询服务器1自动查询并更新各个Hadoop集群33的文件树，如果有新的Hadoop集群33添加至的存储与读取系统，则执行步骤S1，否则，执行步骤S4；
数据查询服务器1自动查询并更新各个Hadoop集群33的文件树具体为：数据查询服务器1根据预设置的时间周期定期查询并更新各个Hadoop集群33的文件树。
S4：如果客户端2收到操作指令，则通过数据查询服务器1完成操作指令，否则，重复步骤S3；操作指令包括查询操作、下载操作和文件树更新操作；查询操作包括：查看Hadoop集群33的名称、查看Hadoop集群33的IP地址、查看Hadoop集群33的端口号和查看Hadoop集群33的文件树。
本实施例中，物联网系统中包括3个部门，3个部门的地理位置不同，数据存储中心3也相互独立。3个部门的数据存储中心3中分别包括：数据采集模块31、数据处理服务器32、Hadoop集群33，两个部门的Hadoop集群33均架设在云端，分别命名为Hadoop1、Hadoop2和Hadoop3。在其他实施方式中，Hadoop集群33也可以布置在本地物理存储设备上，各个部门应当有足够的硬件设备来保存和处理本部门产生的各类数据。
分别设置各个部门的数据存储中心3的原因是：不同部门的数据产生的地理位置较为分散，如果采用集中式的数据中心来存放所有数据，则需要把数据从产生地点传送至数据中心，浪费网络带宽；当前各个部门已经拥有相当数量的存储设备，足够存储本部门的数据，没有必要再新建集中的数据中心。
本实施例中，每个部门设置1个数据存储中心3，数据存储中心3中包括2个数据采集设备、1个数据处理服务器32和1个Hadoop集群33；在其他实施方式中，可以根据需要，设置更多的数据采集设备，如传感器或数据采集接口，并增加数据处理服务器32的数量，如使用2个数据处理服务器32，分别接收和处理不同数据采集设备采集的数据，再传输至Hadoop集群33中存储。如果部门规模较大，也可以增设Hadoop集群33。
数据采集模块31采集的数据经数据处理服务器32处理后，传输至Hadoop集群33的HDFS分布式文件系统中存储，HDFS分布式文件系统包括多个DataNode和一个NameNode，保存本部门的数据。不同部门的Hadoop集群33的配置可以各自根据需求进行调整。
Hadoop集群33的IP地址及端口号也就是Hadoop集群33的NameNode对应的IP地址及端口号，如表1所示：
表1 3个Hadoop集群的IP地址及端口号
名称 IP地址 端口号
Hadoop1.NameNode 114.116.xxx.101 9870
Hadoop2.NameNode 114.116.xxx.102 9870
Hadoop3.NameNode 114.116.xxx.103 9870
数据查询服务器1架设在云端，在数据查询服务器1中运行有Web服务器软件，数据查询服务器1的IP地址如表2所示：
表2数据查询服务器的IP地址
名称 IP地址
数据查询服务器(web服务器) 114.116.xxx.104
在数据查询服务器1中，保存了所有部门的名称、IP地址及端口号等信息，同时还有各个Hadoop集群33的文件树(即文件结构，如图2所示)。部门名称、IP地址及端口号等信息通过xml文件保存，命名为department.xml，文件树也通过xml文件保存，命名为file-structure.xml。
在初始状态下，数据查询服务器1没有保存任何部门信息。当有新部门要加入时，如图3所示，由运维人员手动在数据查询服务器1中加入新部门的IP地址及端口号信息。3个部门加入以后，在department.xml中加入Hadoop1、Hadoop2和Hadoop3的名称、IP地址及端口号信息。数据查询服务器1遍历各个Hadoop集群33，读取文件信息，并更新file-structure.xml文件。
Hadoop集群33的IP地址和端口号是新加入的Hadoop集群33在注册时取得的，一般情况下不会改变，如果有需要修改的情况，由运维人员手工修改。
客户端2上安装有数据查询与处理软件，数据查询与处理软件的功能通过web界面实现。通过客户端2，用户可以在客户端2同时读取多个部门的数据。
根据预设置的时间周期，数据查询服务器1定期查询并更新各个Hadoop集群33的文件树。当用户在客户端2查询数据时，也可以根据需要手动刷新某一个各个Hadoop集群33的文件树。用户通过数据查询与读取软件与数据查询服务器1交互，来查看当前所有各个Hadoop集群33中保存了哪些文件。
如图4所示，用户通过客户端2上安装的数据查询与读取软件，和多个Hadoop集群33交互，可以查看所有Hadoop集群33的IP地址和端口号；查看所有Hadoop集群33的文件树，并可以手动刷新获取最新的文件树；从Hadoop集群33中批量下载文件；提供与指定Hadoop集群33进行交互的界面。
下载过程具体为：用户在数据查询与读取软件中选择需要下载的文件，软件与数据查询服务器1交互获取下载地址，然后根据数据查询服务器1返回的IP地址和端口号与直接与对应的Hadoop集群33通信并下载文件。
使用Hadoop提供的Java API可以直接与HDFS进行操作。需要用到的类主要在org.apache.hadoop.fs包和org.apache.hadoop.conf包中。首先，根据目标HDFS的IP地址和端口号生成Configuration类对象，然后再根据该对象生成FileSystem类对象。使用FileSystem类对象就可以进行包括查看文件目录(listFiles)、上传文件(copyFromLocalFile)、下载文件(copyToLocalFile)等操作，从Hadoop集群33中批量下载文件可以使用FileSystem.copyToLocalFile方法。
在数据查询服务器1保存了用户信息，并控制用户登录和用户权限，如查看权限、下载权限等。用户通过web界面登录以后，可以浏览当前所有Hadoop集群33的文件信息。如果需要读取最新文件，可以通过刷新功能请求数据查询服务器1遍历所有集群，返回最新的文件信息。用户在web界面中选择需要下载的文件并点击下载，数据查询服务器1(web服务器)向Hadoop集群33发送下载请求，同时，通过stream中转技术，数据查询服务器1将下载的内容直接传输至客户端2的浏览器，数据查询服务器1端不会有临时文件。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，包括数据查询服务器(1)、客户端(2)和多个数据存储中心(3)；
所述数据查询服务器(1)分别与客户端(2)和各个数据存储中心(3)连接；
每一个数据存储中心(3)包括数据采集模块(31)、数据处理服务器(32)和Hadoop集群(33)，所述数据采集模块(31)与数据处理服务器(32)连接，所述数据处理服务器(32)与Hadoop集群(33)连接，所述Hadoop集群(33)与数据查询服务器(1)连接；
所述Hadoop集群(33)包括HDFS分布式文件系统；
所述数据查询服务器(1)中存储有各个Hadoop集群(33)的存储参数。
2.根据权利要求1所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述存储参数包括Hadoop集群(33)的名称、Hadoop集群(33)的IP地址、Hadoop集群(33)的端口号和Hadoop集群(33)的文件树。
3.根据权利要求2所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述存储参数通过XML文件保存在数据查询服务器(1)中。
4.根据权利要求1所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述客户端(2)中安装有数据查询与读取软件，所述客户端(2)通过网络连接数据查询服务器(1)。
5.根据权利要求1所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述数据采集模块(31)包括数据采集设备，所述数据采集设备的数量至少为1个。
6.根据权利要求5所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述数据采集设备包括一种或多种传感器。
7.根据权利要求6所述的基于HDFS的异构物联网大数据的存储与读取系统，其特征在于，所述数据采集设备还包括数据采集接口；所述数据采集接口包括串行总线接口、并行总线接口、以太网接口、WiFi接口、2G接口、3G接口和4G接口中的一种或多种。
8.一种基于HDFS的异构物联网大数据的存储与读取方法，其特征在于，基于如权利要求1-7中任一所述的存储与读取系统，包括以下步骤：
S1：在数据查询服务器(1)中写入新加入的各个Hadoop集群(33)的存储参数，数据查询服务器(1)查询并更新各个Hadoop集群(33)的文件树；
S2：数据采集模块(31)采集的数据经数据处理服务器(32)处理后存储在Hadoop集群(33)的HDFS分布式文件系统中；
S3：数据查询服务器(1)自动查询并更新各个Hadoop集群(33)的文件树，如果有新的Hadoop集群(33)添加至所述的存储与读取系统，则执行步骤S1，否则，执行步骤S4；
S4：如果客户端(2)收到操作指令，则通过数据查询服务器(1)完成操作指令，否则，重复步骤S3。
9.根据权利要求8所述的基于HDFS的异构物联网大数据的存储与读取方法，其特征在于，所述步骤S3中，数据查询服务器1自动查询并更新各个Hadoop集群33的文件树具体为：数据查询服务器(1)根据预设置的时间周期定期查询并更新各个Hadoop集群(33)的文件树。
10.根据权利要求8所述的基于HDFS的异构物联网大数据的存储与读取方法，其特征在于，所述步骤S4中，操作指令包括查询操作、下载操作和文件树更新操作。
CN202011450126.0A 2020-12-11 2020-12-11 基于hdfs的异构物联网大数据的存储与读取系统及方法 Active CN112463755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011450126.0A CN112463755B (zh) 2020-12-11 2020-12-11 基于hdfs的异构物联网大数据的存储与读取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011450126.0A CN112463755B (zh) 2020-12-11 2020-12-11 基于hdfs的异构物联网大数据的存储与读取系统及方法

Publications (2)

Publication Number Publication Date
CN112463755A true CN112463755A (zh) 2021-03-09
CN112463755B CN112463755B (zh) 2023-08-18

Family

ID=74800962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011450126.0A Active CN112463755B (zh) 2020-12-11 2020-12-11 基于hdfs的异构物联网大数据的存储与读取系统及方法

Country Status (1)

Country Link
CN (1) CN112463755B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003180A (zh) * 2021-11-11 2022-02-01 中国建设银行股份有限公司 一种基于跨机房Hadoop集群的数据处理方法及装置
CN114282903A (zh) * 2021-12-28 2022-04-05 汇鲲化鹏(海南)科技有限公司 一种城市多源数据全过程综合管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183839A (zh) * 2015-09-02 2015-12-23 华中科技大学 一种基于Hadoop的小文件分级索引的存储优化方法
CN106294826A (zh) * 2016-08-17 2017-01-04 北京北信源软件股份有限公司 一种集群数据实时查询方法及系统
CN106953859A (zh) * 2017-03-17 2017-07-14 郑州云海信息技术有限公司 一种WebLogic集群的SSL协议配置方法
CN107679192A (zh) * 2017-10-09 2018-02-09 中国工商银行股份有限公司 多集群协同数据处理方法、系统、存储介质及设备
CN107800808A (zh) * 2017-11-15 2018-03-13 广东奥飞数据科技股份有限公司 一种基于Hadoop架构的数据存储系统
CN108763436A (zh) * 2018-05-25 2018-11-06 福州大学 一种基于ElasticSearch与HBase的分布式数据存储系统
CN111026709A (zh) * 2019-12-10 2020-04-17 中盈优创资讯科技有限公司 基于集群访问的数据处理方法及装置
CN111126873A (zh) * 2019-12-30 2020-05-08 盾构及掘进技术国家重点实验室 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法
CN111475506A (zh) * 2020-03-30 2020-07-31 广州虎牙科技有限公司 数据存储、查询的方法、装置、系统、设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183839A (zh) * 2015-09-02 2015-12-23 华中科技大学 一种基于Hadoop的小文件分级索引的存储优化方法
CN106294826A (zh) * 2016-08-17 2017-01-04 北京北信源软件股份有限公司 一种集群数据实时查询方法及系统
CN106953859A (zh) * 2017-03-17 2017-07-14 郑州云海信息技术有限公司 一种WebLogic集群的SSL协议配置方法
CN107679192A (zh) * 2017-10-09 2018-02-09 中国工商银行股份有限公司 多集群协同数据处理方法、系统、存储介质及设备
CN107800808A (zh) * 2017-11-15 2018-03-13 广东奥飞数据科技股份有限公司 一种基于Hadoop架构的数据存储系统
CN108763436A (zh) * 2018-05-25 2018-11-06 福州大学 一种基于ElasticSearch与HBase的分布式数据存储系统
CN111026709A (zh) * 2019-12-10 2020-04-17 中盈优创资讯科技有限公司 基于集群访问的数据处理方法及装置
CN111126873A (zh) * 2019-12-30 2020-05-08 盾构及掘进技术国家重点实验室 一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法
CN111475506A (zh) * 2020-03-30 2020-07-31 广州虎牙科技有限公司 数据存储、查询的方法、装置、系统、设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003180A (zh) * 2021-11-11 2022-02-01 中国建设银行股份有限公司 一种基于跨机房Hadoop集群的数据处理方法及装置
CN114282903A (zh) * 2021-12-28 2022-04-05 汇鲲化鹏(海南)科技有限公司 一种城市多源数据全过程综合管理系统

Also Published As

Publication number Publication date
CN112463755B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN104486445B (zh) 一种基于云平台的分布式可扩展资源监控系统
KR100911058B1 (ko) 메타데이터 서버 검색 방법
CN108011995A (zh) 异地多活的实现方法、异地多活服务平台及存储介质
CN112463755B (zh) 基于hdfs的异构物联网大数据的存储与读取系统及方法
CN108848132B (zh) 一种基于云的配电调度主站系统
CN112671840B (zh) 一种基于区块链技术的跨部门数据共享系统及方法
CN103067461A (zh) 一种文件的元数据管理系统以及元数据管理方法
CN103207920A (zh) 一种元数据并行采集系统
CN103886104A (zh) 一种适用于电力系统的分布式实时数据库管理系统及实现方法
CN103886508A (zh) 海量农田数据的监控方法和系统
CN103780682A (zh) 一种面向Ad Hoc网络的信息共享系统
CN110706125A (zh) 水利大数据分析信息服务系统和平台服务系统
CN104936202B (zh) 基于CoAP协议的6LoWPAN无线传感网络管理系统
CN113127526A (zh) 一种基于Kubernetes的分布式数据存储和检索系统
CN111652374A (zh) 一种智慧城市感知设备资源管理方法与系统
Lee et al. Geopot: a Cloud-based geolocation data service for mobile applications
CN110011984A (zh) 一种基于rest和rpc的分布式集群系统及方法
CN115941705A (zh) 一种基于ipfs的工业互联网标识解析增强方案
CN113824801B (zh) 一种智能融合终端统一接入管理组件系统
Pu et al. Practical implementation of an OPC UA multi-server aggregation and management architecture for IIoT
CN104898608A (zh) 基于Hadoop的作物生长监控云平台及其实现方法
CN112351079B (zh) 一种基于数据盒的空间应用和数据一体化封装系统及方法
CN115002072A (zh) 一种基于jmx的获取数据方法、装置及介质
CN104572859B (zh) 一种分布式复杂事件处理系统
CN102902736B (zh) 基于最小依赖的细粒度科研数据融合系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant