CN110019549A - 针对物联网平台的大数据存储系统 - Google Patents

针对物联网平台的大数据存储系统 Download PDF

Info

Publication number
CN110019549A
CN110019549A CN201711238604.XA CN201711238604A CN110019549A CN 110019549 A CN110019549 A CN 110019549A CN 201711238604 A CN201711238604 A CN 201711238604A CN 110019549 A CN110019549 A CN 110019549A
Authority
CN
China
Prior art keywords
data
internet
things
layer module
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711238604.XA
Other languages
English (en)
Inventor
徐继峰
周峻松
祁建明
陈墩金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ming - Collar Gene Technology Co Ltd
Original Assignee
Guangzhou Ming - Collar Gene Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ming - Collar Gene Technology Co Ltd filed Critical Guangzhou Ming - Collar Gene Technology Co Ltd
Priority to CN201711238604.XA priority Critical patent/CN110019549A/zh
Publication of CN110019549A publication Critical patent/CN110019549A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor

Abstract

本发明公开了一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。本发明方案采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。

Description

针对物联网平台的大数据存储系统
技术领域
本发明属于大数据存储技术领域，涉及一种针对物联网平台的大数据存储系统。
背景技术
随着科学技术的进步，物联网(Internet of Things)正在走进人们的生活，比如智能家居、环保节能、智能旅游、环境监控等，物联网及其衍生服务逐渐对人们的生活带来巨大的影响，使人们享受到科技进步带来的便利。
面对基于物联网的大数据，传统的关系型数据库(RDBMS)已不适用，其无法对如此大量的数据进行有效的存储与管理。针对物联网大数据带来的存储及数据处理上的挑战，目前比较流行的方法有云数据管理技术和并行数据库集群技术。在云数据管理技术中，基本上均采用NoSQL数据库模型，按照KEY-VALUE的模式对数据进行组织和检索处理，比如采用Apache的Hadoop分布式开源框架，通过HDFS分布式文件系统，MapReduce分布式数据处理模型和Hbase KEY-VALUE数据库，能够有效地存储和处理物联网大数据，但目前采用该方法的物联网数据存储模型存在较大的局限性，只适用于一些特定的应用场合。在并行数据库集群技术中，通过网络将多个传统数据库组成集群，来应对物联网大数据的处理，但由于传统关系数据库在处理大数据问题上存在不足，在查询效率方面要远低于NoSQL数据库；另外，由于传统关系数据库需严格遵循事务处理机制，并行数据库集群的大数据处理效率将会严重下降。
除了上述两种技术外，还有学者采用时空数据库技术来存储和处理物联网大数据，但该技术在应用上存在较大的局限性，其主要是针对物联网大数据的时空特性进行处理，提高时空特性数据的查询效率。
发明内容
本发明目的在于提供一种针对物联网平台的大数据存储系统，为了克服传统关系数据库在处理大数据问题上存在不足的问题，采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，利用HBase和HDFS存储架构结合MySQL传统关系数据库，有效地应对物联网数据的实时应需求和分布式持久化存储难题，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。
为解决上述技术问题，本发明采用如下的技术方案：一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。
进一步地，所述传感器数据采样层模块主要由传感器节点组成，包含温度传感器、湿度传感器、气体传感器、粉尘传感器等。
进一步地，所述物联网数据存储层模块的数据存储单元由不同的物理节点(即从节点)构成，从节点完成主节点分配的任务并定期向主节点报告节点状态，实现大数据存储。
进一步地，所述应用服务层模块主要包括数据感知服务子模块、教学实验支持子模块、数据挖掘与分析子模块等。
本发明与现有技术相比具有以下的有益效果：
本发明方案为了克服传统关系数据库在处理大数据问题上存在不足的问题，采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，利用HBase和HDFS存储架构结合MySQL传统关系数据库，有效地应对物联网数据的实时应需求和分布式持久化存储难题，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。
附图说明
图1是针对物联网平台的大数据存储系统的整体架构图。
图2是针对物联网平台的大数据存储系统的HDFS体系架构图。
图3是针对物联网平台的大数据存储系统的物联网数据存储模型结构图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
参照图1，本发明的一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。
传感器数据采样层模块主要由传感器节点组成，例如温度传感器、湿度传感器、气体传感器、粉尘传感器等，各传感器节点每经过一个固定的时间间隔进行一次数据采集，通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由物联网数据存储层模块进行存储管理。
物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理。存储层的数据存储单元由不同的物理节点(即从节点)构成，从节点完成主节点分配的任务并定期向主节点报告节点状态，实现大数据存储。HDFS集群中的主节点负责对实际存储数据的物理节点进行管理，确保各从节点的负载均衡。
应用服务层模块主要向用户提供各种应用服务，主要包括数据感知服务子模块、教学实验支持子模块、数据挖掘与分析子模块等。比如数据感知服务子模块，通过存储层提供的数据接口，物联网数据感知平台可以直观地为用户展示校园环境数据。
参考图2，物联网数据存储层模块存储的是物联网感知数据，需要为应用层模块提供各类服务，这就要求系统在存储层提供数据处理接口。HDFS通过分布式存储以及其提供的MapReduce算法，非常适合大数据集的存储计算。HDFS采用主从结构(master-slave结构)，由一个主节点和多个从节点构成，主节点负责管理整个HDFS集群，并对各DataNode节点进行监控。另外，HDFS集群的数据存储也是由NameNode节点进行分配管理，并提供用户查询和数据读写的入口。DataNode节点是实际的数据存储节点，物理数据以数据块的形式进行存储，它们定时向NameNode节点发送元数据，用来更新所有数据块的索引信息。当用户需要访问数据时，HDFS首先将请求发送NameNode节点，然后NameNode节点将数据的索引信息反馈给用户，然后用户可以直接通过DataNode节点建立连接并进行数据的读写操作。
HBase数据库是一种非关系数据库，其基于KEY-VALUE的模式对数据进行存储，可以实时地随机读写大规模数据集。HBase实质上是一张多维映射表，具有分布式、持久化存储等特性。HBase数据库以行键(Row Key)、列族(Column Family)、时间戳(Timestamp)作为映射表的索引，其数据模型如表1所示：
表1HBase数据模型表
在表1的例子中，传感器编号可以作为行键，作为索引的主键，区别不同位置的传感器。列族用来存储传感器数据，在表1的列族中，包含三个子列：时间戳、名称列和数据列。列族是HBase数据库中最小的存储单元，实质上列族是一个三元组＜Timestamp，name，data＞，在这个三元组中，我们可以将Timestamp作为Key，name和data可以作为Value。从整体看，Row Key和Column Family也是一个键值对，传感器编号是数据的唯一入口。由表1的数据模型可见，HBase数据非常适合物联网大数据的存储和检索，能够有效处理键值模型的数据。由于HBase是NoSQL数据库，对于传统的关系型数据，无法提供有效的处理机制，因此，在分析了HBase数据模型后，采用传统关系数据库和NoSQL数据库相结合的方式，提出一种适合校园物联网实验平台的大数据存储模型。
参考图3，根据校园物联网实验平台的数据特点以及应用环境，提出基于HBase和MySQL的物联网大数据存储模型。
从图3可以看出，物联网数据存储模块由MySQL数据库子模块、HDFS子模块以及HBase非关系数据库子模块组成。
MySQL数据库子模块。作为一种开源的关系型数据库管理系统，MySQL数据库子模块具有数据处理速度良好、可靠性高和适应性强等特点。在校园物联网实验平台中，数据感知服务系统对于校园环境数据存在较高的实时应用需求。另外HDFS以及HBase中的系统配置信息、数据源信息、索引信息等数据对一致性存在较高的要求，对于此类结构化的数据，可存储在此MySQL数据库子模块中。用户可以在此进行实时物联网数据查询。同时，MySQL数据库子模块定期向HBase及HDFS写入物联网传感数据。
HBase非关系数据库子模块。在校园物联网数据存储模型中，首先由MySQL数据库子模块接收和存储平台中持续生成的传感数据，HBase通过其API中的put方法定时将MySQL存储的物联网数据写入到HBase数据库中。HBase数据库集群由HregionSever集群和HMaster主服务器构成，数据的写入由HMaster主服务器来进行动态分配和管理。
HDFS子模块作为存储模型中最底层的子模块，为HBase提供高可靠的底层存储支持。每个DataNode节点都有安装HBase，DataNode节点是真正存储数据的地方。物联网传感数据HDFS子模块中以数据块的形式存储。为了保证物联网传感数据安全性，提高系统的容错能力，模型以每个数据块多副本的形式，即同一个数据块同时存储于多个DataNode节点，确保系统故障时不丢失数据。
将本研究提出的基于HBase和MySQL的物联网大数据存储模型应用到校园物联网实验平台中，可有效地对校园环境中物联网传感设备采集的数据进行有效的存储。首先，传感器节点的传感数据经过适配和转换，传送到MySQL数据库子模块，为应用服务器提供实时数据展示服务，达到实时感知校园环境信的效果。然后，随着时间的推移以及MySQL数据库子模块存储压力的增大，MySQL通过数据转换工具Sqoop将数据转存至HBase及HDFS中，实现校园物网数据的持久化存储，为以后的物联网大数据分析提供基础。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.针对物联网平台的大数据存储系统，其特征在于，所述系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。
2.根据权利要求1所述的针对物联网平台的大数据存储系统，其特征在于，所述传感器数据采样层模块主要由传感器节点组成，包含温度传感器、湿度传感器、气体传感器、粉尘传感器等。
3.根据权利要求1所述的针对物联网平台的大数据存储系统，其特征在于，所述物联网数据存储层模块的数据存储单元由不同的物理节点(即从节点)构成，从节点完成主节点分配的任务并定期向主节点报告节点状态，实现大数据存储。
4.根据权利要求1所述的针对物联网平台的大数据存储系统，其特征在于，所述应用服务层模块主要包括数据感知服务子模块、教学实验支持子模块、数据挖掘与分析子模块等。
CN201711238604.XA 2017-12-01 2017-12-01 针对物联网平台的大数据存储系统 Pending CN110019549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711238604.XA CN110019549A (zh) 2017-12-01 2017-12-01 针对物联网平台的大数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711238604.XA CN110019549A (zh) 2017-12-01 2017-12-01 针对物联网平台的大数据存储系统

Publications (1)

Publication Number Publication Date
CN110019549A true CN110019549A (zh) 2019-07-16

Family

ID=67185948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711238604.XA Pending CN110019549A (zh) 2017-12-01 2017-12-01 针对物联网平台的大数据存储系统

Country Status (1)

Country Link
CN (1) CN110019549A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674143A (zh) * 2019-10-18 2020-01-10 长春理工大学 一种免耕机作业信息监测系统及方法
CN111753010A (zh) * 2020-05-14 2020-10-09 中铁第一勘察设计院集团有限公司 铁路接触网的数据采集网络架构及实现方法
CN114157681A (zh) * 2021-12-22 2022-03-08 南京瀚海伏羲防务科技有限公司 一种无人集群及感知数据集中管理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674143A (zh) * 2019-10-18 2020-01-10 长春理工大学 一种免耕机作业信息监测系统及方法
CN111753010A (zh) * 2020-05-14 2020-10-09 中铁第一勘察设计院集团有限公司 铁路接触网的数据采集网络架构及实现方法
CN114157681A (zh) * 2021-12-22 2022-03-08 南京瀚海伏羲防务科技有限公司 一种无人集群及感知数据集中管理方法

Similar Documents

Publication Publication Date Title
Padhy et al. RDBMS to NoSQL: reviewing some next-generation non-relational database’s
CN103412897B (zh) 一种基于分布式结构的并行数据处理方法
CN104750681B (zh) 一种海量数据的处理方法及装置
CN104820714B (zh) 基于hadoop的海量瓦片小文件存储管理方法
CN102663117B (zh) 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN103646051B (zh) 一种基于列存储的大数据并行处理系统及方法
CN103312791B (zh) 物联网异构数据存储方法及系统
CN100481086C (zh) 一种空间数据集群存储系统及其数据查询方法
CN107038162A (zh) 基于数据库日志的实时数据查询方法和系统
CN106326331A (zh) 一种基于云计算的智能用电数据服务系统
CN105930428A (zh) 用于执行多租户存储中的交叉存储连接的方法和系统
WO2013152543A1 (zh) 面向列存储数据仓库的多维olap查询处理方法
CN105183834A (zh) 一种基于本体库的交通大数据语义应用服务方法
CN105808358B (zh) 一种用于众核系统的数据相关性线程分组映射方法
CN110019549A (zh) 针对物联网平台的大数据存储系统
Xiong et al. Data vitalization: a new paradigm for large-scale dataset analysis
CN108009265B (zh) 一种云计算环境下的空间数据索引方法
CN103365987B (zh) 一种基于共享磁盘架构的集群数据库系统及数据处理方法
CN114647716B (zh) 一种适用于泛化数据仓库的系统
CN107766355B (zh) 层级数据管理方法、层级数据管理系统及即时通信系统
US9275059B1 (en) Genome big data indexing
Ptiček et al. Big data and new data warehousing approaches
CN106021574A (zh) 一种数据存储复制方法及其存储复制系统
CN108306916A (zh) 大数据多网融合科研一体机平台装置
CN102750371A (zh) 面向电力系统的并行实时数据库系统及其数据管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190716