CN104268709A - 一种采用分布式lsm树的rfid系统设计方法 - Google Patents

一种采用分布式lsm树的rfid系统设计方法 Download PDF

Info

Publication number
CN104268709A
CN104268709A CN201410529970.0A CN201410529970A CN104268709A CN 104268709 A CN104268709 A CN 104268709A CN 201410529970 A CN201410529970 A CN 201410529970A CN 104268709 A CN104268709 A CN 104268709A
Authority
CN
China
Prior art keywords
data
rfid
distributed
race
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410529970.0A
Other languages
English (en)
Inventor
王闯
李克学
戴鸿君
于治楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201410529970.0A priority Critical patent/CN104268709A/zh
Publication of CN104268709A publication Critical patent/CN104268709A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种采用分布式LSM树的RFID系统设计方法，RFID（RadioFrequencyIdentification）射频识别技术在近期呈现数据量明显增高的趋势，逐渐形成海量数据，具备大数据的特征。针对基于分布式LSM树的RFID系统实现，本发明的基本思想是：在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用一种新型的数据索引结构－LSM树，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储。

Description

一种采用分布式LSM树的RFID系统设计方法
技术领域
本发明涉及计算机大数据技术领域, 具体地说是一种采用分布式LSM树的RFID系统设计方法。
背景技术
RFID（Radio Frequency Identification）射频识别技术，是一种快速的、非接触式的识别技术，基于低成本，易使用，技术成熟等特点，RFID技术已经被广泛应用到各个领域中。基于RFID技术的应用系统会实时产生大量数据，这些原始数据经由RFID阅读器交给数据处理系统，一方面此系统要对大量数据进行存储；另一方面还要对错误信息进行实时校验。这两方面都是目前亟待解决的问题。
现有的海量数据管理技术部分是基于B+树的磁盘索引技术，B+树是一种高效的基于磁盘保存的数据结构，B+树虽然提供了 快速的数据查找、 快速的数据遍历，但B+树在读取期间会造成大量的磁盘随机I/O，在存取海量数据时，不能发挥其优势。所以，磁盘索引对于高实时性大吞吐量的RFID数据处理系统来说不能满足其高速存取要求。而在读取有复杂结构的RFID标签时，数据处理系统将面临很大的负载，往往不能达到实时性的要求。
LSM树就是将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，读取时需要合并磁盘中的历史数据和内存中最近的修改操作。LSM树的优势在于有效地规避了磁盘随机写入问题。
发明内容
本发明的目的是提供一种采用分布式LSM树的RFID系统设计方法。
本发明的目的是按以下方式实现的，在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储,具体步骤如下：
（1）搭建集群
需要搭建集群，包括分布式数据平台和分布式数据库集群，首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态，然后，将分布式数据库同样配置为主从结构，配置好Region大小，Hmaster和Regionserver相互通信，维持着分布式数据库系统的健壮性；
（2）设计分布式存储表结构
由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原则，Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client，function，time，other四个列族，client列族对应着发起RFID操作的用户，function代表着RFID这一操作要完成的具体事件，time表示发起RFID这一操作的时间，other表示其他，将原始的数据加入到表中，对应可在相应列族下扩展列，client要增加一个age选项，可直接在相应列族下添加列age；
当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了B+树中大量的磁盘读取，以提高读取速度，当需要添加其他信息时，在other列族中进行添加扩展即可。
本发明的目的有益效果是：Hadoop分布式平台的冗余备份机制可以解决大量RFID数据存储的问题，默认为3份备份。并为数据块提供冗余校验机制，当数据块产生损坏时，可及时回复正确数据。利用自身的Namenode和Datanode主从结构进行数据的管理。基于Hbase的分布式数据库特点，利用LSM树的优势，将需要读写的RFID数据逐步加入到Hbase表中，这样大部分的读写操作将会在内存中进行，实时性和性能上将会满足要求。
附图说明
图1是Hbase表结构图；
图2是系统结构示意图。
具体实施方式
参照说明书附图对本发明的采用分布式LSM树的RFID系统设计方法作以下详细地说明。
在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储,具体步骤如下：
（1）搭建集群
需要搭建集群，常用的是分布式数据平台和分布式数据库集群。首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点。以Hadoop为例，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态。然后，将分布式数据库同样配置为主从结构，以Hbase为例，配置好Region大小，Hmaster和Regionserver相互通信，维持着分布式数据库系统的健壮性；
（2）设计分布式存储表结构
由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原则。Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client，function，time，other四个列族，client列族对应着发起RFID操作的用户（可以是贴有RFID标签的指定设备，物体等），function代表着RFID这一操作要完成的具体事件（如进门，发送信号等），time表示发起RFID这一操作的时间，other表示其他。将原始的数据加入到表中。对应可在相应列族下扩展列，比如client要增加一个age选项，可直接在相应列族下添加列age，而此操作对于传统的基于B+树的关系型数据库是很难进行扩展的，并且列中值为NULL的数据不在磁盘中存储，所以，该分布式数据库在扩展性上是能满足要求的。
当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了B+树中大量的磁盘读取，可以提高读取速度。当需要添加其他信息时，可以在other列族中进行添加扩展。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种采用分布式LSM树的RFID系统设计方法, 其特征在于, 在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储,具体步骤如下：
（1）搭建集群
需要搭建集群，包括分布式数据平台和分布式数据库集群，首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态，然后，将分布式数据库同样配置为主从结构，配置好Region大小，Hmaster和Regionserver相互通信，维持着分布式数据库系统的健壮性；
（2）设计分布式存储表结构
由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原则，Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client，function，time，other四个列族，client列族对应着发起RFID操作的用户，function代表着RFID这一操作要完成的具体事件，time表示发起RFID这一操作的时间，other表示其他，将原始的数据加入到表中，对应可在相应列族下扩展列，client要增加一个age选项，可直接在相应列族下添加列age；
当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了B+树中大量的磁盘读取，以提高读取速度，当需要添加其他信息时，在other列族中进行添加扩展即可。
CN201410529970.0A 2014-10-10 2014-10-10 一种采用分布式lsm树的rfid系统设计方法 Pending CN104268709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410529970.0A CN104268709A (zh) 2014-10-10 2014-10-10 一种采用分布式lsm树的rfid系统设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410529970.0A CN104268709A (zh) 2014-10-10 2014-10-10 一种采用分布式lsm树的rfid系统设计方法

Publications (1)

Publication Number Publication Date
CN104268709A true CN104268709A (zh) 2015-01-07

Family

ID=52160229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410529970.0A Pending CN104268709A (zh) 2014-10-10 2014-10-10 一种采用分布式lsm树的rfid系统设计方法

Country Status (1)

Country Link
CN (1) CN104268709A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598321A (zh) * 2015-02-11 2015-05-06 浪潮集团有限公司 一种智能大数据处理方法和装置
CN104809170A (zh) * 2015-04-08 2015-07-29 南京邮电大学 一种云环境下面向树型数据的存储方法
CN105487820A (zh) * 2015-11-30 2016-04-13 中国科学院信息工程研究所 一种基于时间片轮转机制的树状存储结构写放大优化方法
CN107291846A (zh) * 2017-06-02 2017-10-24 深圳齐心集团股份有限公司 一种文具大数据分布式存储系统
WO2018218672A1 (zh) * 2017-06-02 2018-12-06 深圳齐心集团股份有限公司 一种文具大数据分布式存储系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169505A (zh) * 2011-05-16 2011-08-31 苏州两江科技有限公司 基于云计算的推荐系统构建方法
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN102831120A (zh) * 2011-06-15 2012-12-19 腾讯科技（深圳）有限公司 一种数据处理方法及系统
CN103116610A (zh) * 2013-01-23 2013-05-22 浙江大学 基于HBase的矢量空间大数据存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169505A (zh) * 2011-05-16 2011-08-31 苏州两江科技有限公司 基于云计算的推荐系统构建方法
CN102831120A (zh) * 2011-06-15 2012-12-19 腾讯科技（深圳）有限公司 一种数据处理方法及系统
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN103116610A (zh) * 2013-01-23 2013-05-22 浙江大学 基于HBase的矢量空间大数据存储方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
章宏灿 等: "一种可扩展分布式RAID存储集群系统", 《计算机研究与发展》 *
陈熙: "海量数据本地化索引方案的研究", 《福建电脑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598321A (zh) * 2015-02-11 2015-05-06 浪潮集团有限公司 一种智能大数据处理方法和装置
CN104809170A (zh) * 2015-04-08 2015-07-29 南京邮电大学 一种云环境下面向树型数据的存储方法
CN104809170B (zh) * 2015-04-08 2018-06-01 南京邮电大学 一种云环境下面向树型数据的存储方法
CN105487820A (zh) * 2015-11-30 2016-04-13 中国科学院信息工程研究所 一种基于时间片轮转机制的树状存储结构写放大优化方法
CN105487820B (zh) * 2015-11-30 2018-11-16 中国科学院信息工程研究所 一种基于时间片轮转机制的树状存储结构写放大优化方法
CN107291846A (zh) * 2017-06-02 2017-10-24 深圳齐心集团股份有限公司 一种文具大数据分布式存储系统
WO2018218672A1 (zh) * 2017-06-02 2018-12-06 深圳齐心集团股份有限公司 一种文具大数据分布式存储系统

Similar Documents

Publication Publication Date Title
US9996557B2 (en) Database storage system based on optical disk and method using the system
CN104268709A (zh) 一种采用分布式lsm树的rfid系统设计方法
TW201530328A (zh) 爲半結構化資料構建ＮｏＳＱＬ資料庫索引的方法及裝置
US20160055189A1 (en) Database Storage System based on Optical Disk Library, and Method Using Same
CN108846749A (zh) 一种基于区块链技术的分片化的交易执行系统及方法
CN106897342B (zh) 一种数据校验方法和设备
CN102243660A (zh) 一种数据访问方法及设备
US20140095549A1 (en) Method and Apparatus for Generating Schema of Non-Relational Database
EP3480705B1 (en) Database data modification request processing method and apparatus
WO2016188280A1 (zh) 数据库分表的写入方法及装置
CN103605778A (zh) 一种视频文件的定位方法、装置及系统
CN103279489A (zh) 一种元数据的存储方法、装置
CN109271456A (zh) 主机数据库文件导出方法及装置
CN102521256B (zh) 高可靠性的实时/历史数据库数据保护方法
CN103744952A (zh) NoSQL数据库多表特性的实现方法及系统
CN109542860B (zh) 基于hdfs的业务数据管理方法、终端设备
US11620311B1 (en) Transformation of directed graph into relational data
CN107451014A (zh) 一种数据恢复方法及装置
CN110889424B (zh) 向量索引建立方法及装置和向量检索方法及装置
CN103207916A (zh) 元数据处理的方法和装置
CN105205162A (zh) HBase二级索引存储和查询系统及其查询方法
CN105354149A (zh) 一种内存数据查找方法和装置
CN105574124A (zh) 一种基于产品信息的数据存储系统
CN115730053A (zh) 风电机组运维辅助智能问答方法及装置
CN103955492A (zh) 一种电力系统中数据存储的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150107