CN103198126A - 物联网时空数据管理方法 - Google Patents

物联网时空数据管理方法 Download PDF

Info

Publication number
CN103198126A
CN103198126A CN201310121937XA CN201310121937A CN103198126A CN 103198126 A CN103198126 A CN 103198126A CN 201310121937X A CN201310121937X A CN 201310121937XA CN 201310121937 A CN201310121937 A CN 201310121937A CN 103198126 A CN103198126 A CN 103198126A
Authority
CN
China
Prior art keywords
sensor
control node
memory node
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310121937XA
Other languages
English (en)
Other versions
CN103198126B (zh
Inventor
赵以民
陈曙东
陈岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Yuantong Electronics Co ltd
Original Assignee
Jiangsu IoT Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu IoT Research and Development Center filed Critical Jiangsu IoT Research and Development Center
Priority to CN201310121937.XA priority Critical patent/CN103198126B/zh
Publication of CN103198126A publication Critical patent/CN103198126A/zh
Application granted granted Critical
Publication of CN103198126B publication Critical patent/CN103198126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种物联网时空数据管理方法，包括传感器采样数据的存储方法和传感器采样数据的检索方法。采样数据的存储方法包括：传感器发出存储请求；控制节点生成存储系统中该传感器的唯一ID号，建立传感器和存储节点的映射关系；传感器根据映射关系向对应的存储节点发送采样数据；存储节点存储采样时间、采样数据等。采样数据的检索方法包括：客户端向控制节点传输检索信息；控制节点收到检索信息后判断传感器ID是否为空；控制节点提取传感器和存储节点的映射关系；控制节点依据提取的映射关系，将检索信息发往对应的存储节点；存储节点通过时间信息提取对应时间点或时间范围内的采样数据等。本方法可提升物联网时空数据的存储和检索性能。

Description

物联网时空数据管理方法
技术领域
本发明涉及一种数据存储和检索方法，尤其是一种物联网时空数据高效存储和快速检索的方法。
背景技术
在物联网高速发展的时代，传感器作为物联网的基础采集设备，其采样数据具有时空特性，而当前的关系型数据库不适合多维度的范围查找，所以对海量传感器采样数据存储和查询的高效性提出了更高的要求。目前业界对于各类型数据的分布式存储研究较多，但支持物联网时空特性的数据存储系统较少，并且在实际应用中传感器的采样数据仍然存储于关系型数据库中，这就影响了采样数据的提取效率。业内基本上都采用传统的关系型数据库或键值对的形式进行分布式存储。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种物联网时空数据管理方法，该物联网时空数据存储和检索方法会将物联网时空数据的检索速度大大提高。本发明采用的技术方案是：
本物联网时空数据管理方法基于一套分布式的存储系统，该存储系统包括控制节点和存储节点。传感器的采样数据以JSON(JavaScript Object Notation,是一种轻量级的数据交换格式)的数据格式存储于分布式的存储系统中，每个传感器在存储系统中具有唯一的ID。控制节点通过R树存储传感器的空间信息（即地理信息）以支持空间范围查找，传感器和存储其采样数据的存储节点之间的映射关系也存储在控制节点中。存储节点通过B+树存储采样数据的时间索引以支持时间范围查找，并以JSON的形式存储传感器的采样数据。
一种物联网时空数据管理方法，包括传感器采样数据的存储方法和传感器采样数据的检索方法。
所述传感器采样数据的存储方法具体包括以下步骤：
步骤101，传感器向控制节点发出存储请求；
步骤102，传感器向控制节点发送自身的相关属性信息；
步骤103，控制节点会生成存储系统中该传感器的唯一ID号，同时在传感器和存储节点的映射关系表中加入此条映射，并更新空间检索数据结构；
步骤104，控制节点将生成的传感器唯一ID号以及存储该传感器采样数据的存储节点信息（也就是传感器和存储节点的映射关系）回发给传感器，并将传感器和存储节点的映射关系发送至对应的存储节点；
步骤105，传感器根据上述映射关系向对应的存储节点发送采样数据；
步骤106，存储节点将采样时间、采样数据按照JSON形式存储于对应的文件中；并且按照时间为列的方式进行存储，最后更新时间索引信息。
所述传感器采样数据的检索方法具体包括以下步骤：
步骤201，客户端向存储系统的控制节点发起检索请求，建立数据传输连接；
步骤202，客户端向存储系统的控制节点传输检索信息，包括传感器的ID、时间信息和空间信息（即地理信息）；
步骤203，控制节点收到客户端的检索信息后判断传感器ID是否为空；如果传感器的ID为空，则转往步骤204；如果传感器的ID不为空，则转往步骤205；
步骤204，控制节点将客户端发来的检索信息中的地理信息范围内的所有传感器和存储节点的映射关系全部提取出来；然后转往步骤206；
步骤205，控制节点提取该传感器ID和存储节点的映射关系；然后转往步骤206；
步骤206，控制节点生成一个发往存储节点的检索信息集合；
步骤207，控制节点依据上述提取的映射关系，将检索信息集合中的每条检索信息发往对应的存储节点；如上述步骤202中提到的，检索信息中包含了传感器ID和时间信息；
步骤208，存储节点根据传感器ID查找到对应的数据存储位置，再通过时间信息提取对应时间点或时间范围内的全部采样数据；
步骤209，存储节点向客户端发送最终检索出的采样数据。
本发明的优点：本发明使用了分布式存储技术，将空间信息（即地理信息）和时间信息进行分开存储和检索，并将采样数据以JSON形式存储于文件中。检索时通过R树进行空间范围检索、通过B+树进行时间范围检索，检索效率高，并通过集群系统共同负载高并发的检索请求。新的物联网时空数据存储和检索方法会将物联网时空数据的检索速度大大提高，有效提高物联网时空数据的提取速度。本方法层次清晰，通用性较好，适用范围广，存储可靠，检索高效。有效解决了物联网时空数据多维度检索的难题，提升了分布式文件系统对物联网时空数据的存储和检索性能。
附图说明
图1为本发明的存储系统组成示意图。
图2为本发明的采样数据存储方法流程图。
图3为本发明的采样数据检索方法流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
本发明基于的存储系统如图1所示，包括控制节点和存储节点。存储节点分为多个组，组内每个存储节点所存储的数据完全相同，起到冗余备份的作用。控制节点具有建立传感器和存储节点的映射关系、管理存储节点和与客户端通讯等功能。存储节点存储传感器采样数据和时间索引信息，并动态更新该时间索引信息。传感器连接控制节点和存储节点，控制节点与客户端相连。在控制节点和存储节点的协调配合下，共同完成对海量时空传感数据的管理工作，满足对历史数据进行高效查询与分析处理的需求。
基于上述的存储架构，本发明提出的物联网时空数据管理方法，包括传感器采样数据的存储方法和传感器采样数据的检索方法。
如图2所示，所述传感器采样数据的存储方法具体包括以下步骤：
步骤101，传感器向控制节点发出存储请求；
步骤102，传感器向控制节点发送自身的相关属性信息；
步骤103，控制节点会生成存储系统中该传感器的唯一ID号，同时在传感器和存储节点的映射关系表中加入此条映射，并更新空间检索数据结构；
步骤104，控制节点将生成的传感器唯一ID号以及存储该传感器采样数据的存储节点信息（也就是传感器和存储节点的映射关系）回发给传感器，并将传感器和存储节点的映射关系发送至对应的存储节点；
步骤105，传感器根据上述映射关系向对应的存储节点发送采样数据；
步骤106，存储节点将采样时间、采样数据按照JSON形式存储于对应的文件中；并且按照时间为列的方式进行存储，最后更新时间索引信息。
如图3所示，所述传感器采样数据的检索方法具体包括以下步骤：
步骤201，客户端向存储系统的控制节点发起检索请求，建立数据传输连接；
步骤202，客户端向存储系统的控制节点传输检索信息，包括传感器的ID、时间信息和空间信息（即地理信息）；
步骤203，控制节点收到客户端的检索信息后判断传感器ID是否为空；如果传感器的ID为空，则转往步骤204；如果传感器的ID不为空，则转往步骤205；
步骤204，控制节点将客户端发来的检索信息中的地理信息范围内的所有传感器和存储节点的映射关系全部提取出来；然后转往步骤206；
步骤205，控制节点提取该传感器ID和存储节点的映射关系；然后转往步骤206；
步骤206，控制节点生成一个发往存储节点的检索信息集合；
步骤207，控制节点依据上述提取的映射关系，将检索信息集合中的每条检索信息发往对应的存储节点；如上述步骤202中提到的，检索信息中包含了传感器ID和时间信息；
步骤208，存储节点根据传感器ID查找到对应的数据存储位置，再通过时间信息提取对应时间点或时间范围内的全部采样数据；
步骤209，存储节点向客户端发送最终检索出的采样数据。

Claims (1)

1.一种物联网时空数据管理方法，其特征在于：包括传感器采样数据的存储方法和传感器采样数据的检索方法；
所述传感器采样数据的存储方法具体包括以下步骤：
步骤101，传感器向控制节点发出存储请求；
步骤102，传感器向控制节点发送自身的相关属性信息；
步骤103，控制节点会生成存储系统中该传感器的唯一ID号，同时在传感器和存储节点的映射关系表中加入此条映射，并更新空间检索数据结构；
步骤104，控制节点将生成的传感器唯一ID号以及存储该传感器采样数据的存储节点信息回发给传感器，并将传感器和存储节点的映射关系发送至对应的存储节点；
步骤105，传感器根据上述映射关系向对应的存储节点发送采样数据；
步骤106，存储节点将采样时间、采样数据按照JSON形式存储于对应的文件中；并且按照时间为列的方式进行存储，最后更新时间索引信息；
所述传感器采样数据的检索方法具体包括以下步骤：
步骤201，客户端向存储系统的控制节点发起检索请求，建立数据传输连接；
步骤202，客户端向存储系统的控制节点传输检索信息，包括传感器的ID、时间信息和空间信息；
步骤203，控制节点收到客户端的检索信息后判断传感器ID是否为空；如果传感器的ID为空，则转往步骤204；如果传感器的ID不为空，则转往步骤205；
步骤204，控制节点将客户端发来的检索信息中的地理信息范围内的所有传感器和存储节点的映射关系全部提取出来；然后转往步骤206；
步骤205，控制节点提取该传感器ID和存储节点的映射关系；然后转往步骤206；
步骤206，控制节点生成一个发往存储节点的检索信息集合；
步骤207，控制节点依据上述提取的映射关系，将检索信息集合中的每条检索信息发往对应的存储节点；
步骤208，存储节点根据传感器ID查找到对应的数据存储位置，再通过时间信息提取对应时间点或时间范围内的全部采样数据；
步骤209，存储节点向客户端发送最终检索出的采样数据。
CN201310121937.XA 2013-04-09 2013-04-09 物联网时空数据管理方法 Active CN103198126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310121937.XA CN103198126B (zh) 2013-04-09 2013-04-09 物联网时空数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310121937.XA CN103198126B (zh) 2013-04-09 2013-04-09 物联网时空数据管理方法

Publications (2)

Publication Number Publication Date
CN103198126A true CN103198126A (zh) 2013-07-10
CN103198126B CN103198126B (zh) 2016-03-16

Family

ID=48720683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310121937.XA Active CN103198126B (zh) 2013-04-09 2013-04-09 物联网时空数据管理方法

Country Status (1)

Country Link
CN (1) CN103198126B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836824A (zh) * 2014-02-11 2015-08-12 无锡物联网产业研究院 应用于数据平台的数据共享方法及装置
CN106900082A (zh) * 2017-02-04 2017-06-27 北京信息科技大学 传感器网络节点的数据处理方法及传感器网络节点
CN112100447A (zh) * 2020-07-24 2020-12-18 上海琥崧智能科技股份有限公司 基于物联网技术的工厂设备信息化系统
CN112460040A (zh) * 2020-11-23 2021-03-09 中国华能集团清洁能源技术研究院有限公司 一种泵声波监测系统和方法
CN112667628A (zh) * 2020-07-03 2021-04-16 杭州星迈科技有限公司 一种大规模监控数据的存储方法、系统和可穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153677A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for managing index information of high-dimensional data
CN102567485A (zh) * 2010-12-08 2012-07-11 微软公司 用于内容检索的提供商专用解析
CN102768666A (zh) * 2011-05-05 2012-11-07 上海可鲁系统软件有限公司 一种工业数据存储读取方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153677A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for managing index information of high-dimensional data
CN102567485A (zh) * 2010-12-08 2012-07-11 微软公司 用于内容检索的提供商专用解析
CN102768666A (zh) * 2011-05-05 2012-11-07 上海可鲁系统软件有限公司 一种工业数据存储读取方法及其系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836824A (zh) * 2014-02-11 2015-08-12 无锡物联网产业研究院 应用于数据平台的数据共享方法及装置
CN104836824B (zh) * 2014-02-11 2020-09-11 无锡感知金服物联网科技有限公司 应用于数据平台的数据共享方法及装置
CN106900082A (zh) * 2017-02-04 2017-06-27 北京信息科技大学 传感器网络节点的数据处理方法及传感器网络节点
CN106900082B (zh) * 2017-02-04 2020-04-28 北京信息科技大学 传感器网络节点的数据处理方法及传感器网络节点
CN112667628A (zh) * 2020-07-03 2021-04-16 杭州星迈科技有限公司 一种大规模监控数据的存储方法、系统和可穿戴设备
CN112100447A (zh) * 2020-07-24 2020-12-18 上海琥崧智能科技股份有限公司 基于物联网技术的工厂设备信息化系统
CN112100447B (zh) * 2020-07-24 2021-06-29 上海琥崧智能科技股份有限公司 基于物联网技术的工厂设备信息化系统
CN112460040A (zh) * 2020-11-23 2021-03-09 中国华能集团清洁能源技术研究院有限公司 一种泵声波监测系统和方法

Also Published As

Publication number Publication date
CN103198126B (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN103488704B (zh) 一种数据存储方法及装置
CN104376053B (zh) 一种基于海量气象数据的存储与检索方法
CN103020204B (zh) 一种对分布式顺序表进行多维区间查询的方法及其系统
CN103198126A (zh) 物联网时空数据管理方法
CN102890722B (zh) 应用于时序历史数据库的索引方法
CN108920552B (zh) 一种面向多源大数据流的分布式索引方法
CN103714134B (zh) 一种网络流量数据索引方法及系统
CN101594319B (zh) 表项查找方法和装置
CN104135715B (zh) 一种位置服务的实现方法、装置,及系统
CN104850572A (zh) HBase非主键索引构建与查询方法及其系统
CN105117171A (zh) 一种能源scada海量数据分布式处理系统及其方法
CN103678491A (zh) 一种基于Hadoop中小文件优化和倒排索引的方法
CN105160039A (zh) 一种基于大数据的查询方法
CN107066546B (zh) 一种基于mpp引擎的跨数据中心快速查询方法和系统
CN102982103A (zh) 一种olap海量多维数据维存储方法
CN103544261A (zh) 一种海量结构化日志数据全局索引管理方法及装置
CN104112005B (zh) 分布式海量指纹识别方法
CN105224658A (zh) 一种大数据的实时查询方法和系统
CN104731922A (zh) 基于分布式数据库HBase的结构化数据的快速检索系统及方法
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN103761251A (zh) 大数据量客户信息的存储与查找方法
CN111258978A (zh) 一种数据存储的方法
CN105930345A (zh) 基于分布式实时数据库的层次索引方法
CN102521364A (zh) 一种图上两点间最短路径查询方法
CN105069101A (zh) 分布式索引构建及检索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: JIANGSU CAS INTERNET-OF-THING TECHNOLOGY VENTURE C

Free format text: FORMER OWNER: JIANGSU INTERNET OF THINGS RESEARCH + DEVELOMENT CO., LTD.

Effective date: 20140612

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140612

Address after: 214135 Jiangsu New District of Wuxi City Linghu Road No. 200 China Sensor Network International Innovation Park building C

Applicant after: JIANGSU CAS INTERNET-OF-THINGS TECHNOLOGY VENTURE CAPITAL CO.,LTD.

Address before: 214135 Jiangsu New District of Wuxi City Linghu Road No. 200 China Sensor Network International Innovation Park C building 4 floor

Applicant before: JIANGSU R & D CENTER FOR INTERNET OF THINGS

ASS Succession or assignment of patent right

Owner name: WUXI ZHONGKE HENGYUAN INFORMATION TECHNOLOGY CO.,

Free format text: FORMER OWNER: JIANGSU CAS INTERNET-OF-THING TECHNOLOGY VENTURE CAPITAL CO., LTD.

Effective date: 20150320

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 214135 WUXI, JIANGSU PROVINCE TO: 214016 WUXI, JIANGSU PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20150320

Address after: 214016 Jiangsu city of Wuxi province Tongjiang Chong'an District Road No. 898 7 floor

Applicant after: WUXI CAS FOREVERSOURCE INFORMATION TECHNOLOGY CO.,LTD.

Address before: 214135 Jiangsu New District of Wuxi City Linghu Road No. 200 China Sensor Network International Innovation Park building C

Applicant before: JIANGSU CAS INTERNET-OF-THINGS TECHNOLOGY VENTURE CAPITAL CO.,LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230609

Address after: 214001 Yongding Lane 1-1905, Liangxi District, Wuxi City, Jiangsu Province

Patentee after: Wuxi Yuantong Electronics Co.,Ltd.

Address before: 7 / F, 898 Tongjiang Avenue, Chong'an District, Wuxi City, Jiangsu Province

Patentee before: WUXI CAS FOREVERSOURCE INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right