CN104123388A - 一种面向海量传感网数据的高并发实时接入系统及方法 - Google Patents

Abstract

本发明公开了一种面向海量传感网数据的高并发实时接入系统及方法，系统包括传感器网络、传感器网络服务器、流数据实时接入工具和NoSQL数据库，高并发实时接入系统采用层次化系统结构，通过传感器网络服务器抽象和统一传感器网络数据、封装传感器网络数据并提供数据对外访问接口，然后利用系统将传感器网络中的传感器与时空地理对象相关联，通过访问接口获取数据，并利用多线程并行地接入传感器网络数据，写入NoSQL数据库。本发明支持传感器数据监测结果的网络实时发布；即使监测数据量随时间递增，也能够存储和管理海量数据；能够存储多种多样的、复杂的数据类型，而且便于数据类型的扩展；具有良好的数据备份保护功能，具有良好的数据保障功能。

Description

一种面向海量传感网数据的高并发实时接入系统及方法

技术领域

本发明属于智慧城市地理信息服务技术领域，具体涉及一种面向海量传感网数据的高并发实时接入系统及方法。

背景技术

随着传感网的兴起，大量的传感器依据特定的采样及传输规则，不断地向数据接收端推送采集数据，从而形成海量的异构数据流，这给传统的数据传输、存储和分析方式带来了新的挑战。2001年，美国宇航局提出的传感器网络(SensorWeb)能实现观测资源的可管理、可共享和可配置。在传感器广泛使用的情况下，传感网数据急速膨胀，传统的数据传输模式已无法满足海量数据的传输需求；并且传感器通常以秒的间隔采集数据，采样时间频率高以及采样数据产生频繁。因此，针对传感网数据高频和海量的要求，亟需制定高效率的传感器数据实时接入以方案，以期在有限时间内快速有效地传输传感网数据。

当前，传感网数据的传输与接入还存在着诸多问题，主要体现在以下几方面：

(1)传感网数据多源、异构，缺乏共享和互操作；

同一个传感网内的传感器数量众多，并且各个传感器的采集频率不一致、采样内容和数据结构也各不相同。在同一个传感网系统中，传感器(如GPS传感器、风向传感器、温度传感器等)的采样数据可以是数值型(如整型、浮点型、字符串类型)，也可以是非数值型的数据(如摄像头视频数据、音频传感器数据、图像传感器数据等)。当前传感器监测结果类型多样，同样的结果以不同的方式表达，导致跨领域研究人员理解困难，数据间的共享和互操作更难以实现；

(2)无法满足传感网数据接入高并发读写的需求；

随着传感器大范围使用，传感器节点越多，产生的数据就越大。当传感网中的传感器同时向数据接收端进行数据传输，同一时间内会产生大量的并发数据传输请求，给传感网数据接收端造成极大的并发压力。因此，数据传输的并发负载非常高，往往要达到每秒成千上万的读写请求；

(3)存储传感网数据的主流技术仍然是使用关系数据库，但是关系数据库存在着诸如所支持数据类型不够丰富，范式化设计查询效率低下、系统数据增大到一定阶段之后很难扩展等弊端。例如，以厦门市3个月的出租车GPS数据为例，一个月就达到了一亿条左右的GPS数据。对于关系型数据库来说，在一张上亿条记录的表里面进行SQL语句查询，效率是极其低下的。又例如，关系型数据库通常部署在一台服务器上，通过增加处理器、内存和硬盘来升级。部署在多台服务器上的关系型数据库通过是依赖互相复制来保持数据同步。数据库没有办法简单的通过添加更多的硬件和服务结点来扩展性能和负载能力，对数据库系统的升级和扩展往往需要停机维护。

发明内容

针对现有技术存在的不足，本发明将传感器网络服务、多线程技术和NoSQL数据库技术融合，提出了一种利用传感器服务进行数据抽象和预处理、多线程技术实时接入传感网数据、以及基于NoSQL数据库存储海量传感网数据的系统及方法，从而实现传感网数据的传输、实时接入与存储。

本发明的系统所采用的技术方案是：一种面向海量传感网数据的高并发实时接入系统，其特征在于：包括传感器网络、传感器网络服务器、流数据实时接入工具和NoSQL数据库，所述的高并发实时接入系统采用层次化系统结构，通过所述的传感器网络服务器抽象和统一所述的传感器网络数据、封装所述的传感器网络数据并提供数据对外访问接口，然后利用所述的高并发实时接入系统将所述的传感器网络中的传感器与时空地理对象相关联，通过访问接口获取数据，并利用多线程并行地接入所述的传感器网络数据，写入所述的NoSQL数据库。

作为优选，所述的传感器网络服务器用于提供传感器网络服务，所述的传感器网络服务是以标准方式实现所述的传感器网络资源的发现、访问、任务定制、事件发布和预警。

作为优选，所述的流数据实时接入工具包括接入项管理模块、用户插件管理模块、静态数据入库模块和多线程处理模块；所述的接入项管理模块用于管理高并发实时接入系统的数据接入，包括连接传感网络服务器、新建接入项输入设置、地理对象操作、输出设置、启动接入项的一系列操作；所述的用户插件管理模块用于插件的管理，能够加载用户自定义的算法动态库，用于传感器网络数据的处理；所述的静态数据入库模块用于将诸如矢量、栅格、模型类静态数据，以及离线动态数据批量导入所述的NoSQL数据库；所述的多线程处理模块用于解决传感器网络高并发传输问题，通过并行分组接入的策略来执行传输传感器网络数据的任务，从而提高所述的高并发实时接入系统的吞吐量、提高所述的高并发实时接入系统资源有效利用率、改善用户任务之间的通信效率。

本发明的方法所采用的技术方案是：一种面向海量传感网数据的高并发实时接入方法，其特征在于，包括以下步骤：

步骤1：部署所述的传感器网络，在观测区域部署传感器节点，通过传感器节点采集接收获取原始采样数据；

步骤2：部署基于面向传感器管理及传感网数据预处理的传感器网络服务器进行传感器网络服务；所述的传感器网络服务主要包括：传感网观测服务(SensorObservation Service，SOS)以及简单传感器消息通知服务(Simple SensorNotification Service，SSNS)；所述的SOS由SOS服务器实现，所述的SSNS由SSNS服务器实现；所述的SOS对接各类传感器信息进行统一描述和数据编码，所述的流数据实时接入工具将SOS的监测数据接收，并将其写入所述的数据库进行存储及管理；所述的SOS用于传感器信息及其观测原始数据插入和用户查询得到传感器观测数据；所述的SSNS负责向订阅用户发出传感器事件的通知、接收传感器状态变更信息和按用户订阅要求发送传感器状态变化通知；

步骤3：通过所述的流数据实时接入工具(Stream Data Ingestion Tool，SDIT)实时接入SOS发布的传感器观测数据并写入所述的NoSQL数据库，并根据用户的需求对数据接收行为进行创建、暂停、停止操作。

作为优选，步骤1中所述的原始采样数据是诸如GPS传感器数据或温度传感器数据的数值型数据，或是诸如视频传感器的非数值型数据。

作为优选，步骤2中所述的SSNS用于接收传感器状态变更信息，所述的变更信息包括注册信息、启动观测信息、暂停观测信息、观测频率变化信息、注销信息。

作为优选，步骤3中所述的通过所述的SDIT实时接入SOS发布的传感器观测数据并写入所述的NoSQL数据库，其具体实现过程为所述的SDIT先向所述的SSNS服务器发送订阅所有传感器注册消息的请求，返回注册成功的信息，再向所述的SSNS服务器发送请求，获取传感器列表，然后订阅所有的传感器，选择接入的传感器，之后向传感器网络服务以固定的时间间隔发送获取观测的请求，得到返回观测值，这样不停地循环，然后获取数据后往所述的NoSQL数据库写入数据。

与现有技术相比，本发明具有以下优点和积极效果：

(1)支持传感器数据监测结果的网络实时发布；

目前，传感器数据存在监测孤立，各自为政，造成了大量的重复工作和人力、物力和财力的浪费的问题，本发明可实现传感器数据监测结果的网络实时发布。本发明采用一种标准和互操作的方式进行传感器数据结果的实时发布和共享，避免了同一词汇不同形式表达上的歧义，方便了不同部门间信息的共享，减少了不必要的重复劳动，同时也节省了大量资源和能耗；

(2)即使监测数据量随时间递增，也能够存储和管理海量数据；

(3)能够存储多种多样的、复杂的数据类型，而且便于数据类型的扩展；

(4)具有良好的数据备份保护功能，具有良好的数据保障功能。

附图说明

附图1：是本发明实施例的流数据实时接入工具的框架结构图。

附图2：是本发明实施例的数据走向流程图。

附图3：是本发明实施例的系统框架结构图。

附图4：是本发明实施例的流数据实时接入工具的数据结构图。

附图5：是本发明在王家岭煤矿的实施框架图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2和图3，本发明的系统所采用的技术方案是：一种面向海量传感网数据的高并发实时接入系统，包括传感器网络(以下简称为传感网)、传感器网络服务器、流数据实时接入工具和NoSQL数据库；传感器网络服务器用于提供传感器网络服务，传感器网络服务是以标准方式实现传感器网络资源的发现、访问、任务定制、事件发布和预警；流数据实时接入工具包括接入项管理模块、用户插件管理模块、静态数据入库模块和多线程处理模块；接入项管理模块用于管理高并发实时接入系统的数据接入，包括连接传感网络服务器、新建接入项输入设置、地理对象操作、输出设置、启动接入项的一系列操作；用户插件管理模块用于插件的管理，能够加载用户自定义的算法动态库，用于传感器网络数据的处理；静态数据入库模块用于将诸如矢量、栅格、模型类静态数据，以及离线动态数据批量导入NoSQL数据库；多线程处理模块用于解决传感器网络高并发传输问题，通过并行分组接入的策略来执行传输传感器网络数据的任务，从而提高高并发实时接入系统的吞吐量、提高高并发实时接入系统资源有效利用率、改善用户任务之间的通信效率；高并发实时接入系统采用层次化系统结构，通过传感器网络服务器抽象和统一传感器网络数据、封装传感器网络数据并提供数据对外访问接口，然后利用高并发实时接入系统将传感器网络中的传感器与时空地理对象相关联，通过访问接口获取数据，并利用多线程并行地接入传感器网络数据，写入NoSQL数据库。

本实施例采用传感器网络服务抽象和统一异构传感网数据；传感器网络服务以一种标准的方式实现了传感器资源(包括传感器资源和传感器系统资源)的发现、访问、任务定制、事件发布和预警，是传感器资源互操作使用的基础设施，也可以作为一种从传感器中实时采集观测数据的方式。自2003年以来，经过传感器Web整合框架(Sensor Web Enablement，SWE)项目组的一系列努力，开放地理信息联盟(Open Geospatial Consortium，OGC)已经开发了包括传感器建模语言(Sensor Makeup Language，SensorML)、观测与测量(Observation &Measure，O&M)2.0、传感网通用数据模型(SWE Common)2.0在内的三个信息模型，以及包含传感器规划服务(Sensor Planning Service，SPS)、传感器观测服务(Sensor Observation Service，SOS)、传感器预警服务(Sensor AlertService，SAS)以及网络通知服务(Web Notification Service，WNS)在内的四个服务规范。上述信息模型与服务规范的结合，使得网络环境下传感器数据共享成为可能。

请见图4，是本发明实施例的流数据实时接入工具的数据结构图。本实施例利用多线程技术设计的传感网流数据实时接入工具传输传感网数据；流数据实时接入工具是自主编写的、利用多线程技术的传感网数据传输工具。本系统利用多线程解决传感网高并发传输问题，通过并行分组接入的策略来执行传输传感网数据的任务，从而提高系统的吞吐量、提高系统资源有效利用率、改善用户任务之间的通信效率等。

在流数据实时接入工具中，传感器采样数据是以“接入对象(InjectionObject)”为单位进行组织的，而不是以传感器为单位，接入对象将传感器及其所观测的时空地理对象(Space and Time Geographical Object，STGObject)绑定关联，一个接入对象即为一个输入—处理—输出(Input-Process-Output，IPO)过程，其中输入项为传感器原始数据，主要的处理过程为算法库中的算法，输出数据可以为经用户选择算法进行处理过的数据和不进行处理的数据，最终数据输出到数据库中。

一个接入对象与传感器、时空地理对象形成一一对应的映射关系，接入对象将传感器与其所观察的时空地理对象绑定关联，将传感器所监测的时空地理对象的观测数据接收，并将其写进数据库中。同一个时空地理对象的所有传感器采样值按照时间序列组织在一起,形成该时空地理对象的“采样数据序列”，并作为一个属性存放在该监控对象的元组记录中。

将同一传感网中的同种类型传感器归并为一组，每一组对应一个接入对象集合(Injection Object Collection)，规定同一个接入对象集合存放着集合中各接入对象的共同属性。例如属于同一接入对象集合的存放着相同的SOS地址和数据库连接属性，接入对象集合负责执行组内接入对象的相同工作任务，例如从同一SOS服务地址获取传感器采样数据。接入对象集合与接入对象形成了1对n的映射关系。

本实施例SQL数据库存储传感网数据；采用NoSQL数据库为传感网数据的存储提供了解决方案，流数据实时接入工具最终将数据输出到NoSQL中存储。NoSQL数据库可以存储比较复杂的数据类型，能很好地支持海量数据存储，采用NoSQL数据库进行分布式存储突破了现有关系型数据存储的限制，极大的提高了存储空间和存储效率，为未来传感网数据存储提供了发展方向。

本实施例的传感网数据服务实时共享服务的构建具体如下表1；

表1 传感网数据服务实时共享服务的构建

请见图5，是本发明在王家岭煤矿的实施框架图。王家岭煤矿位于山西省乡宁矿区西南部，井田面积176.7415km²，生产能力600万t/a。下面将结合王家岭煤矿瓦斯部署的传感网数据接收实例的具体实施例对本发明作进一步说明。

本发明的具体实施步骤：

步骤1：在矿井巷道中均匀布设了若干瓦斯监测传感器：甲烷传感器、CO传感器、风速传感器、风门开停传感器和温度传感器，监测巷道中的各指标值；

步骤2：调用这些实时监测数据，将其封装为传感器网络服务在煤矿进行接入并以HTTP方式(XML和Web Service)进行传感器网络服务发布；

传感器观测服务(SOS)的最终目的是发布传感器的观测数据，实现共享。要实现传感器观测数据的发布，首先需要将传感器信息注册入库，即需要将传感器信息模型注册入数据库；然后，才能将传感器观测数据信息插入传感器观测服务(SOS)。针对本发明，即是将瓦斯实时监测结果插入传感器观测服务(SOS)；最后，通过获取数据请求实现数据库内数据的下载和共享。

本应用所构建的瓦斯监测实时共享服务即传感器观测服务，所构建的瓦斯监测实时共享服务的作用有：一是数据提供者基于瓦斯监测实时共享服务注册传感器信息，然后通过插入数据请求发布传感器数据；二是数据使用者可以通过发送获取数据请求从瓦斯监测实时共享服务获得数据。

步骤3：远程用户通过流数据实时接入工具远程调用相关监控监测服务，向传感器网络服务系统发送数据请求，接收瓦斯实时监测数据并写入NoSQL数据库，进行分布式存储与管理，并为后续系统提供数据访问接口。

流数据实时接入工具是监测数据的传输通道，位于传感器网络服务系统与数据库管理系统之间，使数据格式彼此独立的传感器网络服务系统与数据库管理系统之间实现相互通信。流数据实时接入工具的工作分为两个层次：

(1)新建接入对象：用户进行数据库的相关设置(NoSQL数据库服务地址、用户名、密码、数据库名)并选择传感器网络服务地址ServiceAddress后，流数据实时接入工具便向传感器网络服务系统发出XML格式的GetCapabilities请求，对方返回以XML方式编码的SOS服务描述信息及传感器列表数据；流数据实时接入工具对其进行解析，并要求用户作进一步的设置——选择需要接入的传感器SensorID并关联监测点对象STGObject ID，同时规定将监测点对象存放于同一个地理对象图层(Object Layer)，设定数据获取频率TimeInterval等；最后，流数据实时接入工具根据用户的一系列设置生成XML接入对象集合文件(如下所示)。

上述XML文件中各节点含义见表2。

表2 XML文件中各节点含义

节点名	含义
		IOCollection	Injection Object Collection,接入对象集合
IOCollection name	接入对象集合名称
		ServiceAddress	SOS的服务地址
Database	数据库的属性节点

ObjectLayer	地理对象图层的属性节点
		Time	数据获取频率
SensorID	传感器ID号
		STGObject	时空地理对象属性节点

(2)获取实时数据：在流数据实时接入工具中导入XML接入对象文件，系统便向传感器网络服务系统发出XML格式的DescribeSensor请求，以获取以SensorML或TML编码的特定传感器的详细描述信息；同时，流数据实时接入工具开始按照设定的频率定时向传感器网络服务系统发出GetObservation请求，对方则实时地返回以O&M编码的传感器的观测数据；流数据实时接入工具对返回的监测点描述信息、传感器描述数据、及O&M编码的监测数据进行解析，将其转换成BSON格式的文档，并通过NoSQL数据库外部数据访问接口写入相应的集合表里。特别的，在将数据写入数据库之前，流数据实时接入工具会先对监测监控数据进行简单的预处理，例如坐标转换等。

(3)在接入数据过程中，流数据实时接入工具可对接入对象进行接入、暂停、停止操作。接入操作是从SOS读取数据存入数据库中，暂停操作是暂停数据接入，停止操作则是停止数据接入。

步骤4：通过数据库监控管理工具查看NoSQL数据库存储数据的情况。针对获取的实时瓦斯监测数据，本发明还提供了用以实时展示传感器数据可视化的展示平台--分布式数据库监控管理系统。分布式数据库监控管理系统将实时瓦斯监测结果值按时间顺序展示在网页上，用户通过用户名和密码登陆该系统监测和管理传感器数据的写入与存储状况。这样不仅提供了瓦斯监测结果的直接展示，而且为监测结果在其他领域的使用提供了便利。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种面向海量传感网数据的高并发实时接入系统，其特征在于：包括传感器网络、传感器网络服务器、流数据实时接入工具和NoSQL数据库，所述的高并发实时接入系统采用层次化系统结构，通过所述的传感器网络服务器抽象和统一所述的传感器网络数据、封装所述的传感器网络数据并提供数据对外访问接口，然后利用所述的高并发实时接入系统将所述的传感器网络中的传感器与时空地理对象相关联，通过访问接口获取数据，并利用多线程并行地接入所述的传感器网络数据，写入所述的NoSQL数据库。

2.根据权利要求1所述的面向海量传感网数据的高并发实时接入系统，其特征在于：所述的传感器网络服务器用于提供传感器网络服务，所述的传感器网络服务是以标准方式实现所述的传感器网络资源的发现、访问、任务定制、事件发布和预警。

3.根据权利要求1所述的面向海量传感网数据的高并发实时接入系统，其特征在于：所述的流数据实时接入工具包括接入项管理模块、用户插件管理模块、静态数据入库模块和多线程处理模块；

所述的接入项管理模块用于管理高并发实时接入系统的数据接入，包括连接传感网络服务器、新建接入项输入设置、地理对象操作、输出设置、启动接入项的一系列操作；

所述的用户插件管理模块用于插件的管理，能够加载用户自定义的算法动态库，用于传感器网络数据的处理；

所述的静态数据入库模块用于将诸如矢量、栅格、模型类静态数据，以及离线动态数据批量导入所述的NoSQL数据库；

所述的多线程处理模块用于解决传感器网络高并发传输问题，通过并行分组接入的策略来执行传输传感器网络数据的任务，从而提高所述的高并发实时接入系统的吞吐量、提高所述的高并发实时接入系统资源有效利用率、改善用户任务之间的通信效率。

4.一种利用权利要求1所述的面向海量传感网数据的高并发实时接入系统面向海量传感网数据的高并发实时接入方法，其特征在于，包括以下步骤：

步骤1：部署所述的传感器网络，在观测区域部署传感器节点，通过传感器节点采集接收获取原始采样数据；

步骤2：部署基于面向传感器管理及传感网数据预处理的传感器网络服务器进行传感器网络服务；所述的传感器网络服务主要包括：传感网观测服务（Sensor Observation Service，SOS）以及简单传感器消息通知服务（Simple Sensor Notification Service，SSNS）；所述的SOS由SOS服务器实现，所述的SSNS由SSNS服务器实现；所述的SOS对接各类传感器信息进行统一描述和数据编码，所述的流数据实时接入工具将SOS的监测数据接收，并将其写入所述的数据库进行存储及管理；所述的SOS用于传感器信息及其观测原始数据插入和用户查询得到传感器观测数据；所述的SSNS负责向订阅用户发出传感器事件的通知、接收传感器状态变更信息和按用户订阅要求发送传感器状态变化通知；

步骤3：通过所述的流数据实时接入工具（Stream Data Ingestion Tool，SDIT）实时接入SOS发布的传感器观测数据并写入所述的NoSQL数据库，并根据用户的需求对数据接收行为进行创建、暂停、停止操作。

5.根据权利要求4所述的面向海量传感网数据的高并发实时接入方法，其特征在于：步骤1中所述的原始采样数据是诸如GPS传感器数据或温度传感器数据的数值型数据，或是诸如视频传感器的非数值型数据。

6.根据权利要求4所述的面向海量传感网数据的高并发实时接入方法，其特征在于：步骤2中所述的SSNS用于接收传感器状态变更信息，所述的变更信息包括注册信息、启动观测信息、暂停观测信息、观测频率变化信息、注销信息。

7.根据权利要求3所述的面向海量传感网数据的高并发实时接入方法，其特征在于：步骤4中所述的通过所述的SDIT实时接入SOS发布的传感器观测数据并写入所述的NoSQL数据库，其具体实现过程为所述的SDIT先向所述的SSNS服务器发送订阅所有传感器注册消息的请求，返回注册成功的信息，再向所述的SSNS服务器发送请求，获取传感器列表，然后订阅所有的传感器，选择接入的传感器，之后向传感器网络服务以固定的时间间隔发送获取观测的请求，得到返回观测值，这样不停地循环，然后获取数据后往所述的NoSQL数据库写入数据。