CN105243158A - 一种基于物联网的数据计算方法 - Google Patents

Abstract

本发明提供了一种基于物联网的数据计算方法，该方法包括：将传感器采集的数据发送到传感器网络中，传感器网络将采集的数据存储在存储设备的数据库中，并通过串行接口通信发送给网关。本发明提出了一种基于物联网的数据计算方法，考虑传感器所在环境特征，具备较低的能耗和高效的读写访问效率，降低应用开发复杂度。

Description

一种基于物联网的数据计算方法

技术领域

本发明涉及物联网，特别涉及一种基于物联网的数据计算方法。

背景技术

物联网是信息化时代发展的重要阶段，其特点主要是将物体与物体相互连接，并实现信息共享。物联网通过识别技术、信息采集等通信感知技术，被广泛整合于网络中。传感器网络是以物联网为基础，可以在不同时间、地点、环境等条件下，为终端用户提供有价值的信息。其中，传感器网络可以对外部传感器进行感知和检查，可以将设备更改，与无线和有线网络进行连接。在传感器网络中，必须配备性能比较高的系统平台。传感器需要存储感知数据、系统配置文件、可加载任务文件以及程序产生的临时数据等各类信息。传感节点采用闪存芯片作为这些信息的存储介质，而闪存异位更新的物理特性，要求所有应用程序维护闪存存储空间的全局信息；另外，涉及信息存储的应用程序都要实现文件的访问和管理功能，增加了应用开发复杂度。现有闪存数据库文件系统在设计时没有考虑传感器自身限制特征以及特殊应用场景，因此不适用于传感器网络。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于物联网的数据计算方法，包括：

将传感器采集的数据发送到传感器网络中，传感器网络将采集的数据存储在存储设备的数据库中，并通过串行接口通信发送给网关。

优选地，所述传感器网络以及子节点组成传感数据传输系统，系统以ARM平台为底层硬件，采用嵌入式微处理器运行经裁剪的内核的Linux系统模块组成的操作系统，实现进程调度，内存管理，虚拟文件系统，网络接口，进程间通信；所述传感器网络为ZigBee自组网网络，以一个节点作为协调器，其他节点作为子节点；网络中的每个子节点使多个ZigBee分配在时隙相同而频率不同的信道上，使协调器和多个ZigBee同时通信，利用频分多址使通道容量根据要求动态的进行交换；协调器在加电以后，首先会建立一个无线网络，当网络建立完成并允许新设备加入时，子节点才可以申请加入网络，并分配地址给子节点；利用接收模块实现对多个不同频道上的发送模块进行点对多点通信；

所述传感数据传输系统采用关系型数据库来存储数据，建立多个页表，分类存储从各个传感器获取的数据信息；主服务器负责将接收到的数据分类汇总并写入数据库，为Web服务器的调用数据做准备；Web服务器则将数据进行处理、分析、统计、显示和预警；系统通过路由设备接入互联网，使用户在任何地点通过网络连接根据不同的权限登录监控平台，获取实时的现场数据。

优选地，所述数据库采用日志形式对文件进行结构化，将文件的信息和数据存储在独立的文件存储区，文件存储区为连续的闪存物理页面，空间的开始为文件头信息结构，用于保存文件相关信息，随后为文件数据存储区；当文件首次被修改时，为文件建立对应的日志，修改数据以页面为单位记录在日志中，然后还利用可擦写ROM存储文件的位置及目录等信息；

数据库文件系统挂载后，仅在主存中新建空的文件结构数组和文件描述符数组，而不将文件信息加载到主存中；数据库文件系统中文件生命周期包括新建、修改与删除3个状态，通过可擦写ROM中的标记位记录当前文件所处状态，以对文件的管理，新建状态和修改状态时文件有效，删除状态时文件无效；数据库文件系统对文件进行按名存取，并为用户提供文件功能接口包括新建、读写、删除，还提供了重命名、文件恢复和目录管理以及垃圾回收的扩展功能。

优选地，所述垃圾回收操作进一步包括：根据可擦写ROM中的文件信息统计闪存存储块中有效文件和有效日志数量，将均为零的存储块擦除释放空闲存储区，同时清除可擦写ROM中所有删除状态文件的对应信息，对闪存存储空间实行顺序分配，并且只在空闲存储区不足时进行垃圾回收，而且回收时文件迁移使一直被占用的存储块被释放。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于物联网的数据计算方法，考虑传感器所在环境特征，具备较低的能耗和高效的读写访问效率，降低应用开发复杂度。

附图说明

图1是根据本发明实施例的基于物联网的数据计算方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于物联网的数据计算方法。图1是根据本发明实施例的基于物联网的数据计算方法流程图。本发明构建物联网传感数据传输系统，实现以传感器网络为基本的数据采集、以网关通信作为数据传输，数据存储设备作为数据服务器、Web服务器为前端监控的数据显示平台。系统分为采集层、传输层、网络层、数据层、服务层，系统各层之间相互协调，完成各自的任务。采集层是在不同位置使用各类传感器进行数据获取，实时得到环境中各类数据值。传输层是以ZigBee协调器为传感器网络的接收设备，对传感器网中子节点获取的数据进行收集，并通过串行接口通信发送给网关。网络层实现的是TCP/IP协议下的Socket通信功能，将数据传至数据服务器。数据层是对数据的整理和存储操作。服务层是依靠移动设备客户端和Web服务器为主的终端显示。对于Web服务器而言，直接调用数据库中数据，在网页中显示出数据的动态变化，并对数据进行预警值的对比，及时反馈预警信息。

ZigBee自组网网络以一个节点作为协调器，其他节点作为子节点。网络中的每个子节点使多个ZigBee分配在时隙相同而频率不同的信道上，这样可以使协调器和多个ZigBee同时通信。利用频分多址使通道容量根据要求动态的进行交换，满足自组网的需求。协调器在加电以后，首先会建立一个无线网络，当网络建立完成并允许新设备加入时，子节点才可以申请加入网络，并分配地址给子节点。利用1个接收模块实现对多个不同频道上的发送模块进行点对多点通信。

将传感器连接在自组网设备的传感器I/O接口处，组成一个传感器网络中的末端子节点，独立的采集数据，并在自组网中将数据传输给协调器。这样就实现了数据传输网络和数据采集网络，实现对监控数据的采集和传输。例如，对于温度和湿度数据采集，采用含有已校准数字信号输出的温湿度复合传感器。传感器包括一个电容式聚合体测湿元件和一个能隙式测温元件，并与一个14位的A/D转换器以及串行接口电路在同一芯片上实现无缝连接。对于烟雾数据采集，使用的气敏材料是在清洁空气中电导率较低的SnO₂，二氧化锡通过气体浓度改变导致导电率改变而产生微弱的电信号，再通过放大器对信号放大，再由A/D转换为数字信号。

系统以ARM平台为底层硬件，Linux内核系统为软件开发平台，可拓展的通信功能满足了各种通信系统之间的互联互通。基于ARM体系结构平台的搭建，采用嵌入式微处理器运行经裁剪的内核的系统模块组成的小型操作系统，由进程调度，内存管理，虚拟文件系统，网络接口，进程间通信五个子系统构成。ZigBee模块由协调器自动组网，终端节点自动入网，建立数据通信后采用周期定时发送消息，实现数据的实时传输。对于嵌入式设备网络，选择一种可靠的面向连接服务的数据流套接字(TCP/IP协议)，套接字的地址格式是一个IP地址和一个端口号，它实现了网关与服务器的端到端的通信。ZigBee模块支持USB供电和电池供电方式，可通过传感器I/O接口外扩多种传感器模块，并提供多种外设接口。传输数据的网关首先通过对ARM开发板烧写内核系统，然后在交叉编译的环境下编译程序，再将程序烧写入ARM开发板中。网关将数据通过路由器传输到主服务器中。实现数据的实时传输。

数据库作为信息存储的载体，使得数据得到了有序、高效的管理和维护。本发明的系统采用关系型数据库来存储数据，建立多个页表，来分类存储从各个传感器获取的数据信息。主服务器负责将接收到的数据分类汇总并写入数据库，为Web服务器的调用数据做准备。Web服务器则将数据进行处理、分析、统计、显示和预警等。系统通过路由设备接入互联网，这样，监控人员可在任何地点通过网络连接根据不同的权限登录监控平台，获取实时的现场数据。

其中，对于采集数据的存储，本发明进一步改进了传感器数据库文件系统。数据库文件系统采用改进的日志形式对文件进行结构化，综合利用节点各类存储介质保存文件相关信息，既快速索引定位文件在存储空间中的位置，又提供便捷的文件重命名、数据恢复等功能，同时具备较低的能耗。具有高效的读写访问效率，还保证系统对内存更小的空间占用。

传感器存储介质包括主存、可擦写ROM、NAND闪存和串行存储器。主存容量非常有限，因此要求数据库文件系统对主存空间占用尽量小。可擦写ROM用于保存系统配置文件。NAND闪存以字节为最小读写单元且支持数据随机访问，用于保存操作系统镜像及可执行程序，作为设备芯片内执行的存储器。串行存储器的存储空间划分为固定大小的块和页；写操作只能将“1”写成“0”；只有擦写操作可将“0”重置为“1”，擦写操作以块为单位；擦写操作次数存在最大上限。另外，传感器网络部署使用时间一般较长，而传感器的电池能量非常有限，由于传感器承担信息路由的责任，所以部分节点电量耗尽可导致整个传感器网络瘫痪。考虑上述特性，本发明的数据库文件系统采用改进的日志形式对文件进行结构化，系统将文件的信息和数据存储在独立的文件存储区，文件存储区为连续的闪存物理页面，空间的开始为文件头信息结构，用于保存文件相关信息，随后为该文件数据存储区。这避免了以往日志系统中文件数据分散在整个存储空间。当文件首次被修改时，系统为文件建立对应的日志，修改数据以页面为单位记录在日志中。另外，数据库文件系统还利用可擦写ROM存储文件的位置及目录等信息，这既可以通过索引快速定位文件的物理位置，又可以提供文件重命名、数据恢复等功能，还可以避免修改文件属性时因闪存异位更新特性而产生垃圾文件。

数据库文件系统挂载后，仅在主存中新建空的文件结构数组和文件描述符数组，并不将文件信息加载到主存中。因此数据库文件系统挂载只需要在主存中初始化数据库文件系统的全局信息，所以系统挂载可快速完成。为减小数据库文件系统对主存的占用，系统允许主存中可最多同时载入8个文件的信息，因此数据库文件系统对主存空间的占用不会随文件数量的增加而增加。数据库文件系统中文件生命周期包括新建、修改与删除3个状态，通过可擦写ROM中的标记位记录当前文件所处状态，以便系统对文件的管理。新建状态和修改状态时文件有效，删除状态时文件无效。

数据库文件系统对文件进行按名存取，并为用户提供标准的文件功能接口。数据库文件系统不仅提供文件新建、读写、删除等基本功能，还提供了重命名、文件恢复和目录管理等扩展功能。文件新建时，系统先申请文件描述符，然后在可擦写ROM中查找该文件名对应文件信息是否存在。若存在且有效，则将文件信息加载到主存中；否则，新建该文件。文件新建时系统先在闪存中申请默认大小的文件存储区，写入文件头信息，然后向主存中加载文件信息，最后在可擦写ROM中添加该文件的信息。

文件读写是以逻辑页为单位，写操作分为添加写和修改写。系统将文件添加写操作的数据直接添加到文件的结尾。如果数据大小超过文件存储区，则进行文件扩展操作：重新申请2倍于原来大小的文件存储区，将原文件数据读到新空间，更新文件在可擦写ROM和主存中信息。逻辑页的第1个字节为修改标识位，文件首次被修改时系统为该文件新建日志文件，修改数据以记录形式存储在日志中，日志中建立的索引表用于保存修改记录与原文件数据所在页面的映射关系。日志存储区被修改记录占满后，需进行文件整合操作：重新申请同样大小的文件存储区，将原文件数据读到新空间，更新可擦写ROM和主存中信息。数据库文件系统中文件数据的读取策略是先从文件中读出一个逻辑页，查看修改标识位，如果该页中数据已被修改，则到对应日志中读取修改后的数据，因此整合后新文件中为修改后完整的数据。

文件删除时，闪存按块擦写特性使得文件存储区中的数据在文件删除时并不被擦除掉，而是在垃圾回收时被清理。因此文件的删除操作只是把可擦写ROM中该文件的标识改为删除状态，文件信息仍然保存在可擦写ROM中。文件重命名数据库文件系统通过更新文件在可擦写ROM中名字属性实现重命名，如果可擦写ROM中已存在同名文件，若该文件有效，则重命名失败；若该文件无效，则清除该无效文件信息，更新文件名。

对于目录管理，系统使用文件线性目录及树形目录。线性目录根据文件在闪存空间中顺序位置对文件进行管理。系统提供的树形目录需要在编译时对配置文件进行设置来实现，树形目录中用户可按目录名对文件进行管理。文件恢复因为文件删除是对文件状态标识修改实现的，只要可擦写ROM中存在某个文件信息，则该文件数据一定完整地保存在闪存中。因此对已删除文件的状态标识进行重置可实现文件的恢复功能。

随着系统的运行闪存空间会产生大量废弃文件，为了清理出空闲的存储空间，数据库文件系统需要进行垃圾回收操作。数据库文件系统根据可擦写ROM中的文件信息统计闪存存储块中有效文件和有效日志数量，将均为零的存储块擦除释放空闲存储区。同时清除可擦写ROM中所有删除状态文件的对应信息，因此文件恢复只能在垃圾回收之前进行。数据库文件系统对有效文件数量较小的存储块中文件和日志进行转移来提高空间回收的效率。闪存擦写次数限制要求数据库文件系统对闪存空间要均匀擦写。数据库文件系统对闪存存储空间实行顺序分配，并且只在空闲存储区不足时进行垃圾回收，而且回收时文件迁移可以使一直被占用的存储块被释放。数据库文件系统通过上述机制保证了闪存在擦写的平衡处理。

综上所述，本发明提出了一种基于物联网的数据计算方法，考虑传感器所在环境特征，具备较低的能耗和高效的读写访问效率，降低应用开发复杂度。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于物联网的数据计算方法，其特征在于，包括：

将传感器采集的数据发送到传感器网络中，传感器网络将采集的数据存储在存储设备的数据库中，并通过串行接口通信发送给网关。

2.根据权利要求1所述的方法，其特征在于，所述传感器网络以及子节点组成传感数据传输系统，系统以ARM平台为底层硬件，采用嵌入式微处理器运行经裁剪的内核的Linux系统模块组成的操作系统，实现进程调度，内存管理，虚拟文件系统，网络接口，进程间通信；所述传感器网络为ZigBee自组网网络，以一个节点作为协调器，其他节点作为子节点；网络中的每个子节点使多个ZigBee分配在时隙相同而频率不同的信道上，使协调器和多个ZigBee同时通信，利用频分多址使通道容量根据要求动态的进行交换；协调器在加电以后，首先会建立一个无线网络，当网络建立完成并允许新设备加入时，子节点才可以申请加入网络，并分配地址给子节点；利用接收模块实现对多个不同频道上的发送模块进行点对多点通信；

所述传感数据传输系统采用关系型数据库来存储数据，建立多个页表，分类存储从各个传感器获取的数据信息；主服务器负责将接收到的数据分类汇总并写入数据库，为Web服务器的调用数据做准备；Web服务器则将数据进行处理、分析、统计、显示和预警；系统通过路由设备接入互联网，使用户在任何地点通过网络连接根据不同的权限登录监控平台，获取实时的现场数据。

3.根据权利要求2所述的方法，其特征在于，所述数据库采用日志形式对文件进行结构化，将文件的信息和数据存储在独立的文件存储区，文件存储区为连续的闪存物理页面，空间的开始为文件头信息结构，用于保存文件相关信息，随后为文件数据存储区；当文件首次被修改时，为文件建立对应的日志，修改数据以页面为单位记录在日志中，然后还利用可擦写ROM存储文件的位置及目录等信息；

数据库文件系统挂载后，仅在主存中新建空的文件结构数组和文件描述符数组，而不将文件信息加载到主存中；数据库文件系统中文件生命周期包括新建、修改与删除3个状态，通过可擦写ROM中的标记位记录当前文件所处状态，以对文件的管理，新建状态和修改状态时文件有效，删除状态时文件无效；数据库文件系统对文件进行按名存取，并为用户提供文件功能接口包括新建、读写、删除，还提供了重命名、文件恢复和目录管理以及垃圾回收的扩展功能。

4.根据权利要求3所述的方法，其特征在于，所述垃圾回收操作进一步包括：根据可擦写ROM中的文件信息统计闪存存储块中有效文件和有效日志数量，将均为零的存储块擦除释放空闲存储区，同时清除可擦写ROM中所有删除状态文件的对应信息，对闪存存储空间实行顺序分配，并且只在空闲存储区不足时进行垃圾回收，而且回收时文件迁移使一直被占用的存储块被释放。