CN108769109B - 一种物联网异构设备数据的统一处理方法及系统 - Google Patents

Abstract

本发明属于物联网环境下异构设备的数据处理领域，公开了一种物联网异构设备数据的统一处理方法及系统,接收到底层异构传感器数据后向数据添加标签，并将标签信息发送；接收并提取标签信息，并根据标签信息获取网关信息；然后寻找相对应的DataFormat文件；根据文件DataFormat中的数据格式信息对本次上传的数据信息进行解析，然后将解析到的数据上发送；用统一的数据格式进行封装、调用。本发明采用组件化思想，为添加的异构设备动态添加DataFormat文件和编码器插件来实现物联网底层异构设备接入物联网平台后能及时于平台进行数据交互，减少平台因设备的不同而需要开发不同的数据解析、封装模块。

Description

一种物联网异构设备数据的统一处理方法及系统

技术领域

本发明属于物联网环境下异构设备的数据处理领域，尤其涉及一种物联网异构设备数据的统一处理方法及系统。

背景技术

目前，业内常用的现有技术是这样的：当前业内主要有以下两种方式来解决底层异构数据的兼容问题。1、强化网关模块功能，使网关能够兼容多种底层异构设备的协议，例如zigbee、wifi、蓝牙等；2、为每个网关都单独开发一个相应的数据信息处理模块。物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段，被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。虽然近年来物联网行业在不断的发展，但是底层异构设备的协议、数据格式不统一的问题一直是制约物联网行业进一步发展的一大障碍。

综上所述，现有技术存在的问题是：1、现有技术难以使网关兼容所有底层异构协议目前最强大的芯片也只支持4种协议，并且强化网关模块功能是在硬件上实现协议兼容，具有扩展差，不够灵活的缺点。随着兼容的协议越多，付出的代价越大，不可控性越大。2、为每个网关都单独开发一个数据处理模块，虽然具有很好地灵活性、可扩展性，但是每接入一个网关就需要就行一次开发，增加了网关接入的难度，代码不能实现复用，不利于系统的维护。

物联网底层异构设备接入物联网平台后难以实现与平台快速的进行数据对接主要有以下几个难点：

(1)由于物联网兴起初期没有制定统一的传输协议标准，使得底层设备的传输协议多样化，目前底层协议呈多足鼎立，难以统一。

(2)物联网设备的产商众多、产品种类多样化，各大产商对于底层传感器采集的数据封装格式不尽相同，这使得物联网设备接入平台后，难以与平台很好的进行数据交互。

解决上述技术问题的难度和意义：物联网发展迅猛，呈现百家争鸣的情况，底层异构设备的协议统一难以实现。用户不能根据自身需求随意购买设备，只能使用特定协议的底层异构设备，不利于物联网技术的推广。1、如果不能兼容所有底层异构设备的协议将会限制物联网平台的扩展性，难以为各行各业应用提供底层传感器数据支撑。2、各产商风格各异，对数据封装格式差异性大，难以兼容所有产商的数据格式。

发明内容

针对现有技术存在的问题，本发明提供了一种物联网异构设备数据的统一处理方法及系统。本发明涉及异构设备数据的解析、再封装，本发明实现物联网平台能够兼容各种异构设备，异构设备能与平台快速进行数据交互。

本发明是这样实现的，一种物联网异构设备数据的统一处理方法，包括：

步骤一,异构设备接入者需要根据所接入设备的数据封装格式编写相应的数据格式文件DataFormat，控制命令的编码器插件，以供后期该设备与物联网平台间进行数据交互能顺利进行。

步骤二，为每个网管设备加装一个标签模块，该模块会为每个网关生成一个唯一的识别码，用来标识对应的网关信息。

步骤三，网关设备接受到底层传感器设备上传的数据后，会经过标签模块为数据信息增加识别码，然后再将数据上传到物联网平台的数据接收模块，数据接收模块调用DataFormat文件实现对数据的解析，然后将数据发送给数据存储模块。数据存储模块根据平台统一的数据格式重新封装数据，并将封装好的数据存储到数据库中。

步骤四，物联网平台接收到用户对节点的控制操作信息，然后使用编码器插件对控制命令进行封装，并下发给具体的传感器节点实现对异构节点的控制。

进一步，所述传感器数据上传平台包括以下步骤：

步骤一，首先在物联网底层异构设备接入物联网平台时接入者需要根据自己接入的网关以及传感器设备的数据格式写一个DataFormat文件，用于描述该网关下都有哪些类型的传感器，各种传感器所对应的数据格式等信息。

步骤二，为每个物联网网关添加一个标签设备，该标签会为对应的网关生成一串唯一的数值，用来标识对应的网关信息。所有网关的信息都先经过该硬件设备进行打标签操作，然后再将传感器数据与标签信息上发给平台的数据接收模块。

步骤三，当平台的数据接收模块接收到上发的数据后，先根据标签信息去服务器的DataFormat文件夹中寻找是否有与该标签相对应网关命名相匹配的文件，如果有则进行步骤四，如果没有就舍弃该信息并提示用户无该网管的 DataFormat文件。

步骤四，平台读取DataFormat文件信息，并根据上传数据中包含的节点MAC 地址信息搜索其在DataFormat文件中对应的数据封装格式，并根据数据封装格式对上传的传感器数据进行解析。

步骤五，将解析后的数据以平台统一的数据格式进行再封装操作，然后存进数据库中供平台的应用直接调用。

进一步，所述平台下发控制命令包括以下步骤：

步骤一，用户通过网页端应用、APP端应用和微信端应用对传感器节点进行控制操作。

步骤二，平台接受到用户的控制操作信息后会根据节点所属网关信息到编码库中查询是否有与该网关信息相对应的编码器插件，如果有则进行步骤三，如果没有则为用户返回提示信息，让用户尽快添加编码器插件。

步骤三，根据节点的MAC地址在相应的编码器插件中寻找该节点相对应的编码格式，如果有则进行步骤四，如果没有则提示用户，让用户完善该节点对应的控制命令编码格式。

步骤四，数据编码模块根据节点MAC地址查询到的控制命令编码格式对本次操作进行编码，并下发给相应的网关设备。

步骤五，网关设备接收到编码好的控制命令信息后，提取控制命令并下发给相应的传感器节点。

步骤六，传感器节点接收到控制命令信息，并根据控制命令做出相应反馈。

本发明的另一目的在于提供一种实现所述物联网异构设备数据的统一处理方法的计算机程序。

本发明的另一目的在于提供一种实现所述物联网异构设备数据的统一处理方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的物联网异构设备数据的统一处理方法。

本发明的另一目的在于提供一种物联网异构设备数据的统一处理系统包括：

网关设备，接收到底层异构传感器数据后向数据添加标签，并将该信息发给平台的数据接收模块；

数据接收模块，接收并提取该信息的标签信息，并根据标签信息获取网关信息。然后到DataFormat文件夹下寻找与该网关相对应的DataFormat文件。根据文件中的数据格式信息对本次上传的数据信息进行解析，然后将解析到的数据上发给数据存储模块；

数据存储模块，用平台统一的数据格式进行封装，并将数据存入数据库，供各类物联网应用调用；

物联网应用单元，用户在物联网应用对节点进行控制操作，平台获取本次操作信息，并将该信息下发给控制命令处理模块；

控制命令处理模块，提取具体的节点信息、控制命令信息。然后去编码器库中寻找相对应的编码器插件，为该信息进行编码操作，并将编码好的控制命令信息下发给控制命令下发模块；

控制命令下发模块，接收到要下发的控制命令信息，为该信息寻找匹配的网关，然后将该控制命令信息下发给网关设备；网关设备根据节点的MAC地址信息，将控制命令下发给具体的传感器节点，传感器节点根据控制命令信息做出相应的操作变化。

本发明的另一目的在于提供一种搭载有所述物联网异构设备数据的统一处理方法系统的信息数据处理终端。

综上所述，本发明的优点及积极效果为：

现有增强网关模块功能方案，一方面因为底层协议多，网关难以实现全部兼容，现有网关基本只兼容2,3中常用协议。另一方面网关设备难以实现协议的动态扩充。现有为网关开发相应的数据处理模块方案，虽然易于实现并且具有良好的扩展性，但是随着网关数量的增加，系统代码会越来越大，缺乏代码的复用性，系统维护难度大。由于底层异构设备协议多种多样，但是网关上传数据的协议数量少，本发明使用不同的虚拟机来处理不同的网关上传数据协议，一方面有利于减少数据处理模块的压力，另一方面有利于系统性能提高和代码维护。利用组件化思想，动态添加网关的DataFormat和编码器插件，解决底层异构设备的数据格式不统一的问题。整体方案容易实现，并且具有良好的扩展性，数据处理模块的代码可以服用，系统易于维护。

本发明利用组件化思想，为不同网关设备可动态添加DataFormat跟编码器插件，即方便网关设备的接入，又具有很好地可扩展性。将底层异构协议统一操作从网关上移为平台做统一处理，如果在网关上做协议统一使网关兼容多种协议，一方面不利于协议的扩充，另一方面会使网关成本大大增加。使用分机分协议的办法来处理网关上发的数据，根据网关到平台间协议的不同，使用不同的虚拟机来进行数据接收处理。一方面有利于缓解数据接收模块的压力，另一方面降低了代码的复杂度，易于代码的修改和维护。标签模块，为网关生成唯一的标签信息，为网关上传的数据解析、封装提供搜索依据。

附图说明

图1是本发明实施例提供的物联网异构设备数据的统一处理方法流程图。

图2是本发明实施例提供的网关上传传感器数据到平台的流程图。

图3是本发明实施例提供的平台下发对传感器节点的控制命令的流程图。

图4是本发明实施例提供的物联网异构设备数据的统一处理系统示意图。

图5是本发明实施例提供的物联网异构设备数据的统一处理方法实现流程图。图6本发明实施例提供不同产商的DataFormat文件中温湿度传感器节点对应的json字符串对比图

图中：1、异构设备；2、网关设备；3、数据接收模块；4、数据存储模块；5、物联网应用单元(包含物联网网页端应用、APP端应用、微信端应用)； 6、控制命令处理模块；7、控制命令下发模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，是本方法实例提供的异构设备数据的统一处理总体流程，包括以下步骤：

S101：网关设备接收到底层异构传感器数据后向数据添加标签，并将该信息发给平台的数据接收模块。

S102平台数据接收模块接收并提取该信息的标签信息，并根据标签信息获取网关信息。然后到DataFormat文件夹下寻找与该网关相对应的DataFormat 文件。根据文件中的数据格式信息对本次上传的数据信息进行解析，然后将解析到的数据上发给数据存储模块。

S103：数据存储模块用平台统一的数据格式进行封装，并将数据存入数据库，供各类物联网应用调用。

S104：用户在物联网应用对节点进行控制操作，平台获取本次操作信息，并将该信息下发给控制命令处理模块。

S105：控制命令处理模块提取具体的节点信息、控制命令信息。然后去编码器库中寻找相对应的编码器插件，为该信息进行编码操作，并将编码好的控制命令信息下发给控制命令下发模块；

S106：控制命令下发模块接收到要下发的控制命令信息，为该信息寻找匹配的网关，然后将该控制命令信息下发给网关。

S107：网关根据节点的MAC地址信息，将控制命令下发给具体的传感器节点，传感器节点根据控制命令信息做出相应的操作变化。

如图2所示，本发明的网关上传传感器数据到平台包含以下步骤：

S201：底层异构传感器设备采集环境数据，并将采集到的环境数据发送给相应的网关设备。

S202：网关设备将接收到传感器数据并用节点传感器上传数据的协议进行解析，然后给要上传的传感器数据添加标签信息，用来唯一识别对应的网关，避免在数据解析及命令下发时出现网关信息混淆的情况。网关将传感器数据与标签信息封装好后根据网关与平台交互的协议将数据上传到平台不同的数据接收模块。

S203：数据接收模块接收到网关上传的数据后先对数据进行解析，获取标签信息，再通过标签信息去DataFormat文件库中寻找与其对应网关设备的 DataFormat文件。如果有该文件则使用本次传感器节点的MAC地址寻找传感器相对应的数据封装格式，并根据数据封装格式对数据进行解析操作，得到传感器节点采集到的数据，最后将数据上传给数据存储模块。

S204：数据存储模块接收到数据解析模块上传的数据后会用平台统一的数据格式对数据进行封装操作，然后将数据存进数据库中。以便物联网应用能够以统一的方式调用不同网关上传上来的数据。

如图3所示，本发明的平台下发对传感器节点的控制命令包含以下步骤：

S301：用户通过物联网应用对节点进行控制操作。平台接收到来自用户的控制操作后会将本次控制操作信息发送给控制命令处理模块。

S302：控制命令处理模块接收到对节点的控制操作信息后，根据节点的MAC 地址去数据库中查找相应的标签信息。并根据标签信息去编码器库中寻找与其相对应的编码器插件。使用编码器插件对控制命令进行编码操作，然后将编码好的控制命令数据下发给控制命令下发模块。

S303：控制命令下发模块根据控制命令处理模块传来的数据，并读取其中的标签信息，根据标签信息查找与其对应的具体网关设备，并将控制命令数据下发给网关。

S304：网关接收到节点的控制命令数据，对数据进行解析操作，获取到控制命令数据，然后用网关与节点传感器间的协议封装数据，再通过节点的MAC 地址将控制命令下发到具体的传感器节点。传感器节点接收到控制命令信息并作出相应的反馈。

如图4，本发明提供一种物联网异构设备数据的统一处理系统包括：

异构设备接入者需要根据所接入异构设备1的数据封装格式编写相应的数据格式文件DataFormat，控制命令的编码器插件，以供后期该设备与物联网平台间进行数据交互能顺利进行。

网关设备2，接收到底层异构传感器数据后向数据添加标签，并将该信息发给平台的数据接收模块；

数据接收模块3，接收并提取该信息的标签信息，并根据标签信息获取网关信息。然后到DataFormat文件夹下寻找与该网关相对应的DataFormat文件。根据文件中的数据格式信息对本次上传的数据信息进行解析，然后将解析到的数据上发给数据存储模块；

数据存储模块4，用统一的数据格式进行封装，并将数据存入数据库，供各类物联网应用调用；

物联网应用单元5，用户在物联网应用对节点进行控制操作，平台获取本次操作信息，并将该信息下发给控制命令处理模块；

控制命令处理模块6，提取具体的节点信息、控制命令信息。然后去编码器库中寻找相对应的编码器插件，为该信息进行编码操作，并将编码好的控制命令信息下发给控制命令下发模块；

控制命令下发模块7，接收到要下发的控制命令信息，为该信息寻找匹配的网关，然后将该控制命令信息下发给网关设备；网关设备2根据节点的MAC地址信息，将控制命令下发给具体的传感器节点，传感器节点根据控制命令信息做出相应的操作变化。

下面结合仿真实验对本发明作进一步描述。

不同产商的DataFormat文件中温湿度传感器节点对应的json 字符串，可以看出不同产商对于数据封装格式和控制命令是不一样的。

例如有一条产商1的温湿度传感器节点采集的数据{A0＝23,A1＝46}，数据处理模块接收到改数据后根据标识信息会查找到产商1的DataFormat文件，然后根据传感器节点的MAC地址，找到对应的数据封装格式。这里以MAC地址为 00:12:4B:00:10:27:B4:66为例，根据数据的封装格式可以看出产商1是用A0来代表温度的数据，A1来代表湿度的数据。所以，经过数据处理模块处理后数据变为{temp＝23，humi＝46}。同理，当产商2的温湿度传感器节点上传传感器数据 {tem＝25，humi＝70}，经过数据处理模块处理后数据变为{temp＝25,humi＝70}。这样使得之后应用访问温湿度的数据时不需要在意产商封装格式的不同，因为最后存进数据库的格式都是temp表示温度，humi表示湿度。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种物联网异构设备数据的统一处理方法，其特征在于，所述物联网异构设备数据的统一处理方法包括：

接收到底层异构传感器数据后向数据添加标签，并将标签信息发送；

接收并提取标签信息，并根据标签信息获取网关信息；然后寻找相对应的DataFormat文件；根据文件DataFormat中的数据格式信息对本次上传的传感器数据信息进行解析，然后将解析到的数据上发送；

用平台统一的数据格式进行封装，并将数据存入和物联网应用调用；

在物联网应用对节点进行控制操作，平台获取本次操作信息，并将信息下发送；

提取具体的物联网应用对节点信息、控制命令信息；然后寻找相对应的编码器插件，进行编码操作，并将编码好的控制命令信息下发送；

接收到要下发的控制命令信息，寻找匹配的网关设备，然后将控制命令信息发送；

根据节点的MAC地址信息，将控制命令下发并根据控制命令信息做出相应的操作变化；

接收到要下发的控制命令信息，寻找匹配的网关设备，然后将控制命令信息发送；具体包括：

采集环境数据，并将采集到的环境数据发送；

将接收到传感器数据通过上传数据的协议进行解析，然后给上传的传感器数据添加标签信息，唯一识别对应的网关设备；网关设备将传感器数据与标签信息封装好后根据网关设备与平台交互的协议将数据上传到平台；

接收到网关设备上传的数据后先对数据进行解析，获取标签信息，再通过标签信息去DataFormat文件库中寻找与对应网关设备的DataFormat文件；有该文件则使用本次传感器节点的MAC地址寻找传感器相对应的数据封装格式，并根据数据封装格式对数据进行解析操作，得到传感器节点采集到的数据，最后将数据上传；

接收到上传的数据后会用平台统一的数据格式对数据进行封装操作，然后将数据储存，利用统一的方式调用不同上传的数据；

根据节点的MAC地址信息，将控制命令下发并根据控制命令信息做出相应的操作变化，具体包括：

用户通过物联网应用对节点进行控制操作，平台接收到来自用户的控制操作后将本次控制操作信息发送；

接收到对节点的控制操作信息后，根据节点的MAC地址去数据库中查找相应的标签信息；并根据标签信息去编码器库中寻找与相对应的编码器插件；使用编码器插件对控制命令进行编码操作，然后将编码好的控制命令数据下发；

根据传来的控制命令数据，并读取其标签信息，根据标签信息查找与对应的具体网关设备，并将控制命令数据下发网关设备；

接收到节点的控制命令数据，对数据进行解析操作，获取到控制命令数据，然后与节点传感器间的协议封装数据，再通过节点的MAC地址将控制命令下发到具体的传感器节点；传感器节点接收到控制命令信息并作出相应的反馈。

2.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的物联网异构设备数据的统一处理方法。

3.一种如权利要求1所述物联网异构设备数据的统一处理方法的物联网异构设备数据的统一处理系统，其特征在于，所述物联网异构设备数据的统一处理系统包括：

网关设备，接收到底层异构传感器数据后向数据添加标签，并将该信息发给平台的数据接收模块；

数据接收模块，接收并提取该信息的标签信息，并根据标签信息获取网关信息；然后到DataFormat文件夹下寻找与该网关相对应的DataFormat文件；根据文件中的数据格式信息对本次上传的数据信息进行解析，然后将解析到的数据上发给数据存储模块；

数据存储模块，用物联网云平台统一的数据格式进行封装，并将数据存入数据库，供各类物联网应用调用；

物联网应用单元，用户在物联网应用对节点进行控制操作，平台获取本次操作信息，并将该信息下发给控制命令处理模块；

控制命令处理模块，提取具体的节点信息、控制命令信息；然后去编码器库中寻找相对应的编码器插件，为该信息进行编码操作，并将编码好的控制命令信息下发给控制命令下发模块；

控制命令下发模块，接收到要下发的控制命令信息，为该信息寻找匹配的网关，然后将该控制命令信息下发给网关设备；网关设备根据节点的MAC地址信息，将控制命令下发给具体的传感器节点，传感器节点根据控制命令信息做出相应的操作变化。

Images