CN108040092B - 一种面向园区的物联网大数据管理和应用平台 - Google Patents

Abstract

本发明公开了一种面向园区的物联网大数据管理和应用平台，涉及物联网技术领域。该面向园区的物联网大数据管理和应用平台，包括园区传感器单元、物联网单元、实时计算单元、数据中转单元、储存单元和离线计算单元。本发明建立了园区级大数据平台，利用园区传感器单元通过物联网来采集园区范围内的大数据，在大数据基础上提供分析和定制化服务，针对园区内每一个单位，计算它对园区交通、能耗和环境的综合影响度，实现对大型工业科技园区的智能化管理，管理工作效率高，省时省力，且管理成本较低。

Description

一种面向园区的物联网大数据管理和应用平台

技术领域

本发明涉及物联网技术领域，具体为一种面向园区的物联网大数据管理和应用平台。

背景技术

大型的工业科技园区将土地、人力、能源、交通、物资等生产力要素聚集在一起，形成集聚效应和辐射效应，执行工业生产、物流运输、科技研发等活动。工业科技园区内一般汇集了相当数量的企业等单位，构成了中心密集、周边辐射而又相对独立的城市空间。工业科技园区一般都具有负责整个园区公共事务的管理机构。随着信息化的建设，管理机构普遍都搭建了覆盖工业科技园区范围的数据平台。这些数据平台可以支持对园区内各个单位的工商信息、地理位置、登记车辆、人员规模等基本信息予以查询，能够为园区的管理提供辅助，但是所汇聚的数据从类型、范围、精细度、实时性等方面都远远无法满足当前网格化、精细化、数字化管理的要求。

当前，万物互联的时代正逐步到来，据权威报告预测，2020年全球物联网连接的终端数将达到500亿。随着物联网终端的数量激增以及分布的泛在化，物联网大数据也呈现爆发式增长。物联网的大数据中蕴含的价值是非常高的。具体到人类生存空间的维持与管理来说，通过汇聚、分析应用来自物联网的大数据，能够对环境、交通、能耗、人流等因素的管理应用提供量化指标和依据。

但是，目前基于物联网的大数据平台一般均为单一类型数据平台，或者是在家庭、单一建筑等小规模空间范围内的数据平台。针对规模化的大型工业科技园区，现有技术中没有面向园区的物联网大数据管理和应用平台。特别是，在大数据平台的后端，不能适应园区综合管理的需要，将园区范围内各个单位作为一个基本单元，采集数据并分析每个基本单元的人流车流量分布、能耗状况、空气污染物排放情况、排放水体的污染情况等。在没有相应的物联网大数据管理和应用平台下，园区的管理机构也无法以量化数据为依托来提供定制化服务。管理机构也无法计算各个单位的人流车流量分布、污染物排放、排放水体的污染等对园区交通、能耗和环境的综合影响度，管理起来工作效率较低，费时费力，管理成本较高。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向园区的物联网大数据管理和应用平台。本发明针对规模化的大型工业科技园区，为园区的管理机构提供了一种物联网大数据管理和应用平台，通过在园区空间范围内覆盖的多类型物联网设备感知和采集大数据，获得的数据表示园区范围内各个单位的人流车流量分布、能耗状况、空气污染物排放情况、排放水体污染情况等，进而本平台利用大数据分析手段，以园区内的每个单位作为基本单元，计算每个基本单元的人流车流量分布、能耗、污染物排放、排放水体污染等对园区交通、能耗和环境的综合影响度；进而，基于分析结论提供定制化服务。本发明改善了当前大型工业科技园区管理数据化程度不高、工作效率较低，费时费力，管理成本较高的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种面向园区的物联网大数据管理和应用平台，其特征在于，包括：园区传感器单元、物联网单元、实时计算单元、数据中转单元、储存单元和离线计算单元；

所述园区传感器单元是分布在园区空间范围的前端数据感知与采集WSN网络，用于感知园区内的实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据；

所述物联网单元用于从所述园区传感器单元获得实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据；并且，所述物联网单元从园区的远程水电气表系统的数据输出接口获取园区各个单位的资源用量数据，从园区各个单位建筑的接入物联网的基础设施的数据导出接口获得其能耗数据；所述物联网单元通过负载均衡设备将所获得的数据传送给多路网关，再由多路网关传输给数据中转单元；

所述数据中转单元用于通过负载均衡设备和网关从物联网单元获取并缓存原始数据，原始数据包括上述实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据、资源用量数据、能耗数据；所述数据中转单元将原始数据中转到实时计算单元进行分析处理，并且将所述原始数据以及从实时计算单元获取并缓存的结果数据中转到储存单元进行数据保存；

所述实时计算单元用于从数据中转单元获取所述原始数据，并且对原始数据按照预定义的数据验证规则进行验证，剔除不完整或者不符合验证规则要求的原始数据，并且将完整且符合验证规则要求的原始数据转换为统一数据格式；根据统一数据格式后的原始数据，统计确定园区每个基本单元的人流量分布数据、车流量分布数据、空气状态分布数据、水体状态分布数据；进而评估以上分布数据与该基本单元的相关性指数；根据以上分布数据和相关性指数，再结合每个基本单元的能耗数据和资源用量数据，计算每个基本单元对园区交通、能耗和环境的综合影响度；根据综合影响度进行超出允许阈值的预警，以及为每个基本单元登记环境状态数据记录；所述综合影响度以及预警记录、环境状态数据记录作为实时计算单元输出的结果数据；

所述储存单元用于对由所述数据中转单元中转的原始数据以及实时计算单元的结果数据进行保存；

所述离线计算单元用于根据所述储存单元所保存的数据进行报表分析和数据挖掘。

优选的是，所述数据中转单元包括：原始数据模块、影响度数据模块、报警数据模块、环境状态模块；所述原始数据模块用于通过上述负载均衡设备和网关从物联网单元获取并缓存原始数据，并将自身缓存的上述原始数据传输给实时计算单元，由实时计算单元进行分析处理；原始数据单元也将上述原始数据发送给储存单元进行数据保存；所述影响度数据模块用于获得实时计算单元产生的综合影响度；所述报警数据模块用于获得实时计算单元产生的预警记录；所述环境状态模块用于获得实时计算单元产生的环境状态数据记录；并且所述影响度数据模块、报警数据模块、环境状态模块将从实时计算单元所获得的数据中转到储存单元。

优选的是，所述数据中转单元双向连接有数据交换接口，数据交换接口用于应用层访问储存单元获取数据；并且，所述据交换接口的第一端口双向连接有位置分布接口，可通过位置分布接口来查询园区内人员以及车辆的流通情况，数据交换接口的第二端口双向连接有污染监控接口，可通过污染监控接口来查询园区内的污染情况，数据交换接口的第三端口双向连接有报警统计接口，可通过提取触发园区平台报警的数据信息，数据交换接口的第四端口双向连接有管理分析接口，可通过管理分析接口提取园区平台大数据中基本单元的综合影响度及该基本单元的相关数据，数据交换接口的第五端口双向连接有指令下发接口，可通过指令下发接口对园区平台发出控制指令。

优选的是，所述实时计算单元包括数据清洗模块、数据解析模块、报警判断模块和状态处理模块；所述数据清洗模块用于从数据中转单元获取所述原始数据，并且对原始数据按照预定义的数据验证规则进行验证，剔除不完整或者不符合验证规则要求的原始数据，并且将完整且符合验证规则要求的原始数据转换为统一数据格式；数据解析模块针对从数据清洗模块获得的标准数据，统计确定园区每个基本单元的人流量分布数据、车流量分布数据、空气状态分布数据、水体状态分布数据；进而评估以上分布数据与该基本单元的相关性指数；根据以上分布数据和相关性指数，再结合每个基本单元的能耗数据和资源用量数据，计算每个基本单元对园区交通、能耗和环境的综合影响度；报警判断模块根据综合影响度进行超出允许阈值的预警；状态处理模块为每个基本单元登记所述综合影响度以及相关的实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据、资源用量数据、能耗数据等环境状态数据。

优选的是，数据解析模块针对园区的每个基本单元，根据该基本单元周边预定空间范围的空气检测传感器感知的实时空气质量数据以及空气检测传感器的空间位置坐标，转化为空气状态分布数据；计算空气状态分布数据在多个预定方向上的空间变化梯度，再将空气状态分布数据的空间变化梯度转化为空气状态分布数据与该基本单元的相关度指数；统计本空间范围内的实时空气质量数据的平均值，并且将该平均值与相关度指数的乘积作为该基本单元对空气质量的影响度因数。

优选的是，数据解析模块针对园区的每个基本单元，根据该基本单元相邻水体的预定空间范围内的水体环境传感器感知的实时水体环境数据以及水体环境传感器的空间位置坐标，转化为水体状态分布数据；计算水体状态分布数据在水体自然流动方向上的各个区段的空间变化梯度，将水体状态分布数据的空间变化梯度转化为水体状态分布数据与该基本单元的相关度指数；统计本空间范围内的实时水体环境数据的平均值，并且将该平均值与相关度指数的乘积作为该基本单元对水体环境的影响度因数。

优选的是，数据解析模块针对园区的每个基本单元，根据该基本单元周边预定空间范围内的交通监控器感知的实时人流状态数据或者是实时车流状态数据，以及交通监控器的空间位置坐标，转化为人流量分布数据或者是车流量分布数据，计算人流量分布数据或者是车流量分布数据在行进方向指向该基本单元的道路各个区段的空间变化梯度，将人流量分布数据或者是车流量分布数据的空间变化梯度转化为人流量分布数据或者是车流量分布数据与该基本单元的相关度指数；统计空间范围内的实时人流状态数据或者是实时车流状态数据的平均值，并且将该平均值与相关度指数的乘积作为该基本单元对交通的影响度因数。

优选的是，数据解析模块将每个基本单元对空气质量、水体环境、交通的影响度因数以及每个基本单元的的能耗数据和资源用量数据换算为综合影响度得分；并且将各个综合影响度得分累加，作为该基本单元的综合影响度。

优选的是，所述园区传感器单元具体包括：交通监控器、空气检测传感器和水体环境传感器；交通监控器包括视频监视摄像机、车流数量传感器、人流量传感器；其中视频监视摄像机可以拍摄园区车行和人行道路的监视画面；车流数量传感器可以采用埋入公路地面的地感线圈，计量单位时间内的通过车辆数量；人流量传感器可以是设置在园区人行道的红外计数器，计量单位时间内的人员通行数量；所述空气检测传感器包括温度传感器、湿度传感器、光化学烟雾传感器和颗粒物传感器，可充分采集园区空气状态和质量数据；所述水体环境传感器包括PH传感器、ORP传感器、浊度传感器、余氯传感器和电导率传感器，可采集园区水体环境数据。

优选的是，所述储存单元包括HDFS、HBase、RDBMS和Redis；数据中转单元内原始数据模块的输出端与储存单元内HDFS的输入端连接；数据中转单元内影响度数据模块的输出端与储存单元内HBase的输出端连接；数据中转单元内报警数据模块的输出端与储存单元内RDBMS的输入端连接；数据中转单元内环境状态模块的输出端与储存单元内Redis的输入端连接。

(三)有益效果

本发明提供了一种面向园区的物联网大数据管理和应用平台，具备以下有益效果：该面向园区的物联网大数据管理和应用平台，针对规模化的大型工业科技园区，在园区范围内利用园区传感器单元的各种类型的监视器以及传感器等建立一个广泛覆盖的物联网，建立了园区级大数据平台，利用园区传感器单元通过物联网来采集园区范围内的大数据，在大数据基础上提供分析和定制化服务，针对园区内每一个单位，利用所采集的交通流量数据、污染排放数据等，计算它对园区交通、能耗和环境的综合影响度，实现对大型工业科技园区的智能化管理，管理工作效率高，省时省力，且管理成本较低，利于推广使用。

附图说明

图1为本发明物联网大数据管理和应用平台控制系统图；

图2为本发明园区传感器单元内的传感器类型示意图；

图3为本发明交通监控器的传感器类型示意图；

图4为本发明空气检测传感器的传感器类型示意图；

图5为本发明水体环境传感器的传感器类型示意图；

图6A-C为本发明对园区基本单元影响度计算的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”、等术语应做广义理解，例如，可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1，本发明提供一种面向园区的物联网大数据管理和应用平台，包括：园区传感器单元、物联网单元、实时计算单元、数据中转单元、储存单元和离线计算单元。

园区传感器单元的输出端与物联网单元的输入端连接，物联网单元的输出端通过LVS/FS模块连接有四个网关，四个网关的输出端均与数据中转单元内原始数据模块的输入端连接。园区传感器单元是分布在园区空间范围的前端数据感知与采集WSN网络，用于感知园区内的实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据。如图2-图5，园区传感器单元具体包括交通监控器、空气检测传感器和水体环境传感器。交通监控器包括视频监视摄像机、车流数量传感器、人流量传感器；其中视频监视摄像机可以拍摄园区车行和人行道路的监视画面；车流数量传感器可以采用埋入公路地面的地感线圈，计量单位时间内的通过车辆数量；人流量传感器可以是设置在园区人行道的红外计数器，计量单位时间内的人员通行数量。空气检测传感器包括温度传感器、湿度传感器、光化学烟雾传感器和颗粒物传感器，可充分采集园区空气状态和质量数据。水体环境传感器包括PH传感器、ORP传感器、浊度传感器、余氯传感器和电导率传感器，可采集园区水体环境数据。交通监控器、空气检测传感器和水体环境传感器均基于ZigBee等WSN通信手段连接所述物联网单元，并且将采集和感知的数据实时上传给该物联网单元。物联网单元是整个园区泛在化的物物互相的数据上传接口，园区内所有接入物联网的设备均可以将其采集、感应或自身生成的数据通过有线或者无线的通信链路传输给该物联网单元。除了如上所述从园区传感器单元获得实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据以外，例如，物联网单元还可以从园区的远程水电气表系统的数据输出接口获取园区各个单位的用水、用电、用气等资源用量数据；可以从园区各个单位建筑的智能照明系统、中央空调系统等接入物联网的基础设施的数据导出接口获得其能耗数据。物联网单元初步汇聚以上原始形式的大数据之后，又通过无线/有线网络，经过LVS/F5负载均衡设备将数据发送至网关。LVS/F5负载均衡设备以及多路网关是大数据由本系统前端的物联网接入后端的大数据平台端的通道，平台端通过软负载均衡(LVS)或者硬负载均衡(F5等)将流量均匀的负载到各个可水平扩展的网关，每个网关都是基于netty实现的高性能的网络接入程序，数据接入协议分两个层次，在通讯层次上，支持TCP、UDP、HTTP和WEBSOCKET等通讯协议，在数据协议层次上，支持MQTT、JSON、SOAP和自定义二进制协议，通过这两个层次的互相搭配，可以轻松实现任何物联网终端、任何协议的数据接入。

本系统的大数据平台端包括数据中转单元、实时计算单元、储存单元、离线计算单元。

数据中转单元的入口是原始数据模块，该模块用于通过上述LVS/F5负载均衡设备和网关从物联网单元获取并缓存原始数据，原始数据包括上述实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据、资源用量数据、能耗数据。原始数据模块将自身缓存的上述原始形式的物联网大数据传输给实时计算单元，由实时计算单元进行分析处理；原始数据单元也将上述原始数据发送给储存单元进行数据保存。数据中转单元还包括影响度数据模块、报警数据模块和环境状态模块，所述影响度数据模块、报警数据模块和环境状态模块分别从实时计算单元获得并缓存分析处理的结果数据，然后发送给储存单元进行数据保存。

实时计算单元包括数据清洗模块、数据解析模块、报警判断模块和状态处理模块。数据中转单元内原始数据模块的输出端与实时计算单元内数据清洗模块的输入端连接；原始数据模块从网关接收到数据并完成解包之后，将原始形式的物联网数据包发送到数据中转单元的该数据清洗模块之中。数据清洗模块对原始数据按照为了适应园区大数据分析的需求而预定义的数据验证规则进行验证；对于被判定不完整或不符合规则的数据，例如格式错误、乱码、数值超出限值、数据稳定性验证不达标等，向原始数据模块发送反馈，指令重新获得这些有缺陷的原始数据，如果经多次反馈仍然不能获得完整且符合验证规则要求的原始数据，则数据清洗模块剔除这些有问题的原始数据。对于经验证完整且符合规则要求的原始数据，数据清洗模块进而对这些原始数据进行ETL(抽取、转换、加载)处理，由物联网单元提供的本身多源化、异构化的原始数据转换为统一数据格式，生成适于数据解析模块执行大数据处理分析的标准数据。数据解析模块针对从数据清洗模块获得的标准数据，执行适应大型工业科技园区管理需求的大数据解析方法，以园区内的每个单位(例如园区的某个建筑、某个区块、某个工厂)作为基本单元，统计确定每个基本单元的人流量分布数据、车流量分布数据、空气状态分布数据、水体状态分布数据；进而评估以上分布数据与本基本单元的相关性指数；根据以上分布数据和相关性指数，再结合每个基本单元的能耗数据和资源用量数据，计算每个基本单元对园区交通、能耗和环境的综合影响度。具体来说，数据解析模块的运算包括以下方面：

(1)如图6A所示，其中U表示园区某个基本单元，K1-K10表示该基本单元周边预定空间范围(例如以U为中心5KM的距离范围内)内的空气检测传感器；数据解析模块获取来自这些空气检测传感器K1-K10的实时空气质量数据A_K1，A_K2，…A_K10，实时空气质量数据是经过数据清洗之后的标准数据；所述数据解析模块根据所获得的实时空气质量数据A_K1，A_K2，…A_K10以及K1-K10的空间位置坐标，将这些实时空气质量数据转化为空气状态分布数据，图6A以图形化的形式示出了空气状态分布数据；进而，数据解析模块计算空气状态分布数据在多个预定方向上的空间变化梯度，如图6A中

D_K1-K6表示空气状态分布数据在K1至K6这一预定方向上的空间变化梯度，dis(K1,K6)表示空气检测传感器K1、K6之间的空间距离；图6A中其它预定方向上的空间变化梯度计算方法与K1至K6这一预定方向相同；数据解析模块再将空气状态分布数据的空间变化梯度转化为空气状态分布数据与基本单元U的相关度指数，如下：

R_U-A＝α₁D_K1-K6+α₂D_K2-K7+α₃D_K3-K8+α₄D_K4-K9+α₅D_K5-K10

其中R_U-A表示空气状态分布数据与基本单元U的相关度指数，D_K1-K6至D_K5-K10表示在每个预定方向的空气状态分布数据的空间变化梯度，而α₁至α₅表示每个预定方向的权重值，可以根据实时风向、风速的因素调节每个预定方向的权重值。R_U-A与每个预定方向的空气状态分布数据的空间变化梯度成正比，表明空间变化梯度越大，则本空间范围内的空气质量与本基本单元U的相关性越强。进而，数据解析模块统计本空间范围内的实时空气质量数据A_K1，A_K2，…A_K10的平均值A，并且将R_U-A*A作为本基本单元U对空气质量的影响度因数。

(2)如图6B所示，相类似的，其中U表示园区某个基本单元，S1-S5表示该基本单元相邻水体的预定空间范围(例如以U为中心3KM的距离范围内)内的水体环境传感器；数据解析模块获取来自这些水体环境传感器S1-S5的实时水体环境数据W_S1，W_S2，…W_S5，实时水体环境数据是经过数据清洗之后的标准数据；所述数据解析模块根据所获得的实时水体环境数据W_S1，W_S2，…W_S5以及S1-S5的空间位置坐标，将这些实时水体环境数据转化为水体状态分布数据，图6B以图形化的形式示出了水体状态分布数据；进而，数据解析模块计算水体状态分布数据在水体自然流动方向上的各个区段的空间变化梯度，如图6B中

D_S1-S2表示水体状态分布数据在S1至S2这一预定区段上的空间变化梯度，dis(S1,S2)表示水体环境传感器S1、S2之间的空间距离；图6B中在水体自然流动方向上的其它各个区段空间变化梯度D_S2-S3、D_S3-S4、D_S4-S5计算方法与D_S1-S2相同；数据解析模块再将水体状态分布数据的空间变化梯度转化为水体状态分布数据与基本单元U的相关度指数，如下：

R_U-W＝β₁D_S1-S2+β₂D_S2-S3+β₃D_S3-S4+β₄D_S4-S5

其中R_U-W表示水体状态分布数据与基本单元U的相关度指数，而β₁至β₄表示每个预定区段的权重值，可以根据实时水流速度、水流量的因素调节每个预定区段的权重值。R_U-W与每个预定区段的水体状态分布数据的空间变化梯度成正比，表明空间变化梯度越大，则水体环境数据与本基本单元U的相关性越强。进而，数据解析模块统计空间范围内的实时水体环境数据W_S1，W_S2，…W_S5的平均值W，并且将R_U-W*作为本基本单元U对水体环境的影响度因数。

(3)如图6C所示，U表示园区某个基本单元，J1-J5表示在该基本单元U周边预定空间范围(例如以U为中心5KM的距离范围内)内的交通监控器；数据解析模块获取来自这些交通监控器J1-J5的实时人流状态数据或者是实时车流状态数据T_J1，T_J2，…T_J5，实时人流状态数据或者是实时车流状态数据是经过数据清洗之后的标准数据；所述数据解析模块根据所获得的实时人流状态数据或者是实时车流状态数据T_J1，T_J2，…T_J5以及J1-J5的空间位置坐标，将这些实时人流状态数据或者是实时车流状态数据转化为人流量分布数据或者是车流量分布数据，图6C以图形化的形式示出了人流量分布数据或者是车流量分布数据；进而，数据解析模块计算以上分布数据在行进方向指向该基本单元U的道路各个区段的空间变化梯度，如图6C中J4所在处为一个岔路口，其中仅J4至J5的区段的行进方向是指向该基本单元U的，因此只计算该区段的空间变化梯度：

D_J4-J5表示人流量分布数据或者是车流量分布数据在J4至J5这一预定区段上的空间变化梯度，dis(J4,J5)表示交通监控器J4、J5之间的空间距离；图6C中在行进方向是指向该基本单元U的方向上的其它各个区段空间变化梯度D_J1-J3、D_J2-J3、D_J3-J4计算方法与D_J4-J5相同；数据解析模块再将人流量分布数据或者是车流量分布数据的空间变化梯度转化为人流量分布数据或者是车流量分布数据与基本单元U的相关度指数，如下：

R_U-T＝δ₁D_J1-J3+δ₂D_J2-J3+δ₃D_J3-J4+δ₄D_J4-J5

其中R_U-T表示人流量分布数据或者是车流量分布数据与基本单元U的相关度指数，而δ₁至δ₄表示每个预定区段的权重值，可以根据各个区段与U之间的空间距离调节该权重值，区段距离U越近则权重值越大。R_U-T与每个预定区段的人流量分布数据或者是车流量分布数据的空间变化梯度成正比，表明空间变化梯度越大，则人流量分布数据或者是车流量分布数据与本基本单元U的相关性越强。进而，数据解析模块统计空间范围内的实时人流状态数据或者是实时车流状态数据T_J1，T_J2，…T_J5的平均值T，并且将R_U-T*T作为本基本单元U对交通的影响度因数。

进而，数据解析模块将每个基本单元U对空气质量、水体环境、人流量或者车流量的影响度因数换算为综合影响度得分；例如，为交通的影响度因数划分若干阈值区间，每个阈值区间对应一个综合影响度得分，例如影响度因数最大的阈值区间得分对应100分、影响度最小的阈值区间对应得分为20分；根据基本单元U的影响度因数R_U-T*T在哪个阈值区间之中，而将基本单元U对交通的影响度因数换算为该阈值区间对应的综合影响度得分。再将每个基本单元的能耗数据和资源用量数据也换算为综合影响度得分，将各方面的综合影响度得分累加，计算每个基本单元对园区交通、能耗和环境的综合影响度。

数据解析模块针对园区中的每一个基本单元U获得其综合影响度；并且将综合影响度提供给实时计算单元的报警判断模块和状态处理模块。报警状态模块根据已有规则，当某个单元的综合影响度超出已有规则的允许阈值，则进行预警。状态处理模块为园区中的每一个基本单元U登记其综合影响度以及相关的实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据、资源用量数据、能耗数据等状态数据，建立以每一个基本单元U为索引的环境状态数据记录。实时计算单元的各个模块选择Storm流式大数据处理架构，Storm架构的实时性好，在物联网的场景中可支持对终端数据的全局分组，可以很容易实现对物联网数据的清洗、解析、报警等实时的处理。

实时计算单元的数据解析模块与数据中转单元内的影响度数据模块连接，实时计算单元内的报警判断模块与报警数据模块的输入端连接，实时计算单元内的状态处理模块与数据中转单元内环境状态模块连接。数据中转单元从实时计算单元获取上述实时大数据分析的结果数据，包括数据解析模块产生的各方面的影响度因数以及综合影响度，报警判断模块产生的预警记录，状态处理模块的状态记录，并且将这些数据中转到储存单元作为永久性的园区物联网大数据进行保存。

储存单元包括HDFS、HBase、RDBMS和Redis，HDFS非常适合于非结构化数据的存储，支持数据的备份、恢复和迁移，在系统中主要用于存储原始数据和需要进行离线分析的数据，HBase适合于存储半结构化的数据，可以很好的支持海量物联网终端的历史数据的查询，在系统中主要用于存储终端的历史轨迹和状态等体量比较大的数据，数据中转单元内原始数据模块的输出端与储存单元内HDFS的输入端连接，数据中转单元内影响度数据模块的输出端与储存单元内HBase的输出端连接。数据中转单元内报警数据模块的输出端与储存单元内RDBMS的输入端连接，RDBMS适合于存储结构化的数据，通常根据具体的数据库采用不同的高可用部署方案，在系统中主要用来存储终端基础数据、字典数据和数据分析的结果等，数据中转单元内环境状态模块的输出端与储存单元内Redis的输入端连接，Redis是基于内存的KV数据库，在系统中通常用来缓存需要频繁更新和访问的数据，比如物联网终端的当前状态等，Redis为多种数据类型以及多种数据操作提供了很好的内嵌支持。

离线计算单元包括报表分析模块和大数据挖掘模块，储存单元内HDFS的输出端与离线计算单元的第一输入端连接，储存单元内HBase的输出端与离线计算单元的第二输入端连接，离线计算单元支持MapReduce和Hive，主要用于对物联网数据做日/周/月/年等多个时间维度做报表分析和数据挖掘，并将结果输出到关系数据库中，离线计算单元的第一输出端与储存单元内RDBMS的第二输入端连接，离线计算单元的第二输出端与储存单元内Redis的第二输入端连接。

数据中转单元双向连接有数据交换接口，数据交换接口主要是为了简化应用层与平台层之间的数据访问而抽象了一层访问接口，有了这层接口，应用层就不需要直接调用HDFS、HBase等原生API，可以快速地访问储存单元获取数据进行应用开发，数据交换接口支持：SQL、Restful、Thrift和Java API，可以根据实际情况灵活选择数据交换的方式，数据交换的内容包括：物联网终端的当前状态、物联网终端的历史状态、指令下发、数据订阅与发布等等，数据交换接口的第一端口双向连接有位置分布接口，可通过位置分布接口来查询园区内人员以及车辆的流通情况，数据交换接口的第二端口双向连接有污染监控接口，可通过污染监控接口来查询园区内的污染情况，数据交换接口的第三端口双向连接有报警统计接口，可通过提取触发园区平台报警的数据信息，数据交换接口的第四端口双向连接有管理分析接口，可通过管理分析接口提取园区平台大数据中基本单元的综合影响度及该基本单元的相关数据，数据交换接口的第五端口双向连接有指令下发接口，可通过指令下发接口对园区平台发出控制指令，可以通过数据交换接口来访问园区平台处理后的数据。

工作原理：园区传感器单元内的各传感器设备通过物联网的无线/有线网络经过LVS/F5负载均衡将数据发送至网关，网关接收到数据后存入数据中转单元的原始数据模块内，由原始数据模块发送到实时计算单元内的数据清洗模块，由原始数据模块发送到储存单元内的HDFS进行数据储存，数据清洗模块在接收原始数据模块所发的数据信息后，数据清洗模块将数据再传输给数据解析模块，由数据解析模块进行综合影响度解析，然后把解析后的综合影响度数据分别发给实时计算单元内的报警判断模块和数据中转单元内的影响度数据模块，由影响度数据模块将数据传给储存单元内的HBase进行数据储存，由报警判断模块根据已有规则进行预警，并将产生的结果发送至数据中转单元内的报警数据模块，由报警数据模块再转发给储存单元内的RDBMS进行数据储存，报警判断模块把解析后的数据发送至状态处理模块，由状态处理模块转发给数据中转单元内的环境状态模块，状态处理模块各项传感参数数据当前状态进行分析，如果状态有变化则，由环境状态模块将数据发给储存单元内的Redis进行数据储存，Redis异步的将所接收数据分别导入HBase和HDFS，离线计算单元则周期性地从HDFS中读取数据进行各种报表分析和数据挖掘，用户业务平台和管理平台可通过数据交换接口访问TIZA STAR平台数据。

综上所述，该面向园区的物联网大数据管理和应用平台，针对规模化的大型工业科技园区，在园区范围内利用园区传感器单元的各种类型的监视器以及传感器等建立一个广泛覆盖的物联网，建立了园区级大数据平台，利用园区传感器单元通过物联网来采集园区范围内的大数据，在大数据基础上提供分析和定制化服务，针对园区内每一个单位，利用所采集的交通流量数据、污染排放数据等，计算它对园区交通、能耗和环境的综合影响度，实现对大型工业科技园区的智能化管理，管理工作效率高，省时省力，且管理成本较低，利于推广使用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种面向园区的物联网大数据管理和应用平台，其特征在于，包括：园区传感器单元、物联网单元、实时计算单元、数据中转单元、储存单元和离线计算单元；

所述园区传感器单元是分布在园区空间范围的前端数据感知与采集WSN网络，用于感知园区内的实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据；

所述物联网单元用于从所述园区传感器单元获得实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据；并且，所述物联网单元从园区的远程水电气表系统的数据输出接口获取园区各个单位的资源用量数据，从园区各个单位建筑的接入物联网的基础设施的数据导出接口获得其能耗数据；所述物联网单元通过负载均衡设备将所获得的数据传送给多路网关，再由多路网关传输给数据中转单元；

所述数据中转单元用于通过负载均衡设备和网关从物联网单元获取并缓存原始数据，原始数据包括上述实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据、资源用量数据、能耗数据；所述数据中转单元将原始数据中转到实时计算单元进行分析处理，并且将所述原始数据以及从实时计算单元获取并缓存的结果数据中转到储存单元进行数据保存；

所述实时计算单元用于从数据中转单元获取所述原始数据，并且对原始数据按照预定义的数据验证规则进行验证，剔除不完整或者不符合验证规则要求的原始数据，并且将完整且符合验证规则要求的原始数据转换为统一数据格式；根据统一数据格式后的原始数据，统计确定园区每个基本单元的人流量分布数据、车流量分布数据、空气状态分布数据、水体状态分布数据；进而评估以上分布数据与该基本单元的相关性指数；根据以上分布数据和相关性指数，再结合每个基本单元的能耗数据和资源用量数据，计算每个基本单元对园区交通、能耗和环境的综合影响度；根据综合影响度进行超出允许阈值的预警，以及为每个基本单元登记环境状态数据记录；所述综合影响度以及预警记录、环境状态数据记录作为实时计算单元输出的结果数据；

所述储存单元用于对由所述数据中转单元中转的原始数据以及实时计算单元的结果数据进行保存；

所述离线计算单元用于根据所述储存单元所保存的数据进行报表分析和数据挖掘；

其中，所述实时计算单元包括数据清洗模块、数据解析模块、报警判断模块和状态处理模块；所述数据清洗模块用于从数据中转单元获取所述原始数据，并且对原始数据按照预定义的数据验证规则进行验证，剔除不完整或者不符合验证规则要求的原始数据，并且将完整且符合验证规则要求的原始数据转换为统一数据格式；数据解析模块针对从数据清洗模块获得的标准数据，统计确定园区每个基本单元的人流量分布数据、车流量分布数据、空气状态分布数据、水体状态分布数据；进而评估以上分布数据与该基本单元的相关性指数；根据以上分布数据和相关性指数，再结合每个基本单元的能耗数据和资源用量数据，计算每个基本单元对园区交通、能耗和环境的综合影响度；报警判断模块根据综合影响度进行超出允许阈值的预警；状态处理模块为每个基本单元登记所述综合影响度以及相关的实时车流状态数据、实时人流状态数据、实时空气质量数据、实时水体环境数据、资源用量数据、能耗数据等环境状态数据；其中

数据解析模块针对园区的每个基本单元，根据该基本单元周边预定空间范围的空气检测传感器感知的实时空气质量数据以及空气检测传感器的空间位置坐标，转化为空气状态分布数据；计算空气状态分布数据在多个预定方向上的空间变化梯度，再将空气状态分布数据的空间变化梯度转化为空气状态分布数据与该基本单元的相关度指数；统计本空间范围内的实时空气质量数据的平均值，并且将该平均值与相关度指数的乘积作为该基本单元对空气质量的影响度因数；针对园区的每个基本单元，根据该基本单元相邻水体的预定空间范围内的水体环境传感器感知的实时水体环境数据以及水体环境传感器的空间位置坐标，转化为水体状态分布数据；计算水体状态分布数据在水体自然流动方向上的各个区段的空间变化梯度，将水体状态分布数据的空间变化梯度转化为水体状态分布数据与该基本单元的相关度指数；统计本空间范围内的实时水体环境数据的平均值，并且将该平均值与相关度指数的乘积作为该基本单元对水体环境的影响度因数；针对园区的每个基本单元，根据该基本单元周边预定空间范围内的交通监控器感知的实时人流状态数据或者是实时车流状态数据，以及交通监控器的空间位置坐标，转化为人流量分布数据或者是车流量分布数据，计算人流量分布数据或者是车流量分布数据在行进方向指向该基本单元的道路各个区段的空间变化梯度，将人流量分布数据或者是车流量分布数据的空间变化梯度转化为人流量分布数据或者是车流量分布数据与该基本单元的相关度指数；统计空间范围内的实时人流状态数据或者是实时车流状态数据的平均值，并且将该平均值与相关度指数的乘积作为该基本单元对交通的影响度因数；将每个基本单元对空气质量、水体环境、交通的影响度因数以及每个基本单元的的能耗数据和资源用量数据换算为综合影响度得分；并且将各个综合影响度得分累加，作为每个基本单元对园区交通、能耗和环境的的综合影响度。

2.根据权利要求1所述的一种面向园区的物联网大数据管理和应用平台，其特征在于：所述数据中转单元包括：原始数据模块、影响度数据模块、报警数据模块、环境状态模块；所述原始数据模块用于通过上述负载均衡设备和网关从物联网单元获取并缓存原始数据，并将自身缓存的上述原始数据传输给实时计算单元，由实时计算单元进行分析处理；原始数据单元也将上述原始数据发送给储存单元进行数据保存；所述影响度数据模块用于获得实时计算单元产生的综合影响度；所述报警数据模块用于获得实时计算单元产生的预警记录；所述环境状态模块用于获得实时计算单元产生的环境状态数据记录；并且所述影响度数据模块、报警数据模块、环境状态模块将从实时计算单元所获得的数据中转到储存单元。

3.根据权利要求2所述的一种面向园区的物联网大数据管理和应用平台，其特征在于：所述数据中转单元双向连接有数据交换接口，数据交换接口用于应用层访问储存单元获取数据；并且，所述据交换接口的第一端口双向连接有位置分布接口，可通过位置分布接口来查询园区内人员以及车辆的流通情况，数据交换接口的第二端口双向连接有污染监控接口，可通过污染监控接口来查询园区内的污染情况，数据交换接口的第三端口双向连接有报警统计接口，可通过提取触发园区平台报警的数据信息，数据交换接口的第四端口双向连接有管理分析接口，可通过管理分析接口提取园区平台大数据中基本单元的综合影响度及该基本单元的相关数据，数据交换接口的第五端口双向连接有指令下发接口，可通过指令下发接口对园区平台发出控制指令。

4.根据权利要求3所述的一种面向园区的物联网大数据管理和应用平台，其特征在于：所述园区传感器单元具体包括：交通监控器、空气检测传感器和水体环境传感器；交通监控器包括视频监视摄像机、车流数量传感器、人流量传感器；其中视频监视摄像机可以拍摄园区车行和人行道路的监视画面；车流数量传感器可以采用埋入公路地面的地感线圈，计量单位时间内的通过车辆数量；人流量传感器可以是设置在园区人行道的红外计数器，计量单位时间内的人员通行数量；所述空气检测传感器包括温度传感器、湿度传感器、光化学烟雾传感器和颗粒物传感器，可充分采集园区空气状态和质量数据；所述水体环境传感器包括PH传感器、ORP传感器、浊度传感器、余氯传感器和电导率传感器，可采集园区水体环境数据。

5.根据权利要求4所述的一种面向园区的物联网大数据管理和应用平台，其特征在于：所述储存单元包括HDFS、HBase、RDBMS和Redis；数据中转单元内原始数据模块的输出端与储存单元内HDFS的输入端连接；数据中转单元内影响度数据模块的输出端与储存单元内HBase的输出端连接；数据中转单元内报警数据模块的输出端与储存单元内RDBMS的输入端连接；数据中转单元内环境状态模块的输出端与储存单元内Redis的输入端连接。