CN105653523A

CN105653523A - 能耗监管物联网络基础平台的系统构建方法

Info

Publication number: CN105653523A
Application number: CN201410620537.8A
Authority: CN
Inventors: 张明亮; 周治平; 王杰锋; 朱书伟; 张道文; 刘乐乐
Original assignee: Jiangnan University
Current assignee: Jiangnan University
Priority date: 2014-11-04
Filing date: 2014-11-04
Publication date: 2016-06-08

Abstract

本发明涉及一种系统平台构建技术领域，具体涉及一种基于云计算的能耗监管物联网络基础平台的系统构建方法，在硬件服务层内设置存储数据的MongoDB中间数据库，在业务逻辑层内构建业务引擎，通过业务引擎驱动数据预处理模块对MongoDB中间数据库的原始数据进行处理，处理后的数据通过数据挖掘模块进行计算，计算后的数据通过数据分析模块进行分析归纳，将分析归纳的结果通过数据输出模块在系统展示层上进行展示。本发明克服了现有能耗监管系统功能上的局限性以及对建筑能耗管理层面所提供的数据信息内容单一性的问题，能够在能耗数据、房产数据和人事数据基础上进行综合数据挖掘和数据分析，且便于用户查看。

Description

能耗监管物联网络基础平台的系统构建方法

技术领域

本发明涉及一种系统平台构建技术领域，具体涉及一种基于云计算的能耗监管物联网络基础平台的系统构建方法。

背景技术

软件平台的构建是将一个复杂的系统进行模块划分，建立模块的层次结构关系及调用关系，确定模块间的接口及人机界面，软件平台的构建与其需求和设计方式有着密切的关系。

云计算是一种基于互联网计算方式，通过这种方式，共享的软硬件资源和系统可以按需求提供给计算机和其它设备，用户可以通过网络使用云端提供的各类应用或服务。美国国家标准和技术研究院的云计算定义中明确了三种服务模式，包括软件即服务(SaaS)：用户使用软件，但并不掌控作业系统、硬件或网络基础架构。平台即服务(PaaS)：用户使用主机操作应用程序，使用平台的部分功能，但并不掌控作业系统、硬件或网络基础架构。基础架构即服务(IaaS)：用户使用基础运算资源，如处理能力、存储空间、网络或中间件，用户能够掌控作业系统、存储空间、已部署的应用程序及网络服务，但并不掌控云端基础架构。

MongoDB是一个新兴的NoSql数据库，区别于传统的关系数据库，MongoDB是面向文档的，它每个记录是文档中的一个集合，记录的属性在集合中以键值对的形式存在，MongoDB中的记录是模式自由的，它允许不事先定义对象的数据结构，可在一个文档中插入不同类型的数据集合，这样可以方便的维护不同类型的业务对象。MongoDB数据库具有高性能、易部署、易使用，存储数据方便的特点，在进行数据库备份和数据库分割相对于关系数据库更为灵活，同时MongoDB在进行大数据处理时仍能保持较高的响应速度。因此在搭建云计算平台时MongoDB是一个较好的选择。

建筑能耗监管系统是监测指定建筑的用能情况的一类管理系统，主要监测电能和水资源消耗。在目前的能耗监控系统中一般提供实时能耗数据查看和历史数据统计的功能，仅是对系统本身所采集的数据进行处理统计，并没有对这些数据进行进一步的扩展和分析。

发明内容

根据以上现有技术中的不足，本发明要解决的问题是：提供一种能够克服现有能耗监管系统功能上的局限性以及对建筑能耗管理层面所提供的数据信息内容单一性的问题，能够在能耗数据、房产数据和人事数据基础上进行综合数据挖掘和数据分析，且便于用户查看的能耗监管物联网络基础平台的系统构建方法。

本发明解决其技术问题所采用的技术方案是：

所述的能耗监管物联网络基础平台的系统构建方法，包括以下步骤：

1)构建硬件服务层，所述的硬件服务层内构建MongoDB中间数据库，用于存储原始数据和系统运行时所产生的过程数据和结果数据；

2)构建业务逻辑层，所述的业务逻辑层内构建业务引擎，业务引擎对分析的目标建立一个通过业务引擎驱动的业务；

设置数据预处理模块，数据预处理模块由业务引擎驱动后从MongoDB中间数据库取出相关数据进行数据的整理，并将整理后的数据存储至MongoDB中间数据库；

设置数据挖掘模块，数据挖掘模块由业务引擎驱动后从MongoDB中间数据库取出预处理后的数据进行计算，并将计算后的数据结果存储至MongoDB中间数据库；

设置数据分析模块，数据分析模块由业务引擎驱动后从MongoDB中间数据库取出计算后的数据结果和预处理后的数据进行关联归纳分析，并将分析后的结果存储至MongoDB中间数据库；

设置数据输出模块，数据输出模块由业务引擎驱动后从MongoDB中间数据库取出分析后的结果进行输出；

3)构建系统展示层，所述的系统展示层构建Web展示和手机展示，Web展示和手机展示通过调用业务引擎驱动数据输出模块，然后数据输出模块从MongoDB中间数据库内调出最终分析后的结果通过Web展示和手机展示。

所述的步骤1)的MongoDB中间数据库的构建方法为：

a)构建外部数据库，将外部数据库存储在硬件服务器内；

b)构建数据适配器，将外部数据库内存储的数据通过数据适配器进行格式转换后存储的MongoDB中间数据库内作为原始数据；

c)数据预处理模块、数据挖掘模块和数据分析模块进行处理后的数据也分别存储至MongoDB中间数据库。

所述的步骤2)中的数据挖掘模块采用系统平台中的算法或用户自行上传的算法。系统平台中的算法包括K-MeanS、DBScan聚类算法和Apriori关联规则算法，用户自行上传的算法采用聚类算法，聚类算法的接口为：int[]Run(double[][]rawData，intoption)。

所述的数据输出模块采用基于Restful的接口，便于不同类型的终端进行调用，并根据终端特点来进行展示，用户使用非常方便。

本发明所具有的有益效果是：

1、本发明的基础数据均由外部系统提供，平台通过数据适配器提供数据接入功能，将分布在不同信息系统中的数据汇聚到平台之中，这样可以直接利用已有的系统做更高层面上的分析工作，而不用从新进行开发，降低了研发成本和研发人员的工作量。

2、本发明采用MongoDB作为中间数据库，用于存储从外部系统中同步而来的数据，以及平台运行时产生的过程数据和分析完成的结果数据。由于能耗数据根据其采集点数、采集周期和采集密度的增加数据量会达到一个相当大的程度，利用MongoDB的分布式扩展特性，对存储数据进行横向的分片以及纵向的备份，能提高数据查询和计算的性能。

3、本发明的数据挖掘模块采用动态反射的技术，用户可在线上传挖掘算法，业务引擎可调用用户算法来实现数据挖掘，用户可以根据自己的需要选择所要进行数据挖掘的算法，增加了用户使用的方便性。

4、本发明的数据分析模块利用挖掘计算结果的关键字和多个业务系统的基础数据进行关联，实现多角度的综合分析，并输出可控用户进行决策的结果。

5、本发明的数据输出模块采用基于Restful的接口，这样便于不同类型的终端进行调用，并根据终端特点来进行展示。

6、本发明的系统展示层主要是使用业务引擎来生成驱动各类业务，取回计算分析结果，并使用网页或手机实现图表展示，便于用户查看。

附图说明

图1为本发明的系统原理图；

图2为本发明的MongoDB中间数据库复制分片部署图；

图3为本发明的程序集模块图；

具体实施方式

下面结合附图对本发明的实施例做进一步描述：

如图1所示，本发明所述的能耗监管物联网络基础平台的系统构建方法，包括以下步骤：

所述的MongoDB中间数据库的构建方法为：

a)构建外部数据库，将外部数据库存储在硬件服务器内；

设置数据输出模块，数据输出模块由业务引擎驱动后从MongoDB中间数据库取出分析后的结果进行输出，数据输出模块采用基于Restful的接口。

实施例：

1.硬件服务层

本平台的核心系统是运行在硬件服务器上，而原始数据信息是分散在不同的子系统之中，即图1中的外部数据库，本实施例接入了能耗系统中的建筑能耗数据，房产系统中的房屋数据以及人事系统中的部门数据。

在外部数据库之上建立数据适配器，其主要任务是对不同来源的数据进行格式转换，然后存储在中间数据库中。利用数据适配器可以将所需的能耗数据，房屋数据等同步到平台之中，为后续的数据分析工作做准备。

本发明使用MongoDB数据库作为平台的中间数据库，利用MongoDB数据库集合模式自由的特点，平台数据库可以实现运行时设计，根据接入数据的格式来设置中间数据对象的格式。中间数据库作为平台的存储核心，平台运行时产生的过程数据和分析完成的结果数据也存储在其中。

假设能耗数据有近3千万条记录，为此将MongoDB数据进行分片和复制，逻辑架构如图2所示。首先由一台服务器实现MongoDB的路由和配置服务，对接入的数据库操作进行分配。然后对数据库进行横向分片，分为了shard11，shard12，shard13三片并部署在三台服务器上。最后再将数据库进行纵向复制，形成三个ReplicaSet来完成数据的实时同步备份。每个分片的复制块的部署上有不同方式，可以将不同的分片放在不同的服务器上，也可以将不同复制块放在不同服务器上。如果为了达到性能和稳定性的最优，可以把每个分片复制块单独放在一台服务器，总共九台服务器中。

2.业务逻辑层

业务逻辑层是平台工作的核心功能层，它主要由业务引擎负责驱动工作，此外包括了数据预处理、数据挖掘、数据分析和数据输出几个模块。

本层的工作过程如下：

(1)首先根据需求选定需要进行分析的数据内容，由业务引擎在中间数据库取出相关的数据，通过预处理模块进行数据整理。例如能耗数据是每小时的电表计量用电量，而需要分析的目标是一栋楼的工作时间用电量和休息时间用电量，则利用预处理模块将相关的电表节点数据取出，并按照工作时间和休息时间进行归类整理。本过程将无序的格式数据整理成算法可识别的有序数据。

(2)然后选择不同的数据挖掘算法进行挖掘计算。本发明中的挖掘算法可以是预先在平台中编译好的算法，本发明实施例在平台中集成了K-Means和DBScan聚类算法，以及Apriori关联规则算法。此外平台还支持用户自行上传算法插件，用户算法按照一定要求实现便能导入到平台中。

聚类算法为例，用户算法需实现下列接口：

int[]Run(double[][]rawData，intoption)

参数说明：

rawData为算法输入数据

option为聚类参数

输出为聚类结果。

外部导入关联规则算法为例，用户需实现下列接口：

voidRun(List<string>trans)

参数说明：

trans为形式化的事务集合列表，列表中每一项为一组事务，如”A1；B1；C2”，表示了A1，B1，C2三个事件组成的一组事务。变量trans则包含了多组事务。

对于关联规则算法，用户还需实现下列两个公共属性：

string[][]Freq，int[][]FreqSup

分别存储计算后的频繁项集和其对应的支持度。

平台将预处理完成的数据传送到算法模块中，再等计算完成后取出计算结果并保存到中间数据库中。

(3)接下来对挖掘计算完成的结果进行数据分析。数据分析主要是对计算结果进行解释、关联。本实施例中将按房间工作时间、休息时间用电量进行聚类后的结果关联到实际方面和使用部门，再分析出不同部门的用电性质。根据分析结果可对部门今后的用电量进行合理的预测，并作为用电指标决策的依据。

(4)最后将数据分析结果进行输出，本平台利用业务引擎提供基于Restful的数据输出接口，这样不同的终端设备可按照这种标准接口来进行展示。

3.系统展示层

系统展示层主要是采用图形化的方式向用户提供操作接口和数据分析结果，主要是以Web网页展示和手机展示为主。

如图3所示，对系统设计模型进行分解时，定义了不同的程序集模块：如下所示：

Laocoon.Model程序集：包含了系统基础数据对象实体类，例如对能耗采集节点定义，房间信息定义，不同聚集结果定义等。

Laocoon.Data程序集：包括了系统数据库操作功能，对外部来源数据库的访问接口，以及一些基本的数据结构定义。

Laocoon.Algorithm程序集：为挖掘算法程序集合，包括了一些内置的算法，如K-mean，Apriori等。

Laocoon.Business程序集：包括了系统的业务逻辑处理功能，如数据处理，算法调用，数据结果分析等，是系统的主要部分。

Laocoon.UI程序集：这是系统平台的网站界面展示部分，是用户使用本系统的操作接口。

Laocoon.API程序集：这是系统为其它外部平台提供的Restful方式的API接口，方便如手机程序等调用数据挖掘的结果。

本发明克服了现有能耗监管系统功能上的局限性以及对建筑能耗管理层面所提供的数据信息内容单一性的问题，能够在能耗数据、房产数据和人事数据基础上进行综合数据挖掘和数据分析，且便于用户查看。

Claims

1.一种能耗监管物联网络基础平台的系统构建方法，其特征在于包括以下步骤：

2.根据权利要求1所述的能耗监管物联网络基础平台的系统构建方法，其特征在于：所述的步骤1)的MongoDB中间数据库的构建方法为：

a)构建外部数据库，将外部数据库存储在硬件服务器内；

3.根据权利要求1所述的能耗监管物联网络基础平台的系统构建方法，其特征在于：所述的步骤2)中的数据挖掘模块采用系统平台中的算法或用户自行上传的算法。

4.根据权利要求3所述的能耗监管物联网络基础平台的系统构建方法，其特征在于：所述的系统平台中的算法包括K-MeanS、DBScan聚类算法和Apriori关联规则算法。

5.根据权利要求3所述的能耗监管物联网络基础平台的系统构建方法，其特征在于：所述的用户自行上传的算法采用聚类算法，聚类算法的接口为：int[]Run(double[][]rawData，intoption)。

6.根据权利要求1所述的能耗监管物联网络基础平台的系统构建方法，其特征在于：所述的数据输出模块采用基于Restful的接口。