CN104104702A - 面向家庭物联网的云计算架构 - Google Patents

Abstract

本发明设计了一种家庭物联网云计算架构，该架构通过整合当前有效的通信管理、数据存储、数据分析与挖掘、事务管理与控制技术的基础上，提出了面向家庭物联网环境的云计算架构。该架构主要包括：(1)家庭物联网海量数据存储模块；(2)家庭物联网智能终端与云后台的通信管理及消息处理模块；(3)环境参数分析预警及用户习惯分析等数据分析与挖掘模块；(4)业务控制模块。旨在能够为家庭物联网智能终端提供强有力的数据存储及分析平台，进而为用户提供更加智能化、更加人性化的舒适生活服务。

Description

面向家庭物联网的云计算架构

技术领域

本发明设计一种家庭物联网云计算架构，特别是基于云计算技术的、支持在线决策的实时家庭物联网云计算架构。

背景技术

进入21世纪，随着智能电网的发展，物联网的发展也越来越受到更多人的关注。越来越多的用户希望智能家居能结合智能电网，能更经济和舒适地用电。这就要对采集的用电信息进行全面科学的分析，同时若能统计学习用户习惯，结合两者分析的结果即时向用户显示，科学指导用户的用电行为。这不仅可以改变用户的用电模式，降低用户的用电成本，而且还可以提高用户的用电舒适度和自动化程度。而这些的实现就需要有一个强大的计算平台能够对海量的用户端数据进行分析挖掘，从而能够实现为用户推荐设置的服务。而目前的智能终端是根据预定程序进行指导用户，科学性不强、自动化程度不高。主要原因就是缺少一个强有力的分析平台。

而云计算技术则为这一问题带来了解决方案，云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)发展来的，是一种新兴的商业计算模型。以Hadoop框架为例，Hadoop框架主要是由HDFS、MapReduce和Hbase组成。其中HDFS是Hadoop的分布式文件系统，MapReduce是并行计算框架适宜于对海量数据的处理过程，HBase是类似Google BigTable的分布式NoSQL列数据库，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统，它的特点主要表现在：1、大：一个表可以有上亿行，上百万列；2、面向列：面向列(族)的存储和权限控制，列(族)独立检索；3、稀疏：对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。但是云计算技术只解决了海量数据存储的问题以及提供了一个可以出来并行高效处理海量数据的计算框架。需要解决的问题还有：1、家庭物联网智能终端与云计算后台的消息管理问题。因为家庭物联网智能终端是实时的向云计算后台传送当前用户家庭的环境参数，这其中包括一些不需要云计算后台做出实时反应的以及一些需要云计算后台给出在线决策的信息，所以这就包含了异步消息和同步消息的处理，对于不需要及时处理的消息，可以采用异步消息的处理方式，而需要及时处理的消息，则采用同步消息的处理机制，这样就既能解决家庭物联网智能终端与云计算后台的消息通信问题又能在一定程度上平衡云计算后台的消息负载问题；2、云计算后台服务需要有很强的机器学习能力，需要可以对用户的用电习惯进行分析，能够对未来的用电习惯做出预测，能够形成一些用户的用电模式，同时还能对用户的用电习惯做出一些正确的引导，此外还需要能够对一些不安全状态的提前分析预警，以及可以形成自主的解决方案等。这就需要有一个比较科学化的、智能化的机器学习模块来辅助云计算后台来完成这些工作，这也是本发现中需要解决的一个关键问题。

将云计算技术与物联网技术相结合，就能够为人们提供更简单化和智能化的服务，通过在智能终端中植入智能化程序，通过与云服务后台的通信联系，使用户可以享受“一键OK”式的简单操作模式。同时也可以为用户提供更加安全可靠的在线决策服务，帮助用户进行危险分析等，使物联网环境真正成为能够使用户生活过得安全、舒适的环境。

综上，目前智能终端可视化实时程度低，缺乏同电力公司的互动以及家居设备之间的互动，在很大程度上是由于缺少一个能够进行海量数据分析挖掘的平台。然而如果有这样的一个平台来提供服务，就能够结合智能终端并且兼顾事物处理的实时性和可靠性，来科学的指导用户的用电行为等方面。因此，设计了一种面向家庭物联网的云计算架构来解决当前智能终端平台的不足。

发明内容

本发明的目的是为了为家庭物联网智能终端提供强有力的后台支持，改善智能终端的服务质量。

为了实现以上目的，本发明采用如下技术方案，主要包括：(1)海量家庭物联网数据存储模块；(2)家庭物联网智能终端与云后台的通信管理及消息处理模块；(3)环境参数分析预警及用户习惯分析等数据分析与挖掘模块；(4)业务控制模块。云计算后台整体架构如图1所示。

所述的海量家庭数据存储模块用于存储来自家庭物联网环境的各种类型的数据信息；

所述的家庭物联网智能终端与云后台的通信管理及消息处理模块用于家庭物联网智能终端和云计算后台的通信连接，还用于对两者之间传输消息的预处理；

所述的环境参数分析预警及用户习惯分析等数据分析与挖掘模块用于家庭物联网实时环境信息、用户请求信息的智能分析以及用户习惯的智能挖掘等；

所述的业务控制模块用于对云计算后台各种事务处理以及工作流程的管理和控制；

所述的业务控制模块还包括了领域知识库。

附图说明

图1是面向家庭物联网的云计算架构。

图2是家庭物联网云计算框架工作过程。

图3是云计算后台服务示例说明。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明是基于云计算技术来实现面向家庭物联网的计算架构。物联网包含感知层、网络层和应用层。而应用层就是建立云计算平台，实现统一的数据中心和服务中心。云计算技术为实时互动智能终端平台提供高计算能力、海量存储能力、智能数据挖掘能力、分析能力和消息统一管控能力。

如图1所示为本实施例的面向家庭物联网的云计算架构。其主要包括海量家庭物联网数据存储模块、家庭物联网智能终端与云后台的通信管理及消息处理模块、环境参数分析预警及用户习惯分析等数据分析与挖掘模块、业务控制模块。

海量家庭物联网数据存储模块，硬件包括RAM与ROM存储器、硬盘。软件采用高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统和分布式文件系统以更好的适应家庭物联网环境数据量庞大、数据异构、数据类型复杂、数据实时性、数据动态性等特征。

进一步地，本发明采用HBase数据库和HDFS文件系统来设计开发适合家庭物联网环境的数据存储模型。HBase可以通过主键和主键的Range来检索数据，存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，只要充分考虑排序存储这个特性，将经常一起读取的行存储放到一起，就能很大程度上提高系统的性能。同时考虑到HBase的数据模型是稀疏的、列可扩展的，能够满足家庭物联网中设备属性的不一等特性。HDFS文件系统是一个分布式文件系统。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。

以下是本发明中主要的数据模型说明：

表1用户控制指令信息数据模型

表2用户的操作习惯数据模型

表3设备运行状态信息数据模型

表4设备与用户关系数据模型

RowKey	Timestamp	User
			设备ID	tn	所属用户

表5设备类型参数数据模型

表6设备指令信息数据模型

RowKey	Description
		设备类型ID+指令序列	指令描述

表7设备信息数据模型

表8知识库数据模型

RowKey	Work
		设备类型ID+指令序列	设备类型ID+指令序列

为了方便物联网的管理，建立了专门的物联网设备入网数据库其基本模型如表7设备信息数据模型所示，用来存储所有合法的物联网设备，例如：对于每一个刚接入一个家庭物联网环境中的设备当其第一次发送自己的参数信息到终端时，终端会首先与云端平台通信，查看该设备是否已经注册，如果没有注册，该设备的参数信息将不会被终端记录也不会传输到云端。从而在一定程度上保证家庭物联网环境的安全性。

表1的数据模型中通过将“用户ID+设备ID+时间戳”设置为表的主键，可以将具体用户对具体设备的控制信息记录存储在HBase中相邻接的一段记录里，这样在对用户操作习惯进行分析时，就能够一次检索出这些记录然后进行分析了，实现了用户与设备控制信息的分区。同时可以通过时间戳来对用户的用电习惯做出一些分析。然后将分析的结果存储到表2的数据模型中。

表3的数据模型中通过将“设备ID”设置为表的主键，可以将具体设备的状态信息实时更新存储到HBase中，这样可以根据表8数据模型中的知识，对一些不安全的情况作出提前预警、也可以为用户提供设备状态查询的服务等。

表4设备与用户关系数据模型用来记录具体设备与具体用户的所属关系，以便在对用户习惯作出响应时不会出现控制失误。

表7设备信息数据模型可以基于它开发出一些额外的服务，例如对需要报废的设备给用户提醒等。

家庭物联网智能终端与云后台的通信管理及消息处理模块其特点在于针对家庭物联网环境的消息会话多为长链接状态、消息量庞大、消息类型复杂、消息级别明显、消息需要安全准确传输、不同消息时效要求不同的特点将消息处理分为异步消息处理部分和同步消息处理部分。

进一步地，异步消息部分是基于JMS异步消息服务，主要接受智能终端发来的非异常性及非指令性消息；其目的是解决大量智能终端与云端频繁通信而带来的负载问题。而同步消息处理部分则是基于MINA框架的消息通信管理，先在智能终端与云端之间建立合法会话，然后传送异常性及指令性消息，并实时调用云后台分析，返回操作指令，保证消息的实时处理；同时对智能终端的更新也采用这种方式。而无论采用哪种方式传输消息，对于敏感的消息，都需要经过加密之后再传输，从而保障信息的可靠性、安全性，为用户提供更加方便、高效、安全、可靠的服务。

环境参数分析预警及用户习惯分析等数据分析与挖掘模块包括并行数据处理算法程序、用户模式评估程序、数据存取程序。并行数据处理算法程序为数据分析、数据挖掘等各种任务提供并行算法，主要包含一些基于云计算并行计算MapReduce的算法库例如Mahout库中的聚类、分类、协同过滤(CF)/推荐引擎等算法。用户模式评估程序对产生的模式进行评估，符合用户要求的结果存入知识库，知识库可以辅助云后台对用户的生活模式进行快速定制。数据存取程序根据不同的需要从数据存储模块调取数据或者写入数据。

业务控制模块包括任务调度控制程序、领域知识库、工作流程控制程序。任务调度控制程序根据不同的处理请求，调用不同的业务处理或方法模块；领域知识库可以辅助业务控制逻辑指导数据处理过程；工作流程控制程序对业务状态进行监控、管理，可将具体的信息参数返回给本层的任务调度控制模块。

总的来说，通过将海量数据存储、消息通信管理、数据快速分析挖掘以及事务管理与控制等技术的有效整合，开发出了适应于家庭物联网环境的云计算框架，该框架能够很好的解决家庭物联网环境中的数据传输、存储、分析等需求，能够为用户提供更加智能、更加便捷以及更加人性化的生活服务。

下面利用图2对面向家庭物联网的云计算框架的工作过程进行详细说明。

这里将各种数据采集设备以及用户的请求动作统称为采集器。智能终端的根据采集器的消息，将消息进行简单的预处理并分类为不同的传输方式和消息级别。以下为具体的通信过程：

(1)同步消息方式传送：

步骤一，智能终端将消息发送到同步消息服务器；

步骤二，同步消息服务器对消息进行甄别，分为用户控制消息和环境异常消息；

步骤三，同步消息服务器将消息写入云后台数据存储；

步骤四，同步消息服务器根据消息的级别分别调用数据分析方法对消息进行知识匹配，得出智能决策消息；

步骤五，同步消息服务器将决策消息发回对应智能终端；

(2)异步消息传送的：

步骤一，智能终端将消息发送到异步消息服务器；

步骤二，异步消息服务器对消息预处理之后写入云后台数据存储；

云后台服务器定期对存储数据进行分析挖掘从而对知识库进行更新，保证消息决策的准确性。

然后根据图3以用户对电视以及周围灯光的控制为例进行说明。当然在这里认为用户的电视以及周围灯光控制设备已经得到了云端的验证。

用户A每天晚上打开电视后，总会马上再把周围的灯光变暗，这些控制信息会实时的传输到云端存储，云端后台定期对所有用户的操作进行分析挖掘，分析A用户的操作习惯之后，云端服务得出一个习惯操作并将此习惯记录下来，以后当用户A再次打开电视时，云端就会首先查看，用户A的这个操作是否有联动设备要操作，当找到在这种情况下需要将周围的灯光变暗的决策之后，云端就会自动给智能终端发回一条控制电视周围灯光变暗的指令，不需要用户进行多余的操作了，使得用户的生活更加智能化。

本发明具有以下有益效果：

(1)能够实现家庭物联网海量数据的存储；

(2)能够满足家庭物联网环境数据的复杂性要求；

(3)能够有效的解决云后台消息通信的负载问题；

(4)能够实现对海量数据的快速分析与挖掘，为用户提供高效可靠的在线决策服务；

(5)能够实现为用户提供一些特定的环境参数设置模式，使智能终端的控制更加人性化：

(6)能够有效提高家庭物联网环境感知信息及环境控制的能力。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.面向家庭物联网的云计算架构，其核心模块主要有：(1)家庭物联网海量数据存储模块；(2)家庭物联网智能终端与云后台的通信管理及消息处理模块；(3)环境参数分析预警及用户习惯分析等数据分析与挖掘模块；(4)业务控制模块。 

2.根据权利要求1所述的家庭物联网的云计算架构，其特征在于，在数据存储技术上，采用适应实时存取、高响应、存储海量基于Google开源、分布式BigTable技术的HBase数据库为依托，开发出适合家庭物联网环境的数据存储模型，每一个数据模型都是稀疏的、列可扩展的，并按照主键建立索引同时将主键以字典序进行排序，其中时间戳采用64位整数表示，方便后台对用户数据的时段分析；而对于主键的设计要求则是尽量使得相同用户或者相同设备的相关信息尽量存储在一段连续的空间上，实现信息的分区存放，提高数据的访问效率，而基于列组的可扩展性则保证了数据模型的伸缩特性，能够满足家庭物联网环境中设备属性不一的特性。例如表1是家庭物联网数据存储模型 

表1家庭物联网数据存储模型 

。

3.根据权利要求1所述的家庭物联网的云计算架构，其特征在于，在消息管理模块上，采用异步消息与实时通信相结合的同步消息处理机制。即将家庭物联网智能终端的非控制指令消息和非异常性信息全部采用异步消息发送到云端服务器进行接收处理；而对于家庭物联网智能终端发来的控制指令消息和异常性消息，则采用使云端与客户端先建立有效会话链接，随后进行消息通信的实时同步通信技术，同时对于云端产生的分析指令或者更新内容也将采用实时通信进行传送。 

4.根据权利要求1所述的家庭物联网的云计算架构，其特征在于，为物联网设备建立了入网数据库，用来存储所有当前(或者历史)具有接入家庭物联网权限的物联网设备。 

5.根据权利要求3所述的家庭物联网的云计算架构，其特征在于，对于用户的智能终端发往云端的所有敏感消息将会使用用户的密码进行加密，从而保证传输过程中不受篡改，保证系统安全性。 

6.根据权利要求1所述的家庭物联网的云计算架构，其特征在于，采用适应海量数据分析及数据挖掘的MapReduce技术将家庭物联网产生的海量数据分担负载之后调用适应机器学习的数据分析挖掘方法，主要是可以和MapReduce技术相结合使用的并行计算算法，用来实现对用户终端发来的数据参数的实时分析反应以及对用户历史数据的分析挖掘可以实现为用户定制设备工作模式的服务。