CN105897588B - 基于Spark大数据平台的多家居设备路由表构建方法 - Google Patents

Abstract

本发明公开了一种基于Spark大数据平台的多家居设备路由表构建方法，涉及智能家居领域，包括如下步骤：首先，获取设备信息，并定义相关的路由表；其次，利用Spark创建路由表相关的分布式数据集RDD；再次，利用Spark的RDD进行路由表信息的转化，完成对路由表的构建；最后，得到建立好的房间路由表RouteTable，并做持久存储。本发明利用Spark分布式并行技术，扩大了中心控制设备对子设备的控制范围，实现中心控制设备对房屋内智能家居设备的最大限度覆盖；同时，有效解决智能家居设备数量多时，系统反应时间延迟高的问题，能够快速构建智能家居设备路由表，确保中心控制设备与房屋内所有子设备之间的通信畅通。

Description

基于Spark大数据平台的多家居设备路由表构建方法

技术领域

本发明涉及信息技术、物联网、云计算、智能家居等领域，提供了一种基于Spark大数据平台的多智能家居设备路由表构建方法。

背景技术

随着电子技术在现实生活中的广泛应用，人们越来越感受到电子产品为生活所带来的各种便利，在家庭房屋智能家居系统中，包含了很多智能家居设备，实现对房屋中各种智能家居设备的控制有了更大的需求。

智能家居是在互联网影响下物联化的体现。智能家居通过物联网技术将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、影音服务器、影柜系统、网络家电等)连接到一起，提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。与普通家居相比，智能家居不仅具有传统的居住功能，兼备建筑、网络通信、信息家电、设备自动化，提供全方位的信息交互功能，甚至为各种能源费用节约资金。

在智慧社区中，通过对智能家居设备之间构建路由表，可以基本实现房屋内中心控制设备对房屋内所有子设备的通信与控制。然而，由于房屋的通信条件受到房屋所在社区和周边环境的影响，它可能是不断变化的，如在断电、通信质量减弱、子设备发生故障等条件下等，房屋内的整体路由会受到影响。为了保证房屋内子设备的长期正常运行，需要设置扫描时间周期T，每隔时间周期T，对路由表进行定期维护。

Spark是一个基于内存的分布式计算系统，是由UC Berkeley AMPLab实验室于2009年开发的开源数据分析集群计算框架。拥有MapReduce的所有优点，与MapReduce不同的是.Spark将计算的中间结果数据持久地存储在内存中，通过减少磁盘I/O。使后续的数据运算效率更高。Spark的这种架构设计尤其适合于机器学习、交互式数据分析等应用.这些应用都需要重复地利用计算的中间数据。在Spark和Hadoop的性能基准测试对比中，运行基于内存的logistic regression，在迭代次数相同的情况下，Spark的性能超出HadoopMapReduce 100倍以上。

Spark不局限于MapReduce简单的编程范式，Spark立足于内存计算，同时在上层支持图计算、迭代式计算、流式计算、内存SQL等多种计算范式，因此相对于MapReduce更具有通用性。为了支持在多次迭代计算过程中重复利用内存数据集，Spark在借鉴传统分布式共享内存思想的基础上，提出了一种新的数据抽象模型RDD(resilient distributeddataset)，RDD是只读、支持容错、可分区的内存分布式数据集。可以一部分或者全部缓存在集群内存中，以便在多次计算过程中重用。用户可以显式控制RDD的分区、物化、缓存策略等，同时RDD提供了一套丰富的编程接口，供用户操作。RDD是Spark分布式计算的核心，Spark的所有计算模式都必须围绕RDD进行。

RDD是一种分布式的内存抽象，表示只读的、分区记录的集合，它只能通过在稳定物理存储中的数据集或其它已有的RDD上执行一些确定性操作(并行操作中的转换操作)来创建，并行操作包括转换(transform)和动作(action)两种类型。转换表示对现有的RDD创建一个新的RDD，动作则表示在RDD上执行计算，结果返回一个普通的类型值或将RDD中的数据输出到存储系统中。RDD之间的依赖关系有两种：窄依赖(narrow dependencies)和宽依赖(wide dependencies)。窄依赖是指父RDD分区至多被一个子RDD的每个分区所依赖；宽依赖是指子RDD的多个分区都依赖于父RDD的每个分区。

在智慧社区中，智能家居设备多，快速的实现路由表构建是非常有必要的。考虑到智慧社区中的智能家居设备大数据，结合Spark在大数据处理方面的优势，本发明提出一种基于Spark大数据平台的多家居设备路由表构建方法。

发明内容

本发明针对各种类型的房屋中，房屋结构异构、多样、复杂，智能家居设备数量多，子设备与中心控制设备的距离大小不一，中心控制设备难以直接与所有子设备进行通信等问题，提出了一种基于Spark大数据平台的多智能家居设备路由表构建方法。在扩大了中心控制设备对子设备的控制范围，实现中心控制设备对房屋内智能家居设备的最大限度覆盖的基础上，有效解决了智能家居设备数量多，系统反应时间延迟高的问题，能够快速构建智能家居设备路由表，确保中心控制设备能与房屋内所有子设备之间的通信畅通。

为实现上述目的，本发明提供了一种基于Spark大数据平台的多家居设备路由表构建方法，包括步骤：

S1、获取设备信息，并定义相关的路由表；

S2、利用Spark创建路由表相关的分布式数据集RDD；

S3、利用Spark的RDD进行路由表信息的转化，完成对路由表的构建；

S4、得到建立好的房间路由表RouteTable，并做持久存储。

在本发明提供的技术方案中，扩大了中心控制设备对子设备的控制范围，实现中心控制设备对房屋内智能家居设备的最大限度覆盖的基础上，有效解决了智能家居设备数量多，系统反应时间延迟高的问题，能够快速构建智能家居设备路由表，确保中心控制设备能与房屋内所有子设备之间的通信畅通。

进一步而言，在步骤S2中，利用Spark创建路由表相关的分布式数据集RDD的方法具体为：创建一个SparkContext对象，调用SparkContext对象的parallelize()函数创建分布式数据集RDD，通过RDD的persist()方法或者cache()方法将其持久化到内存中。

该改进方案所解决的技术问题为：提高路由表构建和通讯速度，避免串行通信的信道堵塞。在该技术方案中，分布式数据集RDD可并行操作，再通过RDD的persist()方法或者cache()方法将其持久化到内存中，使后续的动作速度更快。

进一步而言，步骤S3具体包括：中心控制设备发出通信请求指令，请求房屋内所有子设备响应；统计收到响应的子设备总数量j以及收到响应的子设备总集合DevSet＝{x₁,x₂,...,x_j}；将路由跳数为1跳的子设备作为中继节点，用于中心控制设备的对外通信，逐步搜索路由跳数为2跳的子设备；更新收到响应的子设备总数量j以及收到响应的子设备总集合DevSet＝{x₁,x₂,...,x_j}；逐步实现路由跳数为3跳、4跳、5跳的子设备的通信连接，从而最终实现中心控制设备对房屋内所有子设备的通信互联与控制。

该改进方案所解决的技术问题为：在房屋中，由于房屋构造不一致，控制子设备安装地点各异，子设备与中心控制设备的距离大小不一；此外，还受到通信条件的影响，中心控制设备难以直接与所有子设备进行通信。在该技术方案中，中心控制设备通过子设备作为中继节点，逐级与每一级的子设备通讯，达到与房屋内所有子设备的通讯。

进一步而言，步骤S4具体为：提取响应的子设备集合DevSetRdd，调用saveAsTextFile("outpath")函数，对路由表RouteTable信息做持久化存储。该改进方案将子设备路由表信息持续化存储，避免多次搜索子设备再通讯，有效节约计算资源以及时间。

本发明的有益效果是：扩大了中心控制设备对子设备的控制范围，实现中心控制设备对房屋内智能家居设备的最大限度覆盖的基础上，有效解决了智能家居设备数量多，系统反应时间延迟高的问题，能够快速构建智能家居设备路由表，确保中心控制设备能与房屋内所有子设备之间的通信畅通。

附图说明

图1采用Spark进行多智能家居设备路由表构建方法流程框图；

图2家庭房屋中心控制设备与子设备的示意图；

图3路由表构建例子中构建过程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1所示，图1为本实施例流程框图，包括如下步骤：

S1、获取设备信息，并定义相关的路由表，并完成初始化；

工人员在进行智能家居设备安装时，结合本房屋的中心控制设备ID，采用手机扫描每个房屋智能家居子设备上的条形码，值得一提的是，每一个智能家居子设备上都粘贴了唯一的条形码，上传到中心服务器，建立房屋内子设备与中心控制设备之间的关联。安装完成后，重启房屋内的中心控制设备，中心控制设备发送信息到云中心服务器，云中心服务器将中心控制设备所关联的子设备信息推送到中心控制设备进行存储。设备信息包括设备ID，是否节能设备等。

值得一提的是，子设备ID的读取还可以通过二维码、手动输入ID、磁条读入等方式进行读取，在本发明另一实施例中，采用二维码进行子设备ID读入，在本发明又另一实施例中，采用手动输入ID进行子设备ID读入，在本发明又另一实施例中，采用磁条读入子设备ID。

如表1所示，表1为房屋子设备路由表RouteTable的定义，获取设备信息之后，根据已有信息对路由表进行更新。

表1、房屋子设备路由表的定义

S2、Spark创建路由表相关的分布式数据集RDD，首先创建一个SparkContext对象，然后用它的parallelize()函数创建分布式数据集RDD，一旦创建完成，这个分布式数据集就可以被并行操作。最后通过RDD的persist()方法或者cache()方法将其持久化到内存中，使后续的动作速度更快。具体而言，包括如下三个步骤：

S21、创建一个SparkContext对象；

首先，给工程导入相关的依赖包，创建一个SparkContext对象，SparkContext是Spark的入口，负责连接Spark集群，创建RDD，累积量和广播量等。从本质上来说，SparkContext是Spark的对外接口，负责向调用这提供Spark的各种功能。它的作用是一个容器。路由跳数初始化，令k＝1；中心控制设备将所有关联的子设备信息写入路由表RouteTable中。统计子设备的数目Total；DevSet＝φ；NewDevSet＝φ；

S22、创建分布式数据集。

调用SaprkContext对象的textFile(RouteTable的URI))函数将路由表信息创建分布式数据集RDD，一旦创建完成，这个分布式数据集就可以被并行操作。

S23、最后，通过RDD的persist()方法或者cache()方法将其持久化到内存中，使后续的动作速度更快。

S3、利用Spark的RDD进行路由表信息的转化，更新操作完成对路由表的构建；

图2是家庭房屋中心控制设备与子设备的示意图一般说来，在房屋中，由于房屋构造不一致，控制子设备安装地点各异，子设备与中心控制设备的距离大小不一；此外，还受到通信条件的影响，中心控制设备难以直接与所有子设备进行通信。在图2中，中心控制设备只能直接与3个子设备x₁,x₂,x₃进行通信；对于其它的子设备x₄,x₅,x₆,x₇,x₈,x₉,x₁₀,x₁₁,x₁₂,x₁₃，中心控制设备则难以直接与它们进行通信。即，必须采用逐级通讯的办法来进行通讯，中心控制与一级子设备通讯，一级子设备与二级子设备通讯，二级子设备与三级子设备通讯，依次类推，直至所有子设备均可通讯。

S31、创建跳数为1跳的设备的路由表信息；

中心控制设备发出通信请求指令，请求房屋内所有子设备响应；统计收到响应的子设备数量j。收到响应的子设备集合DevSet＝{x₁,x₂,...,x_j}，将收到的相应子设备信息列表通过parallelize()函数转化成DevSetRdd,即DevSetRdd＝sc.parallelize(DevSet)；调用RDD的转化函数Map()处理DevSetRdd中的每一条数据(每一个子设备的信息)，将设备ID作为第1键key1，路由跳数k、路径path、当前时间戳Time以元祖形式作为第1值value1。构成<key1＝Xid,value1＝(Xk,Xpath,Xtime)>的键值对形式，NewDevSet＝{中心控制设备收到的所有响应的非节能设备}。

S32、创建跳数为2跳～5跳的设备的路由表信息；

将路由跳数为1跳的子设备作为中继节点，用于中心控制设备的对外通信，逐步搜索路由跳数为2跳的子设备；依此类推，逐步实现路由跳数为3跳、4跳、5跳的子设备，从而最终实现中心控制设备对房屋内所有子设备的通信互联与控制。

在本实施例中，中心控制设备向子设备向路由跳数为1跳的子设备(作为中继节点)，发出通信请求指令，请它们向其它子设备发出通信请求指令。各子设备发出通信请求指令后，接收到其它子设备发出的返回响应消息。假设子设备x₁收到了响应消息的新的子设备集合为y₁,y₂,...,y_i；此时k＝2,将收到的相应子设备信息通过parallelize()函数转化成NewDevRdd,调用Map函数处理NewDevRdd中的每一条数据(每一个子设备)，将设备ID作为键key2，路由跳数(x1的路由跳数+1)、路径(x1的路径+yid、当前时间戳Time以元祖形式作为值value2。构成<key2＝Yid,value2＝(x1的路由跳数+1,x1的路径+yid,time)>的键值对形式。然后调用filter()函数过滤掉路由表DevRdd中已经存在的子设备；将已处理的子设备集合的路由表信息(NewDevRdd)通过RDD的union函数添加到路由表，即DevSetRdd.union(NewDevSetRdd)，下一次中继节点NewDevSet＝{当前第k跳中继节点收到的所有响应的非节能设备}。依此类推，逐步实现路由跳数为3跳、4跳、5跳的子设备，从而最终实现中心控制设备对房屋内所有子设备的通信互联与控制。

具体而言，在本实施例中，步骤S3的实现方法为：

IF k＜5ORj！＝total THEN

1)中心控制设备经过k-1级向k级子设备集合NewDevSet发出通信请求指令，请它们向其它子设备发出通信请求指令，令

2)k级的各子设备发出通信请求指令后，接收到其它子设备发出的返回响应消息；基于Spark的路由表构建，方法如下：

3.1)假设k级子设备x₁收到了响应消息的新的子设备集合为y₁,y₂,...,y_i，将收到的相应子设备信息通过parallelize()函数转化成NewDevRdd，Val NewDevRdd＝sc.parallelize(List[y₁,y₂,...,y_i])；

3.2)调用Map函数处理NewDevRdd中的每一条数据(每一个子设备)，将设备ID作为键，如2级子设备的键为key2，路由跳数(x₁的路由跳数+1)、路径(x₁的路径+y_id、当前时间戳Time以元祖形式作为值，如2级子设备的值为value2；构成<key2＝Yid,value2＝(x₁的路由跳数+1,x₁的路径+y_id,time)>的键值对形式；然后调用filter()函数过滤掉路由表DevRdd中已经存在的子设备；将已处理的子设备集合的路由表信息(NewDevRdd)通过RDD的union函数添加到路由表，即DevSetRdd.union(NewDevSetRdd)，下一次中继节点；

3.3)NewDevSet＝{当前第k跳中继节点收到的所有响应的非节能设备}；

3)k＝k+1(转下一级路由)；j＝DevSetRdd.count()(DevSetRdd中已经更新完的设备路由表信息)；

END IF

S4、最终得到建立好的房间路由表RouteTable并做持久存储。

将转化好的路由表信息(DevSetRdd)与原路由表信息(RDD)合并，然后调用SaveAsTextFile()函数，并将路由表RouteTable信息做持久化存储，即，RDD.jion(DevSetRdd).saveAsTextFile(“outpath”)；

S5、路由表建立完成,退出。

以下举例对本发明的实施作进一步说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

已知：图2所示，某房间内有一个中心控制设备，房间内还包括13个子设备。要求：构建一个路由表。首先，DevSet＝φ；NewDevSet＝φ；

(1)、完成跳数为1跳的设备信息，令k＝1，从中心控制设备出发，搜寻1跳路由可达的子设备，可得{x₁,x₂,x₃}，即，DevSet＝{x₁,x₂,x₃}根据上述描述，将收到的相应子设备信息通过parallelize()函数转化成DevSetRdd DevSetRdd＝sc.parallelize(DevSet),然后调用map函数将DevSetRdd转化成然后删除子设备集合DevSet中的节能设备，图3所示，x₂是节能设备，可得NewDevSet＝{x₁,x₃}，k＝k+1；

(2)、k＝2,中心控制设备向子设备集合NewDevSet发出通信请求指令，请它们向其它子设备发出通信请求指令。子设备x₁收到了响应消息的新的子设备集合为x₄,x₅,x₆，将收到的相应子设备信息通过parallelize()函数转化成NewDevRdd，Val NewDevRdd＝sc.parallelize(List[x₄,x₅,x₆])；调用Map函数处理NewDevRdd中的每一条数据(每一个子设备)，将设备ID作为键key2，路由跳数(x1的路由跳数+1)、路径(x₁的路径+y_id)、当前时间戳Time以元祖形式作为值value2。构成<key2＝y_id,value2＝(x₁的路由跳数+1,x₁的路径+y_id,time)>的键值对形式。即，同理，对于子设备x₃，

合并路由表信息，DevSetRdd.union(NewDevRdd)：

<(x₇,(2,x₃.x₇,time7))>

在收到的响应的所有子设备中x₇是节能设备，则，NewDevSet＝{x₄,x₅,x₆}，k＝k+1；

(3)、k＝3,中心控制设备向子设备集合NewDevSet发出通信请求指令，请它们向其它子设备发出通信请求指令。子设备x₄收到了响应消息的新的子设备集合为x₈，将收到的相应子设备信息通过parallelize()函数转化成NewDevRdd，Val NewDevRdd＝sc.parallelize(List[x₈])；通过调用map函数转化后，则变成对子设备x₅收到了响应消息的新的子设备集合为x₉，子设备x₆收到了响应消息的新的子设备集合为x₁₀，同理可得

合并路由表信息，DevSetRdd.union(NewDevRdd),得：

<(x₈,(3,x₁.x₄.x₈,time8))>

<(x₉,(3,x₁.x₅.x₉,time9))>

<(x₁₀,(3,x₁.x₆.x₁₀,time10))>

在收到的响应的所有子设备中x₈,x₁₀是节能设备，则，NewDevSet＝{x₉}；k＝k+1；

(4)、k＝4,中心控制设备向子设备集合NewDevSet发出通信请求指令，请它们向其它子设备发出通信请求指令。子设备x₉收到了响应消息的新的子设备集合为将收到的相应子设备信息通过parallelize()函数转化成NewDevRdd，Val NewDevRdd＝sc.parallelize(List[x₁₁,x₁₂])；通过调用map函数转化后，则变成合并路由表信息，DevSetRdd.union(NewDevRdd),得

<(x₁₁,(4,x₁.x₅.x₉.x₁₁,time11))>

<(x₁₂,(4,x₁.x₅.x₉.x₁₂,time12))>

在收到的响应的所有子设备中x₁₂是节能设备，则，NewDevSet＝{x₁₁}；k＝k+1；

(5)、k＝5,中心控制设备向子设备集合NewDevSet发出通信请求指令，请它们向其它子设备发出通信请求指令。子设备x₁₁收到了响应消息的新的子设备集合为x₁₃，将收到的相应子设备信息通过parallelize()函数转化成NewDevRdd，Val NewDevRdd＝sc.parallelize(List[x₁₃])；通过调用map函数转化后，则变成

合并路由表信息，DevSetRdd.union(NewDevRdd),得

<(x₁₃,(5,x₁.x₅.x₉.x₁₁.x₁₃,time13))>

此时j＝total＝13,k＝5,此时将路由表信息持久化存储。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (1)

1.一种基于Spark大数据平台的多家居设备路由表构建方法，其特征在于，包括如下步骤：

S1、获取设备信息，并定义相关的路由表；

S2、利用Spark创建路由表相关的分布式数据集RDD，具体方法为：创建一个SparkContext对象，调用所述SparkContext对象的parallelize()函数创建分布式数据集RDD，通过RDD的persist()方法或者cache()方法将其持久化到内存中；

S3、利用Spark的RDD进行路由表信息的转化，完成对路由表的构建，具体步骤包括：

中心控制设备发出通信请求指令，请求房屋内所有子设备响应；统计收到响应的子设备总数量j以及收到响应的子设备总集合DevSet＝{x₁,x₂,...,x_j}；

将路由跳数为1跳的子设备作为中继节点，用于中心控制设备的对外通信，逐步搜索路由跳数为2跳的子设备；更新收到响应的子设备总数量j以及收到响应的子设备总集合DevSet＝{x₁,x₂,...,x_j}；

逐步实现路由跳数为3跳、4跳、5跳的子设备的通信连接，从而最终实现中心控制设备对房屋内所有子设备的通信互联与控制；

S4、得到建立好的房间路由表RouteTable，并做持久存储，具体步骤为：提取响应的子设备集合DevSetRdd，调用saveAsTextFile("outpath")函数，对路由表RouteTable信息做持久化存储。