CN106789459A

CN106789459A - 一种基于树莓派的智能设备控制装置及控制方法

Info

Publication number: CN106789459A
Application number: CN201611114577.0A
Authority: CN
Inventors: 何明; 祝朝政; 何元; 陈希亮; 苗壮; 刘勇
Original assignee: PLA University of Science and Technology
Current assignee: PLA University of Science and Technology
Priority date: 2016-12-07
Filing date: 2016-12-07
Publication date: 2017-05-31

Abstract

本发明提供了一种基于树莓派的智能设备控制装置及控制方法，属于智能家居控制通信技术领域。该装置的网关系统基于三代树莓派开发，网关系统上通过USB无线网卡与路由器进行通信；家电控制与环境检测系统通过无线与路由器相连通过无线信号与网关系统进行通信；智能终端与实时音视频对讲系统通过无线信号与网关系统相连，智能终端远程控制用于控制网关系统，智能终端远程控制系统供用户控制；实时音视频对讲系统踢提供语音、视频信号反馈。基于树莓派的智能设备控制装置及控制方法，使用MD5加密算法，来对整个系统中的数据收发过程进行统一加密，并通过在家庭环境参数检测系统和树莓派核心板上集成一体化的方式实现对整个智能家居系统的一体化控制。

Description

一种基于树莓派的智能设备控制装置及控制方法

技术领域

本发明提供了一种基于树莓派的智能设备控制装置及控制方法，属于智能家居控制通信技术领域。

背景技术

智能家居控制系统可以定义为一个过程或者一个系统。利用先进的计算机技术、网络通讯技术、综合布线技术、将与家居生活有关的各种子系统，有机地结合在一起，通过统筹管理，让家居生活更加舒适、安全、有效。与普通家居相比，智能家居不仅具有传统的居住功能，提供舒适安全、高品位且宜人的家庭生活空间。还将原来的被动静止结构转变为具有能动智慧的工具，提供全方位的信息交换功能，帮助家庭与外部保持信息交换畅通，优化人们的生活方式，帮助人们有效安排时间，增强家居生活的安全性，甚至为各种能源费用节约资金。

很多经销商制作的现有的智能家居系统都是有线的，无线连接方式只是作为有线连接的补充，这给家庭布线带来很大的不便，而且网络的自动处理能力差。智能家居的发展依赖以网络技术与监控技术在家庭内部的推广，随着传感器即使，半导体制作技术，嵌入式处理技术等的发展，无线传感器网络的研究发展取得了突飞猛进的成果，这些技术使智能家居也有了新的发展：无线传输信号，网络化等使得智能家居在应用时更加方便，美观，安全。

“装了不会用，还不如不装!”这是很多智能家居使用者的心声。这从侧面反映了智能家居饱受诟病的操作复杂性。目前，大多智能家居系统设计不够人性化，造成极大的操作难度。原本是想是享受更便捷、更从容的生活，但复杂的操作反而让使用变成了高难度，严重影响了用户体验。

由于智能家居系统涉及到家庭内部隐私数据的存储，因此用户在对待整个智能家居的系统安全性上面要求较高。现有的智能家居经销商部分使用较普通的加密算法进行服务器和客户端的加密解密，对用户的信息安全造成了一定程度上的威胁。

综上所述，现有的智能家居系统是基于一种松散的、非一体化的方式来实现整个智能家居系统的控制，且配备的移动控制终端操作复杂，难以适应家庭中不同年龄段人群的使用习惯。因此现有技术还有待于改进和发展。

发明内容

本发明针对上述不足提供了一种基于树莓派的智能设备控制装置及控制方法。

本发明采用如下技术方案：

本发明所述的基于树莓派的智能设备控制装置，包括一个网关系统、一个家电控制与环境检测系统、一个智能终端远程控制系统、一个实时音视频对讲系统、一个安防报警系统；

所述网关系统是由当前使用普遍的树莓派第三代（Raspberry Pi 3）作为开发板，树莓派3上基于成了64位的1.2GHz四核ARM Cortex-A53，1GB RAM、板载BCM43143 WiFi和蓝牙低能耗(BLE)、4个USB端口、4路立体声输出和复合视频端口、CSI照相机端口用于连接树莓派照相机、DSI显示端口用于连接树莓派触屏显示器；微型SD端口, 用于下载操作系统以及存储数据，升级切换的微型USB电源, 高达2.5A，同时在树莓派上插入USB无线网卡；所述树莓派通过无线WIFI的形式接入无线路由器。

所述家电控制与环境检测系统是采用cortex-m3架构的STM32F103为处理核心，使用数字式温湿度传感器SHT11通过I2C接口和STM32相连，另外其他传感器如人体红外传感器RE200B、危险气体传感器MQ-2、白炽灯、蜂鸣器等，则通过普通IO口接入STM32；所述STM32节点通过无线WIFI的方式与树莓派和无线路由器相连。

所述智能终端远程控制系统包括三大部分。第一部分为PC机的Web控制端，第二部分为Android的APP控制端，第三部分为微信控制端；所述智能控制终端均可通过外网的形式直接接入本系统。

所述实时音视频对讲系统主要包括树莓派、CM108声卡、ZC301摄像头、预装APP的安卓手机、PC机；所述声卡和摄像头通过USB接口插入到树莓派上，树莓派通过天线的方式与无线路由器相连，手机和PC机只需通过外网的方式连入本系统。

本发明所述安防报警系统包括手机APP和环境参数检测系统。

系统各模块之间使用无线WIFI的方式进行通信。网关系统和环境参数监测系统之间通过无线WIFI相连，两个系统分别通过天线与WIFI路由器相连。

智能家居控制系统，环境参数检测系统和智能控制终端可以通过多点连接的方式通过无线WIFI连入对本系统，对每个独立的家庭环境参数检测系统和控制终端彼此之间互不影响。

系统各模块间的数据流流向是基于一种“被动-反馈”式的工作方式。智能终端向家庭网关发送请求，家庭网关接收到请求后，再向STM32节点发送请求命令，STM32接收到请求命令后，采取相应的动作或者采基于到环境参数后，将数据流反馈给家庭网关，网关再将其转发给智能终端。

本发明所述的基于树莓派的智能设备控制装置，家庭环境参数检测系统实现了多种类型传感器的使用。由数字型的温湿度传感器SHT11和模拟量型的人体红外传感器RE200B、危险气体传感器MQ-2组成；数字型的温湿度传感器通过SHT11寄存器直接完成对采基于数据的读取操作；

模拟量型的人体红外传感器RE200B，输出的模拟量输出到BISS0001处理芯片，最终转换成数字量输出，BISS0001的2引脚接STM32普通IO口，当有人经过时，BISS0001的2引脚输出高电平；模拟量型的危险气体传感器MQ-2通过设置比较器的值，当气体浓度超过设定值时，输出低电平。

本发明所述的基于树莓派的智能设备控制装置，家庭家电控制与环境检测系统实现了多种传感器参数数值的返回结果，同时也实现了多种家电类型的控制，如热水器（反馈型）、白炽灯（开关型）、空调（调节型）等。

本发明所述的基于树莓派的智能设备控制装置，实时音视频对讲系统采用双向音视频流进行采基于和播放，在多个控制终端传输的时延性较小。

本发明所述的一种基于树莓派的智能设备控制装置，智能终端远程控制系统由Web终端、手机APP、微信三种方式控制，三种控制平台通过云服务器转发可分别通过外网对系统进行联网控制，三种平台控制过程之间互不影响。

所述云服务器分别部署了Web服务器程序、数据库服务器程序、控制服务器程序、数据转发服务器程序。

所述Web控制终端主要由控制界面构成，功能包括对家电系统的控制和视频实时监测系统；

所述手机APP控制终端主要有安卓控制界面组成，功能包括对家电系统对的控制和实时音视频对讲系统以及邮件报警系统；

所述微信控制终端通过公众号底部菜单栏构成，功能包括对家电系统的控制和视频实时监测系统。

本发明所述的基于树莓派的智能设备控制装置，Web控制端的数据采基于并同时保存到云服务器上的数据库服务器中，数据库服务器进行有效保存。

所述数据库服务器包括后台数据库、用户登录、信息管理、信息查询，存储家庭环境参数数据信息和实时视频信息保存。

本发明所述的基于树莓派的智能设备控制装置，智能家居控制系统的 APP控制端可通过外网直接远程实时访问音视频，音频和视频均实现了双向传输。

本发明所述的基于树莓派的智能设备控制装置，智能家居控制系统邮件报警系统由安卓APP和家庭环境参数检测模块构成。当检测到家庭中“有人”和“危险气体含量高”时，即通过发送邮件的方式发送到用户预先设定的目标邮箱，并提示相应报警信息。

本发明所述的基于树莓派的智能设备控制装置的控制方法：

（1）用户通过互联网向家庭网关树莓派核心板发送请求控制命令，完成对家庭环境检测核心板STM32的参数返回。

（a）TCP通信系统初始化；

（b）对端口6552进行监听，当用户使用控制终端进行登录时，服务器检查是否有客户端连接请求。若有，则进入（c）；若没有，则继续等待；

（c）服务器端检测到客户端的连接请求后，开始通过预先搭建在云服务器上的数据库服务器验证用户登录的用户名和密码。若验证通过，进入（d）；若没有，则继续等待；

（d）用户名和密码验证通过后，则服务器将查询控制命令转发给对应的STM32节点模块，节点执行处理后，将反馈的数据结果继续交由网关节点进行转发并显示到智能终端。

（2）用户通过互联网与树莓派音视频服务器建立连接，实现实时音视频系统对讲。

（a）TCP通信系统通过自启动程序进行初始化；

（b）系统自动检测是否有客户端发送连接请求。若有，则直接进入（c）；若没有，则此次连接失败，服务器继续等待；

（c）系统通过预先搭建在云服务器上的数据库服务器验证账户的用户名和密码，若验证通过，若验证通过，进入（d）；若没有，则继续等待；

（d）账户的用户名和密码均验证通过后，通过按钮触发开启客户端的音视频服务。点击后，即可看到远程访问到的家庭室内的实时视频监控画面；此时也可以同时进行音频的双向对讲；

（e）可选择手动开启/关闭音视频，关闭后，音视频服务器会分别自动断开和客户端建立的TCP连接，再次进入时，系统仍通过按钮触发进行连接请求。

（3）利用安防报警系统将家庭报警信息通过实时邮件发送到用户邮箱。

（a）系统初始化；

（b）家庭环境参数检测系统的传感器节点模块通过对有毒气体、人体红外等进行检测，如果出现异常情况，则通过用户预先设计的邮箱进行实时邮件报警；如果没有报警信息，则继续等待；

（c）如果有报警信息，则由STM32节点将危险信息经过处理后，发送给家庭网关系统，再由家庭网关通过云服务器转发给用户智能手机；

（d）报警邮件发出后，返回步骤（b）。

（4）系统可实现对多个家庭环境检测STM32核心板的同时控制，实现对室内家居所有家电的全方位智能控制和全覆盖式的环境参数检测。

（a）系统自动对接入的每一个STM32检测模块建立一个TCP连接；

（b）智能终端对某个房间的家庭环境检测STM32核心板发出控制命令；

根据控制命令中数据的校验位和不同STM32核心板的标志位进行依次匹配；若匹配成功，则反馈对应核心板的处理结果。

有益效果

本发明提供的基于树莓派的智能设备控制装置及控制方法，使用MD5加密算法，来对整个系统中的数据收发过程进行统一加密，并通过在家庭环境参数检测系统和树莓派核心板上集成一体化的方式实现对整个智能家居系统的一体化控制。

在智能终端的控制系统设计上面，综合选取三大终端控制平台——PC、Android、微信三者相结合的方式实现，操作界面迎合用户的使用习惯，在一定程度上较同期产品有很大的优势。

附图说明

图1是本发明实施的智能家居系统的整体结构图。

图2是本发明实施的智能家居系统的整体框架图。

图3是本发明实施的智能家居系统的总体通信框架图。

图4是本发明实施的智能家居系统的家庭网关Linux系统结构图。

图5是本发明实施的智能家居系统的APP设计原理图。

图6是本发明实施的智能家居系统的Web端实现原理图。

图7是本发明实施的智能家居系统的微信设计原理图。

具体实施方式

下面结合附图对本发明进一步详细说明：

如图所示：一种基于树莓派的智能设备控制装置，包括网关系统、家电控制与环境检测系统、智能终端远程控制系统、实时音视频对讲系统、安防报警系统、路由器；所述的网关系统基于三代树莓派开发，网关系统上通过USB无线网卡与路由器进行通信；家电控制与环境检测系统通过无线与路由器相连通过无线信号与网关系统进行通信；智能终端与实时音视频对讲系统通过无线信号与网关系统相连，智能终端远程控制用于控制网关系统，智能终端远程控制系统供用户控制；实时音视频对讲系统踢提供语音、视频信号反馈。

网关系统是由当前使用普遍的树莓派第三代（Raspberry Pi 3）作为开发板，树莓派3上基于成了64位的1.2GHz四核ARM Cortex-A53，1GB RAM、板载BCM43143 WiFi和蓝牙低能耗(BLE)、4个USB端口、4路立体声输出和复合视频端口、CSI照相机端口用于连接树莓派照相机、DSI显示端口用于连接树莓派触屏显示器；微型SD端口, 用于下载操作系统以及存储数据，升级切换的微型USB电源, 高达2.5A，同时在树莓派上插入USB无线网卡；树莓派通过无线WIFI的形式接入无线路由器。

家电控制与环境检测系统是采用cortex-m3架构的STM32F103为处理核心，使用数字式温湿度传感器SHT11通过I2C接口和STM32相连，另外其他传感器如人体红外传感器RE200B、危险气体传感器MQ-2、白炽灯、蜂鸣器等，则通过普通IO口接入STM32；所述STM32节点通过无线WIFI的方式与树莓派和无线路由器相连。

智能终端远程控制系统包括三大部分。第一部分为PC机的Web控制端，第二部分为Android的APP控制端，第三部分为微信控制端；所述智能控制终端均可通过外网的形式直接接入本系统。

其家电控制与环境检测系统具体技术实现步骤如下：

A、将整个智能家居系统分为三大功能模块：家庭网关（树莓派）、家庭环境检测（STM32）和智能控制终端。同时家电控制与环境检测系统（STM32）和智能控制终端模块通过无线WIFI的形式与家庭网关（树莓派）相连接；系统结构图如图1所示。

B、树莓派作为家庭网关节点的同时，也作为远程音视频对讲系统的服务器；

C、智能终端系统通过互联网向家庭网关发送请求控制命令，网关接收命令后，对账户的用户名和密码进行验证；验证成功后，进入控制主界面同时将客户端的控制请求命令转发到家庭环境检测（STM32）进行处理；

D、家庭环境检测模块接收到控制请求命令后，立即采取相应动作（如采集传感器数据等），并对服务器进行响应将其返回到家庭网关节点；

E、家庭网关节点将数据结果返回到智能终端。

上述步骤C的具体实现方式如下：

C1、TCP通信系统初始化，同时将本系统作为服务器；

C2、智能终端上的控制进程通过进程间通信的方式，将请求获取数据的消息发送给TCP服务进程；

C3、终端上的TCP服务进程通过TCP/IP协议向家庭网关发送请求获取数据的消息；

C4、家庭网关的TCP服务进程对发送消息的账户进行用户名和密码验证；验证通过时，网关将客户端发送的请求获取数据的消息转发给家电控制与环境检测系统（STM32）；

C5、家庭网关的TCP服务进程返回最新的控制命令数据，并通过TCP/IP协议发送到智能终端；

C6、智能终端将最新的控制数据进行实时显示，同时将其同步更新到数据库中。

家庭音视频实时对讲系统具体技术实现方案如下：

A、TCP通信系统初始化；

B、智能终端上的控制进程通过进程间通信的方式，将请求获取数据的消息发送给TCP服务进程；

C、终端上的TCP服务进程向家庭网关（树莓派）不同端口发送请求音视频的TCP连接;

D、家庭网关的TCP服务进程响应来自客户端的连接请求；连接完成后，智能终端通过解码程序将服务器端发送的H.264视频流实时显示；

E、视频显示的同时，用户可选择手动开启语音对讲功能；通过调用终端平台提供的API或接口类来实时录播音频流数据。

上述步骤D的实现步骤如下：

D1、树莓派作为家庭网关的核心板，同时作为实时对讲系统的视频服务器；

D2、树莓派通过调用V4L2驱动将摄像头采集到的图像输入到ARM11自带的MFC硬编码模块；

D3、树莓派中的硬编码模块将视频流转换为H.264视频流作为输出；

D4、搭建RTMP服务器将视频流数据发送到智能终端；智能终端通过移植FFMPEG库函数完成对服务器端发送的实时视频流数据进行解码，并通过三种不同平台进行播放，显示给用户。

MFC硬编码模块为树莓派本身自带的硬编码模块；

安卓智能终端通过JNI技术移植FFMPEG，再由FFMPEG中的库函数完成了对H.264.的解码。

上述步骤E的实现步骤如下：

E1、树莓派作为家庭网关的核心板，同时作为实时语音对讲系统的音频服务器；

E2、在音频服务器的TCP服务进程确定与客户端建立好连接后，在树莓派上采用多线程编程的方式搭建可支持多线程的双向音频服务器；

E3、不同方向的音频服务器fork()出不同的子进程，分别代表向不同的方向收发实时音频流数据；

E4、各个子进程内部通过管道的方式来实现音频数据的采集与发送；

E5、终端将接收到的音频数据进行解码，通过调用接口类进行实时录播。

Android终端设计一种队列的数据结构来实现多线程数据的异步接收和读取，再调用接口函数AudioTrack()和AudioPlayer()进行音频的采集和播放。

传感器节点核心板(STM32)的工作流程如下所述：

A、传感器节点连接的燃气检测、烟雾检测等均输出模拟量，链接到MCU的ADC引脚；

B、硬件上搭建了电压比较电路，将传感器输出电压与设定好的安全电压比较，当超出安全值是，电压比较电路会直接向MCU外部中断引脚发送触发电平；

C、传感器节点会在网关节点主动查询时，读取传感器输出进行上报，或者在接收到比较电路输出的中断信号后，再读取传感器输出进行确认；

D、数据无误则向网关节点发出报警信号，并等待网关节点确认信息，如果超时为收到，则重新发送；

E、如果读取数据未超安全值，则重新读取，连续三次确认数据正常，则取消报警。

传感器节点的软件后台轮询网卡以等待网关节点的查询命令，当接收到命令时，读取传感器内容并发送到网关节点。系统通过这种方式确认网关节点与传感器节点之间连接正常。

传感器节点的TCP/IP协议实现步骤如下所述：

A、传感器节点采用LWIP（Light Weight IP）实现TCP/IP协议的封装；

B、应用程序通过“open->read/write->close”的模式顺序处理TCP通信，socket API对sequential API进行进一步封装，提供了兼容类UNIX系统的socket编程接口；

C、Raw API直接提供协议栈流程控制的接口，使协议栈与应用程序运行在同一个线程中，以回调函数的机制实现TCP/IP事件响应；

D、传感器节点将读取传感器数据并发送的操作注册为TCP接收的回调函数，使得节点在接收到网关节点的查询命令后可以第一时间反馈信息；

E、传感器节点在有限的硬件资源下与网关节点建立了高效可靠的TCP连接。

LWIP是一款开源的TCP/IP协议栈软件，其代码体积小巧，结构清晰，占用ROM、RAM资源小，非常适合在资源有限的嵌入式平台上实现基础的TCP/IP通信；

LWIP提供了三种API接口：低级的raw API、高级的sequential API以及BSD模式的socket API；

LWIP提供了回调函数机制，通过此机制，用户函数可以在协议栈运行阶段被执行，应用程序可以在TCP接收、发送、accept（服务器）、connect（客户端）等过程中注册自己的回调函数。

Web端的通信方案主要采取一种轻量级的Web通信架构——Ajax+Lua+CGI。此方案实现原理如下：

A、用户登录进入Web控制界面后，通过点击按键向服务器端发送相应的控制请求；

B、点击完成后，Ajax响应用户发送的控制请求，后台通过移植轻量级的Lighttpd服务器，对Lua语言进行解析，使其可以对文件或管道进行读写操作；

C、由于传感器节点服务器也可以对命名管道执行读写操作，因此可以完成整个Web架构下的数据通信过程。

Android端实现步骤如下所述：

A、APP点击进入后，TCP服务进程开始初始化；

B、Android端与服务器建立TCP连接成功后，将需要转发的控制命令信息封装进Socket流中；

C、服务器接收到客户端发送的TCP数据流后，将其转发送给硬件处理模块，执行相应操作；

D、硬件处理模块接收到控制流后，启动相应的解密程序；

E、经解密后的数据流格式通过硬件处理模块，得到相应的回复数据流消息，硬件模块将此消息通过TCP/IP协议重新打包后发送给服务器；

F、服务器将反馈得到的消息通过Socket流重新发回给APP。

其微信端实现步骤如下所述：

A、用户在微信公众号里向公众号发送一条消息，这条消息通过网络到达微信服务器；

B、微信服务器收到消息后，把消息转发给公众号的后台服务器程序进行处理；

C、公众号后台将需要返回的消息封装，返回给微信服务器；

D、微信服务器将返回的消息解析并转发给用户，这样用户就能在微信上看到消息。

微信端同时设置语音识别功能，通过调用微信开发的接口类实现语音识别功能。

Claims

1.一种基于树莓派的智能设备控制装置，其特征在于：包括网关系统、家电控制与环境检测系统、智能终端远程控制系统、实时音视频对讲系统、安防报警系统、路由器；所述的网关系统基于三代树莓派开发，网关系统上通过USB无线网卡与路由器进行通信；家电控制与环境检测系统通过无线与路由器相连通过无线信号与网关系统进行通信；智能终端与实时音视频对讲系统通过无线信号与网关系统相连，智能终端远程控制用于控制网关系统，智能终端远程控制系统供用户控制；实时音视频对讲系统踢提供语音、视频信号反馈。

2.根据权利要求1所述的基于树莓派的智能设备控制装置，其特征在于：所述的环境参数检测系统与智能控制终端采用无线WIFI多点连接的方式连入网关系统与家电控制与环境检测系统。

3.根据权利要求1所述的基于树莓派的智能设备控制装置，其特征在于：所述的网关系统、家电控制与环境检测系统、智能终端远程控制系统、实时音视频对讲系统与安防报警系统之间的数据流流向采用被动-反馈方式进行工作。

4.根据权利要求1所述的基于树莓派的智能设备控制装置，其特征在于：所述的家庭环境参数检测系统包括处理芯片，温湿度传感器，人体红外传感器，危险气体传感器；所述的人体红外传感器输出的模拟量输出到处理芯片，转换成数字量输出，检测到有人经过输出高电平；危险气体传感器通过设置比较器的值，当气体浓度超过设定值时，输出低电平；所述的温湿度传感器通过寄存器完成对采基于数据的读取操作。

5.根据权利要求1所述的基于树莓派的智能设备控制装置，其特征在于：所述智能终端远程控制系统包括PC机Web控制端，Android APP控制端，微信控制端；PC机Web控制端、Android APP控制端与微信控制端分别通过外网接入网关系统。

6.根据权利要求5所述的基于树莓派的智能设备控制装置，其特征在于：所述的PC机Web控制端、Android APP控制端与微信控制端分别通过云服务器转发分别通过外网对网关系统进行联网控制；所述的云服务器分别设置Web服务器程序、数据库服务器程序、控制服务器程序与数据转发服务器程序。

7.根据上述权利要求1-6所述的基于树莓派的智能设备控制装置的控制方法，其特征在于：步骤如下：

1）、用户通过互联网向家庭网关系统发送请求控制命令，家庭网关系统启动相连的环境检测系统；

2）、环境检测系统启动检测模块对家庭环境进行检测，并将检测信息反馈至家庭网关系统；

3）、家庭网关系统将步骤2）中的反馈信息进行处理，并将处理信息与处理结果发送至用户与云服务器；

4）、用户登录云服务器查看检测信息，通过互联网连接智能终端远程控制系统对家庭网关系统进行远程控制。

8.根据权利要求7所述的基于树莓派的智能设备控制装置的控制方法，其特征在于：用户通过云服务器连接至家庭网关系统开启视频监测服务。

9.根据权利要求7所述的基于树莓派的智能设备控制装置的控制方法，其特征在于：用户通过云服务器连接至家庭网关系统开启音频对讲服务并通过音频进行双向对讲。

10.根据权利要求7所述的基于树莓派的智能设备控制装置的控制方法，其特征在于：用户通过云服务器连接至家庭网关系统，通过各检测传感器节点模块进行检测，将异常结果实时发送至用户电子邮箱报警。