CN109920544A - 基于体感信息的实时自适应智能楼宇系统 - Google Patents

Abstract

一种基于体感信息的实时自适应智能楼宇系统，包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块；用户端传感器模块包括健康数据采集传感器、声音传感器以及视觉传感器；健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息；用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理。本发明能够在无人介入下实时监测人体健康数据并调整室内环境。

Description

基于体感信息的实时自适应智能楼宇系统

技术领域

本发明涉及一种智能楼宇系统，特别是涉及一种基于人体健康传感信息的实时自适应智能楼宇系统。

背景技术

智能家居系统目前分为有线和无线模式。有线信号通过有线方法连接，接线复杂，成本高，维护困难，组网不容易等缺点使有线智能家居无法大规模实施。目前市面上各大公司的智能设备仍有不足之处：智能音箱可以迎合人们喜好播放音乐，但若设备未被唤醒则无法响应语音控制；智能手环是健康传感器中较为成熟的一种系统，人的运动状况、心率、血压、血氧等数据能够被它实时监控，用户都够直接通过手环或者APP直接查看当前数据。美中不足的是，现有的智能手环只能获取当前的健康数据并存储作为历史数据，将数据显示给使用者，通过使用者本身的判断，分析当前或以往是否有意外情况，而缺少对未来的预测。并且当用户想要了解自身健康情况时需要手动触发手环测量或者设置固定的采样频率测量，缺少根据用户自身的健康情况而自动调整测量的方式，这也是导致用户使用一段时间后丢弃手环的原因之一。

目前的智能家居控制系统主要是指令式控制的，需要通过开关、遥控设备控制系统，没有通过人体的体感信息对楼宇内的设备进行智能调控。智能建筑比普通建筑具有更好的信息接收和响应能力，用户对不同环境功能的需求可以得到更好的满足。

发明内容

本发明要克服现有技术的上述缺点，通过在无人为介入的条件下来调整室内环境，给用户提供一套能够实时监测人体健康数据并通过体感信息智能调控电器的自适应楼宇系统。

本发明能够实现当用户在使用过程中出现心率过快或者体温、血压、血氧等数据出现不正常时跳出提醒用户注意；当用户有久坐或超负荷工作时，会提醒用户进行适当的放松运动；通过语音识别用户声音状况可以分析用户性别和年龄等特征，并结合视频分析发现用户情绪不佳时可以播放有助于调整情绪的音乐或脱口秀节目等；医护人员或管理员能够在后台管理系统实时查看用户的所有历史健康数据，能够更快的了解患者身体情况。本发明致力于研究根据健康传感器实时采集的健康数据来判断用户当前的身体状况，包括接触式和非接触式的判断方法，并通过分析人体健康数据来控制楼宇内的智能电器，改变智能家居的工作状态，实现以人为本、以家庭成员或工作团队成员为核心的健康舒适的智能楼宇系统，力求做到以用户体验为核心，自主分析用户情况并自动控制管理的功能，从而满足人们的根本需求。

为了达到上述目的，本发明的技术方案是：

一种基于体感信息的实时自适应智能楼宇系统，包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块。

用户端传感器模块包括健康数据采集传感器(心率、血压、血氧、体温、加速度等传感器)、声音传感器以及视觉传感器。健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息。用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接(蓝牙、WiFi、Zigbee、Z-wave等)将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理。

其中，语音识别系统对语音传感器上传的声音数据进行预处理具体是：语音识别系统收到声音数据后进行数据建模，建立声音数据集，对声音数据集进行标注，一部分作为训练数据放入卷积神经网络形成分类器，另一部分作为测试数据形成测试集，将分类器与测试集进行比对，不断优化，提高识别的准确率。将声波转化为数字之后采样到分类器，分类器根据语速、音频等进行分类处理，然后调用长传输协议将数据传入移动边缘计算网关。

视频分析系统对视觉传感器上传的图像数据进行预处理具体是：视频分析系统收到图像数据后进行数据建模，通过Dlib获取用户面部特征点，结合Tensorflow获取用户姿态特征，利用卷积神经网络对视频信息探测到的人体信息进行一定时间的训练，形成一个分类器供云端服务器载入使用，并分析行为和表情信息和特定的个人信息。通过onvif协议进行无线通讯，将该数据通过网络和相应的移动边缘计算网关进行连接，移动边缘网关接受数据后进行分类存储。

移动边缘计算网关与用户端传感器模块、语音识别系统、视频识别系统、数据融合模块、云端服务器和云端数据库相连。

用户端传感器将实时监测到的体感数据发送到移动边缘计算网关进行预处理，然后将数据上传到云端数据库，云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，移动边缘计算网关将数据发送给控制模块生成指令消息，终端设备便通过指令实现控制智能家居。

其中，移动边缘计算网关对传感器上传的体感数据进行预处理具体是：移动边缘计算网关接收到传感器通过基站发送的数据后进行分类存储，将实时监测到的数据(标记为P₁,P₂,…,P_N)在本地计算出一段时间内的平均值λ＝(P₁+P₂+…+P_N)/N。

云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体包括分析识别、数据同步两个步骤。

1)分析识别：云端服务器读取数据库中的数据，调用语音识别程序载入分类器，判断出用户当前声音性质，包括分析所属性别、年龄、声音状况等；调用视频分析程序载入分类器，将特征值与测试库中的数据进行比对，返回探测到的最有可能的行为和表情，然后通过探测到的人脸，进行人脸库比对得出行为的归属人，将行为和表情信息和特定的个人信息；调用健康传感分析程序，使用规则引擎绑定指定的信息，进行数据存储，判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态。

2)数据同步：云端服务器将数据通过mqtt长传输协议下发到各个边缘网关，边缘网关接受后调用分类器将声音识别信息、图像识别信息分别存储于语音识别系统、视频分析程序部分。

云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体是：移动边缘计算网关从云端取出数据进行清洗得到满足质量要求的数据。涉及到异常检测过程要对异常值进行过滤，其中包括泊松算法、条形聚类算法、平均算法以及中位数算法等。异常值抓取详见如下过程：

1)当前监测的数据为X₁，X₂，…，X_N，由上述第一步得出平均值λ；

2)假设x是当前检查的值，λ为数据集的平均值，由以下公式建立一个正常值模型：

3)将数据集中最高的标记为，由以下公式算出一个得分，若x偏离了λ₁，则得分与给定的越不匹配，则异常越多。

将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，具体是：对用户进行行为分析。将清洗后的数据在云端数据库存储，通过机器学习算法分析历史健康数据，得到数据走向(如图5所示)，在云端管理员界面中监控并分析，实现预测效果和智能动态调整测量。将融合分析后的数据通过函数计算进行处理，调用API设置设备属性，移动边缘计算网关将数据发送给控制模块生成指令消息，设备端便可以通过指令实现控制智能家居，通过综合判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态，比如判断出用户是深度睡眠状态，则控制室温为最宜睡眠温度。

本发明的核心技术是在云端利用卷积神经网络对用户端传感器探测到的人体信息进行处理建模，采用机器学习算法进行语音、视频、传感数据分析用户信息，然后将信息共享给各个网关。并在移动边缘计算网关用数据融合技术对用户声音信息、人体表情、姿态特征以及传感器采集的人体健康数据等多个体感信息进行判断融合，实现通过体感信息控制楼宇内的智能电器。其重点在对电器的控制是通过实时监测到的人体生命体征信息来智能调控的，并不是传统的语音控制和智能开关控制。本发明中移动边缘网关对数据的预处理后对数据进行分析可以得到用户的基本状态，通过用户的心率、体温、脑电、血压和情绪等方面的特征可以智能调控电器，使室内环境处于适合用户当前身体状况的状态。

控制层的基本思路是利用云端历史数据的分析来调整移动边缘计算网关(手机、电脑、平板等)对健康传感器的控制，如根据历史数据的分析来判断当前的状况，控制采样的频率，例如用户在运动过程中需要提高采样的频率；或者根据历史和当前的信息来估算现在的状态，从而控制需要采集的信息，例如通过历史数据分析出患者具有高血压的病症，可以控制在固定的时间内对血压进行测量，若脑电、血氧在这样的情况下没有问题，就无需同时测量。

本发明的优点是：

本发明通过数据融合技术对用户声音信息、人体表情、姿态特征以及传感器采集的人体健康数据等多种信息进行融合处理，将使用者大量体征数据上传云端数据库存储，通过分析人体健康数据得到数据走向来控制楼宇内的智能电器，致力于实现以人为本、以家庭或工作团队为单元的健康舒适的智能楼宇系统，包含智能家居和智能办公等范畴。实现预测预警效果，有助于发现并预防潜在疾病，降低患病风险，并提供健康提醒服务(例如：久坐提醒，手环会产生振动，并提示应该做的一些运动来保持自身健康；感冒发烧，智能冰箱提醒饮食合理搭配)。一套能够实时监测用户身体健康数据并通过这些体感数据来控制智能电器的智能楼宇系统能给用户带来极大的便利，用户身体健康隐患能被及时发现，不仅节省了一定的费用更是节约了一定的时间成本。

附图说明：

图1为本发明的系统功能模块图；

图2为本发明数据处理流程图；

图3为本发明系统流程图；

图4为本发明数据处理过程中的数据清洗原理图；

图5为本发明实验过程中心率数据走势图。

具体实施方式：

本发明专利的系统设计在理论上是使用健康传感器、声音传感器和视觉传感器获取人体数据，具体实施是通过机器学习算法训练数据库中存储的历史健康数据，通过分析得到数据走向。

本发明涉及了一种基于体感信息的实时自适应智能楼宇系统，如图1所示，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块。各类健康传感器采集人体健康体征信息并结合语音、视频分析人体的声音和表情信息，将数据通过移动边缘计算网关(如手机、电脑、平板、基站等)上传到云端数据库存储，在本地计算出一段时间内监测数据的平均值，将处理完的数据通过node.js上传到云端数据库，使用规则引擎绑定指定的数据内容，通过编写SQL语句进行数据处理，服务器从云端数据库中取出数据进行清洗，然后做数据转发，将清洗后的数据转发到移动边缘计算网关中的数据融合模块对应服务下的函数(需先在函数计算里，新建服务和函数，编写函数计算的node.js代码)，node.js代码进行数据的处理和调用API设置设备属性，经过数据融合分析后将信息反馈给控制模块，控制设备端接收指令消息，从而实现对家电进行智能调控。

如图2所示，系统完整的数据处理过程分为以下几步：

1.数据采样。接收的外界环境信息是各类传感器的输入数据，健康传感器可以获取用户身体健康数据，声音传感器可以接收用户声波信息，视觉传感器可以获取使用环境内的图像信息。通过有线或无线连接(蓝牙、WiFi、Zigbee、Z-wave等)将声音数据传输给语音识别系统、将图像信息传输给视频分析系统，其他传感数据传输到移动边缘计算网关。

2.数据预处理。涉及到采样声音数据预处理、采样视频数据预处理以及传感器监测数据预处理。

1)语音识别系统接收到声音传感器采集的语音数据，将声波信息解码后传入神经网络进行数据建模，建立声音数据集，对声音数据集进行标注，一部分作为训练数据放入卷积神经网络形成分类器，另一部分作为测试数据形成测试集，将分类器与测试集进行比对，不断优化，提高识别的准确率。将声波转化为数字之后采样到分类器，分类器根据语速、音频等进行分类处理，然后调用长传输协议将数据传入移动边缘计算网关；

2)视频分析系统接收到视觉传感器传来的数据，通过Dlib获取用户面部特征点，结合Tensorflow获取用户姿态特征，利用卷积神经网络对视频信息探测到的人体信息进行处理建模，经过一定时间的训练，形成一个分类器可以供其他系统使用。通过onvif协议进行无线通讯，将该数据通过网络和相应的边缘计算网关进行连接，边缘网关接受数据后进行分类存储。

3)移动边缘计算网关接收到传感器通过基站发送的数据后进行分类存储，将实时监测到的数据(标记为P₁,P₂,…,P_N)在本地计算出一段时间内的心率和体表温度的平均值λ＝(P₁+P₂+…+P_N)/N。

移动边缘计算网关将上述预处理完成的数据通过node.js上传到云端数据库。

3.云端存储分析。将边缘网关存储预处理后的数据上传至云端数据库供服务器存储分析使用。如图3所示，分为分析识别、数据同步两个步骤。

1)分析识别：服务器读取数据库中的数据，调用语音识别程序载入分类器，判断出用户当前声音性质，包括分析所属性别、年龄、声音状况等；调用视频分析程序载入分类器，将特征值与测试库中的数据进行比对，返回探测到的最有可能的行为和表情，然后通过探测到的人脸，进行人脸库比对得出行为的归属人，将行为和表情信息和特定的个人信息；调用健康传感分析程序，使用规则引擎绑定指定的信息，进行数据存储，判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态。

2)数据同步：云端服务器将数据通过mqtt长传输协议下发到各个边缘网关，边缘网关接受后调用分类器将声音识别信息、图像识别信息分别存储于语音识别系统、视频分析程序部分。

4.信息融合处理。云端存储的数据由移动边缘计算网关传输到数据融合模块，采用数据融合技术将多种传感信息和观测事实进行信息融合。移动边缘计算网关从云端取出数据进行清洗(如图4所示)，得到满足质量要求的数据。涉及到异常检测过程要对异常值进行过滤，其中包括泊松算法、条形聚类算法、平均算法以及中位数算法等。异常值抓取详见如下过程：

1)当前监测的数据为X₁，X₂，…，X_N，由上述第一步得出平均值λ；

2)假设x是当前检查的值，λ为数据集的平均值，由以下公式建立一个正常值模型：

3)将数据集中最高的标记为，由以下公式算出一个得分，若x偏离了λ₁，则得分与给定的越不匹配，则异常越多。

5.对用户进行行为分析。将清洗后的数据在云端数据库存储，通过机器学习算法分析历史健康数据，得到数据走向(如图5所示)，在云端管理员界面中监控并分析，实现预测效果和智能动态调整测量。将融合分析后的数据通过函数计算进行处理，调用API设置设备属性，移动边缘计算网关将数据发送给控制模块生成指令消息，设备端便可以通过指令实现控制智能家居，通过综合判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态，比如判断出用户是深度睡眠状态，则控制室温为最宜睡眠温度。

本发明专利涉及一种基于体感信息的实时自适应智能楼宇系统，可以实时监测人体生命体征信息，致力于为存在潜在健康问题的人群提供精准、科学的健康数据，通过实时监测使用者健康状况实现提示用户健康隐患、智能调控电器设备、改善用户健康。

本发明的核心技术是在云端利用卷积神经网络对用户端传感器探测到的人体信息进行处理建模，采用机器学习算法进行语音、视频、传感数据分析用户信息，并用数据融合技术对用户声音信息、人体表情、姿态特征以及传感器采集的人体健康数据等多个体感信息进行判断融合，实现通过体感信息控制楼宇内的智能电器。其重点在对电器的控制是通过实时监测到的人体生命体征信息来智能调控的，并不是传统的语音控制和智能开关控制。本发明中移动边缘网关对数据的预处理后对数据进行分析可以得到用户的基本状态，通过用户的心率、体温、脑电、血压和情绪等方面的特征可以智能调控电器，使室内环境处于适合用户当前身体状况的状态。

本发明将从健康传感器获取的数据上传到云端数据库中存储，通过机器学习算法分析数据库中存储的历史健康数据，得到数据走向，云端服务器实现智能动态调整测量，并发送命令给边缘计算网关，调整健康数据采集频率等参数，边缘计算网关向健康数据传感器发送命令，获取健康数据，从而实现因人而异的针对性数据采集和监控。本发明能够实时监测用户的健康信息，可以根据用户自身的健康情况提供健康提醒、能够智能动态调整测量健康数据采集频率。比如计步、体表温度、心率、血压、血氧、呼吸频率、睡眠时间等，能够在用户在使用过程中出现心率过快或者血压、血氧等数据出现不正常时跳出智能提醒并提供针对性的健康服务和指导，通过对健康数据进行融合处理，可以判断用户当前所处状态，对居住环境或办公环境进行电器的智能调控。用户也能实时查看自己健康数据的历史信息，对自己健康有更深的了解。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于体感信息的实时自适应智能楼宇系统，其特征在于：包含智能家居和智能办公等范畴，系统的主要模块构成是用户端传感器模块、语音识别系统、视频分析系统、云端数据库、云端服务器、移动边缘计算网关及控制模块；

用户端传感器模块包括健康数据采集传感器(心率、血压、血氧、体温、加速度等传感器)、声音传感器以及视觉传感器；健康传感器获取用户身体健康数据，声音传感器主要是充当麦克风接收用户声波信息，视觉传感器获取使用环境内的图像信息；用户端传感器模块与移动边缘计算网关、语音识别系统及视频分析系统相连，用户端传感器模块通过有线或无线连接(蓝牙、WiFi、Zigbee、Z-wave等)将声音数据传输给语音识别系统、将图像信息传输给视频分析系统进行预处理；

其中，语音识别系统对语音传感器上传的声音数据进行预处理具体是：语音识别系统收到声音数据后进行数据建模，建立声音数据集，对声音数据集进行标注，一部分作为训练数据放入卷积神经网络形成分类器，另一部分作为测试数据形成测试集，将分类器与测试集进行比对，不断优化，提高识别的准确率；将声波转化为数字之后采样到分类器，分类器根据语速、音频等进行分类处理，然后调用长传输协议将数据传入移动边缘计算网关；

视频分析系统对视觉传感器上传的图像数据进行预处理具体是：视频分析系统收到图像数据后进行数据建模，通过Dlib获取用户面部特征点，结合Tensorflow获取用户姿态特征，利用卷积神经网络对视频信息探测到的人体信息进行一定时间的训练，形成一个分类器供云端服务器载入使用，并分析行为和表情信息和特定的个人信息；通过onvif协议进行无线通讯，将该数据通过网络和相应的移动边缘计算网关进行连接，移动边缘网关接受数据后进行分类存储；

移动边缘计算网关与用户端传感器模块、语音识别系统、视频识别系统、数据融合模块、云端服务器和云端数据库相连；

用户端传感器将实时监测到的体感数据发送到移动边缘计算网关进行预处理，然后将数据上传到云端数据库，云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，移动边缘计算网关将数据发送给控制模块生成指令消息，终端设备便通过指令实现控制智能家居；

其中，移动边缘计算网关对传感器上传的体感数据进行预处理具体是：移动边缘计算网关接收到传感器通过基站发送的数据后进行分类存储，将实时监测到的数据(标记为P₁,P₂,…,P_N)在本地计算出一段时间内的平均值λ＝(P₁+P₂+…+P_N)/N；

云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体包括分析识别、数据同步；

1)分析识别：云端服务器读取数据库中的数据，调用语音识别程序载入分类器，判断出用户当前声音性质，包括分析所属性别、年龄、声音状况等；调用视频分析程序载入分类器，将特征值与测试库中的数据进行比对，返回探测到的最有可能的行为和表情，然后通过探测到的人脸，进行人脸库比对得出行为的归属人，将行为和表情信息和特定的个人信息；调用健康传感分析程序，使用规则引擎绑定指定的信息，进行数据存储，判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态；

2)数据同步：云端服务器将数据通过mqtt长传输协议下发到各个边缘网关，边缘网关接受后调用分类器将声音识别信息、图像识别信息分别存储于语音识别系统、视频分析程序部分；

云端服务器读取数据库中的数据并使用规则引擎绑定指定的信息，并进行数据清洗，具体是：移动边缘计算网关从云端取出数据进行清洗得到满足质量要求的数据；涉及到异常检测过程要对异常值进行过滤，其中包括泊松算法、条形聚类算法、平均算法以及中位数算法等；异常值抓取详见如下过程：

S1.当前监测的数据为X₁，X₂，…，X_N，由上述第一步得出平均值λ；

S2.假设x是当前检查的值，λ为数据集的平均值，由以下公式建立一个正常值模型：

S3.将数据集中最高的标记为，由以下公式算出一个得分，若x偏离了λ₁，则得分与给定的越不匹配，则异常越多；

将处理完的数据转发到移动边缘网关的数据融合模块，利用数据融合技术进行分析，具体是：对用户进行行为分析；将清洗后的数据在云端数据库存储，通过机器学习算法分析历史健康数据，得到数据走向，在云端管理员界面中监控并分析，实现预测效果和智能动态调整测量；将融合分析后的数据通过函数计算进行处理，调用API设置设备属性，移动边缘计算网关将数据发送给控制模块生成指令消息，设备端便可以通过指令实现控制智能家居，通过综合判断用户的呼吸速率、心率、脑电和体表温度等特征分析用户当前处于什么状态，比如判断出用户是深度睡眠状态，则控制室温为最宜睡眠温度。