CN113946127A - 一种基于边缘计算技术的智能家居系统 - Google Patents

Abstract

本发明公开了一种基于边缘计算技术的智能家居系统，包括中央服务器和若干安装在不同位置的边缘设备。边缘设备包括运算组件和功能组件。功能组件包括以下一个或多个可选的功能模块：摄像头模块、麦克风模块、扬声器模块、遥控器模块、传感器模块、声光报警模块和其它物联模块。本发明可实现智能家居系统中各部件的互联互通，智能化程度高，功能可拓展性强，所有数据在本地进行处理，不在公网传输，避免了隐私泄露问题，并且系统具备使用机器学习方法优化功能的能力。

Description

一种基于边缘计算技术的智能家居系统

技术领域

本发明涉及一种基于边缘计算技术的智能家居系统。

背景技术

随着科技的进步，人们对智能家居的需求越来越高，当今市场上已经有很多物联网智能家居的尝试与应用，例如一些智能家居系统，可以实现电视、冰箱、洗衣机、家庭安防监控甚至窗帘等设备的联网化。然而，这些智能家居系统均依赖于开发企业架设在公网上的服务器进行数据分析，且硬件设备采用私有闭源系统，尚且缺乏行业统一的工业规范与法律标准，存在巨大的信息与隐私安全隐患。

现有的智能家居的功能模块单一，各家居设备之间很少有信息交换，这样构成的智能家居系统，缺乏良好的统筹组织协调性，在造成一定程度上资源浪费的同时，也增加了互联互通需求的实现难度。

此外，现有的智能家居系统，大部分都不具备使用机器学习方法来优化功能的能力，即使小部分使用了机器学习算法的智能家居设备，往往也因为设备算力不足等原因无法得达到良好的效果。

发明内容

本发明提供一种基于边缘计算技术的智能家居系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供一种基于边缘计算技术的智能家居系统，所述智能家居系统包括中央服务器和若干安装在不同位置的边缘设备。所述边缘设备包括运算组件和功能组件。所述功能组件包括以下一个或多个可选的功能模块：摄像头模块、麦克风模块、扬声器模块、遥控器模块、传感器模块、声光报警模块和其它物联模块。

边缘设备中的功能组件可采集信号并发送给运算组件，或根据运算组件控制命令发送信号。运算组件通过机器学习算法提取信号特征并将处理结果发送给中央服务器。中央服务器根据各边缘设备发来的信息分析处理并将控制信号下发给相应边缘设备，并由边缘设备中的运算组件对控制信号进行处理或转译，最终在功能组件上执行相应操作。边缘设备具有在本地训练机器学习模型的能力，并将本地模型参数上传至中央服务器。中央服务器对各边缘设备上传的本地模型进行聚合，并将更新后的全局模型下发至各边缘设备。

可选地，各包含摄像头模块的边缘设备，其合计监控范围应覆盖全住宅。所述摄像头模块采集视频信息送至运算组件，运算组件将原始视频发送至中央服务器，存储于中央服务器的存储池中，供推送视频流时调用。运算组件对视频信息中的关键兴趣区域进行提取，再调用本地机器学习算法对提取后的画面判别远距特征(包括身高、体型、步态、发型、衣着)和近距特征(包括面部细节)并确定画面中人员身份；所述边缘设备将识别结果发送至中央服务器。中央服务器根据边缘设备所在位置和人员在视频画面中方位，参照人员移动过程中在时间和空间上的连续性，结合多个边缘设备的识别结果，综合判断人员所处精确位置并存储于预先设置好的住宅地图中。

可选地，所述提取关键兴趣区域包括分析视频中是否存在运动物体，若存在则针对该运动物体所在区域拍摄高清图像并裁剪至合适大小并缩放至合适比例。

可选地，中央服务器根据人员身份与出现位置判断是否满足预设预警场景中的陌生人闯入情况。中央服务器根据姿态分析算法，判断家庭成员是否出现预设预警场景中的人员摔倒情况。中央服务器结合人员身份与出现位置判断是否满足预设预警场景中幼儿进入危险区域情况，当以上任一判断结果为真时，向户主推送警报以及监控视频流。

可选地，麦克风模块采集音频信息送至运算组件，运算组件调用本地机器学习算法，识别音频片段中的声音信息，对不同类别的声音分别进行分析，分离背景噪音、背景环境音、宠物叫声、人声等。运算组件对人声信息调用语音识别算法，将人声信息转化为文字。所述边缘设备将音频分析结果与语音识别结果发送至中央服务器。

可选地，中央服务器根据所述音频分析结果与语音识别结果，判断声音是否符合预设预警场景中的婴儿啼哭或成员呻吟情况，当判断结果为是时，向户主推送警报以及音视频流。中央服务器判断语音识别结果是否为预设语音指令，若是，则依据指令内容执行相应操作。

可选地，所述预设语音指令包括：家庭成员呼叫指令，智能家居控制指令。

相应地，若中央服务器判断某一边缘设备(下称呼叫发起边缘设备)发送来的音频信息中包括家庭成员呼叫指令，则结合被呼叫家庭成员在住宅地图中的位置，向被呼叫家庭成员所处位置最近的边缘设备(下称被呼叫边缘设备)发送语音通话指令，此时呼叫发起边缘设备仅与被呼叫边缘设备建立语音通话连接，在家中其他区域的家庭成员不会受到打扰。若中央服务器判断某一边缘设备发送来的音频信息中包括智能家居控制指令，则根据指令内容向包含遥控器模块的对应设备发送操作指令，进而控制操作相应智能家居。

可选地，边缘设备中的运算组件向遥控器模块发送控制信号，遥控器模块通过红外、蓝牙、ZigBee或WiFi等方式向系统中的家电设备发送控制信号。

可选地，所述传感器模块可进行活体追踪并采集环境数据，包括温度、湿度、光线强度。

可选地，中央服务器协同边缘设备进行联邦学习，包括：

步骤1，各边缘设备中运算模块进行模型初始化，从中央服务器获取全局模型ω_t-1。

步骤2，各边缘设备训练本地数据得到本地模型，如第k个客户端训练本地数据得到本地模型ω_t，k，共有n个边缘设备。

步骤3，所有边缘设备上传本地模型ω_t，k，t∈1，2...n至中央服务器。

步骤4，中央服务器接收各边缘设备数据后进行加权聚合操作，得到新一代的全局模型ω_t。

其中ω_t，k表示第k个边缘设备的第t代本地模型，ω_t表示第t代的全局模型。

附图说明

图1是本基于边缘计算技术的智能家居系统的结构框架图

图2是本基于边缘计算技术的智能家居系统中边缘设备的结构框架图

图3是本基于边缘计算技术的智能家居系统中视频数据流的框架图

图4是本基于边缘计算技术的智能家居系统中音频数据流的框架图

图5是本基于边缘计算技术的智能家居系统中边缘设备与中央服务器进行联邦学习训练的步骤图

图6是本基于边缘计算技术的智能家居系统中居家视频监控系统运行的流程图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

为了解决现有技术问题，本实施例提供了一种基于边缘计算技术的智能家居系统。所述智能家居系统包括中央服务器和若干安装在不同位置的边缘设备。所述边缘设备包括运算组件和功能组件。功能组件包括以下一个或多个可选的功能模块：摄像头模块、麦克风模块、扬声器模块、遥控器模块、传感器模块、声光报警模块和其它物联模块。当硬件资源和安装条件允许时，各包含摄像头模块的边缘设备，其合计监控范围应覆盖全住宅。若因故无法实现全覆盖，亦可对住宅中关键区域局部覆盖，可能导致本智能家居系统中部分功能受限。

边缘设备中的功能组件采集音视频信息并发送给运算组件，运算组件调用本地机器学习算法提取音视频特征并识别将结果发送给中央服务器。中央服务器根据各边缘设备发来的信息进行分析处理并将控制信号下发给相应边缘设备，边缘设备中运算组件处理控制信号并发送至功能组件，并由功能组件执行相应操作，例如播放声音，建立语音通话，调用遥控器模块操作智能家电设备等。边缘设备训练本地机器学习模型并上传至中央服务器，中央服务器接收各边缘设备上传的本地模型后加权聚合，得到新一代全局模型并下发至各边缘设备。

具体的，各包含摄像头模块的边缘设备，其合计监控范围应覆盖全住宅。所述摄像头模块采集视频信息送至运算组件，运算组件将原始视频发送至中央服务器，存储于中央服务器的存储池中，供推送视频流时调用当出现需要向户主推送视频流的时候，则调用存储池内保存的相应边缘设备发来的相应位置和时间的视频片段，推送至户主手机。运算组件对视频信息中的关键兴趣区域进行提取，再调用本地机器学习算法对提取后的画面判别远距特征(包括身高、体型、步态、发型、衣着)和近距特征(包括面部细节)并确定画面中人员身份。所述边缘设备将识别结果发送至中央服务器。中央服务器根据边缘设备所在位置和人员在视频画面中方位，参照人员移动过程中在时间和空间上的连续性，结合多个边缘设备的识别结果，综合判断人员所处精确位置并存储于预先设置好的住宅地图中。如：家庭成员B从一楼前往二楼，那么安装在楼梯间的边缘设备一定会识别到这名家庭成员。因为从空间的连续性上来说，这名家庭成员无法不经过楼梯而从一楼到达二楼。再如：位于厨房的边缘设备识别到家庭成员C，那么位于卧室的边缘设备就不会识别到这名家庭成员。因为从时间的连续性上来说，这名家庭成员无法同时出现在上述两个地方。

具体的，所述提取关键兴趣区域包括分析视频中是否存在运动物体，若存在则针对该运动物体所在区域拍摄高清图像并裁剪至合适大小并缩放至合适比例。

具体的，中央服务器根据人员身份与出现位置判断是否满足预设预警场景中的陌生人闯入情况。如：中央服务器识别到不属于家庭成员的人员出现在卧室，显然是不应该发生的，因此符合陌生人闯入情况，应向户主推送警报信息和含有此人员在卧室情况的视频流。再如：门窗传感器检测到有开门开窗动作，且红外感应器探测到有人经过时的红外光谱变化，边缘设备对视频信息进行分析，中央服务器若判断为符合陌生人闯入条件，应向户主推送警报信息和含有此人员情况的视频流。

中央服务器根据姿态分析算法，判断家庭成员是否出现预设预警场景中的人员摔倒情况。如：中央服务器调用姿态分析算法识别到有家庭成员瘫坐在楼梯处，符合人员摔倒情况，应向户主推送警报信息和含有摔倒人员情况的视频流。

中央服务器结合人员身份与出现位置判断是否满足预设预警场景中幼儿进入危险区域情况。如：中央服务器识别到幼儿独自出现在厨房、车库、楼梯等危险区域，符合幼儿进入危险区域情况，应向户主推送警报信息和含有幼儿情况的视频流。

具体的，麦克风模块采集音频信息送至运算组件，运算组件调用本地机器学习算法，识别音频片段中的声音信息，对不同类别的声音分别进行分析，分离背景噪音、背景环境音、宠物叫声、人声等。针对背景噪音，边缘设备使用相应算法，消去背景噪音。针对背景环境音，如：风扇运作声，空调运作声等，边缘设备则将其作为当前边缘设备所处环境的一种状态记录。针对宠物叫声，边缘设备将其作为当前边缘设备所处环境的一种状态上传至中央服务器，如：位于卧室A的边缘设备检测到狗叫声时，将宠物犬在卧室A犬吠这一事件和当前时间发送至中央服务器。针对人声信息，边缘设备则调用语音识别算法，将人声信息转化为文字。所述边缘设备将音频分析结果与语音识别结果发送至中央服务器。

具体的，中央服务器根据所述音频分析结果与语音识别结果，判断声音是否符合预设预警场景中的婴儿啼哭或成员呻吟情况，当判断结果为是时，向户主推送警报以及音视频流；中央服务器判断语音识别结果是否为预设语音指令，若是，则依据指令内容执行相应操作。

具体的，所述预设语音指令包括：家庭成员呼叫指令，智能家居控制指令。

相应地，若中央服务器判断某一边缘设备(下称呼叫发起边缘设备)发送来的音频信息中包括家庭成员呼叫指令，则结合被呼叫家庭成员在住宅地图中的位置，向被呼叫家庭成员所处位置最近的边缘设备(下称被呼叫边缘设备)发送语音通话指令，此时呼叫发起边缘设备仅与被呼叫边缘设备建立语音通话连接，在家中其他区域的家庭成员不会受到打扰。如：中央服务器识别到位于客厅的边缘设备发来的语音识别结果包括家庭成员A呼叫家庭成员B，则中央服务器结合住宅地图中家庭成员B所在位置(如厨房)，向距离家庭成员B最近的边缘设备发送建立语音通话指令，厨房边缘设备的运算组件则控制功能组件中的扬声器模块播放客厅的边缘设备采集到的声音，控制麦克风模块采集厨房的声音并发送至中央服务器，中央服务器再控制客厅边缘设备播放厨房边缘设备采集到的声音。

若中央服务器判断某一边缘设备发送来的音频信息中包括智能家居控制指令，则根据指令内容向包含遥控器模块的对应设备发送操作指令，进而控制操作相应智能家居。如：中央服务器识别到位于卧室的边缘设备发来的语音识别结果包括打开空调指令，则发送控制指令给位于卧室的边缘设备，该边缘设备中的运算组件控制功能组件中的遥控器模块，向空调发送打开指令。

具体的，边缘设备中的运算组件向遥控器模块发送控制信号，遥控器模块通过红外、蓝牙、ZigBee或WiFi等方式向系统中的家电设备发送控制信号。所述传感器模块可进行活体追踪并采集环境数据，包括温度、湿度、光线强度。所述扬声器模块播放运算组件下发的音频信号。

具体的，中央服务器协同边缘设备进行联邦学习，其目的在于，优化边缘设备中各机器学习模型的性能，如：家庭成员A经常出现在客厅和卧室等地，但很少出现在厨房等地，那么客厅和卧室的边缘设备因为经常能采集到家庭成员A的视频/图片、声音等信息，对家庭成员A的识别准确率会更高，但是车库等处的边缘设备因为缺少训练集，对家庭成员A的识别准确率会不如客厅和卧室。为了避免这种情况的出现，本智能家居系统采用联邦学习模式，包括：

步骤1，各边缘设备中运算模块进行模型初始化，从中央服务器获取全局模型ω_t-1。

步骤2，各边缘设备训练本地数据得到本地模型，如第k个客户端训练本地数据得到本地模型ω_t，k，共有n个边缘设备。

步骤3，所有边缘设备上传本地模型ω_t，k，t∈1，2...n至中央服务器。

步骤4，中央服务器接收各边缘设备数据后进行加权聚合操作，得到新一代的全局模型ω_t。

其中ω_t，k表示第k个边缘设备的第t代本地模型，ω_t表示第t代的全局模型。

Claims (10)

1.一种基于边缘计算技术的智能家居系统，其特征在于，所述智能家居系统包括中央服务器和若干安装在不同位置的边缘设备；所述边缘设备包括运算组件和功能组件；所述功能组件包括以下一个或多个可选的功能模块：摄像头模块、麦克风模块、扬声器模块、遥控器模块、传感器模块、声光报警模块和其它物联模块；

边缘设备中的功能组件可采集信号并发送给运算组件，或根据运算组件控制命令发送信号；运算组件通过机器学习算法提取信号特征并将处理结果发送给中央服务器；中央服务器根据各边缘设备发来的信息分析处理并将控制信号下发给相应边缘设备，并由边缘设备中的运算组件对控制信号进行处理或转译，最终在功能组件上执行相应操作；边缘设备具有在本地训练机器学习模型的能力，并将本地模型参数上传至中央服务器；中央服务器对各边缘设备上传的本地模型进行聚合，并将更新后的全局模型下发至各边缘设备。

2.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，各包含摄像头模块的边缘设备，其合计监控范围应覆盖全住宅；所述摄像头模块采集视频信息送至运算组件，运算组件将原始视频发送至中央服务器，存储于中央服务器的存储池中，供推送视频流时调用；运算组件对视频信息中的关键兴趣区域进行提取，再调用本地机器学习算法对提取后的画面判别远距特征(包括身高、体型、步态、发型、衣着)和近距特征(包括面部细节)并确定画面中人员身份；所述边缘设备将识别结果发送至中央服务器；中央服务器根据边缘设备所在位置和人员在视频画面中方位，参照人员移动过程中在时间和空间上的连续性，结合多个边缘设备的识别结果，综合判断人员所处精确位置并存储于预先设置好的住宅地图中。

3.根据权利要求2所述的一种基于边缘计算技术的智能家居系统，其特征在于，所述提取关键兴趣区域包括分析视频中是否存在运动物体，若存在则针对该运动物体所在区域拍摄高清图像并裁剪至合适大小并缩放至合适比例。

4.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，中央服务器根据人员身份与出现位置判断是否满足预设预警场景中的陌生人闯入情况；中央服务器根据姿态分析算法，判断家庭成员是否出现预设预警场景中的人员摔倒情况；中央服务器结合人员身份与出现位置判断是否满足预设预警场景中幼儿进入危险区域情况，当以上任一判断结果为真时，向户主推送警报以及监控视频流。

5.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，麦克风模块采集音频信息送至运算组件，运算组件调用本地机器学习算法，识别音频片段中的声音信息，对不同类别的声音分别进行分析，分离背景噪音、背景环境音、宠物叫声、人声等；运算组件对人声信息调用语音识别算法，将人声信息转化为文字；所述边缘设备将音频分析结果与语音识别结果发送至中央服务器。

6.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，中央服务器根据所述音频分析结果与语音识别结果，判断声音是否符合预设预警场景中的婴儿啼哭或成员呻吟情况，当判断结果为是时，向户主推送警报以及音视频流；中央服务器判断语音识别结果是否为预设语音指令，若是，则依据指令内容执行相应操作。

7.根据权利要求7所述的一种基于边缘计算技术的智能家居系统，其特征在于，所述预设语音指令包括：家庭成员呼叫指令，智能家居控制指令；

相应地，若中央服务器判断某一边缘设备(下称呼叫发起边缘设备)发送来的音频信息中包括家庭成员呼叫指令，则结合被呼叫家庭成员在住宅地图中的位置，向被呼叫家庭成员所处位置最近的边缘设备(下称被呼叫边缘设备)发送语音通话指令，此时呼叫发起边缘设备仅与被呼叫边缘设备建立语音通话连接，在家中其他区域的家庭成员不会受到打扰；若中央服务器判断某一边缘设备发送来的音频信息中包括智能家居控制指令，则根据指令内容向包含遥控器模块的对应设备发送操作指令，进而控制操作相应智能家居。

8.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，边缘设备中的运算组件向遥控器模块发送控制信号，遥控器模块通过红外、蓝牙、ZigBee或WiFi等方式向系统中的家电设备发送控制信号。

9.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，所述传感器模块可进行活体追踪并采集环境数据，包括温度、湿度、光线强度。

10.根据权利要求1所述的一种基于边缘计算技术的智能家居系统，其特征在于，中央服务器协同边缘设备进行联邦学习，包括：

步骤1，各边缘设备中运算模块进行模型初始化，从中央服务器获取全局模型ω_t-1；

步骤2，各边缘设备训练本地数据得到本地模型，如第k个客户端训练本地数据得到本地模型ω_t，k，共有n个边缘设备；

步骤3，所有边缘设备上传本地模型ω_t，k，t∈1，2...n至中央服务器；

步骤4，中央服务器接收各边缘设备数据后进行加权聚合操作，得到新一代的全局模型ω_t；

其中ω_t，k表示第k个边缘设备的第t代本地模型，ω_t表示第t代的全局模型。

Images