CN110097039A - 一种基于深度学习图像识别的睡眠状态监测节能助老系统 - Google Patents

Abstract

本发明公开了一种基于深度学习图像识别的睡眠状态监测节能助老系统，本系统由前端设备、小型服务器、电源控制模块和后端设备组成，其能采集图像并通过网络将图像上传给小型服务器；小型服务器中的图像处理系统使用人眼状态识别检测技术和肢体识别检测技术对图像进行分析，当判断出老人已睡着后，向电源控制模块发送控制信号；电源控制模块中的蓝牙通讯装置接收小型服务器的控制信号并生成相应的红外控制信号，模块中的红外发送装置则控制电视音量、亮度及电源，达到节能的目的；小型服务器还定期向后端儿女手机发送报表，接受前端设备或后端设备的网络查询请求，达到助老的目的。

Description

一种基于深度学习图像识别的睡眠状态监测节能助老系统

技术领域

本发明涉及图像处理分析技术领域，特别是一种基于深度学习图像识别的睡眠状态监测系统。

背景技术

目前，人口老龄化已经成为我国一个极为严峻的社会问题，其成因有三：计划生育政策的实行使我国新生儿逐渐减少，社会经济的快速发展使老年人有着更好的养老条件，现代医学水平的进步使老年人的平均寿命有了很大的提高。而同时，儿女因工作繁忙无法经常回家，空巢老人独居现象普遍，若老人再不会使用智能手机的话，孤独感就会更加严重，亲情日益淡薄。而助老系统的应用，使儿女更能安心工作，减少意外事件发生。

老人经常看着电视就睡着了，家电全开直至第二天早上老人醒来；年轻人追剧熬夜，熬不住就睡了，家电长期运行不仅造成电能的浪费，还可能导致火灾等危险。很多人都知道该怎样才节电，但缺乏资源忧患意识和节约意识，像电视机长期待机，很多时候也就是一个“懒”字，嫌开来关去麻烦。若只是以每度电几角钱的物质价值来衡量资源的意义，建设资源节约型社会就只能是空话，这不仅只是各家各户的小钱，还要从国家形势、全球形势考虑。

随着社会经济的不断发展，我国消费类电子产品的销量增长迅速，大家都买得起；在全球网络时代的大趋势下，随着基础工业设施的不断完善，中高端材料技术的不断健全，智能手机商家为了吸引消费者，必须做出更好更优秀的手机，不断提升自己的竞争力，这就造成手机更新换代非常之快。大量手机状态良好却被遗弃，只有少部分被回收，大部分直接丢弃，并未得到有效处理。这些废旧手机及其电池和充电器中含有大量的有害物质，如铅，锌，聚氯乙烯及溴化物等，已成为一种重要的污染物，造成了严重的环境污染和资源浪费。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度学习图像识别的睡眠状态监测节能助老系统，解决不能长期陪伴老人导致用电安全的问题；本发明使用人眼状态识别检测技术和肢体识别检测技术对图像进行分析，能快速判断用户是否处于睡眠状态，并能对电视启闭进行远程控制，具有家电节能和帮助子女了解老人生活状态的优点。

本发明的目的是通过以下技术方案来实现的：

一种基于深度学习图像识别的睡眠状态监测节能助老系统，包括前端设备、小型服务器、电源控制模块和后端设备；前端设备通过网络与小型服务器相连，小型服务器通过网络分别与电源控制模块以及后端设备相连；后端设备还通过网络与前端设备相连；

所述前端设备用于采集电视前方的图像信息，并将采集的图像信息传送给小型服务器；所述前端设备还用于与后端设备实现远程视频通话；所述前端设备还用于查询小型服务器中存储的数据信息；

所述小型服务器用于接收及存储图像信息，并根据接收的图像信息进行图像识别和图像分析，判断图像中的老人是否处于睡眠状态；所述小型服务器还用于根据分析结果向电源控制模块发送控制信息；所述小型服务器还用于定期向后端设备发送报表，接受前端设备或后端设备的网络查询请求；

所述电源控制模块用于接受小型服务器的控制信号，并根据控制信号生成相应的红外控制信号，通过红外控制信号控制电视音量、亮度和电源启闭状态；所述电源控制模块还用于检测电视的启闭状态并向小型服务器发送电视的状态信息；

所述后端设备用于查询小型服务器反馈的老人睡眠状态信息，所述后端设备还用于与前端设备实时视频通话，所述后端设备还用于查询小型服务器的报表或历史信息。

进一步的，所述小型服务器包括STM32互联型微控制器；所述小型服务器内集成有图像处理系统，图像处理系统使用人眼状态识别检测方法和肢体识别检测方法对图像进行分析，通过光流法、角点追踪的卡尔曼滤波以及仿射变换的改进算法提高识别精度，当人眼识别或光流轮廓特征点检测以及肢体识别算法检测判断老人为睡眠状态时，小型服务器向电源控制模块发出信号。

进一步的，所述前端设备和所述后端设备均为手机。

进一步的，电源控制模块包括系统线性稳压电源、主控芯片、红外遥感控制装置、蓝牙模块和串口通讯模块；系统线性稳压电源分别为主控芯片、红外遥感控制装置和蓝牙模块提供电能，主控芯片的信号端分别与红外遥感控制装置、蓝牙模块以及串口通讯模块信号相连；所述系统线性稳压电源通过USB电源适配器输出稳压电源；红外遥感控制装置包括发射单元和接收单元，发射单元包括键盘矩阵电路、编码调制电路和LED红外发送器；接收单元包括光电转换放大器、解调电路和解码电路。

一种深度学习图像识别的睡眠状态监测方法，包括以下步骤：

S1、采集人体的图像信息，将采集到的图像信息上传到小型服务器，由小型服务器对图像信息进行识别和分析；

S2、小型服务器通过图像处理系统对图像信息进行分析和判断，所述图像处理系统对图像信息进行分析判断包括通过光流轮廓特征点和肢体像素点识别方法对人体运动进行检测，通过人眼识别检测方法对人脸信息进行判断，得到用户眼睛的睁闭状态；

S3、根据人体运动判断和人脸信息判断得到用户是否处于睡眠状态，并输出人体运动以及眼睛状态的检测数据。

进一步的，所述人眼识别检测方法，所述人眼识别检测方法通过检测眼睛的睁闭状态以及计算眨眼频率进行睡眠状态判断，具体包括：

S201、通过图像信息提取用户眼睛区域的特征，将人脸区域图像统一尺寸后输入到用于人眼关键点检测的卷积神经网络模型，获得左眼和右眼的中心点的横纵坐标值，根据眼睛中心点坐标值和12*6的宽高值确定眼睛所在的矩形区域，分别得到左眼和右眼的区域图像；

S202、利用卷积神经网络模型进行人眼关键点检测，将人脸图像统计成统一大小的灰度图像，通过Hough变换检测虹膜边缘，Hought变换轮流对图像中所有边缘点的拟合，然后在参数空间找最优边缘，Harris将图像中点分为角点、边缘和平地三种，角点是指在各个方向上衡量灰度变化剧烈程度的点，角点量越大，灰度变化也越剧烈；由此判断用户的眨眼频率；

S203、对虹膜图像进行霍夫圆画图操作，观察是1.5的反比能画霍夫圆还是2的反比的时候能换霍夫圆，检测等于0、等于1以及大于1时候画了几条霍夫圆，从而判断是睁眼状态、闭眼状态或眯眼状态。

进一步的，其还包括肢体像素点识别检测方法，所述方法具体包括：

肢体像素点识别方法用于将人体关节和肢体统一建模为人体的基本部件，再按姿态特征将部件的姿态空间划分为若干个类，每一类构成一个姿态单词，将关联的姿态单词组成姿态句子用于描述全身姿态；

比较前后两分钟内的姿态语句，若出现连续15条姿态语句相等的情况，则判定人已睡着，若不出现，则人未睡着。

进一步的，肢体像素点识别检测方法还包括：

利用激光散斑照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点，对散斑图案进行记录并标定，找出关键点，利用关键点的位置对所有相同类别的肢干进行平均，计算关键点连线上各像素点向量与连线向量的点积的积分；

在多个关键点和像素点之间设定一个趋近于标准的阈值范围，利用云计算和大数据的超强数据收集计算的优点，判断采集点的所在区域，判断人眼睁闭状态。

进一步的，还包括光流法人体轮廓特征点检测方法，具体包括：

S901、设定光流方程为：

I(x,y,t)＝I(x+dx,y+dy,t+dt)；

令则：

I_xu+I_yv+I_t＝0；

其中，I为光流强度，u为目标在x方向的运动速度，v为目标在y方向的移动速度，Ix为光流强度在x方向的变化，Iy为表示光流强度在y方向的变化，It为表示光流强度在时间上的变化；

S902、计算高斯金字塔最顶层图像的光流，然后根据最顶层图像的光流来估计次顶层光流的初始值，再在次顶层图像上计算精确的光流，然后重复此过程，直至计算出最底层图像的精确光流。然后在前后两帧的本层图像添加额外的像素边界，添加额外的像素边界是为防止当跟踪的光流点在图像的边缘时，在计算其邻域的的光流时可能会超出边界，这样将其真实的边界添加到图像周围后，使的边界点的光流也是可以计算的；

其中，μ为均值，δ为方差。

定义光流为：

这是，我们可以把邻域内像素点的匹配误差和记为：

其中，A和B为坐标处的灰度值；

S903、对每层图像的光流计算就是利用最小二乘法，求邻域内匹配误差和的导数，其最优解即为导数为零时，达到匹配误差和最小，此时两帧对应点之间的相似度最高，再用泰勒公式展开即可得到：

则光流的最优解即为

S904、人体轮廓区的特征点的光流运动进而判断检测对象如何运动，如：

根据上述公式即可描述检测对象的运动状态。

本发明的有益效果是：

本发明能通过二手手机、小型服务器、电源控制模块组建一个系统，其成本低廉，系统安装简单，对技术要求低；能使用人眼状态识别检测技术和肢体识别检测技术对图像进行分析，能快速判断用户是否处于睡眠状态，并能对电视启闭进行远程控制，具有家电节能和帮助子女了解老人生活状态的优点。

附图说明

图1为本发明的系统结构示意图；

图2为本发明的睡眠状态监测方法流程图；

图3为本发明人眼睁闭图像检测效果图；

图4为本发明肢体像素点积分图像检测效果图；

图5为本发明小型服务器的电路原理图；

图6为本发明系统线性稳压电源的电路结构图；

图7为本发明红外遥感控制装置的电路图；

图8为本发明蓝牙传输模块的电路图；

图中，10-前端设备，11-小型服务器，12-后端设备，13-电源控制模块，14-电视。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例1：

本实施例公开一种基于深度学习图像识别的睡眠状态监测系统，请参阅附图1所示，包括前端设备10、小型服务器11、电源控制模块13和后端设备12；前端设备10通过网络与小型服务器11相连，小型服务器11通过网络分别与电源控制模块13以及后端设备12相连；后端设备12还通过网络与前端设备10相连；

所述前端设备10用于采集电视14前方的图像信息，并将采集的图像信息传送给小型服务器11；所述前端设备10还用于与后端设备12实现远程视频通话；所述前端设备10还用于查询小型服务器11中存储的数据信息；

所述小型服务器11用于接收及存储图像信息，并根据接收的图像信息进行图像识别和图像分析，判断图像中的老人是否处于睡眠状态；所述小型服务器11还用于根据分析结果向电源控制模块13发送控制信息；所述小型服务器11还用于定期向后端设备12发送报表，接受前端设备10或后端设备12的网络查询请求；

所述电源控制模块13用于接受小型服务器11的控制信号，并根据控制信号生成相应的红外控制信号，通过红外控制信号控制电视音量、亮度和电源启闭状态；所述电源控制模块13还用于检测电视的启闭状态并向小型服务器11发送电视的状态信息；

所述后端设备10用于查询小型服务器11反馈的老人睡眠状态信息，所述后端设备12还用于与前端设备10实时视频通话，所述后端设备12还用于查询小型服务器11的报表或历史信息。

进一步的，所述小型服务器11包括STM32互联型微控制器；所述小型服务器11内集成有图像处理系统，图像处理系统使用人眼状态识别检测方法和肢体识别检测方法对图像进行分析，通过光流法、角点追踪的卡尔曼滤波以及仿射变换的改进算法提高识别精度，当人眼识别或光流轮廓特征点检测以及肢体识别算法检测判断老人为睡眠状态时，小型服务器11向电源控制模块13发出信号。

进一步的，所述前端设备10和所述后端设备均为手机，且可采用二手手机进行组网，这样既实现了废品利用，又能节约成本。

进一步的，电源控制模块13包括系统线性稳压电源、主控芯片、红外遥感控制装置、蓝牙模块和串口通讯模块；系统线性稳压电源分别为主控芯片、红外遥感控制装置和蓝牙模块提供电能，主控芯片的信号端分别与红外遥感控制装置、蓝牙模块以及串口通讯模块信号相连；所述系统线性稳压电源通过USB电源适配器输出稳压电源；红外遥感控制装置包括发射单元和接收单元，发射单元包括键盘矩阵电路、编码调制电路和LED红外发送器；接收单元包括光电转换放大器、解调电路和解码电路。

本实施例的小型服务器11采用STM32F103RCT6芯片，请参阅附图5所示，能实现接收及存储图像信息，同时内集成有图像处理系统，图像处理系统使用人眼状态识别检测技术和肢体识别检测技术对图像进行分析，使用基于光流法和角点跟踪的卡尔曼滤波与仿射变换的改进算法来提高识别精度，当人眼识别或光流轮廓特征点检测以及肢体识别算法检测老人为睡眠状态时，小型服务器向电源控制模块发出信号，同时还具有定期向后端设备发送报告的功能和随时接受前、后端设备网络查询请求的功能。

本实施例的电源控制模块13接收小型服务器11的控制信号，生成相应的红外控制信号，红外发送装置控制电视音量、亮度及电源，延时期间调小声音、调暗画面，若检测结果持续为睡眠状态，则服务器发出关断信号，切断电视机等家电的电源，同时，红外装置检测电视开关状态，并通过蓝牙通讯装置向小型服务器发送电视机的状态信息。

系统线性稳压电源，请参阅附图6所示，供电电源输入5V，通过USB电源适配器，输出系统电源3.3V稳压电源，利用滤波电路去纹波毛刺。

请参阅附图7所示，红外遥控系统由发射单元和接收单元组成，应用编/解码专用集成电路芯片来进行控制操作，发射单元包括键盘矩阵电路、编码调制电路和LED红外发送器；接收单元包括光电转换放大器、解调电路和解码电路，其过程为：蓝牙发送指令、编码电信号、启动红外二极管和发射红外电信号，电视机接收头接收红外电信号、解码电信号、CPU得到指令，最终实现功能。

蓝牙HC05是主从一体的蓝牙串口模块，请参阅附图8所示，简单的说，当蓝牙设备与蓝牙设备配对连接成功后，我们可以忽视蓝牙内部的通信协议，直接将将蓝牙当做串口用。当建立连接，两设备共同使用一通道也就是同一个串口，一个设备发送数据到通道中，另外一个设备便可以接收通道中的数据。

实施例2：

本实施例在实施例1的基础上，提供一种深度学习图像识别的睡眠状态监测方法，请参阅附图2所示，具体包括：

S1、采集人体的图像信息，将采集到的图像信息上传到小型服务器，由小型服务器对图像信息进行识别和分析；

S2、小型服务器通过图像处理系统对图像信息进行分析和判断，所述图像处理系统对图像信息进行分析判断包括通过光流轮廓特征点和肢体像素点识别方法对人体运动进行检测，通过人眼识别检测方法对人脸信息进行判断，得到用户眼睛的睁闭状态；

S3、根据人体运动判断和人脸信息判断得到用户是否处于睡眠状态，并输出人体运动以及眼睛状态的检测数据。

在本实施例的监测方法中，还包括人眼识别检测方法，所述人眼识别检测方法通过检测眼睛的睁闭状态以及计算眨眼频率进行睡眠状态判断，眼睛的睁闭状态还与人的表情紧密相关，对人眼的状态检测能够辅助表情识别等相关工作。人眼识别检测方法能对眼睛的睁闭状态进行判断，而且准确率较高，对光照变化，场景变化和脸部转动、倾斜等姿态变化有较强的捕捉性，运行速率快，能够满足实际应用的实时性要求，且硬件要求低，以克服现有技术的不足。基于模式分类的检测算法主要是提取眼睛区域的特征，比如LBP特征、Gabor小波等特征，并借助SVM、Adaboost等分类器判断眼睛区域图像是睁眼图像，眯眼图像，还是闭眼。

对虹膜图像进行霍夫圆画图操作，观察是1.5的反比能画霍夫圆还是2的反比的时候能画霍夫圆，检测等于0等于1或者大于1判断画了几条霍夫圆，从而判断大致是睁眼，闭眼，还是眯眼；

经过Gabor滤波的图像，要比原始的灰度图像更有利于进行图像识别针对采集的图像的大小以及人眼图像的纹理特点，经反复实验选参数，然后用Gabor滤波器与原始图像进行卷积计算；

通过手机摄像头，收集图像信息，对输入图像进行人脸检测，检测到人脸后，记录下当前人脸区域，得到人脸区域图像，如果当前输入图像没有检测到人脸，则结束对当前输入图像的处理，继续对下一帧输入图像进行人脸检测；将人脸区域图像统一尺寸后输入到用于人眼关键点检测的卷积神经网络模型，获得左眼和右眼的中心点的横纵坐标值，根据眼睛中心点坐标值和12*6的宽高值确定眼睛所在的矩形区域，分别得到左眼和右眼的区域图像，分别将左眼和右眼图像统一尺寸后输入到用于眼睛睁闭状态分类的卷积神经网络模型，得到双眼的睁闭状态结果。中所述的利用卷积神经网络模型进行人眼关键点检测，将人脸图像统计成统一大小的灰度图像。通过Hough变换检测虹膜边缘，Hought变换轮流对图像中所有边缘点的拟合，然后在参数空间找最优边缘。Harris将图像中点分为角点，边缘和平地三种，角点是指在各个方向上衡量灰度变化剧烈程度的点，角点量越大，灰度变化也越剧烈。前期采用python采集角点数据，图像处理利用C++算法计算，保证算法运算速度的同时，提高鲁棒性。实验整体程序采用Opencv编写。

本实施例还包括肢体像素点识别检测方法，具体包括：

将人体关节和肢体统一建模为人体的基本部件。再按姿态特征将部件的姿态空间划分为若干个类，每一类构成一个姿态单词，将关联的姿态单词组成姿态句子用于描述全身姿态。每分钟获取一次图像。将人体关节和肢体统一建模为人体的基本部件。再按姿态特征如基本部件的相对位置、面积大小，角度等进行排列，组成姿态语句以描述全身姿态。处理器比较前后两分钟内的姿态语句。若出现连续15条姿态语句相等的情况，则判定人已睡着。若不出现，则人未睡着。其使用的是一种光编码技术。不同于传统的TOF或者结构光测量技术，Light coding使用的是连续的照而非脉冲，也无需特制的感光芯片，而只需要普通的CMOS感光芯片，让方案的成本大大降低。

Light coding还是结构光技术；但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的体编码。这种光源叫做激光散斑，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。

这些散斑具有高度的随机性，而且会随着距离的不同变换图案。即空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以需预先进行一次光源的标定。

找出关键点，利用关键点的位置对所有相同类别的肢干进行平均。计算关键点连线上各像素点向量与连线向量的点积的积分

p(u)＝(1-u)d_j1+ud_j2

在多个关键点和像素点之间设定一个趋近于标准的阈值范围，利用云计算和大数据的超强数据收集计算的优点，判断采集点的所在区域，判断人眼睁闭状态。

本实施例还包括光流法人体轮廓特征点检测，具体包括：

光流法有两个基本的假设：一是目标物体的亮度恒定不变，二是目标物体运动必须是连续的或者物体的运动是小运动。这两个条件都是为了保证光流方程的成立，光流方程如下：

I_xu+I_yv+I_t＝0；

其中，I为光流强度，u为目标在x方向的运动速度，v为目标在y方向的移动速度，Ix为光流强度在x方向的变化，Iy为表示光流强度在y方向的变化，It为表示光流强度在时间上的变化。

其中(u,v)就是要求的光流场，但在此方程中存在两个未知数，所以并无法求解，在L-K(Lucas-Kanade)光流中，通过添加一个额外条件即所跟踪的点的邻域内光流一致。

在L-K光流中，要求必须小运动，但在实际中物体的快速运动是很正常的，此时采取的是高斯金字塔方法来解决此问题，具体来说，首先对前后两帧的图像的尺寸大小进行调整，保证每层得到的尺寸大小都是整数由于每一层都是前一层尺寸的一半，所以需要在正是处理前对图像进行处理已调整到合适的大小。然后对原始图像进行金字塔分解，越往金字塔上层图像的分辨率越低，越往下分辨率越高，原始图像在最底层。在使用高斯函数如下所示：

其中，μ为均值，δ为方差。

通过高斯函数进行抽样之前需要先进行平滑滤波。首先，计算高斯金字塔最顶层图像的光流，然后根据最顶层图像的光流来估计次顶层光流的初始值，再在次顶层图像上计算精确的光流，然后重复此过程，直至计算出最底层图像的精确光流。然后在前后两帧的本层图像添加额外的像素边界，添加额外的像素边界是为防止当跟踪的光流点在图像的边缘时，在计算其邻域的的光流时可能会超出边界，这样将其真实的边界添加到图像周围后，使的边界点的光流也是可以计算的。

定义光流为：

这是，我们可以把邻域内像素点的匹配误差和记为：

其中，A和B为坐标处的灰度值。

对每层图像的光流计算就是利用最小二乘法，求邻域内匹配误差和的导数，其最优解即为导数为零时，达到匹配误差和最小，此时两帧对应点之间的相似度最高。再用泰勒公式展开即可得到公式，如下所示：

则光流的最优解即为在计算中，每次计算出的残差光流可递推下一次迭代的光流估计值。迭代过程将一直进行，直到计算出残差光流小于给定或者达到了最大的迭代次数，假设M次达到收敛则本层图像的最终残差光流向量是本层所有迭代得到残差光流向量之和。在跟踪中如果特征点已超出图像，则必然会跟丢。再就是如果计算出的最小误差和大于给定的阈值即使跟踪到了也不能说匹配的两帧之间匹配的点都是正确的匹配。所以会用随机采样一致性(RANSAC)算法来剔除一些错误值。

在人体运动检测中，检测人体轮廓区的特征点的光流运动进而判断检测对象如何运动。可用下述公式来表示：

根据上述公式即可描述检测对象的运动状态。

通过人眼睁闭图像检测算法识别，请参阅附图3所示，先进行人脸检测，再进行人眼识别检测，最后进行瞳孔识别检测。通过图像上观察所呈现的白点多少识别睡眠状态。通过肢体像素点积分图像和人体光流法轮廓特征点检测识别，请参阅附图4所示，通过像素点积分联线算法原理，进行云计算，图像处理器检测判断，通过肢体中的特征点移动，呈现出人的动作，判断是否入睡。

实施例3：

本实施例在实施例1和实施例2的基础上，还包括登录管理的方法，具体包括：

用户在进入主界面进行操作之前，需要进行身份验证，登录系统后才可以进行操作。该登录界面计划为Gridlayout布局，追求简单UI的设计，在运行后将自动弹出登录系统的界面，输入正确账号和对应密码即可，如果没有账号，可在屏幕下方点击注册按钮进行注册。该登录功能实现的依托是后台所拥有的SQlite便携性数据库。

输入正确账号和密码后，用户便可以进入主界面，主界面中是不同的以天为单位的选项，对监护情况进行了分类，用户可以根据自己意愿选择每天的监护报告，其种界面简洁主要用relative layout布局，将选择按钮设置为图片按钮，在指定xml文件中确定其背景，可以通过用户喜好自定义设置。用户选中相应选项进入到下一个界面，此界面由各评估目项组成，先是由柱形图显示一周来睡眠质量的变化情况，确定睡眠平均值等一系列数据，并以参考地区平均值为比较对象，在下方演示入睡时间，睡眠时间，醒来时间，打鼾情况，并进行图像分析，这几种分析对象，分析标准计划用recyclerview形成瀑布流形式，以求得形式上美观整洁。

本发明能通过二手手机、小型服务器、电源控制模块组建一个系统，其成本低廉，系统安装简单，对技术要求低；能使用人眼状态识别检测技术和肢体识别检测技术对图像进行分析，能快速判断用户是否处于睡眠状态，并能对电视启闭进行远程控制，具有家电节能和帮助子女了解老人生活状态的优点。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于深度学习图像识别的睡眠状态监测节能助老系统，其特征在于，包括前端设备、小型服务器、电源控制模块和后端设备；前端设备通过网络与小型服务器相连，小型服务器通过网络分别与电源控制模块以及后端设备相连；后端设备还通过网络与前端设备相连；

所述前端设备用于采集电视前方的图像信息，并将采集的图像信息传送给小型服务器；所述前端设备还用于与后端设备实现远程视频通话；所述前端设备还用于查询小型服务器中存储的数据信息；

所述小型服务器用于接收及存储图像信息，并根据接收的图像信息进行图像识别和图像分析，判断图像中的老人是否处于睡眠状态；所述小型服务器还用于根据分析结果向电源控制模块发送控制信息；所述小型服务器还用于定期向后端设备发送报表，接受前端设备或后端设备的网络查询请求；

所述电源控制模块用于接受小型服务器的控制信号，并根据控制信号生成相应的红外控制信号，通过红外控制信号控制电视音量、亮度和电源启闭状态；所述电源控制模块还用于检测电视的启闭状态并向小型服务器发送电视的状态信息；

所述后端设备用于查询小型服务器反馈的老人睡眠状态信息，所述后端设备还用于与前端设备实时视频通话，所述后端设备还用于查询小型服务器的报表或历史信息。

2.根据权利要求1所述一种基于深度学习图像识别的睡眠状态监测节能助老系统，其特征在于，所述小型服务器包括STM32互联型微控制器；所述小型服务器内集成有图像处理系统，图像处理系统使用人眼状态识别检测方法和肢体识别检测方法对图像进行分析，通过光流法、角点追踪的卡尔曼滤波以及仿射变换的改进算法提高识别精度，当人眼识别或光流轮廓特征点检测以及肢体识别算法检测判断老人为睡眠状态时，小型服务器向电源控制模块发出信号。

3.根据权利要求1所述一种基于深度学习图像识别的睡眠状态监测节能助老系统，其特征在于，所述前端设备和所述后端设备均为手机。

4.根据权利要求1所述一种基于深度学习图像识别的睡眠状态监测节能助老系统，其特征在于，电源控制模块包括系统线性稳压电源、主控芯片、红外遥感控制装置、蓝牙模块和串口通讯模块；系统线性稳压电源分别为主控芯片、红外遥感控制装置和蓝牙模块提供电能，主控芯片的信号端分别与红外遥感控制装置、蓝牙模块以及串口通讯模块信号相连；所述系统线性稳压电源通过USB电源适配器输出稳压电源；红外遥感控制装置包括发射单元和接收单元，发射单元包括键盘矩阵电路、编码调制电路和LED红外发送器；接收单元包括光电转换放大器、解调电路和解码电路。

5.一种基于权利要求1的深度学习图像识别的睡眠状态监测方法，其特征在于，包括以下步骤：

S1、采集人体的图像信息，将采集到的图像信息上传到小型服务器，由小型服务器对图像信息进行识别和分析；

S2、小型服务器通过图像处理系统对图像信息进行分析和判断，所述图像处理系统对图像信息进行分析判断包括通过光流轮廓特征点和肢体像素点识别方法对人体运动进行检测，通过人眼识别检测方法对人脸信息进行判断，得到用户眼睛的睁闭状态；

S3、根据人体运动判断和人脸信息判断得到用户是否处于睡眠状态，并输出人体运动以及眼睛状态的检测数据。

6.根据权利要求5所述深度学习图像识别的睡眠状态监测方法，其特征在于，所述人眼识别检测方法，所述人眼识别检测方法通过检测眼睛的睁闭状态以及计算眨眼频率进行睡眠状态判断，具体包括：

S201、通过图像信息提取用户眼睛区域的特征，将人脸区域图像统一尺寸后输入到用于人眼关键点检测的卷积神经网络模型，获得左眼和右眼的中心点的横纵坐标值，根据眼睛中心点坐标值和12*6的宽高值确定眼睛所在的矩形区域，分别得到左眼和右眼的区域图像；

S202、利用卷积神经网络模型进行人眼关键点检测，将人脸图像统计成统一大小的灰度图像，通过Hough变换检测虹膜边缘，Hought变换轮流对图像中所有边缘点的拟合，然后在参数空间找最优边缘，Harris将图像中点分为角点、边缘和平地三种，角点是指在各个方向上衡量灰度变化剧烈程度的点，角点量越大，灰度变化也越剧烈；由此判断用户的眨眼频率；

S203、对虹膜图像进行霍夫圆画图操作，观察是1.5的反比能画霍夫圆还是2的反比的时候能换霍夫圆，检测等于0、等于1以及大于1时候画了几条霍夫圆，从而判断是睁眼状态、闭眼状态或眯眼状态。

7.根据权利要求5所述深度学习图像识别的睡眠状态监测方法，其特征在于，其还包括肢体像素点识别检测方法，所述方法具体包括：

肢体像素点识别方法用于将人体关节和肢体统一建模为人体的基本部件，再按姿态特征将部件的姿态空间划分为若干个类，每一类构成一个姿态单词，将关联的姿态单词组成姿态句子用于描述全身姿态；

比较前后两分钟内的姿态语句，若出现连续15条姿态语句相等的情况，则判定人已睡着，若不出现，则人未睡着。

8.根据权利要求7所述深度学习图像识别的睡眠状态监测方法，其特征在于，肢体像素点识别检测方法还包括：

利用激光散斑照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点，对散斑图案进行记录并标定，找出关键点，利用关键点的位置对所有相同类别的肢干进行平均，计算关键点连线上各像素点向量与连线向量的点积的积分；

在多个关键点和像素点之间设定一个趋近于标准的阈值范围，利用云计算和大数据的超强数据收集计算的优点，判断采集点的所在区域，判断人眼睁闭状态。

9.根据权利要求5所述深度学习图像识别的睡眠状态监测方法，其特征在于，还包括光流法人体轮廓特征点检测方法，具体包括：

S901、设定光流方程为：

I(x,y,t)＝I(x+dx,y+dy,t+dt)；

令则：

I_xu+I_yv+I_t＝0；

其中，I为光流强度，u为目标在x方向的运动速度，v为目标在y方向的移动速度，Ix为光流强度在x方向的变化，Iy为表示光流强度在y方向的变化，It为表示光流强度在时间上的变化；

S902、计算高斯金字塔最顶层图像的光流，然后根据最顶层图像的光流来估计次顶层光流的初始值，再在次顶层图像上计算精确的光流，然后重复此过程，直至计算出最底层图像的精确光流。然后在前后两帧的本层图像添加额外的像素边界，添加额外的像素边界是为防止当跟踪的光流点在图像的边缘时，在计算其邻域的的光流时可能会超出边界，这样将其真实的边界添加到图像周围后，使的边界点的光流也是可以计算的；

其中，μ为均值，δ为方差。

定义光流为：

这是，我们可以把邻域内像素点的匹配误差和记为：

其中，A和B为坐标处的灰度值；

S903、对每层图像的光流计算就是利用最小二乘法，求邻域内匹配误差和的导数，其最优解即为导数为零时，达到匹配误差和最小，此时两帧对应点之间的相似度最高，再用泰勒公式展开即可得到：

则光流的最优解即为

S904、人体轮廓区的特征点的光流运动进而判断检测对象如何运动，如：

根据上述公式即可描述检测对象的运动状态。