CN109684972A - 一种无人智能监护系统 - Google Patents

Abstract

本发明公开了一种无人智能监护系统。包括：智能监护小车：用于实时追踪目标，采集视频数据流，将视频数据流上传至云端服务器；云端服务器：利用深度学习技术训练好模型对视频数据流进行分析处理，并将分析处理结果反馈给智能监护小车和移动客户端；移动客户端：用于完成用户管理、视频数据实时浏览、远程控制、异常报警提示及异常报警历史可视化。本发明能够避免空巢老人在家发生猝死却无人知晓的情况，使用方便，准确性和实效性强。

Description

一种无人智能监护系统

技术领域

本发明涉及一种监护系统，特别是一种无人智能监护系统。

背景技术

由于我国人口基数大，加上20多年改革开放，人民生活水平日益提高，医疗卫生条件得到明显改善，人口预期寿命日益延长，老年人口逐年增加，到目前已接近1.41亿，我国成为全世界老年人口最多的国家，占世界老年人总数的1/5，占亚洲老年人口的1/2。2004年，中国的老年人口仅占总人口的11％。但到2014年，中国老年人总数将达到4.11亿，占到总人口的29％，它将超过法国、德国、意大利、日本和英国目前的人口总和。近十年来65岁以上人口逐年增加，解决好我国老年人口问题，对亚洲和世界都具有举足轻重的作用。随着中国跑步进入老龄化社会，60岁以上的老人数量快速增多，独居、孤寡的“空巢老人”也正在以前所未有的速度增长。

空巢老人由于子女不在身边，基本生活和基本医疗缺乏保障，疾病、伤残、照料问题突出。在我们国家时常会出现老人在家里突发疾病猝死却无人知晓的情况，消息显示在我国的济南两个月就发生八起空巢老人在家里发生意外，因为没有得到及时的救治，致使死亡的事件。可想而知每年全国会发生多少起这样的案列，所以空巢老人在家的安全监督是一项极为重要的任务。

目前市场上有很多针对老人的智能家居，包括一些智能手表、智能电视、智能坐椅等等来缓解老人生活上的孤独与对于家居舒适度的需求，但是在面对老人在家中猝死这样的情况真正需要一款智能监护的电子产品来实时向子女报告老人的活动情况，时刻跟随老人，当老人遇到跌倒、突发疾病等危急情况时能及时的通知子女和救护中心，避免发生老人出现意外几天后才知晓的情况。在空巢老人不断增加的背景下，如何对这些老年人进行智能家庭监护的问题也将日趋突出，并可能演化成社会性的难题。

发明内容

本发明的目的在于，提供一种无人智能监护系统。本发明能够避免空巢老人在家发生猝死却无人知晓的情况，使用方便，准确性和实效性强。

本发明的技术方案：一种无人智能监护系统，包括：

智能监护小车：用于实时追踪目标，采集视频数据流，将视频数据流上传至云端服务器；

云端服务器：利用深度学习技术训练好模型对视频数据流进行分析处理，并将分析处理结果反馈给智能监护小车和移动客户端；

移动客户端：用于完成用户管理、视频数据实时浏览、远程控制、异常报警提示及异常报警历史可视化。

前述的无人智能监护系统中，所述的智能监护小车包括用作核心控制单元的主控板及与主控板连接的外设模块；

所述的外设模块包括：

供电模块，用于提供系统工作所需的5V供电，并保持电压稳定；

电机驱动模块，用于驱动直流电机控制智能监护小车运动；

舵机驱动模块，用于驱动直流舵机调整采集视频数据流的视频驱动模块方向角度变化；

视频驱动模块，用于采集视频数据流；

网络连接模块，用于传输视频数据流及接收来自云端服务器的分析处理结果及控制命令。

前述的无人智能监护系统中，所述的外设模块还包括用于障碍物具体位置识别与壁障的超声驱动波模块。

前述的无人智能监护系统中，所述的分析处理包括人体体态分析和人脸识别；所述的人体体态分析是识别目标的走、坐和跌倒三个姿态；根据识别的“走”的姿态来控制智能监护小车跟随目标走动；

走动时，利用目标检测框的面积来控制智能监护小车与目标间的距离，同时利用目标检测框的中心点变化来判定目标所在监护画面的方位；

所述的人脸识别包括人脸检测和人脸表情识别；所述的人脸检测采用基于caffe的mtcnn算法实现，所述mtcnn算法的级联网络结包括P-Net、R-Net和O-Net三个子网络；所述的P-Net用于生成候选框，R-Net用于去除非人脸框，O-Net与R-Net的差异在于增加了关键点位置的回归、输入大小调整为48*48、输出包含P个候选框的4个坐标信息、score和关键点信息；所述的mtcnn算法的训练数据来源于wider公开数据库，根据参与任务的差异，将训练数据分为人脸正样本、非人脸负样本、包含部分人脸的样本、标注关键点的人脸样本四类；所述的人脸正样本和非人脸负样本参与到分类任务，人脸正样本和包含部分人脸的样本参与到回归任务，标注关键点的人脸样本参与到关键点回归任务；关键点回归任务仅在O-Net中实用，此时标注关键点的人脸样本包含关键点的人脸框位置由P-Net和R-Net的模型检测得到，或是由关键点的坐标位置拟合出来；在每个训练批次中，人脸正样本∶非人脸负样本∶包含部分人脸的样本∶标注关键点的人脸样本＝1∶3∶1∶2；

所述的人脸表情识别用于实现痛苦与不痛苦表情识别的二分类；训练采用fer2013图像数据集整合后与人脸表情数据合集；通过DeepID2学习人脸表情特征的网络结构图，通过设置初始的学习率、gamma，采用multistep策略逐步减小学习率，每个stepvalue的学习率减小为:当前学习率*gamma。

有益效果

与现有技术相比，本发明的无人智能监护系统采用智能监护小车移动监控与移动客户端远程控制相结合，实现360度无盲区监护，让工作在外的子女随时掌握加重老人情况，避免老人跌倒无人知晓的情况发生。除此外，本发明还结合人脸检测、人脸痛苦表情识别技术检测突发疾病的情况，避免空巢老人在家发生猝死却无人知晓的情况。同时，利用目标检测以及人体体态分析完成人的跌倒、坐、站等体态的识别，根据姿态信息调整智能监护小车跟随目标(老人)走动，利用目标检测框的面积来控制智能监护小车与目标间的距离，利用目标检测框的中心点变化来判定目标所在监护画面的方位；该方法有效提高了追踪的准确性及实效性，同时避免了在家每个房间安置摄像头带来的高额费用和穿戴式监护设备给老人带来的不便，旨在让老人的活动更随心。

附图说明

图1是本发明的整体框图；

图2是智能监护小车的整体框图

图3是云端服务器搭载的人脸检测mtcnn算法框架图；

图4是云端服务器搭载的人脸表情识别的特征学习网络结构图；

图5是嵌入式端软件设计流程图；

图6是云端服务器软件设计流程图；

图7是移动客户端软件设计流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例1。一种无人智能监护系统(参见图1),包括：

智能监护小车：用于实时追踪目标，采集视频数据流，将视频数据流上传至云端服务器；

云端服务器：利用深度学习技术训练好模型对视频数据流进行分析处理，并将分析处理结果反馈给智能监护小车和移动客户端；检测出现在视频流中的被监护老人后，根据识别到的老人运行体态特征，服务器通过socket通信，利用移动互联网向智能监护小车发送相应的运动控制命令，小车接收命令后做相应的运动调整，确保被监护老人实时出现在监控视频范围内。如果云端服务器的深度学习模型分析处理发现被监护老人跌倒、面部表情痛苦及较长时间消失在智能监护小车前端监控摄像头监控范围内时，服务器立即启动报警预案，同时将相应的报警信息通过socket通信，利用移动互联网推送到移动客户端(手机App)。手机app收到报警信息后，就会出现震动、铃声等报警提示，如果收到的报警信息是被监护老人消失在监控范围内，则可以远程通过手机app发送智能监护小车运动控制命令及摄像头调整控制命令，相关命令通过socket通信利用移动互联网传输到远程云端服务器，再通过云端服务器转发给智能监护小车，从而控制智能监护小车的运动转向以及控制视频驱动模块的车载摄像头上下左右移动，确保360度无盲区监控。

移动客户端：用于完成用户管理、视频数据实时浏览、远程控制、异常报警提示及异常报警历史可视化。

前述的智能监护小车(参见图2)包括用作核心控制单元的主控板及与主控板连接的外设模块；所述的主控板是基于树莓派(Raspberry Pi)的高性能、小体积的主控板。

所述的外设模块包括：

供电模块，用于提供系统工作所需的5V供电，并保持电压稳定；

电机驱动模块，用于驱动直流电机控制智能监护小车运动；

舵机驱动模块，用于驱动直流舵机调整采集视频数据流的视频驱动模块方向角度变化；

视频驱动模块，用于采集视频数据流；

网络连接模块，用于传输视频数据流及接收来自云端服务器的分析处理结果及控制命令。网络连接模块可采用WIFI控制模块、3G或4G模块。

具体地，智能监护小车可以对被监护老人(目标)进行实时追踪，当老人移动时，小车也会自动根据系统设置的人车之间的距离阈值进行相应运动调整，确保被监护老人实时在监控摄像头范围内；在运动时可以精确定位到前方障碍物与自身的距离，从而智能调整运动轨迹，避开障碍物前行；智能监护小车还可接收到的调整摄像头命令情况，对摄像头的角度方位进行智能调整。

云端服务器对出现在监控视频中的被监护老人的行走、跌倒、坐下等日常体态进行识别；对出现在监控视频中(视频数据流)的被监护老人的人脸表情进行识别，准确辨别老人脸部表情的变化情况，区分其是否痛苦；如果监护到老人跌倒、面部表情痛苦及较长时间消失在智能监护小车的监控范围内时，服务器立即启动报警预案，同时将相应的报警信息通过移动互联网推送到移动客户端；对多个智能监护小车与移动客户端的接入进行管理，识别不同的接入，准确进行控制信息转发。同时也可以远程对不同的移动客户端进行添加删除等管理。

移动客户端可以完成用户的注册、登录，并对相关用户信息进行维护管理；还能实现对智能监护小车监控的视频数据流进行实时浏览。此外，移动客户端能够远程控制智能监护小车前进、后退、左转、右转、停止等运动情况，同时也可以远程控制视频驱动模块上下左右角度方位移动。不仅如此，移动客户端能够随时接收服务端发送来的相关异常报警信息，并通过震动或者铃声进行提示，并实现拨打电话及发送危险报警信息的功能；且能够对异常报警信息进行实时存储，历史记录可以随时查阅，或者根据不同条件进行查询，并能对相关报警信息进行可视化展示。

针对现阶段的老龄化问题设计的这款无人智能监护系统用于实时跟踪并监测老人是否存在跌倒、突发疾病等紧急情况，通过智能小车的移动监护，子女可以实时打开移动客户端浏览老人的运动状况，也可以打开老人的状态信息栏查询老人的历史状态信息(发病、跌倒等危急情况)，使得子女虽然不在老人身边，但似在身边，解决了空巢老人在家的安全监测任务，这对于构建和谐家庭有着重要的积极作用并且具有一定的社会意义和应用价值。

前述的外设模块还包括用于障碍物具体位置识别与壁障的超声驱动波模块。

前述的分析处理包括人体体态分析和人脸识别；所述的人体体态分析是识别目标的走、坐和跌倒(fall)三个姿态；根据识别的“走”的姿态来控制智能监护小车跟随目标走动；(具体地实现为，云端服务器识别到人体体态位“走”时，将该分析处理结果发送到智能监护小车的主控板，主控板根据该处理结果驱动电机驱动模块，进而驱动直流电机控制智能监护小车跟随目标(即老人)走动)。

走动时，利用目标检测框的面积来控制智能监护小车与目标间的距离，同时利用目标检测框的中心点变化来判定目标所在监护画面的方位；

所述的人脸识别包括人脸检测和人脸表情识别；所述的人脸检测采用基于caffe的mtcnn算法实现，所述mtcnn算法的级联网络结(网络结构图参见图3)包括P-Net(Proposal Network)、R-Net(Refine Network)和O-Net(Output Network)三个子网络；所述的P-Net用于生成候选框，R-Net用于去除非人脸框，O-Net与R-Net类似，差异在于增加了关键点位置的回归，输入大小调整为48*48，输出包含P个候选框的4个坐标信息、score和关键点信息；所述的mtcnn算法的训练数据来源于wider公开数据库，根据参与任务的差异，将训练数据分为人脸正样本、非人脸负样本、包含部分人脸的样本、标注关键点的人脸样本四类；所述的人脸正样本和非人脸负样本参与到分类任务，人脸正样本和包含部分人脸的样本参与到回归任务，标注关键点的人脸样本参与到关键点回归任务；关键点回归任务仅在O-Net中实用，此时标注关键点的人脸样本包含关键点的人脸框位置由P-Net和R-Net的模型检测得到，或是由关键点的坐标位置拟合出来；在每个训练批次中，人脸正样本∶非人脸负样本∶包含部分人脸的样本∶标注关键点的人脸样本＝1∶3∶1∶2；

所述的人脸表情识别用于实现痛苦与不痛苦表情识别的二分类；训练采用fer2013图像数据集整合后与人脸表情数据合集；通过DeepID2学习人脸表情特征的网络结构图，图4为该框架的特征提取网络结构图，训练的数据集尺寸经过处理都采用的是统一的85*85像素值，格式为LMDB。在识别系统模型训练中通过设置初始的学习率、gamma，采用multistep策略逐步减小学习率，每个stepvalue的学习率减小为:当前学习率*gamma。通过不断地调整学习率，gamma值与迭代次数等得到最终98％的识别准确率。

智能监护小车在嵌入式软件程序设计上采用模块化设计思想，分为电机驱动模块、舵机驱动模块、超声波驱动模块、视频驱动模块单独设计，最后在主函数通过多线程模式进行编程调用对应驱动模块中的接口函数，完成对应功能。整个嵌入式端的系统软件设计框图如图5所示。

云端服务器是整个系统的核心模块，需要同时与智能监护小车、移动客户端建立通信，实现与智能监护小车运动控制命令交互，实时向移动客户端推送老人监护信息(是否跌倒、是否犯病等)。云端服务器在技术上主要采用基于python的多线程编程模式，多线程编程技术的本质就是异步，需要多个并发活动，每个活动的处理顺序不确定，或者说随机的。这种编程任务可以被组织或划分成多个执行流，其中每个执行流都有一个指定要完成的任务，每个功能模块采用一个独立的线程完成。在云端服务器上部署了linux操作系统，并搭建深度学习中的caffe及darknet框架，利用目标检测、人体体态识别，人脸检测以及表情识别等算法对前端采集的视频数据流进行实时处理，并将结果进行反馈。具体软件设计流程如图6所示。

系统的移动客户端是基于Android平台进行开发，云端服务器和移动客户端之间通过socket通信，进行数据通信与相关控制操作。其中WebView组件的使用主要完成视频浏览的功能，WebView组件，是一个浏览器组件，能加载显示网页、图片等，可以将其视为一个浏览器，在Android 4.3系统及其以下，内部采用Webkit渲染引擎，在Android 4.4开始，采用chromium渲染引擎来渲染View的内容。考虑到移动客户端的子女或亲属想要操作简便、直观了解老人情况，开发者在应用上进行了精心的设计，使得子女能够实时的使用浏览与查看，整个移动客户端(APP系统)功能结构图如图7所示。

Claims (4)

1.一种无人智能监护系统，其特征在于，包括：

智能监护小车：用于实时追踪目标，采集视频数据流，将视频数据流上传至云端服务器；

云端服务器：利用深度学习技术训练好模型对视频数据流进行分析处理，并将分析处理结果反馈给智能监护小车和移动客户端；

移动客户端：用于完成用户管理、视频数据实时浏览、远程控制、异常报警提示及异常报警历史可视化。

2.根据权利要求1所述的无人智能监护系统，其特征在于：所述的智能监护小车包括用作核心控制单元的主控板及与主控板连接的外设模块；

所述的外设模块包括：

供电模块，用于提供系统工作所需的5V供电，并保持电压稳定；

电机驱动模块，用于驱动直流电机控制智能监护小车运动；

舵机驱动模块，用于驱动直流舵机调整采集视频数据流的视频驱动模块方向角度变化；

视频驱动模块，用于采集视频数据流；

网络连接模块，用于传输视频数据流及接收来自云端服务器的分析处理结果及控制命令。

3.根据权利要求2所述的无人智能监护系统，其特征在于：所述的外设模块还包括用于障碍物具体位置识别与壁障的超声驱动波模块。

4.根据权利要求2所述的无人智能监护系统，其特征在于：所述的分析处理包括人体体态分析和人脸识别；所述的人体体态分析是识别目标的走、坐和跌倒三个姿态；根据识别的“走”的姿态来控制智能监护小车跟随目标走动；

走动时，利用目标检测框的面积来控制智能监护小车与目标间的距离，同时利用目标检测框的中心点变化来判定目标所在监护画面的方位；

所述的人脸识别包括人脸检测和人脸表情识别；所述的人脸检测采用基于caffe的mtcnn算法实现，所述mtcnn算法的级联网络结包括P-Net、R-Net和O-Net三个子网络；所述的P-Net用于生成候选框，R-Net用于去除非人脸框，O-Net与R-Net的差异在于增加了关键点位置的回归、输入大小调整为48*48、输出包含P个候选框的4个坐标信息、score和关键点信息；所述的mtcnn算法的训练数据来源于wider公开数据库，根据参与任务的差异，将训练数据分为人脸正样本、非人脸负样本、包含部分人脸的样本、标注关键点的人脸样本四类；所述的人脸正样本和非人脸负样本参与到分类任务，人脸正样本和包含部分人脸的样本参与到回归任务，标注关键点的人脸样本参与到关键点回归任务；关键点回归任务仅在O-Net中实用，此时标注关键点的人脸样本包含关键点的人脸框位置由P-Net和R-Net的模型检测得到，或是由关键点的坐标位置拟合出来；在每个训练批次中，人脸正样本∶非人脸负样本∶包含部分人脸的样本∶标注关键点的人脸样本＝1∶3∶1∶2；

所述的人脸表情识别用于实现痛苦与不痛苦表情识别的二分类；训练采用fer2013图像数据集整合后与人脸表情数据合集；通过DeepID2学习人脸表情特征的网络结构图，通过设置初始的学习率、gamma，采用multistep策略逐步减小学习率，每个stepvalue的学习率减小为:当前学习率*gamma。