CN108363989A - 一种家庭监护的行为识别系统及其方法 - Google Patents

Abstract

本发明公开一种家庭监护的行为识别系统及其方法，包括设置有摄像模块、无线传输模块、语音报警模块的四旋翼飞行器和上位计算机，所述四旋翼飞行器进行自动巡航和实时定位，采集实时视觉图像数据传送给所述上位计算机，所述上位计算机通过搭建和训练深度神经网络，对图像数据进行实时分析，识别出图像中儿童的行为类别及判断其危险性，发送反馈信号给所述语音报警模块进行警示，并通过互联网向监护人手机发送警报信息。本发明可以及时发现和制止儿童的危险行为，对儿童攀爬、坠落这一常见的意外危险事件进行有效的防范，弥补因监护人监管不到位导致意外事件发生的不足。

Description

一种家庭监护的行为识别系统及其方法

技术领域

本发明涉及家庭监护技术领域，具体地说是一种家庭监护的行为识别系统及其方法。

背景技术

儿童的健康安全一直是社会的焦点问题。在我国，每年因意外伤害而死亡的儿童超过20万。近年来，特别是高空坠落儿童事件，在全国频有发生。为避免此类惨剧的发生，居家中对儿童的实时监护便尤为重要。而采用人工智能系统对儿童行为进行监测和识别，分析其行为是否具有危险性，实时监控，能帮助人们及时地发现并制止儿童的危险行为，防止监护人因疏忽照看导致意外发生，有效提高保护程度。这种人工智能系统例如目前一些市售的四旋翼飞行器，已经可以实现定点巡航、实时拍摄、图像识别功能。如中国专利申请CN201410433488公开基于图像识别跟踪的四旋翼飞行器智能侦察系统，能对人不易到达的地方进行图像采集、传输、处理与控制，但采集到的图像信息只传送至显示器进行显示，不具有对图像进行自动识别和分析的功能，需要人工进行分析，也没有提供报警功能。因此，如何设计一种家庭监护系统，使其能自动捕捉和识别儿童的行为，分析其危险性，并能立即发出警报和通知监护人，以及利用系统实施监护的方法，有待进一步解决。

发明内容

针对上述技术问题，本发明公开一种家庭监护的行为识别系统及其方法。

本发明为实现上述目的，采取以下技术方案予以实现：

一种家庭监护的行为识别系统，包括四旋翼飞行器和上位计算机，

所述四旋翼飞行器，进行自动巡航和实时定位，设置有摄像模块、无线传输模块和语音报警模块；

所述摄像模块，实时捕捉人体行为视觉图像，并把图像数据传送给所述无线传输模块；

所述无线传输模块，把接收到图像数据通过无线方式传输给所述上位计算机，并接收所述上位计算机的反馈信号；

所述语音报警模块与所述无线传输模块连接，通过所述无线传输模块接收并响应来自所述上位计算机的反馈信号并发出相应的语音警示；

所述上位计算机，接收来自所述无线传输模块的图像数据，通过搭建和训练深度神经网络，对图像数据进行实时分析，识别出图像中儿童的行为类别及判断其危险性，并把结果反馈给所述无线传输模块；所述上位计算机还通过互联网与监护人手机连接，向监护人手机发送报警信息。

进一步地，所述无线传输模块是蓝牙收发模块或WiFi模块。

进一步地，所述四旋翼飞行器自动巡航的范围包括厨房、阳台、大厅和房间。

一种家庭监护的方法，包括以下步骤：

步骤一：上位计算机构建和训练深度神经网络，定义行为类别并归类为危险行为和非危险行为两种；

步骤二：使用四旋翼飞行器按照设定好的路线进行自动巡航，通过四旋翼飞行器搭载的摄像模块实时捕捉视觉图像，并通过四旋翼飞行器搭载的无线传输模块将视觉图像数据传输至上位计算机；

步骤三：上位计算机采用步骤一所述深度神经网络对视觉图像数据进行分析，识别图像中儿童的行为，是属于步骤一所述行为类别的哪一种；如果属于步骤一所述非危险行为，则不作处理；如果属于步骤一所述危险行为，上位计算机将反馈信号传输至四旋翼飞行器搭载的语音报警模块，语音报警模块发出实时警报，及时制止儿童的危险行为；同时，上位计算机通过互联网向监护人手机发送警报，实时通知监护人进行处理。

进一步地，步骤一所述构建和训练深度神经网络包括以下步骤：

S1：构建深层神经网络，包括输入层、隐含层和输出层；对深层神经网络进行初始化设置，包括：设置输入层、隐含层、输出层各层的层数和神经节点数，选择迭代算法为梯度下降算法，并设置迭代算法的代价函数，设置误差限值和最大迭代次数的初始值，设置测试准确度阀值；

所述代价函数公式为式中m为样本容量，角标i表示样本序号,参数θ是根据每层神经节点数随机生成的权值向量，h_θ(x⁽ⁱ⁾)表示用参数θ和x预测出来的预测y值，y表示原训练样本的标准y值；

S2：从数据库下载人体行为数据，包含多个行为类别，每个行为类别包含多个不同的样本，把数据样本按照1：1的比例分为训练组和测试组；

S3：将所述训练组数据打上行为类别标签值并送入深度神经网络，计算代价函数J(θ)的数值，通过梯度下降算法不断更新权值向量θ的值，重复迭代直至代价函数J(θ)的值小于步骤S1所述的误差限值或迭代次数达到最大迭代次数，迭代完成；

S4：使用所述测试组数据对步骤S3中得到的深度神经网络进行测试，得出分类正确样本数，计算测试准确度，其计算公式为：测试准确度＝分类正确样本数/总样本数；

S5：如果测试准确度小于所述测试准确度阀值，调整所述误差限值和最大迭代次数，重复步骤S3至S5；否则训练完成。

进一步地，步骤S1所述测试准确度阀值设置为95％。

进一步地，步骤S2所述数据库是Weizmann、Hollywood2、3UCF50或4UCF101。

进一步地，步骤一所述行为类别包括攀爬、打架、跑、骑车、接电话、握手、拥抱、坐下、起立、站立、吃饭。

进一步地，步骤二所述四旋翼飞行器自动巡航的范围包括厨房、阳台、大厅和房间。

与现有技术相比，本发明的有益效果如下：

本发明提出了一种家庭监护的行为识别系统及其方法，使用具备定点巡航和自动避障功能的四旋翼飞行器在室内进行自动巡航，采集实时视觉图像数据，并使用深度神经网络对图像数据进行实时分析，识别出图像中儿童的行为类别及判断其危险性，并能通过语音报警模块进行警示和通过互联网向监护人手机发送警报信息；可以对儿童攀爬、坠落这一常见的意外危险事件进行有效的防范，弥补现代家庭中因监护人监管不到位导致意外事件发生这一社会问题的不足。

附图说明

图1是本发明一种家庭监护的行为识别系统的结构框图；

图2是本发明一种家庭监护的方法的工作流程图；

图3是构建和训练深度神经网络的流程图。

具体实施方式

下面结合实施例对本发明作进一步的描述，但需要说明的是，实施例并不对本发明要求保护范围的构成限制。

如图1所示，一种家庭监护的行为识别系统，包括四旋翼飞行器和上位计算机，所述四旋翼飞行器设置有摄像模块、无线传输模块和语音报警模块，依次电性连接；所述无线传输模块与所述上位计算机无线连接。

本实施例中，无线传输模块采用蓝牙收发模块，所述四旋翼飞行器与所述上位计算机之间通过蓝牙方式进行通信；所述四旋翼飞行器通过GPS定位模块和电子罗盘实现在室内目标范围内进行自动巡航和实时定位，所述目标范围包括厨房、阳台、大厅和房间；所述四旋翼飞行器具有定点巡航和自动避障功能，通过所述摄像模块，实时捕捉儿童行为视觉图像，并把图像数据传送给所述蓝牙收发模块；所述蓝牙收发模块把图像数据转化成蓝牙信号发送给所述上位计算机，所述上位计算机搭建有已经训练好的深度神经网络，通过所述神经网络对图像数据进行实时分析，识别图像中儿童的行为类别，根据分析结果发送反馈信号给所述四旋翼飞行器的语音报警模块，并通过互联网与监护人手机连接。

首先，上位计算机将获得的实时监控图像按每秒钟30帧的帧率逐帧保存，对保存的每帧图像进行数据压缩，获得像素为224×224的压缩图像，再将压缩后的图像矩阵作为深度神经网络的输入向量送入网络中，获得深度神经网络的输出向量。输出向量的值代表输入图像样本中是否含有儿童进行危险行为的事件。如果输入图像中显示儿童只是在进行站立或行走等安全行为，并未出现攀爬和打架的危险行为，则深度神经网络输出向量值等于0，上位计算机对此结果不作处理，继续利用深度神经网络进行实时分析；如果输入图像中出现儿童进行攀爬和打架的危险行为，则深度神经网络输出向量值等于1，上位计算机向所述四旋翼飞行器的蓝牙收发模块发送控制信号，并输出至所述语音报警模块，所述语音报警模块响应来自所述上位计算机的反馈信号并发出相应的语音警示，儿童听到语音警示，会提高警惕，适当停止当前危险动作；同时，所述上位计算机还通过互联网向监护人手机发送报警信息，使监护人收到报警提示后，能及时赶到现场对儿童进行制止和保护。所述无线传输模块还可以是WiFi模块。

如图2所示，一种家庭监护的方法，包括以下步骤：

步骤一：上位计算机构建和训练深度神经网络，定义行为类别并归类为危险行为和非危险行为两种；

步骤二：使用四旋翼飞行器，按照设定好的巡航路线，在室内目标范围内进行自动巡航；

步骤三：通过四旋翼飞行器搭载的摄像模块实时捕捉视觉图像；

步骤四：通过四旋翼飞行器搭载的无线传输模块将视觉图像数据传输至上位计算机；

步骤五：上位计算机采用步骤一所述深度神经网络对视觉图像数据进行分析，识别图像中儿童的行为，是属于步骤一所述行为类别的哪一种；

步骤六：如果分析到儿童的行为类别属于步骤一所述的非危险行为，则不作处理；

步骤七：如果分析到儿童的行为类别属于步骤一所述的危险行为，上位计算机将反馈信号传输至四旋翼飞行器搭载的语音报警模块，语音报警模块发出实时警报，及时制止儿童的危险行为；同时，上位计算机通过互联网向监护人手机发送警报，实时通知监护人进行处理。

如图3所示，步骤一所述构建和训练深度神经网络包括以下步骤：

S1：构建深层神经网络，包括输入层、隐含层和输出层；对深层神经网络进行初始化设置，包括：设置输入层、隐含层、输出层各层的层数和神经节点数，选择迭代算法为梯度下降算法，并设置迭代算法的代价函数，设置误差限值和最大迭代次数的初始值，设置测试准确度阀值；

所述代价函数公式为式中m为样本容量，角标i表示样本序号,参数θ是根据每层神经节点数随机生成的权值向量，h_θ(x⁽ⁱ⁾)表示用参数θ和x预测出来的预测y值，y表示原训练样本的标准y值；

S2：从数据库下载人体行为数据，包含多个行为类别，每个行为类别包含多个不同的样本，把数据样本按照1：1的比例分为训练组和测试组；

S3：将所述训练组数据打上行为类别标签值并送入深度神经网络，计算代价函数J(θ)的数值，通过梯度下降算法不断更新权值向量θ的值，重复迭代直至代价函数J(θ)的值小于步骤S1所述的误差限值或迭代次数达到最大迭代次数，迭代完成；

S4：使用所述测试组数据对步骤S3中得到的深度神经网络进行测试，得出分类正确样本数，计算测试准确度，其计算公式为：测试准确度＝分类正确样本数/总样本数；

S5：如果测试准确度小于所述测试准确度阀值，调整所述误差限值和最大迭代次数，重复步骤S3至S5；否则训练完成。

具体地，步骤S1所述误差限值设置为10^-4，误差限值可以在根据测试结果再进行调整，所述最大迭代次数设置400次，所述测试准确度阀值设置为95％，步骤S2所述数据库是Weizmann、Hollywood2、3UCF50或4UCF101；步骤一所述行为类别包括攀爬、打架、跑、骑车、接电话、握手、拥抱、坐下、起立、站立、吃饭；步骤二所述目标范围包括厨房、阳台、大厅和房间，可以进行手动设定。

本实施例中，S2所述数据库使用Hollywood2和4UCF101数据库结合，设定行为类别属性，把儿童在室内攀爬、打架、跑和骑车四个行为定义为危险行为，接电话、握手、拥抱、坐下、起立、站立和吃饭七个行为定义为非危险行为。构建和初始化深层神经网络，把数据库中儿童攀爬、打架、跑、骑车、接电话、握手、拥抱、坐下、起立、站立、吃饭这11个行为的每一个行为的10个不同样本分为训练组和测试组数据，则样本容量为110，即代价函数公式为

用训练组数据按上述步骤S3的方法使用对深度神经网络进行训练，当代价函数J(θ)的值小于10^-4或迭代次数达到400次时，迭代完成，深度神经网络学习到这11个行为类别；再用测试组数据对深度神经网络进行测试，测试其对此11个行为类别识别的准确度，对于110个样本，如果深度神经网络能正确识别出其中的105个，则测试准确度大于等于95％，则训练完成；否则，修改权值向量θ和误差限值，继续按步骤S3进行训练，直至训练完成。设定四旋翼飞行器在厨房、大厅和阳台范围内自动巡航，实时捕捉儿童行为的视觉图像数据并传送给上位计算机，上位计算机使用训练完成的深度神经网络对视觉图像进行识别。当儿童在阳台做出攀爬动作时，深度神经网络识别出图像中的行为类别是攀爬，根据定义好的属性，攀爬是危险行为，上位计算机马上发送控制信号给四旋翼飞行器的语音报警模块，语音报警模块接收到指令，响应动作，发出模拟人声的警示，使儿童听到警示能停止危险动作，避免意外发生；同时，上位计算机也即时给监护人手机发送报警信息，使监护人收到报警提示后，能及时赶到现场对儿童进行制止和保护。同样，当儿童在室内做出打架、跑或骑车行为时，监护系统也能及时识别出危险行为并发出警报进行制止，而当儿童只在进行坐下、站立等非危险行为时，监护系统则不作处理，继续监控。

综上所述，本发明通过使用基于深度神经网络和四旋翼飞行器来识别儿童行为的家庭监护系统，结合其监护方法，能准确、迅速地发现儿童的危险行为，并发出警报及时制止，同时通知监护人进行处理，简单高效地实现儿童行为的实时监测和保护。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种家庭监护的行为识别系统，包括四旋翼飞行器和上位计算机，其特征在于，

所述四旋翼飞行器，进行自动巡航和实时定位，设置有摄像模块、无线传输模块和语音报警模块；

所述摄像模块，实时捕捉人体行为视觉图像，并把图像数据传送给所述无线传输模块；

所述无线传输模块，把接收到图像数据通过无线方式传输给所述上位计算机，并接收所述上位计算机的反馈信号；

所述语音报警模块与所述无线传输模块连接，通过所述无线传输模块接收并响应来自所述上位计算机的反馈信号并发出相应的语音警示；

所述上位计算机，接收来自所述无线传输模块的图像数据，通过搭建和训练深度神经网络，对图像数据进行实时分析，识别出图像中儿童的行为类别及判断其危险性，并把结果反馈给所述无线传输模块；所述上位计算机还通过互联网与监护人手机连接，向监护人手机发送报警信息。

2.根据权利要求1所述的一种家庭监护的行为识别系统，其特征在于，所述无线传输模块是蓝牙收发模块或WiFi模块。

3.根据权利要求1所述的一种家庭监护的行为识别系统，其特征在于，所述四旋翼飞行器自动巡航的范围包括厨房、阳台、大厅和房间。

4.一种家庭监护的方法，其特征在于，包括以下步骤：

步骤一：上位计算机构建和训练深度神经网络，定义行为类别并归类为危险行为和非危险行为两种；

步骤二：使用四旋翼飞行器按照设定好的路线进行自动巡航，通过四旋翼飞行器搭载的摄像模块实时捕捉视觉图像，并通过四旋翼飞行器搭载的无线传输模块将视觉图像数据传输至上位计算机；

步骤三：上位计算机采用步骤一所述深度神经网络对视觉图像数据进行分析，识别图像中儿童的行为，是属于步骤一所述行为类别的哪一种；如果属于步骤一所述非危险行为，则不作处理；如果属于步骤一所述危险行为，上位计算机将反馈信号传输至四旋翼飞行器搭载的语音报警模块，语音报警模块发出实时警报，及时制止儿童的危险行为；同时，上位计算机通过互联网向监护人手机发送警报，实时通知监护人进行处理。

5.根据权利要求4所述的一种家庭监护的方法，其特征在于，步骤一所述构建和训练深度神经网络包括以下步骤：

S1：构建深层神经网络，包括输入层、隐含层和输出层；对深层神经网络进行初始化设置，包括：设置输入层、隐含层、输出层各层的层数和神经节点数，选择迭代算法为梯度下降算法，并设置迭代算法的代价函数，设置误差限值和最大迭代次数的初始值，设置测试准确度阀值；

所述代价函数公式为式中m为样本容量，角标i表示样本序号,参数θ是根据每层神经节点数随机生成的权值向量，h_θ(x⁽ⁱ⁾)表示用参数θ和x预测出来的预测y值，y表示原训练样本的标准y值；

S2：从数据库下载人体行为数据，包含多个行为类别，每个行为类别包含多个不同的样本，把数据样本按照1：1的比例分为训练组和测试组；

S3：将所述训练组数据打上行为类别标签值并送入深度神经网络，计算代价函数J(θ)的数值，通过梯度下降算法不断更新权值向量θ的值，重复迭代直至代价函数J(θ)的值小于步骤S1所述的误差限值或迭代次数达到最大迭代次数，迭代完成；

S4：使用所述测试组数据对步骤S3中得到的深度神经网络进行测试，得出分类正确样本数，计算测试准确度，其计算公式为：测试准确度＝分类正确样本数/总样本数；

S5：如果测试准确度小于所述测试准确度阀值，调整所述误差限值和最大迭代次数，重复步骤S3至S5；否则训练完成。

6.根据权利要求5所述的一种家庭监护的方法，其特征在于，步骤S1所述测试准确度阀值设置为95％。

7.根据权利要求5所述的一种家庭监护的方法，其特征在于，步骤S2所述数据库是Weizmann、Hollywood2、3UCF50或4UCF101。

8.根据权利要求4所述的一种家庭监护的方法，其特征在于，步骤一所述行为类别包括攀爬、打架、跑、骑车、接电话、握手、拥抱、坐下、起立、站立、吃饭。

9.根据权利要求4所述的一种家庭监护的方法，其特征在于，步骤二所述四翼飞行器自动巡航范围包括厨房、阳台、大厅和房间。