CN108537105B - 一种家庭环境下的危险行为识别方法 - Google Patents

Abstract

本发明提供一种家庭环境下的危险行为识别方法，包括：S1，根据监测目标任一时刻的人体轮廓图计算所述监测目标该时刻的轮廓质心；S2，将所述监测目标前一时间段中若干个时刻的轮廓质心的均值与该时刻的轮廓质心的差值作为所述监测目标该时刻的行为特征；S3，若所述监测目标该时刻的行为特征不在预设的行为范围内，则将所述监测目标该时刻的轮廓质心和行为特征输入异常行为判别模型，获取所述监测目标该时刻的行为判断结果。本发明提供的方法，通过人体轮廓质心的变化对人体行为进行判断，解决了复杂的室内环境中人体行为的识别问题，提高了家庭环境下危险行为自动预警功能的实时性，使得家庭监控更加智能化。

Description

一种家庭环境下的危险行为识别方法

技术领域

本发明涉及机器视觉识别技术领域，尤其涉及一种家庭环境下的危险行为识别方法。

背景技术

随着监控行业的快速发展，以及人们生活水平的提高和网络的普及，安全防护越来越深入人心，传统的商业或工业监控系统逐步走入家庭，使得远程看护小孩、老人，实时监控家庭情况成为一种可能。

家庭网络视频监控是利用网络技术将安装在家内的视频、音频、报警等监控系统连接起来，通过中控电脑的处理将有用信息保存并发送到其他数据终端，如手机、笔记本电脑等。

然而，现在的家庭网络视频监控设备的运作往往只是提供了远程通过手机在线观看摄像头采集的视频的功能，需要用户实时关注视频信息才能保证即时发现异常状况。显然通常情况下，用户不具备随时关注视频信息的时间和精力。

虽然基于穿戴式设备的行为识别或基于活动量信号的行为识别方法已经具备相关研究成果并逐步走向产品化，但是这些成果主要依赖于各种特定的传感设备，在某些情况下反而大大限制其在实际生活中的应用。而且针对家庭环境下危险行为的机器视觉识别与预警则存在特殊性，尤其在行为识别方面，如何判断人体的动作是日常动作还是危险动作，成为了家庭监控的优化方向。

发明内容

本发明为解决现有技术中存在的家庭环境下难以判断人体动作是否为危险动作的问题，提供了一种家庭环境下的危险行为识别方法。

本发明提出一种家庭环境下的行为识别方法，包括：S1，根据监测目标任一时刻的人体轮廓图计算所述监测目标该时刻的轮廓质心；S2，将所述监测目标前一时间段中若干个时刻的轮廓质心的均值与该时刻的轮廓质心的差值作为所述监测目标该时刻的行为特征；S3，若所述监测目标该时刻的行为特征不在预设的行为范围内，则将所述监测目标该时刻的轮廓质心和行为特征输入异常行为判别模型，获取所述监测目标该时刻的行为判断结果。

优选地，还包括：S0，基于家庭监控视频，应用Canny算子获取监测目标任一时刻的人体轮廓图。

优选地，所述步骤S1进一步包括：所述监测目标任一时刻的人体轮廓图包括多个点，获取各点的坐标，并根据下式计算所述监测目标该时刻的轮廓质心

其中，x_i和y_i分别为第i点的横坐标和纵坐标，K为所述人体轮廓图中点的数量，

和

分别为所述轮廓质心的横坐标和纵坐标。

优选地，所述步骤S2进一步包括：根据下式计算所述监测目标该时刻的行为特征：

式中，λ为t时刻的行为特征，T为预设的时间周期内的时刻数，Y_i为i时刻的轮廓质心的纵坐标，Y_t为t时刻的实际轮廓质心的纵坐标。

优选地，所述步骤S3前，还包括：将若干个监测目标若干个时刻的行为特征、轮廓质心和行为判断结果输入分类器进行训练，直至所述分类器的精度达到预设的目标精度或训练次数达到预设的训练次数阈值；将训练得到的分类器作为异常行为判别模型。

优选地，若所述监测目标该时刻的行为判断结果为异常行为，还包括：S41，对该时刻的目标区域图像进行多个方向的滤波，获取所述多个方向对应的滤波结果；S42，将所述多个方向对应的滤波结果的最大值作为最优方向值；S43，若所述最优方向值大于判别阈值，则所述监测目标该时刻的行为为危险行为；否则，所述监测目标该时刻的行为为正常行为。

优选地，所述步骤S41进一步包括：应用四个方向滤波器对该时刻的目标区域图像进行0、45°、90°和135°角度的方向滤波，应用下式获取对应的滤波结果：

式中，f_k(x,y)为第k个方向对应的滤波结果，H_k为第k个方向滤波器，I(x,y)为目标区域图像，所述方向滤波器的二维尺寸为2m+1，m为大于或等于0的整数，k＝0,1,2,3。

优选地，所述步骤S42与S43间，还包括：统计所述最优方向值中每一值出现的频数H＝{h₁,...,h_n}和像素个数Sum；其中，H为频数集合，h₁为第一个值的频数，h_n为第n个值的频数，n为所述最优方向值中值的总数；将满足下式的K的最大值作为判别阈值，其中h_i为第i个值的频数：

优选地，应用粒子滤波实现对所述监测目标的跟踪。

优选地，若监测目标进入预设的隐私区域，则关闭所述隐私区域的监控设备；等待第一预设时间后，若所述监测目标未离开所述隐私区域，则触发所述隐私区域的警报；等待第二预设时间后，若所述监测目标未消除所述警报，则启动所述隐私区域的监测设备。

本发明提供的一种家庭环境下的危险行为识别方法，通过人体轮廓质心的变化对人体行为进行判断，解决了复杂的室内环境中人体行为的识别问题，提高了家庭环境下危险行为自动预警功能的实时性，使得家庭监控更加智能化。

附图说明

图1为本发明具体实施例的一种家庭环境下的行为识别方法的流程示意图；

图2为Canny算子边缘检测方法的流程示意图；

图3为本发明具体实施例的一种家庭环境下的行为识别方法的流程示意图；

图4为本发明具体实施例的一种人体骨架提取的流程示意图；

图5为本发明具体实施例中的一种隐私区域监控方法的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明具体实施例的一种家庭环境下的行为识别方法的流程示意图，如图1所示，一种家庭环境下的行为识别方法，包括：S1，根据监测目标任一时刻的人体轮廓图计算所述监测目标该时刻的轮廓质心；S2，将所述监测目标前一时间段中若干个时刻的轮廓质心的均值与该时刻的轮廓质心的差值作为所述监测目标该时刻的行为特征；S3，若所述监测目标该时刻的行为特征不在预设的行为范围内，则将所述监测目标该时刻的轮廓质心和行为特征输入异常行为判别模型，获取所述监测目标该时刻的行为判断结果。

具体地，首先，在家庭监测系统下，基于家庭监测视频，根据监测目标在任一时刻的人体轮廓图，对所述监测目标在该时刻的轮廓质心进行计算。

其中，所述任一时刻的人体轮廓图，通过该时刻对应的家庭监测视频图像进行提取。具体的人体轮廓提取方法包括基于边缘的方法、基于区域的分割方法和基于形变模型的方法，例如基于GVF-Snake的轮廓提取方法，本发明具体实施例中人体轮廓图的获取方法并不限于此。

通过人体轮廓图计算的轮廓质心，是人行为特征的一个有效指标。在正常行走过程中，人的质心轨迹的单位时间内，两个质心坐标的差值在一个小范围内波动。而在异常行为发生时，人的质心轨迹的单位时间内，两个质心坐标的差值将不在该范围内波动。

由于孤立的一个时刻的轮廓质心无法完整的体现人体行为，本发明实施例中，应用所述监测目标前一时间段内若干个时刻的轮廓质心的均值与该时刻的轮廓质心的差值作为所述监测目标在该时刻的行为特征，用于表征所述监测目标的行为。

随后，比较所述监测目标在该时刻的行为特征与预先设定的行为范围：

若所述监测目标在该时刻的行为特征在所述行为范围内，则认为所述监测目标在该时刻的行为无异常，继续对所述监测目标进行监控；

若所述监测目标在该时刻的行为特征超出所述行为范围，则将所述监测目标在该时刻的轮廓质心和行为特征输入到异常行为判别模型中，对所述监测目标在该时刻的行为进行判别。

在此基础上，若所述异常行为判别模型输出的行为判断结果为正常行为，则继续对所述监测目标进行监控；若所述异常行为判别模型输出的行为判断结果为异常行为，则发出警报或对所述异常行为进行进一步判断，但不限于此。

本发明具体实施例中，通过人体轮廓质心的变化对人体行为进行判断，解决了复杂的室内环境中人体行为的识别问题，提高了家庭环境下危险行为自动预警功能的实时性，使得家庭监控更加智能化。

基于上述具体实施例，一种家庭环境下的行为识别方法，还包括：S0，基于家庭监控视频，应用Canny算子获取监测目标任一时刻的人体轮廓图。

具体地，Canny算子是基于梯度的最优边缘检测算子，其性能优于传统的边缘检测算子，能够精确定位边缘缺陷，在具备较好的边缘检测性能的同时，又对噪声不敏感，即使在有噪声的环境下，也同样具有较好的边缘检测效果。

图2为Canny算子边缘检测方法的流程示意图，如图2所示，首先，对家庭监控视频中任一时刻的图像信息进行预处理，采用高斯滤波器平滑图像；其次，应用一阶偏导有限差分对梯度幅值和方向进行计算；随后，通过非极大值抑制，寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，以剔除掉一大部分非边缘的点；最后，通过双阈值算法监测和连接边缘，输出该时刻监测目标的人体轮廓图。

本发明具体实施例中，通过应用Canny算子获取人体轮廓图，为应用人体轮廓图获取轮廓质心，实现人体行为的识别提供了数据基础。

基于上述任一具体实施例，一种家庭环境下的行为识别方法，所述步骤S1进一步包括：所述监测目标任一时刻的人体轮廓图包括多个点，获取各点的坐标，并根据下式计算所述监测目标该时刻的轮廓质心

其中，x_i和y_i分别为第i点的横坐标和纵坐标，K为所述人体轮廓图中点的数量，

和

分别为所述轮廓质心的横坐标和纵坐标。

具体地，所述人体轮廓图中包括多个点，扫描所述人体轮廓图，记录所述人体轮廓图中每一点的坐标，并将所述人体轮廓图中每一点的横坐标均值作为轮廓质心的横坐标，将每一点的纵坐标均值作为轮廓质心的纵坐标。

基于上述任一具体实施例，一种家庭环境下的行为识别方法，所述步骤S2进一步包括：根据下式计算所述监测目标该时刻的行为特征：

式中，λ为t时刻的行为特征，T为预设的时间周期内的时刻数，Y_i为i时刻的轮廓质心的纵坐标。

具体地，由于孤立的一个时刻的轮廓质心无法完整的体现人体行为，本发明实施例中，应用所述监测目标前一时间段内若干个时刻的轮廓质心的均值与该时刻的轮廓质心的差值作为所述监测目标在该时刻的行为特征，用于表征所述监测目标的行为。

上式中，

是以该时刻为终点的预设时间周期内轮廓质心在Y轴方向上的算术平均值，用于表示该时刻出现概率最大的轮廓质心的纵坐标值，Y_t为该时刻的实际轮廓质心的纵坐标值，二者的差值用以表示所述监测目标在该时刻的行为特征。

在正常情况下，所述行为特征处于固定范围内。当所述行为特征为正值时，所述监测目标的轮廓质心近地面方向运动；当所述行为特征为负值时，所述监测目标的轮廓质心远离地面方向运动。

本发明具体实施例中，通过将多个时刻的轮廓质心获取人体的行为特征，有助于提高行为识别的准确度。

基于上述任一具体实施例，一种家庭环境下的行为识别方法，所述步骤S3前，还包括：将若干个监测目标若干个时刻的行为特征、轮廓质心和行为判断结果输入分类器进行训练，直至所述分类器的精度达到预设的目标精度或训练次数达到预设的训练次数阈值；将训练得到的分类器作为异常行为判别模型。

具体地，若所述监测目标在该时刻的行为特征超出所述行为范围，则将所述监测目标在该时刻的轮廓质心和行为特征输入到异常行为判别模型中，对所述监测目标在该时刻的行为进行判别。在执行上述步骤之前，获取所述异常行为判别模型的方法如下：

首先，获取训练样本。所述训练样本为若干个监测目标分别在若干个时刻的行为特征、轮廓质心和行为判断结果。

其次，将所述训练样本输入分类器中进行训练。其中，所述分类器是深度学习方法中对样本进行分类的方法的统称，所述分类器包括决策树、逻辑回归、朴素贝叶斯和神经网络等算法。本发明具体实施例中，应用训练样本对上述任意一种分类器进行训练，且不限于此。

当所述分类器的精度达到预先设置的目标精度或训练次数达到预先设置的训练次数，确认所述分类器完成训练。将通过训练得到的分类器作为异常行为判别模型，用于根据输入模型的行为特征和轮廓质心判断对应的行为是否为异常行为。

本发明具体实施例中，通过对分类器进行训练，获取了异常行为判别模型，为家庭环境下行为的识别提供了数据支持。

基于上述任一具体实施例，图3为本发明具体实施例的一种家庭环境下的行为识别方法的流程示意图，如图3所示，一种家庭环境下的行为识别方法，若所述监测目标该时刻的行为判断结果为异常行为，还包括：S41，对该时刻的目标区域图像进行多个方向的滤波，获取所述多个方向对应的滤波结果；S42，将所述多个方向对应的滤波结果的最大值作为最优方向值；S43，若所述最优方向值大于判别阈值，则所述监测目标该时刻的行为为危险行为；否则，所述监测目标该时刻的行为为正常行为。

具体地，若所述监测目标在该时刻的行为特征超出所述行为范围，则将所述监测目标在该时刻的轮廓质心和行为特征输入到异常行为判别模型中，对所述监测目标在该时刻的行为进行判别。若所述异常行为判别模型的判别结果为异常行为，则通过提取人体骨架的方法对所述监测目标在该时刻的行为进行进一步的识别：

首先，选取多个方向，对该时刻的目标区域图像进行上述多个方向滤波，并获取多个方向滤波各自对应的滤波结果。其中，方向滤波是图像方向特征描述的重要手段，广泛的应用于图像压缩、增强、边缘检测和去噪等图像处理。此处，所述多个方向的具体数量为任意数量，每一方向的具体角度为任意角度。

其次，从上述多个方向滤波后获取的滤波结果中，选取滤波结果值最大的滤波结果作为最优方向值。

随后，对所述最优方向值进行二值处理，将二值处理的结果作为目标骨架图。进一步地，应用判别阈值与所述最优方向值进行比较，若所述最优方向值大于所述判别阈值，则认为所述监测目标在该时刻的行为是危险行为；否则，认为所述监测目标在该时刻的行为是正常行为。

本发明具体实施例中，通过骨架提取方法，对人体行为进行了进一步的识别，提高了家庭环境下人体行为识别的准确率。

基于上述任一具体实施例，一种家庭环境下的行为识别方法，图4为本发明具体实施例的一种人体骨架提取的流程示意图，如图4所示，所述步骤S41进一步包括：应用四个方向滤波器对该时刻的目标区域图像进行0、45°、90°和135°角度的方向滤波，应用下式获取对应的滤波结果：

式中，f_k(x,y)为第k个方向对应的滤波结果，H_k为第k个方向滤波器，I(x,y)为目标区域图像，所述方向滤波器的二维尺寸为2m+1，m为大于或等于0的整数，k＝0,1,2,3。

例如，应用Gabor二阶滤波器组来实现四个方向的滤波。四个方向滤波器的二维尺寸相同，且均为5×5的二维滤波模板。方向滤波的过程是目标区域图像I与方向滤波器H_k(k＝0,1,2,3)卷积的结果，其具体数据处理方法如下：

基于上述任一具体实施例，一种家庭环境下的行为识别方法，所述步骤S42与S43间，还包括：统计所述最优方向值中每一值出现的频数H＝{h₁,...,h_n}和像素个数Sum；其中，H为频数集合，h₁为第一个值的频数，h_n为第n个值的频数，n为所述最优方向值中值的总数；将满足下式的K的最大值作为判别阈值，其中h_i为第i个值的频数：

具体地，在步骤S43，即骨架图的生成过程中，需要应用判别阈值与所述最优方向值进行比较。本发明具体实施例中，骨架提取方法，即步骤S4具备自适应性，所述判别阈值在运行中不是固定不变的，而是在每次步骤S4的执行过程中存在变化的。所述判别阈值的获取方法如下：

首先，所述最优方向值中包括若干个值，统计所述最优方向值中每一值出现的频数，即H＝{h₁,...,h_n}。

与此同时，应用如下程序获取所述最优方向值的像素个数Sum：Sum＝sum(sum(I＝＝value))

其中，I为目标区域图像，sum为MATLAB/Python中可直接调用的函数，value为0或1。

随后，将满足h_K-1到h_n的总和大于Sum的10％的K的最大值作为判别阈值。

本发明具体实施例中，通过计算判别阈值，提高了人体骨架提取方法的自适应性，使得家庭环境下的行为识别更加准确。

基于上述任一具体实施例，一种家庭环境下的行为识别方法，应用粒子滤波实现对所述监测目标的跟踪

具体地，粒子滤波(Particle Filter)是指：通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程。

在家庭视频监测系统中，由于单一摄像头的摄像范围有限，追踪监测目标的危险行为可能需要跨越多个摄像头区域，很容易导致跟踪丢失的问题。应用粒子滤波的方法跟踪家庭环境下的监测目标，能够有效避免跟踪丢失的问题。

例如，通过下式步骤实现对家庭环境下监测目标的跟踪：

1)粒子初始化，k表示时刻，k＝0，由先验分布p(x₀)中采样N个粒子

其中，x₀为0时刻的状态值，i＝1,2,…N，任一粒子对应的权值为1/N。

2)进行重要性采样。

a)根据重要性概率密度生成采样粒子

b)计算粒子重要性权值

并进行归一化；

3)判断重采样，计算

若N_eff＜N_T，则对粒子集

进行重采样，得到新的粒子集为

否则，

此处，N_eff为有效粒子数，用于衡量粒子权重的退化程度，N_T为预先设定的阈值。

和

分别为从重要性概率密度中生成的采样粒子及其粒子权值，

和

分别为重采样后的粒子及其粒子权值。

4)状态估计，计算k时刻的状态估计值：

5)令k＝k+1，当下一时刻测量值来时，返回步骤2)。

本发明具体实施例中，通过应用粒子滤波方法实现了家庭环境下监测目标的跟踪，有助于监测目标的行为状态和行动轨迹的实时观测。

基于上述任一具体实施例，一种家庭环境下的行为识别方法，若监测目标进入预设的隐私区域，则关闭所述隐私区域的监控设备；等待第一预设时间后，若所述监测目标未离开所述隐私区域，则触发所述隐私区域的警报；等待第二预设时间后，若所述监测目标未消除所述警报，则启动所述隐私区域的监测设备。

具体地，为了在全面实施家庭视频监控的同时保证家人的隐私，在家庭中进行全方位的视频监控，并在隐私区域进行智能控制。所述隐私区域包括卫生间和/或卧室，但不限于此。

例如，图5为本发明具体实施例中的一种隐私区域监控方法的流程示意图，以卫生间为例，当监测目标进入卫生间，则卫生间的监控设备自动关闭。假设第一预设时间为15分钟，则15分钟后，若所述监测目标未从卫生间离开，则触发警报。若此时所述监测目标无危险行为，可通过控制设备消除所述警报。假设第二预设时间为2分钟，若在2分钟后警报仍未接触，则启动卫生间的监控设备，如果发现异常现象，则自动提示监护人。

本发明具体实施例中，通过设置隐私区域的监控方法，在最大化的实施家庭视频监控的同时，有效保护了家人的隐私。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种家庭环境下的行为识别方法，其特征在于，包括：

步骤S1，根据监测目标任一时刻的人体轮廓图计算所述监测目标该时刻的轮廓质心；

步骤S2，将所述监测目标前一时间段中若干个时刻的轮廓质心的均值与该时刻的轮廓质心的差值作为所述监测目标该时刻的行为特征；

步骤S3，若所述监测目标该时刻的行为特征不在预设的行为范围内，则将所述监测目标该时刻的轮廓质心和行为特征输入异常行为判别模型，获取所述监测目标该时刻的行为判断结果；

若所述监测目标该时刻的行为判断结果为异常行为，还包括：

步骤S41，对该时刻的目标区域图像进行多个方向的滤波，获取所述多个方向对应的滤波结果；

步骤S42，将所述多个方向对应的滤波结果的最大值作为最优方向值；

步骤S43，若所述最优方向值大于判别阈值，则所述监测目标该时刻的行为为危险行为；否则，所述监测目标该时刻的行为为正常行为；

所述步骤S42与步骤S43间，还包括：

统计所述最优方向值中每一值出现的频数H＝{h₁,...,h_n}和像素个数Sum；其中，H为频数集合，h₁为第一个值的频数，h_n为第n个值的频数，n为所述最优方向值中值的总数；

将满足下式的K的最大值作为判别阈值，其中h_i为第i个值的频数：

2.根据权利要求1所述的方法，其特征在于，还包括：

步骤S0，基于家庭监控视频，应用Canny算子获取监测目标任一时刻的人体轮廓图。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

所述监测目标任一时刻的人体轮廓图包括多个点，获取各点的坐标，并根据下式计算所述监测目标该时刻的轮廓质心

其中，x_i和y_i分别为第i点的横坐标和纵坐标，K为所述人体轮廓图中点的数量，

和

分别为所述轮廓质心的横坐标和纵坐标。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：

根据下式计算所述监测目标该时刻的行为特征：

式中，λ为t时刻的行为特征，T为预设的时间周期内的时刻数，Y_i为i时刻的轮廓质心的纵坐标，Y_t为t时刻的实际轮廓质心的纵坐标。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3前，还包括：

将若干个监测目标若干个时刻的行为特征、轮廓质心和行为判断结果输入分类器进行训练，直至所述分类器的精度达到预设的目标精度或训练次数达到预设的训练次数阈值；

将训练得到的分类器作为异常行为判别模型。

6.根据权利要求1所述的方法，其特征在于，所述步骤S41进一步包括：

应用四个方向滤波器对该时刻的目标区域图像进行0、45°、90°和135°角度的方向滤波，应用下式获取对应的滤波结果：

式中，f_k(x,y)为第k个方向对应的滤波结果，H_k为第k个方向滤波器，I(x,y)为目标区域图像，所述方向滤波器的二维尺寸为2m+1，m为大于或等于0的整数，k＝0,1,2,3。

7.根据权利要求1至6中任一权利要求所述的方法，其特征在于，应用粒子滤波实现对所述监测目标的跟踪。

8.根据权利要求1至6中任一权利要求所述的方法，其特征在于，

若监测目标进入预设的隐私区域，则关闭所述隐私区域的监控设备；

等待第一预设时间后，若所述监测目标未离开所述隐私区域，则触发所述隐私区域的警报；

等待第二预设时间后，若所述监测目标未消除所述警报，则启动所述隐私区域的监测设备。

Images