CN111507185A - 一种基于堆叠空洞卷积网络的摔倒检测方法 - Google Patents

Abstract

本发明公开了一种基于堆叠空洞卷积网络的摔倒检测方法。本发明步骤进行：1、准备摔倒行为训练集；2、通过目标检测算法提取摔倒行为的人物个体，得到新的训练集；3、将训练集的每个人物个体制作关节点热图，并且根据训练集人工定义的摔倒行为的骨骼点分布；4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络；5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像，得到骨骼点的分布结果；将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算，若小于阈值，则判定为摔倒行为。本发明能够在复杂的环境下实时检测摔倒行为，具有较好的鲁棒性。

Description

一种基于堆叠空洞卷积网络的摔倒检测方法

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及到人体动作(摔倒)识别，具体是一种基于堆叠空洞卷积网络的摔倒检测方法。本发明应用于各种类型社区场景下精确检测摔倒行为。

背景技术

随着社会的不断进步，全球的老龄化呈上升趋势，老年人的医疗健康引起广泛关注，据调查统计，摔倒已经成为导致65岁以上老年人意外死亡主要原因。老年人摔倒后，如能得到及时的救助，可大大降低死亡率。

目前摔倒检测的方法主要有基于穿戴式传感器和基于环境传感器的方法。其中前者主要原理是对人体的姿态进行检测，采用加速度传感器、陀螺仪等来根据加速度计数据提取IF-THEN规则来判断是否摔倒。但穿戴设备用户体验较差，不方便日常的活动。而对于基于环境传感器的摔倒检测方法，主要原理是在检测人体目标的活动区域内安装传感器，但是不可控的因素较多，投入成本高。

发明内容

本发明的目的在于针对已有技术的不足，提出一种能够适应复杂场景下的基于堆叠空洞卷积网络摔倒检测方法。

本发明是一种基于堆叠空洞卷积网络的摔倒检测方法，包括如下步骤：

步骤1、准备摔倒行为训练集：从多个角度、多个人物和多个场景采集视频图像数据，添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强；

所述的原始人体姿态数据集中不含有摔倒行为图像；

步骤2、通过目标检测算法提取步骤1获取的人体姿态数据集Ⅰ的每张图像的人物个体，摔倒行为的人物个体，得到新的训练集；

所述的新的训练集中行为的标注类别仅包含摔倒和非摔倒；

步骤3、将训练集的每个人物个体制作关节点热图，并且根据训练集人工定义的摔倒行为的骨骼点分布；

步骤4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络；

步骤5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像，得到骨骼点的分布结果；将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算，若小于阈值，则判定为摔倒行为。

本发明与现有技术相比具有以下优点：

第一：本发明采用了空洞卷积网络，有效避免了因重复上下采样而造成的信息损失，空洞卷积能够在保持分辨率不变的情况下同时增大感受野，学习到更多的细节特征。

第二：本发明采用了堆叠空洞卷积网络，在每次堆叠的过程中，融合了不同尺度的特征，达到了更好的效果。

附图说明

图1是本发明的流程图

图2是空洞卷积原理图

图3是堆叠空洞卷积网络模型图

具体实施方式:

下面结合附图对本发明做详细描述。

实施例1

在复杂场景中，对摔倒行为的检测设备成本大，用户体验差，不可控因素较多。针对目前存在的问题，本发明提出了一种基于堆叠空洞卷积的摔倒检测方法，流程图参照图1，包括如下步骤：

本发明一种基于堆叠空洞卷积网络的摔倒检测方法，按照如下步骤进行：

步骤1、准备摔倒行为训练集：从多个角度、多个人物和多个场景采集视频图像数据，添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强；

所述的原始人体姿态数据集中不含有摔倒行为图像；

步骤2、通过目标检测算法提取步骤1获取的人体姿态数据集Ⅰ的每张图像的人物个体，摔倒行为的人物个体，得到新的训练集；

所述的新的训练集中行为的标注类别仅包含摔倒和非摔倒；

步骤3、将训练集的每个人物个体制作关节点热图，并且根据训练集人工定义的摔倒行为的骨骼点分布；

步骤4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络；

步骤5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像，得到骨骼点的分布结果；将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算，若小于阈值，则判定为摔倒行为。

进一步的，所述的步骤(1)所述的具体过程如下：

1.1先在一个场景的不同角度放置摄像头，对单个人物进行拍摄，视频中的人物模仿各种摔倒的过程；

1.2在不同的场景下对不同的人物个体重复步骤1.1，获得不同场景不同角度不同人物摔倒的视频数据集；

1.3将视频数据集的每一帧转化为图片，根据需要人工删除部分相邻帧的相似图片，减少数据集的规模，最终获得不同场景不同角度不同人物摔倒的摔倒数据集；将摔倒数据集添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强。

进一步的，所述的步骤(3)所述具体实现过程如下：

3.1针对训练集中行为标注类别为摔倒的所有图像，先人工单独标注每张图像的各个骨骼点，获得摔倒数据集Ⅰ；

3.2对于训练集中的所有图像，以每个骨骼点坐标为中心，生成该骨骼点对应的高斯热图，对于图像中缺失的骨骼点生成对应的空白图；

3.3根据获得的摔倒数据集Ⅰ，将身体部位对应的骨骼点进行连接，获得多种摔倒姿态，建立摔倒姿态数据库。

进一步的，所述的步骤(4)所述构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络的过程如下：

4.1构建堆叠空洞卷积网络

堆叠空洞卷积网络由多个并联空洞卷积网络堆叠而成，每个并联空洞卷积网络包括多个具有不同步长卷积核的空洞卷积网络，假设第i个并联空洞卷积网络的第j次空洞卷积操作的特征输出为y_ij，卷积核k，则空洞卷积操作如下：

同理第i个并联空洞卷积网络的第j+1空洞卷积操作如下：

其中Θ表示卷积操作，+表示特征级联，r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野；

4.2训练堆叠空洞卷积网络

4.2.1将预训练好的深度卷积网络模型中的参数加载到堆叠空洞卷积网络，完成堆叠空洞卷积网络的参数初始化；

4.2.2将步骤2获取的训练集输入到初始化后的堆叠空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的堆叠空洞卷积网络；

4.2.3判断训练好的堆叠空洞卷积网络的全局损失值是否小于设定阈值，若是则结束训练，得到最优堆叠空洞卷积网络；若不是则返回步骤4.2.2。

进一步的，所述的步骤5所述过程实现如下：

5.1把需要进行人体摔倒检测的连续几帧采集到的图像输入训练好的堆叠空洞卷积网络，得到骨骼点分布；将身体部位对应的骨骼点进行连接，得到人体姿态图像；

5.2将得到的人体姿态图像与摔倒姿态数据库中的图像做相似度计算，若相似度满足阈值要求，则判定为摔倒，相似度公式如下：

其中l_k表示第k个骨骼边长(两个骨骼点之间的距离),p表示检测的人体姿态图像结果，g表示摔倒姿态数据库中的结果，K表示所有骨骼边的个数，L越小，相似度越大。

实施例2

本发明空洞卷积的原理如图2所示：

空洞卷积网络目前已经应用于语义分割领域，该方面实验说明空洞卷积特别对于捕捉长距离特征有比较好的效果，而人体姿态检测恰恰需要提取一些长距离特征，比如手臂(肩与手腕两个骨骼点)，空洞卷积，从字面上理解，是在标准的卷积层里注入空洞，从此来增加感受野。相比原来正常的卷积层，空洞卷积多了超参数称之为dilation rate(膨胀率)，指的是卷积核的间隔数量(eg.正常的卷积时dilatation rate＝1)

实施例3

本发明堆叠空洞卷积网络结构如图3所示：

所谓堆叠空洞卷积网络指的是网络主体是由多个子网络(空洞卷积网络)构成，每个堆叠子模块由多个具有不同步长的空洞卷积核的空洞卷积网络组成。因此可以学习到不同尺度的特征，进而提高准确率。但是随着空洞卷积核的增大，有效卷积核权重的数量就会变小，比如特征图为65*65，当空洞卷积rate接近于特征图大小时，这时的卷积操作就相当于简单的1*1卷积核的操作，因为只有中心的卷积核为有效权重，为了解决这个问题，我们在模型的最后一层特征图采用全局平局池化，将得到的图像级特征输入到一个1×1256个通道的卷积层(加入batch normalization)中，然后将特征进行双线性上采样(bilinearlyupsample)到特定的空间维度。最后连接所有分支的最终特征，输入到另一个1×1卷积(所有的通道个数也为256，并加入batch normalization)，再进入最终的1×1卷积，得到结果。

Claims (5)

1.一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于按照如下步骤进行：

步骤1、准备摔倒行为训练集：从多个角度、多个人物和多个场景采集视频图像数据，添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强；

所述的原始人体姿态数据集中不含有摔倒行为图像；

步骤2、通过目标检测算法提取步骤1获取的人体姿态数据集Ⅰ的每张图像的人物个体，摔倒行为的人物个体，得到新的训练集；

所述的新的训练集中行为的标注类别仅包含摔倒和非摔倒；

步骤3、将训练集的每个人物个体制作关节点热图，并且根据训练集人工定义的摔倒行为的骨骼点分布；

步骤4、构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络；

步骤5、用训练好的堆叠空洞卷积网络检测连续几帧采集到的图像，得到骨骼点的分布结果；将连续几帧的骨骼点分布与人工定义的摔倒行为骨骼点分布进行相似度计算，若小于阈值，则判定为摔倒行为。

2.根据权利要求1所述的一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于步骤(1)所述的具体过程如下：

1.1先在一个场景的不同角度放置摄像头，对单个人物进行拍摄，视频中的人物模仿各种摔倒的过程；

1.2在不同的场景下对不同的人物个体重复步骤1.1，获得不同场景不同角度不同人物摔倒的视频数据集；

1.3将视频数据集的每一帧转化为图片，根据需要人工删除部分相邻帧的相似图片，减少数据集的规模，最终获得不同场景不同角度不同人物摔倒的摔倒数据集；将摔倒数据集添加到原始人体姿态数据集中，获取新的人体姿态数据集Ⅰ，实现数据增强。

3.根据权利要求2所述的一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于步骤(3)所述具体实现过程如下：

3.1针对训练集中行为标注类别为摔倒的所有图像，先人工单独标注每张图像的各个骨骼点，获得摔倒数据集Ⅰ；

3.2对于训练集中的所有图像，以每个骨骼点坐标为中心，生成该骨骼点对应的高斯热图，对于图像中缺失的骨骼点生成对应的空白图；

3.3根据获得的摔倒数据集Ⅰ，将身体部位对应的骨骼点进行连接，获得多种摔倒姿态，建立摔倒姿态数据库。

4.根据权利要求3所述的一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于步骤(4)所述构建堆叠空洞卷积网络并且训练堆叠空洞卷积网络的过程如下：

4.1构建堆叠空洞卷积网络

堆叠空洞卷积网络由多个并联空洞卷积网络堆叠而成，每个并联空洞卷积网络包括多个具有不同步长卷积核的空洞卷积网络，假设第i个并联空洞卷积网络的第j次空洞卷积操作的特征输出为y_ij，卷积核k，则空洞卷积操作如下：

同理第i个并联空洞卷积网络的第j+1空洞卷积操作如下：

其中Θ表示卷积操作，+表示特征级联，r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野；

4.2训练堆叠空洞卷积网络

4.2.1将预训练好的深度卷积网络模型中的参数加载到堆叠空洞卷积网络，完成堆叠空洞卷积网络的参数初始化；

4.2.2将步骤2获取的训练集输入到初始化后的堆叠空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的堆叠空洞卷积网络；

4.2.3判断训练好的堆叠空洞卷积网络的全局损失值是否小于设定阈值，若是则结束训练，得到最优堆叠空洞卷积网络；若不是则返回步骤4.2.2。

5.根据权利要求4所述的一种基于堆叠空洞卷积网络的摔倒检测方法，其特征在于步骤5所述过程实现如下：

5.1把需要进行人体摔倒检测的连续几帧采集到的图像输入训练好的堆叠空洞卷积网络，得到骨骼点分布；将身体部位对应的骨骼点进行连接，得到人体姿态图像；

5.2将得到的人体姿态图像与摔倒姿态数据库中的图像做相似度计算，若相似度满足阈值要求，则判定为摔倒，相似度公式如下：

其中l_k表示第k个骨骼边长(两个骨骼点之间的距离),p表示检测的人体姿态图像结果，g表示摔倒姿态数据库中的结果，K表示所有骨骼边的个数，L越小，相似度越大。

Images