CN110555368A - 基于三维卷积神经网络的跌倒行为识别方法 - Google Patents

Abstract

本发明公开了一种基于三维卷积神经网络的跌倒行为识别方法，首先获得并预处理跌倒数据集视频，得到跌倒行为视频样本；将视频采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法去除背景，再用小面积去除及形态学方法得到完整人体目标区域；提取人体目标区域的光流运动历史图像特征，然后对特征图像用数据重叠扩增的方式增加样本集；将重叠扩增后的跌倒行为样本集按照7:3的比例随机分成训练样本集和验证样本集输入3D卷积神经网络模型分类器并不断迭代训练，同时使用验证样本集不断验证模型分类器；将测试样本集输入训练后的模型分类器中，完成跌倒行为识别。本发明解决了现有跌倒检测方法受背景干扰导致分类识别率及精度低的问题。

Description

基于三维卷积神经网络的跌倒行为识别方法

技术领域

本发明属于图像分类识别方法技术领域，具体涉及一种基于三维卷积神 经网络的跌倒行为识别方法。

背景技术

在全球老龄化现象加剧的情况下，跌倒成为老年人首要的健康威胁之一。 越来越多的老人独居生活，无人照看，发生意外时不能及时被发现，导致老 年人的生活存在很大安全隐患。

随着我国平安城市、智能交通等各项建设的持续开展，将机器视觉技术 融入视频监控系统的方法，已成为现在的热门研究问题。目前，现有的方法 大多是应用传统的机器学习方法进行跌倒行为识别，识别率不高，导致不能 及时对老人进行救治。因此，如何高效、准确、实时的检测老人跌倒是现在 迫切需要解决的问题。

发明内容

本发明的目的是提供一种基于三维卷积神经网络的跌倒行为识别方法， 解决了现有跌倒检测方法受背景干扰导致分类识别率及精度低的问题。

本发明所采用的技术方案是，基于三维卷积神经网络的跌倒行为识别方 法，具体按照以下步骤实施：

步骤1、获得并预处理跌倒数据集视频，得到跌倒行为视频样本；

步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差 法结合的目标检测方法进行背景去除，再用小面积去除及形态学方法得到完 整人体目标区域；提取人体目标区域的光流运动历史图像特征，然后对特征 图像用数据重叠扩增的方式增加样本集；

步骤3、将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例 随机分成训练样本集和验证样本集；

步骤4、将步骤3中的训练样本集输入3D卷积神经网络模型分类器并 不断迭代训练，同时使用验证样本集不断验证模型分类器；

步骤5、将步骤2的测试样本集输入步骤4训练后的模型分类器中，完 成跌倒行为识别。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1、将每个行为视频统一压缩至分辨率为240×320，得到视频帧 大小统一的跌倒行为视频；

步骤1.2，通过图像增强的方法处理步骤1.1的跌倒行为视频，得到增强 后的视频。

步骤2中采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方 法进行背景去除具体如下：

使用自适应阈值的三帧差法，将三帧连续图像相邻两帧差分得到两个差 分图像，自适应阈值处理过后将两个图像进行“与”运算，得到相邻三帧间有 相对运动发生的区域ψ_c，将区域ψ_c分为ψ_ub和ψ_m，若是无运动区域，则建立混 合高斯模型实时更新，若有运动区域，将已被确定为运动目标区域的像素点 与该像素点的前B个高斯分布互相匹配，高斯分布按ω_i，t，k/σ_i，t，k的值递减排列， 其中ω_i，t，k、σ_i，t，k分别表示第i个高斯分布的权重和方差，匹配原则如公式(1) 所示：

|X_t-μ_i，t-1|≤2.5σ_i，t-1 (1)

式中，X_t表示当前的新像素值，μ_i，t-1表示第t-1时刻的均值，σ_i，t-1表示 第t-1时刻的方差，

如果X_t与模型存在匹配关系，则认为该像素点为背景点，若该点与所有 的高斯模型都不存在匹配关系，则认为该点属于前景目标点；

选择3α准则进行自适应阈值二值化处理，阈值设定如公式(2)所示：

T＝3α+μ (2)

其中，α表示两个差分图像均值相加和的平均值，μ表示两个差分图像 方差相加和的平均值。

步骤2中对结果进行小面积去除及形态学处理具体如下：

首先对目标图像进行膨胀操作，填充断裂区域；对目标图像进行腐蚀操 作，中和膨胀的区域，减少因膨胀带来的图像失真；计算各个轮廓面积；然 后轮廓面积筛选，得到最大的区域轮廓。

步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下：

将光流法与运动历史图像结合获得人体轮廓剪影，按照公式(3)进行 处理：

flow_mhi_i＝flow_mhi_i-1+flow_i-mean(flow_whi_i-1+flow_i)*a (3)

其中，flow_mhi_i表示最终所求第i帧的光流运动历史图像，flow_i表示 第i帧的光流图像。

系数a＝0.8。

步骤2中采用数据重叠扩增的方式增加训练样本，数据重叠扩增的具体 操作如下：

3D卷积神经网络以10帧为1个输入，设置对每个跌倒视频样本在每隔 5帧后再采样一个连续的10帧连续视频帧序列，即从1到10帧为一个样本， 6到15帧为第二个样本，11到20为第三个样本，以此类推，最终得到重叠 扩增后的跌倒行为样本集。

步骤4具体如下：

步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模 型中，训练时每个批样本数包含10帧图片，读取一次的形状为 10×10×240×320×3的五维张量，以及10帧对应的标签，形状为16×1的一维 张量，模型的初始学习率设为0.0003，学习率衰减率为0.9，权重的衰退率 为0.0005，随机失活Dropout设置值为0.5，最大迭代次数为20K次；

步骤4.2、模型分类器中网络模型包含10层，输入是连续10帧的光流 运动历史图像，分辨率大小240×320；共包含7个卷积层：Conv1、Conv2、 Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层：Pool1、Pool2、Pool3、 Pool4、Pool5、2个全连接层：Fc6、Fc7以及一个softmax分类层，其中在 每个卷积层和全连接层后均接入ReLu非线性层，在全连接层的ReLu非线 性层后采用Dropout技术，以固定概率p随机丢弃网络中的一部分神经网络 单元，被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献，防止 网络训练出现过拟合现象；

步骤4.3、所有的卷积层均采用3D卷积核，大小为3×3×3，步长均为 1×1×1，卷积核的个数依次设定为64、64、128、256、256，池化层均采用 3D最大池化，采用3D池化进行下采样，除了第一层采用1×2×2大小的池 化核和1×2×2大小的步长，其余池化层均采用2×2×2大小的池化核和步长， 两层全连接层各含有512个输出单元；

步骤4.4、在3D卷积神经网络中不断迭代训练，得到训练好的模型，将 测试样本集输入训练好的模型中，用softmax回归模型进行分类，最终得到 分类的结果。

本发明的有益效果是，基于三维卷积神经网络的跌倒行为识别方法，采 用光流运动历史图像作为输入，它相比堆叠光流特征含有更多的有用信息， 减少了冗余信息的计算，提高了算法的识别率；本发明的识别方法所训练的 模型分类器参数量比较少，训练用时较少，收敛速度快，识别准确率高；本 发明的识别方法能够不断增加人体行为类别，具有较好的鲁棒性、扩展性。

附图说明

图1是本发明基于三维卷积神经网络的跌倒行为识别方法中模型分类器 训练流程图；

图2是本发明基于三维卷积神经网络的跌倒行为识别方法中的基于混合 高斯与自适应阈值的三帧差法结合的目标检测结果图像；

图3是本发明基于三维卷积神经网络的跌倒行为识别方法中的光流运动 历史图像；

图4是本发明基于三维卷积神经网络的跌倒行为识别方法中数据重叠扩 增的示意图；

图5是基于三维卷积神经网络的跌倒行为识别方法中模型分类器网络结 构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于三维卷积神经网络的跌倒行为识别方法，如图1所示，具体 按照以下步骤实施：

步骤1、获得并预处理跌倒数据集视频，得到跌倒行为视频样本，具体 按照以下步骤实施：

步骤1.1、将每个行为视频统一压缩至分辨率为240×320，得到视频帧 大小统一的跌倒行为视频；

步骤1.2，通过图像增强的方法处理步骤1.1的跌倒行为视频，得到增强 后的视频。

步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差 法结合的目标检测方法进行背景去除，再用小面积去除及形态学方法得到完 整人体目标区域；提取人体目标区域的光流运动历史图像特征，然后对特征 图像用数据重叠扩增的方式增加样本集，其中采用基于混合高斯与自适应阈 值的三帧差法结合的目标检测方法进行背景去除具体如下：

使用自适应阈值的三帧差法，将三帧连续图像相邻两帧差分得到两个差 分图像，自适应阈值处理过后将两个图像进行“与”运算，得到相邻三帧间有 相对运动发生的区域ψ_c，将区域ψ_c分为ψ_ub和ψ_m，若是无运动区域，则建立混 合高斯模型实时更新，若有运动区域，将已被确定为运动目标区域的像素点 与该像素点的前B个高斯分布互相匹配，高斯分布按ω_i，t，k/σ_i，t，k的值递减排列， 其中ω_i，t，k、σ_i，t，k分别表示第i个高斯分布的权重和方差，匹配原则如公式(1) 所示：

|X_t-μ_i，t-1|≤2.5σ_i，t-1 (1)

式中，X_t表示当前的新像素值，μ_i，t-1表示第t-1时刻的均值，σ_i，t-1表示 第t-1时刻的方差，

如果X_t与模型存在匹配关系，则认为该像素点为背景点，若该点与所有 的高斯模型都不存在匹配关系，则认为该点属于前景目标点；

选择3α准则进行自适应阈值二值化处理，阈值设定如公式(2)所示：

T＝3α+μ (2)

其中，α表示两个差分图像均值相加和的平均值，μ表示两个差分图像 方差相加和的平均值。

步骤2中对结果进行小面积去除及形态学处理具体如下：

首先对目标图像进行膨胀操作，填充断裂区域；对目标图像进行腐蚀操 作，中和膨胀的区域，减少因膨胀带来的图像失真；计算各个轮廓面积；然 后轮廓面积筛选，得到最大的区域轮廓，得到的结果如图2所示。

步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下：

将光流法与运动历史图像结合获得人体轮廓剪影，按照公式(3)进行 处理，结果如图3所示：

flow_mhi_i＝flow_mhi_i-1+flow_i-mean(flow_mhi_i-1+flow_i)*a (3)

其中，flow_mhi_i表示最终所求第i帧的光流运动历史图像，flow_i表 示第i帧的光流图像。由于光流图是灰度图像，所以先将光流图像转化为三 通道图像，利用加和的方法将多帧光流信息压缩至一张图像上，公式中减去 两者均值的方法能令一部分运动历史图像中弱的轮廓消失，系数a＝0.8时效 果最好。

用单个数据集进行训练时，训练数据不太充足，因为跌倒数据集是有限 的，需要找到有效的方法进行数据扩充。因此，采用数据重叠扩增的方式增 加训练样本，步骤2中采用数据重叠扩增的方式增加训练样本，如图4所示， 数据重叠扩增的具体操作如下：

3D卷积神经网络以10帧为1个输入，设置对每个跌倒视频样本在每隔 5帧后再采样一个连续的10帧连续视频帧序列，即从1到10帧为一个样本， 6到15帧为第二个样本，11到20为第三个样本，以此类推，最终得到重叠 扩增后的跌倒行为样本集。

步骤3，将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例 随机分成训练样本集和验证样本集；

为了防止在训练模型分类器过程中出现过拟合，抽出一小部分数据作为 验证数据集，检验模型分类器是否出现过拟合(在不断迭代的过程中，当训 练数据集的识别准确率很高而验证集的识别准确率却很低时，即出现了过拟 合现象)。

步骤4，将步骤3中的训练样本集输入3D卷积神经网络模型分类器并 不断迭代训练，同时使用验证样本集不断验证模型分类器，具体如下：

步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模 型中，训练时每个批样本数包含10帧图片，读取一次的形状为 10×10×240×320×3的五维张量，以及10帧对应的标签，形状为16×1的一维 张量，模型的初始学习率设为0.0003，学习率衰减率为0.9，权重的衰退率 为0.0005，随机失活Dropout设置值为0.5，最大迭代次数为20K次；

步骤4.2、如图5所示，模型分类器中网络模型包含10层，输入是连续 10帧的光流运动历史图像，分辨率大小240×320；共包含7个卷积层：Conv1、 Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层：Pool1、Pool2、 Pool3、Pool4、Pool5、2个全连接层：Fc6、Fc7以及一个softmax分类层， 其中在每个卷积层和全连接层后均接入ReLu非线性层，在全连接层的ReLu 非线性层后采用Dropout技术，以固定概率p随机丢弃网络中的一部分神经网络单元，被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献， 防止网络训练出现过拟合现象；

步骤4.3、所有的卷积层均采用3D卷积核，大小为3×3×3，步长均为 1×1×1，卷积核的个数依次设定为64、64、128、256、256，与二维卷积最 大的不同之处在于，在卷积核上增加了depth时间维度。池化层均采用3D 最大池化，采用3D池化进行下采样，因为三维卷积神经网络采用三维卷积 核，训练后得到的特征维数比较高，为了减少计算量的规模、避免过拟合现 象及保持时间尺度上的不变性，采用3D池化进行下采样，逐步减少立方体 的特征规模。除了第一层采用1×2×2大小的池化核和1×2×2大小的步长，其 余池化层均采用2×2×2大小的池化核和步长，这样做的原因是不过早的缩小 时间序列上的长度。所有层的激活函数均采用ReLu函数，它的优点在于收 敛速度快，可以避免梯度消失问题，两层全连接层各含有512个输出单元；

步骤4.4、在3D卷积神经网络中不断迭代训练，得到训练好的模型，将 测试样本集输入训练好的模型中，用softmax回归模型进行分类，最终得到 分类的结果。softmax是logistic回归模型对于多分类问题的推广，即类的数 量可以是两个以上，softmax可以计算输出属于每一类的概率，这里主要分 为跌倒及非跌倒行为。

步骤5，将步骤2的测试样本集输入步骤4训练后的模型分类器中，完 成跌倒行为识别。

Claims (8)

1.基于三维卷积神经网络的跌倒行为识别方法，其特征在于，具体按照以下步骤实施：

步骤1、获得并预处理跌倒数据集视频，得到跌倒行为视频样本；

步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法进行背景去除，再用小面积去除及形态学方法得到完整人体目标区域；提取人体目标区域的光流运动历史图像特征，然后对特征图像用数据重叠扩增的方式增加样本集；

步骤3、将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例随机分成训练样本集和验证样本集；

步骤4、将步骤3中的训练样本集输入3D卷积神经网络模型分类器并不断迭代训练，同时使用验证样本集不断验证模型分类器；

步骤5、将步骤2的测试样本集输入步骤4训练后的模型分类器中，完成跌倒行为识别。

2.根据权利要求1中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述步骤1具体按照以下步骤实施：

步骤1.1、将每个行为视频统一压缩至分辨率为240×320，得到视频帧大小统一的跌倒行为视频；

步骤1.2、通过图像增强的方法处理步骤1.1的跌倒行为视频，得到增强后的视频。

3.根据权利要求1中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述步骤2中采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法进行背景去除具体如下：

使用自适应阈值的三帧差法，将三帧连续图像相邻两帧差分得到两个差分图像，自适应阈值处理过后将两个图像进行“与”运算，得到相邻三帧间有相对运动发生的区域ψ_c，将区域ψ_c分为ψ_ub和ψ_m，若是无运动区域，则建立混合高斯模型实时更新，若有运动区域，将已被确定为运动目标区域的像素点与该像素点的前B个高斯分布互相匹配，高斯分布按ω_i，t，k/σ_i，t，k的值递减排列，其中ω_i，t，k、σ_i，t，k分别表示第i个高斯分布的权重和方差，匹配原则如公式(1)所示：

|X_t-μ_i，t-1|≤2.5σ_i，t-1 (1)

式中，X_t表示当前的新像素值，μ_i，t-1表示第t-1时刻的均值，σ_i，t-1表示第t-1时刻的方差，

如果X_t与模型存在匹配关系，则认为该像素点为背景点，若该点与所有的高斯模型都不存在匹配关系，则认为该点属于前景目标点；

选择3α准则进行自适应阈值二值化处理，阈值设定如公式(2)所示：

T＝3α+μ (2)

其中，α表示两个差分图像均值相加和的平均值，μ表示两个差分图像方差相加和的平均值。

4.根据权利要求3中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述步骤2中对结果进行小面积去除及形态学处理具体如下：

首先对目标图像进行膨胀操作，填充断裂区域；对目标图像进行腐蚀操作，中和膨胀的区域，减少因膨胀带来的图像失真；计算各个轮廓面积；然后轮廓面积筛选，得到最大的区域轮廓。

5.根据权利要求3中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下：

将光流法与运动历史图像结合获得人体轮廓剪影，按照公式(3)进行处理：

flow_mhi_i＝flow_mhi_i-1+flow_i-mean(flow_mhi_i-1+flow_i)*a (3)

其中，flow_mhi_i表示最终所求第i帧的光流运动历史图像，flow_i表示第i帧的光流图像。

6.根据权利要求5中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述系数a＝0.8。

7.根据权利要求5中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述步骤2中采用数据重叠扩增的方式增加训练样本，数据重叠扩增的具体操作如下：

3D卷积神经网络以10帧为1个输入，设置对每个跌倒视频样本在每隔5帧后再采样一个连续的10帧连续视频帧序列，即从1到10帧为一个样本，6到15帧为第二个样本，11到20为第三个样本，以此类推，最终得到重叠扩增后的跌倒行为样本集。

8.根据权利要求7中的基于三维卷积神经网络的跌倒行为识别方法，其特征在于，所述步骤4具体如下：

步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模型中，训练时每个批样本数包含10帧图片，读取一次的形状为10×10×240×320×3的五维张量，以及10帧对应的标签，形状为16×1的一维张量，模型的初始学习率设为0.0003，学习率衰减率为0.9，权重的衰退率为0.0005，随机失活Dropout设置值为0.5，最大迭代次数为20K次；

步骤4.2、模型分类器中网络模型包含10层，输入是连续10帧的光流运动历史图像，分辨率大小240×320；共包含7个卷积层：Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层：Pool1、Pool2、Pool3、Pool4、Pool5、2个全连接层：Fc6、Fc7以及一个softmax分类层，其中在每个卷积层和全连接层后均接入ReLu非线性层，在全连接层的ReLu非线性层后采用Dropout技术，以固定概率p随机丢弃网络中的一部分神经网络单元，被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献，防止网络训练出现过拟合现象；

步骤4.3、所有的卷积层均采用3D卷积核，大小为3×3×3，步长均为1×1×1，卷积核的个数依次设定为64、64、128、256、256，池化层均采用3D最大池化，采用3D池化进行下采样，除了第一层采用1×2×2大小的池化核和1×2×2大小的步长，其余池化层均采用2×2×2大小的池化核和步长，两层全连接层各含有512个输出单元；

步骤4.4、在3D卷积神经网络中不断迭代训练，得到训练好的模型，将测试样本集输入训练好的模型中，用softmax回归模型进行分类，最终得到分类的结果。