CN111626109A - 一种基于双流卷积神经网络的跌倒行为分析检测方法 - Google Patents

Abstract

本发明公开了一种基于双流卷积神经网络的跌倒行为分析检测方法，首先，提取行人轮廓图像和运动历史图构成跌倒数据集；其次，在跌倒数据集上，使用神经网络搜索模型确定最优的双流卷积神经网络结构，空间流通道输入轮廓图像，时间流通道输入运动历史图；最后，通过融合模块进行跌倒判断。本发明采用的网络结构是精度与延迟之间权衡最优的网络结构，大大较少了冗余结构带来的计算量，减少了硬件设备成本，而且可以在智能终端上实现跌倒行为的分析检测，具有广阔的市场前景。

Description

一种基于双流卷积神经网络的跌倒行为分析检测方法

技术领域

本发明属于智能家居领域，具体涉及一种基于双流卷积神经网络的跌倒行为分析检测方法。

背景技术

传统的跌倒行为识别算法是通过人工设计特征与提取特征，然后使用阈值法或机器学习算法进行分类。然而，人工设计的特征往往不具有全面性，无法准确描述目标。并且传统的跌倒行为检测需要通过佩戴设备，例如，加速器，陀螺仪等，操作较为复杂。另外，传统的跌倒检测方法难以通过更多的数据很好地扩展，适应性差。深度学习和计算机视觉技术的发展为跌倒检测提供了新型的解决方案，例如，卷积神经网络可以通过卷积核提取目标特征，从而避免了人工设计特征的不全面性。通过视觉设备提取的视频可以分解成时间和空间两部分，其中空间流以单帧图像的形式承载着视频中的场景和目标信息，时间流以跨帧运动的形式传递目标的运动信息，获取的数据中包含更丰富的跌倒信息。然而，单流的神经网络在跌倒检测方面的效果不甚理想，且人工设计的网络架构往往无法实现速度与准确性之间的权衡，且是次优的。

发明内容

发明目的：本发明提出一种基于双流卷积神经网络的跌倒行为分析检测方法，可以在智能终端上实现跌倒行为分析检测。

发明内容：本发明提出一种基于双流卷积神经网络的跌倒行为分析检测方法，包括以下步骤：

(1)提取行人轮廓图像和运动历史图构成跌倒数据集；

(2)在跌倒数据集上，使用神经网络搜索模型确定精度与延迟之间权衡最优的双流卷积神经网络结构；

(3)通过融合模块进行跌倒判断。

进一步地，所述步骤(1)包括以下步骤：

(11)使用高斯混合模型提取背景I₀；

(12)对于当前帧图像，遍历每一个像素点，计算D(x,y,t)；D(x,y,t)＝|I(x,y,t)-I₀|，I(x,y,t)为视频图像序列第t帧坐标(x,y)像素点的灰度值；

(13)与设定的差异阈值ξ进行比较，计算运动历史图中的每个像素的灰度值H_τ；

(14)重复步骤(12)和步骤(13)，假设图像为I，则其横向与正向的边缘图像如下：

每一个像素的梯度方向为：

其中，N为像素点个数，θ_i为第i个像素点的梯度方向，

为当前目标运动方向。

进一步地，步骤(2)所述的神经网络搜索模型构建如下：

构建循环神经网络控制器、训练器和智能终端，通过采样、评估和更新不断循环训练控制器，控制器根据现有参数γ采样一组模型，对于每个模型m，计算其在目标任务上的精度ACC(m)和在智能终端运行的推理延迟LAT(m)，计算奖励值R(m)，计算期望奖励函数，使其最大化；不断重复直至达到最大训练轮数或参数γ收敛；神经网络搜索模型的目标函数为：

其中，ω是权重因子，T是目标延迟，ω的取值满足：

L层神经网络是以L-1层神经网络为基础的，神经结构的搜索建模成一个序列问题，即按层去预测网络结构，将搜索空间中的每个CNN模型映射到一系列标记中，这些标记由强化学习智能体基于其参数γ的一系列动作a_1:T确定；RNN 的目标期望奖励函数可以表示为：

其中，m是由动作a_1:T确定的模型，R(m)是由公式(6)定义的目标函数值，优化的目标是确定模型m使期望函数最大化。

进一步地，步骤(2)所述的双流卷积神经网络结构由空间流卷积神经网络和时间流卷积神经网络组成，其中空间流卷积网络和时间流卷积网络分别由五个模块组成，每个模块由不同数目的网络层组成，每个网络层使用的卷积核大小各不相同。

进一步地，所述步骤(3)实现过程如下：

以五十帧为一个时间戳，所述时间戳包含动作的初始状态到结束状态，使用双流卷积网络每隔十帧提取一次当前行人的运动状态，若满足轮廓从竖直到倾斜，再到水平与地面，运动方向一直以顺时针或逆时针方向，则该动判定为跌倒；否则，判定为未跌倒。

有益效果：与现有技术相比，本发明的有益效果：1、本发明采用的网络结构是精度与延迟之间权衡最优的网络结构，大大较少了冗余结构带来的计算量，减少了硬件设备成本，具有广阔的市场前景；2、检测准确率高，能完成大部分情况下的检测任务；在检测速度方面，读取视频的帧速度是25帧/秒，而系统处理每帧的速度在40ms左右，可以实现实时检测的目标；3、能够快速且准确的检测出家居场景下的跌倒行为，及时发出预警信息，保证老人和孩子的生命安全。

附图说明

图1为基于双流卷积神经网络的跌倒行为分析检测模型架构示意图；

图2为行人跌倒对应的运动历史图；

图3为每个像素对应的梯度方向图；

图4为搜索模型结构示意图；

图5为常见动作分解图，其中(a)为行走分解图；(b)为弯腰分解图；(c) 为坐下分解图；(d)为跌倒分解图。

具体实施方式

下面结合附图对本发明作进一步详细说明。本发明提供一种基于双流卷积神经网络的跌倒行为分析检测方法，如图1所示，为分析检测模型架构示意图，具体包括以下步骤：

步骤1：提取行人轮廓图像和运动历史图构成跌倒数据集。

运动历史图(MotionHistoryImage，MHI)是一种可以表示运动信息的灰度图像，通过计算时间段内同一位置的像素点灰度值的变化，将目标运动情况以图像灰度值的形式表现出来，像素灰度值越高表示发生运动的时间越近。因此，运动历史图包含着目标运动方向信息。由于梯度方向对应着像素值变化的方向，并且梯度方向与轮廓边缘正交，所以可以通过梯度方向获取目标的运动方向。

运动历史图中的每个像素的灰度值H_τ可以如下表示：

其中，(x,y)为像素点的位置；t为当前帧数；τ为运动的持续时间，τ的取值过小会导致丢失部分运动信息，从而无法准确检测到人体的运动信息；δ为衰退参数，若像素点运动状态发生改变，则MHI中该点的灰度值减少δ，δ的取值会影响MHI携带的关键信息量，通常情况下取值一般为1；Ψ(x,y,t)为更新函数，本文采用基于高斯混合模型的背景减除法，计算公式如下：

其中，D(x,y,t)＝|I(x,y,t)-I₀|，I(x,y,t)为视频图像序列第t帧坐标(x,y)像素点的会度值，I₀为通过高斯混合模型提取的背景，ξ为人为设定的差异阈值，随着视频场景的变化而调整。本发明按如下步骤提取运动历史图：

(1)使用高斯混合模型提取背景I₀；

(2)对于当前帧图像，遍历每一个像素点，计算D(x,y,t)；

(3)阈值ξ进行比较，根据公式计算H_τ；

(4)重复步骤2和步骤3。

Sobel算子是离散微分算子，用来计算图像灰度的近似梯度。假设图像为I，则其横向与正向的边缘图像如公式3所示：

因此，每一个像素的梯度方向为：

如图2、图3所示，图2为行人跌倒对应的运动历史图，图3为每个像素对应的梯度方向。根据公式(5)，对每一个像素点的梯度方向求平均，即可得到当前目标的运动方向。

步骤2：在跌倒数据集上，使用神经网络搜索模型确定精度与延迟之间权衡最优的双流卷积神经网络结构。

如图1所示，空间流卷积网络和时间流卷积网络分别由五个模块组成，每个模块由不同数目的网络层组成，每个网络成使用的卷积核大小各不相同，具体结构由神经网络搜索而得。

双流模型的基本结构TS-Net如表1所示，c表示通道数，s表示步长，k为输出类别：

表1 TS-Net网络架构

本发明在TS-Net基础上，引入分解式层次搜索空间，允许不同块有不同层结构，增加了层间多样性。对于每个模块，其搜索空间由以下组成：

(1)卷积操作：标准卷积、深度可分离卷积和线性瓶颈层卷积；

(2)卷积核尺寸：3×3，5×5，7×7；

(3)跳跃连接操作：池化，恒等残差块，没有跳跃连接；

(4)输出滤波器尺寸F_i；

(5)每个块的层数N_i。

通过网络搜索可以获得很多CNN模型，最终的模型需要经过模型优化获得。对于一个模型m，假设ACC(m)表示在目标任务上的准确度，LAT(m)表示在目标移动终端的推理延迟，T是目标延迟，即允许的最大延迟时间，则目标函数可以表示为：

其中，ω是权重因子，定义如下：

因为神经网络是层级结构，所以L层神经网络是以L-1层神经网络为基础的，所以神经结构的搜索可以建模成一个序列问题，即按层去预测网络结构。而目前深度学习领域解决序列问题的方法是循环神经网络。将搜索空间中的每个CNN 模型映射到一系列标记中，这些标记由强化学习智能体基于其参数γ的一系列动作a_1:T确定。RNN的目标期望奖励函数可以表示为：

其中，m是由动作a_1:T确定的模型，R(m)是由公式6定义的目标函数值。优化的目标是确定模型m使期望函数最大化。

搜索框架采用图4所示的框架，由三部分组成：循环神经网络控制器，一个训练器来获得模型的准确度和一个移动端用于获得模型的推理延迟。通过采样、评估和更新不断循环训练控制器，首先，控制器根据现有参数γ采样一组模型，对于每个模型m，计算其在目标任务上的准确度ACC(m)和在移动端运行的推理延迟LAT(m)，然后根据公式计算奖励值R(m)，最后，计算期望奖励函数，使其最大化。不断重复以上步骤，直至达到最大训练轮数或参数γ收敛。

步骤3：通过融合模块进行跌倒判断。

由于空间流卷积网络可以提取轮廓信息，时间流卷积网络可以提取运动方向信息，将两者的输出拼接在一起，可以得到当前行人的运动状态。但是仅根据一帧图像检测出的运动状态无法区分不同的动作，因此，本文提出的融合判断方法是以五十帧为一个时间戳，这个时间戳包含动作的初始状态到结束状态，使用双流卷积网络每隔十帧提取一次当前行人的运动状态(轮廓信息和运动方向信息)，若满足轮廓从竖直到倾斜，再到水平与地面，运动方向一直以顺时针或逆时针方向，则该动作为跌倒；否则，判为未跌倒。

在家居场景下，行人常见的动作有行走、弯腰、坐下和跌倒，将这些动作按空间和时间分解，其结果如图5所示。对于动作行走，轮廓外形不变，运动方向水平向右,如图5(a)所示；对于动作弯腰，行人下半身保持不变，上半身的开始不断倾斜，轮廓形状的变化如图5(b)所示，运动方向为顺时针；对于动作坐下，轮廓形状不变，大小不断减小，运动方向为竖直向下，如图5(c)所示；对于动作跌倒，轮廓大小不变，但轮廓不断随着运动方向倾斜，最终轮廓平行于地面，运动方向为顺时针方向，如图5(d)所示。

如表2所示，在同一室内环境下进行，四名实验人员跌倒次数为30次，非跌倒次数为50次，其他条件，如，光照、室内布局均一致，实验共进行200次，系统的检测准确率在92％左右，对于弯腰容易发生误检。

表2跌倒检测准确率测试

由于本算法是部署在智能终端的，所以对本算法的硬件资源消耗和检测速度进行了测试：

硬件资源占用：在运行跌倒检测系统期间，智能终端的CPU占用情况增加了百分之二十，内存占用增加了50％，GPU利用率增加了65％。

检测速度：通过python的内置time模块，可以获取检测的开始时间和结束时间，检测速度的测试结果如下：不存在运动目标时，系统处理每帧图像耗时 12ms；存在跌倒行为时，系统处理每帧图像耗时42ms；存在非跌倒行为时，系统处理每帧图像耗时为38ms。

综上所述，本文发明提出的基于双流卷积神经网络的跌倒行为分析检测方法，在检测准确率方面有较好的表现，能完成大部分情况下的检测任务；在硬件资源消耗方面，在GPU和内存方面占用较大，但是智能终端的设备可以提供其对硬件的要求，符合算法预期要求；在检测速度方面，读取视频的帧速度是25 帧/秒，而系统处理每帧的速度在40ms左右，所以基本可以实现实时检测的目标。

Claims (5)

1.一种基于双流卷积神经网络的跌倒行为分析检测方法，其特征在于，包括以下步骤：

(1)提取行人轮廓图像和运动历史图构成跌倒数据集；

(2)在跌倒数据集上，使用神经网络搜索模型确定精度与延迟之间权衡最优的双流卷积神经网络结构；

(3)通过融合模块进行跌倒判断。

2.根据权利要求1所述的一种基于双流卷积神经网络的跌倒行为分析检测方法，其特征在于，所述步骤(1)包括以下步骤：

(11)使用高斯混合模型提取背景I₀；

(12)对于当前帧图像，遍历每一个像素点，计算D(x,y,t)；D(x,y,t)＝|I(x,y,t)-I₀|，I(x,y,t)为视频图像序列第t帧坐标(x,y)像素点的灰度值；

(13)与设定的差异阈值ξ进行比较，计算运动历史图中的每个像素的灰度值H_τ；

(14)重复步骤(12)和步骤(13)，假设图像为I，则其横向与正向的边缘图像如下：

每一个像素的梯度方向为：

其中，N为像素点个数，θ_i为第i个像素点的梯度方向，

为当前目标运动方向。

3.根据权利要求1所述的一种基于双流卷积神经网络的跌倒行为分析检测方法，其特征在于，步骤(2)所述的神经网络搜索模型构建如下：

构建循环神经网络控制器、训练器和智能终端，通过采样、评估和更新不断循环训练控制器，控制器根据现有参数γ采样一组模型，对于每个模型m，计算其在目标任务上的准确度ACC(m)和在智能终端运行的推理延迟LAT(m)，计算奖励值R(m)，计算期望奖励函数，使其最大化；不断重复直至达到最大训练轮数或参数γ收敛；神经网络搜索模型的目标函数为：

其中，ω是权重因子，T是目标延迟，ω的取值满足：

L层神经网络是以L-1层神经网络为基础的，神经结构的搜索建模成一个序列问题，即按层去预测网络结构，将搜索空间中的每个CNN模型映射到一系列标记中，这些标记由强化学习智能体基于其参数γ的一系列动作a_1:T确定；RNN的目标期望奖励函数可以表示为：

其中，m是由动作a_1:T确定的模型，R(m)是由公式(6)定义的目标函数值，优化的目标是确定模型m使期望函数最大化。

4.根据权利要求1所述的一种基于双流卷积神经网络的跌倒行为分析检测方法，其特征在于，步骤(2)所述的双流卷积神经网络结构由空间流卷积神经网络和时间流卷积神经网络组成，其中空间流卷积网络和时间流卷积网络分别由五个模块组成，每个模块由不同数目的网络层组成，每个网络层使用的卷积核大小各不相同。

5.根据权利要求1所述的一种基于双流卷积神经网络的跌倒行为分析检测方法，其特征在于，所述步骤(3)实现过程如下：

以五十帧为一个时间戳，所述时间戳包含动作的初始状态到结束状态，使用双流卷积网络每隔十帧提取一次当前行人的运动状态，若满足轮廓从竖直到倾斜，再到水平与地面，运动方向一直以顺时针或逆时针方向，则该动判定为跌倒；否则，判定为未跌倒。

Images