CN115661943A - 一种基于轻量级姿态评估网络的跌倒检测方法 - Google Patents

Abstract

本发明公开了一种基于轻量级姿态评估网络的跌倒检测方法，属于行为识别技术领域。本发明包括：对于获取的关于人体行为图像，首先利用目标检测网络检测出人体的包围框，将人体包围框所在区域切割出来作为轻量级姿态评估网络的输入，以实时得到人体骨骼关键点信息，再将关键点按照预设顺序进行连接以获取二值化的人体骨架图，并计算出骨架图的宽高比值。然后，将人体骨架图输入基于全局平均池化的卷积神经网络二分类模型进行特征提取。最后由Softmax函数输出的分类结果结合骨架宽高比来判断人体是否发生跌倒。本发明在降低网络模型参数量和计算量以保证实时性的同时兼顾了检测准确率。

Description

一种基于轻量级姿态评估网络的跌倒检测方法

技术领域

本发明涉及计算机视觉中的行为识别技术领域，具体一种基于轻量级姿态评估网络的跌倒检测方法。

背景技术

随着世界人口老龄化程度不断加深，老年人口数量庞大且增长速度快，由于老年人的身体平衡能力、各种慢性疾病等原因，老人又属于易跌倒人群，所以在许多疾病突发时，能及时发现，及时送医对挽救老人的生命、防止老人病情恶化造成无法挽救的后果十分重要。因此，各式各样的跌倒检测方法应运而生。

目前针对老年人跌倒检测的研究主要分为基于可穿戴设备、基于环境传感器、基于计算机视觉三种方式。前两种方式存在着设备复杂、成本较高等技术问题。

基于计算机视觉的跌倒检测方法又分为传统几何特征方法和机器学习方法。机器学习方法中利用的人体姿态识别项目是基于卷积神经网络和监督学习开发的，其可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的准确性和鲁棒性，但其所使用的特征提取网络耗费大量计算资源，并且使用了很多的参数，导致内存占用过大。随后相继提出了很多轻量化网络，虽然大大减少了网络的计算量和参数数量，但代价是损失了一定精度。

跌倒检测时常使用机器学习机（SVM）等分类器或卷积神经网络（CNN）算法结合长短期记忆网络（LSTM）来检测跌倒，虽然精度高但并行处理能力较差，将耗费大量的运算时间和机器内存，而单纯使用全连接层分类又会因参数量过大而容易导致过拟合，且精度较低。

发明内容

本发明提供了一种基于轻量级姿态评估网络的跌倒检测方法，在降低网络模型参数量和计算量以保证实时性的同时兼顾检测准确率。

本发明采用的技术方案为：

一种基于轻量级姿态评估网络的跌倒检测方法，该方法包括下列步骤：

步骤S1，采集包含人体行为的图像作为训练图像集，并设置各幅图像的跌倒标签；

步骤S2，将训练图像集中的图像输入预置的人体检测网络中进行人体检测，当检测到人体时，提取人体区域得到人体图像；

步骤S3，将人体图像输入预置的姿态评估网络中，提取人体关键点信息；按照预置顺序连接所提取的人体关键点生成二值化的人体骨架图；

所述姿态评估网络包括特征提取网络和人体关键点提取网络，特征提取网络用于提取人体图像的特征信息并输入人体关键点提取网络，人体关键点提取网络用于预测人体关键点的位置信息；

步骤S4，构建及训练用于跌倒检测的二分类模型，得到跌倒检测分类器；

所述二分类模型为基于全局平均池化的卷积神经网络，其输入为二值化的人体骨架图，输出为是否跌倒的跌倒分类结果；

步骤S5，基于跌倒检测分类器获取目标图像的跌倒检测结果：

将待检测的目标图像输入人体检测网络，当检测到人体时，提取人体区域得到待识别人体图像；否则，继续输入下一幅待检测的目标图像；

将待识别人体图像输入姿态评估网络，得到目标对象的二值化的人体骨架图，并计算人体骨架的宽高比；

将目标对象的二值化的人体骨架图输入跌倒检测分类器，得到目标对象的跌倒分类结果；

基于目标对象的跌倒分类结果与人体骨架的宽高比的加权融合得到目标对象的跌倒检测值，若跌倒检测值大于或等于预置的检测阈值，则判定目标对象发生跌倒。

进一步的，二分类模型依次包括多层堆叠的卷积层、一层全局平均池化层和Softmax函数层，其中，多层堆叠的卷积层用于提取二值化的人体骨架图的图像特征，全局平均池化层对提取的图像特征进行池化计算，得到对应输出类别的置信值，再经Softmax函数层输出跌倒分类结果，即置信值最大的输出类别。

进一步的，步骤S4中，对二分类模型的训练具体为：

随机抽取步骤S3得到的二值化的人体骨架图，将抽取出的二值化的人体骨架图划分为训练集和测试集；并在训练集和测试集下划分跌倒和非跌倒的数据集。

对二分类模型，设置不同的模型初始参数，基于训练集中的二值化的人体骨架图对不同模型初始参数的二分类模型分别进行多次训练，得到多个训练好的候选二分类模型；

对各候选二分类模型，分别基于测试集测试其跌倒检测准确率，将最高跌倒检测准确率所对应的候选二分类模型作为跌倒检测分类器。

进一步的，姿态评估网络的特征提取网络的网络结构依次包括：第一卷积块，多个倒残差块组成的堆叠结构、第二卷积块、平均池化层、全连接块和全连接层；

其中，第一卷积块包括卷积操作、批归一化操作和采用H-swish激活函数的映射；

倒残差块包括深度可分离卷积层和残差连接，且堆叠结构中的部分倒残差块还包括通道注意力机制。

全连接块包括全连接操作，批归一化操作和采用H-swish激活函数的映射；

第二卷积块包括卷积操作、批归一化操作、采用H-swish激活函数的映射以及通道注意力机制。

进一步的，姿态评估网络的特征提取网络的堆叠结构包括11个倒残差块，按照前向传播的方向，第1至第3个倒残差块的激活函数设置为RELU激活函数，且采用的卷积核大小均设置为3×3，第4至第11个倒残差块激活函数设置为H-swish激活函数；且采用的卷积核大小均设置为5×5；且除第2和第3个倒残差块外，其余倒残差块均包括通道注意力机制。

进一步的，姿态评估网络的特征提取网络的堆叠结构包括15个倒残差块，按照前向传播的方向，第1至第6个倒残差块的激活函数设置为RELU激活函数，第7至第15个倒残差块激活函数设置为H-swish激活函数；第1至第3个，以及第7个至第12个倒残差块均采用3×3的卷积核；第4个至第6个，以及第13至第15个倒残差块均采用5×5的卷积核；且第4个至第6个，以第11至第15个倒残差块均包括通道注意力机制。

进一步的，所述二分类模型包括5层卷积层，且每一层卷积层的卷积核大小设置为3×3，填充值设置为1，步长设置为1，第1至第5层卷积层的输出通道数依次设置为：64、128、256、512、512；并在每两层卷积层之间依次设置批归一化层和RELU激活函数。

进一步的，计算人体骨架的宽高比具体为：

计算人体骨架的宽度W：获取所有人体关键点的横坐标的最大值和最小值，再基于横坐标的最大值与最小值之差得到宽度W；

计算人体骨架的高度H：获取所有人体关键点的纵坐标的最大值和最小值，再基于纵坐标的最大值与最小值之差得到高度H；

根据R=W/H得到人体骨架的宽高比R。

进一步的，步骤S5中，目标对象的跌倒检测值的计算方式为：E=a×c+b×（R-1）；

其中，E表示目标对象的跌倒检测值，c表示目标对象的跌倒分类结果，R表示人体骨架的宽高比，a和b分别表示目标对象的跌倒分类结果和人体骨架的宽高比的权重，且满足a+b=1。

本发明提供的技术方案至少带来如下有益效果：

（1）首先基于目标检测模型检测出的人体包围框（人体区域）作为轻量级姿态评估网络的输入，提高了轻量级姿态评估网络的关键点检测准确率；

（2）所采用的姿态评估网络的特征提取网络，能显著减少计算量，以加快运算速度，保证检测过程的实时性；

（3）根据检测出的关键点连接形成的二值化的人体骨架图作为用于跌倒检测的二分类模型（基于卷积升级网络的二分类模型）的输入，极大减少了图片的特征和卷积运算的难度；

（4）没有使用SVM分类器等复杂方式，而是采用全局平均池化层替代传统全连接层的卷积神经网络,避免了问题复杂化和全连接层参数冗余，容易导致模型过拟合的问题，并使用宽高比辅助判断人体是否跌倒，提高了分类的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种基于轻量级姿态评估网络的跌倒检测方法的处理流程图；

图2是本发明实施例中，生成的二值化的人体骨架图的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例提供的一种基于轻量级姿态评估网络的跌倒检测方法的具体实现过程包括：

步骤S1，获取训练图像集：

采集包含人体行为的图像作为训练图像集，并设置各幅图像的跌倒标签；

优选的，作为训练图像的拍摄物距离地面不能太高，否则难以确定判断跌倒的骨架宽高比的阈值；即拍摄装置距离地面的高度在指定的范围内。

步骤S2，提取人体图像：

将训练图像集中的图像输入预置的人体检测网络中进行人体检测，当检测到人体时，提取人体区域（检测出的人体包围框）得到人体图像；

优选的，本步骤中，可利用目标检测算法Yolov5s算法检测出图片里人体的包围框，若存在则将其所在的区域切割出来得到人体图像并进入步骤S3，否则继续输入图像。Yolov5s网络主要由Input（输入部分），Backbone（骨干网，在不同图像细粒度上聚合并形成图像特征的卷积神经网络），Neck（一系列混合和组合图像特征的网络层，并将图像特征传递到预测层），Output（预测层）四个部分组成。输入端采用了Mosaic数据增强的方式（将四张图片进行随机裁剪，再拼接到一张图上作为训练数据）。Backbone结构包含Focus结构和跨阶段局部网络(cross stage partial network，CSPNet)。其中，Focus结构包含切片操作和卷积操作，将原始608×608×3的图像输入Focus结构，采用切片和卷积操作，变为304×304×12的特征图，再经过一次32个卷积核的卷积操作，最终变为304×304×32的特征图。CSPNet通过不同层间的特征信息来获得更加丰富的特征图。Neck结构在FPN结构（特征金字塔结构）的基础上添加了路径聚合网络(path aggregation network，PAN)结构，并采用借鉴CSPNet设计的CSP（Cross Stage Partial）结构，加强网络特征融合的能力。输出端使用了GIOU（Generalized Intersection Over Union）损失作为损失函数，增加了相交尺度的衡量，缓解了IOU（交并比）损失无法优化两个框不相交的问题。

步骤S3，提取人体关键点信息，生成二值化的人体骨架图：

将人体图像输入预置的姿态评估网络中，提取人体关键点信息；按照预置顺序连接所提取的人体关键点生成二值化的人体骨架图；姿态评估网络包括特征提取网络和人体关键点提取网络，特征提取网络用于提取人体图像的特征信息并输入人体关键点提取网络，人体关键点提取网络用于预测人体关键点的位置信息。

优选的，姿态评估网络的特征提取网络的网络结构可设置为：依次包括第一卷积块，多个倒残差块组成的堆叠结构、第二卷积块、平均池化层、全连接块和全连接层；第一卷积块包括卷积操作、批归一化操作和采用H-swish激活函数的映射；倒残差块包括深度可分离卷积层和残差连接，且堆叠结构中的部分倒残差块还包括通道注意力机制；全连接块包括全连接操作，批归一化操作和采用H-swish激活函数的映射；第二卷积块包括卷积操作、批归一化操作、采用H-swish激活函数的映射以及通道注意力机制。

倒残差块的数量可以基于实际处理的场景进行确定，通常可设置为11或15个。作为一种可能的实现方式，当特征提取网络的堆叠结构包括11个倒残差块时，按照前向传播的方向，第1至第3个倒残差块的激活函数设置为RELU激活函数，且采用的卷积核大小均设置为3×3，第4至第11个倒残差块激活函数设置为H-swish激活函数；且采用的卷积核大小均设置为5×5；且除第2和第3个倒残差块外，其余倒残差块均包括通道注意力机制。

作为一种可能的实现方式，当特征提取网络的堆叠结构包括15个倒残差块时，按照前向传播的方向，第1至第6个倒残差块的激活函数设置为RELU激活函数，第7至第15个倒残差块激活函数设置为H-swish激活函数；第1至第3个，以及第7个至第12个倒残差块均采用3×3的卷积核；第4个至第6个，以及第13至第15个倒残差块均采用5×5的卷积核；且第4个至第6个，以第11至第15个倒残差块均包括通道注意力机制。

其中，倒残差块的深度可分离卷积将标准卷积分两步进行，首先进行深度卷积，然后进行点卷积。通过倒残差结构进行通道扩增并进行单通道特征提取和多通道信息组合减少计算复杂度。当卷积核大小为k时，深度可分离卷积计算量约为标准卷积的1/k²。此外，在计算量和参数量受限的前提下还可使用NAS(Neural Architecture Search)对全局倒残差模块进行循环神经网络(Recurrent NeuralNetwork，RNN)的空间搜索，再使用自动模型剪枝（NetAdapt）对各模块的网络层进行局部微调，使模型能够寻找速度和精度权衡的有效网络。以及引入轻量级的通道注意力机制（SE）和H-swish激活函数在降低计算量的同时提升了准确率。

本发明实施例中，所采用的人体关键点一共包括17个，参考图2，其分别为：鼻部（关键点0）、左右眼睛（关键点14和15）、左右耳部（关键点16和17））、颈部（关键点1）、左右肩部（关键点2和5）、左右肘（关键点3和6）、左右手（关键点4和7）、左右腰部（关键点8和11）、左右膝（关键点9和12）、左右脚（关键点10和13）。

在跌倒时人体外接矩形宽高比变化最为明显。在拍摄物距离地面不过高时，拍摄到人直立活动的情况下，人体高度会大于宽度，而当发生跌倒时人体高度将会变得较低，宽度会变得较大。具体宽度W、高度H和宽高比R的计算公式为：

W=max(x₀,x₁,…,x₁₇)-min(x₀,x₁,…,x₁₇)；

H=max(y₀,y₁,…,y₁₇)-min(y₀,y₁,…,y₁₇)；

R=W/H；

其中，x₀,x₁,…,x₁₇表示17个人体关键点的横坐标，y₀,y₁,…,y₁₇表示17个人体关键点的纵坐标。

步骤S4，构建及训练用于跌倒检测的二分类模型，得到跌倒检测分类器：

二分类模型为基于全局平均池化的卷积神经网络，其输入为二值化的人体骨架图，输出为是否跌倒的跌倒分类结果；

优选的，该二分类模型共包括6层神经网络，包含5层卷积层和1层全局平均池化层，每一层卷积层的卷积核大小设置为3×3，填充值设置为1，步长设置为1，第1至第5层卷积层的输出通道数依次设置为：64、128、256、512、512；并在每两层卷积层之间依次设置批归一化层和RELU激活函数。全局平均池化层对卷积层提取的特征进行池化计算，得到对应输出类别的置信值，然后由Softmax输出跌倒分类结果；例如定义1表示跌倒，-1或0表示没有发生跌倒。

为了进一步提升跌倒检测网络的预测准确性，本发明实施例中，对二分类模型的训练具体为：

随机抽取二值化的人体骨架图，将抽取出的二值化的人体骨架图划分为训练集和测试集；并在训练集和测试集下划分跌倒和非跌倒的数据集；对二分类模型，设置不同的模型初始参数，基于训练集中的二值化的人体骨架图对不同模型初始参数的二分类模型分别进行多次训练，得到多个训练好的候选二分类模型；对各候选二分类模型，分别基于测试集测试其跌倒检测准确率，将最高跌倒检测准确率所对应的候选二分类模型作为跌倒检测分类器。

例如对二分类模型进行10折交叉验证，每批数量batch=64，不断迭代直到模型损失函数到达稳定的极小值（损失值连续指定训练轮数均小于指定阈值）。然后基于测试数据集对各个模型进行分类准确率测试，选择10次结果中准确率最高的模型作为跌倒检测分类器。

步骤S5，基于跌倒检测分类器获取目标图像的跌倒检测结果：

将待检测的目标图像输入人体检测网络，若识别到人体，则对识别出的人体所在区域进行切割，得到待识别人体图像；否则，继续输入下一幅待检测的目标图像；

将待识别人体图像输入姿态评估网络，得到目标对象的二值化的人体骨架图，并计算人体骨架的宽高比；将目标对象的二值化的人体骨架图输入跌倒检测分类器，得到目标对象的跌倒分类结果；基于目标对象的跌倒分类结果与人体骨架的宽高比的加权融合得到目标对象的跌倒检测值，若跌倒检测值大于或等于预置的检测阈值，则判定目标对象发生跌倒。

定义E表示目标对象的跌倒检测值，则E=a×c+b×（R-1），其中，c表示目标对象的跌倒分类结果，R表示人体骨架的宽高比，a和b分别表示目标对象的跌倒分类结果和人体骨架的宽高比的权重，且满足a+b=1。

本发明对于训练图像或者待识别图像，首先利用目标检测网络检测出人体的包围框，将人体包围框所在区域切割出来作为轻量级姿态评估网络的输入，以实时得到人体骨骼关键点信息，再将关键点按照预设顺序进行连接以获取二值化的人体骨架图，并计算出骨架图的宽高比值。然后，将人体骨架图输入基于全局平均池化的卷积神经网络二分类模型进行特征提取。最后由Softmax函数输出的分类结果结合骨架宽高比来判断人体是否发生跌倒。本发明在降低网络模型参数量和计算量以保证实时性的同时兼顾了检测准确率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，包括下列步骤：

步骤S1，采集包含人体行为的图像作为训练图像集，并设置各幅图像的跌倒标签；

步骤S2，将训练图像集中的图像输入预置的人体检测网络中进行人体检测，当检测到人体时，提取人体区域得到人体图像；

步骤S3，将人体图像输入预置的姿态评估网络，提取人体关键点信息；按照预置顺序连接所提取的人体关键点并生成二值化的人体骨架图；

所述姿态评估网络包括特征提取网络和人体关键点提取网络，特征提取网络用于提取人体图像的特征信息并输入人体关键点提取网络，人体关键点提取网络用于预测人体关键点的位置信息；

步骤S4，构建及训练用于跌倒检测的二分类模型，得到跌倒检测分类器；

所述二分类模型为基于全局平均池化的卷积神经网络，其输入为二值化的人体骨架图，输出为是否跌倒的跌倒分类结果；

步骤S5，基于跌倒检测分类器获取目标图像的跌倒检测结果：

将待检测的目标图像输入人体检测网络，当检测到人体时，提取人体区域得到待识别人体图像；否则，继续输入下一幅待检测的目标图像；

将待识别人体图像输入姿态评估网络，得到目标对象的二值化的人体骨架图，并计算人体骨架的宽高比；

将目标对象的二值化的人体骨架图输入跌倒检测分类器，得到目标对象的跌倒分类结果；

基于目标对象的跌倒分类结果与人体骨架的宽高比的加权融合得到目标对象的跌倒检测值，若跌倒检测值大于或等于预置的检测阈值，则判定目标对象发生跌倒。

2.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，二分类模型依次包括多层堆叠的卷积层、一层全局平均池化层和Softmax函数层，其中，多层堆叠的卷积层用于提取二值化的人体骨架图的图像特征，全局平均池化层对提取的图像特征进行池化计算，得到对应输出类别的置信值，再经Softmax函数层输出跌倒分类结果。

3.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，步骤S4中，对二分类模型的训练具体为：

随机抽取步骤S3得到的二值化的人体骨架图，将抽取出的二值化的人体骨架图划分为训练集和测试集；并在训练集和测试集下划分跌倒和非跌倒的数据集；

对二分类模型，设置不同的模型初始参数，基于训练集中的二值化的人体骨架图对不同模型初始参数的二分类模型分别进行多次训练，得到多个训练好的候选二分类模型；

对各候选二分类模型，分别基于测试集测试其跌倒检测准确率，将最高跌倒检测准确率所对应的候选二分类模型作为跌倒检测分类器。

4.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，姿态评估网络的特征提取网络的网络结构依次包括：第一卷积块，多个倒残差块组成的堆叠结构、第二卷积块、平均池化层、全连接块和全连接层；

其中，第一卷积块包括卷积操作、批归一化操作和采用H-swish激活函数的映射；

倒残差块包括深度可分离卷积层和残差连接，且堆叠结构中的部分倒残差块还包括通道注意力机制；

全连接块包括全连接操作，批归一化操作和采用H-swish激活函数的映射；

第二卷积块包括卷积操作、批归一化操作、采用H-swish激活函数的映射以及通道注意力机制。

5.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，姿态评估网络的特征提取网络的堆叠结构包括11个倒残差块，按照前向传播的方向，第1至第3个倒残差块的激活函数设置为RELU激活函数，且采用的卷积核大小均设置为3×3，第4至第11个倒残差块激活函数设置为H-swish激活函数；且采用的卷积核大小均设置为5×5；且除第2和第3个倒残差块外，其余倒残差块均包括通道注意力机制。

6.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，姿态评估网络的特征提取网络的堆叠结构包括15个倒残差块，按照前向传播的方向，第1至第6个倒残差块的激活函数设置为RELU激活函数，第7至第15个倒残差块激活函数设置为H-swish激活函数；第1至第3个，以及第7个至第12个倒残差块均采用3×3的卷积核；第4个至第6个，以及第13至第15个倒残差块均采用5×5的卷积核；且第4个至第6个，以第11至第15个倒残差块均包括通道注意力机制。

7.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，所述二分类模型包括5层卷积层，且每一层卷积层的卷积核大小设置为3×3，填充值设置为1，步长设置为1，第1至第5层卷积层的输出通道数依次设置为：64、128、256、512、512；并在每两层卷积层之间依次设置批归一化层和RELU激活函数。

8.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，计算人体骨架的宽高比具体为：

计算人体骨架的宽度W：获取所有人体关键点的横坐标的最大值和最小值，再基于横坐标的最大值与最小值之差得到宽度W；

计算人体骨架的高度H：获取所有人体关键点的纵坐标的最大值和最小值，再基于纵坐标的最大值与最小值之差得到高度H；

根据R=W/H得到人体骨架的宽高比R。

9.如权利要求1所述的一种基于轻量级姿态评估网络的跌倒检测方法，其特征在于，步骤S5中，目标对象的跌倒检测值的计算方式为：E=a×c+b×（R-1）；

其中，E表示目标对象的跌倒检测值，c表示目标对象的跌倒分类结果，R表示人体骨架的宽高比，a和b分别表示目标对象的跌倒分类结果和人体骨架的宽高比的权重，且满足a+b=1。

Images