CN114299050A - 一种基于改进Alphapose的红外图像摔倒检测方法 - Google Patents

Abstract

本发明公开了一种基于改进Alphapose的红外图像摔倒检测方法，包括：采集红外视频帧作为输入；对所述红外视频帧进行数据预处理，并通过人体检测深度网络输出关键点信息和姿态类别；以前一帧中人体目标框的高度作为参考对象，计算髋关节关键点的相对移动速度和人体宽高比的变换，与关键点信息和所述姿态类别进行对比，输出摔倒判断信号；接收到摔倒判断信号后，结合姿态分类，继续检测后续帧内的人体姿态，输出摔倒判断结果。本发明采用基于改进Alphapose的红外图像摔倒检测方法，利用得到的人体骨架关键点信息和姿态类别进行摔倒判定，兼顾了摔倒动作的时序性和前后动作的关联性，提高了检测的准确度和实时性，进而降低了摔倒识别的误差。

Description

一种基于改进Alphapose的红外图像摔倒检测方法

技术领域

本发明涉及人体行为识别技术领域，主要涉及一种基于改进Alphapose的红外图像摔倒检测方法。

背景技术

人体摔倒检测可以有效地检测视频中的摔倒行为，降低人在摔倒后无法及时呼救的风险。传统的基于计算机视觉的人体摔倒检测方法大多使用可见光图像，这类方法受光照影响在昏暗环境下效果不佳。现有的摔倒检测方法大致可以分为三类：(1)基于Freeman链码的检测方法；(2)基于关键点的检测方法；(3)基于宽高比和质心变化率的检测方法。这些方法没有充分考虑人体在摔倒过程中的姿态变化规律，容易对类摔倒动作造成误检，兼顾摔倒动作的时序性和前后动作的关联性是提高准确度的难点。

针对上述问题，急需在原有的摔倒检测技术上进行改进。

发明内容

1、发明目的

本发明提供一种基于改进Alphapose的红外图像摔倒检测方法，用以解决上述背景技术中提出的目前现有摔倒检测方法无法考虑到人体在摔倒过程中的姿态变化规律，容易对类摔倒动作造成误检的技术难题。

2、技术方案

为了实现上述目的，本发明采用以下技术方案：

一种基于改进Alphapose的红外图像摔倒检测方法，包括：

信号采集，采集红外视频帧作为输入，输入人体目标红外图像；

生成关键点位置信息和姿态类别，使用yolov5s人体目标检测网络检测人体目标红外图像，并与姿态分类库比对完成对人体姿态的分类生成姿态类别，再将得出的人体目标红外图像输入关键点检测网络得到骨架的关键点位置信息；

关键点分析，以前一帧中人体目标框的高度作为参考对象，计算髋关节关键点的相对移动速度和人体宽高比的变换，与所述关键点位置信息和所述姿态类别进行对比，输出摔倒判断信号。

摔倒判定，接收到摔倒判断信号后，结合姿态分类，继续检测后续帧内的人体姿态，输出摔倒判断结果。

优选的，所述姿态分类库生成方法包括：

获取图像，通过红外摄像头采集人体图像；

标注训练样本，预定义姿态类别，使用标注工具，在红外图像中框选人体位置，对每个人体的姿态类别进行标注，生成相应的xml文件；

数据预处理，采用了Mosaic数据增强的方式；

生成深度训练模型，使用Yolov5s作为Alphapose的人体检测深度网络，训练人体检测模型，生成姿态分类库，在提取人体目标区域框输入关键点检测网络预测关键点位置的同时，完成对人体姿态的分类。

优选的，所述Mosaic数据增强的方式为通过每次随机抽取数据集中的四张图片，采用随机裁剪、随机缩放、随机组合的方式生成一张新的训练图片。

优选的，所述Yolov5s网络完成对人体姿态的直接分类，同时从输入的人体目标红外图像的人体区域框，输入关键点检测网络检测人体骨架关键点，将关键点位置信息与预测的姿态类别一并输出。

优选的，所述人体宽高比的获取方法为：

设第i帧与第i-1帧均为单人红外图像，2≤i≤N,N表示红外视频的总帧数，检出髋关节关键点a个；

将图像左上角定为原点，水平向右为X轴正方向，垂直向下为Y轴正方向，建立直角坐标系；

记第i帧人体骨架中编号为n的关键点的纵坐标为

点b和点c的中心点M代表髋关节，则点M在第i帧中的纵坐标

记第i帧中人体目标框的高度为H_i，宽度为W_i，则第i帧中的人体宽高比P_i＝W_i/H_i；

所述i、a、b、c为数字。

优选的，所述髋关节关键点的相对移动速度的获取方法为：

第i帧中点M在垂直方向上的相对移动速度为

优选的，所述输出摔倒判断信号的获取方法为：设置大于0的阈值Th，摔倒判断参考值

当F_i等于1时，输出摔倒判断信号。

优选的，所述摔倒判定的方法为：

在统计后续的人体姿态中，第i帧图像中人体姿态类别为l_i，则对应的人体图像得分为s_i，两者关系可用公式为：

当图像中的人体姿态类别l_i为“sit_flat”、“lie”、“push_up”这三种姿态中的任意一种时，该人体图像的得分记为1，否则得分记为0；

当F_i＝1，即第i帧接收到摔倒判断信号时，继续统计后续d帧图像的人体姿态，若累计图像得分之和大于e，记为FF_i＝1，计算公式为

当记为FF_i＝1，输出判断为摔倒；

所述sit_flat为坐地，所述lie为躺下，所述push_up为撑地，所述FF_i为摔倒判断结果，所述s_i为人体图像得分，所述l_i为人体姿态类别，所述else为F_i不等于1或者s_i的总得分小于等于e。

优选的，所述d等于20，所述e等于10。

3、有益效果

与现有技术相比，本发明的有益效果是：

本发明通过采用红外摄像头进行数据采集，从而实现了在光照影响在昏暗环境下可以正常使用，同时红外图像能够保护个人隐私，适用于全天候的人体摔倒检测。

本发明通过采用Mosaic数据增强的方式对训练数据进行预处理，通过Mosaic数据增强，能够丰富场景内容，增强样本多样性，提高目标检测方法的抗干扰性。

本发明通过结合关键点分析结果和姿态分类做进一步判定，经过关键点分析判断有可能发生摔倒后，继续统计后续多帧内的人体姿态，从而防止快速下蹲、俯身拾取等类摔倒动作误识别为摔倒。

附图说明

图1为改进的Alphapose算法结构图；

图2为Alphapose关键点检测结果示意图；

图3为总体方法流程图；

图4为Mosaic数据增强示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参考图1-4，一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于，包括：

信号采集，采集红外视频帧作为输入，输入人体目标红外图像；

生成关键点位置信息和姿态类别，使用yolov5s人体目标检测网络检测人体目标红外图像，并与姿态分类库比对完成对人体姿态的分类生成姿态类别，再将得出的人体目标红外图像输入关键点检测网络得到骨架的关键点位置信息；

关键点分析，以前一帧中人体目标框的高度作为参考对象，计算髋关节关键点的相对移动速度和人体宽高比的变换，输出摔倒判断信号。

摔倒判定，接收到摔倒判断信号后，结合姿态分类，继续检测后续帧内的人体姿态，与关键点位置信息和姿态类别进行对比，输出摔倒判断结果。

具体实施中，输入的人体目标红外图像是原始红外图像，很有可能没有人体，经人体目标检测后才可能得到人体目标图像，等于是从原始红外图像中将检测到的人体裁剪出来送到关键点检测网络。

参考图1-4，姿态分类库生成方法包括：

获取图像，通过红外摄像头采集人体图像；

标注训练样本，预定义姿态类别，使用标注工具，在红外图像中框选人体位置，对每个人体的姿态类别进行标注，生成相应的xml文件；

数据预处理，采用了Mosaic数据增强的方式；

生成深度训练模型，使用Yolov5s作为Alphapose的人体检测深度网络，训练人体检测模型，生成姿态分类库，在提取人体目标区域框输入关键点检测网络预测关键点位置的同时，完成对人体姿态的分类。本发明改进后的Alphapose算法使用Yolov5s网络完成对人体姿态的直接分类，同时从输入的红外图像中提取人体区域框，输入人体姿态估计网络检测人体骨架关键点，将关键点信息与预测的姿态类别一并输出。

具体实施中，首先构建训练样本库，其中包括大量图片和大量的标注文件，每张图片对应一个标注文件，标注文件记录了其对应图片中人体的位置以及对应的类别。通过训练网络训练样本库，得到我们需要的目标检测模型。然后使用训练出来的模型对输入的红外图片进行推理，只要检测到人体目标，就会得到相应的单人分别在八个类别上的概率，最后选择概率最大的类别作为其最终类别。

参考图1-4，Mosaic数据增强的方式为通过每次随机抽取数据集中的四张图片，采用随机裁剪、随机缩放、随机组合的方式生成一张新的训练图片。通过Mosaic数据增强，能够丰富场景内容，增强样本多样性，提高目标检测算法的抗干扰性。

参考图1-4，Yolov5s网络完成对人体姿态的直接分类，同时从输入的人体目标红外图像的人体区域框，输入关键点检测网络检测人体骨架关键点，将关键点位置信息与预测的姿态类别一并输出。

参考图1-4，具体实施中，在摔倒过程中，当前一帧人体目标框的高度明显小于其宽度时，即使下降速度不变，也会因为前一帧目标框高度减小，导致计算得到的速度偏大，所以本方法引入前一帧人体目标框的宽高比作为限制条件，防止前一帧目标框宽高比过大导致点M的微小起伏被误识别为摔倒。人体宽高比的获取方法为：

设第i帧与第i-1帧均为单人红外图像，2≤i≤N,N表示红外视频的总帧数，检出髋关节关键点a个，本发明对髋关节关键点的个数不做具体限定，本实施例中优先采用18个人体骨架关键点；

将图像左上角定为原点，水平向右为X轴正方向，垂直向下为Y轴正方向，建立直角坐标系；

记第i帧人体骨架中编号为n的关键点的纵坐标为

点b和点c的中心点M代表髋关节，则点M在第i帧中的纵坐标

记第i帧中人体目标框的高度为H_i，宽度为W_i，则第i帧中的人体宽高比P_i＝W_i/H_i；

i、a、b、c为数字，本发明对i、a、b、c的具体数值不做限定，本实施例中优先采用b为11，c为12，本实施中对应的纵坐标

公式为

参考图1-4，站立或行走的人体目标在发生摔倒时，最直观的表现是髋关节位置在垂直方向上的迅速下跌，所以通过监测髋关节在序列帧中的移动速度可以及时发现产生的摔倒动作。但随着运动中的人体目标与摄像头的距离越来越远，其髋关节在图像上的位移也越来越小，容易造成漏检。针对该问题，本发明以前一帧中人体目标框的高度作为参考对象，计算髋关节关键点的相对移动速度。髋关节关键点的相对移动速度的获取方法为：

第i帧中点M在垂直方向上的相对移动速度为

参考图1-4，输出摔倒判断信号的获取方法为：设置大于0的阈值Th，摔倒判断参考值

当F_i等于1时，输出摔倒判断信号。

参考图1-4，摔倒判定的方法为：

在统计后续的人体姿态中，第i帧图像中人体姿态类别为l_i，则对应的人体图像得分为s_i，两者关系可用公式为：

当图像中的人体姿态类别l_i为“sit_flat”、“lie”、“push_up”这三种姿态中的任意一种时，该人体图像的得分记为1，否则得分记为0；

当F_i＝1，即第i帧接收到摔倒判断信号时，继续统计后续d帧图像的人体姿态，若累计图像得分之和大于e，记为FF_i＝1，计算公式为

当记为FF_i＝1，输出判断为摔倒；

sit_flat为坐地，lie为躺下，push_up为撑地，FF_i为摔倒判断结果，s_i为人体图像得分，l_i为人体姿态类别，else为F_i不等于1或者s_i的总得分小于等于e。

参考图1-4，d等于20，e等于10，本发明对d和e的具体数值不做具体限定，本实施中优先采用d等于20，e等于10，对应的摔倒结果判断公式为

具体实施中，生成关键点位置信息和姿态类别的过程就是改进的Alphapose算法的运行过程，其改进的Alphapose算法结构图参考图1，Alphapose算法是一种骨架关键点检测算法，能够检测出图像中的人体骨架，其提出一种区域多人姿态估计框架RMPE，主要由SSTN、PP-NMS、PGPG和Parallel SPPE组成，其中PGPG用于生成大量训练样本，ParallelSPPE则充当额外的正则项，以避免局部最小值，而SSTN又由STN、SPPE和SDTN组成。Alphapose首先使用目标检测算法检测单张图片，得到单人人体目标框，作为RMPE的输入，进入SSTN模块。检测到的人体目标框可能目标偏离中心或者目标框中人体占比过小，影响后续姿态估计的效果，所以需要先使用STN提取出高质量的单人区域，然后输入SPPE得到估计的姿态，再由SDTN将估计的姿态反变换到原始人体区域框中。冗余的人体区域框输入姿态估计网络，可能会检测到冗余的姿态。

Alphapose提出PP-NMS用来消除多余的姿态。其定义了一种姿态距离来度量姿态间的相似度，并在此基础上建立了冗余姿态的消除标准。PP-NMS首先选取最大置信度的姿态作为参考，并且根据消除标准将靠近该参考的区域框进行消除，多次重复这个过程直到消除所有的冗余识别框。本发明使用Yolov5s作为Alphapose的人体检测器，改进后的算法使用Yolov5s网络完成对人体姿态的直接分类，同时从输入的红外图像中提取人体区域框，输入人体姿态估计网络检测人体骨架关键点，将关键点信息与预测的姿态类别一并输出。

其中SSTN是对称空间变换网络、PP-NMS是参数化姿态非极大抑制、PGPG是姿态引导建议发生器、Parallel SPPE是并行单人姿态估计器、RMPE是区域多人姿态估计框架、STN是空间变换网络、SPPE是单人姿态估计器、SDTN是空间反变换网络。

本发明在实时检测过程中，以实时视频流作为输入，检测每一帧当前画面中的人体姿态和骨架关键点。从第二帧开始，如果前一帧与当前帧均检测出同一人的髋关节位置，即“无遮挡”状态，则进行关键点分析，计算髋关节关键点在这相邻两帧间的相对移动速率和方向。当满足可能摔倒的条件后，进行摔倒判定，开始统计后续20帧图像中的姿态类别，如果满足最终摔倒条件，则判断为一次摔倒。实时检测的情况下一次完整的摔倒检测流程示意图如图3所示。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于，包括：

信号采集，采集红外视频帧作为输入，输入人体目标红外图像；

生成关键点位置信息和姿态类别，使用yolov5s人体目标检测网络检测所述人体目标红外图像，并与姿态分类库比对完成对人体姿态的分类生成所述姿态类别，再将得出的所述人体目标红外图像输入关键点检测网络得到骨架的关键点位置信息；

关键点分析，以前一帧中人体目标框的高度作为参考对象，计算髋关节关键点的相对移动速度和人体宽高比的变换，与所述关键点位置信息和所述姿态类别进行对比，输出摔倒判断信号。

摔倒判定，接收到所述摔倒判断信号后，结合所述姿态分类，继续检测后续帧内的人体姿态，输出摔倒判断结果。

2.根据权利要求1所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述姿态分类库生成方法包括：

获取图像，通过红外摄像头采集人体图像；

标注训练样本，预定义姿态类别，使用标注工具，在红外图像中框选人体位置，对每个人体的姿态类别进行标注，生成相应的xml文件；数据预处理，采用了Mosaic数据增强的方式；

生成深度训练模型，使用Yolov5s作为Alphapose的人体检测深度网络，训练人体检测模型，生成所述姿态分类库，在提取人体目标区域框输入所述关键点检测网络预测关键点位置的同时，完成对人体姿态的分类。

3.根据权利要求2所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述Mosaic数据增强的方式为通过每次随机抽取数据集中的四张图片，采用随机裁剪、随机缩放、随机组合的方式生成一张新的训练图片。

4.根据权利要求2所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：Yolov5s网络完成对人体姿态的直接分类，同时从输入的所述人体目标红外图像的人体区域框，输入所述关键点检测网络检测人体骨架关键点，将所述关键点位置信息与预测的所述姿态类别一并输出。

5.根据权利要求1所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述人体宽高比的获取方法为：

设第i帧与第i-1帧均为单人红外图像，2≤i≤N,N表示红外视频的总帧数，检出髋关节关键点a个；

将图像左上角定为原点，水平向右为X轴正方向，垂直向下为Y轴正方向，建立直角坐标系；

记第i帧人体骨架中编号为n的关键点的纵坐标为

点b和点c的中心点M代表髋关节，则点M在第i帧中的纵坐标

记第i帧中人体目标框的高度为H_i，宽度为W_i，则第i帧中的人体宽高比P_i＝W_i/H_i；

所述i、a、b、c为数字。

6.根据权利要求5所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述髋关节关键点的相对移动速度的获取方法为：

第i帧中点M在垂直方向上的相对移动速度为

7.根据权利要求6所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述输出摔倒判断信号的获取方法为：设置大于0的阈值Th，摔倒判断参考值

当F_i等于1时，输出所述摔倒判断信号。

8.根据权利要求1所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述摔倒判定的方法为：

在统计后续的人体姿态中，第i帧图像中人体姿态类别为l_i，则对应的人体图像得分为s_i，两者关系可用公式为：

当图像中的人体姿态类别l_i为“sit_flat”、“lie”、“push_up”这三种姿态中的任意一种时，该人体图像的得分记为1，否则得分记为0；当F_i＝1，即第i帧接收到摔倒判断信号时，继续统计后续d帧图像的人体姿态，若累计图像得分之和大于e，记为FF_i＝1，计算公式为

当记为FF_i＝1，输出判断为摔倒；

所述sit_flat为坐地，所述lie为躺下，所述push_up为撑地，所述FF_i为摔倒判断结果，所述s_i为人体图像得分，所述l_i为人体姿态类别，所述else为F_i不等于1或者s_i的总得分小于等于e。

9.根据权利要求8所述的一种基于改进Alphapose的红外图像摔倒检测方法，其特征在于：所述d等于20，所述e等于10。

Images