CN114332922A - 一种基于图像静态特征的摔倒检测方法 - Google Patents

Abstract

本发明提供了一种基于图像静态特征的摔倒检测方法，所述方法包括：获取目标实时图像，并对目标图像进行预处理；搭建YOLOv3改进算法检测模型，提取目标区域；对所述目标区域利用OpenPose算法提取人体关键点；以及根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析。本发明的基于图像静态特征的摔倒检测方法可降低检测成本、满足实时性要求并具有良好检测效果。

Description

一种基于图像静态特征的摔倒检测方法

技术领域

本发明涉及摔倒检测技术领域，具体地，涉及一种基于图像静态特征的摔倒检测方法。

背景技术

当人们发生过度劳累、意外受伤、突发疾病等问题时，大多会导致人体摔倒，造成难以估量的损失，因此人体的摔倒检测成为一个十分关键的问题。发生摔倒事件后，准确检测、快速的报警和及时的治疗能够大大降低人们住院和死亡风险，并且摔倒检测系统可以减少人们的心理负担，提高年老人群、特殊群体的生活质量，给工作人员带来安全保证。

最近几年关于摔倒检测研究的热度趋势正在逐步增加，国内外的研究人员对人体行为识别和摔倒检测技术正进行深入的研究，从不同的实现方法来看，摔倒检测技术大致分为以下三种：基于可穿戴式设备的摔倒检测技术、基于场景传感器的摔倒检测技术、基于计算机视觉的摔倒检测技术。

其中，基于可穿戴设备的检测方法具有使用场景广，不受空间约束，识别准确率高等优点，但是，基于可穿戴设备的检测方法存在佩戴者遗忘穿戴、频繁充电、维护等缺点，影响了使用者的正常生活，在长期未发生作用的情况下，使用者会产生厌烦情绪。特别当使用者为老年人时，忘记佩戴，忘记充电会时有发生。

基于场景传感器的检测方法具有无需穿戴，一次安装，可以多次使用等优点，然而，基于场景传感器的检测方法使用环境传感器安装复杂成本昂贵，且准确性较低，无法满足大部分人的日常使用。

与前两种摔倒检测方法相比，基于计算机视觉的摔倒检测方法有许多优势：无需穿戴，具有更小的干扰性，准确性更高，成本低廉，不需要耗费过多人工进行安装和调试，而且可以随着不断成熟的技术更新完善自己的系统，然而，虽然目前基于计算机视觉的摔倒检测方法取得了较大的进展，但是在人体姿态特征获取部分仍然存在较大的进步空间，无论是姿态特征和运动特征，提取过程中会受到复杂场景和人体自身的影响。

发明内容

针对现有技术中的缺陷，本发明的目的在于提供一种可降低检测成本、满足实时性要求并具有良好检测效果的基于图像静态特征的摔倒检测方法。

为解决上述问题，本发明的技术方案为：

一种基于图像静态特征的摔倒检测方法，所述方法包括以下步骤：

获取目标实时图像，并对目标图像进行预处理；

搭建YOLOv3改进算法检测模型，提取目标区域；

对所述目标区域利用OpenPose算法提取人体关键点；以及

根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析。

可选地，所述获取目标实时图像，并对目标图像进行预处理的步骤具体包括：使用高斯滤波平滑目标图像，减少目标图像中的噪声，高斯滤波使用的高斯核为x和y两个一维高斯的乘积，两个维度上的标准差σ通常相同，处理公式为：

可选地，所述搭建YOLOv3改进算法检测模型，提取目标区域的步骤具体包括：

搭建主干网络；

拓展YOLOv3网络的多尺度检测；

重新聚类获得新的锚框尺寸；

通过SPP模块将局部特征与全局特征相融合，提高检测精度。

可选地，所述主干网络为ResNet50主干网络。

可选地，所述拓展YOLOv3网络的多尺度检测的步骤具体包括：将YOLOv3原有的3个尺度检测拓展到5个尺度检测，增加尺度检测有利于检测出小目标物体。

可选地，所述重新聚类获得新的锚框尺寸的步骤具体包括：在行人检测数据集上重新聚类得到[19,38,76]三个尺寸，[0.5,1.0,2.0]三种比例，以此为基础生成9种锚框尺寸。

可选地，所述对所述目标区域利用OpenPose算法提取人体关键点的步骤具体包括：由OpenPose提供的基于COCO数据集的18个身体关节点的检测功能，以一张彩色图像作为输入，输出图像中每个人的18个身体关节点的二维坐标及置信度。

可选地，所述根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析的步骤具体包括：根据所述人体关键点特征得到身体轮廓的变化或者躯干角度变化率，再根据身体轮廓的变化或者躯干角度变化率进行摔倒行为分析。

可选地，所述根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析的步骤还包括：记录跌倒行为和弯腰行为、身体倾斜行为、行走行为、下蹲行为的躯干角度，进而获得几种行为的躯干角度变化率，当人体发生跌倒时，所述跌倒行为的躯干角变化率明显区别于弯腰行为、身体倾斜行为、行走行为、下蹲行为的躯干角变化率。

可选地，所述第n帧时躯干角定义公式为：

与现有技术相比，本发明基于图像静态特征的摔倒检测方法相较于传统的基于计算机视觉的摔倒检测方法，仅需使用市面上普遍的单目摄像头即可，无需使用复杂昂贵的深度摄像头，摄取图像方式简单。

另外，本发明对原有的YOLOv3模型进行改进，有效提高对小目标物体的检测率，通过改进YOLOv3算法提取ROI(目标区域)，减少了数据输入量，提高单幅图像处理速度，满足实时性要求。并且改进的摔倒检测算法无需使用时序信息，根据单帧图像的静态特征就可以判断人员摔倒情况，并取得良好检测效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的基于图像静态特征的摔倒检测方法流程框图；

图2是本发明实施例提供的搭建YOLOv3改进算法检测模型流程框图；

图3是本发明实施例提供的SPP模块结构示意图；

图4是本发明实施例提供的人体姿态关键点展示图；

图5是本发明实施例提供的摔倒姿势展示图；

图6是本发明实施例提供的躯干角示意图；

图7是行人正常行走时显示示意图；

图8是行人摔倒检测过程显示示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

具体地，如图1所示，本发明提供一种基于图像静态特征的摔倒检测方法，所述方法包括以下步骤：

S1：获取目标实时图像，并对目标图像进行预处理；

具体地，该目标图像可由带单目摄像头的终端设备获取，例如：手机、相机等。

受现场光照影响，获取的目标图像包含噪声信息，使用高斯滤波平滑目标图像，减少目标图像中的噪声。高斯滤波使用的高斯核为x和y两个一维高斯的乘积，两个维度上的标准差σ通常相同，处理公式如下式所示：

S2：搭建YOLOv3改进算法检测模型，提取目标区域；

本发明使用YOLOv3的改进算法，在原有的算法基础上再度增加了2个尺度检测，针对行人检测，重新使用k-means算法得到新的anchors值，添加SPP模块提高算法检测精度，具体地，如图2所示，所述搭建YOLOv3改进算法检测模型包括以下步骤：

步骤S21：搭建主干网络；

具体地，本实施例中提出的YOLOv3改进算法检测模型，以ResNet50为主干网络，利用残差结构将底层信息引入高层空间，有效避免深层网络退化问题。所述ResNet50网络配置表如下表1所示。

表1

步骤S22：拓展YOLOv3网络的多尺度检测；

本实施例中使用的YOLOv3改进网络，将YOLOv3原有的3个尺度检测拓展到5个尺度检测，不同尺度特征图的感受野不同，每个像素检测的目标物体大小不同。增加尺度检测有利于检测出小目标物体。

步骤S23：重新聚类获得新的锚框尺寸；

在本实施例中，摒弃原YOLOv3模型基于VOC和COCO数据集聚类得到的Anchors尺寸，针对行人检测，在行人检测数据集上聚类得到[19,38,76]三个尺寸，[0.5,1.0,2.0]三种比例，以此为基础生成9种锚框尺寸，重新聚类生成锚框尺寸有助于提升算法检测精度。

步骤S24，通过SPP模块将局部特征与全局特征相融合，提高检测精度。

图3所示为SPP模块的结构示意图，如图3所示，SPP模块借鉴空间金字塔思想，将局部特征与全局特征相融合，丰富特征图表达能力，在多目标检测中，有效缓解目标大小差异问题，提高检测精度。

步骤S3：对所述目标区域利用OpenPose算法提取人体关键点；

具体地，图4所示为OpenPose提供的18个人体关节点的骨骼结构图，如图4所示，OpenPose提供了15或18个身体特征点、左右手各21个特征点、脸部70个特征点共130个特征点的实时检测，其中身体关节点的检测速度不受图像中人数的影响。在本实施例中，应用了由OpenPose提供的基于COCO数据集的18个身体关节点的检测功能，以一张彩色图像作为输入，输出图像中每个人的18个身体关节点的二维坐标。

步骤S4，根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析。

摔倒经常发生在一瞬间，身体失去平衡后就会很大概率发生摔倒。当发生摔倒的时候，因为引起摔倒的原因不同，所以摔倒的姿势也不尽相同，但几乎都是肢体在某个方向发生倾斜而倒下。如图5所示，人体跌倒一般会有以下几种姿势：向前趴下、向后躺下、向前侧跌、向后侧跌、向右侧跌以及向左侧跌。

通过基于深度学习的摔倒检测算法的分析可以得知，摔倒事件具有以下特点：

1、身体轮廓的变化：人在摔倒的过程中，身体形状会发生很大的变化，从而导致宽高比发生变化，和正常直立行走、坐下以及弯腰相比有很大的区别，摔倒后主要表现为平躺的状态用这一特征作为摔倒检测的一个基本的依据，分析宽高比这个特征可以得出，当人是站立时，宽高比的值是远小于1，当人是非站立状态时，它的值是大于1，宽高比的阈值可根据需要设置；

另外，以双跨中心指向双肩中心的向量和双跨中心指向双膝中心的向量构成的夹角，角度阈值可自行设置，此条件作为上述条件的补充，当人蹲着或者坐着时，夹角普遍小于90°，以双跨中心指向双肩中心的向量和双跨中心指向双膝中心的向量构成的夹角为约束与身体轮廓变化组合作为摔倒检测条件，当夹角大于90°且身体轮廓宽高比≥1时，则判断人摔倒；

进一步，考虑到画面角度以及一些激烈运动造成的摔倒，画面可能会出现头在下，腿在上的奇怪画面，针对这种情况，根据OpenPose获取的人体关键点坐标，根据头与腿的在二维图像上的纵坐标判定人是否摔倒，如果在二维图像中人脚的纵坐标高于头的纵坐标则判为摔倒。

2、躯干角度变化率：定义以鼻子到髋关节中点的线段，与竖直方向的夹角为人体躯干角，如图6所示，当人体处于正常状态时，躯干角应为0度左右，当人体跌倒时，躯干角会趋向于90度。在第n帧时躯干角定义如下公式所示：

记录跌倒行为和弯腰行为、身体倾斜行为、行走行为、下蹲行为等几种行为的躯干角度，进而获得躯干角度变化率如下表2所示：

人体活动	躯干角	躯干角变化率
			行走	12°	2.7
下蹲	35°	3.5
			弯腰	66°	6.0
倾斜身体	63°	5.8
			跌倒	68°	8.2

表2

由表2中数据分析可以发现，当人体发生跌倒时，躯干角的变化率会明显区别于身体倾斜、弯腰、行走、下蹲等行为，所以使用躯干角变化率作为特征可以更加有效地将这几种类似跌倒的行为和真正的跌倒行为区分开。

图7是行人正常行走时显示示意图，图8是行人摔倒检测过程显示示意图，如图7和图8所示，本发明基于改进的摔倒检测算法无需使用时序信息，根据单帧图像的静态特征就可以判断人员摔倒情况，并取得良好检测效果。

与现有技术相比，本发明基于图像静态特征的摔倒检测方法相较于传统的基于计算机视觉的摔倒检测方法，仅需使用市面上普遍的单目摄像头即可，无需使用复杂昂贵的深度摄像头，摄取图像方式简单。

另外，本发明对原有的YOLOv3模型进行改进，有效提高对小目标物体的检测率，通过改进YOLOv3算法提取ROI(目标区域)，减少了数据输入量，提高单幅图像处理速度，满足实时性要求。并且改进的摔倒检测算法无需使用时序信息，根据单帧图像的静态特征就可以判断人员摔倒情况，并取得良好检测效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于图像静态特征的摔倒检测方法，其特征在于，所述方法包括以下步骤：

获取目标实时图像，并对目标图像进行预处理；

搭建YOLOv3改进算法检测模型，提取目标区域；

对所述目标区域利用OpenPose算法提取人体关键点；以及

根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析。

2.根据权利要求1所述的基于图像静态特征的摔倒检测方法，其特征在于，所述获取目标实时图像，并对目标图像进行预处理的步骤具体包括：使用高斯滤波平滑目标图像，减少目标图像中的噪声，高斯滤波使用的高斯核为x和y两个一维高斯的乘积，两个维度上的标准差σ通常相同，处理公式为：

3.根据权利要求1所述的基于图像静态特征的摔倒检测方法，其特征在于，所述搭建YOLOv3改进算法检测模型，提取目标区域的步骤具体包括：

搭建主干网络；

拓展YOLOv3网络的多尺度检测；

重新聚类获得新的锚框尺寸；

通过SPP模块将局部特征与全局特征相融合，提高检测精度。

4.根据权利要求3所述的基于图像静态特征的摔倒检测方法，其特征在于，所述主干网络为ResNet50主干网络。

5.根据权利要求3所述的基于图像静态特征的摔倒检测方法，其特征在于，所述拓展YOLOv3网络的多尺度检测的步骤具体包括：将YOLOv3原有的3个尺度检测拓展到5个尺度检测，增加尺度检测有利于检测出小目标物体。

6.根据权利要求3所述的基于图像静态特征的摔倒检测方法，其特征在于，所述重新聚类获得新的锚框尺寸的步骤具体包括：在行人检测数据集上重新聚类得到[19,38,76]三个尺寸，[0.5,1.0,2.0]三种比例，以此为基础生成9种锚框尺寸。

7.根据权利要求1所述的基于图像静态特征的摔倒检测方法，其特征在于，所述对所述目标区域利用OpenPose算法提取人体关键点的步骤具体包括：由OpenPose提供的基于COCO数据集的18个身体关节点的检测功能，以一张彩色图像作为输入，输出图像中每个人的18个身体关节点的二维坐标及置信度。

8.根据权利要求1所述的基于图像静态特征的摔倒检测方法，其特征在于，所述根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析的步骤具体包括：根据所述人体关键点特征得到身体轮廓的变化或者躯干角度变化率，再根据身体轮廓的变化或者躯干角度变化率进行摔倒行为分析。

9.根据权利要求8所述的基于图像静态特征的摔倒检测方法，其特征在于，所述根据所述人体关键点特征基于摔倒检测算法进行摔倒行为分析的步骤还包括：记录跌倒行为和弯腰行为、身体倾斜行为、行走行为、下蹲行为的躯干角度，进而获得几种行为的躯干角度变化率，当人体发生跌倒时，所述跌倒行为的躯干角变化率明显区别于弯腰行为、身体倾斜行为、行走行为、下蹲行为的躯干角变化率。

10.根据权利要求9所述的基于图像静态特征的摔倒检测方法，其特征在于，所述第n帧时躯干角定义公式为：

Images