CN112699706A

CN112699706A - 跌倒检测方法、系统和存储介质

Info

Publication number: CN112699706A
Application number: CN201911005337.0A
Authority: CN
Inventors: 曾雄伟; 方榆; 艾永春; 何鑫
Original assignee: Guangzhou Hongdu Information Technology Co ltd
Current assignee: Guangzhou Hongdu Information Technology Co ltd
Priority date: 2019-10-22
Filing date: 2019-10-22
Publication date: 2021-04-23

Abstract

本发明公开了一种跌倒检测方法、系统和存储介质，所述方法包括以下步骤：获取一帧图像；从图像中识别多个人体关键点在图像中的位置，作为人体关键点的第一二维坐标集合；对所述第一二维坐标集合进行补全，得到第二二维坐标集合；将所述第二二维坐标集合输入到识别模型中，得到用于表示人体关键点在三维空间坐标中的三维坐标集合；根据所述三维坐标集合中的多个关键点的三维坐标，得到跌倒检测结果。本发明通过对人体关键点的二维坐标集合进行补全，以保证输入到识别模型的二维坐标集合的完整性，从而得到较为准确的三维坐标集合，以提升跌倒检测的检测精度。本发明可以广泛应用于图像检测领域。

Description

跌倒检测方法、系统和存储介质

技术领域

本发明涉及图像检测领域，尤其是一种跌倒检测方法、系统和存储介质。

背景技术

在人们的生产生活中，跌倒是发生概率较高的一种行为，有时会对人的身体健康造成很大的危害，及时的发现跌倒行为是减少伤害的有效的措施之一。

现有的跌倒检测技术可通过可穿戴传感器的方式进行，比如检测老人跌倒行为，通过老人佩戴的智能手环或智能手表，通过可穿戴设备内置的传感器和算法可以检测出是否有跌倒行为的发生。但是该类型的方案需要购置特定的设备，普及难度高。

现有的跌倒检测技术也可以通过图像的方式进行，直接利用深度学习技术对一小段连续视频进行行为分类，判断这段视频内是否有跌倒行为发生。或通过检测人体外围框，检测人体外围框的长宽比例判断是否有跌倒行为发生。

但是通过一长段视频进行识别，具有检测延迟高，运算量大等特点，对检测设备的硬件要求高。因此发展出单帧检测的技术，但是在该技术中，由于现场涉嫌头的拍摄环境复杂，单帧图像中的人物往往拍摄不全，因而导致检测不准确。

发明内容

为解决上述技术问题的至少之一，本发明的目的在于：提供一种跌倒检测方法、系统和存储介质，以提高检测的准确度。

第一方面，本发明实施例提供了：

一种跌倒检测方法，包括以下步骤：

获取一帧图像；

从图像中识别多个人体关键点在图像中的位置，作为人体关键点的第一二维坐标集合；

对所述第一二维坐标集合进行补全，得到第二二维坐标集合；

将所述第二二维坐标集合输入到识别模型中，得到用于表示人体关键点在三维空间坐标中的三维坐标集合；

根据所述三维坐标集合中的多个关键点的三维坐标，得到跌倒检测结果。

进一步，在所述对所述第一二维坐标集合进行补全之前，还包括以下步骤：

检测是否存在设定的人体关键点丢失，若是，则舍弃图像，结束流程；

若否，则继续检测是否存在设定的人体关键点组丢失，若是，则舍弃图像，结束流程。

进一步，所述对所述第一二维坐标集合进行补全，其具体为：

根据第一二维坐标集合中一对未丢失的对称人体关键点的二维坐标，以及与丢失关键点对称的关键点的二维坐标，确定出丢失关键点的二维坐标，使得所述一对未丢失的对称人体关键点所构成的线段，与所述丢失关键点和所述与丢失关键点对称的关键点所构成的线段平行且长度相同，且使得丢失关键点在人体框架中与其他关键点的连线和与丢失关键点对应的关键点在人体框架中与其他关键点的连线不相交。

进一步，所述根据所述三维坐标集合中的多个关键点的三维坐标，得到跌倒检测结果，其具体为：

根据三维坐标集合中的人体关键点的坐标，判断人体头部和臀部之间形成的向量与地面相乘的夹角，以及脚部和臀部之间形成的向量与地面形成的夹角是否满足预设条件，若是，则判定为跌倒；若否，则判定为未跌倒。

进一步，还包括以下步骤：获取一帧图像的先验角度；

在判断人体头部和臀部之间形成的向量与地面相乘的夹角，以及脚部和臀部之间形成的向量与地面形成的夹角是否满足预设条件之前，先根据图像的先验角度，对三维坐标集合中的关键点的三维坐标进行处理。

进一步，所述获取一帧图像，其具体为：

从视频流中按照设定间隔获取一个图像帧作为所述图像。

进一步，所述识别模型为经过训练的深度卷积神经网络；所述从图像中识别多个人体关键点在图像中的位置，其具体为：通过经过训练的深度卷积神经网络从图像中识别多个人体关键点在图像中的位置。

第二方面，本发明实施例提供了：

一种跌倒检测系统，包括：

摄像头，用于采集现场视频；

处理器，用于执行以下步骤：

从摄像头拍摄的现场视频中获取一帧图像；

第三方面，本发明实施例提供了：

一种跌倒检测系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如所述的跌倒检测方法。

第四方面，本发明实施例提供了：

一种存储介质，其存储有程序，所述程序被处理器执行时实现如所述的跌倒检测方法。

本发明实施例的有益效果是：本发明通过对人体关键点的二维坐标集合进行补全，以保证输入到识别模型的二维坐标集合的完整性，从而得到较为准确的三维坐标集合，以提升跌倒检测的检测精度。

附图说明

图1为本发明一种具体实施例的跌倒检测方法的流程图；

图2为本发明一种具体实施例的人体框架的示意图；

图3为本发明一种具体实施例的跌倒检测方法中关键点补全的示意图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

人体关键点是用于描述人类主要关节点的一种图形图像技术，该技术目前主要通过深度学习的方法学习和寻找人类身上的大部分关键点，并通过像素坐标表示出来。通过人体关键点来理解人体行为是一个行之有效的手段，不同的一系列关键点排列可以表示人的不同姿态，而跌倒行为是一种姿态十分明显的行为，可以通过人体关键点技术来描述并自动检测该行为。

参照图1，本实施例公开了一种跌倒检测方法，本实施例的方法运用在诸如服务器等计算设备上，具体地可以由处理器执行，包括步骤S101～S105。

S101、获取一帧图像。

具体地，在本子步骤中获取的图像是待检测的图像，例如，其可以是通过摄像头直接获取的图像，例如，截图摄像头拍摄的某一个画面帧作为本步骤获取的图像。其也可以是预先存储在存储设备中待分析的图像。一般情况下，会将本实施例应用在监控设备之中，其获取一帧图像的方式为按照设定的时间间隔来从监控设备中截取图像帧。

S102、从图像中识别多个人体关键点在图像中的位置，作为人体关键点的第一二维坐标集合。

在本步骤中，会使用预先经过训练的识别模型，例如，深度卷积神经网络等，来实施图像识别。通过一个图像帧进行关键点识别，其识别到的结果是目标点在图像中的平面位置，即得到的结果是一个二维坐标。但是事实上，在监控视频拍摄的画面中，往往现场情况较为复杂，很可能出现人体部分被遮挡的情况。加上人在跌倒时，人体的部分关键点，如手脚等容易被自己遮挡。因而，如果将部分关键点丢失的人体关键点的二维坐标集合输入到三维坐标识别的识别模型中，会导致识别错误或者输出结果不准确等情况。

S103、对所述第一二维坐标集合进行补全，得到第二二维坐标集合。

具体地，本步骤是在关键点丢失的情况下才会执行的，明显地，如果关键点不存在丢失的情况，无需执行本步骤，取而代之输入到三维坐标识别模型中的二维坐标集合会是第一二维坐标集合。

如图2所示，本实施例中的人体关键点包括：眼部关键点201、耳部关键点202、鼻子关键点203、颈部关键点204、肩膀关键点205、肘部关键点206、手腕关键点207、臀部关键点208、膝盖关键点209和脚踝关键点210。同时，关键点和关键点之间设有连线211。在本实施例中，完整的关键点包括图2中示出的全部关键点。

其中，对于部分关键点是属于不可丢失的关键点，这些不可丢失的关键点丢失以后，无法进行补全的。这些关键点包括鼻子关键点、左右肩膀关键点以及左右臀部关键点。一旦这些不可丢失的关键点丢失，本实施例将会舍弃该图像。当然，除了这些不可丢失的关键点丢失时，会舍弃该图像以外，出现特定的特征点组合丢失的时候，也会导致无法实现补全，也要舍弃该图像。例如，左右脚踝关键点都丢失了，这明显是无法实施补全的。那么可以延伸为，只要一对相对应的关键点同时丢失，都是属于无法补全的情况。

本实施例中提供一种补全方式，其利用的原理是，人体的对称性。在很多情况下，人在站立或者跌倒状态下，很多情况下两只手臂或两条腿的姿态是大致相似的。因此，可以通过对称补全的方式，对丢失的人体关键点进行补全。

参照图3，图片301表示从图像中提取的关键点的二维坐标的分布情况，图片302表示补全后的关键点的二维坐标的分布情况，可以看出来，与左脚踝关键点B以及左膝盖关键点C对称的右脚踝关键点和右膝盖关键点丢失。在左臀部关键点A和右臀部关键点A’均没有丢失的情况下，可以以左臀部关键点A和右臀部关键点A’作为对称补全的参考点。

具体的做法是，以左臀部关键点A和右臀部关键点A’所形成的线段作为参考，补全出右脚踝关键点B’以及右膝盖关键点C’，使得线段AA’与线段BB’、CC’平行且长度相同，当然，满足这样的条件的点有两个，而本实施例选择的点应当满足使得补全的关键点和与其连接的关键点之间的连线，与其他两个关键点之间的连线不交叉。

当然，在数据流中，这些关键点以数组或者字符串等形式表现。

S104、将所述第二二维坐标集合输入到识别模型中，得到用于表示人体关键点在三维空间坐标中的三维坐标集合。

具体地，本步骤通过一个经过大量标定数据训练的识别模型，来将二维坐标集合中的关键点识别为三维空间中的坐标点。

S105、根据所述三维坐标集合中的多个关键点的三维坐标，得到跌倒检测结果。

具体地，在本实施例中，是通过头部与臀部所形成的向量与地面之间的夹角以及臀部与腿部所形成的向量与地面之间的夹角是否满足一定的条件来确定的，例如，两个向量与地面的夹角都很小，这说明这个人的姿势已经是躺在地面上了。因此，可以根据跌倒或者跌倒过程中人体的特点，来确定判定跌倒的条件。在一些实施例中，可以通过人体关键点中人的头部与臀部形成的向量与地面形成的夹角以及和脚与臀部形成的向量与地面形成的夹角是否小于阈值，低于阈值则判断为跌倒发生。

而由于臀部或者腿部等关键点不止一个，因此本实施例可以采取指定关键点的方式来构造头部与臀部所形成的向量，以及臀部与腿部所形成的向量。当然，如臀部等，可以采用左右臀部的关键点求平均得到方式，作为构造向量时的关键点。

本本实施例通过对人体关键点的二维坐标集合进行补全，以保证输入到识别模型的二维坐标集合的完整性，从而得到较为准确的三维坐标集合，以提升跌倒检测的检测精度。同时，本实施例，采用单帧图像进行检测，计算成本低，检测延时低，场景依赖度低，检测准确率较高。本实施例采用先验规则来检测跌倒行为，不依赖连续帧，总体计算复杂度特别是跌倒行为判断计算复杂度较低，检测延时低。人体关键点检测误检率较低，结合3D关键点回归和先验规则判断，场景依赖度低，检测准确率较高。

此外，在本实施例中，步骤S102和步骤S104中所采取的识别模型，均可以采用深度卷积神经网络来实现。

具体地，构造深度卷积神经网络的方法如下：

采用卷积层、池化层、RELU层和shortcut层搭建一个可检测人体2D关键点的深层卷积神经网络。

其中，卷积层计算公式如下：

式中，f、g表示输入函数和卷积核函数、n表示输入、m表示卷积核大小所述RELU层，其计算公式如下所示：

f(x)＝max(0,x)

式中，x表示relu层的输入

所述shortcut层，其计算公式如下所示：

y＝F(x,{W_i})+x

式中，y表示shortcut层最后的输出、x表示表示shortcut层输入、Wi表示shortcut层参数。F()表示x经过shortcut层产生的输出。

在构建深度卷积神经网络以后，需要通过大量标定的数据对模型进行训练。

当然，在识别过程中，关键点的坐标会带有置信度，置信度低于一定阈值的关键点会被过滤。所述置信度的计算公式如下：

式中，p表示某个像素点的置信度；x_j，k表示峰值点位置的置信度，即为关键点的真实位置，σ表示方差。

作为优选的实施例，在所述对所述第一二维坐标集合进行补全之前，还包括以下步骤：

本实施例在发现设定的人体关键点丢失以后，例如发现鼻子关键点、左右肩膀关键点或者左右臀部关键点等丢失的时候，会直接舍弃图像，并结束，以减少无谓的运算，因此对于这些丢失的关键点是无法补全的，因而，将残缺的二维坐标集合输入到识别模型中，很大概率是无法正确地进行三维坐标的识别。

同样，本实施例在确定这些不可丢失的关键点没有丢失之后，还会确定是否存在成对的关键点丢失，因为本实施例中所采取的补全方法是对称补全，因而如果成对的关键点同时丢失，也不能实现补全。

因此，本实施例可以通过排除一些特殊情况，来达到降低运算量的目的。

作为优选的实施例，所述对所述第一二维坐标集合进行补全，其具体为：

本实施例提供了具体的补全方法，具体可以参考图3。

作为优选的实施例，所述根据所述三维坐标集合中的多个关键点的三维坐标，得到跌倒检测结果，其具体为：

本实施例提供了一种简易的判断方法，其可以较为高效地实施跌倒判定，判断方式运算量低，可以降低对硬件的要求。

在实际场景中地面属于未知位置，而3D人体关键点处于相机形成的右手坐标系中，因此得到的3D人体关键点需要绕x轴旋转一个先验的角度，以大致匹配相机坐标系的x-z平面与地面坐标系的x-z平面。旋转的角度取决于实际场景中相机的安装位置。现场布控时，需要实施人员大致估计或测量出相机朝向与地面的夹角，然后在本实施例的部署系统中，动态设置旋转角度。因此，作为优选的实施例，还包括以下步骤：获取一帧图像的先验角度；

在判断人体头部和臀部之间形成的向量与地面相乘的夹角，以及脚部和臀部之间形成的向量与地面形成的夹角是否满足预设条件之前，先根据图像的先验角度，对三维坐标集合中的关键点的三维坐标进行处理。使得处理后的三维坐标与现实场景相匹配。

本实施例在处理三维坐标时，先获取一帧图像的先验角度，而非采用固定的先验角度对三维坐标进行处理，使得本方案可以对角度可调整的摄像头之中的图像进行处理。例如，部分摄像头在安装后，施工人员将默认的角度存入数据库，而在运行过程中，摄像头的云台可能角度调整，因此，此时摄像头和地面之间的先验角度发生改变和更新，因此，在跌倒判定之前获取先验角度，使得本方案可以应用于角度可调整的摄像头之中，避免摄像头的拍摄角度发生变化而导致检测不准确。

作为优选的实施例，所述获取一帧图像，其具体为：

从视频流中按照设定间隔获取一个图像帧作为所述图像。

在现实的引用场景中，监控摄像头往往以视频流输出，而一般情况下，人从进入到离开摄像头的拍摄范围需要一定的时间。因此，为了节省网络流量和算力，本方案仅在视频流中，按照设定的间隔获取一帧图像帧作为检测对象。

作为优选的实施例，所述识别模型为经过训练的深度卷积神经网络；所述从图像中识别多个人体关键点在图像中的位置，其具体为：通过经过训练的深度卷积神经网络从图像中识别多个人体关键点在图像中的位置。

本实施例公开了一种跌倒检测系统，其包括：

摄像头，用于采集现场视频；

处理器，用于执行以下步骤：

从摄像头拍摄的现场视频中获取一帧图像；

本实施例中，处理器所指的是监控系统中，摄像头本身集成的处理器，或者是用于处理摄像头图像的服务器中的处理器。在本实施例中，所述摄像头的数量可以是多个，其可以采用现有的监控摄像头实现。

本实施例除了前面方法实施例具有的效果以外，具有以下优点：

部署成本较低。本发明使用监控摄像头的单帧图像为输入，无需更改现有的监控线路硬件结构，覆盖人群广。一个GPU服务器可以带动多路摄像头同时进行检测，进一步降低了成本。

此外本实施例中处理器所执行的步骤也适用于上述方法实施例的实现方式。

本实施例公开了一种跌倒检测系统，其包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如所述的跌倒检测方法。

本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现如所述的跌倒检测方法。

上述系统以及存储介质实施例，与方法实施例相同的技术特征可以达到相同的技术效果，在不矛盾的情况下，可以将方法实施例中的技术特征应用到这些实施例之中。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种跌倒检测方法，其特征在于：包括以下步骤：

获取一帧图像；

2.根据权利要求1所述的一种跌倒检测方法，其特征在于：在所述对所述第一二维坐标集合进行补全之前，还包括以下步骤：

3.根据权利要求1所述的一种跌倒检测方法，其特征在于：所述对所述第一二维坐标集合进行补全，其具体为：

4.根据权利要求1所述的一种跌倒检测方法，其特征在于：所述根据所述三维坐标集合中的多个关键点的三维坐标，得到跌倒检测结果，其具体为：

5.根据权利要求4所述的一种跌倒检测方法，其特征在于：还包括以下步骤：获取一帧图像的先验角度；

6.根据权利要求1-5任一项所述的一种跌倒检测方法，其特征在于：所述获取一帧图像，其具体为：

从视频流中按照设定间隔获取一个图像帧作为所述图像。

7.根据权利要求1-5任一项所述的一种跌倒检测方法，其特征在于：所述识别模型为经过训练的深度卷积神经网络；所述从图像中识别多个人体关键点在图像中的位置，其具体为：通过经过训练的深度卷积神经网络从图像中识别多个人体关键点在图像中的位置。

8.一种跌倒检测系统，其特征在于：包括：

摄像头，用于采集现场视频；

处理器，用于执行以下步骤：

从摄像头拍摄的现场视频中获取一帧图像；

9.一种跌倒检测系统，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-7任一项所述的跌倒检测方法。

10.一种存储介质，其存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1-7任一项所述的跌倒检测方法。