CN113642361B - 一种跌倒行为的检测方法和设备 - Google Patents

Abstract

本申请公开了一种跌倒行为的检测方法，该方法包括，获取当前图像，基于获取的图像进行目标检测，得到目标框信息，对目标框中的目标进行属性识别，当目标的属性符合设定的属性时，对该目标框中的目标进行姿态估计，根据姿态估计识别跌倒行为；其中，所述属性包括需要被检测的目标人员。本申请实现了特定人员的行为检测，提高了检测效率，并解决了实际应用中对特定人员的看护和监控。

Description

一种跌倒行为的检测方法和设备

技术领域

本申请涉及目标行为识别领域，特别地，涉及一种跌倒行为的检测方法。

背景技术

随着技术的发展，特定人员看护的智能化成为热点。例如，对于独居的老人、残(智)障人员能够实时监控是否跌倒就显得非常实用。

现有技术中跌倒行为的检测识别方法，通常对整个场景中的目标进行无差别识别，即，只是针对跌倒行为的本身进行检测，无法区分是否属于特定人员，这导致智能化的程度不够高；而能够实现特定人员跌倒实时监控的方法，需要被监控人员穿戴一些可穿戴设备，以采集数据，成本较高，大部分可穿戴设备对被监控人员来说并不友好，使用不方便。

发明内容

本申请提供了一种跌倒行为的检测方法，以对具有一定属性的目标人员的跌倒行为进行监控。

本发明提供的一种跌倒行为的检测方法，是这样实现的：

获取当前图像，

基于获取的图像进行目标检测，得到目标框信息，

对目标框中的目标进行属性识别，

当目标的属性符合设定的属性时，对该目标框中的目标进行姿态估计，

根据姿态估计识别跌倒行为；

其中，所述属性包括需要被检测的目标人员。

较佳地，所述需要被检测的目标人员包括，老人和/或欠缺自理能力的人员；

该方法还包括，当目标的属性符合设定的属性时，放弃对该目标框中的目标进行姿态估计；

当根据姿态估计识别为跌倒行为时，触发报警。

较佳地，所述欠缺自理能力的人员包括至少包括残障人员、智障人员、幼童人员之一；

所述基于获取的图像进行目标检测，得到目标框信息，包括，

采用深度学习目标检测方法进行目标检测，得到至少一个目标框信息；

所述对目标框中的目标进行属性识别包括，通过深度学习分类方法对目标框中的目标图像进行分类，识别出符合设定属性的目标人员和不符合设定属性的非目标人员；

所述对该目标框中的目标进行姿态估计进一步包括，

对该目标框进行跟踪，得到跟踪目标框，基于跟踪目标框中的目标，进行姿态估计。

较佳地，所述对该目标框进行跟踪，得到跟踪目标框，包括，基于当前帧和该当前帧的前一帧的相交图像的面积与相并图像的面积之比是否大于设定的闻值，来进行跟踪匹配，

所述基于跟踪目标框中的目标，进行姿态估计进行姿态估计，包括，通过人体姿态识别方法检测跟踪目标框中人形目标，得到目标骨骼数据。

较佳地，所述获取当前图像包括，获取时间序列上的K帧图像，将K帧图像中的任一图像帧作为当前图像，执行所述基于获取的图像进行目标检测，得到目标框信息的步骤，

所述根据姿态估计识别跌倒行为包括，

将基于K帧图像分别得到的目标骨骼数据作为图卷积分类方法的输入，通过图卷积分类方法识别跌倒行为，

其中，所述K为大于1的自然数。

较佳地，所述将基于K帧图像分别得到的目标骨骼数据作为图卷积分类方法的输入，包括，

对于K帧中任一图像帧，将基于跟踪目标框进行姿态估计得到的骨骼数据保存于用于图卷积分类的输入缓冲队列中，所述输入缓冲队列用于存储K帧骨骼数据；

若跟踪目标框的跟踪次数N超过K，则再从输入缓冲队列的起始位置处开始覆盖原始数据，其中，N为大于等于1的自然数。

较佳地，所述输入缓冲队列以跟踪次数N除以K的余数为索引，每个索引对应一帧骨骼数据，

所述将基于K帧图像分别得到的目标骨骼数据作为图卷积分类方法的输入，还包括，

判断输入缓冲队列是否达到进行图卷积分类的最低要求，并且，如果跟踪目标框的跟踪次数N超过K时，判断跟踪目标框当前跟踪次数N与K的差值是否是设定第一闻值的整数倍，

如果是，则根据跟踪目标的跟踪次数N除以K的余数为第一索引，从第一索引开始取输入缓冲队列中的骨骼数据，当取到K时，再从输入缓冲队列的起始位置开始取到比第一索引小1的第二索引，作为图卷积分类网络的输入，

否则，则等待输入缓冲队列达到进行图卷积分类的最低要求，和满足跟踪目标框当前跟踪次数N与K的差值为第一闻值的整倍数；

所述第一闻值为大于1的自然数。

较佳地，所述基于跟踪目标框中的目标，进行姿态估计进一步包括，对跟踪目标框中的目标进行属性识别，并设置该跟踪目标框标识，将属性识别结果记录于标识中，且对于符合属性的跟踪目标框进行姿态估计，拒绝不符合属性的跟踪目标框的姿态估计。

本发明还提供一种用于跌倒行为的检测设备，所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行上述任一所述跌倒行为的检测方法的步骤。

本发明提供的一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述跌倒行为的检测方法的步骤。

本申请提供的一种跌倒行为的检测方法，通过对目标检测中的目标图像进行属性识别，对于符合设定属性的目标进行跌倒行为检测，对于不符合设定属性的目标拒绝进行跌倒行为检测，该方法过滤掉不符合设定属性的目标，实现了特定人员的行为检测，提高了检测效率，并解决了实际应用中对特定人员的看护和监控。此外，对于目标检测、姿态估计、动作分类采用深度学习算法，提高了检测的准确性和鲁棒性。

附图说明

图1为本申请实施例一的跌倒行为检测方法的一种流程示意图。

图2为实施例二的目标人员跌倒行为检测的一种流程示意图。

图3为实施例三的目标人员跌倒行为检测的一种框架示意图。

图4为实施例三的目标人员跌倒行为检测的一种流程示意图。

图5为骨骼数据进行读写至输入缓冲队列的一种示意图。

图6为图卷积分类模型中时空图卷积分类深度学习算法的结构的一种示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

本申请获取图像数据，对图像数据中所包括的目标进行属性识别，对于符合设定属性的目标进行跌倒行为的检测，对于不符合属性的目标拒绝进行跌倒行为检测。

实施例一

参见图1所示，图1为本申请实施例一的跌倒行为检测方法的一种流程示意图。该检测方法包括，

步骤101，获取二维图像，该图像可以为RGB图像；

步骤102，基于获取的图像进行目标检测，获取目标框信息；

在该步骤中，可以既有的目标检测算法，包括传统的目标检测算法和深度学习目标检测算法；

步骤103，对目标框中的目标进行属性识别，判断所识别的属性是否符合设定的属性，如果是，则执行步骤104，否则，则返回步骤101；

其中，设定的属性需要被检测的目标人员，包括老人属性和/或欠缺自理能力属性，所述欠缺自理能力属性包括，残障人员属性，智障人员属性，幼童属性之一或其任意组合。

属性识别可通过分类神经网络算法来实现。

步骤104，对目标框中的目标进行姿态估计，根据姿态估计识别是否发生了跌倒，如果是，则进一步触发报警。否则，返回步骤101；

其中，姿态估计可以是基于骨骼点轨迹分析得到。

本实施例通过属性识别来锁定设定的目标人员，从而只对设定的特定人员的跌倒行为进行检测，对非特定人与案件不进行跌倒行为检测，有利于资源的节省。

实施例二

为了有效提升识别效率和准确率，本实施例对跌倒行为检测进行了进一步的优化。

参见图2所示，图2为实施例二的目标人员跌倒行为检测的一种流程示意图。

该检测方法包括，

步骤201，获取当前环境中的二维图像，该图像可以为红绿蓝RGB图像；

步骤202，采用深度学习目标检测算法进行目标检测，以便有效识别图像中的目标人员，得到至少一个目标框信息。

其中，深度学习目标检测算法可以是YOLO(you only look once)算法，Faster R-CNN算法，SSD算法。以YOLO算法为例，该算法可直接基于输入图像输出各个目标的类别和在图像中的相应的位置信息；在本实施例中，应用YOLO算法基于输入图像输出图像中所包括的各个人员和其位置。

步骤203，对目标框中的各个目标图像通过分类深度学习模型进行属性识别。

以属性识别为老人为例，通过分类深度学习模型，将各个目标框中的图像分别进行分类，识别出老人和非老人。鉴于分类任务简单，分类深度学习模型的基础网络采用mobile net v1基础网络，缩减全连接层所有通道(channel)均为原来的二分之一，输出部分采用一个输出通道数为2的卷积层连接一个softmax层；属性网络模型图片输入大小为64*64。

进一步地，当识别出目标框为老人时，为该目标框设置标识ID，以便于对不同的老人的跌倒行为检测，例如，家居环境中有多个老人时，则对检测到的每个目标老人分别设置标识。

步骤204，为了提高检测的准确性，对于同一目标框标识，通过前后帧进行跟踪匹配，得到跟踪目标框，

在该步骤中，鉴于家居环境中人员较为简单，可以直接采用前后帧交并比的方法进行跟踪匹配，即，计算前一帧与后一帧图像相交的面积，与前一帧和后一帧相并的面积的比值，如果交并比大于设定的闻值，则匹配成功，将前后帧中同一目标框设定为跟踪目标框。

步骤205，对跟踪目标框中目标进行姿态估计，

在该步骤中，姿态估计可以采用人体姿态识别算法，例如openpose算法、ALPHAPOSE算法。以ALPHAPOSE算法为例，该算法一种自顶向下的姿态估计算法，通过该算法，基于人形目标框，检测出骨骼数据信息，包括18个骨骼肢点，每个肢点三个信息，分别是坐标x、y和置信度信息。

步骤206，基于检测的骨骼数据，对姿态估计进行跌倒动作的识别，从而得到所述标识的目标框的跌倒动作的检测结果。

鉴于跌倒状态下，骨骼肢点的坐标位置发生异于正常状态下的骨骼肢点的变化，基于此，可识别出跌倒行为。

本实施例采用了分类深度学习算法进行属性识别，直接对目标检测结果进行了过滤，有效滤除了不必要的目标跟踪和行为识别，只关注设定属性的目标人员的行为，提高了检测的效率，对目标人员的跟踪，有利于提高跌倒行为检测的准确性，有效地避免了漏检和误检。

实施例三

参见图3所示，图3为实施例三的目标人员跌倒行为检测的一种框架示意图。对于时间序列的K帧，基于每一帧分别进行目标检测、跟踪、属性识别、姿态估计，将各帧的姿态估计均通过图卷积分类识别来进行姿态识别，其中，K为大于等于1的自然数。

参见图4所示，图4为实施例三的目标人员跌倒行为检测的一种流程示意图。其中，虚线框部分为一帧的处理流程，虚线框外部为多帧的处理。对于多帧中任意第T帧图像数据，进行如在处理：

步骤401，采用深度学习目标检测算法进行目标检测，以便有效识别图像中的所有目标的位置信息，得到至少一个目标框信息。该步骤可以与步骤202相同；

步骤402，基于T帧目标位置信息，与T-1帧进行跟踪匹配，可以按照前后帧交并比进行跟踪匹配，当交并比大于设定的闻值则为匹配成功，生成T帧的跟踪目标框；

步骤403，基于T帧的跟踪目标框，通过分类神经网络对跟踪目标框中的目标进行属性识别，例如，识别出老人和非老人，又例如，识别出需要被看护人员，这种情况下，可以用被看护人员的图像对分类神经网络进行训练，然后，调用训练后的分类神经网络模型来对跟踪目标框中的目标进行识别；

进一步地，对跟踪目标框设置ID标识，并记录该跟踪目标框的属性识别结果。

步骤404，判断所述T帧的跟踪目标框中的目标是否被识别为设定的属性，例如，是否是老人，如果是，则执行步骤405，否则，返回步骤403，

步骤405，跟踪属性为设定属性(例如老人)的该帧跟踪目标框进行通过ALPHAPOSE算法进行姿态估计，输出目标骨骼数据信息，包括18个骨骼肢点，每个肢点三个信息，分别是坐标x、y和置信度信息，并将该骨骼数据信息存入用于进行图卷积分类的输入缓冲队列，该队列能够存储K帧骨骼信息，大小K*18*3，若该跟踪目标框标识ID的跟踪次数N超过K，则再从输入缓冲队列的起始位置处开始覆盖原始数据。N为大于等于1的自然数，输入缓冲队列的起始位置一般从0开始。

步骤406，判断输入缓冲队列是否达到进行图卷积分类的最低要求K帧，并且，如果N超过K，由于输入缓冲队列中N-K处已被新数据覆盖，则判断该跟踪目标框标识ID当前跟踪次数N与K的差值是否是设定第一闻值的整数倍，以便于去除冗余的骨骼数据，例如，取每10次跟踪所得到的骨骼数据作为输入，则判断N-K的差值除以10的余数是否余数为0，如果是，则说明该跟踪目标框跟踪次数满足设定要求，否则，则需要增加跟踪的次数。其中，第一闻值为大于1的自然数，

因此，如果满足这两个条件，则执行步骤407，否则，执行步骤408；

步骤407，鉴于图卷积分类模型输入大小为K*18*3，根据该跟踪目标框标识的跟踪次数N，以N％K的余数为第一索引index，从该第一index开始取输入缓冲队列中的骨骼数据值，取到K时，再从输入缓冲队列的起始位置开始取到第二索引index-1，作为图卷积分类网络的输入，通过图卷积分类模型进行识别，如果输出为跌倒行为，则进行报警，由此完成一次跌倒行为检测；

参见图5所示，图5为骨骼数据进行读写至输入缓冲队列的一种示意图。该队列可存储K帧骨骼数据，每帧骨骼数据对应一索引。

参见图6所示，图6为图卷积分类模型中时空图卷积分类(STGCN)深度学习算法的结构的一种示意图。该时空图卷积分类深度学习算法模型以空间上的姿态在时间序列上的展开作为输入，实现对姿态进行分类识别。

步骤408，等待输入缓冲队列达到进行图卷积分类的最低要求K帧，以及该跟踪目标框标识ID当前跟踪次数N与K的差值为第一闻值的整倍数，返回步骤406。

本实施例通过图卷积分类算法对同时输入的K帧和/或符合设定属性的、跟踪N次的跟踪目标框中的目标的骨骼数据进行分类，提高了跌倒行为识别的准确性和识别效率，有效降低了误检率；特别地，对于独居老人的监控具有改善了监控效果，提高了用户体验。

本申请还提供一种用于跌倒行为的检测设备，所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行如实施例任一所述跌倒行为的检测方法的步骤。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中的步骤。

对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句″包括一个......″限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种跌倒行为的检测方法，其特征在于，该方法包括，

获取时间序列上的K帧图像，将K帧图像中的任一图像帧作为当前图像，

基于当前图像进行目标检测，得到目标框信息，

对目标框中的目标进行属性识别，

当目标的属性符合设定的属性时，对该目标框进行跟踪，并对目标框中的目标进行姿态估计，将基于K帧图像分别得到的姿态估计保存于缓冲队列中，若跟踪次数N超过K，则从缓冲队列的起始位置处开始覆盖数据，其中，N为大于等于1的自然数，K为大于1的自然数；

将缓冲队列中的姿态估计作为用于识别跌倒行为模型的输入，保存于输入缓冲队列中，以识别跌倒行为；

其中，

所述属性包括需要被检测的目标人员；

所述输入缓冲队列以跟踪次数N除以K的余数为索引，每个索引对应一帧姿态估计数据，

所述将缓冲队列中的姿态估计作为用于识别跌倒行为模型的输入包括：

判断输入缓冲队列是否达到进行识别的最低要求，并且，如果跟踪目标框的跟踪次数N超过K时，判断跟踪目标框当前跟踪次数N与K的差值是否是设定第一阈值的整数倍，

如果是，则根据跟踪目标的跟踪次数N除以K的余数为第一索引，从第一索引开始读取输入缓冲队列中的姿态估计数据，当取到K时，再从输入缓冲队列的起始位置开始读取，直至读取到比第一索引小1的第二索引，作为用于识别跌倒行为模型的输入，

否则，则等待输入缓冲队列达到进行识别最低要求，和满足跟踪目标框当前跟踪次数N与K的差值为第一阈值的整倍数；

所述第一阈值为大于1的自然数。

2.如权利要求1所述的方法，其特征在于，所述需要被检测的目标人员包括，老人和/或欠缺自理能力的人员；

该方法还包括，当目标的属性不符合设定的属性时，放弃对该目标框中的目标进行姿态估计；

当根据姿态估计识别为跌倒行为时，触发报警。

3.如权利要求2所述的方法，其特征在于，所述欠缺自理能力的人员包括至少包括残障人员、智障人员、幼童人员之一；

所述基于当前图像进行目标检测，得到目标框信息，包括，

采用深度学习目标检测方法进行目标检测，得到至少一个目标框信息；

所述对目标框中的目标进行属性识别包括，

通过深度学习分类方法对目标框中的目标图像进行分类，识别出符合设定属性的目标人员和不符合设定属性的非目标人员；

所述对该目标框进行跟踪，并对目标框中的目标进行姿态估计进一步包括，

对该目标框进行跟踪，得到跟踪目标框，基于跟踪目标框中的目标，进行姿态估计。

4.如权利要求3所述的方法，其特征在于，所述对该目标框进行跟踪，得到跟踪目标框，包括，

基于当前帧和该当前帧的前一帧的相交图像的面积与相并图像的面积之比是否大于设定的阈值，来进行跟踪匹配，

所述基于跟踪目标框中的目标，进行姿态估计，包括，

通过人体姿态识别方法检测跟踪目标框中人形目标，得到目标骨骼数据。

5.如权利要求4所述的方法，其特征在于，所述姿态估计数据为目标骨骼数据。

6.如权利要求1所述的方法，其特征在于，所述用于识别跌倒行为模型为图卷积分类网络模型。

7.如权利要求3所述的方法，其特征在于，所述基于跟踪目标框中的目标，进行姿态估计，进一步包括，对跟踪目标框中的目标进行属性识别，并设置该跟踪目标框标识，将属性识别结果记录于标识中，且对于符合属性的跟踪目标框进行姿态估计，拒绝不符合属性的跟踪目标框的姿态估计。

8.一种用于跌倒行为的检测设备，其特征在于，存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行如权利要求1至7任一所述跌倒行为的检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述跌倒行为的检测方法的步骤。