CN113657150A - 一种跌倒检测方法、装置和计算机可读存储介质 - Google Patents
一种跌倒检测方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113657150A CN113657150A CN202110768127.8A CN202110768127A CN113657150A CN 113657150 A CN113657150 A CN 113657150A CN 202110768127 A CN202110768127 A CN 202110768127A CN 113657150 A CN113657150 A CN 113657150A
- Authority
- CN
- China
- Prior art keywords
- human body
- video data
- probability
- falling
- fall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 238000012544 monitoring process Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 11
- 230000006399 behavior Effects 0.000 description 19
- 230000009471 action Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种跌倒检测方法、装置和计算机可读存储介质，该方法包括：对获取到的监控视频数据进行人体识别跟踪处理，得到人体视频数据；采用第一预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第一跌倒概率；采用第二预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第二跌倒概率；基于第一跌倒概率与第二跌倒概率，确定人体视频数据中是否发生跌倒事件。通过上述方式，本申请能够提升跌倒检测的准确性。
Description
技术领域
本申请涉及视频处理技术领域，具体涉及一种跌倒检测方法、装置和计算机可读存储介质。
背景技术
随着老年人口的增加，需要更先进的家用设备来监控老人的活动，以保证老人的安全；目前的跌倒检测系统主要是通过可穿戴设别进行检测识别，一些可穿戴设备价格昂贵，老人穿戴着很不舒服，且由于需要穿戴存在一定的危险性，存在误报率较高的问题，实际应用性不高。
发明内容
本申请提供一种跌倒检测方法、装置和计算机可读存储介质，能够提升跌倒检测的准确性。
为解决上述技术问题，本申请采用的技术方案是：提供一种跌倒检测方法，该方法包括：对获取到的监控视频数据进行人体识别跟踪处理，得到人体视频数据；采用第一预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第一跌倒概率；采用第二预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第二跌倒概率；基于第一跌倒概率与第二跌倒概率，确定人体视频数据中是否发生跌倒事件。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种跌倒检测装置，该跌倒检测装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的跌倒检测方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的跌倒检测方法。
通过上述方案，本申请的有益效果是：先获取对监控场景进行拍摄得到的监控视频数据，然后对该监控视频数据进行人体识别跟踪处理，得到与监控场景中的每个人对应的人体视频数据；再分别采用第一预设模型与第二预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第一跌倒概率与第二跌倒概率；然后通过对第一跌倒概率与第二跌倒概率进行分析处理，确定当前监控场景中是否发生跌倒事件；由于利用普通监控设备即可准确地判断监控场景中是否存在跌倒行为，无需额外设置穿戴设备，降低了成本，避免了因穿戴设备造成的危险；且结合了两种检测模型的检测结果，避免采用单一的检测算法进行检测导致的检测结果不准确，能够在保障高召回率的同时避免产生误报，提升检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的跌倒检测方法一实施例的流程示意图；
图2是本申请提供的跌倒检测方法另一实施例的流程示意图；
图3是本申请提供的获取第二跌倒概率的流程示意图；
图4是本申请提供的关节点序列的示意图；
图5是本申请提供的跌倒检测方法又一实施例的流程示意图；
图6是本申请提供的跌倒检测装置一实施例的结构示意图；
图7是本申请提供的跌倒检测装置另一实施例的结构示意图；
图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请提供的跌倒检测方法一实施例的流程示意图，该方法包括：
步骤11：对获取到的监控视频数据进行人体识别跟踪处理，得到人体视频数据。
可以采用监控设备(比如：摄像机)对监控场景进行拍摄，得到监控视频数据，该监控场景为用户关注的场景，比如：用户家中的场景，以便观察家中老人是否跌倒。在获取到监控视频数据后，采用运动目标跟踪算法对该监控视频数据进行分析处理，生成人体视频数据，该人体视频数据为监控场景中某个人对应的视频，即可以将人体视频数据看作对某个人进行跟拍得到的视频数据。
进一步地，人体视频数据的数量可以为一个或一个以上，人体视频数据的数量与监控场景中存在的人员的数量相关，一般来说，人体视频数据的数量与监控场景中人员的总数量相等；例如，假设某个家庭包括3个人：A-C，则人体视频数据为三个，分别与A-C在家中的活动对应。
步骤12：采用第一预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第一跌倒概率。
在获取到人体视频数据后，采用与人体跌倒检测相关的第一预设模型对该人体视频数据进行检测、识别或其他处理，以确定该人体视频数据中发生人体跌倒事件的概率(即第一跌倒概率)；具体地，该第一预设模型可以为目标检测模型、骨骼行为识别模型或其他检测模型，目标检测模型包括区域卷积神经网络(Region Convolutional NeuralNetworks，R-CNN)、Faster R-CNN、单级多框预测(Single Shot MultiBox Detector，SSD)或YOLO(You Only Look Once)、骨骼行为识别模型可以为MS-G3D模型。
步骤13：采用第二预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第二跌倒概率。
在获取到人体视频数据后，采用与人体跌倒检测相关的第二预设模型对该人体视频数据进行检测、识别或其他处理，以确定该人体视频数据中发生人体跌倒事件的概率(即第二跌倒概率)，该第二预设模型可以为MS-G3D模型和/或TimesFormer模型。
步骤14：基于第一跌倒概率与第二跌倒概率，确定人体视频数据中是否发生跌倒事件。
在计算出第一跌倒概率与第二跌倒概率后，可对第一跌倒概率与第二跌倒概率进行处理，以计算出人体视频数据中发生跌倒事件的综合概率(记作人体跌倒概率)，然后根据该人体跌倒概率来判定监控场景中是否发生跌倒事件；例如，可以对第一跌倒概率与第二跌倒概率进行加权求和，得到人体跌倒概率，然后比较人体跌倒概率与预设概率之间的大小关系，从而确定监控场景中是否发生跌倒事件；或者还可以预先建立第一跌倒概率、第二跌倒概率以及是否发生跌倒事件的对应关系，生成对应表，然后在实际使用时，通过查找对应表得到监控场景中是否发生跌倒事件的检测结果。
进一步地，在监控场景中发生跌倒事件时，可生成一报警信息，将该报警信息发送至预先设置的联系人，以使得联系人及时获知亲人跌倒的信息，进而进行援助，或者还可以播放预先设置的警报音频，以提醒附近的人及时救援。
可以理解地，本实施例所提供的方案并不仅限于对人是否跌倒进行检测，还可应用于对其他动物的跌倒检测中，可根据具体应用需要来调整第一预设模型与第二预设模型，以达到跌倒检测的目的。此外，还可采用三种或三种以上的模型来对跌倒进行检测，结合各个模型的检测结果来判定监控场景中是否发生跌倒事件，以实现提升检测准确度的目的。
本实施例所提供的技术方案能够应用于视频识别技术领域，特别是应用于行为识别技术领域，由于利用普通监控设备即可准确地判断监控场景中是否存在跌倒行为，无需额外设置穿戴设备，降低了成本，避免了因穿戴设备造成的危险；且结合了两种检测模型的检测结果，避免采用单一的检测算法进行检测导致的检测结果不准确，能够在保障高召回率的同时避免产生误报，提升检测的准确率。
请参阅图2，图2是本申请提供的跌倒检测方法另一实施例的流程示意图，该方法包括：
步骤21：采用目标识别算法对监控视频数据进行识别处理，得到监控视频数据中的人体信息，并采用跟踪算法人体信息进行跟踪，生成人体视频数据。
目标识别算法可以检测出监控视频数据中的目标，并输出目标的判断结果，即判断出监控场景中的目标是人、其他动物还是物体；具体地，目标识别算法是YOLO V3网络，能够识别人体和相关物体，如果检测到人体，则将人体框(即人体的检测框)扩大一倍，继续检测扩大后的画面中是否有其他物体目标。
进一步地，YOLO V3网络根据数据库(比如：ImageNet)中的数据集训练得到，可以识别生活中的各种物体，本实施例中设定为识别人、沙发、座椅或床等多种类别，具体的识别种类可以根据不同的应用场景来设定。
跟踪算法可以为Camshift算法，即采用Camshift算法跟踪识别到的人体目标，使检测到的人体目标在监控画面中始终使用同一个身份标识(Identity document，ID)；具体地，监控视频数据包括多帧待检测图像，Camshift算法可以跟踪监控视频数据中运动的目标，采用待检测图像中运动物体的颜色信息作为特征，对每一帧待检测图像作均值偏移(Mean-Shift)运算，并将上一帧待检测图像的目标中心和搜索窗口大小(核函数带宽)作为下一帧待检测图像的目标中心和搜索窗口大小的初始值，如此迭代下去，就可以实现对目标的跟踪。
可以理解地，本实施例中对于目标识别算法与跟踪算法的具体方法不作限定，实现目标识别与跟踪的效果即可。
步骤22：采用目标检测模型对人体视频数据进行检测，得到人体视频数据中是否存在目标物体的检测结果。
第一预设模型为目标检测模型，目标检测模型能够检测人体视频数据中是否存在目标物体，以便衡量人体处于跌倒状态还是处于坐/躺在目标物体上的状态，该目标物体为监控场景中存在的物体，可以根据应用场景进行设置，比如：对于监控场景为室内场景来说，目标物体可以为沙发、座椅或床等物体。
步骤23：基于检测结果，确定人体视频数据中人体跌倒的第一跌倒概率。
在检测结果为人体视频数据中存在目标物体时，获取目标物体与人体之间的交叠参数，再基于交叠参数设置第一跌倒概率，交叠参数和第一跌倒概率呈负相关，即该交叠参数越大，第一跌倒概率越小。
在一具体的实施例中，叠参数包括重合度，获取人体视频数据中目标物体的检测框，记作物体框；获取人体视频数据中人体的检测框，记作人体框；计算物体框与人体框之间的重合度，然后基于该重合度来设置第一跌倒概率，设置的规则为：重合度越大，第一跌倒概率越小，比如：可以预先设置第一映射表，该第一映射表包括重合度以及与重合度对应的第一跌倒概率，在实际使用时直接利用当前计算出的重合度在第一映射表中查找，得到匹配的第一跌倒概率；进一步地，重合度可为交并比(Intersection over Union，IOU)，计算人体框与物体框的面积的交集与并集，然后将交集面积与并集面积相除，得到交并比。
在其他实施例中，叠参数还可以包括其他参数，比如：距离值，即计算目标物体与人体之间的距离值，利用该距离值来设置第一跌倒概率，设置的规则为：距离值越大，第一跌倒概率越小。
步骤24：采用第二预设模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第二跌倒概率。
基于第二预设模型的不同，可以采用不同的方案来获取第二跌倒概率。
在一具体的实施例中，人体视频数据包括多帧待检测图像，采用图3所示的方案来计算第二跌倒概率，具体包括：
步骤31：检测待检测图像中人体的关节点，得到关节点信息。
使用关节点提取算法将待检测图像中的人体转换成关节点，本实施例中关节点提取算法为高分辨率网络(High-Resoultion Net，HRNet)，HRNet网络通过逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接，通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合，最后通过网络输出来预测人体关节点位置。
可以理解地，本实施例对于关节点提取算法不作限制，只要保证能够提取出人体的关节点即可。
步骤32：将连续多帧待检测图像对应的关节点信息组合，形成关节点序列。
利用HRNet网络提取出每帧待检测图像中人体的二维关节点后，再将连续帧的关节点信息组合，便可形成关节点序列；例如，关节点序列如图4所示，其示出了5张待检测图像中人体的二维关节点，图4中标号41为关节点，该关节点可以为头、肩、肘关节、手、膝盖或脚等。
步骤33：采用第二预设模型对关节点序列进行识别，得到人体视频数据中人体跌倒的第二跌倒概率。
在获取到关节点序列之后，将该关节点序列输入第二预设模型，便可得到第二跌倒概率；具体地，第二预设模型为MS-G3D模型，MS-G3D模型用于识别关节点序列中的动作，其是一种时空图卷积模型，采用了新的多尺度聚合方案，通过消除较远和较近邻域间的冗余依赖关系来解决有偏差的权重问题，从而理顺多尺度聚合下的特征。
进一步地，将跌倒的关节点序列和非跌倒的关节点序列这两种类型作为MS-G3D模型的训练集，训练集包括不同角度、高度和远近等维度的图像。可以理解地，MS-G3D模型的具体原理可以参考现有技术，本实施例不再赘述。
由于关节点不受背景或光线等因素的影响，利用关节点序列表现跌倒动作的效果较明显，并且关节点信息集中体现在人的动作行为上，因此利用关节点序列来检测人体是否跌倒可以保证高召回率。
在另一具体的实施例中，第二预设模型为TimesFormer模型，TimesFormer模型用于识别人体视频数据中的动作，其是基于Transformer模型中的自注意力机制，将输入的人体视频数据看做是从各个帧中提取的图像块(patch)的时空序列，使得它能够捕捉到整段视频中的时空依赖性。
TimesFormer模型使用的是时空交替注意力机制的网络结构，先对待检测图像进行分块，得到多个图像块；然后对待检测图像中的图像块进行对比，以提取待检测图像中的关注区域；对不同的待检测图像中的图像块进行对比，以提取人体视频数据中的关注帧；基于关注帧与关注区域，确定人体视频数据中人体跌倒的第二跌倒概率。
进一步地，在训练TimesFormer模型的过程中，本实施例所使用的训练样本中图像的数量小于测试样本中图像的数量，例如，每个训练样本包括8帧图像，每个测试样本包括16帧图像，这样的好处为：1)能够使用较少的图片来训练TimesFormer模型；2)相比训练样本与测试样本均包括8张图像的方案，训练好的TimesFormer模型判别是否发生跌倒事件的准确率更高。
通过将每个图像块的语义与其它图像块进行比较，来获取每个图像块的语义，可以同时捕获到邻近的图像块之间的局部依赖关系以及远距离图像块的全局依赖性。可以理解地，TimesFormer模型的具体原理可以参考现有技术，本实施例不再赘述。
在其他具体的实施例中，由于关节点序列没有背景信息，因此MS-G3D模型可能将坐沙发、躺向沙发或躺向床等动作误报成倒地，因此，只使用关节点序列来检测跌倒可能导致误报较多。视频信息内容丰富，采用TimesFormer模型能够学习到一些背景信息，但是受背景的干扰，很难准确地识别跌倒行为，如果只利用TimesFormer模型进行跌倒检测，可能导致跌倒的召回率偏低，误报也很低。
为了降低因坐沙发、躺床或躺沙发等动作造成的误报，本实施例结合两个模型的输出结果来计算第二跌倒概率，即第二预设模型包括第一子模型与第二子模型，第二跌倒概率包括第一子概率与第二子概率；采用第一子模型对人体视频数据进行识别，得到人体视频数据中人体跌倒的第一子概率；采用第二子模型对人体视频数据进行识别，得到人体视频数据中人体跌倒的第二子概率；然后对第一子概率与第二子概率进行加权求和，得到第一跌倒概率；具体地，第一子模型与第二子模型可以分别为MS-G3D模型与TimesFormer模型，通过将MS-G3D模型与TimesFormer模型结合，来降低误报。
可以理解地，还可根据应用需要设置三个或者三个以上的检测模型进行跌倒检测，然后将各个检测模型的输出结果融合便可得到第二跌倒概率。用户可以自定义第一子概率、第二子概率以及第一概率的权重，以适用于不同的应用场景；或者还可以采用自适应调整权重的方式，根据应用场景自适应确定每个概率的权重。
本实施例除了采用MS-G3D模型与TimesFormer模型来进行跌倒检测外，还结合人体周围的目标物体来进一步控制跌倒误报的产生，如果检测到人体框与人体周围的沙发、座椅或床等目标物体的物体框的重合度较大，则判定为误报，当前监控场景中并未发生跌倒事件。
步骤25：对第一跌倒概率与第二跌倒概率进行加权求和，得到人体跌倒概率，并判断人体跌倒概率是否大于预设概率。
通过对第一跌倒概率与第二跌倒概率进行加权求和，可以得到在当前监控场景中发生跌倒事件的概率，记作人体跌倒概率，通过比较人体跌倒概率与预设概率的大小关系，判别出是否发生了跌倒事件。
步骤26：若判断人体跌倒概率大于预设概率，则确定视频数据中发生跌倒事件。
步骤27：若判断人体跌倒概率小于/等于预设概率，则确定视频数据中未发生跌倒事件。
如果人体跌倒概率大于预设概率，则表明监控场景中发生跌倒事件的概率较大，此时判定监控场景有人跌倒；如果人体跌倒概率小于或等于预设概率，则表明监控场景中发生跌倒事件的概率较小，此时判定监控场景未有人跌倒。
本实施例提供了一种跌倒行为检测的方法，通过监控设备采集目标人体的行为信息，一方面直接利用TimesFormer模型判断识别人体视频数据中是否有跌倒行为；另一方面提取人体视频数中人体的二维关节点并组成关节点序列，利用MS-G3D模型对关节点序列进行判断以确定是否有跌倒行为，最后对两个模型的输出结果进行融合，再结合人体周围是否有目标物体的信息(即检测视频中人的周围是否有沙发、椅子或床等目标物体)，判断当前监控场景中是否有跌倒行为。由于仅需监控设备采集视频信息，无需穿戴任何设备，实现简单，且成本较低；而且利用关节点序列判断跌倒动作更有效，不受背景或光线等因素的影响，能够保证跌倒行为或者类似跌倒的行为全部识别出来，避免因漏报导致伤亡事件发生；此外，结合TimesFormer模型和/或对人体周围的物体的判断，进一步区分跌倒、坐椅子、躺沙发或者躺床等动作，以便减少误报，提升对跌倒行为检测的准确性，使最终的识别准确率更高；另外，通过设置自定义的选择机制，可以使该方案在任何场景下应用，只需使用人员简单的调节权重或者选择不同的目标物体选项即可，使用简单。
请参阅图5，图5是本申请提供的跌倒检测方法又一实施例的流程示意图，该方法包括：
步骤51：获取到的监控视频数据进行人体识别跟踪处理，得到人体视频数据。
步骤51与上述实施例中步骤11相同，在此不再赘述。
步骤52：采用MS-G3D模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第一跌倒概率。
步骤53：采用TimesFormer模型对人体视频数据进行处理，得到人体视频数据中人体跌倒的第二跌倒概率。
步骤53-步骤54与上述实施例中采用MS-G3D模型与TimesFormer模型对人体视频数据进行处理的操作类似，在此不再赘述。
步骤54：基于第一跌倒概率与第二跌倒概率，确定人体视频数据中是否发生跌倒事件。
步骤54与上述实施例中步骤14相同，在此不再赘述。
本实施例中将第一预设模型设置为MS-G3D模型，将第二预设模型设置为TimesFormer模型，将这两个模型的输出结果融合，来判定监控场景中是否发生跌倒事件，使得检测的可信度增加，提升了跌倒检测的准确率。
请参阅图6，图6是本申请提供的跌倒检测装置一实施例的结构示意图，该跌倒检测装置包括视频采集模块61、人体识别跟踪模块62、关节点提取模块63、MS-G3D模型模块64、TimesFormer模型模块65、物体判断模块66以及结果分析模块67。
视频采集模块61将采集的监控视频数据传入人体识别跟踪模块62。
人体识别跟踪模块62包括识别单元631和跟踪单元632，识别单元631用于检测监控视频数据中的人体目标；跟踪单元632采用Camshift算法跟踪识别到的人体目标，使检测到的人体目标在监控画面中始终使用同一个ID。人体识别跟踪模块62能够将监控视频数据中的每个人按照不同的ID信息保存生成人体视频数据。
关节点提取模块63与人体识别跟踪模块62连接，其用于将人体视频数据转换成关节点序列。
TimesFormer模型模块65与人体识别跟踪模块62连接，其用于采用TimesFormer模型识别人体视频数据中的动作，以确定发生跌倒事件的概率。具体地，将大量的跌倒的视频、躺沙发的视频、躺床的视频或坐椅子(沙发)的视频作为训练集输入到TimesFormer模型进行训练，最后选择训练效果最好的模型作为TimesFormer模型。
物体判断模块66与人体识别跟踪模块62连接，其用于识别人体视频数据中的目标，以判断人体周围是否有设定的目标物体，该目标物体可以自动设定，例如：可以将目标物体设置为沙发、座椅或床等。
结果分析模块67将MS-G3D模型模块64的输出结果、TimesFormer模型模块65的输出结果以及物体判断模块66的结果融合分析，得到当前监控场景中是否发生跌倒时间的检测结果；具体地，可以根据不同的需求为这三个模块(即MS-G3D模型模块64、TimesFormer模型模块65、物体判断模块66)设置权重，比如：可以将MS-G3D模型模块64对应的权重设置为0，即采用TimesFormer模型模块65与物体判断模块66的输出结果确定是否发生跌倒行为；或者可以将TimesFormer模型模块65对应的权重设置为0，即采用MS-G3D模型模块64与物体判断模块66的输出结果确定是否发生跌倒行为；或者物体判断模块66对应的权重设置为0，即采用MS-G3D模型模块64与TimesFormer模型模块65的输出结果确定是否发生跌倒行为；或者MS-G3D模型模块64、TimesFormer模型模块65、物体判断模块66的权重均不为0。例如，在客厅场景中，物体判断模块66的判断类别可以选择沙发或座椅等客厅中存在的物体，如果MS-G3D模型模块64的输出结果为跌倒，TimesFormer模型模块65的输出结果为跌倒，且物体判断模块66识别出沙发，则最终不报警。
进一步地，如果使用环境中为了避免误报，可以设置成MS-G3D模型模块64的输出结果和TimesFormer模型模块65的输出结果都为跌倒，且人体附近无任何目标物体，则确定当前监场景中未发生跌倒事件。如果使用环境中为了得到较高召回率，可以设置成1)MS-G3D模型模块64的输出结果或TimesFormer模型模块65的输出结果为跌倒，且人体附近无任何目标物体；2)MS-G3D模型模块64的输出结果和TimesFormer模型模块65的输出结果都为跌倒。此处可以由用户自行设定。
可以理解地，在其他实施方式中，还可采用其他检测模型来检测发生跌倒事件的概率，并不仅限于本实施例所提供的采用MS-G3D模型模块64与TimesFormer模型模块65进行检测，比如：可采用Yolo、SSD或Faster R-CNN等目标检测模型。
本实施例结合至少两个模块的输出结果来识别跌倒行为，通过用户自定义的约束条件，能够控制最终的报警输出，使该方案的应用更符合实际情况，应用性较广。
请参阅图7，图7是本申请提供的跌倒检测装置另一实施例的结构示意图，跌倒检测装置70包括互相连接的存储器71和处理器72，存储器71用于存储计算机程序，计算机程序在被处理器72执行时，用于实现上述实施例中的跌倒检测方法。
本实施例提供了一种联合关节点序列信息和视频信息进行跌倒行为检测的方案，且可结合监控场景中是否存在距离人体较近的目标物体来进行检测，能够增加检测的准确性；此外，还提供了自定义的选择机制，用户可以选择使用哪种方案来检测，使跌倒行为的检测能够应用在不同的场景中，适用性较广。
请参阅图8，图8是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质80用于存储计算机程序81，计算机程序81在被处理器执行时，用于实现上述实施例中的跌倒检测方法。
计算机可读存储介质80可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种跌倒检测方法，其特征在于，包括：
对获取到的监控视频数据进行人体识别跟踪处理，得到人体视频数据；
采用第一预设模型对所述人体视频数据进行处理，得到所述人体视频数据中人体跌倒的第一跌倒概率；
采用第二预设模型对所述人体视频数据进行处理，得到所述人体视频数据中人体跌倒的第二跌倒概率；
基于所述第一跌倒概率与所述第二跌倒概率，确定所述人体视频数据中是否发生跌倒事件。
2.根据权利要求1所述的跌倒检测方法，其特征在于，所述第一预设模型为目标检测模型，所述采用第一预设模型对所述人体视频数据进行处理，得到所述人体视频数据中人体跌倒的第一跌倒概率的步骤，包括：
采用所述目标检测模型对所述人体视频数据进行检测，得到所述人体视频数据中是否存在目标物体的检测结果；
基于所述检测结果，确定所述人体视频数据中人体跌倒的第一跌倒概率。
3.根据权利要求2所述的跌倒检测方法，其特征在于，所述基于所述检测结果，确定所述人体视频数据中人体跌倒的第一跌倒概率的步骤，包括：
在所述检测结果为所述人体视频数据中存在所述目标物体时，获取所述目标物体与所述人体之间的交叠参数；
基于所述交叠参数设置所述第一跌倒概率；其中，所述交叠参数和所述第一跌倒概率呈负相关。
4.根据权利要求3所述的跌倒检测方法，其特征在于，所述交叠参数包括重合度，所述获取所述目标物体与所述人体之间的交叠参数的步骤，包括：
获取所述人体视频数据中所述目标物体的物体框；
获取所述人体视频数据中所述人体的人体框；
计算所述物体框与所述人体框之间的重合度。
5.根据权利要求1所述的跌倒检测方法，其特征在于，所述人体视频数据包括多帧待检测图像，所述采用第二预设模型对所述人体视频数据进行处理，得到所述人体视频数据中人体跌倒的第二跌倒概率的步骤，包括：
检测所述待检测图像中人体的关节点，得到关节点信息；
将连续多帧所述待检测图像对应的关节点信息组合，形成关节点序列；
采用所述第二预设模型对所述关节点序列进行识别，得到所述第一跌倒概率。
6.根据权利要求1所述的跌倒检测方法，其特征在于，所述人体视频数据包括多帧待检测图像，所述采用第二预设模型对所述人体视频数据进行处理，得到所述人体视频数据中人体跌倒的第二跌倒概率的步骤，包括：
对所述待检测图像进行分块，得到多个图像块；
对所述待检测图像中的图像块进行对比，以提取所述待检测图像中的关注区域；
对不同的所述待检测图像中的图像块进行对比，以提取所述人体视频数据中的关注帧；
基于所述关注帧与关注区域，确定所述第二跌倒概率。
7.根据权利要求1所述的跌倒检测方法，其特征在于，所述第二跌倒概率包括第一子概率与第二子概率，所述第二预设模型包括第一子模型与第二子模型，所述采用第二预设模型对所述人体视频数据进行处理，得到所述人体视频数据中人体跌倒的第二跌倒概率的步骤，包括：
采用所述第一子模型对所述人体视频数据进行识别，得到所述人体视频数据中人体跌倒的第一子概率；
采用所述第二子模型对所述人体视频数据进行识别，得到所述人体视频数据中人体跌倒的第二子概率；
对所述第一子概率与所述第二子概率进行加权求和，得到所述第二跌倒概率。
8.根据权利要求1所述的跌倒检测方法，其特征在于，所述基于所述第一跌倒概率与所述第二跌倒概率，确定所述人体视频数据中是否发生跌倒事件的步骤，包括：
对所述第一跌倒概率与所述第二跌倒概率进行加权求和，得到人体跌倒概率；
判断所述人体跌倒概率是否大于预设概率；若是，则确定所述视频数据中发生跌倒事件；若否，则确定所述视频数据中未发生跌倒事件。
9.一种跌倒检测装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-8中任一项所述的跌倒检测方法。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-8中任一项所述的跌倒检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110768127.8A CN113657150A (zh) | 2021-07-07 | 2021-07-07 | 一种跌倒检测方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110768127.8A CN113657150A (zh) | 2021-07-07 | 2021-07-07 | 一种跌倒检测方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113657150A true CN113657150A (zh) | 2021-11-16 |
Family
ID=78490017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110768127.8A Pending CN113657150A (zh) | 2021-07-07 | 2021-07-07 | 一种跌倒检测方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657150A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677761A (zh) * | 2022-03-30 | 2022-06-28 | 北京洛必德科技有限公司 | 一种人体摔倒检测方法和装置、电子设备 |
| CN114999108A (zh) * | 2022-08-03 | 2022-09-02 | 杭州乐湾科技有限公司 | 基于影像处理的老年跌倒侦测方法 |
| CN115273243A (zh) * | 2022-09-27 | 2022-11-01 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| CN116189238A (zh) * | 2023-04-19 | 2023-05-30 | 国政通科技有限公司 | 一种基于神经网络的人形检测识别的摔倒检测方法 |
| CN117253031A (zh) * | 2023-11-16 | 2023-12-19 | 应急管理部天津消防研究所 | 一种基于多元复合深度学习的森林火灾监测方法 |
| CN117522925A (zh) * | 2024-01-05 | 2024-02-06 | 成都合能创越软件有限公司 | 注意力机制下移动相机中判断物体运动状态方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563492A (zh) * | 2020-07-14 | 2020-08-21 | 浙江大华技术股份有限公司 | 一种跌倒检测方法、跌倒检测装置及存储装置 |
| CN112580559A (zh) * | 2020-12-25 | 2021-03-30 | 山东师范大学 | 基于骨架特征和视频表征结合的双流视频行为识别方法 |
| CN112949417A (zh) * | 2021-02-05 | 2021-06-11 | 杭州萤石软件有限公司 | 一种摔倒行为识别方法、设备及系统 |
| CN113052127A (zh) * | 2021-04-09 | 2021-06-29 | 上海云从企业发展有限公司 | 一种行为检测方法、系统、计算机设备及机器可读介质 |
-
2021
- 2021-07-07 CN CN202110768127.8A patent/CN113657150A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563492A (zh) * | 2020-07-14 | 2020-08-21 | 浙江大华技术股份有限公司 | 一种跌倒检测方法、跌倒检测装置及存储装置 |
| CN112580559A (zh) * | 2020-12-25 | 2021-03-30 | 山东师范大学 | 基于骨架特征和视频表征结合的双流视频行为识别方法 |
| CN112949417A (zh) * | 2021-02-05 | 2021-06-11 | 杭州萤石软件有限公司 | 一种摔倒行为识别方法、设备及系统 |
| CN113052127A (zh) * | 2021-04-09 | 2021-06-29 | 上海云从企业发展有限公司 | 一种行为检测方法、系统、计算机设备及机器可读介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677761A (zh) * | 2022-03-30 | 2022-06-28 | 北京洛必德科技有限公司 | 一种人体摔倒检测方法和装置、电子设备 |
| CN114999108A (zh) * | 2022-08-03 | 2022-09-02 | 杭州乐湾科技有限公司 | 基于影像处理的老年跌倒侦测方法 |
| CN114999108B (zh) * | 2022-08-03 | 2022-11-29 | 杭州乐湾科技有限公司 | 基于影像处理的老年跌倒侦测方法 |
| CN115273243A (zh) * | 2022-09-27 | 2022-11-01 | 深圳比特微电子科技有限公司 | 跌倒检测方法、装置、电子设备和计算机可读存储介质 |
| CN116189238A (zh) * | 2023-04-19 | 2023-05-30 | 国政通科技有限公司 | 一种基于神经网络的人形检测识别的摔倒检测方法 |
| CN117253031A (zh) * | 2023-11-16 | 2023-12-19 | 应急管理部天津消防研究所 | 一种基于多元复合深度学习的森林火灾监测方法 |
| CN117253031B (zh) * | 2023-11-16 | 2024-01-30 | 应急管理部天津消防研究所 | 一种基于多元复合深度学习的森林火灾监测方法 |
| CN117522925A (zh) * | 2024-01-05 | 2024-02-06 | 成都合能创越软件有限公司 | 注意力机制下移动相机中判断物体运动状态方法及系统 |
| CN117522925B (zh) * | 2024-01-05 | 2024-04-16 | 成都合能创越软件有限公司 | 注意力机制下移动相机中判断物体运动状态方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113657150A (zh) | 一种跌倒检测方法、装置和计算机可读存储介质 | |
| Yu et al. | An online one class support vector machine-based person-specific fall detection system for monitoring an elderly individual in a room environment | |
| Tian et al. | RF-based fall monitoring using convolutional neural networks | |
| US10095930B2 (en) | System and method for home health care monitoring | |
| Hazelhoff et al. | Video-based fall detection in the home using principal component analysis | |
| US9597016B2 (en) | Activity analysis, fall detection and risk assessment systems and methods | |
| CN112784662A (zh) | 基于视频的跌倒风险评价系统 | |
| Foroughi et al. | An eigenspace-based approach for human fall detection using integrated time motion image and neural network | |
| US20180129873A1 (en) | Event detection and summarisation | |
| JP7185805B2 (ja) | 転倒リスク評価システム | |
| Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
| Alaoui et al. | Fall detection for elderly people using the variation of key points of human skeleton | |
| CN112949417A (zh) | 一种摔倒行为识别方法、设备及系统 | |
| CN112001230A (zh) | 睡觉行为的监控方法、装置、计算机设备和可读存储介质 | |
| CN106663140A (zh) | 用于检测对象的健康状况的设备、系统和方法 | |
| CN115187911A (zh) | 一种医疗防护用品穿脱消毒视频ai监测方法及装置 | |
| CN114792429A (zh) | 多视角摔倒检测方法、装置及存储介质 | |
| CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
| Dai | Vision-based 3d human motion analysis for fall detection and bed-exiting | |
| Adhikari et al. | Long short-term memory networks based fall detection using unified pose estimation | |
| CN113537165B (zh) | 一种行人打闹的检测方法和系统 | |
| CN115909498A (zh) | 一种三维激光点云智能跌倒监测方法及系统 | |
| Wang et al. | Fall detection with a non-intrusive and first-person vision approach | |
| Gao | Abnormal behavior detection and warning based on deep intelligent video analysis for geriatric patients | |
| CN111144166A (zh) | 一种异常人群信息库建立方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |