CN112560723A - 一种基于形态识别与速度估计的跌倒检测方法及系统 - Google Patents

一种基于形态识别与速度估计的跌倒检测方法及系统 Download PDF

Info

Publication number
CN112560723A
CN112560723A CN202011526450.6A CN202011526450A CN112560723A CN 112560723 A CN112560723 A CN 112560723A CN 202011526450 A CN202011526450 A CN 202011526450A CN 112560723 A CN112560723 A CN 112560723A
Authority
CN
China
Prior art keywords
speed
human body
video stream
detected
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011526450.6A
Other languages
English (en)
Other versions
CN112560723B (zh
Inventor
张一杨
舒元昊
刘畅
王慧娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN202011526450.6A priority Critical patent/CN112560723B/zh
Publication of CN112560723A publication Critical patent/CN112560723A/zh
Application granted granted Critical
Publication of CN112560723B publication Critical patent/CN112560723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于形态识别与速度估计的跌倒检测方法及系统，包括构建形态识别模型和速度估计模型；获取待检测的视频流，待检测的视频流包括连续的若干帧图像；将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度；将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态，并按照时间序列关联同一人物的人体形态，输出若干帧图像中每个人物的人体形态变化过程；根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。本发明不依赖于跌倒训练样本，检测准确率高，且具有实际价值。

Description

一种基于形态识别与速度估计的跌倒检测方法及系统
技术领域
本申请属于计算机视觉技术领域，具体涉及一种基于形态识别与速度估计的跌倒检测方法及系统。
背景技术
随着老龄人口的快速增长，跌倒检测成为医疗健康的一个关键问题。现有的跌倒检测方法主要有三种，分别是基于可穿戴设备的检测方法、基于环境传感器的检测方法以及基于视觉的检测方法。其中，基于可穿戴设备的检测方法，主要通过对采集到的可穿戴设备的多传感器信号设置阈值来检测跌倒，存在阈值选择困难、必须时刻穿戴设备等诸多缺陷；基于环境传感器的检测方法主要通过场景中额外添加的地面压力、红外、声音、震动等各类传感器预测跌倒事件，主要缺陷在于传感器安装复杂、普及困难；基于视觉的检测方法通过视频和数据以及计算机视觉模型进行检测，既无需用户随时穿戴设备，又可利用现有的视频监控系统，是当前跌倒检测的主流发展方向。
当前，基于深度学习的计算机视觉模型需要大量数据支持。然而，基于视觉的跌倒检测数据集构建难度较高：一方面，跌倒事件发生次数少，从监控视频中筛选出跌倒事件的性价比低；另一方面，自行录制跌倒事件视频存在动作不自然、场景不丰富等诸多问题。因此，探索不依赖于跌倒样本的跌倒检测方法有其现实意义。
发明内容
本申请的目的在于提供一种基于形态识别与速度估计的跌倒检测方法及系统，不依赖于跌倒训练样本，检测准确率高，且具有实际价值。
为实现上述目的，本申请所采取的技术方案为：
一种基于形态识别与速度估计的跌倒检测方法，所述基于形态识别与速度估计的跌倒检测方法，包括：
步骤1、构建形态识别模型和速度估计模型；
步骤2、获取待检测的视频流，所述待检测的视频流包括连续的若干帧图像；
步骤3、将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度；
步骤4、将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态，并按照时间序列关联同一人物的人体形态，输出若干帧图像中每个人物的人体形态变化过程；
步骤5、根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述速度估计模型为卷积神经网络。
作为优选，所述基于形态识别与速度估计的跌倒检测方法还包括对构建后的速度估计模型进行训练，所述速度估计模型的训练包括：
获取原始视频文件，得到原始视频流；
基于原始视频文件，通过改变视频图像帧的采样率得到具有不同帧率的视频流；
利用原始视频流以及具有不同帧率的视频流进行训练得到最终的速度估计模型。
作为优选，所述速度估计模型的输出为输入的视频流的相对速度，该相对速度作为视频流所对应的人体形态变化速度，所述相对速度为实际时长与期望时长的比值，且比值越大表示视频流的相对速度越快；
若原始视频文件的帧率为FPS，通过改变视频图像的采样率从原始视频文件的连续M帧图像中提取N帧图像，则实际时长为M/FPS，期望时长为N/FPS，速度估计模型输出的相对速度为M/N。
作为优选，所述速度估计模型的输出为输入的视频流的相对速度，该相对速度作为视频流所对应的人体形态变化速度，所述相对速度为原速播放或倍速播放。
作为优选，所述形态识别模型包括目标检测网络和候选框关联网络；
或者，所述形态识别模型包括多目标姿态估计网络、单人骨架分类网络以及候选框关联网络。
作为优选，所述步骤5中根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件，包括：
根据预构建的规则库，判断是否发生跌倒事件，所述规则库包括：
在预设时间段内，人体形态变化过程为从“非躺”转变为“躺”，且人体形态变化速度大于速度阈值，则判断发生跌倒事件；
或者，在预设时间段内，人体形态为“躺”的人数增加，则判断发生跌倒事件；
或者，在预设时间段内，人体形态变化速度大于速度阈值，则判断发生跌倒事件。
本申请还提供一种基于形态识别与速度估计的跌倒检测系统，所述基于形态识别与速度估计的跌倒检测系统，包括：
模型构建模块，用于构建形态识别模型和速度估计模型；
图像采集模块，用于获取待检测的视频流，所述待检测的视频流包括连续的若干帧图像；
速度提取模块，用于将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度；
形态提取模块，用于将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态，并按照时间序列关联同一人物的人体形态，输出若干帧图像中每个人物的人体形态变化过程；
跌倒判断模块，用于根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。
本申请还提供一种基于形态识别与速度估计的跌倒检测系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于形态识别与速度估计的跌倒检测方法的步骤。
本申请提供的基于形态识别与速度估计的跌倒检测方法及系统，由形态识别模型训练以及基于自监督学习的速度估计模型训练组成，将跌倒事件拆分为形态和速度两个部分进行训练，有效克服了在实际情况中跌倒事件发生不多，且故意跌倒动作人为控制意识过多，无法正确反映真实跌倒事件的缺陷，解决了现有技术中跌倒识别模型由于样本质量不高、样本数量不足而导致的模型检测结果准确性不高、实际价值较小的问题。
附图说明
图1为本申请的基于形态识别与速度估计的跌倒检测方法流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
其中一个实施例中，提供一种基于形态识别与速度估计的跌倒检测方法，不过于依赖跌倒事件样本，但对跌倒检测的准确性高，推广应用价值大。
如图1所示，本实施例中的基于形态识别与速度估计的跌倒检测方法，包括以下步骤：
步骤1、构建形态识别模型和速度估计模型。
根据跌倒动作的特征，将整个跌倒动作分解为人体形态变化和速度变化，避免基于跌倒样本进行神经网络训练，即将跌倒检测划分为形态和速度两个独立的网络进行单独的训练。
其中速度估计模型可以认为是“行为识别”相关网络，而常见的“行为识别”卷积神经网络包括视频理解领域的I3D模型、SlowFast模型等。
其中检测人体形态具有多种实现方式：例如可将形态识别看作目标检测任务，采用目标检测网络直接获取人物候选框以及对应的人体形态标签；例如还可将形态识别拆分为多人姿态估计(即多人骨架关键点识别)以及单人骨架分类两部分，采用多目标姿态估计网络获得每个人的骨架关键点信息，而后采用单人骨架分类网络以单人关键点信息作为输入，实现分类网络预测目标人物的人体形态。同时，可根据关键点坐标最大值与最小值构建人物候选框，为后续多目标候选框前后帧关联做准备。
由于跌倒是一串连续动作，无法基于单一图像帧的人体形态进行识别，因此本实施例在进行人体形态检测后，将同一人物的人体形态进行关联，以得到在一段时间内的人体形态变化过程。
关联人体形态，即将同一人物在不同帧中的人物候选框进行关联，从而得到每个人物的人体形态变化过程。多目标候选框前后帧关联有多种方式，下面举例说明：维护“正在追踪目标候选框”列表；获取最新图像帧中的人物候选框信息，记作“当前候选框信息”，计算“当前候选框信息”与“正在追踪目标候选框”的交并比，通过匈牙利算法实现候选框匹配；若当前候选框中存在无匹配样本，则添加到“正在追踪目标候选框”列表；若“正在追踪目标候选框”列表中存在无匹配样本，则在列表中删除该元素。
因此本实施例中构建的形态识别模型可以是包括目标检测网络(常用网络包括Yolo/SSD/Faster R-CNN)和候选框关联网络(常用网络包括DeepSort)。
或者，形态识别模型可以是包括多目标姿态估计网络(常用网络包括OpenPose/HRNet/RSN)、单人骨架分类网络(常用网络包括GCN)以及候选框关联网络(常用网络包括DeepSort)。
步骤2、获取待检测的视频流，所述待检测的视频流包括连续的若干帧图像。
步骤3、将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度。
为保证模型输出的准确率，在构建模型后需要对模型进行训练。本实施例采用一种基于自监督学习的训练方法。本训练方法以普通的原始视频文件作为原始输入，通过改变视频图像帧的采样频率来模拟不同帧率的视频流，利用原始视频流以及具有不同帧率的视频流进行训练，得到速度估计模型。
在进行速度估计模型的训练时，其训练样本即原始视频流取具有人物移动的监控视频即可，该监控视频可以是任意时间地点且不限制监控视频中的人物数量以及人物相关动作等，以降低训练样本采集标注难度。本实施例中优选直接采用公开数据集进行训练。
其中，改变视频图像帧的采样频率有多种具体实现方式：例如，每隔N帧提取一帧图像作为输入、连续提取多帧图像作为模型输入；又如，每一帧按照一定概率忽略，从后往前提取多帧图像作为模型输入。
基于原始视频流得到的不同帧率的视频流中，人物以及场景的变化幅度相对于原始视频流中的人物以及场景的变化幅度不同，因此速度估计模型的输出实质为输入的视频流的相对速度，一个视频流对应一个相对速度，并且将该相对速度作为视频流中人物的人体形态变化速度。
需要说明的是，若视频流的每一帧图像中存在多个形态变化速度不同的人物，通常图像中距离近/占图像面积大的人物的形态变化对速度估计模型输出的结果影响较大，具体输出的速度根据速度估计模型的学习相关。
根据训练时标注的不同类型的标签，最终速度估计模型输出的相对速度也存在不同。在一个实施例中速度估计模型输出的相对速度为实际时长与期望时长的比值，且比值越大表示视频流的相对速度越快。
例如若原始视频文件的帧率为FPS，通过改变视频图像的采样率从原始视频文件的连续M帧图像中提取N帧图像，则实际时长为M/FPS，期望时长为N/FPS，速度估计模型输出的相对速度为M/N。
假设速度估计模型的输入图像数量为M，原始视频的帧率为M，则模型的期望时长为1秒。则当输入图像为原始视频连续帧提取M帧获取(即原速播放)时，实际时长为1秒，相对速度为1；当输入视频图像为每隔1帧提取(即二倍速播放)时，则实际时长为2秒，相对速度为2。
在另一实施例中，速度估计模型输出的相对速度为原速播放或倍速播放。即相对速度通过二分类结果表示，二分类结果可描述为“视频属于倍速播放的概率”，概率越高越接近倍速播放，相应的相对速度越快；概率越低越接近原速播放，对应的相对速度越慢。当输入图像是在原始视频中提取连续帧得到时，分类结果为“原速播放”；当输入图像帧是在原始视频中每隔X帧得到时，期望分类结果为“倍速播放”。
步骤4、将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态(例如站、坐、蹲、躺等)，并按照时间序列关联同一人物的人体形态，即关联前后图像帧人体形态识别结果，输出若干帧图像中每个人物的人体形态变化过程。
在训练形态识别模型时，原始数据是人体形态目标检测数据集，其训练方式根据模型实现方式不同而改变：将形态识别作为目标检测任务时，其训练方法与目标检测模型训练方法相同；将形态识别分解为多目标姿态估计与单人骨架分类时，首先通过多目标姿态估计网络，将已有的人体形态目标检测数据集转换为单人骨架分类数据集，随后使用所构建的数据集训练单人骨架分类网络，从而完成形态识别模型训练。
步骤5、根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。本实施例从跌倒事件中提取出了速度和形态进行考虑，将跌倒事件这一复杂场景转化成了一个简单场景，而神经网络在简单场景中的应用并不占优势，其不可解释的模型如果出现问题需要改进比较麻烦，并且单一的只能通过增加数据量改变数据分布。因此本实施例引入规则库对是否发生跌倒事件进行判断，规则库的最大优势就是可解释性，在简单场景下，可解释的方法能够得到更好的结果，也更加适合迭代改进。
规则库中可以从多角度进行跌倒判断，例如当视频流过去多帧中存在某人的形态从“站”、“坐”转变为“躺”，且视频相对速度大于某一阈值时，认为跌倒事件发生；又如，当视频流过去多帧中形态为“躺”的人数增加，且视频相对速度大于某一阈值时，认为跌倒事件发生。
其中一个实施例中，所提供的规则库中的规则包括：在预设时间段内，人体形态变化过程为从“非躺”转变为“躺”，且人体形态变化速度大于速度阈值，则判断发生跌倒事件；或者，在预设时间段内，人体形态变化过程为从“非躺”转变为“躺”，则判断发生跌倒事件；或者，在预设时间段内，人体形态变化速度大于速度阈值，则判断发生跌倒事件。
规则库从多角度分析简单场景中的事件发生的可能性，易于适应多类型场景下的使用，并且也便于对规则库的改进。其中，速度阈值根据经验、实际测试设置。例如若速度估计模型输出的相对速度为实际时长与期望时长的比值，且该比值的范围为1～2，则可以设置速度阈值为1.3；若速度估计模型输出的相对速度为二分类结果原速播放或倍速播放，则大于速度阈值可以理解为二分类结果是倍速播放的情况。
本实施例中设置规则库便于适用于不同场景下的跌倒检测，且弱化了不同场景下的模型迁移问题，同时也弱化了一个视频流对应一个相对速度、代表性不强的问题。例如：
场景1、养老院监控：固定摄像头，监控人数多、距离远，速度估计效果较差，所以以形态识别为主，速度为辅助。可以选择在预设时间段内，形态为“躺”的人数增加，作为跌倒判断规则。
场景2、家庭监控：固定摄像头，人少且遮挡也不太多，所以形态识别与速度估计权重差不多。可以选择人体形态变化过程为从“非躺”转变为“躺”，且播放速度大于速度阈值，作为跌倒判断规则。
场景3、家庭养老陪伴机器人：移动摄像头，遮挡情况多，拍不全人，所以以速度变化为主，形态识别为辅。可以选择在预设时间段内，放速度大于速度阈值，作为跌倒判断规则。
需要说明的是，上述仅为本实施例举例的几种具有代表性的场景，在实际使用中，根据实际检测场景可以增加或修改对应的跌倒判断规则，以得到最具针对性跌倒检测方法，且在该修改过程中无需设计样本收集、网络训练等过程，修改方式简便快速。
本申请的基于形态识别与速度估计的跌倒检测方法，重点在于通过视频文件或视频流作为输入，估计视频流的相对速度，识别每一帧图像中的人体形态(如站、坐、蹲、躺等)信息，并进行前后帧形态识别结果关联，而后根据速度信息与形态信息制定规则库，判断跌倒事件发生与否。其中形态判断用于判断是否有跌倒动作的发生，速度判断则是判断跌倒动作发生的快慢，从而有效区分是真实的跌倒还是正常的人为动作，提高跌倒检测的准确性，并且将一个跌倒事件分为形态和速度进行训练，还可以克服现有技术中跌倒事件发生不多，且故意跌倒不具真实性的问题，解决了现有技术中基于神经网络检测存在的训练样本不足、质量不高的问题。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在另一个实施例中，提供一种基于形态识别与速度估计的跌倒检测系统，所述基于形态识别与速度估计的跌倒检测系统，包括：
模型构建模块，用于构建形态识别模型和速度估计模型；
图像采集模块，用于获取待检测的视频流，所述待检测的视频流包括连续的若干帧图像；
速度提取模块，用于将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度；
形态提取模块，用于将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态，并按照时间序列关联同一人物的人体形态，输出若干帧图像中每个人物的人体形态变化过程；
跌倒判断模块，用于根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。
关于基于形态识别与速度估计的跌倒检测系统的具体限定参见上述对于基于形态识别与速度估计的跌倒检测方法的限定，这里就不再进行赘述。
在另一个实施例中，还提供一种基于形态识别与速度估计的跌倒检测系统，即一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。
该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于形态识别与速度估计的跌倒检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于形态识别与速度估计的跌倒检测方法，其特征在于，所述基于形态识别与速度估计的跌倒检测方法，包括：
步骤1、构建形态识别模型和速度估计模型；
步骤2、获取待检测的视频流，所述待检测的视频流包括连续的若干帧图像；
步骤3、将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度；
步骤4、将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态，并按照时间序列关联同一人物的人体形态，输出若干帧图像中每个人物的人体形态变化过程；
步骤5、根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。
2.如权利要求1所述的基于形态识别与速度估计的跌倒检测方法，其特征在于，所述速度估计模型为卷积神经网络。
3.如权利要求1所述的基于形态识别与速度估计的跌倒检测方法，其特征在于，所述基于形态识别与速度估计的跌倒检测方法还包括对构建后的速度估计模型进行训练，所述速度估计模型的训练包括：
获取原始视频文件，得到原始视频流；
基于原始视频文件，通过改变视频图像帧的采样率得到具有不同帧率的视频流；
利用原始视频流以及具有不同帧率的视频流进行训练得到最终的速度估计模型。
4.如权利要求3所述的基于形态识别与速度估计的跌倒检测方法，其特征在于，所述速度估计模型的输出为输入的视频流的相对速度，该相对速度作为视频流所对应的人体形态变化速度，所述相对速度为实际时长与期望时长的比值，且比值越大表示视频流的相对速度越快；
若原始视频文件的帧率为FPS，通过改变视频图像的采样率从原始视频文件的连续M帧图像中提取N帧图像，则实际时长为M/FPS，期望时长为N/FPS，速度估计模型输出的相对速度为M/N。
5.如权利要求3所述的基于形态识别与速度估计的跌倒检测方法，其特征在于，所述速度估计模型的输出为输入的视频流的相对速度，该相对速度作为视频流所对应的人体形态变化速度，所述相对速度为原速播放或倍速播放。
6.如权利要求1所述的基于形态识别与速度估计的跌倒检测方法，其特征在于，所述形态识别模型包括目标检测网络和候选框关联网络；
或者，所述形态识别模型包括多目标姿态估计网络、单人骨架分类网络以及候选框关联网络。
7.如权利要求1所述的基于形态识别与速度估计的跌倒检测方法，其特征在于，所述步骤5中根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件，包括：
根据预构建的规则库，判断是否发生跌倒事件，所述规则库包括：
在预设时间段内，人体形态变化过程为从“非躺”转变为“躺”，且人体形态变化速度大于速度阈值，则判断发生跌倒事件；
或者，在预设时间段内，人体形态为“躺”的人数增加，则判断发生跌倒事件；
或者，在预设时间段内，人体形态变化速度大于速度阈值，则判断发生跌倒事件。
8.一种基于形态识别与速度估计的跌倒检测系统，其特征在于，所述基于形态识别与速度估计的跌倒检测系统，包括：
模型构建模块，用于构建形态识别模型和速度估计模型；
图像采集模块，用于获取待检测的视频流，所述待检测的视频流包括连续的若干帧图像；
速度提取模块，用于将待检测的视频流输入至速度估计模型中，得到待检测的视频流所对应的人体形态变化速度；
形态提取模块，用于将待检测的视频流输入至形态识别模型，形态识别模型检测每一帧图像中的人体形态，并按照时间序列关联同一人物的人体形态，输出若干帧图像中每个人物的人体形态变化过程；
跌倒判断模块，用于根据人体形态变化速度以及人体形态变化过程，判断待检测的视频流中是否发生跌倒事件。
9.一种基于形态识别与速度估计的跌倒检测系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于形态识别与速度估计的跌倒检测方法的步骤。
CN202011526450.6A 2020-12-22 2020-12-22 一种基于形态识别与速度估计的跌倒检测方法及系统 Active CN112560723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011526450.6A CN112560723B (zh) 2020-12-22 2020-12-22 一种基于形态识别与速度估计的跌倒检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011526450.6A CN112560723B (zh) 2020-12-22 2020-12-22 一种基于形态识别与速度估计的跌倒检测方法及系统

Publications (2)

Publication Number Publication Date
CN112560723A true CN112560723A (zh) 2021-03-26
CN112560723B CN112560723B (zh) 2023-10-17

Family

ID=75030763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011526450.6A Active CN112560723B (zh) 2020-12-22 2020-12-22 一种基于形态识别与速度估计的跌倒检测方法及系统

Country Status (1)

Country Link
CN (1) CN112560723B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253841A (zh) * 2021-05-17 2021-08-13 南京林业大学 一种广告屏幕智能控制方法及装置
CN113591642A (zh) * 2021-07-20 2021-11-02 广州市奥威亚电子科技有限公司 课室人员姿态判断方法及装置
CN114220119A (zh) * 2021-11-10 2022-03-22 深圳前海鹏影数字软件运营有限公司 人体姿态检测方法、终端设备及计算机可读存储介质
CN114679607A (zh) * 2022-03-22 2022-06-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN114724176A (zh) * 2022-03-09 2022-07-08 海纳云物联科技有限公司 一种摔倒识别方法
CN114842397A (zh) * 2022-05-19 2022-08-02 华南农业大学 一种基于异常检测的实时老人跌倒检测方法
CN117423138A (zh) * 2023-12-19 2024-01-19 四川泓宝润业工程技术有限公司 基于多分支结构的人体跌倒检测方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097309A (ja) * 2009-10-29 2011-05-12 Hitachi Ltd 複数監視カメラによる集中監視システムおよび集中監視方法
US20160217326A1 (en) * 2013-07-03 2016-07-28 Nec Corporation Fall detection device, fall detection method, fall detection camera and computer program
CN108491762A (zh) * 2018-02-27 2018-09-04 浙江大华技术股份有限公司 一种人体跌倒的检测方法及装置
CN110472614A (zh) * 2019-08-22 2019-11-19 四川自由健信息科技有限公司 一种晕倒行为的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097309A (ja) * 2009-10-29 2011-05-12 Hitachi Ltd 複数監視カメラによる集中監視システムおよび集中監視方法
US20160217326A1 (en) * 2013-07-03 2016-07-28 Nec Corporation Fall detection device, fall detection method, fall detection camera and computer program
CN108491762A (zh) * 2018-02-27 2018-09-04 浙江大华技术股份有限公司 一种人体跌倒的检测方法及装置
CN110472614A (zh) * 2019-08-22 2019-11-19 四川自由健信息科技有限公司 一种晕倒行为的识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO-HUA WANG，ET AL: "Fall detection based on dual-channel feature integration", IEEE ACCESS, vol. 8, pages 103443 - 103453, XP011792390, DOI: 10.1109/ACCESS.2020.2999503 *
马露: "基于深度学习的跌倒行为识别", 信息科技, no. 6, pages 37 - 38 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253841A (zh) * 2021-05-17 2021-08-13 南京林业大学 一种广告屏幕智能控制方法及装置
CN113591642A (zh) * 2021-07-20 2021-11-02 广州市奥威亚电子科技有限公司 课室人员姿态判断方法及装置
CN114220119A (zh) * 2021-11-10 2022-03-22 深圳前海鹏影数字软件运营有限公司 人体姿态检测方法、终端设备及计算机可读存储介质
CN114220119B (zh) * 2021-11-10 2022-08-12 深圳前海鹏影数字软件运营有限公司 人体姿态检测方法、终端设备及计算机可读存储介质
CN114724176A (zh) * 2022-03-09 2022-07-08 海纳云物联科技有限公司 一种摔倒识别方法
CN114679607A (zh) * 2022-03-22 2022-06-28 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN114679607B (zh) * 2022-03-22 2024-03-05 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
CN114842397A (zh) * 2022-05-19 2022-08-02 华南农业大学 一种基于异常检测的实时老人跌倒检测方法
CN117423138A (zh) * 2023-12-19 2024-01-19 四川泓宝润业工程技术有限公司 基于多分支结构的人体跌倒检测方法、装置及系统
CN117423138B (zh) * 2023-12-19 2024-03-15 四川泓宝润业工程技术有限公司 基于多分支结构的人体跌倒检测方法、装置及系统

Also Published As

Publication number Publication date
CN112560723B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112560723B (zh) 一种基于形态识别与速度估计的跌倒检测方法及系统
Lu et al. Deep learning for fall detection: Three-dimensional CNN combined with LSTM on video kinematic data
CN110458061B (zh) 一种识别老年人跌倒的方法及陪伴机器人
Lester et al. A hybrid discriminative/generative approach for modeling human activities
US6499025B1 (en) System and method for tracking objects by fusing results of multiple sensing modalities
CN111666857A (zh) 基于环境语义理解的人体行为识别方法、装置及存储介质
CN111797288B (zh) 数据筛选方法、装置、存储介质及电子设备
CN115661943B (zh) 一种基于轻量级姿态评估网络的跌倒检测方法
EP3035235B1 (en) Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier
CN113963445A (zh) 一种基于姿态估计的行人摔倒动作识别方法及设备
WO2001027875A1 (en) Modality fusion for object tracking with training system and method
CN110113116B (zh) 基于wifi信道信息的人体行为识别方法
CN110084192B (zh) 基于目标检测的快速动态手势识别系统及方法
CN111860188A (zh) 一种基于时间和通道双注意力的人体姿态识别方法
CN112801000B (zh) 一种基于多特征融合的居家老人摔倒检测方法及系统
CN113516113A (zh) 一种图像内容识别方法、装置、设备及存储介质
CN111091060A (zh) 基于深度学习的跌倒和暴力检测方法
CN111798978A (zh) 用户健康评估方法、装置、存储介质及电子设备
CN112686211A (zh) 一种基于姿态估计的跌倒检测方法及装置
CN115617217B (zh) 一种车辆状态的显示方法、装置、设备及可读存储介质
CN114241270A (zh) 一种家庭护理智能监督方法、系统及装置
CN111027419A (zh) 一种视频无关内容检测的方法、装置、设备和介质
CN111985333A (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
CN115131604A (zh) 一种多标签图像分类方法、装置、电子设备及存储介质
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant