CN114792429A - 多视角摔倒检测方法、装置及存储介质 - Google Patents

多视角摔倒检测方法、装置及存储介质 Download PDF

Info

Publication number
CN114792429A
CN114792429A CN202210352997.1A CN202210352997A CN114792429A CN 114792429 A CN114792429 A CN 114792429A CN 202210352997 A CN202210352997 A CN 202210352997A CN 114792429 A CN114792429 A CN 114792429A
Authority
CN
China
Prior art keywords
human body
image block
human
current frame
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210352997.1A
Other languages
English (en)
Inventor
孙伟
纪锦
胡亚华
张小瑞
赵畅
左军
徐凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210352997.1A priority Critical patent/CN114792429A/zh
Publication of CN114792429A publication Critical patent/CN114792429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质，其包括：获取摄像头采集的视频流片段；通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；当连续N帧图像块判断为老人摔倒时，生成报警信号。本发明能够在减少冗余计算降低模型的计算开销的同时保证老人摔倒检测的实时性和准确性。

Description

多视角摔倒检测方法、装置及存储介质
技术领域
本发明涉及一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质，属于计算机视觉技术领域。
背景技术
随着社会的不断发展，人口老龄化问题日益严重，越来越多的年轻人在工作后也会与父母分居生活，导致空巢老人、独居老人的数量与日俱增，因此，老年人的居家生活状态越来越受到社会的广泛关注。随着老人年龄的增长，身体的各项生理机能不断下降，跌倒给老人身体带来的伤害程度也愈加严重，在日常生活中跌倒已经成为老人身体健康的首要威胁。传统的老人摔倒检测都是通过穿戴传感器设备来实现，对于记忆力日益衰退的老年人来说，不仅有可能会忘记穿戴检测设备，而且穿戴接触式的检测设备可能会让老人身体感到不适或导致老人行动更加不便，影响老人的日常生活，不适合居家老人使用。
随着计算机视觉技术的不断发展，基于智能视频监控的老人摔倒检测技术越来越多，智能视频监控已经不需要人工实时查看，可以通过一些轻量级算法实时检测视频中老人是否摔倒，这不仅不会干扰老人的日常生活，还能在出现意外情况时及时发出报警。目前，大部分基于视频的摔倒检测算法要么计算成本和硬件需求较高，难以实现实际场景的应用；要么为了保证视频检测的实时性降低计算开销，将算法模型进行轻量化处理，却难以保证视频检测的准确率或生成良好的可视化效果，从而影响摔倒姿态的判定。比如经典的人体姿态估计算法OpenPose计算量较大，在嵌入式设备上难以保证实时性，但轻量级的OpenPose对复杂姿态的识别准确率较低。尽管目前有许多根据2D人体姿态进行摔倒判定的方法，却无法根据不同的视觉角度较精准的判断人物是否摔倒，难以解决以二维图片判断三维姿态的问题。
发明内容
为了解决现有技术中存在的问题，本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质，不仅能够减少冗余计算降低模型的计算开销，实现在实际场景下的应用，还能实时准确的检测室内老人是否摔倒。
为解决上述技术问题，本发明采用了如下技术手段：
第一方面，本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法，包括如下步骤：
获取摄像头采集的视频流片段，得到视频序列；
通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；
对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；
利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；
根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；
当连续N帧图像块判断为老人摔倒时，生成报警信号。
结合第一方面，进一步的，利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图，选择出包含老人行为动作的图像块，其中，空间自适应的奖励函数和时间自适应的奖励函数的表达式如下：
Figure BDA0003581538500000031
Figure BDA0003581538500000032
其中，
Figure BDA0003581538500000033
表示空间自适应的奖励函数，
Figure BDA0003581538500000034
表示从第i个视频帧Oi采样的图像块，
Figure BDA0003581538500000035
表示
Figure BDA0003581538500000036
属于包含老人行为动作的图像块的softmax预测，
Figure BDA0003581538500000037
表示高斯分布采样所获得的期望，R'i(Bi|B1,...,Bi-1)表示时间自适应的奖励函数，Bi表示第i个视频帧输出的Bernoulli参数，P'iy(B1,...,Bi-1,1)表示Bi＝1时的softmax预测，P'iy(B1,...,Bi-1,0)表示Bi＝0时的softmax预测，λ为预定义的超参数，L表示图像块的长度，ω表示激活视频帧的阈值，i＝1,2,…,n，n为视频帧的数量。
结合第一方面，进一步的，所述人体姿态估计算法采用MoveNet算法。
结合第一方面，进一步的，利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的方法为：
将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理，得到关键特征图；
通过四个预测头对关键特征图中人体关键点的位置坐标进行预测；
通过后处理精确定位并输出一组最靠近图像块中心的人体关键点位置坐标。
结合第一方面，进一步的，人体关键点包括左肩、右肩、左胯、右胯、左膝、右膝、左踝和右踝。
结合第一方面，进一步的，根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒，包括：
当y10-y11＜0时，判断老人面对着摄像头方向摔倒，其中，y10表示当前帧图像块中人体两胯中点的纵坐标，y11表示当前帧图像块中人体两踝中点的纵坐标；
当y10-y11＜ymin且
Figure BDA0003581538500000041
时，判断老人侧对着摄像头方向摔倒，其中，ymin表示老人直立行走时两胯中点与两踝中点的最小垂直高度，θ表示躯干偏离角度，(x9,y9)表示当前帧图像块中人体两肩中点的位置坐标，x10表示当前帧图像块中人体两胯中点的横坐标；
当
Figure BDA0003581538500000042
且
Figure BDA0003581538500000043
时，判断老人背对着摄像头方向摔倒，其中，(x5,y5)表示当前帧图像块中人体左膝盖的位置坐标，(x6,y6)表示当前帧图像块中人体右膝盖的位置坐标，(x7,y7)表示当前帧图像块中人体左脚踝的位置坐标，(x8,y8)表示表示当前帧图像块中人体右脚踝的位置坐标，x11表示当前帧图像块中人体两踝中点的横坐标；以采集的原始视频序列为准，(x'5,y'5)表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标，(x'6,y'6)表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标，(x'7,y'7)表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标，(x'8,y'8)表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标，(x'9,y'9)表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标，(x'10,y'10)表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标，(x'11,y'11)表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。
结合第一方面，进一步的，轻量级卷积网络采用ShuffleNet-V2网络。
第二方面，本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置，包括：
视频流采集模块，用于通过摄像头采集视频流片段，得到视频序列；
第一级特征提取模块，用于通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；
第二级特征提取模块，用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；
第三级特征提取模块，用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；
摔倒判断模块，用于根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；
报警模型，用于当连续N帧图像块判断为老人摔倒时，生成报警信号。
第三方面，本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行本发明第一方面所述方法的步骤。
第四方面，本发明提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面所述方法的步骤。
采用以上技术手段后可以获得以下优势：
本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质，通过时空自适应处理从原始的视频序列中选取关键帧中包含老人行为动作的图像块，能够从时间和空间两个维度去除视频流中的冗余信息，不仅不需要逐帧处理，而且图像块的空间尺寸小于原图，能够显著降低网络模型的计算开销，保证算法在嵌入式设备或移动设备上运行时的实时性。与此同时本发明利用人体姿态估计算法从图像块中得到人体关键点坐标，人体姿态估计算法使用计算量较大的ResNet网络提高了关键点坐标的准确性，实现良好的关键点可视化效果。最后，本发明采用阈值法判断不同视觉角度下图像块中人物是否摔倒，可有效区分正常站立、蹲坐和躺倒姿势，精确判断老人是否摔倒。
本发明能够在减少冗余计算降低模型的计算开销的同时保证老人摔倒检测的实时性和准确性，进一步优化了基于智能视频监控的老人摔倒检测技术。
附图说明
图1为本发明一种基于时空自适应和人体姿态估计的多视角摔倒检测方法的步骤流程图；
图2为本发明实施例中多视角摔倒检测方法的流程示意图；
图3为本发明实施例中人体关键点的示意图；
图4为本发明实施例中老人直立行走的姿态示意图；
图5为本发明实施例中老人面对着摄像头方向摔倒的姿态示意图；
图6为本发明实施例中老人侧对着摄像头方向摔倒的姿态示意图；
图7为本发明实施例中老人背对着摄像头方向摔倒的姿态示意图；
图8为本发明实施例中一种基于时空自适应和人体姿态估计的多视角摔倒检测装置的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法，如图1、2所示，具体包括如下步骤：
步骤A、获取摄像头采集的视频流片段，得到视频序列。
步骤B、通过轻量级卷积网络ShuffleNet-V2对视频序列进行快速粗略的预处理，获取视频序列中每一帧的全局特征信息，得到全局特征图序列。
步骤C、对全局特征图序列中的每一幅全局特征图进行时空自适应处理，确定视频流中关键帧的关键区域，得到包含老人行为动作的图像块。
将全局特征图序列中的每一幅全局特征作为输入，通过时空自适应处理输出每个关键帧中包含老人行为动作的图像块。
时空自适应是一个策略网络，将步骤B获取的廉价全局特征图作为输入，并整合目前为止所有视频帧的信息，使用策略梯度的方法优化目标为最大化折扣奖励函数，利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图，通过得到的奖励函数值判断视频的每一帧是否处理并选择出含有老人行为动作的图像块。
在本发明实施例中，空间自适应的奖励函数和时间自适应的奖励函数的表达式如下：
Figure BDA0003581538500000081
Figure BDA0003581538500000082
其中，
Figure BDA0003581538500000083
表示空间自适应的奖励函数，
Figure BDA0003581538500000084
表示从第i个视频帧Oi采样的图像块，
Figure BDA0003581538500000085
表示
Figure BDA0003581538500000086
属于包含老人行为动作的图像块的softmax预测，
Figure BDA0003581538500000087
表示高斯分布采样所获得的期望，R'i(Bi|B1,...,Bi-1)表示时间自适应的奖励函数，Bi表示第i个视频帧输出的Bernoulli参数，P'iy(B1,...,Bi-1,1)表示Bi＝1时的softmax预测，P'iy(B1,...,Bi-1,0)表示Bi＝0时的softmax预测，λ为预定义的超参数，L表示图像块的长度，ω表示激活视频帧的阈值，i＝1,2,…,n，n为视频帧的数量。
公式(3)中通过高斯分布采样所获得的期望作为基准优化损失函数，可以鼓励模型选择能够产生可靠预测的图像块；公式(4)将标签类别上的置信度上升效果与视频帧中图像块所需的计算开销进行比较，并通过阈值筛选出关键帧避免冗余计算。
步骤D、利用人体姿态估计算法从图像块中得到人体关键点的位置坐标。
人体姿态估计算法采用MoveNet算法，利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的具体操作为：
使用ResNet作为局部卷积网络，将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理，输出高分辨率且语义信息丰富的关键特征图；通过四个预测头对关键特征图中人体关键点的位置坐标进行预测，粗略定位关键点的范围；通过后处理加权精细化关键点坐标，输出一组最靠近图像块中心的人体关键点位置坐标。
在本发明实施例中，如图3所示，人体关键点共有8个，分别是1：左肩、2：右肩、3：左胯、4：右胯、5：左膝、6：右膝、7：左踝、8：右踝。
步骤E、根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒，具体操作如下：
步骤E01、从视频序列中提取每次老人走入视频检测区域后的前8帧图像，并计算8帧图像中两胯中点与两踝中点的最小垂直高度，记为ymin，如图4所示，ymin表示老人正常直立行走时腿部的最小垂直高度，是本发明中的重要阈值。
步骤E02、根据人体关键点的位置坐标分别计算当前帧图像块中人体两肩中点、两胯中点和两踝中点的位置坐标，此处的当前帧指的是一个图像块在采集的原始视频序列中所处的帧位置。
步骤E03、当y10-y11＜0时，判断老人面对着摄像头方向摔倒，其中，y10表示当前帧图像块中人体两胯中点的纵坐标，y11表示当前帧图像块中人体两踝中点的纵坐标。如图5所示，y10-y11＜0表示视频帧图像块中两踝中点位置的坐标高度高于两胯中点位置的坐标高度。
步骤E04、当y10-y11＜ymin且
Figure BDA0003581538500000101
时，判断老人侧对着摄像头方向摔倒，其中，ymin表示老人直立行走时两胯中点与两踝中点的最小垂直高度，θ表示躯干偏离角度，(x9,y9)表示当前帧图像块中人体两肩中点的位置坐标，x10表示当前帧图像块中人体两胯中点的横坐标。如图6所示，y10-y11＜ymin表示视频帧图像块中两胯中点与两踝中点的垂直高度小于ymin，老人处于非正常行走或站立状态，即老人可能躺倒或者蹲坐，为了排除正常蹲坐姿态，本发明使用躯干的角度进行判断，若躯干偏移竖直角度过大(即θ＜45°)则为摔倒。
步骤E05、当
Figure BDA0003581538500000102
Figure BDA0003581538500000103
且
Figure BDA0003581538500000104
时，判断老人背对着摄像头方向摔倒，其中，(x5,y5)表示当前帧图像块中人体左膝盖的位置坐标，(x6,y6)表示当前帧图像块中人体右膝盖的位置坐标，(x7,y7)表示当前帧图像块中人体左脚踝的位置坐标，(x8,y8)表示表示当前帧图像块中人体右脚踝的位置坐标，x11表示当前帧图像块中人体两踝中点的横坐标；以采集的原始视频序列为准，(x'5,y'5)表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标，(x'6,y'6)表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标，(x'7,y'7)表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标，(x'8,y'8)表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标，(x'9,y'9)表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标，(x'10,y'10)表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标，(x'11,y'11)表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。如图7所示，上述条件表示以m帧为时间间隔，当老人在这段时间内移动较短范围时，当前帧相比于向前第m帧的身体躯干长度和两小腿长度的都有所缩小；为了防止摔倒时小范围的位置偏移，若当前帧的两踝中点的坐标(x11，y11)处在以m帧前两踝中点坐标(x'11，y'11)为圆心，
Figure BDA0003581538500000111
为半径的圆形范围中，判断身体躯干及各肢体长度是否缩小，若都缩小则判为摔倒。
在本发明实施例中，m＝8，即将视频序列中当前帧的人体关键点位置坐标与向前第8帧的人体关键点位置坐标比较，进行摔倒判断。
步骤F、当连续N帧图像块判断为老人摔倒时，生成报警信号。在本发明实施例中，N＝3。
基于本发明方法，本发明还提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置，如图8所示，主要包括视频流采集模块、第一级特征提取模块、第二级特征提取模块、第三级特征提取模块、摔倒判断模块和报警模块。
视频流采集模块主要用于通过摄像头采集视频流片段，得到视频序列。
第一级特征提取模块主要用于通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列，轻量级卷积网络采用ShuffleNet-V2网络。
第二级特征提取模块主要用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块，第二级特征提取模块的操作与本发明方法的步骤C一致。
第三级特征提取模块主要用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标，人体姿态估计算法采用MoveNet，第三级特征提取模块的操作与本发明方法的步骤D一致。
摔倒判断模块主要用于根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒，摔倒判断模块可以判断出老人是面对着摄像头方向、侧对着摄像头方向或背对着摄像头方向摔倒，具体操作与本发明方法步骤E一致。
报警模型主要用于当连续N帧图像块判断为老人摔倒时，生成报警信号，其中，N＝3。
基于本发明方法，本发明还提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置，包括处理器及存储介质；其中，存储介质用于存储指令；处理器用于根据所述指令进行操作以执行本发明方法的步骤。
基于本发明方法，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明方法的步骤。
与现有技术相比，本发明首先通过时空自适应处理从原始的视频序列中选取关键帧中包含老人行为动作的图像块，能够从时间和空间两个维度去除视频流中的冗余信息，不仅不需要逐帧处理，而且图像块的空间尺寸小于原图，能够显著降低网络模型的计算开销，保证算法在嵌入式设备或移动设备上运行时的实时性。其次，本发明利用人体姿态估计算法从图像块中得到人体关键点坐标，人体姿态估计算法使用计算量较大的ResNet网络提高了关键点坐标的准确性，实现良好的关键点可视化效果。最后，本发明采用阈值法判断不同视觉角度下图像块中人物是否摔倒，先通过人的腿部垂直高度来判断老人是否是正常行走、站立或蹲坐状态，再利用躯干倾斜角度精确判断老人是否摔倒，当距离摄像头一定距离时，利用摄像头视角下同一位置的人背向摄像头躺倒时与正常站立时相比身体躯干和各肢体的长度减小，可有效区分正常站立、蹲坐和躺倒姿势，精确判断老人是否摔倒。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，包括如下步骤：
获取摄像头采集的视频流片段，得到视频序列；
通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；
对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；
利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；
根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；
当连续N帧图像块判断为老人摔倒时，生成报警信号。
2.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图，选择出包含老人行为动作的图像块，其中，空间自适应的奖励函数和时间自适应的奖励函数的表达式如下：
Figure FDA0003581538490000011
Figure FDA0003581538490000012
其中，
Figure FDA0003581538490000013
表示空间自适应的奖励函数，
Figure FDA0003581538490000014
表示从第i个视频帧Oi采样的图像块，
Figure FDA0003581538490000015
表示
Figure FDA0003581538490000016
属于包含老人行为动作的图像块的softmax预测，
Figure FDA0003581538490000017
表示高斯分布采样所获得的期望，R'i(Bi|B1,...,Bi-1)表示时间自适应的奖励函数，Bi表示第i个视频帧输出的Bernoulli参数，P'iy(B1,...,Bi-1,1)表示Bi＝1时的softmax预测，P'iy(B1,...,Bi-1,0)表示Bi＝0时的softmax预测，λ为预定义的超参数，L表示图像块的长度，ω表示激活视频帧的阈值，i＝1,2,…,n，n为视频帧的数量。
3.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，所述人体姿态估计算法采用MoveNet算法。
4.根据权利要求3所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的方法为：
将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理，得到关键特征图；
通过四个预测头对关键特征图中人体关键点的位置坐标进行预测；
通过后处理精确定位并输出一组最靠近图像块中心的人体关键点位置坐标。
5.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，人体关键点包括左肩、右肩、左胯、右胯、左膝、右膝、左踝和右踝。
6.根据权利要求1或5所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒，包括：
当y10-y11＜0时，判断老人面对着摄像头方向摔倒，其中，y10表示当前帧图像块中人体两胯中点的纵坐标，y11表示当前帧图像块中人体两踝中点的纵坐标；
当y10-y11＜ymin且
Figure FDA0003581538490000031
时，判断老人侧对着摄像头方向摔倒，其中，ymin表示老人直立行走时两胯中点与两踝中点的最小垂直高度，θ表示躯干偏离角度，(x9,y9)表示当前帧图像块中人体两肩中点的位置坐标，x10表示当前帧图像块中人体两胯中点的横坐标；
当
Figure FDA0003581538490000032
且
Figure FDA0003581538490000033
时，判断老人背对着摄像头方向摔倒，其中，(x5,y5)表示当前帧图像块中人体左膝盖的位置坐标，(x6,y6)表示当前帧图像块中人体右膝盖的位置坐标，(x7,y7)表示当前帧图像块中人体左脚踝的位置坐标，(x8,y8)表示表示当前帧图像块中人体右脚踝的位置坐标，x11表示当前帧图像块中人体两踝中点的横坐标；以采集的原始视频序列为准，(x'5,y'5)表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标，(x'6,y'6)表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标，(x'7,y'7)表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标，(x'8,y'8)表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标，(x'9,y'9)表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标，(x'10,y'10)表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标，(x'11,y'11)表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。
7.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法，其特征在于，轻量级卷积网络采用ShuffleNet-V2网络。
8.基于时空自适应和人体姿态估计的多视角摔倒检测装置，其特征在于，包括：
视频流采集模块，用于通过摄像头采集视频流片段，得到视频序列；
第一级特征提取模块，用于通过轻量级卷积网络对视频序列进行预处理，得到全局特征图序列；
第二级特征提取模块，用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理，得到包含老人行为动作的图像块；
第三级特征提取模块，用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标；
摔倒判断模块，用于根据人体关键点的位置坐标，利用阈值法判断不同视觉角度下图像块中的老人是否摔倒；
报警模型，用于当连续N帧图像块判断为老人摔倒时，生成报警信号。
9.基于时空自适应和人体姿态估计的多视角摔倒检测装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
CN202210352997.1A 2022-04-06 2022-04-06 多视角摔倒检测方法、装置及存储介质 Pending CN114792429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210352997.1A CN114792429A (zh) 2022-04-06 2022-04-06 多视角摔倒检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210352997.1A CN114792429A (zh) 2022-04-06 2022-04-06 多视角摔倒检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114792429A true CN114792429A (zh) 2022-07-26

Family

ID=82460852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210352997.1A Pending CN114792429A (zh) 2022-04-06 2022-04-06 多视角摔倒检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114792429A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117037272A (zh) * 2023-08-08 2023-11-10 深圳市震有智联科技有限公司 一种老人摔倒监测方法及系统
CN117173795A (zh) * 2023-11-03 2023-12-05 赋之科技(深圳)有限公司 一种危险动作检测方法及终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117037272A (zh) * 2023-08-08 2023-11-10 深圳市震有智联科技有限公司 一种老人摔倒监测方法及系统
CN117037272B (zh) * 2023-08-08 2024-03-19 深圳市震有智联科技有限公司 一种老人摔倒监测方法及系统
CN117173795A (zh) * 2023-11-03 2023-12-05 赋之科技(深圳)有限公司 一种危险动作检测方法及终端
CN117173795B (zh) * 2023-11-03 2024-02-23 赋之科技(深圳)有限公司 一种危险动作检测方法及终端

Similar Documents

Publication Publication Date Title
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
Chen et al. Vision-based fall event detection in complex background using attention guided bi-directional LSTM
US8300892B2 (en) Moving object detection apparatus and moving object detection method
CN104038738B (zh) 一种提取人体关节点坐标的智能监控系统及方法
CN114792429A (zh) 多视角摔倒检测方法、装置及存储介质
US8363902B2 (en) Moving object detection method and moving object detection apparatus
Shoaib et al. View-invariant fall detection for elderly in real home environment
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
CN113963315A (zh) 一种复杂场景下实时视频多人行为识别方法及系统
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
CN109255360B (zh) 一种目标分类方法、装置及系统
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
CN113657150A (zh) 一种跌倒检测方法、装置和计算机可读存储介质
CN115116127A (zh) 一种基于计算机视觉和人工智能的跌倒检测方法
Li et al. Fusion of RGB, optical flow and skeleton features for the detection of lameness in dairy cows
JP7263094B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN115546491B (zh) 一种跌倒报警方法、系统、电子设备及存储介质
Li et al. Dilated spatial–temporal convolutional auto-encoders for human fall detection in surveillance videos
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN115631535A (zh) 基于光流引导及双流网络的动作识别方法、系统及装置
CN115731563A (zh) 一种远距离监控人员倒地识别方法
CN111178134B (zh) 一种基于深度学习与网络压缩的摔倒检测方法
Hao et al. Prediction of a bed-exit motion: Multi-modal sensing approach and incorporation of biomechanical knowledge
CN113536950A (zh) 一种基于人工智能的人员触电检测方法和系统
CN114120370A (zh) 基于cnn-lstm的人体跌倒检测实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination