CN112487924A - 基于深度学习从视频中判别人体意外摔倒的方法及装置 - Google Patents

基于深度学习从视频中判别人体意外摔倒的方法及装置 Download PDF

Info

Publication number
CN112487924A
CN112487924A CN202011340527.0A CN202011340527A CN112487924A CN 112487924 A CN112487924 A CN 112487924A CN 202011340527 A CN202011340527 A CN 202011340527A CN 112487924 A CN112487924 A CN 112487924A
Authority
CN
China
Prior art keywords
human body
key feature
feature points
key
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011340527.0A
Other languages
English (en)
Inventor
李庆光
张驰
尹哲
张文杰
杨建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongtuo Xinyuan Technology Co ltd
Original Assignee
Beijing Zhongtuo Xinyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongtuo Xinyuan Technology Co ltd filed Critical Beijing Zhongtuo Xinyuan Technology Co ltd
Priority to CN202011340527.0A priority Critical patent/CN112487924A/zh
Publication of CN112487924A publication Critical patent/CN112487924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于深度学习技术从视频中判别人体意外摔倒的方法及装置。该方法利用深度学习模型提取人体的关键骨骼点，确定关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据组成新矩阵N*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，如果符合则输出判定结果为人体产生跌倒，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。

Description

基于深度学习从视频中判别人体意外摔倒的方法及装置
技术领域
本发明涉及电力安全技术领域，尤其涉及一种基于深度学习从视频中判别人体意外摔倒方法及装置。
背景技术
人体突然跌倒的原因很多，一般情况需要及时就医。但是，在电力行业尤其是升压站里，环境复杂，高压环境多。巡检人员突然跌倒没有及时得到帮助有可能带来二次伤害，需要立即处理，传统的办法依赖监控巡视来进行人员观察，效率慢并且要求值班人员全神贯注。随着机器学习技术的长足发展，依赖视频进行自动判断的人体跌倒的技术日趋成熟。
目前，对于跌倒行为的检测方法主要有两种。一种是基于穿戴式传感器的跌倒检测技术；另一种则是基于视频的检测技术。基于穿戴式传感器的跌倒检测技术准确性高，但是成本过高，且穿戴不舒适。基于视频的跌倒的检测技术是利用一个或多个摄像头提取到的人体轮廓运动特征来进行识别。但是跌倒是一种运动或者说行为，目前所见技术一般以静态图像为判断依据，以人体躯干的位置或角度来判断是否跌倒，具有较大的局限性，存在误判。
因此，有必要提出一种基于深度学习从视频中判别人体意外摔倒方法及装置，以解决上述问题。
发明内容
本发明提供一种基于深度学习从视频中判别人体意外摔倒的方法及装置，以解决现有识别方式存在的容易误判的问题。
第一方面，本发明提供一种基于深度学习从视频中判别人体意外摔倒的方法，包括：
获取包含人体的视频数据；
利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
从每秒所述视频数据中抽取前后连续的k帧数据；
利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
确定所述新矩阵中每个人体的躯干的中心点的坐标；
计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
结合第一方面，在第一方面的第一种可实现方式中，利用深度学习模型提取人体的关键骨骼点的步骤中，所述关键骨骼点的关键特征点的总数为25个。
结合第一方面，在第一方面的第二种可实现方式中，从每秒所述视频数据中抽取前后连续的k帧数据的步骤中，k为5。
结合第一方面，在第一方面的第三种可实现方式中，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第一阈值为1.2。
结合第一方面，在第一方面的第四种可实现方式中，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第二阈值为200％。
第二方面，本发明提供一种基于深度学习从视频中判别人体意外摔倒的装置，包括：
获取单元，用于获取包含人体的视频数据；
提取单元，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
第一确定单元，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
抽取单元，用于从每秒所述视频数据中抽取前后连续的k帧数据；
组成单元，用于利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
第一计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
第二计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
第二确定单元，用于确定所述新矩阵中每个人体的躯干的中心点的坐标；
第三计算单元，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
第四计算单元，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断单元，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
输出单元，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
结合第二方面，在第二方面的第一种可实现方式中，所述关键骨骼点的关键特征点的总数为25个。
结合第二方面，在第二方面的第二种可实现方式中，k为5。
结合第二方面，在第二方面的第三种可实现方式中，所述第一阈值为1.2。
结合第二方面，在第二方面的第四种可实现方式中，所述第二阈值为200％。
由以上技术方案可知，本发明的基于深度学习技术从视频中判别人体意外摔倒的方法及装置，通过获取包含人体的视频数据，利用深度学习模型提取人体的关键骨骼点，引入三维坐标系，确定关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据，利用前后连续的k帧数据组成新矩阵N*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，根据帧数k换算出对应的视频时间长度，并根据角动量偏移和视频时间长度计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，并在人体符合预设的跌倒判定条件，输出判定结果为人体产生跌倒，通过上述流程，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为基于深度学习技术从视频中判别人体意外摔倒的方法的流程图。
图2为人体的关键骨骼点以及关键特征点的分布示意图。
图3为基于深度学习技术从视频中判别人体意外摔倒的装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，本发明第一实施例提供一种基于深度学习从视频中判别人体意外摔倒的方法，该方法的执行主体为处理器，该方法包括：
步骤S101，获取包含人体的视频数据。
具体地，包含人体的视频数据可以通过视频图像采集装置采集，视频图像采集装置采集到包含人体的视频数据后，可以将数据传输至处理器。视频图像采集装置具体可以是在电力行业升压站里设置的摄像头。
步骤S102，利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝。其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点。
具体地，如图2所示，人体的关键骨骼点可以包含从头到脚的多个区域，其中，肩包括两个关键特征点(图2中的2和5)，肘包括两个关键特征点(图2中的3和6)，头包括一个关键特征点(图2中0)，躯干包括四个关键特征点(图2中1、8、9、12)，膝包括两个关键特征点(图2中的10和13)，关键特征点的总数为25个。
步骤S103，引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
在本实施例中，N*m*3矩阵即为N*25*3矩阵，记载了视频数据每个人体的25个关键特征点中，每个关键特征点的三维坐标。
步骤S104，从每秒所述视频数据中抽取前后连续的k帧数据。
在本实施例中，可从每秒所述视频数据中抽取前后连续的5帧数据。
步骤S105，利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
在本实施例中，N*k*m*3即为N*5*25*3矩阵，记载了视频数据每个人体的5帧中的每一帧中25个关键特征点的三维坐标。
步骤S106，计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量。
具体地，上述计算方法为现有技术。
步骤S107，计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移。
具体地，上述计算方法为现有技术。
步骤S108，确定所述新矩阵中每个人体的躯干的中心点的坐标。
具体地，躯干包括四个关键特征点(图2中1、8、9、12)，根据四个关键特征点的三维坐标确定躯干的中心点的坐标，以根据躯干的中心点的坐标计算躯干的中心点的相对位移。上述确定方法为现有技术。
步骤S109，计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移。
具体地，上述计算方法为现有技术。
步骤S110，根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度。
具体地，上述计算方法为现有技术。
步骤S111，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移。
在本实施例中，跌倒判定条件为同时满足以下条件：
1)肩、肘、头以及膝的关键特征点的角动量的加速度大于1.2。
2)肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于200％。
3)头的关键特征点的相对位移大于躯干中心点的相对位移。
步骤S112，如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
由以上技术方案可知，本发明的基于深度学习技术从视频中判别人体意外摔倒的方法，通过获取包含人体的视频数据，利用深度学习模型提取人体的关键骨骼点，引入三维坐标系，确定关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据，利用前后连续的k帧数据组成新矩阵N*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，根据帧数k换算出对应的视频时间长度，并根据角动量偏移和视频时间长度计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，并在人体符合预设的跌倒判定条件，输出判定结果为人体产生跌倒，通过上述流程，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
如图3所示，本发明还提供一种基于深度学习从视频中判别人体意外摔倒的装置，包括：
获取单元31，用于获取包含人体的视频数据。
提取单元32，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点。
第一确定单元33，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
抽取单元34，用于从每秒所述视频数据中抽取前后连续的k帧数据。
组成单元35，用于利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
第一计算单元36，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量。
第二计算单元37，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移。
第二确定单元38，用于确定所述新矩阵中每个人体的躯干的中心点的坐标。
第三计算单元39，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移。
第四计算单元40，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度。
判断单元41，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移。
输出单元42，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
在本实施例中，所述关键骨骼点的关键特征点的总数为25个，k为5，所述第一阈值为1.2，所述第二阈值为200％。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于深度学习技术从视频中判别人体意外摔倒的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于深度学习技术从视频中判别人体意外摔倒的装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种基于深度学习从视频中判别人体意外摔倒的方法，其特征在于，包括：
获取包含人体的视频数据；
利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
从每秒所述视频数据中抽取前后连续的k帧数据；
利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
确定所述新矩阵中每个人体的躯干的中心点的坐标；
计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
2.如权利要求1所述的方法，其特征在于，利用深度学习模型提取人体的关键骨骼点的步骤中，所述关键骨骼点的关键特征点的总数为25个。
3.如权利要求1所述的方法，其特征在于，从每秒所述视频数据中抽取前后连续的k帧数据的步骤中，k为5。
4.如权利要求1所述的方法，其特征在于，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第一阈值为1.2。
5.如权利要求1所述的方法，其特征在于，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第二阈值为200％。
6.一种基于深度学习从视频中判别人体意外摔倒的装置，其特征在于，包括：
获取单元，用于获取包含人体的视频数据；
提取单元，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
第一确定单元，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
抽取单元，用于从每秒所述视频数据中抽取前后连续的k帧数据；
组成单元，用于利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
第一计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
第二计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
第二确定单元，用于确定所述新矩阵中每个人体的躯干的中心点的坐标；
第三计算单元，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
第四计算单元，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断单元，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
输出单元，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
7.如权利要求6所述的装置，其特征在于，所述关键骨骼点的关键特征点的总数为25个。
8.如权利要求6所述的装置，其特征在于，k为5。
9.如权利要求6所述的装置，其特征在于，所述第一阈值为1.2。
10.如权利要求6所述的装置，其特征在于，所述第二阈值为200％。
CN202011340527.0A 2020-11-25 2020-11-25 基于深度学习从视频中判别人体意外摔倒的方法及装置 Pending CN112487924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011340527.0A CN112487924A (zh) 2020-11-25 2020-11-25 基于深度学习从视频中判别人体意外摔倒的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011340527.0A CN112487924A (zh) 2020-11-25 2020-11-25 基于深度学习从视频中判别人体意外摔倒的方法及装置

Publications (1)

Publication Number Publication Date
CN112487924A true CN112487924A (zh) 2021-03-12

Family

ID=74934368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011340527.0A Pending CN112487924A (zh) 2020-11-25 2020-11-25 基于深度学习从视频中判别人体意外摔倒的方法及装置

Country Status (1)

Country Link
CN (1) CN112487924A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495682A (zh) * 2022-03-07 2022-05-13 郑州大学 一种基于机器学习的老年人智能教育系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495682A (zh) * 2022-03-07 2022-05-13 郑州大学 一种基于机器学习的老年人智能教育系统
CN114495682B (zh) * 2022-03-07 2023-08-15 郑州大学 一种基于机器学习的老年人智能教育系统

Similar Documents

Publication Publication Date Title
CN104038738B (zh) 一种提取人体关节点坐标的智能监控系统及方法
Lin et al. Automated body feature extraction from 2D images
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN111753747B (zh) 基于单目摄像头和三维姿态估计的剧烈运动检测方法
CN113449570A (zh) 图像处理方法和装置
US20150092981A1 (en) Apparatus and method for providing activity recognition based application service
CN104361321A (zh) 一种判断老年人摔倒行为及身体平衡能力的方法
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN114998934B (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN112257580A (zh) 一种基于深度学习的人体关键点定位检测方法
CN104794446A (zh) 基于合成描述子的人体动作识别方法及系统
AU2021203869A1 (en) Methods, devices, electronic apparatuses and storage media of image processing
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
CN112487924A (zh) 基于深度学习从视频中判别人体意外摔倒的方法及装置
El-Ghaish et al. CovP3DJ: Skeleton-parts-based-covariance descriptor for human action recognition.
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN102201060B (zh) 一种基于形状语义的非参数轮廓跟踪评价方法
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
Scott et al. From kinematics to dynamics: Estimating center of pressure and base of support from video frames of human motion
CN117109567A (zh) 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备
CN114120438A (zh) 人体运动姿态检测方法及装置
Suriani et al. Sudden fall classification using motion features
CN114332922A (zh) 一种基于图像静态特征的摔倒检测方法
CN115512280B (zh) 一种涉黄涉暴视频多目标检测算法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination