CN112487924A - 基于深度学习从视频中判别人体意外摔倒的方法及装置 - Google Patents
基于深度学习从视频中判别人体意外摔倒的方法及装置 Download PDFInfo
- Publication number
- CN112487924A CN112487924A CN202011340527.0A CN202011340527A CN112487924A CN 112487924 A CN112487924 A CN 112487924A CN 202011340527 A CN202011340527 A CN 202011340527A CN 112487924 A CN112487924 A CN 112487924A
- Authority
- CN
- China
- Prior art keywords
- human body
- key feature
- feature points
- key
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 67
- 210000003127 knee Anatomy 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000006073 displacement reaction Methods 0.000 claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims abstract description 16
- 238000013136 deep learning model Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 15
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习技术从视频中判别人体意外摔倒的方法及装置。该方法利用深度学习模型提取人体的关键骨骼点，确定关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据组成新矩阵N*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，如果符合则输出判定结果为人体产生跌倒，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
Description
技术领域
本发明涉及电力安全技术领域，尤其涉及一种基于深度学习从视频中判别人体意外摔倒方法及装置。
背景技术
人体突然跌倒的原因很多，一般情况需要及时就医。但是，在电力行业尤其是升压站里，环境复杂，高压环境多。巡检人员突然跌倒没有及时得到帮助有可能带来二次伤害，需要立即处理，传统的办法依赖监控巡视来进行人员观察，效率慢并且要求值班人员全神贯注。随着机器学习技术的长足发展，依赖视频进行自动判断的人体跌倒的技术日趋成熟。
目前，对于跌倒行为的检测方法主要有两种。一种是基于穿戴式传感器的跌倒检测技术；另一种则是基于视频的检测技术。基于穿戴式传感器的跌倒检测技术准确性高，但是成本过高，且穿戴不舒适。基于视频的跌倒的检测技术是利用一个或多个摄像头提取到的人体轮廓运动特征来进行识别。但是跌倒是一种运动或者说行为，目前所见技术一般以静态图像为判断依据，以人体躯干的位置或角度来判断是否跌倒，具有较大的局限性，存在误判。
因此，有必要提出一种基于深度学习从视频中判别人体意外摔倒方法及装置，以解决上述问题。
发明内容
本发明提供一种基于深度学习从视频中判别人体意外摔倒的方法及装置，以解决现有识别方式存在的容易误判的问题。
第一方面，本发明提供一种基于深度学习从视频中判别人体意外摔倒的方法，包括：
获取包含人体的视频数据；
利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
从每秒所述视频数据中抽取前后连续的k帧数据；
利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
确定所述新矩阵中每个人体的躯干的中心点的坐标；
计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
结合第一方面，在第一方面的第一种可实现方式中，利用深度学习模型提取人体的关键骨骼点的步骤中，所述关键骨骼点的关键特征点的总数为25个。
结合第一方面，在第一方面的第二种可实现方式中，从每秒所述视频数据中抽取前后连续的k帧数据的步骤中，k为5。
结合第一方面，在第一方面的第三种可实现方式中，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第一阈值为1.2。
结合第一方面，在第一方面的第四种可实现方式中，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第二阈值为200％。
第二方面，本发明提供一种基于深度学习从视频中判别人体意外摔倒的装置，包括：
获取单元，用于获取包含人体的视频数据；
提取单元，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
第一确定单元，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
抽取单元，用于从每秒所述视频数据中抽取前后连续的k帧数据；
组成单元，用于利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
第一计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
第二计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
第二确定单元，用于确定所述新矩阵中每个人体的躯干的中心点的坐标；
第三计算单元，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
第四计算单元，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断单元，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
输出单元，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
结合第二方面，在第二方面的第一种可实现方式中，所述关键骨骼点的关键特征点的总数为25个。
结合第二方面，在第二方面的第二种可实现方式中，k为5。
结合第二方面，在第二方面的第三种可实现方式中，所述第一阈值为1.2。
结合第二方面，在第二方面的第四种可实现方式中，所述第二阈值为200％。
由以上技术方案可知，本发明的基于深度学习技术从视频中判别人体意外摔倒的方法及装置，通过获取包含人体的视频数据，利用深度学习模型提取人体的关键骨骼点，引入三维坐标系，确定关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据，利用前后连续的k帧数据组成新矩阵N*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，根据帧数k换算出对应的视频时间长度，并根据角动量偏移和视频时间长度计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，并在人体符合预设的跌倒判定条件，输出判定结果为人体产生跌倒，通过上述流程，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为基于深度学习技术从视频中判别人体意外摔倒的方法的流程图。
图2为人体的关键骨骼点以及关键特征点的分布示意图。
图3为基于深度学习技术从视频中判别人体意外摔倒的装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，本发明第一实施例提供一种基于深度学习从视频中判别人体意外摔倒的方法，该方法的执行主体为处理器，该方法包括：
步骤S101，获取包含人体的视频数据。
具体地，包含人体的视频数据可以通过视频图像采集装置采集，视频图像采集装置采集到包含人体的视频数据后，可以将数据传输至处理器。视频图像采集装置具体可以是在电力行业升压站里设置的摄像头。
步骤S102，利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝。其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点。
具体地，如图2所示，人体的关键骨骼点可以包含从头到脚的多个区域，其中，肩包括两个关键特征点(图2中的2和5)，肘包括两个关键特征点(图2中的3和6)，头包括一个关键特征点(图2中0)，躯干包括四个关键特征点(图2中1、8、9、12)，膝包括两个关键特征点(图2中的10和13)，关键特征点的总数为25个。
步骤S103，引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
在本实施例中，N*m*3矩阵即为N*25*3矩阵，记载了视频数据每个人体的25个关键特征点中，每个关键特征点的三维坐标。
步骤S104，从每秒所述视频数据中抽取前后连续的k帧数据。
在本实施例中，可从每秒所述视频数据中抽取前后连续的5帧数据。
步骤S105，利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
在本实施例中，N*k*m*3即为N*5*25*3矩阵，记载了视频数据每个人体的5帧中的每一帧中25个关键特征点的三维坐标。
步骤S106，计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量。
具体地，上述计算方法为现有技术。
步骤S107，计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移。
具体地，上述计算方法为现有技术。
步骤S108，确定所述新矩阵中每个人体的躯干的中心点的坐标。
具体地，躯干包括四个关键特征点(图2中1、8、9、12)，根据四个关键特征点的三维坐标确定躯干的中心点的坐标，以根据躯干的中心点的坐标计算躯干的中心点的相对位移。上述确定方法为现有技术。
步骤S109，计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移。
具体地，上述计算方法为现有技术。
步骤S110，根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度。
具体地，上述计算方法为现有技术。
步骤S111，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移。
在本实施例中，跌倒判定条件为同时满足以下条件：
1)肩、肘、头以及膝的关键特征点的角动量的加速度大于1.2。
2)肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于200％。
3)头的关键特征点的相对位移大于躯干中心点的相对位移。
步骤S112，如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
由以上技术方案可知，本发明的基于深度学习技术从视频中判别人体意外摔倒的方法，通过获取包含人体的视频数据，利用深度学习模型提取人体的关键骨骼点，引入三维坐标系，确定关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据，利用前后连续的k帧数据组成新矩阵N*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，根据帧数k换算出对应的视频时间长度，并根据角动量偏移和视频时间长度计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，并在人体符合预设的跌倒判定条件，输出判定结果为人体产生跌倒，通过上述流程，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
如图3所示，本发明还提供一种基于深度学习从视频中判别人体意外摔倒的装置，包括：
获取单元31，用于获取包含人体的视频数据。
提取单元32，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点。
第一确定单元33，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
抽取单元34，用于从每秒所述视频数据中抽取前后连续的k帧数据。
组成单元35，用于利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
第一计算单元36，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量。
第二计算单元37，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移。
第二确定单元38，用于确定所述新矩阵中每个人体的躯干的中心点的坐标。
第三计算单元39，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移。
第四计算单元40，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度。
判断单元41，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移。
输出单元42，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
在本实施例中，所述关键骨骼点的关键特征点的总数为25个，k为5，所述第一阈值为1.2，所述第二阈值为200％。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于深度学习技术从视频中判别人体意外摔倒的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于深度学习技术从视频中判别人体意外摔倒的装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (10)
1.一种基于深度学习从视频中判别人体意外摔倒的方法，其特征在于，包括：
获取包含人体的视频数据；
利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
从每秒所述视频数据中抽取前后连续的k帧数据；
利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
确定所述新矩阵中每个人体的躯干的中心点的坐标；
计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
2.如权利要求1所述的方法，其特征在于，利用深度学习模型提取人体的关键骨骼点的步骤中，所述关键骨骼点的关键特征点的总数为25个。
3.如权利要求1所述的方法，其特征在于，从每秒所述视频数据中抽取前后连续的k帧数据的步骤中，k为5。
4.如权利要求1所述的方法，其特征在于，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第一阈值为1.2。
5.如权利要求1所述的方法，其特征在于，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第二阈值为200％。
6.一种基于深度学习从视频中判别人体意外摔倒的装置，其特征在于，包括：
获取单元，用于获取包含人体的视频数据；
提取单元，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
第一确定单元，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出N*m*3矩阵，其中，N是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
抽取单元，用于从每秒所述视频数据中抽取前后连续的k帧数据；
组成单元，用于利用所述前后连续的k帧数据组成新矩阵N*k*m*3，其中，N是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
第一计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
第二计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
第二确定单元，用于确定所述新矩阵中每个人体的躯干的中心点的坐标；
第三计算单元，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
第四计算单元，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断单元，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
输出单元，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
7.如权利要求6所述的装置，其特征在于，所述关键骨骼点的关键特征点的总数为25个。
8.如权利要求6所述的装置，其特征在于，k为5。
9.如权利要求6所述的装置，其特征在于，所述第一阈值为1.2。
10.如权利要求6所述的装置，其特征在于，所述第二阈值为200％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340527.0A CN112487924B (zh) | 2020-11-25 | 2020-11-25 | 基于深度学习从视频中判别人体意外摔倒的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011340527.0A CN112487924B (zh) | 2020-11-25 | 2020-11-25 | 基于深度学习从视频中判别人体意外摔倒的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112487924A true CN112487924A (zh) | 2021-03-12 |
| CN112487924B CN112487924B (zh) | 2024-09-13 |
Family
ID=74934368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011340527.0A Active CN112487924B (zh) | 2020-11-25 | 2020-11-25 | 基于深度学习从视频中判别人体意外摔倒的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112487924B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495682A (zh) * | 2022-03-07 | 2022-05-13 | 郑州大学 | 一种基于机器学习的老年人智能教育系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070225947A1 (en) * | 2006-03-27 | 2007-09-27 | Oki Electric Industry Co., Ltd. | Fall detection device |
| US20180333083A1 (en) * | 2015-02-25 | 2018-11-22 | Leonardo Y. Orellano | Fall detection systems and methods |
| US20190114895A1 (en) * | 2016-01-22 | 2019-04-18 | Suzhou Wanghu Real Estate Development Co., Ltd. | Body fall smart control system and method therefor |
| US20200090484A1 (en) * | 2018-09-13 | 2020-03-19 | Wistron Corporation | Falling detection method and electronic system using the same |
| CN111046749A (zh) * | 2019-11-25 | 2020-04-21 | 西安建筑科技大学 | 一种基于深度数据的人体跌倒行为检测方法 |
| WO2020107847A1 (zh) * | 2018-11-28 | 2020-06-04 | 平安科技（深圳）有限公司 | 基于骨骼点的跌倒检测方法及其跌倒检测装置 |
-
2020
- 2020-11-25 CN CN202011340527.0A patent/CN112487924B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070225947A1 (en) * | 2006-03-27 | 2007-09-27 | Oki Electric Industry Co., Ltd. | Fall detection device |
| US20180333083A1 (en) * | 2015-02-25 | 2018-11-22 | Leonardo Y. Orellano | Fall detection systems and methods |
| US20190114895A1 (en) * | 2016-01-22 | 2019-04-18 | Suzhou Wanghu Real Estate Development Co., Ltd. | Body fall smart control system and method therefor |
| US20200090484A1 (en) * | 2018-09-13 | 2020-03-19 | Wistron Corporation | Falling detection method and electronic system using the same |
| WO2020107847A1 (zh) * | 2018-11-28 | 2020-06-04 | 平安科技（深圳）有限公司 | 基于骨骼点的跌倒检测方法及其跌倒检测装置 |
| CN111046749A (zh) * | 2019-11-25 | 2020-04-21 | 西安建筑科技大学 | 一种基于深度数据的人体跌倒行为检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 佃松宜;程鹏;王凯;雒瑞森;: "基于双向循环神经网络的跌倒行为识别", 计算机工程与设计, no. 07, 16 July 2020 (2020-07-16) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495682A (zh) * | 2022-03-07 | 2022-05-13 | 郑州大学 | 一种基于机器学习的老年人智能教育系统 |
| CN114495682B (zh) * | 2022-03-07 | 2023-08-15 | 郑州大学 | 一种基于机器学习的老年人智能教育系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112487924B (zh) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104038738B (zh) | 一种提取人体关节点坐标的智能监控系统及方法 | |
| Lin et al. | Automated body feature extraction from 2D images | |
| CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
| CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
| CN110263720A (zh) | 基于深度图像和骨骼信息的动作识别方法 | |
| CN111753747B (zh) | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 | |
| CN113449570A (zh) | 图像处理方法和装置 | |
| Jensen et al. | Classification of kinematic swimming data with emphasis on resource consumption | |
| CN104361321A (zh) | 一种判断老年人摔倒行为及身体平衡能力的方法 | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN114998934B (zh) | 基于多模态智能感知和融合的换衣行人重识别和检索方法 | |
| CN112115827B (zh) | 基于人体姿态动态特征的跌倒行为识别方法 | |
| AU2021203869A1 (en) | Methods, devices, electronic apparatuses and storage media of image processing | |
| CN108875586A (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
| CN112257580A (zh) | 一种基于深度学习的人体关键点定位检测方法 | |
| CN112487924B (zh) | 基于深度学习从视频中判别人体意外摔倒的方法及装置 | |
| CN104794446A (zh) | 基于合成描述子的人体动作识别方法及系统 | |
| US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
| CN116311497A (zh) | 一种基于机器视觉的隧道工人异常行为检测方法及系统 | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| US12089926B2 (en) | Feigned injury detection systems and methods | |
| CN112749605A (zh) | 身份识别方法、系统和设备 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| Scott et al. | From kinematics to dynamics: Estimating center of pressure and base of support from video frames of human motion | |
| CN117109567A (zh) | 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |