CN113111756B - 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 - Google Patents

基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 Download PDF

Info

Publication number
CN113111756B
CN113111756B CN202110362569.2A CN202110362569A CN113111756B CN 113111756 B CN113111756 B CN 113111756B CN 202110362569 A CN202110362569 A CN 202110362569A CN 113111756 B CN113111756 B CN 113111756B
Authority
CN
China
Prior art keywords
neural network
human body
short
artificial neural
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110362569.2A
Other languages
English (en)
Other versions
CN113111756A (zh
Inventor
孟利民
童若望
应颂翔
蒋维
林梦嫚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110362569.2A priority Critical patent/CN113111756B/zh
Publication of CN113111756A publication Critical patent/CN113111756A/zh
Application granted granted Critical
Publication of CN113111756B publication Critical patent/CN113111756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括：获取人体不同行为的视频数据；利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差；对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签，并将所有子序列数据共同构成样本集；建立长短期记忆人工神经网络；将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。

Description

基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒 识别方法
技术领域
随着社会的发展，全球的老龄人口在不断增加，使老年人的医疗健康成为社会关注的问题之一。美国疾病控制和防疫中心的调查结果表明，摔倒已经成为导致65岁以上老年人意外死亡和伤害的最大诱因。Noury等的研究显示，老年人摔倒后，如能得到及时的救助，可以有效降低80％的死亡风险和26％的住院长期治疗风险。而根据全国老年办统计数据显示，现有大量的老人远离子女独自生活。因此，迫切需要为老年人开发智能监控系统，该系统可以自动并立即检测跌倒事件并通知护理人员或家属。
为了解决该问题，已经进行了将动作识别应用于通过计算机识别人类活动的视频监视系统的研究。跌倒涉及人体的一部分接触或跌落到地面上。一些跌落的情况可能会导致简单的瘀伤，但可能导致严重的伤害，例如滑盘和骨折。与一般的跌倒事故不同，如果一个人由于心脏病发作而跌倒，则最初的反应非常重要。因此，必须准确而迅速地识别到跌倒。
发明内容
为了克服现有技术的上述缺点，本发明提供了一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其目的是建立一种能够准确及时识别出摔倒并及时进行应对处理的方法。
本发明为解决上述技术问题采取的技术方案是：
步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；并从CRFD数据集中收集人类摔倒视频和人类日常生活视频；
步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；
步骤三、在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差。
步骤四、对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签。并将所有子序列数据共同构成样本集。
步骤五、建立长短期记忆人工神经网络；
步骤六、将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；
步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果；
所述步骤三中，归一化方法如下：
用M＝(m1,m2,…,mn)∈Nn×2表示二维特征向量，包含n个元素，其中每个元素mi∈Nn,1≤i≤n代表一个人体的关键点，而元素 包含两个整数/>和/>分别是在视频帧中关键点mi的x坐标和y坐标。从特征向量M中可以提取两个特征向量如下：
简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将 x坐标和y坐标向量归一化：
其中是Mx的平均值，σ(Mx)是Mx的标准差。而/>也是类似于/>计算出来的。最后将两个归一化的向量连接起来，形成最终的特征向量/>
所述步骤四中，使用窗口滑动方法获得子序列数据，标签包括日常生活动作，摔倒和躺下。
所述步骤五中，所构建的长短期记忆人工神经网络，包括 InputLayer层，masking层，lstm层，BN层，Dropout层和Dense层； InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征；BN层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分。
所述步骤六中，利用训练集中每个子序列数据对应的类别标签，训练长短期记忆人工神经网络模型，并在验证集上进行验证，使用准确率作为模型的评估标准，选择在验证集具有最高准确率的迭代周期，获取该迭代周期下的模型参数得到最终的长短期记忆人工神经网络模型。
所述步骤七中，使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。
本发明的优点是：对人体摔倒的识别更为准确、高效。
附图说明
图1是OpenPose提取的人体骨架关节点示意图；
图2是本发明行为识别方法流程示意图；
图3是本发明的长短期记忆人工神经网络模型结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括以下步骤：
步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；本实施方法使用CRFD公开数据集，数据集视频包括人类摔倒视频和人类日常生活视频；
步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关键点数据，包括身体18个关键点；关键点及部位名称如下：0(鼻)、1(颈)、2(右肩)、3(右肘)、4(右腕)、5(左肩)、6(左肘)、7(左腕)、8、9(左膝)、10(左脚)、11、12(右膝)、13(右脚)、14(右眼)、15(左眼)、16(右耳)、17(左耳)；
步骤三、在提取出人体骨架关键点后，需要进行归一化：用M＝(m1,m2,…,mn)∈Nn×2表示二维特征向量，包含n个元素，其中每个元素mi∈Nn,1≤i≤n代表一个人体的关键点，而元素包含两个整数/>和/>分别是在视频帧中关键点mi的x坐标和y坐标。从特征向量M中可以提取两个特征向量如下：
简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将 x坐标和y坐标向量归一化：
其中是Mx的平均值，σ(Mx)是Mx的标准差。而/>也是类似于/>计算出来的。最后将两个归一化的向量连接起来，形成最终的特征向量/>
步骤四、使用窗口滑动方法对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签，标签包括日常生活动作，摔倒和躺下。并将所有子序列数据共同构成样本集。
步骤五、建立长短期记忆人工神经网络，长短期记忆人工神经网络模型结构如图3所示，包括InputLayer层，masking层，lstm层，BN 层，Dropout层和Dense层；InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征； batch_normalization层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分；
步骤六、将步骤四中的样本集中的70％划分为训练集，30％划分为验证集，利用模型训练集训练长短期记忆人工神经网络模型，采用的是多分类对数函数(categoricalcrossentropy)，使用Adam优化器用于训练更新网络权值和偏置，根据数据集的大小设定batch为256，最大的epoch为200，设置初始学习率为0.001，并在训练过程中，每 10个epoch衰减一次，衰减因子为0.2。还使用了概率为0.3的dropout 正则化用来防止训练过拟合；最终在验证集上进行模型验证；
步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，包括以下步骤：
步骤一、获取人体不同行为的视频数据，该过程收集2D RGB视频数据；并从CRFD数据集中收集人类摔倒视频和人类日常生活视频；
步骤二、利用OpenPose对视频进行处理，将视频转换成一帧一帧的PNG图像，最后得到视频中每一帧图像中人体骨架关节点数据；
步骤三、在提取出人体骨架关键点后，利用特征向量的均值和标准差对特征向量进行归一化，以降低数据的方差；所述归一化方法如下：
用M＝(m1,m2,…,mn)∈Nn×2表示二维特征向量，包含n个元素，其中每个元素mi∈Nn,1≤i≤n代表一个人体的关键点，而元素包含两个整数/>和/>分别是在视频帧中关键点mi的x坐标和y坐标；从特征向量M中可以提取两个特征向量如下：
简单来说，分别收集关键点的x坐标和y坐标，同时保持顺序，然后将x坐标和y坐标向量归一化：
其中是Mx的平均值，σ(Mx)是Mx的标准差；而/>也是类似于/>计算出来的；最后将两个归一化的向量连接起来，形成最终的特征向量/>
步骤四、对数据集中的每个视频构造每个子序列数据，获得的每个子序列数据都有一个行为标签；并将所有子序列数据共同构成样本集；
步骤五、建立长短期记忆人工神经网络；所述的长短期记忆人工神经网络，包括InputLayer层，masking层，BN层，lstm层Dropout层和Dense层；InputLayer层输入的是关键点的二维坐标信息；masking层是使用给定的值对输入的序列数据进行“屏蔽”，用以定位所需要的时间步；lstm层用于提取输入的变长的序列特征；BN层的设置有两个作用，一是加快训练和收敛速度，二是防止训练过拟合；Dropout层主要作用也是防止训练过拟合；Dense层是一个100个神经元的全连接层，并且通过softmax激活函数激活，输出各类别的分类得分；
步骤六、将样本集划分为模型训练集和模型验证集，利用模型训练集训练长短期记忆人工神经网络模型，并在验证集上进行模型验证；
步骤七、利用训练好的长短期记忆人工神经网络模型识别摔倒获得识别结果。
2.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤四中，使用窗口滑动方法获得子序列数据，标签包括日常生活动作，摔倒和躺下。
3.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤六中，利用训练集中每个子序列数据对应的类别标签，训练长短期记忆人工神经网络模型，并在验证集上进行验证，使用准确率作为模型的评估标准，选择在验证集具有最高准确率的迭代周期，获取该迭代周期下的模型参数得到最终的长短期记忆人工神经网络模型。
4.根据权利要求1所述的一种基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法，其特征在于：步骤七中，使用openpose对视频进行处理，获得视频中每一帧图像中人体骨架关节点数据，并进行归一化；采用滑动窗口方法获得子序列数据，将数据片段输入训练好的长短期记忆人工神经网络，检测出当前是否摔倒。
CN202110362569.2A 2021-04-02 2021-04-02 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法 Active CN113111756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110362569.2A CN113111756B (zh) 2021-04-02 2021-04-02 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110362569.2A CN113111756B (zh) 2021-04-02 2021-04-02 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法

Publications (2)

Publication Number Publication Date
CN113111756A CN113111756A (zh) 2021-07-13
CN113111756B true CN113111756B (zh) 2024-05-03

Family

ID=76713699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110362569.2A Active CN113111756B (zh) 2021-04-02 2021-04-02 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法

Country Status (1)

Country Link
CN (1) CN113111756B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法
CN111401144A (zh) * 2020-02-26 2020-07-10 华南理工大学 一种基于视频监控的手扶电梯乘客行为识别方法
CN111814661A (zh) * 2020-07-07 2020-10-23 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法
CN111401144A (zh) * 2020-02-26 2020-07-10 华南理工大学 一种基于视频监控的手扶电梯乘客行为识别方法
CN111814661A (zh) * 2020-07-07 2020-10-23 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法

Also Published As

Publication number Publication date
CN113111756A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110705390A (zh) 基于lstm的形体姿态识别方法、装置及存储介质
CN111931701A (zh) 基于人工智能的姿态识别方法、装置、终端和存储介质
CN110390303B (zh) 摔倒报警方法、电子设备及计算机可读存储介质
CN112464730B (zh) 一种基于域无关前景特征学习的行人再识别方法
CN113111865B (zh) 一种基于深度学习的跌倒行为检测方法和系统
CN106778501A (zh) 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法
Xu et al. Intelligent emotion detection method based on deep learning in medical and health data
Roopaei et al. A wearable IoT with complex artificial perception embedding for Alzheimer patients
Zhu et al. Falling motion detection algorithm based on deep learning
CN115170998A (zh) 人体行为动作识别方法、装置、计算机设备和存储介质
CN113111756B (zh) 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法
CN107967455A (zh) 一种智能人体多维自然特征大数据透明学习方法与系统
Nithiyasree Face mask detection in classroom using deep convolutional neural network
ben Abdel Ouahab et al. Real-time facemask detector using deep learning and raspberry pi
Jayaswal et al. Detection of Hidden Facial Surface Masking in Stored and Real Time Captured Images: A Deep Learning Perspective in Covid Time.
Ge et al. Multiple face mask wearer detection based on YOLOv3 approach
CN113192028A (zh) 人脸图像的质量评价方法、装置、电子设备及存储介质
CN112183504A (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN111950340A (zh) 一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法
de Dios et al. Landmark-based methods for temporal alignment of human motions
Nie et al. [Retracted] Health Recognition Algorithm for Sports Training Based on Bi‐GRU Neural Networks
CN116363732A (zh) 人脸情绪识别方法、装置、设备及存储介质
CN112784812B (zh) 一种深蹲动作识别方法
Zhou The application of machine learning in activity recognition with healthy older people using a batteryless wearable sensor
CN112927475A (zh) 一种基于深度学习的跌倒检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant