CN114120370A - 基于cnn-lstm的人体跌倒检测实现方法及系统 - Google Patents

基于cnn-lstm的人体跌倒检测实现方法及系统 Download PDF

Info

Publication number
CN114120370A
CN114120370A CN202111465252.8A CN202111465252A CN114120370A CN 114120370 A CN114120370 A CN 114120370A CN 202111465252 A CN202111465252 A CN 202111465252A CN 114120370 A CN114120370 A CN 114120370A
Authority
CN
China
Prior art keywords
human body
layer
neural network
lstm
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111465252.8A
Other languages
English (en)
Inventor
孙钦东
林凯
王开宇
丁明凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Digital Economy Industry Development Research Institute
Xian Jiaotong University
Original Assignee
Sichuan Digital Economy Industry Development Research Institute
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Digital Economy Industry Development Research Institute, Xian Jiaotong University filed Critical Sichuan Digital Economy Industry Development Research Institute
Priority to CN202111465252.8A priority Critical patent/CN114120370A/zh
Publication of CN114120370A publication Critical patent/CN114120370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开基于CNN‑LSTM的人体跌倒检测实现方法及系统，包括获取人体跌倒行为数据集，对所述人体跌倒行为数据集进行归一化处理；通过OpenPose模型对所述归一化处理后的数据集进行计算，获取人体关节点信息；通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量；通过长短时记忆神经网络对所述特征向量进行分类识别，得到人体跌倒的检测结果。本发明能够对人体跌倒行为进行准确识别，具有很强的实用性。

Description

基于CNN-LSTM的人体跌倒检测实现方法及系统
技术领域
本发明涉及人体跌倒检测识别技术领域，特别涉及基于CNN-LSTM的人体跌倒检测实现方法及系统。
背景技术
根据国家卫生部发布的《老年人跌倒干预技术指南》中显示，摔倒是我国人们受伤和死亡的第四大原因，也是年龄在65岁以上老年群体受伤和死亡的第一大原因。通过分析高龄老年群体的死因发现超过一半以上是由跌倒事件导致的，因此及时发现跌倒的老年群体并对他们实施救助至关重要。
现有的人体跌倒检测技术根据获取信息来源方式的差异性主要分为三种，分别是：依赖于加速度传感器、陀螺仪、压力传感器等穿戴式设备传感器采集人体跌倒信息进行检测识别，这一类方法的缺点是需要使用者进行佩戴，由于跌倒检测的需求者多为年龄较大的人群，衰减的记忆力容易让他们发生忘记使用的情况；从布置在环境中的各类传感器包括红外传感器、声波传感器和震动传感器等采集信息的人体跌倒识别，这一类技术的缺点是对于噪声信息比较敏感，误测率大；由基于RGB图像或是深度图像的计算机视觉技术出发的人体跌倒检测识别，但是在视频监控下容易侵犯使用者的隐私生活。
因此，研究一种无需使用人员穿戴，识别准确率高，适用性广的人体跌倒行为检测方法，具有重大的研究价值和现实意义。
发明内容
为解决上述现有技术中所存在的人体跌倒检测识别方法，需要使用人员穿戴以及识别准确率低下等问题，本发明提供基于CNN-LSTM的人体跌倒检测实现方法及系统，不需要使用人员进行穿戴，且识别准确率高。
为了实现上述技术目的，本发明提供了如下技术方案：基于CNN-LSTM的人体跌倒检测方法，包括：
获取人体跌倒行为数据集，对所述人体跌倒行为数据集进行归一化处理；通过OpenPose模型对所述归一化处理后的数据集进行计算，获取人体关节点信息；
通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量；通过长短时记忆神经网络对所述特征向量进行分类识别，得到人体跌倒的检测结果。
可选的，获取人体跌倒行为数据集的过程包括，获取视频图像序列，通过使用一个变量提取视频图像序列中的每一帧图像，将提取的图像保存为人体跌倒行为数据集。
可选的，获取人体骨骼关键点的过程包括，通过VGG19卷积神经网络对所述归一化处理后的数据集进行特征提取，得到特征图；通过OpenPose模型对所述特征图进行计算，得到关键部位置信集合及人体关键部位亲和域集合；
基于关键部位置信集合及人体关键部位亲和域集合通过偶匹配方法进行计算，得到人体关节点信息。
可选的，通过将卷积神经网络对人体关节点信息进行空间特征提取过程中，卷积神经网络为两层卷积神经网络，两层卷积神经网络包括输入层、第一卷积层、第一层池化层、第二卷积层、第二池化层；其中第一卷积层为3*3的一维卷积核、卷积核数32个、卷积核步长为1，第二卷积层为3*2一维卷积核、卷积核数64个、卷积核步长为1；第一层池化层、第二池化层均采用2*2滑动窗口、步长为1的最大池化，且第二池化层和第三池化层均采用SAME方式填充。
可选的，得到人体跌倒的检测结果的过程包括，通过长短时记忆神经网络的遗忘门及记忆门对人体关节点信息进行计算，得到人体跌倒行为空间特征和时域信息向量，通过全连接层对人体跌倒行为空间特征和时域信息向量进行特征融合，将所述特征融合数据进行二分类预测识别，得到人体跌倒的检测结果。
为了更好的实现上述技术目的，本发明还提供了基于CNN-LSTM的人体跌倒检测系统，包括，
获取模块及处理模块；
获取模块用于获取人体跌倒行为数据集，对所述人体跌倒行为数据集进行归一化处理；通过OpenPose模型对所述归一化处理后的数据集进行计算，获取人体关节点信息；
处理模块用于通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量；通过长短时记忆神经网络对所述特征向量进行分类识别，得到人体跌倒的检测结果。
可选的，所述获取模块包括采集模块，所述采集模块用于获取视频图像序列，通过使用一个变量提取视频图像序列中的每一帧图像，将提取的图像保存为人体跌倒行为数据集。
可选的，所述获取模块包括提取模块，提取模块用于通过VGG19卷积神经网络对所述归一化处理后的数据集进行特征提取，得到特征图；通过OpenPose模型对所述特征图进行计算，得到关键部位置信集合及人体关键部位亲和域集合；基于关键部位置信集合及人体关键部位亲和域集合通过偶匹配方法进行计算，得到人体关节点信息。
可选的，所述处理模块包括第一处理模块，所述第一处理模块用于通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量，其中卷积神经网络为两层卷积神经网络，两层卷积神经网络包括输入层、第一卷积层、第一层池化层、第二卷积层、第二池化层；其中第一卷积层为3*3的一维卷积核、卷积核数32个、卷积核步长为1，第二卷积层为3*2一维卷积核、卷积核数64个、卷积核步长为1；第一层池化层、第二池化层均采用2*2滑动窗口、步长为1的最大池化，且第二池化层和第三池化层均采用SAME方式填充。
可选的，所述处理模块包括识别模块，所述识别模块用于通过长短时记忆神经网络的遗忘门及记忆门对人体关节点信息进行计算，得到人体跌倒行为空间特征和时域信息向量，通过全连接层对人体跌倒行为空间特征和时域信息向量进行特征融合，将所述特征融合数据进行二分类预测识别，得到人体跌倒的检测结果。
本发明具有如下技术效果：
本发明基于CNN-LSTM的人体跌倒检测实现方法，从人体行为数据中提取人体骨骼关节点信息，同时使用构建的CNN-LSTM混合深度学习模型对提取人体骨骼关节点进行处理，提取出人体关节点信息的空间特征和时域信息特征来结合判断实现人体跌倒行为的识别，能够对人体跌倒行为进行准确有效的识别，获得了较高的识别效率，有很强的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的方法流程示意图；
图2为本发明方法实施例提供的人体关节点信息图；
图3是本发明中实施例提供的使用的CNN卷积神经网络的示意图；
图4是本发明实施例提供的基于CNN-LSTM模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决在现有技术中存在人体跌倒检测识别方法，需要使用人员穿戴以及识别准确率低下等问题，本发明提供了如下方案：
实施例一
如图1所述，本发明所采用的技术方案是基于CNN和LSTM构建基于CNN-LSTM的人体跌倒检测方法，包括以下步骤：
步骤1，将收集到的人体跌倒行为数据集转化成PNG格式图片并进行归一化处理。
步骤2，针对步骤1中处理过的数据集，输入至开源的OpenPose算法处理得到人体骨骼关键点。
步骤3，将步骤2得到的数据输入至两层CNN卷积神经网络提取人体行为的空间特征，得到人体跌倒行为的特征向量。
步骤4，将步骤3人体跌倒行为的特征向量输入到LSTM长短时记忆神经网络中，并通过全连接层进行特征融合，最后使用softmax层进行分类，完成人体跌倒检测。
其中，步骤1具体为：
步骤1.1，首先通过使用Python的cv2库连接电脑相机，获取视频图像序列。通过获取和初始化变量接受获取到的视频流的每一帧图像，将图像以PNG格式保存为数据集。
步骤1.2，将步骤1.1中的视频帧图像通过归一化处理缩放至大小为640×480。
步骤2中使用OpenPose算法处理得到人体关节点数据即针对步骤1中处理过的数据集，输入至开源的OpenPose算法处理得到人体骨骼关键点。人体关节点信息的获取如图2所示。具体为：
步骤2.1，把含有人体的图片送进到训练好的VGG19卷积神经网络模型中提取特征，提取到的特征图F将会送进OpenPose后续网络模型结构作为特征输入数据。
步骤2.2，输进模型中的特征图F将会分成两个分支，分别计算得到关键部位置信(PCM)集合和人体关键部位亲和域(PAFs)集合L：输进模型中的特征图F将会分成两个分支，每个分支中都由多阶段的卷积神经网络构成，其中的一个分支通过将特征图进行计算得到关键部位置信(Part Confidence Maps，PCM)集合S，置信集合S用于预测身体部位在图片中的位置，用来表示图片中的坐标点是图像中人体身体部位的概率值；另外一个分支用来探测得到人体关键部位亲和域(Part Affinity files，PAFs)集合L，即是用来显示图片上代表人体关键部位的两两坐标点之间同属相同的躯体或是四肢的概率。
步骤2.3，使用图论中的偶匹配方法将同一个人的关节点连接起来，得到图像中人体关节点信息，获取到的人体关节点数量是14个。
步骤3，将步骤2得到的数据输入至两层CNN卷积神经网络提取人体行为的空间特征，得到人体跌倒行为的特征向量两层，
如图3所示，CNN卷积神经网络包括输入层、第一卷积层、第一层池化层、第二卷积层、第二池化层，具体为：
卷积层的作用是通过卷积核的卷积计算来提取特征。在每一层中可以使用多个卷积核进行特征提取，每一个卷积核提取一种特征。第一卷积层为3*3的一维卷积核、卷积核数32个、卷积核步长为1，第二卷积层为3*2一维卷积核、卷积核数64个、卷积核步长为1；
池化层也称下采样层，池化层通过最大值或是平均值滤波器选择选取区域中的一个数值来替换被选中区域中的像素值，并且在最大保存图像有用特征的同时对图像数据的维数进行有效减少。池化过程类似于卷积运算形式，通过卷积运算，池化过滤器对整个特征图进行遍历。本发明采用最大池化方法降维。第一层池化层、第二池化层均采用2*2滑动窗口、步长为1的最大池化，且第二池化层和第三池化层均采用SAME方式填充。
步骤4，将步骤3人体跌倒行为的特征向量输入到LSTM长短时记忆神经网络中，并通过全连接层进行特征融合，最后使用softmax层进行分类，完成人体跌倒检测识别具体包括：
如图4所示，LSTM长短期记忆网络包含输入门、遗忘门、输出门。LSTM长短期记忆网络三个输入：当前时刻网络的输入值、上一时刻LSTM的输出值、以及上一时刻的单元状态；两个输出：当前时刻LSTM输出值和当前时刻的单元状态。其中，遗忘门、输入门、输出门一同进行神经元的信息流入，然后经过tanh函数得到LSTM单元的预测值。
步骤4.1，遗忘门进行遗忘阶段，遗忘门在这一阶段决定是否对前一个神经元输出数据选择遗弃。遗忘门利用sigmoid函数，根据当前输入xt和上一时刻的输出信息ht-1得到一个值ft，其值在0到1之间。遗忘门公式为：
ft＝σ(Wf·ht-1+Wf·xt+bf) (1)
公式(1)中，ft为遗忘门输出，xt为当前输入，ht-1为上一时刻输出信息，Wf是遗忘门的权值，σ为激活函数。
步骤4.2，进行选择记忆阶段。输入门选择是否需要对目前时刻的输入数据进行记忆，它和遗忘门一样，需要先利用sigmoid函数获取需要进行更新输入数据的值it，接着使用tanh函数将当前输入xt和上一时刻的输出信息ht-1进行激活计算获得新的状态gt。将遗忘门和输入门两者结合，由前一时刻细胞状态Ct-1，即得到新的细胞状态Ct。这个阶段的对输入进行有选择性地保存；
it＝σ(Whi·ht-1+Wxi·xt+bi) (2)
gt＝tanh(WhC·ht-1+WxC·xt+bc) (3)
公式(2)中，Whi，Wxi是输入门的权重参数，bi是输入门的偏置；
公式(3)中，WhC和WxC是计算新状态gt的权重参数，bi是计算gt的偏置，参数tanh为激活函数；
合并公式(2)和(3)，得到公式(4)；
Ct＝ft*Ct-1+it*gt (4)
公式(4)中，Ct表示得到新的细胞状态；
步骤4.3，更新输出阶段。这个阶段将决定哪些信息将会被当成当前状态的输出，其目的是控制t时刻的输出ht；
ot＝σ(Who·ht-1+Wxo·xt+bo) (5)
ht＝ot*tanh(Ct) (6)
公式(5)中，参数Who为输出门的权值，参数bo为输出门的偏移量；
公式(6)中，参数ot为上一步输出，ct为更新的单元状态值，参数tanh为激活函数；
步骤4.4，将步骤4.3中的输出提取了人体跌倒行为空间特征和时域信息向量输入到全连接层，进行特征融合；
步骤4.5，将输出数据传入softmax层进行分类，如公式(7)，使得预测的概率为[0，1]之间，得到数据的二分类预测标签值，其中最大的标签值即为分类结果；
Figure BDA0003391137760000101
公式(10)中，fy为归一化得到的输出结果，exp为指数函数。
在上述技术方案中，还包括对于不同网络模型的训练，测试及验证步骤：
数据集的收集与处理：
实验数据集：使用的数据集是由热舒夫大学Bogdan Kwolek制作的UR Falldetection Dataset(UFDD)。UFDD数据集包含深度视频图像、无线加速计数据和RGB视频图像，本发明实验是基于RGB视频数据的，所以选取了UFDD数据集中的RGB视频图像部分。该部分一共有70个活动序列，包括30个跌倒序列如坐在椅子上跌倒、向前跌倒、侧向跌倒等，以及40个日常生活活动序列比如行走、坐下等，这些跌倒数据集在不同场景下用两台相机收集而成，每个视频流用PNG图片形式保存，70个视频流一共有11936张图片，其中跌倒视频帧图片一共有2995张，日常活动图片一共有8941张。
数据集处理：将步骤1.1收集到的UFDD数据集中70个动作序列按照8∶1∶1的比例随机划分，得到训练集56个序列，一共9480张图片，划分得到7个动作序列测试集一共1255张图片，得到7个动作序列校验集一共1201张图片。其中训练集用来模型训练，验证集用来调整参数，测试集用来衡量最终模型的好坏。
模型构建训练：
CNN模型的训练：将得到的数据输入到卷积神经网络进行训练进行空间特征提取。使用的CNN卷积神经网络一共包含2层卷积层，2层池化层。按照数据集标准划分方法，将数据集按比例划分为训练、测试和校验三部分。将数据集进行训练，模型训练好后保留除全连接层和softmax层部分，作为提取空间特征的网络模型部分。
LSTM模型的训练：使用经CNN训练后的提取视频帧人体行为的空间特征，从视频中等间隔抽取视频帧代表整个视频，按时间顺序将空间信息输入到长短时记忆网络进行训练提取视频序列之间表达的时序信息。模型中使用的长短时记忆网络是采用单层的512个隐藏单元神经元结构。
CNN-LSTM模型训练：通过分别针对CNN和LSTM模型单独训练，在测试集有较好的识别准确率，但识别性能还有待提高。将去掉全连接层和softmax层部分的CNN和训练好的LSTM连接起来，通过提取空间特征信息和时序特征信息后将其结合，将特征接入全连接层和softmax函数得出最后结果分类。CNN-LSTM模型结合CNN与LSTM的优点，不仅提取了空间信息深层次的特征，还保留了数据在时间上的关系，对于人体跌倒行为的时空特征提取与结合具有很大的优势。
实施例二
本发明还提供了一种基于CNN-LSTM的人体跌倒检测系统，包括：获取模块及处理模块；
获取模块用于获取人体跌倒行为数据集，对所述人体跌倒行为数据集进行归一化处理；通过OpenPose模型对所述归一化处理后的数据集进行计算，获取人体关节点信息；
处理模块用于通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量；通过长短时记忆神经网络对所述特征向量进行分类识别，得到人体跌倒的检测结果。
所述获取模块包括采集模块，所述采集模块用于获取视频图像序列，通过使用一个变量提取视频图像序列中的每一帧图像，将提取的图像保存为人体跌倒行为数据集。
所述获取模块包括提取模块，提取模块用于通过VGG19卷积神经网络对所述归一化处理后的数据集进行特征提取，得到特征图；通过OpenPose模型对所述特征图进行计算，得到关键部位置信集合及人体关键部位亲和域集合；基于关键部位置信集合及人体关键部位亲和域集合通过偶匹配方法进行计算，得到人体关节点信息。
所述处理模块包括第一处理模块，所述第一处理模块用于通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量，其中卷积神经网络为两层卷积神经网络，两层卷积神经网络包括输入层、第一卷积层、第一层池化层、第二卷积层、第二池化层；其中第一卷积层为3*3的一维卷积核、卷积核数32个、卷积核步长为1，第二卷积层为3*2一维卷积核、卷积核数64个、卷积核步长为1；第一层池化层、第二池化层均采用2*2滑动窗口、步长为1的最大池化，且第二池化层和第三池化层均采用SAME方式填充。
所述处理模块包括识别模块，所述识别模块用于通过长短时记忆神经网络的遗忘门及记忆门对人体关节点信息进行计算，得到人体跌倒行为空间特征和时域信息向量，通过全连接层对人体跌倒行为空间特征和时域信息向量进行特征融合，将所述特征融合数据进行二分类预测识别，得到人体跌倒的检测结果。获取模块还用于进行数据集的收集处理，处理模块还用于进行模型构建训练，本发明系统技术方案与方法技术方案相对应，此处不做赘述。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于CNN-LSTM的人体跌倒检测方法，其特征在于，包括：
获取人体跌倒行为数据集，对所述人体跌倒行为数据集进行归一化处理；通过OpenPose模型对所述归一化处理后的数据集进行计算，获取人体关节点信息；
通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量；通过长短时记忆神经网络对所述特征向量进行分类识别，得到人体跌倒的检测结果。
2.根据权利要求1所述基于CNN-LSTM的人体跌倒检测方法，其特征在于：
获取人体跌倒行为数据集的过程包括，获取视频图像序列，提取视频图像序列中的每一帧图像，将提取的图像保存为人体跌倒行为数据集。
3.根据权利要求1所述基于CNN-LSTM的人体跌倒检测方法，其特征在于：
获取人体骨骼关键点的过程包括，通过VGG19卷积神经网络对所述归一化处理后的数据集进行特征提取，得到特征图；通过OpenPose模型对所述特征图进行计算，得到关键部位置信集合及人体关键部位亲和域集合；
基于关键部位置信集合及人体关键部位亲和域集合通过偶匹配方法进行计算，得到人体关节点信息。
4.根据权利要求1所述基于CNN-LSTM的人体跌倒检测方法，其特征在于：
通过将卷积神经网络对人体关节点信息进行空间特征提取过程中，卷积神经网络为两层卷积神经网络，两层卷积神经网络包括输入层、第一卷积层、第一层池化层、第二卷积层、第二池化层；其中第一卷积层为3*3的一维卷积核、卷积核数32个、卷积核步长为1，第二卷积层为3*2一维卷积核、卷积核数64个、卷积核步长为1；第一层池化层、第二池化层均采用2*2滑动窗口、步长为1的最大池化，且第二池化层和第三池化层均采用SAME方式填充。
5.根据权利要求1所述基于CNN-LSTM的人体跌倒检测方法，其特征在于：
得到人体跌倒的检测结果的过程包括，通过长短时记忆神经网络的遗忘门及记忆门对人体关节点信息进行计算，得到人体跌倒行为空间特征和时域信息向量，通过全连接层对人体跌倒行为空间特征和时域信息向量进行特征融合，将所述特征融合数据进行二分类预测识别，得到人体跌倒的检测结果。
6.基于权利要求1-5所述任意一项的基于CNN-LSTM的人体跌倒检测方法的检测系统，其特征在于：包括
获取模块及处理模块；
获取模块用于获取人体跌倒行为数据集，对所述人体跌倒行为数据集进行归一化处理；通过OpenPose模型对所述归一化处理后的数据集进行计算，获取人体关节点信息；
处理模块用于通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量；通过长短时记忆神经网络对所述特征向量进行分类识别，得到人体跌倒的检测结果。
7.根据权利要求6所述基于CNN-LSTM的人体跌倒检测系统，其特征在于：
所述获取模块包括采集模块，所述采集模块用于获取视频图像序列，通过使用一个变量提取视频图像序列中的每一帧图像，将提取的图像保存为人体跌倒行为数据集。
8.根据权利要求6所述基于CNN-LSTM的人体跌倒检测系统，其特征在于：
所述获取模块包括提取模块，提取模块用于通过VGG19卷积神经网络对所述归一化处理后的数据集进行特征提取，得到特征图；通过OpenPose模型对所述特征图进行计算，得到关键部位置信集合及人体关键部位亲和域集合；基于关键部位置信集合及人体关键部位亲和域集合通过偶匹配方法进行计算，得到人体关节点信息。
9.根据权利要求6所述基于CNN-LSTM的人体跌倒检测系统，其特征在于：
所述处理模块包括第一处理模块，所述第一处理模块用于通过将卷积神经网络对人体关节点信息进行空间特征提取，得到跌倒行为的特征向量，其中卷积神经网络为两层卷积神经网络，两层卷积神经网络包括输入层、第一卷积层、第一层池化层、第二卷积层、第二池化层；其中第一卷积层为3*3的一维卷积核、卷积核数32个、卷积核步长为1，第二卷积层为3*2一维卷积核、卷积核数64个、卷积核步长为1；第一层池化层、第二池化层均采用2*2滑动窗口、步长为1的最大池化，且第二池化层和第三池化层均采用SAME方式填充。
10.根据权利要求6所述基于CNN-LSTM的人体跌倒检测系统，其特征在于：
所述处理模块包括识别模块，所述识别模块用于通过长短时记忆神经网络的遗忘门及记忆门对人体关节点信息进行计算，得到人体跌倒行为空间特征和时域信息向量，通过全连接层对人体跌倒行为空间特征和时域信息向量进行特征融合，将所述特征融合数据进行二分类预测识别，得到人体跌倒的检测结果。
CN202111465252.8A 2021-12-03 2021-12-03 基于cnn-lstm的人体跌倒检测实现方法及系统 Pending CN114120370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111465252.8A CN114120370A (zh) 2021-12-03 2021-12-03 基于cnn-lstm的人体跌倒检测实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111465252.8A CN114120370A (zh) 2021-12-03 2021-12-03 基于cnn-lstm的人体跌倒检测实现方法及系统

Publications (1)

Publication Number Publication Date
CN114120370A true CN114120370A (zh) 2022-03-01

Family

ID=80365978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111465252.8A Pending CN114120370A (zh) 2021-12-03 2021-12-03 基于cnn-lstm的人体跌倒检测实现方法及系统

Country Status (1)

Country Link
CN (1) CN114120370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913597A (zh) * 2022-05-06 2022-08-16 山东光汇控股有限公司 基于OpenPose和轻量化神经网络的跌倒检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913597A (zh) * 2022-05-06 2022-08-16 山东光汇控股有限公司 基于OpenPose和轻量化神经网络的跌倒检测方法及系统

Similar Documents

Publication Publication Date Title
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
Frank et al. Activity and gait recognition with time-delay embeddings
CN107909027B (zh) 一种具有遮挡处理的快速人体目标检测方法
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
Hnoohom et al. An Efficient ResNetSE Architecture for Smoking Activity Recognition from Smartwatch.
Hwang et al. Multi-modal human action recognition using deep neural networks fusing image and inertial sensor data
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN113869276B (zh) 基于微表情的谎言识别方法及系统
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
CN112488019A (zh) 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质
Elshwemy et al. A New Approach for Thermal Vision based Fall Detection Using Residual Autoencoder.
CN116994390A (zh) 基于物联网的安防监控系统及其方法
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
CN109117774A (zh) 一种基于稀疏编码的多视角视频异常检测方法
CN115359557A (zh) 一种基于Transformer的跌倒检测方法与系统
CN114120370A (zh) 基于cnn-lstm的人体跌倒检测实现方法及系统
Javeed et al. Deep activity recognition based on patterns discovery for healthcare monitoring
Sowmyayani et al. Fall detection in elderly care system based on group of pictures
Dileep et al. Suspicious human activity recognition using 2d pose estimation and convolutional neural network
CN114022909A (zh) 一种基于传感器数据的情绪识别方法和系统
Abedi et al. Modification of deep learning technique for face expressions and body postures recognitions
Gong et al. A novel computer vision based gait analysis technique for normal and Parkinson’s gaits classification
CN110866458A (zh) 基于三维卷积神经网络的多人动作检测与识别方法与装置
CN115546491A (zh) 一种跌倒报警方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination