CN113553893A - 基于深度神经网络的人体跌倒检测方法、装置和电子设备 - Google Patents
基于深度神经网络的人体跌倒检测方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113553893A CN113553893A CN202110020602.3A CN202110020602A CN113553893A CN 113553893 A CN113553893 A CN 113553893A CN 202110020602 A CN202110020602 A CN 202110020602A CN 113553893 A CN113553893 A CN 113553893A
- Authority
- CN
- China
- Prior art keywords
- human body
- neural network
- deep neural
- coordinates
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 230000036544 posture Effects 0.000 claims abstract description 76
- 230000009471 action Effects 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种全新的基于深度神经网络的人体跌倒检测方法、装置和电子设备，首先将大量多人人体不同动作姿态单帧图片数据输入一种深度神经网络，获取多人人体关键点坐标，并对多人人体关键点的坐标进行预处理和标注，再将经过预处理和标注的人体关键点的坐标输入另一个深度神经网络，对该深度神经网络进行训练，直至该深度神经网络精度达到预设精度，由于用于深度神经网络训练的多人人体动作姿态图片采用单帧图片，大大减少了模型预测对网络带宽和计算量的要求，很大程度上解决了目前使用连续视频数据导致的对网络带宽和计算量要求大导致的成本偏高而不能实际使用的问题。
Description
技术领域
本申请实施例涉及人工智能领域，具体涉及一种基于深度神经网络的人体跌倒检测方法及系统。
背景技术
跌倒已成为老年群体日益严重的问题，因为跌倒造成老年人伤亡事件呈逐年上升趋势，已成为全球范围内的社会问题，根据世界卫生组织的统计，每年约有646000名老年人因跌倒而死亡，并且约有28-35％的65岁以上的老年人出现跌倒情况。因此，具有高准确度的人体跌倒检测方法及系统迫切需要被提出并投入使用。目前的人体跌倒检测方法及系统主要可分为两类：基于传感器设备的方法和基于计算机视觉的方法。基于传感器的方法主要通过使用加速度计来测量运动加速度，速度和角度等来判断是否发生跌倒，但这类方法要求老年人一直携带传感器设备，在成本和方便程度等方面不具有优势。基于计算机视觉的方法可以基于常见的室内监控摄像头获取视频数据进行跌倒检测，不会对被检测者造成影响，也更易于部署。但复杂多样的环境场景会对检测带来挑战。近年来深度学习方法发展迅速，深度神经网络等方法在多个计算机视觉问题上实现规模化运用，因此，将深度学习方法应用于人体跌倒检测应用场景，以解决上述社会问题。
发明内容
本申请实施例目的在于克服上述问题或者至少部分地解决或缓减上述问题，本申请提供的技术方案解决目前使用连续视频数据导致的对网络带宽和计算量要求导致的成本偏高而不能实际使用的问题。
第一方面，本申请实施例提供了一种基于深度神经网络的人体跌倒检测方法，包括：
设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
对多人所述人体关键点的坐标进行预处理和标注；
将经过预处理和标注的多人所述人体关键点坐标输入第二深度神经网络进行训练；
通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率；
根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
与现有技术相比，本发明实施例通过使用一种全新的基于深度神经网络的人体跌倒检测方法，首先将大量多人人体不同动作姿态单帧图片数据输入一种深度神经网络，获取多人人体关键点坐标，并对多人人体关键点的坐标进行预处理和标注，再将经过预处理和标注的人体关键点的坐标输入另一个深度神经网络，对该深度神经网络进行训练，直至该深度神经网络精度达到预设精度，由于用于深度神经网络训练的多人人体动作姿态图片采用单帧图片，大大减少了模型预测对网络带宽和计算量的要求，很大程度上解决了目前使用连续视频数据导致的对网络带宽和计算量要求大导致的成本偏高而不能实际使用的问题。
第二方面，本申请实施例还提供了一种基于深度神经网络的人体跌倒检测装置，包括：
坐标获取模块，用于设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
坐标处理模块，用于对多人所述人体关键点坐标进行预处理和标注；
模型训练模块，用于将经过预处理和标注的多人所述人体关键点的坐标输入第二深度神经网络进行训练；
概率计算模块，用于通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率；
姿态判断模块，用于当计算预测到人体动作姿态的类别为跌倒，且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
与现有技术相比，本发明实施例提供的一种基于深度神经网络的人体跌倒检测装置的有益效果与第一方面提供的技术方案的有益效果相同，在此不在赘述。
第三方面，本申请实施例还提供了一种电子设备，包括：
多个存储器，分别用于存储计算机软件；
多个处理器，分别执行计算机软件，以实现第一方面任一一项所述的服务模块的功能和操作。
与现有技术相比，本发明实施例提供的一种电子设备的有益效果与第一方面提供的技术方案的有益效果相同，在此不在赘述。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分，本领域技术人员应该理解的是，这些附图未必是按比例绘制的，在附图中：
图1为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测系统结构示意图；
图2为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测方法流程示意图；
图3为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测方法具体流程示意图；
图4为本发明一实施例的人体关键点坐标示意图；
图5为本发明一实施例提供的一种基于深度神经网络的人体跌倒检测装置的结构示意图；
图6为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1示出了可以应用本申请提供的基于深度神经网络的人体跌倒检测系统的示例性架构图。
如图1所示，系统架构可以包括人机交互终端11、12、13，云计算平台或边缘计算设备或边缘计算设备14和摄像头组15，云计算平台或边缘计算设备 14与人机交互终端11、12、13和摄像头组15之间通过Internet(因特网)通信，云计算平台或边缘计算设备14用以部署第一深度神经网络和第二深度神经网络，且为第一深度神经网络获取人体关键点坐标、训练第二深度神经网络及通过训练的第二深度神经网络计算待检测人体动作姿态类别的概率提供算力运行平台。
人机交互终端11、12、13用于接收各类消息如报警消息等。人机交互终端 11、12、13可以安装有各种客户端应用，例如网页浏览器、移动APP、微信客户端及小程序等，人机交互终端11、12、13是安装应用软件的硬件设备，可以是具有显示屏且支持与云计算平台或边缘计算设备14通信的各种电子设备，包括但不限于个人计算机、笔记本电脑或智能手机等，在此不做具体限定。
摄像头组15可以是安装部署在待检测人体16实际活动环境比如房屋中的一个或多个可以接入Internet摄像头，这些摄像头用来采集目标检测对象的动作姿态，摄像头组15将采集到的人体动作姿态图片数据通过Internet输入至到云计算平台或边缘计算设备14上部署的第一深度神经网络，获取多人人体关键点坐标，然后对多人人体关键点坐标进行预处理和标注，将经过预处理和标注的多人人体关键点坐标输入第二深度神经网络进行训练；通过训练的所述第二深度神经网络计算待检测人体动作姿态类别的概率；根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒，此时可以通过云计算平台或边缘计算设备14和人机交互终端11、12、13之间的Internet通信传送报警信息到人机交互终端11、12、13。
应该理解，图1中的人机交互终端11、12、13、云计算平台或边缘计算设备14和摄像头组15的数目仅仅是示意性的，可以根据实际需要安装部署所需要的人机交互终端11、12、13、云计算平台或边缘计算设备14和摄像头组15。
继续参考图2，示出了根据本申请提供的基于深度神经网络的人体跌倒检测方法的的流程示意图，包括以下步骤：
步骤S21，设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标。
需要说明的是，本申请实施例设定待预测的动作姿态类别为9类动作姿态，分别为站立，蹲下，弯腰，坐姿(椅子)，坐姿(地面)，趴下，躺下，侧倒和爬行，也可以根据需要调整分类类别，按照人体动作姿态分类类别分别拍摄视频获得大量图片数据，输入第一深度神经网络。
本发明实施例第一深度神经网络选用OpenPose网络模型，OpenPose网络模型是本领域技术人员熟知的，在此不在赘述，上述人体不同动作姿态大量图片数据输入OpenPose网络后，首先经过OpenPose网络多层处理，经OpenPose网络的输出层激活处理，得到多人人体关键点坐标。
步骤S22，对多人所述人体关键点的坐标进行预处理和标注。
需要说明的是，本申请实施例中，如图4所示，选择人体25个关键点，其中头部0、15、16、17、18共五个点位置很接近，计算其坐标平均值，合并为一个人体关键点，所以本申请实施例共计21个人体关键点。对于其中每一个人体关键点的坐标的预处理包括对多人所述人体关键点的坐标进行过滤处理和/或归一化处理和/或缺失补全处理和/或畸变矫正处理。
对多人人体关键点坐标进行过滤处理是根据预先设定的21个人体关键点，根据人体动作姿态分类检测的需要，根据重要性赋予这21个点不同的分值，将 OpenPose网络成功识别的人体关键点重要性的分值相加，当小于设定的阈值，则忽略去该人体关键点坐标。
对多人人体关键点坐标进行归一化处理是将每一个人体关键点移至预设坐标原点附近并将每一关键点的坐标变换到-1和1之间。
对多人人体关键点坐标进行缺失补全处理是指将OpenPose识别失败的人体关键点坐标按照就近补全规则，用距离最近且识别成功的关键点的坐标代替。
对多人人体关键点坐标进行畸变矫正处理处理是估计由于图像畸变产生的消失点坐标，连接所述消失点和图像中心点形成连线；确定所述连接所述消失点和图像中心点形成连线和图像垂直平分线之间的夹角角度；对所述多人人体关键点坐标进行坐标变换，取得新的所述多人人体关键点坐标。
步骤S23，将经过预处理和标注的多人所述人体关键点的坐标输入第二深度神经网络进行训练。
需要说明的是，本申请实施例中，所述第二深度神经网络部署于云计算平台或边缘计算设备，经过同样部署于云计算平台或边缘计算设备的第一深度神经网络即在本实施例中选用的OpenPose网络输出并经过预处理和标注的数据在第二深度神经网络进行训练后，在实际使用场景用来计算人体姿态类别出现的概率，预测判别跌倒是否发生。
在本实施例中，第二深度神经网络采用多层感知机(Multilayer Perceptron---MLP)模型。MLP模型有一个输入层、一个输出层和多个隐藏层，这些隐藏层具有不同数量的隐藏神经元，每个神经元可以表示为hi＝α(∑ wixi+bi)。每个隐藏层的神经元具有相同的激活函数，在MLP中，下层的所有神经元都连接到其相邻的上层的所有神经元，因MLP也被称为全连接网络。
在本实施例中，MLP模型使用梯度下降算法进行训练，在输出层，定义一个误差函数或目标函数，当输入经OpenPose网络输出的多人人体关键点坐标，并经过预处理和标注的多人人体关键点坐标，训练MLP模型，所述隐藏层和输出层的相关权重参数如α、wi、bi等持续迭代更新，直至误差函数或目标函数达到阈值，MLP模型训练完成。
步骤S24，通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率。
需要说明的是，在本发明实施例中，经过步骤S24已经对确定人体姿态类别的第二深度神经网络完成训练，所以可以通过第二深度神经网络计算待检测人体动作姿态类别出现的概率，预测判别跌倒的发生。首先通过第一深度神经网络获取人体动作姿态的人体关键点坐标，并输入完成训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率，预测判别跌倒是否发生。
步骤S25，根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
在本申请实施例中，检测目标区域安装有摄像头，将实时拍摄到的人体动作姿态图片先输入至OpenPose网络，获取到人体关键点坐标，将人体关键点坐标输入到完成训练的MLP模型计算人体动作姿态类别出现的概率，本实施例将“侧倒”、“趴下”、“躺下”三种姿态中至少其中一种类别出现概率最大判别为一次跌倒，当输入连续3帧图像数据，经姿态概率计算并判别为跌倒，则确定所述待检测人体动作姿态的类别为跌倒。由部署运行于云计算平台或边缘计算设备的动作姿态分类MLP通过Internet发送报警信息到人机交互终端。
继续参考图3，示出了根据本申请提供的基于深度神经网络的人体跌倒检测方法的的具体流程示意图，包括第二深度神经网络部署S300和部署实际应用过程S301，其中：
第二深度神经网络训练过程S300包括：
步骤S31输入图片数据到第一深度神经网络，
步骤S32，第一深度神经网络输出多人人体关键点坐标；
步骤S36，对获取的多人人体关键点坐标进行预处理和标注；
步骤S33，将关键点坐标输入第二深度神经网络进行训练。
当第二深度神经网络训练达到预设精度，部署于实际使用场景用于人体跌倒检测，部署实际应用过程S301，包括：
步骤S31，将实际检测场景摄像头采集的多人人体姿态图片数据输入第一深度神经网络；
步骤S32，第一深度神经网络输出多人人体关键点坐标；
步骤S33，第一深度神经网络输出多人人体关键点坐标并输入第二深度神经网络；
步骤S34，计算预先设定的人体姿态类别的概率；
步骤S35，根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒，则触发报警。
继续参考图5，示出了本申请实施例提供了一种基于深度神经网络的人体跌倒检测装置，包括坐标获取模块51，坐标处理模块52，模型训练模块53，姿态判别模块54；
坐标获取模块51，用于设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
坐标处理模块52，用于对多人所述人体关键点的坐标进行预处理和标注；
模型训练模块53，用于将经过预处理和标注的多人所述人体关键点的坐标输入第二深度神经网络进行训练；
概率计算模块54，用于通过训练的所述第二深度神经网络计算待检测人体动作姿态出现的概率；
姿态判别模块55，用于根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
与现有技术相比，本申请实施例提供的一种基于深度神经网络的人体跌倒检测系统的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
继续参考图6，本申请实施例还提供了一种电子设备，包括
多个存储器，分别用于存储计算机软件；
多个处理器，分别执行计算机软件，以实现上述任一一技术方案所述的服务模块的功能和操作。
具体该电子设备可以包括处理装置(例如中央处理器、图形处理器等)61，其可以根据存储在只读存储器(ROM)62中的程序或者从存储装置68加载到随机访问存储器(RAM)63中的程序而执行各种适当的动作和处理。在RAM 63 中，还存储有电子设备操作所需的各种程序和数据。处理装置61、ROM62以及 RAM63通过总线64彼此相连。输入/输出(I/O)接口65也连接至总线64。
通常，以下装置可以连接至I/O接口65：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置66；包括例如液晶显示器(LCD，Liquid CrystalDisplay)、扬声器、振动器等的输出装置67；包括例如磁带、硬盘等的存储装置68；以及通信装置69。通信装置69可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
在本申请的实施例中，各个模块或系统可以是由计算机软件指令形成的处理器，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列 (FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
与现有技术相比，本申请实施例提供的一种电子设备的有益效果与上述任一项技术方案的有益效果相同，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种基于深度神经网络的人体跌倒检测方法，其特征在于，包括：
设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
对多人所述人体关键点坐标进行预处理和标注；
将经过预处理和标注的多人所述人体关键点坐标输入第二深度神经网络进行训练；
通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率；
根据所述计算待检测人体动作姿态类别出现的概率预测所述人体动作姿态类别，当预测结果为跌倒且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
2.如权利要求1所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述多人将人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标，包括：
将所述多人人体不同动作姿态图片数据输入所述第一深度神经网络的若干层进行计算；
经所述第一深度神经网络输出层激活处理，获取多人人体关键点坐标。
3.如权利要求1所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述对多人所述人体关键点的坐标进行预处理和标注，包括：
对多人所述人体关键点坐标进行过滤处理和/或归一化处理和/或缺失补全处理和/或畸变矫正处理；
对经处理后的多人所述人体关键点坐标进行标注。
4.如权利要求3所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述对多人所述人体关键点坐标进行过滤处理，包括：
对所述人体关键点位置设置重要性分值；
将识别到的所述人体关键点位置重要性分值相加；
如果相加后的重要性分值小于第二预设阈值，则忽略所述人体关键点坐标。
5.如权利要求3所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述对多人所述人体关键点坐标进行归一化处理，包括：
将多人所述人体关键点坐标移到预设原点附近，并将移到原点附近的多人所述人体关键点坐标转换至-1和1之间。
6.如权利要求3所述的一种基于深度神经网络的人体跌倒检测方法其特征在于，所述对多人所述人体关键点坐标进行缺失补全处理，包括：
将通过所述第一深度神经网络识别失败的所述人体关键点坐标按照就近原则，用距离最近且识别成功的所述人体关键点坐标替代所述识别失败的所述人体关键点坐标。
7.如权利要求3所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述对多人所述人体关键点坐标进行畸变矫正处理，包括，
估计由于图像畸变产生的消失点坐标，连接所述消失点和图像中心点形成连线；
确定所述连接所述消失点和图像中心点形成连线和图像垂直平分线之间的夹角角度；
对所述多人人体关键点坐标进行坐标变换，取得新的所述多人人体关键点坐标。
8.如权利要求7所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述对所述多人人体关键点坐标进行坐标变换，得到新的所述多人人体关键点坐标，包括：
以所述消失点为圆心，将多人所述人体关键点坐标向所述图像垂直平分线方向旋转到所述图像中心点形成连线和图像垂直平分线之间的夹角角度，确定新的所述多人所述人体关键点位置；
根据所述确定新的所述多人所述人体关键点位置，计算得到所述多人人体关键点坐标。
9.如权利要求1所述的一种基于深度神经网络的人体跌倒检测方法，其特征在于，所述将经过所述预处理和标注的所述多人人体关键点坐标输入第二深度神经网络进行训练，包括：
设定所述第二深度神经网络的模型训练的第三预设阈值；
将经过预处理和标注的多人所述人体关键点的坐标输入所述第二深度神经网络；
调整所述第二深度神经网络的层数激活函数及相关参数，直到所述第二深度神经网络的准确率达到第三预设阈值。
10.一种基于深度神经网络的人体跌倒检测装置，其特征在于，包括：
坐标获取模块，用于设定多人人体不同动作姿态类别，将多人人体不同动作姿态图片数据输入第一深度神经网络，获取多人人体关键点坐标；
坐标处理模块，用于对多人所述人体关键点坐标进行预处理和标注；
模型训练模块，用于将经过预处理和标注的多人所述人体关键点坐标输入第二深度神经网络进行训练；
概率计算模块，用于通过训练的所述第二深度神经网络计算待检测人体动作姿态类别出现的概率；
姿态判别模块，用于当计算预测到人体动作姿态的类别为跌倒，且跌倒出现的次数达到第一预设阈值，则确定所述待检测人体动作姿态的类别为跌倒。
11.一种电子设备，其特征在于，包括：
多个存储器，分别用于存储计算机软件；
多个处理器，分别执行计算机软件，以实现如权利要求1至9任一一项所述的服务模块的功能和操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110020602.3A CN113553893A (zh) | 2021-01-07 | 2021-01-07 | 基于深度神经网络的人体跌倒检测方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110020602.3A CN113553893A (zh) | 2021-01-07 | 2021-01-07 | 基于深度神经网络的人体跌倒检测方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113553893A true CN113553893A (zh) | 2021-10-26 |
Family
ID=78130055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110020602.3A Pending CN113553893A (zh) | 2021-01-07 | 2021-01-07 | 基于深度神经网络的人体跌倒检测方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553893A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989570A (zh) * | 2021-11-01 | 2022-01-28 | 南通大学 | 一种基于嵌入式边缘人工智能的跌倒检测报警方法 |
| CN117173795A (zh) * | 2023-11-03 | 2023-12-05 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
| CN118314599A (zh) * | 2024-03-29 | 2024-07-09 | 深圳市美通视讯科技有限公司 | 一种智能感应的停车监控方法、系统、设备及存储介质 |
-
2021
- 2021-01-07 CN CN202110020602.3A patent/CN113553893A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989570A (zh) * | 2021-11-01 | 2022-01-28 | 南通大学 | 一种基于嵌入式边缘人工智能的跌倒检测报警方法 |
| CN117173795A (zh) * | 2023-11-03 | 2023-12-05 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
| CN117173795B (zh) * | 2023-11-03 | 2024-02-23 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
| CN118314599A (zh) * | 2024-03-29 | 2024-07-09 | 深圳市美通视讯科技有限公司 | 一种智能感应的停车监控方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666857B (zh) | 基于环境语义理解的人体行为识别方法、装置及存储介质 | |
| CN113553893A (zh) | 基于深度神经网络的人体跌倒检测方法、装置和电子设备 | |
| CN112543936B (zh) | 用于动作识别的动作结构自注意力图卷积网络模型 | |
| KR101969050B1 (ko) | 자세 추정 | |
| KR20180057096A (ko) | 표정 인식과 트레이닝을 수행하는 방법 및 장치 | |
| CN108875533B (zh) | 人脸识别的方法、装置、系统及计算机存储介质 | |
| WO2022252642A1 (zh) | 基于视频图像的行为姿态检测方法、装置、设备及介质 | |
| WO2022088176A1 (en) | Actional-structural self-attention graph convolutional network for action recognition | |
| US11928813B2 (en) | Method and system for detecting change to structure by using drone | |
| CN112084959B (zh) | 一种人群图像处理方法及装置 | |
| CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| WO2021217937A1 (zh) | 姿态识别模型的训练方法及设备、姿态识别方法及其设备 | |
| CN112115900B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112149602A (zh) | 动作计数方法、装置、电子设备及存储介质 | |
| CN113065379B (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN115376518A (zh) | 一种实时噪声大数据的声纹识别方法、系统、设备和介质 | |
| CN114495006A (zh) | 遗留物体的检测方法、装置及存储介质 | |
| CN115116127A (zh) | 一种基于计算机视觉和人工智能的跌倒检测方法 | |
| CN113850160A (zh) | 重复动作的计数方法及装置 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| CN113916223B (zh) | 定位方法及装置、设备、存储介质 | |
| CN115346270A (zh) | 交警手势识别方法、装置、电子设备及存储介质 | |
| CN117423138B (zh) | 基于多分支结构的人体跌倒检测方法、装置及系统 | |
| CN113408433B (zh) | 一种智能监控的手势识别方法、装置、设备和存储介质 | |
| CN118366225B (zh) | 基于图像处理的手部康复锻炼监控方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |