CN112927475A - 一种基于深度学习的跌倒检测系统 - Google Patents

一种基于深度学习的跌倒检测系统 Download PDF

Info

Publication number
CN112927475A
CN112927475A CN202110108799.6A CN202110108799A CN112927475A CN 112927475 A CN112927475 A CN 112927475A CN 202110108799 A CN202110108799 A CN 202110108799A CN 112927475 A CN112927475 A CN 112927475A
Authority
CN
China
Prior art keywords
data
layer
time
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110108799.6A
Other languages
English (en)
Other versions
CN112927475B (zh
Inventor
王嘉乐
吴江
戴燕云
占敖
吴呈瑜
何雪兰
程维维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110108799.6A priority Critical patent/CN112927475B/zh
Publication of CN112927475A publication Critical patent/CN112927475A/zh
Application granted granted Critical
Publication of CN112927475B publication Critical patent/CN112927475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Abstract

本发明公开了一种基于深度学习的跌倒检测系统，包括终端侧、云端侧，终端侧包括数据采集模块、通信模块，云端侧包括云管理平台、数据分析模块；数据采集模块用于采集三轴加速度数据和三轴旋转角速度数据；通信模块用于将三轴加速度数据和三轴旋转角速度数据发送给云管理平台；云管理平台将接收到的三轴加速度数据和三轴旋转角速度数据发送至数据分析模块，数据分析模块根据接收的数据进行判断用户是否发生跌倒，若判定为跌倒，云管理平台将发送警报信息；所述数据分析模块采用基于CNN‑Pred网络的跌倒判断模型。本发明判断的容错性高、检测精度高。可通过第一时间检测到老人的跌倒行为可及时进行医疗干预和救治。

Description

一种基于深度学习的跌倒检测系统
技术领域
本发明属于跌掉检测技术领域，具体涉及一种基于深度学习的跌倒检测系统。
背景技术
当前我国已经进入老龄化社会，老年人口占比与日俱增。相当多的老人独居家中，对于独居老人，一旦发生跌倒，如果不能及时被人发现并采取相应的救护措施，往往可能会引起骨折、出血、神经损伤、瘫痪等严重的身体伤害。受生育率下降和人口预期寿命延长的影响，近年来中国人口老龄化程度提高，老年抚养比和老年人口占总人口的比重逐渐上升。未来，中国人口老龄化程度还将继续提高。跌倒会造成多器官损伤,如脑部、软组织、骨折和关节脱臼等,是老年人致残或死亡的重要原因之一。跌倒也会伤害老年人的尊严和自信,特别是当跌倒发生在其他人面前并且需要他人搀扶时。
目前的人体跌倒检测装置大致分为三类：第一类是由用户主动触发的装置，需要老人在摔倒后仍能具有清醒的意识来触发按钮报警；第三类主要通过摄像头进行检测识别，用户体验更为良好但检测范围受限，一般局限于室内；第三类主要由装置内的传感器触发的报警装置，佩戴者的活动范围较为广泛。第三类跌倒检测装置由于对活动范围较少限制，随着可穿戴技术和物联网技术的发展渐渐成为主流，目前在这一类装置中最主要的做法是通过三轴的传感器或陀螺仪完成加速度的三维建轴，然后根据不同的算法来进行数据的处理，最终进行跌倒判断。在这些检测算法中，最直接的做法是采用阈值法，即三个轴向的加速度超过某一阈值时判定为跌倒。基于阈值的跌倒检测容易实现，计算效率高，但是对不同个体的容错性较差，检测精度较低。
如申请号为CN202010994202.8的中国专利公开了一种跌倒检测方法、系统、终端以及存储介质。所述方法包括：从被监测者的运动数据中提取合加速度和姿态角数据；对所述被监测者跌倒过程中的合加速度进行采样分析，根据所述跌倒过程中合加速度的波形变化速率和波谷谷值识别出所述被监测者的类跌倒动作；根据所述姿态角数据识别所述类跌倒动作的跌倒方向，并根据各个跌倒方向的姿态角限制阈值判定所述类跌倒动作是否属于真正的跌倒动作。该方案虽然能够在跌倒预警前置时间内快速识别出被监测者的跌倒动作，但该方案仍旧是通过阈值法去判断是否发生跌倒，因此容错性较差，检测精度较低。
发明内容
目前随着人工智能技术的发展，越来越倾向于使用更加复杂的算法来提高人体跌倒行为的检测精度，因此为了解决现有跌倒检测方法的容错性较差以及检测精度低的问题，本发明提供了一种基于深度学习的跌倒检测系统。
本发明采用以下技术方案：一种基于深度学习的跌倒检测系统，包括终端侧、云端侧，终端侧包括数据采集模块、通信模块，云端侧包括云管理平台、数据分析模块；
数据采集模块包括穿戴于用户的加速度传感器，用于采集三轴加速度数据和三轴旋转角速度数据；
通信模块，用于将三轴加速度数据和三轴旋转角速度数据发送给云管理平台；
云管理平台将接收到的三轴加速度数据和三轴旋转角速度数据发送至数据分析模块，数据分析模块根据接收的数据进行判断用户是否发生跌倒，若判定为跌倒，云管理平台将发送警报信息；
所述数据分析模块采用基于CNN-Pred网络的跌倒判断模型，该模型包括编码层、解码层，分类器，所述编码层用于对三轴加速度数据以及三轴旋转角速度数据进行编码以得到时空数据；所述解码层用于将编码得到的时空数据进行还原；所述分类器用于对解码层的输出进行分类判断，以获取用户是否跌倒的判断结果。
作为优选方案，编码层、解码层均包括Causal LSTM和GHU高速通道，其中编码层还包括CNN卷积采样层，解码层还包括反卷积层。
作为优选方案，使用L秒相续的三轴加速度数据和三轴旋转角速度数据作为跌倒判断模型输入，该条数据的采样频率为jHz，共j*L个采样点，将该条数据切为n片，每一片之间具有时间信息的关联，对于每一片
Figure BDA0002918520580000031
秒的信息，截取得到包含
Figure BDA0002918520580000032
个采样点的数据，输出一个0到1的结果，即跌倒判断模型根据过去j*L个加速度数据和三轴旋转角速度数据判断当前发生跌倒的概率，其中10≤L≤20，50≤j≤200，3≤n≤10。
作为优选方案，编码层共有n个时刻的数据输入以及三层网络结构；
三层网络结构中第一层对每一时刻的数据用CNN进行1*1采样，再通过CausalLSTM层对采样结果进行一系列线性与非线性变换，后两层则对上一时刻的输入和空间状态信息用CNN进行3*3的降采样提取特征信息，并从降维后的信息中提取时空信息。
作为优选方案，解码层是编码的逆过程，将编码得到的时空信息通过Causal LSTM层处理，再利用反卷积层对信息进行还原。
作为优选方案，分类器对解码层的输出进行分类判断，且分类器使用pytorch中自带的ResNet18基础网络模型完成分类任务，该网络共包含17个卷积层和1个全连接层。
作为优选方案，Causal LSTM共有三层结构，Causal LSTM的第一层结构输出为
Figure BDA0002918520580000041
由t时刻的输入Xt、前一时刻的输出响应
Figure BDA0002918520580000042
前一时刻的
Figure BDA0002918520580000043
共同决定，其中K为隐藏层层数，C为时间状态，包含时间维度信息：
Figure BDA0002918520580000044
Figure BDA0002918520580000045
式中：ft为遗忘门，it为输入门，gt为临时长期记忆状态，σ(·)表示sigmoid函数：σ(x)＝1/(1+e-x)，W1表示神经元内部第一个循环权值矩阵，
Figure BDA0002918520580000046
表示向量之间的哈达玛积。
作为优选方案，Causal LSTM的第二层结构输出为
Figure BDA0002918520580000047
由Xt、当前时刻
Figure BDA0002918520580000048
和上一层的
Figure BDA0002918520580000049
共同决定，其中M为空间状态，包含空间维度信息：
Figure BDA00029185205800000410
Figure BDA00029185205800000411
式中：ft'为遗忘门，i't为输入门，g’t为临时长期记忆状态，W2表示神经元内部第二个循环权值矩阵，W3表示神经元内部第三个循环权值矩阵。
作为优选方案，Causal LSTM的第三层结构为输出层，输出为
Figure BDA00029185205800000412
由t时刻时间状态
Figure BDA00029185205800000413
空间状态
Figure BDA00029185205800000414
以及输入Xt共同决定：
Figure BDA0002918520580000051
Figure BDA0002918520580000052
式中，W4表示神经元内部第四个循环权值矩阵，W5表示神经元内部第五个循环权值矩阵，ot为临时状态。
作为优选方案，GHU高速通道的输入包括Xt、Zt-1，其中Xt为第一层Casual LSTM的输出
Figure BDA0002918520580000053
Zt-1为前一个时刻的GHU的输入，即连接了当前时刻以及前一个时刻的输入，使得传播的距离缩短：
Pt＝tanh(Wpx*Xt+Wpz*Zt-1) (7)
St＝σ(Wsx*Xt+Wsz*Zt-1) (8)
Figure BDA0002918520580000054
式中St为开关门，Wpx、Wpz、Wsx、Wsz为权值矩阵，Pt为转换后的输入，Zt为当前时刻GHU的输入。
本发明的有益效果是：
1、本发明提供了一种基于CNN-Pred网络的跌倒判断模型，为一种基于深度学习的判断模型，判断的的容错性较高，检测精度也较高。
2、通过第一时间检测到老人的跌倒行为可及时进行医疗干预和救治，最大程度地保护老人的健康防治发生意外，维护生命健康安全，大量节约由于老人跌倒发生不测造成的医疗开销。本发明经推广后具有良好的经济效益和社会效益。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于深度学习的跌倒检测系统的结构示意图；
图2是基于神经网络地跌倒判断流程；
图3是编码层神经网络模型结构图；
图4是解码层神经网络模型结构图；
图5是Causal LSTM内部结构图；
图6是GHU内部结构图。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
参照图1，本实施例提供一种基于深度学习的跌倒检测系统，包括终端侧、云端侧，终端侧包括数据采集模块、通信模块，云端侧包括云管理平台、数据分析模块；
数据采集模块包括穿戴于用户的加速度传感器，用于采集三轴加速度数据和三轴旋转角速度数据；
通信模块，用于将三轴加速度数据和三轴旋转角速度数据发送给云管理平台；
云管理平台将接收到的三轴加速度数据和三轴旋转角速度数据发送至数据分析模块，数据分析模块根据接收的数据进行判断用户是否发生跌倒，若判定为跌倒，云管理平台将发送警报信息；
所述数据分析模块采用基于CNN-Pred网络的跌倒判断模型，该模型包括编码层、解码层，分类器，所述编码层用于对三轴加速度数据以及三轴旋转角速度数据进行编码以得到时空数据；所述解码层用于将编码得到的时空数据进行还原；所述分类器用于对解码层的输出进行分类判断，以获取用户是否跌倒的判断结果。
所述通信模块可为用户佩戴的手机，数据采集模块通过蓝牙无线协议将采集得到的数据传送到用户手机上，手机再将数据传输至云管理平台即可。
所述云管理平台将发送报警信息，内容包含当前发生跌倒的用户的姓名、性别、年龄、医疗备案号、当前位置等信息，以备及时进行医疗干预。云管理平台同时也会记录维护所负责区域内所有被监护的用户的基础信息、医疗信息以及跌倒数据。且所述用户尤其关注为老人，因为老人地跌倒概率更高，且跌倒后造成的后果更为严重。
具体地：
参照图2，
基于CNN-Pred网络的跌倒判断模型为一种神经网络，在使用这种神经网络进行判断之前需要对其进行训练，本实施例中通过穿戴于用户的加速度传感器采集三轴加速度和三轴旋转角速度数据。经过对数据集的处理，共得到跌倒样本1798例，非跌倒样本6146例。将80％的数据样本用作训练集，20％的数据样本作为测试集。通过对神经网络进行训练，得到合适的参数，即完成训练。
进一步地，编码层、解码层均包括Causal LSTM和GHU高速通道，其中编码层还包括CNN卷积采样层，解码层还包括反卷积层。
对于跌倒判断模型，使用L秒相续的三轴加速度数据和三轴旋转角速度数据作为其输入，该条数据的采样频率为jHz，共j*L个采样点，将该条数据切为n片，每一片之间具有时间信息的关联，对于每一片
Figure BDA0002918520580000081
秒的信息，截取得到包含
Figure BDA0002918520580000082
个采样点的数据，输出一个0到1的结果，即跌倒判断模型根据过去j*L个加速度数据和三轴旋转角速度数据判断当前发生跌倒的概率，其中10≤L≤20，50≤j≤200，3≤n≤10。
本实施例中以L取12、j取200、n取6为例进行说明。
因此，编码层：参照图3所示，该层共有6个时刻的数据输入，3层网络结构，包括CNN卷积采样层、Causal LSTM和GHU高速通道。第一层对每一时刻的数据用CNN进行1*1采样，再通过Causal LSTM层，对采样结果进行一系列的线性与非线性变换。后两层则对上一时刻的输入和空间状态信息用CNN进行3*3的降采样提取特征信息，并从降维后的信息中提取时空信息。三层级联的结构保证了模型能够学习足够丰富的时空特征。网络内部的权值矩阵在训练阶段不断迭代更新，从而得到最佳的值，而这些值就是学习到的时空特征，能够反应时空特性。在第一层与第二层之间插入GHU网络，将第一层得到的信息直接传输至下一时刻，能够有效的防止因为网络过于深而导致的梯度弥散。
解码层：参照图4所示，该层同样三层级联的形式，包括反卷积层、Causal LSTM和GHU高速通道，是编码的逆过程。将编码得到的时空信息通过Causal LSTM层处理，再利用反卷积层对信息进行还原。
分类器：对解码层的输出进行分类判断(跌倒或者非跌倒)，本实施例使用pytorch中自带的ResNet18基础网络模型完成分类任务，该网络共包含17个卷积层和1个全连接层。
进一步地，Causal LSTM的结构参照图5所示。相较于LSTM，Causal LSTM的所有门都是由X和H以及C共同决定的。其中“输入门”为添加到细胞中的信息，“遗忘门”决定要丢弃的信息，“输出门”决定最终输出。
Causal LSTM共有三层结构：
Causal LSTM的第一层结构输出为
Figure BDA0002918520580000091
由t时刻的输入Xt、前一时刻的输出响应
Figure BDA0002918520580000092
前一时刻的
Figure BDA0002918520580000093
共同决定，其中K为隐藏层层数，C为时间状态(temporal state)，包含时间维度信息：
Figure BDA0002918520580000094
Figure BDA0002918520580000095
式中：ft为遗忘门，it为输入门，gt为临时长期记忆状态，σ(·)表示sigmoid函数：σ(x)＝1/(1+e-x)，W1表示神经元内部第一个循环权值矩阵，
Figure BDA0002918520580000096
表示向量之间的哈达玛积。
Causal LSTM的第二层结构输出为
Figure BDA0002918520580000097
由Xt、当前时刻
Figure BDA0002918520580000098
和上一层的
Figure BDA0002918520580000099
共同决定，其中M为空间状态(spatial state)，包含空间维度信息：
Figure BDA00029185205800000910
Figure BDA00029185205800000911
式中：ft'为遗忘门，i't为输入门，g’t为临时长期记忆状态，W2表示神经元内部第二个循环权值矩阵，W3表示神经元内部第三个循环权值矩阵。
Causal LSTM的第三层结构为输出层，输出为
Figure BDA00029185205800000912
由t时刻时间状态
Figure BDA00029185205800000913
空间状态
Figure BDA00029185205800000914
以及输入Xt共同决定：
Figure BDA0002918520580000101
Figure BDA0002918520580000102
式中，W4表示神经元内部第四个循环权值矩阵，W5表示神经元内部第五个循环权值矩阵，ot为临时状态。
进一步地，GHU(Gradient Highway Unit)是神经网络中的“高速通道”，能够有效的在非常深的网络中传递梯度，继而防止长时导致的梯度弥散。
GHU的结构参照图6所示，GHU高速通道的输入包括Xt、Zt-1，其中Xt为第一层CasualLSTM的输出
Figure BDA0002918520580000103
Zt-1为前一个时刻的GHU的输入，即连接了当前时刻以及前一个时刻的输入，使得传播的距离缩短：
Pt＝tanh(Wpx*Xt+Wpz*Zt-1) (7)
St＝σ(Wsx*Xt+Wsz*Zt-1) (8)
Figure BDA0002918520580000104
式中St为开关门，Wpx、Wpz、Wsx、Wsz为权值矩阵，Pt为转换后的输入，Zt为当前时刻GHU的输入。
在以上参数下，在1444例测试数据上，模型判断错误的样本数仅为5例(5次误判，0次漏判)。综合得到的跌倒检测概率为99.65％。
因此，本系统对于跌倒判断时，判断的的容错性较高，检测精度也较高。且通过第一时间检测到老人的跌倒行为可及时进行医疗干预和救治，最大程度地保护老人的健康防治发生意外，维护生命健康安全，大量节约由于老人跌倒发生不测造成的医疗开销。本发明经推广后具有良好的经济效益和社会效益。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

Claims (10)

1.一种基于深度学习的跌倒检测系统，其特征在于，包括终端侧、云端侧，终端侧包括数据采集模块、通信模块，云端侧包括云管理平台、数据分析模块；
数据采集模块包括穿戴于用户的加速度传感器，用于采集三轴加速度数据和三轴旋转角速度数据；
通信模块，用于将三轴加速度数据和三轴旋转角速度数据发送给云管理平台；
云管理平台将接收到的三轴加速度数据和三轴旋转角速度数据发送至数据分析模块，数据分析模块根据接收的数据进行判断用户是否发生跌倒，若判定为跌倒，云管理平台将发送警报信息；
所述数据分析模块采用基于CNN-Pred网络的跌倒判断模型，该模型包括编码层、解码层，分类器，所述编码层用于对三轴加速度数据以及三轴旋转角速度数据进行编码以得到时空数据；所述解码层用于将编码得到的时空数据进行还原；所述分类器用于对解码层的输出进行分类判断，以获取用户是否跌倒的判断结果。
2.根据权利要求1所述的一种基于深度学习的跌倒检测系统，其特征在于，编码层、解码层均包括Causal LSTM和GHU高速通道，其中编码层还包括CNN卷积采样层，解码层还包括反卷积层。
3.根据权利要求2所述的一种基于深度学习的跌倒检测系统，其特征在于，使用L秒相续的三轴加速度数据和三轴旋转角速度数据作为跌倒判断模型输入，该条数据的采样频率为jHz，共j*L个采样点，将该条数据切为n片，每一片之间具有时间信息的关联，对于每一片
Figure FDA0002918520570000011
秒的信息，截取得到包含
Figure FDA0002918520570000012
个采样点的数据，输出一个0到1的结果，即跌倒判断模型根据过去j*L个加速度数据和三轴旋转角速度数据判断当前发生跌倒的概率，其中10≤L≤20，50≤j≤200，3≤n≤10。
4.根据权利要求3所述的一种基于深度学习的跌倒检测系统，其特征在于，编码层共有n个时刻的数据输入以及三层网络结构；
三层网络结构中第一层对每一时刻的数据用CNN进行1*1采样，再通过CausalLSTM层对采样结果进行一系列线性与非线性变换，后两层则对上一时刻的输入和空间状态信息用CNN进行3*3的降采样提取特征信息，并从降维后的信息中提取时空信息。
5.根据权利要求4所述的一种基于深度学习的跌倒检测系统，其特征在于，解码层是编码的逆过程，将编码得到的时空信息通过Causal LSTM层处理，再利用反卷积层对信息进行还原。
6.根据权利要求5所述的一种基于深度学习的跌倒检测系统，其特征在于，分类器对解码层的输出进行分类判断，且分类器使用pytorch中自带的ResNet18基础网络模型完成分类任务，该网络共包含17个卷积层和1个全连接层。
7.根据权利要求6所述的一种基于深度学习的跌倒检测方法，其特征在于，CausalLSTM共有三层结构，Causal LSTM的第一层结构输出为
Figure FDA0002918520570000021
由t时刻的输入Xt、前一时刻的输出响应
Figure FDA0002918520570000022
前一时刻的
Figure FDA0002918520570000023
共同决定，其中K为隐藏层层数，C为时间状态，包含时间维度信息：
Figure FDA0002918520570000024
Figure FDA0002918520570000025
式中：ft为遗忘门，it为输入门，gt为临时长期记忆状态，σ(·)表示sigmoid函数：σ(x)＝1/(1+e-x)，W1表示神经元内部第一个循环权值矩阵，
Figure FDA0002918520570000031
表示向量之间的哈达玛积。
8.根据权利要求7所述的一种基于深度学习的跌倒检测系统，其特征在于，CausalLSTM的第二层结构输出为
Figure FDA0002918520570000032
由Xt、当前时刻
Figure FDA0002918520570000033
和上一层的
Figure FDA0002918520570000034
共同决定，其中M为空间状态，包含空间维度信息：
Figure FDA0002918520570000035
Figure FDA0002918520570000036
式中：f′t为遗忘门，i′t为输入门，g′t为临时长期记忆状态，W2表示神经元内部第二个循环权值矩阵，W3表示神经元内部第三个循环权值矩阵。
9.根据权利要求8所述的一种基于深度学习的跌倒检测系统，其特征在于，CausalLSTM的第三层结构为输出层，输出为
Figure FDA0002918520570000037
由t时刻时间状态
Figure FDA0002918520570000038
空间状态
Figure FDA0002918520570000039
以及输入Xt共同决定：
Figure FDA00029185205700000310
Figure FDA00029185205700000311
式中，W4表示神经元内部第四个循环权值矩阵，W5表示神经元内部第五个循环权值矩阵，ot为临时状态。
10.根据权利要求9所述的一种基于深度学习的跌倒检测系统，其特征在于，GHU高速通道的输入包括Xt、Zt-1，其中Xt为第一层Casual LSTM的输出
Figure FDA00029185205700000312
Zt-1为前一个时刻的GHU的输入，即连接了当前时刻以及前一个时刻的输入，使得传播的距离缩短：
Pt＝tanh(Wpx*Xt+Wpz*Zt-1) (7)
St＝σ(Wsx*Xt+Wsz*Zt-1) (8)
Figure FDA0002918520570000041
式中St为开关门，Wpx、Wpz、Wsx、Wsz为权值矩阵，Pt为转换后的输入，Zt为当前时刻GHU的输入。
CN202110108799.6A 2021-01-27 2021-01-27 一种基于深度学习的跌倒检测系统 Active CN112927475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110108799.6A CN112927475B (zh) 2021-01-27 2021-01-27 一种基于深度学习的跌倒检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110108799.6A CN112927475B (zh) 2021-01-27 2021-01-27 一种基于深度学习的跌倒检测系统

Publications (2)

Publication Number Publication Date
CN112927475A true CN112927475A (zh) 2021-06-08
CN112927475B CN112927475B (zh) 2022-06-10

Family

ID=76166777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110108799.6A Active CN112927475B (zh) 2021-01-27 2021-01-27 一种基于深度学习的跌倒检测系统

Country Status (1)

Country Link
CN (1) CN112927475B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409517A (zh) * 2023-10-19 2024-01-16 光谷技术有限公司 基于视频ai行为分析的语音告警系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846729A (zh) * 2017-01-12 2017-06-13 山东大学 一种基于卷积神经网络的跌倒检测方法和系统
CN108392208A (zh) * 2018-02-23 2018-08-14 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN109800860A (zh) * 2018-12-28 2019-05-24 北京工业大学 一种面向社区基于cnn算法的老年人跌倒检测方法
CN110298276A (zh) * 2019-06-19 2019-10-01 北京工业大学 基于卷积神经网络的跌倒检测方法
CN111325946A (zh) * 2020-01-19 2020-06-23 浙江理工大学 一种基于边缘计算的跌倒检测方法及系统
CN112233374A (zh) * 2020-09-21 2021-01-15 中国科学院深圳先进技术研究院 一种跌倒检测方法、系统、终端以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846729A (zh) * 2017-01-12 2017-06-13 山东大学 一种基于卷积神经网络的跌倒检测方法和系统
CN108392208A (zh) * 2018-02-23 2018-08-14 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN109800860A (zh) * 2018-12-28 2019-05-24 北京工业大学 一种面向社区基于cnn算法的老年人跌倒检测方法
CN110298276A (zh) * 2019-06-19 2019-10-01 北京工业大学 基于卷积神经网络的跌倒检测方法
CN111325946A (zh) * 2020-01-19 2020-06-23 浙江理工大学 一种基于边缘计算的跌倒检测方法及系统
CN112233374A (zh) * 2020-09-21 2021-01-15 中国科学院深圳先进技术研究院 一种跌倒检测方法、系统、终端以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
月来客栈: ""Predictive Learning with Cascade Conv"", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/64641988》 *
王琦: ""卷积核相关性与CNN网络结构优化的关系研究"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409517A (zh) * 2023-10-19 2024-01-16 光谷技术有限公司 基于视频ai行为分析的语音告警系统及方法

Also Published As

Publication number Publication date
CN112927475B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
Galvão et al. A multimodal approach using deep learning for fall detection
CN106846729B (zh) 一种基于卷积神经网络的跌倒检测方法和系统
Chen et al. Intelligent fall detection method based on accelerometer data from a wrist-worn smart watch
CN110852382B (zh) 一种基于时空多特征提取的行为识别系统及其工作方法
CN110717389B (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
US20210064141A1 (en) System for detecting a signal body gesture and method for training the system
CN111325946A (zh) 一种基于边缘计算的跌倒检测方法及系统
CN109670548A (zh) 基于改进lstm-cnn的多尺寸输入har算法
Wu et al. Applying deep learning technology for automatic fall detection using mobile sensors
Ping et al. Distracted driving detection based on the fusion of deep learning and causal reasoning
CN112927475B (zh) 一种基于深度学习的跌倒检测系统
CN105303183A (zh) 一种基于穿戴设备的儿童姿态识别分析系统和方法
CN110807471B (zh) 一种多模态传感器的行为识别系统及识别方法
Zhu et al. Deep ensemble learning for human activity recognition using smartphone
Butt et al. Fall detection using LSTM and transfer learning
CN111091060A (zh) 基于深度学习的跌倒和暴力检测方法
Qu et al. Convolutional neural network for human behavior recognition based on smart bracelet
Amara et al. A smartphone application for fall detection using accelerometer and convlstm network
Priyadarshini et al. Gradient boosted decision tree based classification for recognizing human behavior
CN110826459A (zh) 基于姿态估计的可迁移校园暴力行为视频识别方法
Pham et al. A proposal model using deep learning model integrated with knowledge graph for monitoring human behavior in forest protection
McConville et al. Person identification and discovery with wrist worn accelerometer data
Arfizurrahmanl et al. Real-Time Non-Intrusive Driver Fatigue Detection System using Belief Rule-Based Expert System.
CN112883939B (zh) 实时跌倒检测模型训练方法、实时跌倒检测方法及装置
CN113208575A (zh) 利用物联网可穿戴装置检测冠状病毒感染的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant