CN114067436A - 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 - Google Patents
一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 Download PDFInfo
- Publication number
- CN114067436A CN114067436A CN202111361617.2A CN202111361617A CN114067436A CN 114067436 A CN114067436 A CN 114067436A CN 202111361617 A CN202111361617 A CN 202111361617A CN 114067436 A CN114067436 A CN 114067436A
- Authority
- CN
- China
- Prior art keywords
- data
- stage
- video
- fall
- tsm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 32
- 102100038564 Carboxymethylenebutenolidase homolog Human genes 0.000 claims description 26
- 101000882691 Homo sapiens Carboxymethylenebutenolidase homolog Proteins 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 241000288105 Grus Species 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 230000001953 sensory effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 12
- 230000000474 nursing effect Effects 0.000 description 10
- 230000036544 posture Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010042772 syncope Diseases 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010016173 Fall Diseases 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013173 literature analysis Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统，由两个独立的模型级联组成，分别是基于门控循环单元网络的传感数据分析一阶段GRU模型，基于改进时间移位模块TSM的监控视频分析的二阶段TSM监控视频处理模型；在一阶段GRU模型中，GRU是LSTM的一种变体，在减少计算的同时可以维持和LSTM相当的性能。在二阶段TSM监控视频处理模型中，将改进TSM插入到堪比Resnet152的特征提取网络CSPDarknet53中，并利用卷积块注意力CBAM对提取出的特征图中的目标区域进行增强，从而提高视频检测的准确度与鲁棒性。
Description
技术领域
本发明涉及一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统，属于深度学习、信号处理技术领域。
背景技术
医院、养老院、居家照顾等领域对人员发生意外跌倒的检测需求不断提升，对于病人、老人等特定人员，在发生跌倒时，需要及时检测到并提供相应的救助，否则可能发生严重的身体损害。近些年,基于深度学习的跌倒检测技术不断发展，长短时记忆网络(LongShort-Term Memory,LSTM)及其变体在基于可穿戴式传感数据的跌倒检测中得到了广泛应用，它能够有效解决时间序列分析中存在的长期依赖问题，提高检测的准确度。时间移位模块(Temporal Shift Module，TSM)采用2D卷积的复杂度能够实现3D卷积的性能，在视频中的时空特征学习上表现出良好的性能。
LSTM复杂的网络模型能够提高检测精确度，同时也产生了比较大的计算量，延长了推理的时间，占用了更多的硬件计算资源，尤其是当同时检测几百上千人时，这个问题将变的十分严重。此外，TSM中的时序移位是一种与视频无关的固定运算，无法自适应的调整，而在面对复杂场景下多样的视频数据时，这种视频无关的建模方式缺乏足够的表达能力，难以有效挖掘视频中所蕴含的深层次语义特征。因此，如何减少可穿戴式传感数据处理部分计算量并提高视频数据检测精确度，是保证跌倒检测模型实用性的关键问题。
在某些场所中，人员佩戴可穿戴终端，比如手环，周围空间没有安装摄像头，一般仅依靠可穿戴终端的传感数据来判断人员是否跌倒。而在其他某些场所中，人员没有佩戴可穿戴终端，但是周围空间中安装有监控摄像头，一般仅基于监控视频来判断人员是否跌倒。在另外一些场所中，人员配有可穿戴终端，同时周边场所中也安装了监控摄像头，目前还没有同时处理传感数据和视频数据以检测人员跌倒的模型及系统，特别是对于众多人员共存的场景，在计算资源有限的情况下，如何准确地进行人员跌倒检测是亟需解决的问题。
发明内容
针对现有技术的不足，本发明提供了一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统。
本发明考虑到传感数据的计算量较低，视频处理计算量较高的情况，分为两个阶段检测是否发生人员跌倒行为。第一阶段基于传感数据实时研判是否有人员发生跌倒行为。为了提高检测的准确率，减少误报率，对于疑似发生跌倒的人员进行第二阶段的视频检测分析。相比已有的基于单视频的跌倒检测模型和系统，本发明在第一阶段大幅减少了计算量，在计算资源有限的情况下，能够保证同时检测众多人员的跌倒行为；相比已有的基于单传感数据的跌倒检测模型和系统，本发明在第二阶段采用监控视频分析提升了检测的精确度，并且在复杂的场景中仍能有很好的鲁棒性。当人员跌倒时，本系统能够及时发出警报，提醒监管人员及时介入。本发明充分利用轻量级传感数据和大容量视频数据，实现了大规模人员和大范围场景下的高可靠性跌倒检测分析，对于医院、养老院、居家养老等场所及时准确检测人员跌倒行为，提供紧急医疗救助等，具有重要的社会意义。
本发明通过对可穿戴传感数据和视频监控数据的分析，在减少计算量的同时提高了检测的准确度，保证了系统的实用性。
本发明的技术方案为：
一种基于可穿戴式传感器及视频监控的跌倒检测方法，包括步骤如下：
步骤一：不断接收多个人员可穿戴设备传来的多维传感数据，包括位置参数和姿态参数，其中，姿态参数包括X轴加速度、Y轴加速度、Z轴加速度、X轴角速度、Y轴角速度、Z轴角速度；位置参数包括人员的经度和纬度，将姿态参数进行数据清洗后，传入为每个可穿戴设备准备的一定时长容量的数据缓冲列表；
步骤二：当数据缓冲列表数据量达到固定时长时，启动基于GRU的跌倒检测一阶段算法进行分析，依概率方式输出结果，初步判断是否发生跌倒行为；
步骤三：如果初步判定发生了跌倒行为，则进入步骤四，并丢弃数据缓冲列表中的前一半数据；否则，直接丢弃数据缓冲列表中的前一半数据，并返回步骤一；
步骤四：调用该可穿戴设备对应的摄像头在过去一定时长的监控视频，采用二阶段的基于改进TSM监控视频分析算法对是否发生跌倒进行研判；
步骤五：如果仍然判定为发生跌倒行为，则发出实时警报，并返回发生跌倒行为的人员的位置参数及摄像头画面；否则，返回步骤一，重复进行。
根据本发明优选的，步骤二中，启动基于GRU的跌倒检测一阶段算法进行分析，依概率方式输出结果，初步判断是否发生跌倒行为，具体是指：将步骤一获取的待检测的姿态参数预处理后输入训练好的一阶段GRU模型进行检测，其中，训练好的一阶段GRU模型构建及训练过程如下：
(1)构建一阶段GRU模型：一阶段GRU模型包括多层GRU，每层GRU采用100个记忆单元；
(2)构建数据集：数据集分为两大类，包括日常活动和跌倒活动；并对数据集中的数据进行标注；
(3)数据集预处理：对于存在噪声干扰的姿态数据即姿态参数，采用数字滤波的方式滤波去除噪音；对于发生了部分数据点丢失或者超出正常数值范围的数据集的数据，则采用线性拟合的方式插补缺失值或者修正异常点；
(4)训练一阶段GRU模型：将步骤(3)处理后的数据输入一阶段GRU模型进行训练，获得训练好的一阶段GRU模型；
进一步优选的，数据采集设备包括三轴加速度传感器和三轴角速度传感器，以200Hz的原始频率实时采集六维传感数据。
进一步优选的，一阶段GRU模型包括两层GRU，用来提取时间特征，并用于分类。
根据本发明优选的，步骤四中，用二阶段的TSM监控视频分析算法对是否发生跌倒进行判断，具体是指：将待检测的监控视频预处理后输入训练好的二阶段TSM监控视频处理模型进行检测，其中，训练好的二阶段TSM监控视频处理模型构建及训练过程如下：
a、构建二阶段TSM监控视频处理模型：
二阶段TSM监控视频处理模型包括一系列的CMBL和CSP1-X，通过一系列的CMBL操作和不同尺寸的CSP1-X操作反复对时空特征进行提取，通过SPP空间金字塔池化将特征图展开成全连接层所需要的特征长度，最终经过全连接层来输出网络的识别结果；
CMBL包括卷积层、卷积块注意力机制、批归一化层和Leaky Relu激活函数；
CSP1-X将输入特征图分为两路，一路直接进行卷积操作，另一路经过一系列CMBL、X个ResTSM、卷积操作，将两路的结果连接起来，截断提取信息；
ResTSM包括通道注意力机制、TSM、CMBL；
b、构建数据集：数据集分为两大类，包括日常活动和跌倒活动的视频；
c、数据集预处理：采用角裁剪和尺度抖动的方式进行数据增强；
d、采用稀疏时间采样策略训练二阶段TSM监控视频处理模型：首先，将步骤c获取的视频片段分为K段，然后，在分成的小段中各随机取一帧组成一轮训练的样本输入二阶段TSM监控视频处理模型进行训练，获得训练好的二阶段TSM监控视频处理模型；
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于可穿戴式传感器及视频监控的跌倒检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于可穿戴式传感器及视频监控的跌倒检测方法的步骤。
一种基于可穿戴式传感器及视频监控的跌倒检测系统，包括传感数据采集和处理单元、基于传感数据的跌倒检测单元、监控视频处理和检测单元、综合服务单元、前端交互单元、系统管理单元；
传感数据采集和处理单元用于：通过互联网或者接入点无线传输方式采集人员的位置参数和姿态参数，并进行预处理；基于传感数据的跌倒检测单元用于：采用基于传感数据的检测算法，实时研判是否有人员发生跌倒；监控视频处理和检测单元用于：针对疑似发生跌倒的人员位置，调用该位置附近一段时长的监控视频，并对监控视频进行分析检测，分析监控摄像头内是否有人员发生跌倒；所述综合服务单元：收集传感参数采集和处理单元、基于传感参数的跌倒检测单元和监控视频处理和检测单元中的过程性和结果性数据，是数据库存放的位置，并为前端交互单元和系统管理单元提供服务；前端交互单元用于：直观显示发生跌倒的人员信息，并采用声音和闪光灯的方式报警，监管人员通过点击相应人员的信息，可以直接调取附近的监控视频进行查看跌倒过程或者当前的情况；系统管理单元：构建一个管理页面，包括注册和登陆功能，提供安全认证和身份鉴权机制；构建并管理人员的位置及姿态参数数据库，对发生跌倒的人员进行搜索归类、打印报表等。
本发明的有益效果为：
1、本发明提出了一种全新的基于可穿戴式传感器和视频监控的跌倒检测方法及系统，可用于医院、养老院、居家养老等场景下对人员发生的跌倒事件进行检测。本发明使用了基于传感序列的GRU算法和基于监控视频的TSM算法，运行速度快，能够达到实时的效果，及时对医院养老院场景下出现的跌倒情况进行检测与报警，避免造成更严重的后果。
2、本发明对原始与输入视频无关的时间移位模块TSM进行改进，通过通道注意力机制对最重要的1/8通道进行移位，以便能够提取到最明显的时间维信息，并且与性能堪比Resnet152的二维特征提取网络CSPDarknet53相结合，并引入卷积块注意力，使得神经网络能够更好地提取时空特征，提升了基于视频的跌倒检测的效果。
3、本发明所使用的算法在前向推理时计算量小，对所需的服务器和显卡的性能要求相对较低，总体设备成本低。本发明使用的神经网络复杂度低，参数量较小，内存占用低，能够同时对几千人进行检测，能够满足大规模检测的需要。
附图说明
图1为本发明基于可穿戴式传感器及视频监控的跌倒检测方法的原理示意图；
图2为本发明基于可穿戴式传感器及视频监控的跌倒检测方法的工作流程图；
图3为本发明一阶段GRU模型的网络架构示意图；
图4为本发明二阶段TSM监控视频处理模型的网络架构示意图；
图5为本发明基于可穿戴式传感器及视频监控的跌倒检测系统的结构框图。
具体实施方式
下面结合说明书附图和具体实施方式，对本发明进行进一步的说明，但不限于此例。
实施例1
一种基于可穿戴式传感器及视频监控的跌倒检测方法，由两个独立的模型级联组成，如图1所示，分别是基于门控循环单元网络(Gated Recurrent Unit，GRU)的传感数据分析一阶段GRU模型，基于时间移位模块TSM的监控视频分析的二阶段TSM监控视频处理模型；在一阶段GRU模型中，GRU是LSTM的一种变体，在减少计算量的同时可以维持和LSTM相当的性能。在二阶段TSM监控视频处理模型中，结合通道注意力在时间移位模块TSM中加入了了自适应通道移位策略，并将改进后的TSM插入到结合了卷积块注意力机制的改进特征提取网络CSPDarknet53中，从而提高视频检测的准确度与鲁棒性。
一种基于可穿戴式传感器及视频监控的跌倒检测方法，如图2所示，包括步骤如下：
步骤一：针对医院、养老院、居家养老等特定场所，系统不断接收多个人员可穿戴设备传来的多维传感数据，包括位置参数和姿态参数，其中，姿态参数包括X轴加速度、Y轴加速度、Z轴加速度、X轴角速度、Y轴角速度、Z轴角速度；位置参数包括人员的经度和纬度，将姿态参数进行数据清洗后，传入为每个可穿戴设备准备的一定时长容量的数据缓冲列表；
步骤二：当数据缓冲列表数据量达到固定时长时，启动基于GRU的跌倒检测一阶段算法进行分析，依概率方式输出结果，初步判断是否发生跌倒行为；
步骤三：如果初步判定发生了跌倒行为，则进入步骤四，并丢弃数据缓冲列表中的前一半数据；否则，直接丢弃数据缓冲列表中的前一半数据，并返回步骤一；
步骤四：调用硬盘录像机中该可穿戴设备对应的摄像头在过去一定时长的监控视频，采用二阶段的基于改进TSM监控视频分析算法对是否发生跌倒进行研判；
步骤五：如果仍然判定为发生跌倒行为，则发出实时警报，并返回发生跌倒行为的人员的位置参数及摄像头画面；否则，返回步骤一，重复进行。
本发明分为基于可穿戴数据和基于视频监控数据的两阶段算法，基于可穿戴设备的门控循环单元GRU网络模型比基于视频监控的时间移位模型的计算量小很多，相比于视频数据，传感数据属于轻量级数据，推理速度快，可以满足众多终端实时检测的需求。只有当门控循环单元GRU网络模型判定为跌倒时，才会触发二阶段TSM监控视频处理模型，为仅基于传感数据给出的判断进行核实验证，既提高了系统整体的检测准确率，又充分考虑到了有限的计算资源，提升了系统的实用性。
实施例2
根据实施例1所述的一种基于可穿戴式传感器及视频监控的跌倒检测方法，其区别在于：
步骤二中，启动基于GRU的跌倒检测一阶段算法进行分析，依概率方式输出结果，初步判断是否发生跌倒行为，具体是指：将步骤一获取的待检测的姿态参数预处理(按照步骤(3)的预处理方法)后输入训练好的一阶段GRU模型进行检测，其中，训练好的一阶段GRU模型构建及训练过程如下：
(1)构建一阶段GRU模型：一阶段GRU模型包括多层GRU，每层GRU采用100个记忆单元；在模型的选择上，本发明考虑到这是第一阶段算法，需要保证低计算量的同时保证不错的准确度，最终采用了多层GRU，每层采用100个记忆单元，可以符合当前的任务需求。
(2)构建数据集：数据集分为两大类，包括日常活动和跌倒活动；
日常活动包括走路、慢跑、上下楼、坐在椅子上站起来、坐着到躺着等一些常见的活动，与跌倒相似波形的活动和可能产生误报的高加速度活动；跌倒活动则选择了一些常见的在日常活动中突然发生跌倒的情况，包括走路时滑倒、慢跑时绊倒、试图起身或坐下时，甚至因为突发晕厥而跌倒等情况；总共有十种，具体如下表1所示：
表1
上述活动是根据实地调研和文献分析中选择的，比如对独居老人和养老院、医院的行政管理人员进行调查，包括老人跌倒时正在从事什么活动、是什么原因导致了跌倒(路滑、晕厥还是其他)、跌倒时的具体姿态(朝哪个方向、什么部位受到了冲击)，上述所有模拟的活动都得到了专业医生的批准。所以，数据集在构建时就充分考虑到了实际情况，包括各种不同跌倒姿势所体现的不同参数变化特征，各种不同场景不同环境下发生跌倒的情况以及从一些最容易出现跌倒的日常活动中发生跌倒的情况。实验者包括23名年轻人模拟了所有的日常和跌倒情况，和15名60岁以上的老年人模拟了所有的日常活动。
为了对网络进行更好的训练，对数据集中每种具体类别的活动采集样本至少50例，并且都是在不同的环境条件(温度、湿度、天气等)、分不同地点、一天之内不同的时间段、不同的姿势所采集，尽可能模拟真实环境中可能出现的情况；此外，对所有的数据与标签对进行可视化比对，保证标签与样本的一致性，确认标签的准确性；并对数据集中的数据进行标注；
(3)数据集预处理：对于存在噪声干扰的姿态数据即姿态参数，采用数字滤波的方式，比如卡尔曼滤波去除噪音；对于发生了部分数据点丢失或者超出正常数值范围的数据集的数据，则采用线性拟合的方式插补缺失值或者修正异常点；
(4)训练跌倒检测的一阶段GRU模型：将步骤(3)处理后的数据输入一阶段GRU模型进行训练，获得训练好的一阶段GRU模型；
训练时的具体设置上，因为传感器数据流为时间序列，每个时刻有六维数据，为了保证每次检测的数据长度能覆盖完整的一次跌倒事件，且两次连续的检测不会把一次完整的跌倒事件恰好从中间分开，所以采用长度为600且重叠率为50％的滑动时间窗口提取传感器数据流进行训练，最终每次训练的输入数据是一个600*6的二维数据，具体参数设置如表2所示：此外，为了更好地检测出实际场景下的跌倒事件，对于已经发生跌倒的系统却未检测出来的行为，可在核实后补充进数据集，减少源域和目标域之间的分布的差异，并对构建的网络进行增量训练，对跌倒检测的一阶段GRU模型进行微调，提高其在实际场景中检测的精确度；
表2
| 参数 | 参数选择 |
| 输出层激活函数 | softmax |
| 优化算法 | Adam |
| 损失函数 | sparse_categorical_crossentropy |
| 学习率 | 0.002 |
| 训练轮次 | 100 |
数据采集设备包括三轴加速度传感器和三轴角速度传感器，作为腰带佩戴在腰部，以200Hz的原始频率实时采集六维传感数据(X轴加速度、Y轴加速度、Z轴加速度、X轴角速度、Y轴角速度、Z轴角速度)。
如图3所示，一阶段GRU模型包括两层GRU(GRU层一及GRU层二)，用来提取时间特征，并用于分类。模型简单，计算速度快。
实施例3
根据实施例1所述的一种基于可穿戴式传感器及视频监控的跌倒检测方法，其区别在于：
步骤四中，用二阶段的TSM监控视频分析算法对是否发生跌倒进行判断，具体是指：将的待检测的监视频预处理(按照步骤c的预处理方法)后输入训练好的二阶段TSM监控视频处理模型进行检测，其中，训练好的二阶段TSM监控视频处理模型构建及训练过程如下：
a、构建二阶段TSM监控视频处理模型：
如图4所示，二阶段TSM监控视频处理模型包括一系列的CMBL和CSP1-X，通过一系列的CMBL操作和不同尺寸的CSP1-X操作反复对时空特征进行提取，通过SPP空间金字塔池化将特征图展开成全连接层所需要的特征长度，最终经过全连接层来输出网络的识别结果；
CMBL包括卷积层(Conv)、卷积块注意力机制(CBAM)、批归一化层(BN)和LeakyRelu激活函数；在普通的卷积操作之后加入卷积块注意力机制从空间维和通道维同时对特征分布进行调整，使得网络能更好的提取特征；批归一化层的加入使得数据在中间层进行归一化，使得深层网络模型更加稳定，目前几乎成了所有卷积神经网络的标配技巧；由于relu激活函数在输入值为负的时候输出和一阶导数均为0，导致神经元不能更新参数，所以采用Leak Relu激活函数，在Relu的负半区间引入一个泄露(Leaky)值，效果比Relu函数好。
在神经网络优化的过程中许多梯度信息的重复导致了神经网络在推理过程中计算量过高的问题，CSP1-X将输入特征图分为两路，一路直接进行卷积操作(Conv)，另一路经过一系列CMBL、X个ResTSM、卷积操作，将两路的结果连接(concat)起来，截断提取信息；从而不会重复使用梯度信息，最终降低了计算量的同时增强了神经网络的学习能力。
TSM架构主要是添加在残差结构中，不过并不是在原始的卷积之前进行特征图的时间移位操作，而是将特征图的时间移位操作和后续的卷积操作放进残差分支中，使得在残差分支中能够提取时间特征，原始的空间特征直接与残差分支中提取出的特征相加，既保留了原来的空间特征信息，又和提取出的时间特征进行很好的融合，最终组成了原始的TSM架构。不同于原始的TSM对固定的部分通道进行移位，本发明则在TSM进行特征图时间移位之间先结合了通道注意力得出注意力权值最高的的1/8通道，对这些通道进行时间上的移位，从而使得之后的卷积操作能够更好的提取时间信息，从而增强对不同视频样本的建模能力。
原始TSM是把输入特征在时间维度在部分通道上进行移位操作，使得普通的二维卷积提取特征时可达到类似三维卷积的效果，使其也可以捕获时间信息，但是原始的TSM只是在时间维度上移动固定的部分通道，与输入视频无关，无法自适应调整，使得网络结构学习能力受限，而在本发明中，ResTSM包括通道注意力机制(SE)、TSM、CMBL；在原始TSM操作之前加入通道注意力机制SE，通过通道注意力计算的通道重要性权值来移动最重要的1/8通道，保证神经网络模型能够学到最明显的时间特征，在原始TSM架构中对时间移位后进行的卷积操作之后加入卷积-卷积块注意力-批归一化-leackyrelu激活(CMBL)操作，通过该操作从通道维和空间维对提取出的特征进行调整，使模型能够更好的对原始视频的时空信息进行建模，组成了如图4所示的ResTSM结构，并将该残差组件ResTSM嵌入CSP1-X组件中，以更少的计算量获得更高效的更充分的特征提取。
与TSM结合的CNN网络上选择了近年来更加优秀的Resnet变体CSPDarknet53，性能足以媲美Resnet152，以便更好地提取时空特征；由于CSPDarknet53网络模型参数相对较多，故采用迁移学习的方式，通过ImageNet上预训练的权重进行训练；训练具体参数上，训练轮次为300，保证网络得到充分的训练，学习率衰减策略采用余弦退火策略，防止网络反向传播时梯度下降陷入局部最小值；此外，对于已经发生跌倒的情况，在人为核实之后需要补充进数据集，对现有模型进行迁移学习和增量训练，不断提高网络的适应性和鲁棒性，基于现实场景对网络不断进行优化。
整体神经网络的架构就是由一系列的CMBL操作和不同尺寸的CMBL操作反复对时空特征进行提取，如图所示，最终通过SPP空间金字塔池化将特征图展开成全连接层所需要的特征长度，最终经过全连接层来输出网络的识别结果。
b、构建数据集：数据集分为两大类，包括日常活动和跌倒活动的视频；
对于上述十种日常活动和跌倒活动来说，每个种类需要至少100个数据样本，为0-30秒的视频片段，因为用于视频检测的模型相对较大，参量较多，一方面需要满足模型训练的要求，另一方面在数据层面减少样本类别不平衡的问题，提升神经网络的泛化能力；对于视频数据集来说，不同的季节、每天不同的时间段、不同的天气、不同的光照条件、视频监控的不同角度等都会造成视频图像数据有很大的差异，所以每一类数据样本中也尽可能找出具有代表性的样本数据，以模拟真实场景可能出现的情况；除了包含日常活动和跌倒活动的样本数据外，为了减少假阳性样本(FP)数量，还应该在数据集中添加只有纯背景的视频片段，这样的样本在数据集中占10％。
c、数据集预处理：采用角裁剪和尺度抖动的方式进行数据增强；防止网络出现严重的过拟合后果；
d、采用稀疏时间采样策略训练二阶段TSM监控视频处理模型：首先，将步骤c获取的视频片段分为K段(K为视频片段时间长度一半，比如视频片段为10秒则K取5)，然后，在分成的小段中各随机取一帧组成一轮训练的样本输入二阶段TSM监控视频处理模型进行训练，获得训练好的二阶段TSM监控视频处理模型；既能实现对长期时间关系进行建模，又避免了密集采样所需要的很大计算资源；
针对一阶段传感数据的跌倒检测和二阶段视频数据的跌倒检测，分别构建相应的数据集，采用基于后向传播的梯度下降法分别训练GRU传感数据处理网络和TSM视频数据处理网络。在数据集建立过程中，需要考虑到视频监控的不同角度，采集不同角度下的人员跌倒行为案例，或者将现有的视频进行图片中的角度扭转，实现数据增强的效果。对于已经发生跌倒的行为，在核实后需要补充进数据集，对所构建网络进行增量训练，不断提升网络的适应性和鲁棒性。
实施例4
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1-3任一所述的基于可穿戴式传感器及视频监控的跌倒检测方法的步骤。
实施例5
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1-3任一所述的基于可穿戴式传感器及视频监控的跌倒检测方法的步骤。
实施例6
一种基于可穿戴式传感器及视频监控的跌倒检测系统，用于运行实施例1-3任一所述的基于可穿戴式传感器及视频监控的跌倒检测方法，如图5所示，包括传感数据采集和处理单元、基于传感数据的跌倒检测单元、监控视频处理和检测单元、综合服务单元、前端交互单元、系统管理单元；
传感数据采集和处理单元用于：通过互联网或者接入点无线传输方式采集人员的位置参数和姿态参数，并进行预处理；基于传感数据的跌倒检测单元用于：采用基于传感数据的检测算法，实时研判是否有人员发生跌倒；监控视频处理和检测单元用于：针对疑似发生跌倒的人员位置，调用该位置附近一段时长的监控视频，并对监控视频进行分析检测，分析监控摄像头内是否有人员发生跌倒；综合服务单元：收集传感参数采集和处理单元、基于传感参数的跌倒检测单元和监控视频处理和检测单元中的过程性和结果性数据，是数据库存放的位置，并为前端交互单元和系统管理单元提供服务；前端交互单元用于：直观显示发生跌倒的人员信息，并采用声音和闪光灯的方式报警，监管人员通过点击相应人员的信息，可以直接调取附近的监控视频进行查看跌倒过程或者当前的情况；系统管理单元：构建一个管理页面，包括注册和登陆功能，提供安全认证和身份鉴权机制；构建并管理人员的位置及姿态参数数据库，对发生跌倒的人员进行搜索归类、打印报表等。
以养老院场景为例，传感数据采集和处理单元实时采集传感数据并将数据存入综合服务单元，并传给基于传感数据的跌倒检测单元，该基于传感数据的跌倒检测单元以一定的频率接收传感数据(假设为50Hz)，以50％重叠率的滑动窗口来提取一定长度的传感器数据流，假设长度为600，代表12秒的传感数据，当一个人的传感器数据长度为600时，则调用GRU算法判断此人是否出现跌倒状况。如果由传感数据判定出该人脱管，则将传感数据上跌倒的人员编号与其定位数据发送给综合服务单元，由综合服务单元根据定位数据返回该人员附近的摄像头编号和流地址，并将流地址发送给监控视频处理和检测单元，监控视频处理和检测单元根据该视频流地址调用硬盘录像机中过去的12秒视频进行跌倒的检测与分析；
首先，将视频分成N段，N＝6，每段随机采样一帧，组成二阶段TSM监控视频处理模型的输入；
然后，对输入的视频帧采用CMBL操作获得特征图，在残差块中将1/8通道沿时间维数移动1，融合时间信息，沿通道的二维卷积操作CMBL来提取时空特征，不断重复上述过程反复提取特征，最终输出识别结果。具体说来：输入的视频帧先经过128个大小为3*3步长为2的卷积核进行一系列处理(CMBL)，之后经过卷积块注意力在通道维和空间维对特征图进行调整，在经过批归一化和leaky relu激活之后，输入到CSP1-1中；在CSP1-1中，将特征图分为两路，一路直接进行卷积操作，另一路进行包含CMBL和插入了TSM的残差分支的一系列卷积操作，在残差分支中通过TSM融合时间信息，concat之后进行批归一化和CMBL操作，提取了时空特征，再经过CMBL之后得到CSP1-1的输出，此后在通过256个大小为3*3步长为2的卷积核处理；该输出后续在经过两个CSP1-3+CMBL来反复提取时空特征，其中CMBL的卷积核数量分别为512和1024；
最后，将得到的输出特征图输入到SPP中，通过5*5、9*9和13*13的空间金字塔池化将特征图展开成全连接层所需要的特征长度，最终经过全连接层来输出网络的识别结果。
若监控视频处理和检测单元调用基于改进TSM的跌倒检测算法后发现相应的监控区域内确实有人出现了跌倒情况，则认为该人员确实发生了跌倒情况，并将人员编号、位置等相关信息发送到前端交互单元进行报警，以便相关监管或护理人员及时做出反应，以避免跌倒人员情况发生进一步恶化。
Claims (8)
1.一种基于可穿戴式传感器及视频监控的跌倒检测方法，其特征在于，包括步骤如下：
步骤一：不断接收多个人员可穿戴设备传来的多维传感数据，包括位置参数和姿态参数，其中，姿态参数包括X轴加速度、Y轴加速度、Z轴加速度、X轴角速度、Y轴角速度、Z轴角速度；位置参数包括人员的经度和纬度，将姿态参数进行数据清洗后，传入为每个可穿戴设备准备的一定时长容量的数据缓冲列表；
步骤二：当数据缓冲列表数据量达到固定时长时，启动基于GRU的跌倒检测一阶段算法进行分析，依概率方式输出结果，初步判断是否发生跌倒行为；
步骤三：如果初步判定发生了跌倒行为，则进入步骤四，并丢弃数据缓冲列表中的前一半数据；否则，直接丢弃数据缓冲列表中的前一半数据，并返回步骤一；
步骤四：调用该可穿戴设备对应的摄像头在过去一定时长的监控视频，采用二阶段的基于改进TSM监控视频分析算法对是否发生跌倒进行研判；
步骤五：如果仍然判定为发生跌倒行为，则发出实时警报，并返回发生跌倒行为的人员的位置参数及摄像头画面；否则，返回步骤一，重复进行。
2.根据权利要求1所述的一种基于可穿戴式传感器及视频监控的跌倒检测方法，其特征在于，步骤二中，启动基于GRU的跌倒检测一阶段算法进行分析，依概率方式输出结果，初步判断是否发生跌倒行为，具体是指：将步骤一获取的待检测的姿态参数预处理后输入训练好的一阶段GRU模型进行检测，其中，训练好的一阶段GRU模型构建及训练过程如下：
(1)构建一阶段GRU模型：一阶段GRU模型包括多层GRU，每层GRU采用100个记忆单元；
(2)构建数据集：数据集分为两大类，包括日常活动和跌倒活动；并对数据集中的数据进行标注；
(3)数据集预处理：对于存在噪声干扰的姿态数据即姿态参数，采用数字滤波的方式滤波去除噪音；对于发生了部分数据点丢失或者超出正常数值范围的数据集的数据，则采用线性拟合的方式插补缺失值或者修正异常点；
(4)训练一阶段GRU模型：将步骤(3)处理后的数据输入一阶段GRU模型进行训练，获得训练好的一阶段GRU模型。
3.根据权利要求1所述的一种基于可穿戴式传感器及视频监控的跌倒检测方法，其特征在于，数据采集设备包括三轴加速度传感器和三轴角速度传感器，以200Hz的原始频率实时采集六维传感数据。
4.根据权利要求2所述的一种基于可穿戴式传感器及视频监控的跌倒检测方法，其特征在于，一阶段GRU模型包括两层GRU，用来提取时间特征，并用于分类。
5.根据权利要求1所述的一种基于可穿戴式传感器及视频监控的跌倒检测方法，其特征在于，步骤四中，用二阶段的TSM监控视频分析算法对是否发生跌倒进行判断，具体是指：将待检测的监控视频预处理后输入训练好的二阶段TSM监控视频处理模型进行检测，其中，训练好的二阶段TSM监控视频处理模型构建及训练过程如下：
a、构建二阶段TSM监控视频处理模型：
二阶段TSM监控视频处理模型包括一系列的CMBL和CSP1-X，通过一系列的CMBL操作和不同尺寸的CSP1-X操作反复对时空特征进行提取，通过SPP空间金字塔池化将特征图展开成全连接层所需要的特征长度，最终经过全连接层来输出网络的识别结果；
CMBL包括卷积层、卷积块注意力机制、批归一化层和Leaky Relu激活函数；
CSP1-X将输入特征图分为两路，一路直接进行卷积操作，另一路经过一系列CMBL、X个ResTSM、卷积操作，将两路的结果连接起来，截断提取信息；
ResTSM包括通道注意力机制、TSM、CMBL；
b、构建数据集：数据集分为两大类，包括日常活动和跌倒活动的视频；
c、数据集预处理：采用角裁剪和尺度抖动的方式进行数据增强；
d、采用稀疏时间采样策略训练二阶段TSM监控视频处理模型：首先，将步骤c获取的视频片段分为K段，然后，在分成的小段中各随机取一帧组成一轮训练的样本输入二阶段TSM监控视频处理模型进行训练，获得训练好的二阶段TSM监控视模型。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一所述的基于可穿戴式传感器及视频监控的跌倒检测方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一所述的基于可穿戴式传感器及视频监控的跌倒检测方法的步骤。
8.一种基于可穿戴式传感器及视频监控的跌倒检测系统，其特征在于，包括传感数据采集和处理单元、基于传感数据的跌倒检测单元、监控视频处理和检测单元、综合服务单元、前端交互单元、系统管理单元；
传感数据采集和处理单元用于：通过互联网或者接入点无线传输方式采集人员的位置参数和姿态参数，并进行预处理；基于传感数据的跌倒检测单元用于：采用基于传感数据的检测算法，实时研判是否有人员发生跌倒；监控视频处理和检测单元用于：针对疑似发生跌倒的人员位置，调用该位置附近一段时长的监控视频，并对监控视频进行分析检测，分析监控摄像头内是否有人员发生跌倒；所述综合服务单元：收集传感参数采集和处理单元、基于传感参数的跌倒检测单元和监控视频处理和检测单元中的过程性和结果性数据，是数据库存放的位置，并为前端交互单元和系统管理单元提供服务；前端交互单元用于：直观显示发生跌倒的人员信息，并采用声音和闪光灯的方式报警，监管人员通过点击相应人员的信息，可以直接调取附近的监控视频进行查看跌倒过程或者当前的情况；系统管理单元：构建一个管理页面，包括注册和登陆功能，提供安全认证和身份鉴权机制；构建并管理人员的位置及姿态参数数据库，对发生跌倒的人员进行搜索归类、打印报表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111361617.2A CN114067436B (zh) | 2021-11-17 | 2021-11-17 | 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111361617.2A CN114067436B (zh) | 2021-11-17 | 2021-11-17 | 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067436A true CN114067436A (zh) | 2022-02-18 |
| CN114067436B CN114067436B (zh) | 2024-03-05 |
Family
ID=80273496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111361617.2A Active CN114067436B (zh) | 2021-11-17 | 2021-11-17 | 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067436B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012119903A1 (de) * | 2011-03-04 | 2012-09-13 | Deutsche Telekom Ag | Verfahren und system zur sturzerkennung und weitergabe eines alarms |
| US20170352240A1 (en) * | 2016-06-03 | 2017-12-07 | John Carlton-Foss | Method and system for motion analysis and fall prevention |
| US20180000385A1 (en) * | 2016-06-17 | 2018-01-04 | Blue Willow Systems Inc. | Method for detecting and responding to falls by residents within a facility |
| CN109561855A (zh) * | 2016-08-08 | 2019-04-02 | 皇家飞利浦有限公司 | 用于跌倒检测的设备、系统和方法 |
| CN111401270A (zh) * | 2020-03-19 | 2020-07-10 | 南京未艾信息科技有限公司 | 一种人体运动姿态识别评价方法及其系统 |
| CN111436944A (zh) * | 2020-04-20 | 2020-07-24 | 电子科技大学 | 一种基于智能移动终端的跌倒检测方法 |
| CN112016619A (zh) * | 2020-08-28 | 2020-12-01 | 西安科技大学 | 一种基于鞋垫的跌倒检测方法 |
| CN112507920A (zh) * | 2020-12-16 | 2021-03-16 | 重庆交通大学 | 一种基于时间位移和注意力机制的考试异常行为识别方法 |
| CN112597824A (zh) * | 2020-12-07 | 2021-04-02 | 深延科技(北京)有限公司 | 行为识别方法、装置、电子设备和存储介质 |
-
2021
- 2021-11-17 CN CN202111361617.2A patent/CN114067436B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012119903A1 (de) * | 2011-03-04 | 2012-09-13 | Deutsche Telekom Ag | Verfahren und system zur sturzerkennung und weitergabe eines alarms |
| US20170352240A1 (en) * | 2016-06-03 | 2017-12-07 | John Carlton-Foss | Method and system for motion analysis and fall prevention |
| US20180000385A1 (en) * | 2016-06-17 | 2018-01-04 | Blue Willow Systems Inc. | Method for detecting and responding to falls by residents within a facility |
| CN109561855A (zh) * | 2016-08-08 | 2019-04-02 | 皇家飞利浦有限公司 | 用于跌倒检测的设备、系统和方法 |
| CN111401270A (zh) * | 2020-03-19 | 2020-07-10 | 南京未艾信息科技有限公司 | 一种人体运动姿态识别评价方法及其系统 |
| CN111436944A (zh) * | 2020-04-20 | 2020-07-24 | 电子科技大学 | 一种基于智能移动终端的跌倒检测方法 |
| CN112016619A (zh) * | 2020-08-28 | 2020-12-01 | 西安科技大学 | 一种基于鞋垫的跌倒检测方法 |
| CN112597824A (zh) * | 2020-12-07 | 2021-04-02 | 深延科技(北京)有限公司 | 行为识别方法、装置、电子设备和存储介质 |
| CN112507920A (zh) * | 2020-12-16 | 2021-03-16 | 重庆交通大学 | 一种基于时间位移和注意力机制的考试异常行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIN LIN 等: ""TSM:Temporal Shift Module for Efficient Video Understanding"", 《ICCV2019》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067436B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846729A (zh) | 一种基于卷积神经网络的跌倒检测方法和系统 | |
| Delachaux et al. | Indoor activity recognition by combining one-vs.-all neural network classifiers exploiting wearable and depth sensors | |
| CN112488019A (zh) | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 | |
| CN114241375B (zh) | 一种用于运动过程中的监测方法 | |
| Dhanraj et al. | Efficient smartphone-based human activity recognition using convolutional neural network | |
| CN111091060A (zh) | 基于深度学习的跌倒和暴力检测方法 | |
| Dileep et al. | Suspicious human activity recognition using 2D pose estimation and convolutional neural network | |
| CN117409538A (zh) | 用于护理的无线防跌倒报警系统及方法 | |
| Alvarez et al. | Multimodal monitoring of Parkinson's and Alzheimer's patients using the ICT4LIFE platform | |
| CN118038548A (zh) | 异常行为检测方法、装置、电子设备及存储介质 | |
| Mamchur et al. | Person fall detection system based on video stream analysis | |
| Wang et al. | A YOLO-based Method for Improper Behavior Predictions | |
| CN114067436B (zh) | 一种基于可穿戴式传感器及视频监控的跌倒检测方法及系统 | |
| Cagnoni et al. | Sensor fusion-oriented fall detection for assistive technologies applications | |
| CN116152745A (zh) | 一种抽烟行为检测方法、装置、设备及存储介质 | |
| CN112927475B (zh) | 一种基于深度学习的跌倒检测系统 | |
| Iguchi et al. | Enhancement of fall detection algorithm using convolutional autoencoder and personalized threshold | |
| CN111178134B (zh) | 一种基于深度学习与网络压缩的摔倒检测方法 | |
| Pham et al. | A proposal model using deep learning model integrated with knowledge graph for monitoring human behavior in forest protection | |
| CN115546491A (zh) | 一种跌倒报警方法、系统、电子设备及存储介质 | |
| CN114120370A (zh) | 基于cnn-lstm的人体跌倒检测实现方法及系统 | |
| Soman et al. | A Novel Fall Detection System using Mediapipe | |
| CN113509156A (zh) | 基于老龄用户行为特征的自适应信息处理方法、系统及存储介质 | |
| Kumar et al. | Fall detection and activity recognition using hybrid convolution neural network and extreme gradient boosting classifier | |
| Xu et al. | Fall detection based on person detection and multi-target tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |