CN114067434A - 基于深度时空卷积自编码器的跌倒行为检测方法及装置 - Google Patents

基于深度时空卷积自编码器的跌倒行为检测方法及装置 Download PDF

Info

Publication number
CN114067434A
CN114067434A CN202111339429.XA CN202111339429A CN114067434A CN 114067434 A CN114067434 A CN 114067434A CN 202111339429 A CN202111339429 A CN 202111339429A CN 114067434 A CN114067434 A CN 114067434A
Authority
CN
China
Prior art keywords
encoder
video frame
falling
time
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111339429.XA
Other languages
English (en)
Other versions
CN114067434B (zh
Inventor
程淑红
谢文锐
芦嘉鑫
张典范
杨镇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202111339429.XA priority Critical patent/CN114067434B/zh
Publication of CN114067434A publication Critical patent/CN114067434A/zh
Application granted granted Critical
Publication of CN114067434B publication Critical patent/CN114067434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度时空卷积自编码器的跌倒行为检测方法及装置，属于数字图像识别技术领域，该方法包括：预处理正常活动的视频帧数据；对预处理正常活动的视频帧数据后的数据降噪处理；采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；训练深度时空卷积自编码器跌倒异常检测模型；识别视频帧有跌倒异常；该装置包括视频帧采集模块、预处理模块、降噪模块、构建模块、训练模块以及识别模块，本发明把跌倒检测视为一个异常检测问题，因为跌倒在平时生活中比较少见，导致样本类别不均衡，因此把异常检测应用在跌倒问题可以平衡样本的类别并显示出更好的检测效果。

Description

基于深度时空卷积自编码器的跌倒行为检测方法及装置
技术领域
本发明属于数字图像识别技术领域，尤其涉及基于深度时空卷积自编码器的跌倒行为检测方法及装置。
背景技术
随着社会的不断发展，人口老龄化已经成为我国乃至全世界发展中不可避免的问题。统计数据显示，在威胁老年人的身体健康因素中，跌倒造成的伤害比重最大，由此带来的医疗成本是相当巨大的。及时检测跌倒事件的发生，并使老年人得到及时的医疗救助，可以直接有效地降低跌倒造成的死亡风险。
现阶段，人体跌倒检测主要分为两大研究方法：基于传感器的方法和基于计算机视觉的方法。基于传感器的方法一般通过可穿戴设备收集数据并提供给计算机或是嵌入式系统，系统通过分析数据来检测是否发生跌倒。Pierleoni等人通过在腰部放置传感器来接收人体腰部的数据并得到人体加速度值和欧拉角，从而判断人体是否发生跌倒。这种检测方法只在腰部部位采集数据，没有在人梯其它部位进行测试，具有一定的局限性。而且可穿戴设备需要实时佩戴，给日常活动作息带来不便，缺乏舒适性和实用性。基于计算机视觉的方法则通过图像处理、深度学习等方法对视频进行跌倒分析。沈秉乾等人设计了一套包括目标检测、目标定位和跌倒行为识别三部分的跌倒检测系统。该系统先对视频中的目标进行检测，然后通过建立两级支持向量机分类器实现跌倒识别。hengke Wang等人提出了一种基于自动特征学习方法的跌倒检测新框架，使用PCANet网络提取特征，并训练SVM分类器来检测跌倒事件。上述方法虽然可以根据跌倒的某些特征来检测是否发生跌倒事件，但是由于基于RGB视频图像的跌倒检测方法需要在监测区域内安装摄像头，通过图像视频信息来检测是否发生跌倒，这种方法会对人体的隐私造成一定的威胁和侵犯，因此一般不能应用于对隐私敏感的空间区域。因此本发明通过深度相机采集深度图来检测跌倒，很好的保护了用户隐私，提升了用户的使用体验。同时，由于跌倒的罕见性，导致跌倒样本较少，因此本发明将跌倒检测定义为一个异常检测问题。
发明内容
本发明为了解决上述缺陷，提出基于深度时空卷积自编码器的跌倒行为检测方法及装置。
为解决上述技术问题，本发明所采用的技术方案是：
基于深度时空卷积自编码器的跌倒行为检测方法,该方法包括：
预处理正常活动的视频帧数据；
对预处理正常活动的视频帧数据后的数据降噪处理；
采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；
训练深度时空卷积自编码器跌倒异常检测模型；
识别视频帧有跌倒异常。
本方法的进一步改进在于：所述预处理正常活动的视频帧数据包括：对正常活动的视频帧做孔填充处理，使得视频帧中的黑色孔和区域得到修复。
本方法的进一步改进在于：所述对预处理正常活动的视频帧数据后的数据降噪处理包括：处理过程如下：对所述预处理正常活动的视频帧数据进行高斯噪声处理，处理过程公式如下：
编码函数编码过程：
Figure BDA0003351311360000021
其中，h为高斯噪声处理后得到的数据，f()为3D卷积编码，
Figure BDA0003351311360000031
为高斯噪声之后的模型；
解码函数解码过程：
y＝g(h)
其中，y为模型输出，g()为3D反卷积；
降噪自编码器的损失函数为：
Figure BDA0003351311360000032
其中，J()为损失函数输出，L()为平方差，x为输入。
本方法的进一步改进在于：采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型包括：
自编码器的模型输入为连续视频帧，这些帧是通过将时间滑动窗口应用于视频生成的，生成公式如下：
Figure BDA0003351311360000033
其中，G为视频帧数，T为连续帧的长度，S为步幅，D为生成的输入连续视频帧数；
深度时空卷积自编码器跌倒异常检测模型包括编码器和解码器，其中，编码器负责把视频帧输入编码为时空特征，解码器则从时空特征中重建输入；编码器包括3D卷积层和池化层，3D卷积层输出公式：
Figure BDA0003351311360000034
其中，
Figure BDA0003351311360000035
为第i个3D卷积层在第j个特征图(x,y,z)位置上的输出值，Pi，Qi，Si分别是立体滤波器在第i个层上的垂直空间、水平空间和时间范围， m表示第(i-1)层的特征映射集，
Figure BDA0003351311360000041
表示上一层中第m个特征图映射连接位置 pqs处立体滤波器的值，多个立体滤波器将输出多个特征图。
本方法的进一步改进在于：所述编码器包括3个3D卷积层和3个池化层，激活函数为Relu函数。
本方法的进一步改进在于：所述解码器包括4个3D反卷积，激活函数为tanh，其中，卷积层输出后设置随机丢弃层，以防止模型过拟合。
本方法的进一步改进在于：所述训练深度时空卷积自编码器跌倒异常检测模型包括：
使用降噪处理后的数据对训练深度时空卷积自编码器跌倒异常检测模型模型训练，通过减小模型输出的重建误差和损失函数来更新网络参数，并通过在损失函数中添加一个正则项来进行惩罚，通过反向传播算法最小化重构误差和损失函数，并在训练过程中不断调整和迭代模型参数，直到得到深度时空卷积自编码器跌倒异常检测模型，完成训练；
训练过程公式如下：
Figure BDA0003351311360000042
其中，Wi μ为视频帧的重构误差的平均值，Ri,j为输入Ii和输出Oi第j帧的重构误差；
Figure BDA0003351311360000043
其中，Wi σ视频帧的重构误差的标准差；
Ri,j＝E[(Ii,j-Oi,j)2]
其中，E为平均值；
对损失函数J()中添加一个KL散度正则项，使得深度时空卷积自编码器努力去减少神经网络编码层中活跃的神经元，这就迫使自编码器去将每个输入表示为少量激活神经元的组合，结果编码层中的每个神经元通常都会代表一个有用的特征；
KL散度公式如下：
Figure BDA0003351311360000051
其中，
Figure BDA0003351311360000052
为神经元的激活度，ρ为稀疏性参数，
将函数
Figure BDA0003351311360000053
加入到损失函数J()中，
Figure BDA0003351311360000054
其中，β为控制稀疏性惩罚项的权重系数，m为神经元个数。
基于深度时空卷积自编码器的跌倒行为检测装置，包括：
视频帧采集模块，用于采集视频帧，发送给识别模块识别；
预处理模块，用于预处理正常活动的视频帧数据，其中，对正常活动的视频帧做孔填充处理；
降噪模块，用于对预处理正常活动的视频帧数据后的数据降噪处理；
构建模块，用于采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；
训练模块，用于训练深度时空卷积自编码器跌倒异常检测模型；以及
识别模块，用于识别视频帧有跌倒异常。
本装置的进一步改进在于：所述视频帧采集模块为深度视频帧采集模块。
由于采用了上述技术方案，本发明取得的技术进步是：
本发明把跌倒检测视为一个异常检测问题，因为跌倒在平时生活中比较少见，导致样本类别不均衡。因此把异常检测应用在跌倒问题可以平衡样本的类别并显示出更好的检测效果。
本发明利用深度图而不是RGB图来检测跌倒，很好的保护了用户隐私，提升了用户的使用体验。
本发明能在不同场景下精确的检测跌倒，对如何提高检测跌倒能力有重要的指导作用，并助力实现“健康中国”的战略目标。
附图说明
图1为本发明提出的跌倒检测模型系统流程图；
图2为本发明建立的深度时空卷积自编码器跌倒检测模型结构图；
图3为本发明的对深度时空卷积自编码器输入添加高斯噪声的示意图；
图4为本专利跌倒异常检测模型正常活动时的重构误差图；
图5为本发明跌倒检测模型的误差判定结果图；
具体实施方式
下面结合附图对本发明做进一步详细说明：
本实施例在Windows操作系统上利用OpenCV对投影图像进行颜色校正；
本发明提出了基于深度时空卷积自编码器的跌倒行为检测方法，如图1到5 所示，包括以下步骤：
预处理正常活动的视频帧数据；
对预处理正常活动的视频帧数据后的数据降噪处理；
采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；
训练深度时空卷积自编码器跌倒异常检测模型；
识别视频帧有跌倒异常。
本发明使得异常检测应用在跌倒问题可以平衡样本的类别并显示出更好的检测效果，利用深度图，很好的保护了用户隐私，提升了用户的使用体验；本发明能在不同场景下精确的检测跌倒，对如何提高检测跌倒能力有重要的指导作用。
进一步地，预处理正常活动的视频帧数据包括：对正常活动的视频帧做孔填充处理，使得视频帧中的黑色孔和区域得到修复；
其中，采集视频帧中有许多黑色的孔和区域，这对后面模型特征提取有一定的影响，因此需要使用简单的图像修复算法，例如空填充方法对其预处理，预处理后深度图中的黑色孔和区域都得到了修复。
进一步地，对预处理正常活动的视频帧数据后的数据降噪处理包括：处理过程如下：对所述预处理正常活动的视频帧数据进行高斯噪声处理，处理过程公式如下：
由于自编码器会直接去复制输入到输出，所以自编码器重建输入会容易过拟合，这就导致自编码器没有很好的利用数据有用的特征。因此为了强制自编码器去学习一些有用的特征和信息，可以随机对输入数据层增加一些高斯噪声，然后训练模型去恢复没有噪声的数据，最终寻找到输入数据的特征模式，以此来增强模型的鲁棒性。自编码器输入添加高斯噪声的示意图如图3所示。
编码函数编码过程：
Figure BDA0003351311360000071
其中，h为高斯噪声处理后得到的数据，f()为3D卷积编码，
Figure BDA0003351311360000072
为高斯噪声之后的模型；
解码函数解码过程：
y＝g(h)
其中，y为模型输出，g()为3D反卷积；
降噪自编码器的损失函数为：
Figure BDA0003351311360000081
其中，J()为损失函数输出，L()为平方差，x为输入。
进一步地，采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型包括：
自编码器的模型输入为连续视频帧，这些帧是通过将时间滑动窗口应用于视频生成的，生成公式如下：
Figure BDA0003351311360000082
其中，G为视频帧数，T为连续帧的长度，S为步幅，D为生成的输入连续视频帧数；
在本实施例中，我们可以设置连续帧长度T＝8，所有的输入帧大小为64x64，所以模型的输入尺寸为8x64x64，深度时空卷积自编码器跌倒异常检测模型包括编码器和解码器，其中，编码器负责把视频帧输入编码为时空特征，解码器则从时空特征中重建输入；编码器包括3D卷积层和池化层，3D卷积层输出公式：
Figure BDA0003351311360000083
其中，
Figure BDA0003351311360000084
为第i个3D卷积层在第j个特征图(x,y,z)位置上的输出值， Pi，Qi，Si分别是立体滤波器在第i个层上的垂直空间、水平空间和时间范围， m表示第(i-1)层的特征映射集，
Figure BDA0003351311360000085
表示上一层中第m个特征图映射连接位置 pqs处立体滤波器的值，多个立体滤波器将输出多个特征图。
进一步地，编码器包括3个3D卷积层和3个池化层，激活函数为Relu函数。
其中，深度时空卷积自编码器模型结构图如图2所示。3D卷积按公式所述进行操作。自编码器模型的输入首先通过编码器进行时间和空间特征的提取。编码器包括3个3D卷积层(3D Convolution)和3个最大池化层(Max-Pooling)，步长为1x1x1。最大池化层的内核尺寸和步长均为2x2x2，这意味着输入经过每个最大池化层之后时间深度、高度和宽度都减小两倍。所有层的激活函数都设置为Relu函数，所有卷积和反卷积层，在3D卷积按公式中都使用Pi＝Qi＝3， Si＝5，这些值可以根据自己的数据集找到最佳设置。
进一步地，解码器包括4个3D反卷积，激活函数为tanh，其中，卷积层输出后设置随机丢弃层，以防止模型过拟合。
其中，编码器把视频帧输入编码为时间和空间特征，解码器则把时空特征重新解码为输入视频帧。解码器包括4个3D反卷积(3D Deconvolution)，步长为2x2x2，每个反卷积输出层都使用tanh激活函数，使重建的像素值范围都在 [-1,1]之间，以便与输入保持一致。此外，我们在每个卷积层输出后都设置随机丢弃层(Dropout)，以防止模型过拟合。
进一步地，训练深度时空卷积自编码器跌倒异常检测模型包括：
使用降噪处理后的数据对训练深度时空卷积自编码器跌倒异常检测模型模型训练，通过减小模型输出的重建误差和损失函数来更新网络参数，并通过在损失函数中添加一个正则项来进行惩罚，通过反向传播算法最小化重构误差和损失函数，并在训练过程中不断调整和迭代模型参数，直到得到深度时空卷积自编码器跌倒异常检测模型，完成训练；
训练过程公式如下：
Figure BDA0003351311360000101
其中，Wi μ为视频帧的重构误差的平均值，Ri,j为输入Ii和输出Oi第j帧的重构误差；
Figure BDA0003351311360000102
其中，Wi σ视频帧的重构误差的标准差；
Ri,j＝E[(Ii,j-Oi,j)2]
其中，E为平均值；
对损失函数J()中添加一个KL散度正则项，使得深度时空卷积自编码器努力去减少神经网络编码层中活跃的神经元，这就迫使自编码器去将每个输入表示为少量激活神经元的组合，结果编码层中的每个神经元通常都会代表一个有用的特征；
KL散度公式如下：
Figure BDA0003351311360000103
其中，
Figure BDA0003351311360000104
为神经元的激活度，ρ为稀疏性参数，
将函数
Figure BDA0003351311360000105
加入到损失函数J()中，
Figure BDA0003351311360000106
其中，β为控制稀疏性惩罚项的权重系数，m为神经元个数。
识别视频帧有跌倒异常，其中，根据训练完成的模型来识别视频帧有跌倒异数据。
用跌倒异常检测模型检测包含正常和跌倒数据集时，获取模型输入数据集的重构误差，如图4和图5所示。当重构误差较低时，表示是正常活动事件，没有发生跌倒；当重构误差较高时，即输出误差图有一个峰值出现，表明发生了跌倒事件。
训练模型时，通过反向传播算法最小化重构误差和损失函数，并在训练过程中不断调整和迭代模型参数，直到得到最优的跌倒异常检测模型。
经过多次训练并调整参数，得到最优的跌倒检测模型参数如下：batch_size 为32，训练轮数为3000轮，stride步长为8，学习率learning_rate初始化为 0.01，训练后期每100轮迭代学习率变为原来的0.1倍，以更好的优化模型， dropout设为0.25。
基于上述的基于深度时空卷积自编码器的跌倒行为检测方法的装置，包括：
视频帧采集模块，用于采集视频帧，发送给识别模块识别；
预处理模块，用于预处理正常活动的视频帧数据，其中，对正常活动的视频帧做孔填充处理；
降噪模块，用于对预处理正常活动的视频帧数据后的数据降噪处理；
构建模块，用于采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；
训练模块，用于训练深度时空卷积自编码器跌倒异常检测模型；以及
识别模块，用于识别视频帧有跌倒异常。
进一步地，视频帧采集模块为深度视频帧采集模块。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.基于深度时空卷积自编码器的跌倒行为检测方法,其特征在于，该方法包括：
预处理正常活动的视频帧数据；
对预处理正常活动的视频帧数据后的数据降噪处理；
采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；
训练深度时空卷积自编码器跌倒异常检测模型；
识别视频帧有跌倒异常。
2.根据权利要求1所述的基于深度时空卷积自编码器的跌倒行为检测方法，其特征在于，所述预处理正常活动的视频帧数据包括：对正常活动的视频帧做孔填充处理，使得视频帧中的黑色孔和区域得到修复。
3.根据权利要求1所述的基于深度时空卷积自编码器的跌倒行为检测方法，其特征在于，所述对预处理正常活动的视频帧数据后的数据降噪处理包括：处理过程如下：对所述预处理正常活动的视频帧数据进行高斯噪声处理，处理过程公式如下：
编码函数编码过程：
Figure FDA0003351311350000011
其中，h为高斯噪声处理后得到的数据，f()为3D卷积编码，
Figure FDA0003351311350000012
为高斯噪声之后的模型；
解码函数解码过程：
y＝g(h)
其中，y为模型输出，g()为3D反卷积；
降噪自编码器的损失函数为：
Figure FDA0003351311350000013
其中，J()为损失函数输出，L()为平方差，x为输入。
4.根据权利要求1所述的基于深度时空卷积自编码器的跌倒行为检测方法，其特征在于，采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型包括：
自编码器的模型输入为连续视频帧，这些帧是通过将时间滑动窗口应用于视频生成的，生成公式如下：
Figure FDA0003351311350000021
其中，G为视频帧数，T为连续帧的长度，S为步幅，D为生成的输入连续视频帧数；
深度时空卷积自编码器跌倒异常检测模型包括编码器和解码器，其中，编码器负责把视频帧输入编码为时空特征，解码器则从时空特征中重建输入；编码器包括3D卷积层和池化层，3D卷积层输出公式：
Figure FDA0003351311350000022
其中，
Figure FDA0003351311350000023
为第i个3D卷积层在第j个特征图(x,y,z)位置上的输出值，Pi，Qi，Si分别是立体滤波器在第i个层上的垂直空间、水平空间和时间范围，m表示第(i-1)层的特征映射集，
Figure FDA0003351311350000024
表示上一层中第m个特征图映射连接位置pqs处立体滤波器的值，多个立体滤波器将输出多个特征图。
5.根据权利要求4所述的基于深度时空卷积自编码器的跌倒行为检测方法，其特征在于，所述编码器包括3个3D卷积层和3个池化层，激活函数为Relu函数。
6.根据权利要求4或5所述的基于深度时空卷积自编码器的跌倒行为检测方法，其特征在于，所述解码器包括4个3D反卷积，激活函数为tanh，其中，卷积层输出后设置随机丢弃层，以防止模型过拟合。
7.根据权利要求4所述的基于深度时空卷积自编码器的跌倒行为检测方法，其特征在于，所述训练深度时空卷积自编码器跌倒异常检测模型包括：
使用降噪处理后的数据对训练深度时空卷积自编码器跌倒异常检测模型模型训练，通过减小模型输出的重建误差和损失函数来更新网络参数，并通过在损失函数中添加一个正则项来进行惩罚，通过反向传播算法最小化重构误差和损失函数，并在训练过程中不断调整和迭代模型参数，直到得到深度时空卷积自编码器跌倒异常检测模型，完成训练；
训练过程公式如下：
Figure FDA0003351311350000031
其中，Wi μ为视频帧的重构误差的平均值，Ri,j为输入Ii和输出Oi第j帧的重构误差；
Figure FDA0003351311350000032
其中，Wi σ视频帧的重构误差的标准差；
Ri,j＝E[(Ii,j-Oi,j)2]
其中，E为平均值；
对损失函数J()中添加一个KL散度正则项，使得深度时空卷积自编码器努力去减少神经网络编码层中活跃的神经元，这就迫使自编码器去将每个输入表示为少量激活神经元的组合，结果编码层中的每个神经元通常都会代表一个有用的特征；
KL散度公式如下：
Figure FDA0003351311350000041
其中，
Figure FDA0003351311350000042
为神经元的激活度，ρ为稀疏性参数；
将函数
Figure FDA0003351311350000043
加入到损失函数J()中，
Figure FDA0003351311350000044
其中，β为控制稀疏性惩罚项的权重系数，m为神经元个数。
8.基于深度时空卷积自编码器的跌倒行为检测装置，其特征在于，包括：
视频帧采集模块，用于采集视频帧，发送给识别模块识别；
预处理模块，用于预处理正常活动的视频帧数据，其中，对正常活动的视频帧做孔填充处理；
降噪模块，用于对预处理正常活动的视频帧数据后的数据降噪处理；
构建模块，用于采用3D卷积构建深度时空卷积自编码器跌倒异常检测模型；
训练模块，用于训练深度时空卷积自编码器跌倒异常检测模型；以及
识别模块，用于识别视频帧有跌倒异常。
9.根据权利要求8所述的基于深度时空卷积自编码器的跌倒行为检测装置，其特征在于，所述视频帧采集模块为深度视频帧采集模块。
CN202111339429.XA 2021-11-12 2021-11-12 基于深度时空卷积自编码器的跌倒行为检测方法及装置 Active CN114067434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111339429.XA CN114067434B (zh) 2021-11-12 2021-11-12 基于深度时空卷积自编码器的跌倒行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111339429.XA CN114067434B (zh) 2021-11-12 2021-11-12 基于深度时空卷积自编码器的跌倒行为检测方法及装置

Publications (2)

Publication Number Publication Date
CN114067434A true CN114067434A (zh) 2022-02-18
CN114067434B CN114067434B (zh) 2024-05-24

Family

ID=80275312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111339429.XA Active CN114067434B (zh) 2021-11-12 2021-11-12 基于深度时空卷积自编码器的跌倒行为检测方法及装置

Country Status (1)

Country Link
CN (1) CN114067434B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546491A (zh) * 2022-11-28 2022-12-30 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503063A (zh) * 2019-08-28 2019-11-26 东北大学秦皇岛分校 基于沙漏卷积自动编码神经网络的跌倒检测方法
CN112287816A (zh) * 2020-10-28 2021-01-29 西安交通大学 一种基于深度学习的危险工作区事故自动检测报警方法
CN112329685A (zh) * 2020-11-16 2021-02-05 常州大学 一种融合型卷积神经网络人群异常行为检测的方法
US20210125583A1 (en) * 2019-10-24 2021-04-29 Facebook Technologies, Llc Neural Reconstruction of Sequential Frames
US20210256392A1 (en) * 2020-02-10 2021-08-19 Nec Laboratories America, Inc. Automating the design of neural networks for anomaly detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503063A (zh) * 2019-08-28 2019-11-26 东北大学秦皇岛分校 基于沙漏卷积自动编码神经网络的跌倒检测方法
US20210125583A1 (en) * 2019-10-24 2021-04-29 Facebook Technologies, Llc Neural Reconstruction of Sequential Frames
US20210256392A1 (en) * 2020-02-10 2021-08-19 Nec Laboratories America, Inc. Automating the design of neural networks for anomaly detection
CN112287816A (zh) * 2020-10-28 2021-01-29 西安交通大学 一种基于深度学习的危险工作区事故自动检测报警方法
CN112329685A (zh) * 2020-11-16 2021-02-05 常州大学 一种融合型卷积神经网络人群异常行为检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范子娟: "基于时空信息的视频异常检测算法", 《中国硕士论文全文数据库》, 15 February 2021 (2021-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546491A (zh) * 2022-11-28 2022-12-30 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质
CN115546491B (zh) * 2022-11-28 2023-03-10 中南财经政法大学 一种跌倒报警方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN114067434B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
Harrou et al. An integrated vision-based approach for efficient human fall detection in a home environment
CN110139597B (zh) 利用神经生理信号进行迭代分类的系统和方法
Li et al. Fall detection for elderly person care using convolutional neural networks
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN106006266B (zh) 一种应用于电梯安全监控的机器视觉建立方法
CN112580523A (zh) 行为识别方法、装置、设备及存储介质
CN106446811A (zh) 基于深度学习的驾驶员疲劳检测方法及装置
CN112287816A (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN110046675A (zh) 一种基于改进的卷积神经网络的下肢运动能力评估方法
CN111488850B (zh) 一种基于神经网络的老年人跌倒检测方法
CN113111865B (zh) 一种基于深度学习的跌倒行为检测方法和系统
US20070133884A1 (en) Method of locating a human eye in a video image
CN110936962A (zh) 一种同时监测驾驶中生理和心理疲劳的方法
CN111539331A (zh) 一种基于脑机接口的视觉图像重建系统
CN111369521A (zh) 一种基于图像质量的图像过滤方法和相关装置
CN114067434A (zh) 基于深度时空卷积自编码器的跌倒行为检测方法及装置
CN114898261A (zh) 一种基于视频和生理数据融合的睡眠质量评估方法及系统
CN109117774A (zh) 一种基于稀疏编码的多视角视频异常检测方法
Elshwemy et al. A New Approach for Thermal Vision based Fall Detection Using Residual Autoencoder.
Zambanini et al. Detecting falls at homes using a network of low-resolution cameras
CN117475502B (zh) 基于矿用的虹膜和人脸融合识别方法及系统
CN113657319A (zh) 一种基于图像识别技术的无干扰睡眠动作行为的识别方法
CN110427894A (zh) 一种人群异常运动监控方法、系统、设备及介质
CN116671902A (zh) 一种辅助诊断脑瘫的婴儿运动姿态分析系统
CN111724565A (zh) 一种安全驾驶监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant