CN110555368A - 基于三维卷积神经网络的跌倒行为识别方法 - Google Patents

基于三维卷积神经网络的跌倒行为识别方法 Download PDF

Info

Publication number
CN110555368A
CN110555368A CN201910571714.0A CN201910571714A CN110555368A CN 110555368 A CN110555368 A CN 110555368A CN 201910571714 A CN201910571714 A CN 201910571714A CN 110555368 A CN110555368 A CN 110555368A
Authority
CN
China
Prior art keywords
sample set
neural network
falling
convolutional neural
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910571714.0A
Other languages
English (en)
Other versions
CN110555368B (zh
Inventor
张九龙
邓莉娜
屈晓娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910571714.0A priority Critical patent/CN110555368B/zh
Publication of CN110555368A publication Critical patent/CN110555368A/zh
Application granted granted Critical
Publication of CN110555368B publication Critical patent/CN110555368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维卷积神经网络的跌倒行为识别方法,首先获得并预处理跌倒数据集视频,得到跌倒行为视频样本;将视频采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法去除背景,再用小面积去除及形态学方法得到完整人体目标区域;提取人体目标区域的光流运动历史图像特征,然后对特征图像用数据重叠扩增的方式增加样本集;将重叠扩增后的跌倒行为样本集按照7:3的比例随机分成训练样本集和验证样本集输入3D卷积神经网络模型分类器并不断迭代训练,同时使用验证样本集不断验证模型分类器;将测试样本集输入训练后的模型分类器中,完成跌倒行为识别。本发明解决了现有跌倒检测方法受背景干扰导致分类识别率及精度低的问题。

Description

基于三维卷积神经网络的跌倒行为识别方法
技术领域
本发明属于图像分类识别方法技术领域,具体涉及一种基于三维卷积神 经网络的跌倒行为识别方法。
背景技术
在全球老龄化现象加剧的情况下,跌倒成为老年人首要的健康威胁之一。 越来越多的老人独居生活,无人照看,发生意外时不能及时被发现,导致老 年人的生活存在很大安全隐患。
随着我国平安城市、智能交通等各项建设的持续开展,将机器视觉技术 融入视频监控系统的方法,已成为现在的热门研究问题。目前,现有的方法 大多是应用传统的机器学习方法进行跌倒行为识别,识别率不高,导致不能 及时对老人进行救治。因此,如何高效、准确、实时的检测老人跌倒是现在 迫切需要解决的问题。
发明内容
本发明的目的是提供一种基于三维卷积神经网络的跌倒行为识别方法, 解决了现有跌倒检测方法受背景干扰导致分类识别率及精度低的问题。
本发明所采用的技术方案是,基于三维卷积神经网络的跌倒行为识别方 法,具体按照以下步骤实施:
步骤1、获得并预处理跌倒数据集视频,得到跌倒行为视频样本;
步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差 法结合的目标检测方法进行背景去除,再用小面积去除及形态学方法得到完 整人体目标区域;提取人体目标区域的光流运动历史图像特征,然后对特征 图像用数据重叠扩增的方式增加样本集;
步骤3、将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例 随机分成训练样本集和验证样本集;
步骤4、将步骤3中的训练样本集输入3D卷积神经网络模型分类器并 不断迭代训练,同时使用验证样本集不断验证模型分类器;
步骤5、将步骤2的测试样本集输入步骤4训练后的模型分类器中,完 成跌倒行为识别。
本发明的特点还在于,
步骤1具体按照以下步骤实施:
步骤1.1、将每个行为视频统一压缩至分辨率为240×320,得到视频帧 大小统一的跌倒行为视频;
步骤1.2,通过图像增强的方法处理步骤1.1的跌倒行为视频,得到增强 后的视频。
步骤2中采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方 法进行背景去除具体如下:
使用自适应阈值的三帧差法,将三帧连续图像相邻两帧差分得到两个差 分图像,自适应阈值处理过后将两个图像进行“与”运算,得到相邻三帧间有 相对运动发生的区域ψc,将区域ψc分为ψub和ψm,若是无运动区域,则建立混 合高斯模型实时更新,若有运动区域,将已被确定为运动目标区域的像素点 与该像素点的前B个高斯分布互相匹配,高斯分布按ωi,t,ki,t,k的值递减排列, 其中ωi,t,k、σi,t,k分别表示第i个高斯分布的权重和方差,匹配原则如公式(1) 所示:
|Xti,t-1|≤2.5σi,t-1 (1)
式中,Xt表示当前的新像素值,μi,t-1表示第t-1时刻的均值,σi,t-1表示 第t-1时刻的方差,
如果Xt与模型存在匹配关系,则认为该像素点为背景点,若该点与所有 的高斯模型都不存在匹配关系,则认为该点属于前景目标点;
选择3α准则进行自适应阈值二值化处理,阈值设定如公式(2)所示:
T=3α+μ (2)
其中,α表示两个差分图像均值相加和的平均值,μ表示两个差分图像 方差相加和的平均值。
步骤2中对结果进行小面积去除及形态学处理具体如下:
首先对目标图像进行膨胀操作,填充断裂区域;对目标图像进行腐蚀操 作,中和膨胀的区域,减少因膨胀带来的图像失真;计算各个轮廓面积;然 后轮廓面积筛选,得到最大的区域轮廓。
步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下:
将光流法与运动历史图像结合获得人体轮廓剪影,按照公式(3)进行 处理:
flow_mhii=flow_mhii-1+flowi-mean(flow_whii-1+flowi)*a (3)
其中,flow_mhii表示最终所求第i帧的光流运动历史图像,flowi表示 第i帧的光流图像。
系数a=0.8。
步骤2中采用数据重叠扩增的方式增加训练样本,数据重叠扩增的具体 操作如下:
3D卷积神经网络以10帧为1个输入,设置对每个跌倒视频样本在每隔 5帧后再采样一个连续的10帧连续视频帧序列,即从1到10帧为一个样本, 6到15帧为第二个样本,11到20为第三个样本,以此类推,最终得到重叠 扩增后的跌倒行为样本集。
步骤4具体如下:
步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模 型中,训练时每个批样本数包含10帧图片,读取一次的形状为 10×10×240×320×3的五维张量,以及10帧对应的标签,形状为16×1的一维 张量,模型的初始学习率设为0.0003,学习率衰减率为0.9,权重的衰退率 为0.0005,随机失活Dropout设置值为0.5,最大迭代次数为20K次;
步骤4.2、模型分类器中网络模型包含10层,输入是连续10帧的光流 运动历史图像,分辨率大小240×320;共包含7个卷积层:Conv1、Conv2、 Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层:Pool1、Pool2、Pool3、 Pool4、Pool5、2个全连接层:Fc6、Fc7以及一个softmax分类层,其中在 每个卷积层和全连接层后均接入ReLu非线性层,在全连接层的ReLu非线 性层后采用Dropout技术,以固定概率p随机丢弃网络中的一部分神经网络 单元,被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献,防止 网络训练出现过拟合现象;
步骤4.3、所有的卷积层均采用3D卷积核,大小为3×3×3,步长均为 1×1×1,卷积核的个数依次设定为64、64、128、256、256,池化层均采用 3D最大池化,采用3D池化进行下采样,除了第一层采用1×2×2大小的池 化核和1×2×2大小的步长,其余池化层均采用2×2×2大小的池化核和步长, 两层全连接层各含有512个输出单元;
步骤4.4、在3D卷积神经网络中不断迭代训练,得到训练好的模型,将 测试样本集输入训练好的模型中,用softmax回归模型进行分类,最终得到 分类的结果。
本发明的有益效果是,基于三维卷积神经网络的跌倒行为识别方法,采 用光流运动历史图像作为输入,它相比堆叠光流特征含有更多的有用信息, 减少了冗余信息的计算,提高了算法的识别率;本发明的识别方法所训练的 模型分类器参数量比较少,训练用时较少,收敛速度快,识别准确率高;本 发明的识别方法能够不断增加人体行为类别,具有较好的鲁棒性、扩展性。
附图说明
图1是本发明基于三维卷积神经网络的跌倒行为识别方法中模型分类器 训练流程图;
图2是本发明基于三维卷积神经网络的跌倒行为识别方法中的基于混合 高斯与自适应阈值的三帧差法结合的目标检测结果图像;
图3是本发明基于三维卷积神经网络的跌倒行为识别方法中的光流运动 历史图像;
图4是本发明基于三维卷积神经网络的跌倒行为识别方法中数据重叠扩 增的示意图;
图5是基于三维卷积神经网络的跌倒行为识别方法中模型分类器网络结 构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于三维卷积神经网络的跌倒行为识别方法,如图1所示,具体 按照以下步骤实施:
步骤1、获得并预处理跌倒数据集视频,得到跌倒行为视频样本,具体 按照以下步骤实施:
步骤1.1、将每个行为视频统一压缩至分辨率为240×320,得到视频帧 大小统一的跌倒行为视频;
步骤1.2,通过图像增强的方法处理步骤1.1的跌倒行为视频,得到增强 后的视频。
步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差 法结合的目标检测方法进行背景去除,再用小面积去除及形态学方法得到完 整人体目标区域;提取人体目标区域的光流运动历史图像特征,然后对特征 图像用数据重叠扩增的方式增加样本集,其中采用基于混合高斯与自适应阈 值的三帧差法结合的目标检测方法进行背景去除具体如下:
使用自适应阈值的三帧差法,将三帧连续图像相邻两帧差分得到两个差 分图像,自适应阈值处理过后将两个图像进行“与”运算,得到相邻三帧间有 相对运动发生的区域ψc,将区域ψc分为ψub和ψm,若是无运动区域,则建立混 合高斯模型实时更新,若有运动区域,将已被确定为运动目标区域的像素点 与该像素点的前B个高斯分布互相匹配,高斯分布按ωi,t,ki,t,k的值递减排列, 其中ωi,t,k、σi,t,k分别表示第i个高斯分布的权重和方差,匹配原则如公式(1) 所示:
|Xti,t-1|≤2.5σi,t-1 (1)
式中,Xt表示当前的新像素值,μi,t-1表示第t-1时刻的均值,σi,t-1表示 第t-1时刻的方差,
如果Xt与模型存在匹配关系,则认为该像素点为背景点,若该点与所有 的高斯模型都不存在匹配关系,则认为该点属于前景目标点;
选择3α准则进行自适应阈值二值化处理,阈值设定如公式(2)所示:
T=3α+μ (2)
其中,α表示两个差分图像均值相加和的平均值,μ表示两个差分图像 方差相加和的平均值。
步骤2中对结果进行小面积去除及形态学处理具体如下:
首先对目标图像进行膨胀操作,填充断裂区域;对目标图像进行腐蚀操 作,中和膨胀的区域,减少因膨胀带来的图像失真;计算各个轮廓面积;然 后轮廓面积筛选,得到最大的区域轮廓,得到的结果如图2所示。
步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下:
将光流法与运动历史图像结合获得人体轮廓剪影,按照公式(3)进行 处理,结果如图3所示:
flow_mhii=flow_mhii-1+flowi-mean(flow_mhii-1+flowi)*a (3)
其中,flow_mhii表示最终所求第i帧的光流运动历史图像,flowi表 示第i帧的光流图像。由于光流图是灰度图像,所以先将光流图像转化为三 通道图像,利用加和的方法将多帧光流信息压缩至一张图像上,公式中减去 两者均值的方法能令一部分运动历史图像中弱的轮廓消失,系数a=0.8时效 果最好。
用单个数据集进行训练时,训练数据不太充足,因为跌倒数据集是有限 的,需要找到有效的方法进行数据扩充。因此,采用数据重叠扩增的方式增 加训练样本,步骤2中采用数据重叠扩增的方式增加训练样本,如图4所示, 数据重叠扩增的具体操作如下:
3D卷积神经网络以10帧为1个输入,设置对每个跌倒视频样本在每隔 5帧后再采样一个连续的10帧连续视频帧序列,即从1到10帧为一个样本, 6到15帧为第二个样本,11到20为第三个样本,以此类推,最终得到重叠 扩增后的跌倒行为样本集。
步骤3,将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例 随机分成训练样本集和验证样本集;
为了防止在训练模型分类器过程中出现过拟合,抽出一小部分数据作为 验证数据集,检验模型分类器是否出现过拟合(在不断迭代的过程中,当训 练数据集的识别准确率很高而验证集的识别准确率却很低时,即出现了过拟 合现象)。
步骤4,将步骤3中的训练样本集输入3D卷积神经网络模型分类器并 不断迭代训练,同时使用验证样本集不断验证模型分类器,具体如下:
步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模 型中,训练时每个批样本数包含10帧图片,读取一次的形状为 10×10×240×320×3的五维张量,以及10帧对应的标签,形状为16×1的一维 张量,模型的初始学习率设为0.0003,学习率衰减率为0.9,权重的衰退率 为0.0005,随机失活Dropout设置值为0.5,最大迭代次数为20K次;
步骤4.2、如图5所示,模型分类器中网络模型包含10层,输入是连续 10帧的光流运动历史图像,分辨率大小240×320;共包含7个卷积层:Conv1、 Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层:Pool1、Pool2、 Pool3、Pool4、Pool5、2个全连接层:Fc6、Fc7以及一个softmax分类层, 其中在每个卷积层和全连接层后均接入ReLu非线性层,在全连接层的ReLu 非线性层后采用Dropout技术,以固定概率p随机丢弃网络中的一部分神经网络单元,被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献, 防止网络训练出现过拟合现象;
步骤4.3、所有的卷积层均采用3D卷积核,大小为3×3×3,步长均为 1×1×1,卷积核的个数依次设定为64、64、128、256、256,与二维卷积最 大的不同之处在于,在卷积核上增加了depth时间维度。池化层均采用3D 最大池化,采用3D池化进行下采样,因为三维卷积神经网络采用三维卷积 核,训练后得到的特征维数比较高,为了减少计算量的规模、避免过拟合现 象及保持时间尺度上的不变性,采用3D池化进行下采样,逐步减少立方体 的特征规模。除了第一层采用1×2×2大小的池化核和1×2×2大小的步长,其 余池化层均采用2×2×2大小的池化核和步长,这样做的原因是不过早的缩小 时间序列上的长度。所有层的激活函数均采用ReLu函数,它的优点在于收 敛速度快,可以避免梯度消失问题,两层全连接层各含有512个输出单元;
步骤4.4、在3D卷积神经网络中不断迭代训练,得到训练好的模型,将 测试样本集输入训练好的模型中,用softmax回归模型进行分类,最终得到 分类的结果。softmax是logistic回归模型对于多分类问题的推广,即类的数 量可以是两个以上,softmax可以计算输出属于每一类的概率,这里主要分 为跌倒及非跌倒行为。
步骤5,将步骤2的测试样本集输入步骤4训练后的模型分类器中,完 成跌倒行为识别。

Claims (8)

1.基于三维卷积神经网络的跌倒行为识别方法,其特征在于,具体按照以下步骤实施:
步骤1、获得并预处理跌倒数据集视频,得到跌倒行为视频样本;
步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法进行背景去除,再用小面积去除及形态学方法得到完整人体目标区域;提取人体目标区域的光流运动历史图像特征,然后对特征图像用数据重叠扩增的方式增加样本集;
步骤3、将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例随机分成训练样本集和验证样本集;
步骤4、将步骤3中的训练样本集输入3D卷积神经网络模型分类器并不断迭代训练,同时使用验证样本集不断验证模型分类器;
步骤5、将步骤2的测试样本集输入步骤4训练后的模型分类器中,完成跌倒行为识别。
2.根据权利要求1中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述步骤1具体按照以下步骤实施:
步骤1.1、将每个行为视频统一压缩至分辨率为240×320,得到视频帧大小统一的跌倒行为视频;
步骤1.2、通过图像增强的方法处理步骤1.1的跌倒行为视频,得到增强后的视频。
3.根据权利要求1中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述步骤2中采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法进行背景去除具体如下:
使用自适应阈值的三帧差法,将三帧连续图像相邻两帧差分得到两个差分图像,自适应阈值处理过后将两个图像进行“与”运算,得到相邻三帧间有相对运动发生的区域ψc,将区域ψc分为ψub和ψm,若是无运动区域,则建立混合高斯模型实时更新,若有运动区域,将已被确定为运动目标区域的像素点与该像素点的前B个高斯分布互相匹配,高斯分布按ωi,t,ki,t,k的值递减排列,其中ωi,t,k、σi,t,k分别表示第i个高斯分布的权重和方差,匹配原则如公式(1)所示:
|Xti,t-1|≤2.5σi,t-1 (1)
式中,Xt表示当前的新像素值,μi,t-1表示第t-1时刻的均值,σi,t-1表示第t-1时刻的方差,
如果Xt与模型存在匹配关系,则认为该像素点为背景点,若该点与所有的高斯模型都不存在匹配关系,则认为该点属于前景目标点;
选择3α准则进行自适应阈值二值化处理,阈值设定如公式(2)所示:
T=3α+μ (2)
其中,α表示两个差分图像均值相加和的平均值,μ表示两个差分图像方差相加和的平均值。
4.根据权利要求3中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述步骤2中对结果进行小面积去除及形态学处理具体如下:
首先对目标图像进行膨胀操作,填充断裂区域;对目标图像进行腐蚀操作,中和膨胀的区域,减少因膨胀带来的图像失真;计算各个轮廓面积;然后轮廓面积筛选,得到最大的区域轮廓。
5.根据权利要求3中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下:
将光流法与运动历史图像结合获得人体轮廓剪影,按照公式(3)进行处理:
flow_mhii=flow_mhii-1+flowi-mean(flow_mhii-1+flowi)*a (3)
其中,flow_mhii表示最终所求第i帧的光流运动历史图像,flowi表示第i帧的光流图像。
6.根据权利要求5中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述系数a=0.8。
7.根据权利要求5中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述步骤2中采用数据重叠扩增的方式增加训练样本,数据重叠扩增的具体操作如下:
3D卷积神经网络以10帧为1个输入,设置对每个跌倒视频样本在每隔5帧后再采样一个连续的10帧连续视频帧序列,即从1到10帧为一个样本,6到15帧为第二个样本,11到20为第三个样本,以此类推,最终得到重叠扩增后的跌倒行为样本集。
8.根据权利要求7中的基于三维卷积神经网络的跌倒行为识别方法,其特征在于,所述步骤4具体如下:
步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模型中,训练时每个批样本数包含10帧图片,读取一次的形状为10×10×240×320×3的五维张量,以及10帧对应的标签,形状为16×1的一维张量,模型的初始学习率设为0.0003,学习率衰减率为0.9,权重的衰退率为0.0005,随机失活Dropout设置值为0.5,最大迭代次数为20K次;
步骤4.2、模型分类器中网络模型包含10层,输入是连续10帧的光流运动历史图像,分辨率大小240×320;共包含7个卷积层:Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层:Pool1、Pool2、Pool3、Pool4、Pool5、2个全连接层:Fc6、Fc7以及一个softmax分类层,其中在每个卷积层和全连接层后均接入ReLu非线性层,在全连接层的ReLu非线性层后采用Dropout技术,以固定概率p随机丢弃网络中的一部分神经网络单元,被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献,防止网络训练出现过拟合现象;
步骤4.3、所有的卷积层均采用3D卷积核,大小为3×3×3,步长均为1×1×1,卷积核的个数依次设定为64、64、128、256、256,池化层均采用3D最大池化,采用3D池化进行下采样,除了第一层采用1×2×2大小的池化核和1×2×2大小的步长,其余池化层均采用2×2×2大小的池化核和步长,两层全连接层各含有512个输出单元;
步骤4.4、在3D卷积神经网络中不断迭代训练,得到训练好的模型,将测试样本集输入训练好的模型中,用softmax回归模型进行分类,最终得到分类的结果。
CN201910571714.0A 2019-06-28 2019-06-28 基于三维卷积神经网络的跌倒行为识别方法 Active CN110555368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910571714.0A CN110555368B (zh) 2019-06-28 2019-06-28 基于三维卷积神经网络的跌倒行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910571714.0A CN110555368B (zh) 2019-06-28 2019-06-28 基于三维卷积神经网络的跌倒行为识别方法

Publications (2)

Publication Number Publication Date
CN110555368A true CN110555368A (zh) 2019-12-10
CN110555368B CN110555368B (zh) 2022-05-03

Family

ID=68735419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910571714.0A Active CN110555368B (zh) 2019-06-28 2019-06-28 基于三维卷积神经网络的跌倒行为识别方法

Country Status (1)

Country Link
CN (1) CN110555368B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
CN111931568A (zh) * 2020-06-30 2020-11-13 青岛科技大学 一种基于增强式学习的人体跌倒检测方法及系统
CN111985402A (zh) * 2020-08-20 2020-11-24 广东电网有限责任公司电力科学研究院 一种变电站安全围栏翻越行为识别方法、系统及设备
CN112115876A (zh) * 2020-09-21 2020-12-22 四川弘和通讯有限公司 一种基于3d卷积神经网络的水溶法实验过程识别方法
CN112270317A (zh) * 2020-10-16 2021-01-26 西安工程大学 一种基于深度学习和帧差法的传统数字水表读数识别方法
CN112329656A (zh) * 2020-11-10 2021-02-05 广西大学 一种视频流中人体动作关键帧的特征提取方法
CN112346050A (zh) * 2020-10-23 2021-02-09 清华大学 基于Wi-Fi设备的跌倒检测方法及系统
CN112464844A (zh) * 2020-12-07 2021-03-09 天津科技大学 一种基于深度学习与运动目标检测的人体行为动作识别方法
CN112541403A (zh) * 2020-11-20 2021-03-23 中科芯集成电路有限公司 一种利用红外摄像头的室内人员跌倒检测方法
CN112597821A (zh) * 2020-12-11 2021-04-02 齐鲁工业大学 一种机械臂动作识别方法、系统、终端及存储介质
CN112766035A (zh) * 2020-12-01 2021-05-07 华南理工大学 一种面向公交车的乘客对司机的暴力行为识别系统与方法
CN113095295A (zh) * 2021-05-08 2021-07-09 广东工业大学 一种基于改进关键帧提取的跌倒检测方法
CN113242469A (zh) * 2021-04-21 2021-08-10 南京大学 一种自适应视频传输配置方法和系统
CN113723169A (zh) * 2021-04-26 2021-11-30 中国科学院自动化研究所 基于SlowFast的行为识别方法、系统及设备
CN113743339A (zh) * 2021-09-09 2021-12-03 三峡大学 一种基于场景识别的室内跌倒检测方法和系统
CN115171217A (zh) * 2022-07-27 2022-10-11 北京拙河科技有限公司 一种动态背景下的动作识别方法及系统
CN112270317B (zh) * 2020-10-16 2024-06-07 西安工程大学 一种基于深度学习和帧差法的传统数字水表读数识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067416A (zh) * 2017-05-11 2017-08-18 南宁市正祥科技有限公司 一种运动目标的检测方法
CN108133188A (zh) * 2017-12-22 2018-06-08 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学(保定) 基于注意力机制和3d卷积神经网络的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067416A (zh) * 2017-05-11 2017-08-18 南宁市正祥科技有限公司 一种运动目标的检测方法
CN108133188A (zh) * 2017-12-22 2018-06-08 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学(保定) 基于注意力机制和3d卷积神经网络的人体行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINXIN XIE 等: "Image De-noising Algorithm based on Gaussian Mixture Model and Adaptive Threshold Modeling", 《PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON INVENTIVE COMPUTING AND INFORMATICS 》 *
丁磊 等: "基于改进的三帧差分法运动目标检测", 《视频应用与工程》 *
张九龙 等: "基于时间维度局部特征的人体行为识别", 《西安理工大学学报》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
CN111931568A (zh) * 2020-06-30 2020-11-13 青岛科技大学 一种基于增强式学习的人体跌倒检测方法及系统
CN111985402A (zh) * 2020-08-20 2020-11-24 广东电网有限责任公司电力科学研究院 一种变电站安全围栏翻越行为识别方法、系统及设备
CN111985402B (zh) * 2020-08-20 2021-09-14 广东电网有限责任公司电力科学研究院 一种变电站安全围栏翻越行为识别方法、系统及设备
CN112115876A (zh) * 2020-09-21 2020-12-22 四川弘和通讯有限公司 一种基于3d卷积神经网络的水溶法实验过程识别方法
CN112270317A (zh) * 2020-10-16 2021-01-26 西安工程大学 一种基于深度学习和帧差法的传统数字水表读数识别方法
CN112270317B (zh) * 2020-10-16 2024-06-07 西安工程大学 一种基于深度学习和帧差法的传统数字水表读数识别方法
CN112346050A (zh) * 2020-10-23 2021-02-09 清华大学 基于Wi-Fi设备的跌倒检测方法及系统
CN112329656A (zh) * 2020-11-10 2021-02-05 广西大学 一种视频流中人体动作关键帧的特征提取方法
CN112329656B (zh) * 2020-11-10 2022-05-10 广西大学 一种视频流中人体动作关键帧的特征提取方法
CN112541403A (zh) * 2020-11-20 2021-03-23 中科芯集成电路有限公司 一种利用红外摄像头的室内人员跌倒检测方法
CN112541403B (zh) * 2020-11-20 2023-09-22 中科芯集成电路有限公司 一种利用红外摄像头的室内人员跌倒检测方法
CN112766035A (zh) * 2020-12-01 2021-05-07 华南理工大学 一种面向公交车的乘客对司机的暴力行为识别系统与方法
CN112766035B (zh) * 2020-12-01 2023-06-23 华南理工大学 一种面向公交车的乘客对司机的暴力行为识别系统与方法
CN112464844A (zh) * 2020-12-07 2021-03-09 天津科技大学 一种基于深度学习与运动目标检测的人体行为动作识别方法
CN112597821A (zh) * 2020-12-11 2021-04-02 齐鲁工业大学 一种机械臂动作识别方法、系统、终端及存储介质
CN113242469A (zh) * 2021-04-21 2021-08-10 南京大学 一种自适应视频传输配置方法和系统
CN113242469B (zh) * 2021-04-21 2022-07-12 南京大学 一种自适应视频传输配置方法和系统
CN113723169A (zh) * 2021-04-26 2021-11-30 中国科学院自动化研究所 基于SlowFast的行为识别方法、系统及设备
CN113723169B (zh) * 2021-04-26 2024-04-30 中国科学院自动化研究所 基于SlowFast的行为识别方法、系统及设备
CN113095295B (zh) * 2021-05-08 2023-08-18 广东工业大学 一种基于改进关键帧提取的跌倒检测方法
CN113095295A (zh) * 2021-05-08 2021-07-09 广东工业大学 一种基于改进关键帧提取的跌倒检测方法
CN113743339A (zh) * 2021-09-09 2021-12-03 三峡大学 一种基于场景识别的室内跌倒检测方法和系统
CN113743339B (zh) * 2021-09-09 2023-10-03 三峡大学 一种基于场景识别的室内跌倒检测方法和系统
CN115171217A (zh) * 2022-07-27 2022-10-11 北京拙河科技有限公司 一种动态背景下的动作识别方法及系统
CN115171217B (zh) * 2022-07-27 2023-03-03 北京拙河科技有限公司 一种动态背景下的动作识别方法及系统

Also Published As

Publication number Publication date
CN110555368B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN110555368B (zh) 基于三维卷积神经网络的跌倒行为识别方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
Wang et al. Automated crack severity level detection and classification for ballastless track slab using deep convolutional neural network
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
Bayar et al. A deep learning approach to universal image manipulation detection using a new convolutional layer
CN109934158B (zh) 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法
CN107909005A (zh) 基于深度学习的监控场景下人物姿态识别方法
CN110287777B (zh) 一种自然场景下的金丝猴躯体分割算法
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111709300B (zh) 基于视频图像的人群计数方法
CN112949560B (zh) 双通道特征融合下长视频表情区间连续表情变化识别方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
Yusof et al. Automated asphalt pavement crack detection and classification using deep convolution neural network
CN110991554B (zh) 一种基于改进pca的深度网络图像分类方法
CN113837956A (zh) 无配对监督云检测以及大区域厚云去除方法
Liu et al. Image retrieval using CNN and low-level feature fusion for crime scene investigation image database
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN114842507A (zh) 一种基于组优化奖励的强化行人属性识别方法
CN111126185B (zh) 一种针对道路卡口场景的深度学习车辆目标识别方法
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant