CN111178134B - 一种基于深度学习与网络压缩的摔倒检测方法 - Google Patents

一种基于深度学习与网络压缩的摔倒检测方法 Download PDF

Info

Publication number
CN111178134B
CN111178134B CN201911223306.2A CN201911223306A CN111178134B CN 111178134 B CN111178134 B CN 111178134B CN 201911223306 A CN201911223306 A CN 201911223306A CN 111178134 B CN111178134 B CN 111178134B
Authority
CN
China
Prior art keywords
network
layer
training
displacement
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911223306.2A
Other languages
English (en)
Other versions
CN111178134A (zh
Inventor
李祖祥
曾碧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201911223306.2A priority Critical patent/CN111178134B/zh
Publication of CN111178134A publication Critical patent/CN111178134A/zh
Application granted granted Critical
Publication of CN111178134B publication Critical patent/CN111178134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明提供了一种基于深度学习与网络压缩的摔倒检测方法,该方法的检测部分由姿态估计网络与循环网络两部分构成,利用人体姿态模型从图像序列中获取人体的头部与两髋中心与其连线的中点的位置信息,计算前后两幅图像的身体中心的位移,构成一个位移序列。将这组位移序列送入循环网络中进行摔倒识别;为了扩展到多角度识别,将多个位置的摄像头输出的识别概率送入SVM分类器进行投票判别。为了提高识别速度,根据卷积核输出的特征的冗余度,对占时最长的人体姿态估计网络进行裁剪;本方法是一种纯视觉化的检测方法,既克服了传感器检测的局限性,也提高了视觉检测的速度和精度。兼备灵活性与实用性。

Description

一种基于深度学习与网络压缩的摔倒检测方法
技术领域
本发明涉及到摔倒行为检测、健康监测与机器视觉识别技术,提供一种基于深度学习与网络压缩的摔倒检测方法。
背景技术
作为能对人体产生直接影响的行为之一,摔倒不仅会对人的身体健康造成直接的负面影响,还会带来潜在的健康隐患。最为关键的一点是,摔倒本身就是反映人体健康状况恶化的重要标志。对于无人看护的老人和病人而言,能否及时发现其摔倒行为直接关系到他们的生命安全。由于由人直接通过视频监测摔倒行为需要耗费大量人力物力资源。因此智能化的摔倒检测应运而生。
目前的智能摔倒检测主要集中在传感器检测与视觉检测上。基于传感器检测的方法通过穿戴的传感器获取人体摔倒期间的加速度特征、角速度特征等序列数据并应用如阈值法等传统分类方法对数据与训练模板匹配,优点是准确率高且速度快,但使用传感器会不仅会带来高昂的制作与维护成本,而且大部分都要求使用者穿戴或携带感应设备,降低了方法的便利性与灵活性。
而当前的基于视觉检测的方法主要是通过对摄像头获取的图像进行分析,获取人体角速度变化等特征,并用SVM、CNN等判别器判别摔倒行为。此类方法耗时较长,速度与精度难以平衡。本发明的主要目的是提供一种快速且高精度的摔倒检测方法,在克服传感器检测灵活性差的基础上,达到速度远优于当前视觉检测技术的检测效果。
目前已有的解决方法与技术:
1.基于姿态分析的健壮性摔倒判别。主要思路是提取视频中人体的最佳拟合椭圆,分段轮廓的投影直方图和头部姿势随时间的变化的特征,并送入多分类SVM进行运动分类与摔倒判别。主要问题是特征信息获取难度高,直接降低了识别速度。
2.基于CNN的室内摔倒判别。主要思路是通过背景剔除法获取图像中的人体,从而得到人体姿态的变化特征图像,并将其送入CNN训练。最后用得到的CNN分类器作摔倒判别。主要问题是没有利用到摔倒过程的动态特征,没有利用时间轴上的信息,而且背景剔除法难以区分复杂的环境背景与人体。
3.基于三轴加速度传感器的摔倒检测系统。用三轴加速度传感器采集人体摔倒时的三个方向的加速度信息,用加速度数值计算人体摔倒时的姿态角。设定姿态角阈值,超出阈值时判别为摔倒。主要问题是阈值需要靠既有经验去设定,可信度不高,而且需要额外配备专用的三轴传感器。
4.基于Kinect骨架追踪的人体摔倒自动检测。利用kinect获取视频中的人体头、左肩、右肩、左髋、右髋、两髋中心6个骨架点信息,计算其空间位置与运动速度等参数。最后应用阈值法判断是否摔倒。主要问题是阈值需要人为设定,而且成本较高。
发明内容
为了克服传感器检测的低灵活性问题与视觉检测的速度过慢的问题,本发明提供了一种深度学习与网络压缩相结合的摔倒检测方法。
为了实现上述任务,本申请采用以下技术方案:
一种基于深度学习与网络压缩的摔倒检测方法,包括以下步骤:
在监测区域安装多个不同角度的摄像头,所有摄像头共享一个姿态估计网络,而每一个摄像头均对应一个独立的循环网络;
训练姿态估计网络,并对姿态估计网络进行压缩;训练循环网络,建立并训练多人投票系统;
检测过程中,对于每个摄像头,每隔固定的帧数获取一张摄像头采集的检测图像,送入训练后的姿态估计网络提取出头部、两髋中心、身体中心关键点位置;计算摄像头当前获取的检测图像与上一次获取的检测图像中人体的身体中心点的归一化位移量,并将其缓存;
当针对一个摄像头已经缓存了设定数量的位移量时,将这些位移量按照缓存顺序连接成位移序列并输入到该摄像头对应的训练好的循环网络中,输出摔倒行为的概率,若该概率大于设定的第一阈值,则该摄像头进行汇报;
若有摄像头汇报,则将所有摄像头对应的训练好的循环网络当前输出的摔倒概率输入到训练好的多人投票系统中,多人投票系统最终摔倒概率,若最终摔倒概率大于设定的第二阈值,则输出报警信号。
进一步地,所述归一化位移量的计算公式为:
Figure BDA0002301447610000031
其中,(xt,yt)、(xt-10,yt-10)分别表示当前获取的检测图像、上一次获取的检测图像中身体中心关键点位置,(at,bt)、(ct,dt)分别表示当前获取的检测图像中头部、两髋中心的位置,其中:
Figure BDA0002301447610000032
进一步地,所述姿态估计网络采用yolov2网络;在yolov2网络训练好之后,通过下面网络剪枝的方法进行网络压缩:
2.1确定剪枝对象,剪枝对象为yolov2网络的darknet-19全部卷积层与其后的全部卷积层块,其中所述卷积层块中包含多个卷积层;对所有卷积层设定裁剪概率,记li层概率为pi,i表示卷积层的序号;
2.2输入训练图像样本集X到姿态估计网络中,训练图像样本集X内的每张图片包含人体的头部与两髋中心的框图和肢体框图;
2.3对li层的所有m个卷积核输出的特征图集的集合H(H={h1,h2,…,hN},重复2.4至2.7m*pi次;其中N为训练图像样本集X中的图像数,hn表示X中的第n张图像在li层输出的特征图集;
2.4计算训练图像样本集X中每张图像在li层输出的特征图集中,每个特征图关于该特征图集中的其他特征图的相似度;
2.5计算每个特征图集中,每个特征图对应的卷积核的特征冗余度;
2.6计算li层中各卷积核关于训练图像样本集X的特征冗余度的平均值;将平均值最大的冗余度最大的卷积核删除;
2.7对姿态估计网络进行微调;
2.8如果li层不是剪枝对象中的最后一个卷积层,返回步骤2.3,选择下一个卷积层li+1并重复步骤2.3至步骤2.8;如果li已经是最后一个卷积层,则执行步骤2.9;
2.9适当降低网络学习率,用同样的训练图像样本集X训练整个姿态估计网络。
进一步地,所述卷积核的特征冗余度计算方法为:
Figure BDA0002301447610000041
其中,reda为特征图Ha对应的卷积核的特征冗余度;
用simab表示两特征图Ha,Hb的相似度:
simab=(Ha-Hb)2
其中,Ha,Hb为属于同一个特征图集合。
进一步地,所述对姿态估计网络进行微调的过程包括:
用训练图像样本集X训练第li层与其上一层li-1的权值wi,wi-1,使得下一层li+1输出的任意特征图
Figure BDA0002301447610000042
和对应于裁剪前的特征图Hj的相似度/>
Figure BDA0002301447610000043
尽可能小。
进一步地,所述用训练图像样本集X训练第li层与其上一层li-1的权值wi,wi-1,使得下一层li+1输出的任意特征图
Figure BDA0002301447610000044
和对应于裁剪前的特征图Hj的相似度/>
Figure BDA0002301447610000045
尽可能小,包括:
对X中的每一张图像,取出其在裁剪后的姿态估计网络的li+1层输出的全部特征图
Figure BDA0002301447610000046
m为li+1的卷积核数量;与其在裁剪前的网络的li+1层输出的全部特征图H={H1,H2,...,Hm},求/>
Figure BDA0002301447610000047
Figure BDA0002301447610000048
以在训练图像样本集X上的均值作为损失,训练姿态估计网络的li层与其上一层li-1,使得
Figure BDA0002301447610000049
在训练图像样本集X上的均值最小:
Figure BDA00023014476100000410
进一步地,所述循环网络采用RNN网络。
进一步地,所述建立并训练多人投票系统,包括:
建立多人投票系统,多人投票系统采用SVM分类器,以多个所述摄像头所采集的图像通过训练后的循环网络输出的多个摔倒概率值作为输入,以0-1作为是否摔倒的标签,SVM分类器输出当前处于摔倒状态的概率,以SVM分类器预测的分布与实际标签分布的交叉熵作为损失函数,对SVM分类器进行训练。
进一步地,所述的第一阈值、第二阈值均设置为0.5。
进一步地,当所述的摄像头进行汇报之后,删除位移序列中缓存最早的一个位移量后,待接收到新的缓存位移量时,通过训练好的循环网络进行下一次摔倒概率的预测;
若摔倒行为的概率小于等于第一阈值,则摄像头不进行汇报。
1.本申请将深度卷积网络与循环网络结合,实现泛化能力强且高精度的摔倒检测;提出一种新的网络剪枝方法并应用于姿态估计网络中,实现快速检测;同时采用多人投票系统,以在多角度检测的同时保持速度。
2.本申请是一种纯视觉化的检测方法,既克服了传感器检测的局限性,也提高了视觉检测的速度和精度,兼备灵活性与实用性。
附图说明
图1为本申请的基于深度学习与网络压缩的摔倒检测方法在应用时的流程示意图;
图2为基于深度学习与网络压缩方法的整体流程框图;
图3为姿态估计网络的模型结构图;
图4为姿态估计网路进行压缩的示意图;
图5为姿态估计网络进行微调的示意图;
图6为循环网络的模型结构图。
具体实施方式
本申请由姿态检测网络与摔倒识别网络两部分构成,前者是卷积网络,后者是循环网络。利用人体姿态模型从图像序列中获取人体的头部与两髋中心与其连线的中点(即身体中心)的位置信息,计算前后两幅图像的身体中心的位移,构成一个位移序列。将这组位移序列送入循环神经网络中进行摔倒识别。为了扩展到多角度识别,将多个位置的摄像头输出的识别概率送入多人投票系统进行投票判别。为了提高识别速度,根据卷积核输出的特征的冗余度,对占时最长的人体姿态估计网络进行裁剪。
一种基于深度学习与网络压缩的摔倒检测方法,如图1所示,包括如下步骤:
步骤1,在监测区域安装多个不同角度的摄像头,所有摄像头共享一个姿态估计网络,而每一个摄像头均对应一个独立的循环网络。
例如,当监测区域为住所里的房间时,摄像头可安装在检测区域的四个顶角,并使镜头指向房间中部,以确保摄像头所拍摄的图像尽可能涵盖房间区域,也能从不同角度获取房间内的图像。在其他监测环境下,摄像头可根据实际情况进行位置和数量的布设。
本申请的实施例中,姿态估计网络的作用是从摄像头采集的图像中获取人体的关键点位置,而循环网络则用于进行摔倒行为的判别。所述的多个摄像头均连接至一个中央处理模块,所述的姿态估计网络设置在中央处理模块中;所述的循环网络的数量与摄像头数量相同,每一个循环网络独立地用于对应的摄像头进行摔倒行为的判别;因此,循环网络可建立在对应的摄像头内的处理模块中,也可以在中央处理模块内分别建立对应于多个摄像头的多个循环网络。
步骤2,训练姿态估计网络,并对姿态估计网络进行压缩。
本申请的实施例中,分别需要对姿态估计网络进行训练、压缩,然后进行循环网络、多人投票系统的训练,如图2所示。
所述姿态估计网络采用yolov2网络。如图3所示,在yolov2中,姿态识别方法类似Openpose方法,识别姿态关键点与PAF(肢体向量场)。yolov2网络以摄像头获取的一张图像为输入,以图像中人体的头部与两髋中心的回归框图(回归框图包括关键点类型t、关键点中心位置(x,y)、框高h、框宽w)和肢体(在本申请中,只检测头部与两髋中心连线的肢体,即躯干)框图(肢体方向L(用0~359表示)、肢体中心位置(x,y)、框高h、框宽w)为输出。此后,利用Openpose的方法输出人体姿态(包含头部、两髋中心与其连线)。
利用预先采集的数据集或已有的数据集对姿态估计网络进行训练,训练好网络后,对姿态估计网络进行压缩剪枝操作。
图4给姿态估计网络进行压缩的示例图,具体地,本实施例中通过对网络进行剪枝以达到压缩的目的,具体步骤如下:
2.1确定剪枝对象,剪枝对象为姿态估计网络yolov2的darknet-19全部卷积层与其后的全部卷积层块,其中所述卷积层块中包含多个卷积层;对所有卷积层设定裁剪概率,记li层概率为pi,i表示卷积层的序号;
2.2输入训练图像样本集X到姿态估计网络中,X内的每张图片包含人体的头部与两髋中心的框图和肢体框图;
2.3对li层的所有m个卷积核输出的特征图集的集合H(H={h1,h2,…,hN},重复2.4至2.7m*pi(取整)次;其中N为训练图像样本集X中的图像数,hn表示训练图像样本集X中的第n(n∈N)张图像在li层输出的特征图集;
2.4计算训练图像样本集X中每张图像在li层输出的特征图集中,每个特征图关于该特征图集中的其他特征图的相似度;用simab表示两特征图Ha,Hb的相似度:
simab=(Ha-Hb)2 式1
2.5计算每个特征图集中,每个特征图对应的卷积核的特征冗余度。
令reda为Ha对应的卷积核的特征冗余度,计算每个卷积核的特征冗余度:
Figure BDA0002301447610000071
2.6计算li层中各卷积核关于训练图像样本集X的特征冗余度的平均值;将平均值最大的冗余度最大的卷积核删除;即在训练图像样本集X中的每一张图像的特征图集hn中,均找出对应于第k(k∈m)个卷积核的特征图(n个),先分别利用步骤2.5计算这n个特征图对应的特征冗余度,然后求其平均值;将所有卷积核均按照相同方法操作后,找出特征冗余度最大的卷积核进行删除。
2.7对姿态估计网络进行微调:
图5为微调姿态估计网络的示例图,用同样的训练图像样本集X训练第li层与其上一层li-1的权值wi,wi-1,使得下一层li+1输出的任意特征图
Figure BDA0002301447610000072
和对应于裁剪前(未进行网络剪枝时)的特征图Hj的相似度即/>
Figure BDA0002301447610000073
尽可能小,即:
对训练图像样本集X(图像数为N)中的每一张图像,取出其在(经过步骤2.1至步骤2.6)裁剪后的姿态估计网络的li+1层输出的全部特征图
Figure BDA0002301447610000074
Figure BDA0002301447610000075
(设m为li+1的卷积核数量),与其在裁剪前的网络的li+1层输出的全部特征图H={H1,H,...,Hm},通过式3求
Figure BDA0002301447610000076
并以在训练图像样本集X上的均值作为损失,训练姿态估计网络的li层与其上一层li-1,使得/>
Figure BDA0002301447610000077
在训练图像样本集X上的均值最小,即式4:
Figure BDA0002301447610000078
Figure BDA0002301447610000079
2.8如果li层不是剪枝对象中的最后一个卷积层,返回步骤2.3,选择下一个卷积层li+1并重复步骤2.3至步骤2.8;如果li已经是最后一个卷积层,则执行步骤2.9。
2.9适当降低网络学习率,用同样的训练图像样本集X训练整个姿态估计网络,这是因为每次裁剪网络后进行的训练仅针对两层卷积层,而非裁剪层与其前面的所有卷积层。这样最终得出的网络不一定能使得网络最终输出的变化最小(只是尽量接近最小值),因此需要再训练一次网络。
最后得到压缩后的姿态估计网络,可以大幅提高估计的速度,从而提高整个摔倒检测的速度。
步骤3,训练循环网络,建立并训练多人投票系统。
图5给出了本申请实现识别摔倒行为的循环网络,在本申请的实施例中,所述循环网络采用RNN网络。可利用训练好的状态估计网络来训练循环网络,即姿态估计网络训练好之后,利用其输出的头部、两髋中心、身体中心关键点位置计算位移量,利用位移量构成位移序列,以训练循环网络。
在图4中,当向网络中输入位移序列样本时,例如位移序列的长度为20,s1~s20为位移序列的第1~20个元素(按时间排列)。h1~h20为网络的第1~20层神经元层。每层神经元数量约100~300个。网络层h1~h19的激活函数σ1~19采用relu,h20的激活函数σ20采用sigmoid。网络一次接收一个元素输入,经过relu激活后与下一个元素一同输入到下一阶段的网络层中,重复20次后输出摔倒概率p。
设yi为第i个样本的标签,hn(Si)为第i个样本在第n层网络的输出,U为输入的位移序列s的权值、W为上一层输出hn-1的权值、b为阈值。则yi由式5给出,hn(Si)由式6给出:
Figure BDA0002301447610000081
hn(Si)=σn(Usn+Whn-1(Si)+b) 式6
上式中,σn表示第n层网络的激活函数,sn表示第n层的位移序列。
用交叉熵计算网络损失l,最小化该损失以训练网络:
Figure BDA0002301447610000082
其中,m为循环网络的训练样本集中的样本数量。
本申请的实施例中,将每一个摄像头对应的循环网络均采用上述相同的方法进行训练,保存训练后的网络。
为了能够通过多个角度进行摔倒检测,并降低误报率,本申请提出一个简单的多人投票系统,具体设置步骤为:
离线训练多人投票系统,本实施例中多人投票系统采用SVM分类器,以n个摄像头所采集的图像通过训练后的循环网络输出的n个摔倒概率值作为输入,以0-1作为是否摔倒的标签,SVM分类器输出当前处于摔倒状态的概率,以SVM分类器预测的分布与实际标签分布的交叉熵作为损失函数,对SVM分类器进行训练。
在实际检测中,当有摄像头报警时,取出n个摄像头输出的n个摔倒概率,并将其输入到SVM分类器中。当SVM输出概率值大于0.5时,判断为摔倒并向系统报警。
步骤4,检测过程中,所有摄像头同步采集图像并进行概率判定过程。对n个摄像头中的每个摄像头,每间隔固定的帧数,例如隔10帧获取摄像头采集的检测图像,送入训练后的姿态估计网络提取出头部、两髋中心、身体中心关键点位置(a,b),(c,d),(x,y),其中x,y的值由式8给出:
Figure BDA0002301447610000091
步骤5,对于每一个摄像头,计算摄像头当前获取的检测图像与上一次在10帧前获取的检测图像中人体的身体中心点的归一化位移量s,并将其缓存,作为此10帧内中心关键点的位移量:
Figure BDA0002301447610000092
其中,(xt,yt)、(xt-10,yt-10)分别表示当前获取的检测图像、10帧前获取的上一帧检测图像中身体中心关键点位置,(at,bt)、(ct,dt)分别表示当前获取的检测图像中头部、两髋中心的位置。
步骤6,当针对一个摄像头已经缓存了设定数量的位移量时,例如本实施例中设定20个位移量,则将该20个位移量按照缓存顺序连接成位移序列S并输入到该摄像头对应的训练好的循环网络中,输出摔倒行为的概率p;若p>0.5,则该摄像头向系统进行汇报,同时删除向量S中缓存最早的一个位移量,转回步骤4,待接收到新的缓存位移量时(以构成新的20个位移量),以进行下一次的判定过程;否则直接删除向量S中缓存最早的一个位移量后转回步骤4,而不进行汇报。
步骤7,若有摄像头汇报,将所有n个摄像头对应的训练好的循环网络当前输出的摔倒概率p1,p2,…,pn输入到训练好的多人投票系统中,多人投票系统最终摔倒概率P,若P>0.5,则输出报警信号。
在中央处理模块中,如果多人投票系统最终输出的摔倒概率大于设定的阈值,则最终判断监测区域有人摔倒,此时可通过例如短信提醒、电话提醒等进行报警。

Claims (7)

1.一种基于深度学习与网络压缩的摔倒检测方法,其特征在于,包括以下步骤:
在监测区域安装多个不同角度的摄像头,所有摄像头共享一个姿态估计网络,而每一个摄像头均对应一个独立的循环网络;
训练姿态估计网络,并对姿态估计网络进行压缩;训练循环网络,建立并训练多人投票系统;
检测过程中,对于每个摄像头,每隔固定的帧数获取一张摄像头采集的检测图像,送入训练后的姿态估计网络提取出头部、两髋中心、身体中心关键点位置;计算摄像头当前获取的检测图像与上一次获取的检测图像中人体的身体中心点的归一化位移量,并将其缓存;
当针对一个摄像头已经缓存了设定数量的位移量时,将这些位移量按照缓存顺序连接成位移序列并输入到该摄像头对应的训练好的循环网络中,输出摔倒行为的概率,若该概率大于设定的第一阈值,则该摄像头进行汇报;
若有摄像头汇报,则将所有摄像头对应的训练好的循环网络当前输出的摔倒概率输入到训练好的多人投票系统中,多人投票系统最终摔倒概率,若最终摔倒概率大于设定的第二阈值,则输出报警信号;
所述姿态估计网络采用yolov2网络;在yolov2网络训练好之后,通过下面网络剪枝的方法进行网络压缩:
2.1确定剪枝对象,剪枝对象为yolov2网络的darknet-19全部卷积层与其后的全部卷积层块,其中所述卷积层块中包含多个卷积层;对所有卷积层设定裁剪概率,记li层概率为pi,i表示卷积层的序号;
2.2输入训练图像样本集X到姿态估计网络中,训练图像样本集X内的每张图片包含人体的头部与两髋中心的框图和肢体框图;
2.3对li层的所有m个卷积核输出的特征图集的集合H(H={h1,h2,…,hN},重复2.4至2.7m*pi次;其中N为训练图像样本集X中的图像数,hn表示X中的第n张图像在li层输出的特征图集;
2.4计算训练图像样本集X中每张图像在li层输出的特征图集中,每个特征图关于该特征图集中的其他特征图的相似度;
2.5计算每个特征图集中,每个特征图对应的卷积核的特征冗余度;
2.6计算li层中各卷积核关于训练图像样本集X的特征冗余度的平均值;将平均值最大的冗余度最大的卷积核删除;
2.7对姿态估计网络进行微调;
2.8如果li层不是剪枝对象中的最后一个卷积层,返回步骤2.3,选择下一个卷积层li+1并重复步骤2.3至步骤2.8;如果li已经是最后一个卷积层,则执行步骤2.9;
2.9适当降低网络学习率,用同样的训练图像样本集X训练整个姿态估计网络;
所述对姿态估计网络进行微调的过程包括:
用训练图像样本集X训练第li层与其上一层li-1的权值wi,wi-1,使得下一层li+1输出的任意特征图
Figure FDA0004121659230000021
和对应于裁剪前的特征图Hj的相似度/>
Figure FDA0004121659230000022
尽可能小;
所述用训练图像样本集X训练第li层与其上一层li-1的权值wi,wi-1,使得下一层li+1输出的任意特征图
Figure FDA0004121659230000023
和对应于裁剪前的特征图Hj的相似度/>
Figure FDA0004121659230000024
尽可能小,包括:/>
对X中的每一张图像,取出其在裁剪后的姿态估计网络的li+1层输出的全部特征图
Figure FDA0004121659230000025
Figure FDA0004121659230000026
m为li+1的卷积核数量;与其在裁剪前的网络的li+1层输出的全部特征图H={H1,H2,…,Hm},求/>
Figure FDA00041216592300000212
Figure FDA0004121659230000027
以在训练图像样本集X上的均值作为损失,训练姿态估计网络的li层与其上一层li-1,使得
Figure FDA00041216592300000213
在训练图像样本集X上的均值最小:
Figure FDA0004121659230000028
2.根据权利要求1所述的基于深度学习与网络压缩的摔倒检测方法,其特征在于,所述归一化位移量的计算公式为:
Figure FDA0004121659230000029
其中,(xt,yt)、(xt-10,yt-10)分别表示当前获取的检测图像、上一次获取的检测图像中身体中心关键点位置,(at,bt)、(ct,dt)分别表示当前获取的检测图像中头部、两髋中心的位置,其中:
Figure FDA00041216592300000210
3.根据权利要求1所述的基于深度学习与网络压缩的摔倒检测方法,其特征在于,所述卷积核的特征冗余度计算方法为:
Figure FDA00041216592300000211
其中,reda为特征图Ha对应的卷积核的特征冗余度;
用simab表示两特征图Ha,Hb的相似度:
simab=(Ha-Hb)2
其中,Ha,Hb为属于同一个特征图集合。
4.根据权利要求1所述的基于深度学习与网络压缩的摔倒检测方法,其特征在于,所述循环网络采用RNN网络。
5.根据权利要求1所述的基于深度学习与网络压缩的摔倒检测方法,其特征在于,所述建立并训练多人投票系统,包括:
建立多人投票系统,多人投票系统采用SVM分类器,以多个所述摄像头所采集的图像通过训练后的循环网络输出的多个摔倒概率值作为输入,以0-1作为是否摔倒的标签,SVM分类器输出当前处于摔倒状态的概率,以SVM分类器预测的分布与实际标签分布的交叉熵作为损失函数,对SVM分类器进行训练。
6.根据权利要求1所述的基于深度学习与网络压缩的摔倒检测方法,其特征在于,所述的第一阈值、第二阈值均设置为0.5。
7.根据权利要求1所述的基于深度学习与网络压缩的摔倒检测方法,其特征在于,当所述的摄像头进行汇报之后,删除位移序列中缓存最早的一个位移量后,待接收到新的缓存位移量时,通过训练好的循环网络进行下一次摔倒概率的预测;
若摔倒行为的概率小于等于第一阈值,则摄像头不进行汇报。
CN201911223306.2A 2019-12-03 2019-12-03 一种基于深度学习与网络压缩的摔倒检测方法 Active CN111178134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911223306.2A CN111178134B (zh) 2019-12-03 2019-12-03 一种基于深度学习与网络压缩的摔倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911223306.2A CN111178134B (zh) 2019-12-03 2019-12-03 一种基于深度学习与网络压缩的摔倒检测方法

Publications (2)

Publication Number Publication Date
CN111178134A CN111178134A (zh) 2020-05-19
CN111178134B true CN111178134B (zh) 2023-05-30

Family

ID=70646367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911223306.2A Active CN111178134B (zh) 2019-12-03 2019-12-03 一种基于深度学习与网络压缩的摔倒检测方法

Country Status (1)

Country Link
CN (1) CN111178134B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907892A (zh) * 2021-01-28 2021-06-04 上海电机学院 基于多视图的人体跌倒报警方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128304A1 (zh) * 2017-12-29 2019-07-04 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN110490080A (zh) * 2019-07-22 2019-11-22 西安理工大学 一种基于图像的人体跌倒判别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128304A1 (zh) * 2017-12-29 2019-07-04 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN110490080A (zh) * 2019-07-22 2019-11-22 西安理工大学 一种基于图像的人体跌倒判别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕艳 ; 张萌 ; 姜吴昊 ; 倪益华 ; 钱小鸿 ; .采用卷积神经网络的老年人跌倒检测系统设计.浙江大学学报(工学版).2019,(06),第117-125页. *

Also Published As

Publication number Publication date
CN111178134A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN108805083B (zh) 单阶段的视频行为检测方法
CN108764059B (zh) 一种基于神经网络的人体行为识别方法及系统
CN107909005A (zh) 基于深度学习的监控场景下人物姿态识别方法
CN110717389B (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN112580523A (zh) 行为识别方法、装置、设备及存储介质
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
KR102391853B1 (ko) 영상 정보 처리 시스템 및 방법
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及系统
CN112270381A (zh) 基于深度学习的人流量检测方法
US20240046701A1 (en) Image-based pose estimation and action detection method and apparatus
Atikuzzaman et al. Human activity recognition system from different poses with cnn
CN111178134B (zh) 一种基于深度学习与网络压缩的摔倒检测方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113688761A (zh) 一种基于图像序列的行人行为类别检测方法
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
Ramzan et al. Automatic Unusual Activities Recognition Using Deep Learning in Academia.
CN111626197A (zh) 一种人体行为识别网络模型及识别方法
Sridhar et al. Anomaly Detection using CNN with SVM
CN116189286A (zh) 一种视频图像暴力行为检测模型及检测方法
Pillai et al. Fine-Tuned EfficientNetB4 Transfer Learning Model for Weather Classification
CN115601834A (zh) 基于WiFi信道状态信息的跌倒检测方法
Baptista et al. Anticipating suspicious actions using a small dataset of action templates
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
CN113989930A (zh) 基于小目标和动作识别的人体异常行为检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant