CN110991274B - 一种基于混合高斯模型和神经网络的行人摔倒检测方法 - Google Patents

一种基于混合高斯模型和神经网络的行人摔倒检测方法 Download PDF

Info

Publication number
CN110991274B
CN110991274B CN201911130289.8A CN201911130289A CN110991274B CN 110991274 B CN110991274 B CN 110991274B CN 201911130289 A CN201911130289 A CN 201911130289A CN 110991274 B CN110991274 B CN 110991274B
Authority
CN
China
Prior art keywords
skeleton
image
pedestrian
frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911130289.8A
Other languages
English (en)
Other versions
CN110991274A (zh
Inventor
何志伟
蓝孟阳
刘圆圆
高明煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911130289.8A priority Critical patent/CN110991274B/zh
Publication of CN110991274A publication Critical patent/CN110991274A/zh
Application granted granted Critical
Publication of CN110991274B publication Critical patent/CN110991274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合高斯模型和神经网络的行人摔倒检测方法。现有的基于硬件传感器和基于视频图像的摔倒检测方案检测准确率和泛化能力较差。本发明结合了混合高斯模型和神经网络，采用alphapose神经网络能对运动的物体区域进行行人目标检测和骨骼提取，单人骨骼提取的训练集采用人工合成三维人体模型的方法，之后的浅层卷积神经网络会对提取的骨骼进行分类，完成摔倒检测。高斯混合模型能快速的定位运动的前景，过滤视频帧中大量的非运动物体，减少神经网络的计算量。本发明方法检测速度快，且神经网络有较强的泛化性，能应用于实时的视频监控。

Description

一种基于混合高斯模型和神经网络的行人摔倒检测方法
技术领域
本发明属于图像处理领域，具体涉及一种基于混合高斯模型和神经网络的行人摔倒检测方法。
背景技术
在现代社会中，由于摔倒造成的经济损失一直居高不下，特别是老年人群体。随着我国人口老龄化现象的日趋明显，摔倒检测越来越成为智能监控安防工程的重要关注课题。现如今，计算机视觉技术已经取得了巨大的进步，这使得通过视频监控实时检测摔倒的发生成为了可能。
现在的摔倒检测主要存在两个方向：基于硬件传感器和基于视频图像的摔倒检测。基于硬件传感器的方向已经有了很大的进展，然而使用这种方式有许多问题，其中比较严重的有：这些设备需要长时间佩戴，对于老人的活动有比较大的阻碍；这些设备需要逐年的更新，且这些设备一般价格较高，对于独生子女家庭是个不小的负担。而基于视频图像的摔倒检测也包含基于运动物体提取，形态学操作，提取HOG特征并进行SVM分类等传统人工提取特征方向和深度学习提取骨骼方向。其中，传统人工提取特征方向具有检测速度快，计算复杂度低的优势，然而，在检测过程中，监控拍摄的角度，背景的变化，行人穿着的变化，行人体格的不同都会对检测结果带来影响，这个方法的检测准确率和泛化能力都较差。而深度学习提取骨骼方向可以通过扩大训练集的方式提高检测的准确率和泛化能力，这使得这个方法理论上能有效的实现摔倒检测。然而，有限的摔倒行人样本和巨大的计算复杂度都阻碍这一方案在实时摔倒检测方面的发展。
发明内容
本发明的目的是为了针对现在技术不能有效的应用于实时视频监控中，提出了一种基于混合高斯模型和神经网络的行人摔倒检测方法。
高斯混合模型能快速的定位运动的前景，再通过alphapose神经网络对运动的物体进行行人目标检测和骨骼提取。之后的浅层卷积神经网络会对提取的骨骼进行分类，完成摔倒检测。
本发明方法的具体步骤如下：
步骤(1).提取视频中的前景区域：
(1-1).每帧图像转化为灰度图，并使用混合高斯模型提取前景：将第一帧图像设为背景，混合高斯模型对此背景进行建模，之后每一帧图像读入后遍历每个像素点；将不符合背景模型的像素点判定为前景区域的像素点，将其设为255；符合背景模型的像素点的像素值设为0；最终形成此帧图像前景区域的掩膜；
(1-2).合并掩膜：将每N帧图像形成的掩膜进行矩阵逻辑操作中的或操作，并对结果进行形态学的先闭后开操作，最终找到前景区域的具体位置；
(1-3).输出：每读入N帧图像输出1帧输出图像，所述的输出图像为仅前景区域保持原有像素值，背景区域像素值全为0的前景区域图像；
步骤(2).利用alphapose神经网络进行行人检测和骨骼检测：
(2-1).准备行人检测数据集和单人骨骼检测数据集：
行人检测数据集：从互联网上下载已经公开的官方的行人数据集；
单人骨骼提取数据集：采用人工合成数据的方式生成，具体如下：
下载已经公开的二维骨架数据集，从骨架数据集中随机抽取骨架数据，并根据骨骼距离函数进行聚类，得到336个具有代表性的二维骨架图像；
根据二维骨架图像，生成做此336个动作的3D人体模型，且要求3D合成软件能合成不同身高、体重、性别的人体模型，且能匹配不同的穿着和背景、摄像头拍摄角度；
根据生成的数据标注骨骼关键点的坐标；
(2-2).训练yolov3行人检测神经网络，并进行检测：
训练：所述的yolov3行人检测神经网络只检测行人，其训练集即为行人检测数据集；
检测：将步骤(1)中输出图像输入训练后的行人检测神经网络，检测是否有行人；若有，则得到每个检测出的行人的外接矩形框顶点坐标，提取此矩形框内的图像；若没有，则进行下一帧图像的行人检测；
(2-3).训练单人骨骼检测网络，并进行检测：
训练：使用单人骨骼提取数据集进行单人骨骼检测网络的训练；
检测：用已经训练好的单人骨骼检测网络检测提取的的各个矩形框内的图像，输出此帧图像中每个行人的骨骼关键点坐标数据，并根据之前帧的骨骼检测结果拼接形成每个行人的骨骼时间序列图，具体实现方法如下：
形成第i帧图像中第n人单帧骨骼矩阵：分别选择左肩、右肩、左髋、右髋参照坐标点拼接形成骨骼的矩阵，拼接四个矩阵形成一个1行144列的单帧骨骼矩阵
Figure BDA0002278101300000021
其中，
Figure BDA0002278101300000031
表示以第n个人左肩
Figure BDA0002278101300000032
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure BDA0002278101300000033
表示以第n个人右肩
Figure BDA0002278101300000034
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure BDA0002278101300000035
表示以第n个人左髋
Figure BDA0002278101300000036
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure BDA0002278101300000037
表示以第n个人右髋
Figure BDA0002278101300000038
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
对单帧骨骼矩阵进行0到255之间的归一化；
同时，更新第n人的骨骼时间序列：在读入视频之前，先初始化第n个人的骨骼时间序列图Fn为空矩阵[]；在从第1帧到第i帧的读入视频过程中，依次按列往Fn尾部加入此帧图像形成的第n人单帧骨骼矩阵：
当i≤imax，按列往Fn尾部加入i帧图像形成的第n人单帧骨骼矩阵；当i＞imax，按列往Fn尾部加入i帧图像形成的第n人单帧骨骼矩阵，同时移除此骨骼时间序列中最早加入的单帧骨骼矩阵，始终保持Fn为imax行144列矩阵，形成如下形式的Fn：
Figure BDA0002278101300000039
imax为设定参数；
(2-4).关键点初分类：
对单人骨骼检测网络输出的各个行人的骨骼关键点坐标数据进行判断；根据此行人的骨骼关键点坐标数据画出骨骼，并计算此骨骼的外接矩形的宽高比，若大于设定阈值τ1，则根据下式对此人骨骼数据进行判断，若满足，则判定为疑似摔倒，将此人骨骼时间序列图输出到步骤(3)；
Figure BDA0002278101300000041
其中，
Figure BDA0002278101300000042
分别表示图像中第n人骨骼中左踝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000043
分别表示图像中第n人骨骼中右踝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000044
表示图像中第n人骨骼中左髋的y坐标轴值；
Figure BDA0002278101300000045
表示图像中第n人骨骼中右髋的y坐标轴值；
Yn,neck、Xn,neck分别表示图像中第n人骨骼中脖子的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000046
分别表示图像中第n人骨骼中左膝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000047
分别表示图像中第n人骨骼中右膝的y坐标轴值和x坐标轴值；
步骤(3).采用MobileNet网络对疑似摔倒骨骼的序列图进行分类：
(3-1).制作训练集:
采集(2-4)输出的疑似摔倒的行人的骨骼序列图，并对这些骨骼序列图进行人为标注：摔倒标注为0，误判标注为1；误判即为疑似摔倒的动作形成的骨骼序列图；
(3-2).构建MobileNet网络进行训练并检测：
MobileNet网络共28层，0-26层为系列卷积层，最后一层为全连接层，其卷积层的卷积核都为1x1或3x3；卷积层经过7x7的平均池化后与1024x1000的全连接层连接；最后一层为分类层，构建一个1024x2的分类层，并采用softmax获得类别概率；
训练：加载网络上下载的训练好的MobileNet网络权重，使用(3-1)中数据集训练网络，先只训练最后一层分类层，当损失函数的下降率低于设定阈值τ2后，再对所有层进行训练；优化器设置为RMSProp，并在每m次迭代后学习率下降10％；损失函数采用交叉熵损失函数；
检测：将(2-4)判定为疑似摔倒输出的骨骼时间序列图输入完成训练的此MobileNet网络进行分类，若判定为摔倒，则进行报警。
附图说明
图1为本发明方法的流程图。
具体实施方式
一种基于混合高斯模型和神经网络的行人摔倒检测方法，如图1所示，具体步骤如下：
步骤(1).提取视频中的前景区域：
(1-1).每帧图像转化为灰度图，并使用混合高斯模型提取前景：将第一帧图像设为背景，混合高斯模型对此背景进行建模，之后每一帧图像读入后遍历每个像素点；将不符合背景模型的像素点判定为前景区域的像素点，将其设为255；符合背景模型的像素点的像素值设为0；最终形成此帧图像前景区域的掩膜。
(1-2).合并掩膜：将每N帧图像形成的掩膜进行矩阵逻辑操作中的或操作，并对结果进行形态学的先闭后开操作，用于减少噪声和填补空洞，最终找到前景区域的具体位置；N＝10～30。
(1-3).输出：每读入N帧图像输出1帧输出图像，所述的输出图像为仅前景区域保持原有像素值，背景区域像素值全为0的前景区域图像，具体实现如下：
(k·N+1)帧图像与其对应的掩膜图像进行矩阵逻辑操作中的与操作，并将形成的图像作为输出图像，k＝2,3,4,5,6,…；(k·N+1)帧图像对应的掩膜图像是(k-1)N帧图像到k·N帧图像合并形成的掩膜。
以此图像作为输出使得alphapose神经网络只会对可能存在行人的前景区域进行检测，减少了需要检测的图像的面积，能有效的减轻alphapose神经网络的计算负担，提高运行速度。
步骤(2).利用alphapose神经网络进行行人检测和骨骼检测：
(2-1).准备行人检测数据集和单人骨骼检测数据集：
行人检测数据集：从互联网上下载已经公开的官方的行人数据集，例如：Caltech行人数据库、coco行人数据集、INRIA数据集。
单人骨骼提取数据集：采用人工合成数据的方式生成，具体如下：
下载已经公开的二维骨架数据集，从骨架数据集中随机抽取骨架数据，并根据骨骼距离函数进行聚类，得到336个具有代表性的二维骨架图像；
根据二维骨架图像，使用一些开源的3D合成软件生成做此336个动作的3D人体模型，且要求3D合成软件能合成不同身高、体重、性别的人体模型，且能匹配不同的穿着和背景、摄像头拍摄角度，用于增加数据集的多样性，增加单人骨骼提取神经网络的泛化性；
根据生成的数据标注骨骼关键点的坐标。
采用人工合成数据的方式能有效的解决缺少大量人体骨骼数据的问题，且能根据实际问题合成特定情况下的数据，灵活性好。
(2-2).训练yolov3行人检测神经网络，并进行检测：
训练：所述的yolov3行人检测神经网络只检测行人，其训练集即为行人检测数据集。
检测：将步骤(1)中输出图像输入训练后的行人检测神经网络，检测是否有行人；若有，则得到每个检测出的行人的外接矩形框顶点坐标，提取此矩形框内的图像；若没有，则进行下一帧图像的行人检测。
(2-3).训练单人骨骼检测网络，并进行检测：
训练：使用单人骨骼提取数据集进行单人骨骼检测网络的训练。
检测：用已经训练好的单人骨骼检测网络检测提取的的各个矩形框内的图像，输出此帧图像中每个行人的骨骼关键点坐标数据，并根据之前帧的骨骼检测结果拼接形成每个行人的骨骼时间序列图，具体实现方法如下：
形成第i帧图像中第n人单帧骨骼矩阵：分别选择左肩、右肩、左髋、右髋参照坐标点拼接形成骨骼的矩阵。
例如，选择此人左肩
Figure BDA0002278101300000061
为参照点，计算此人所有骨骼关节与其相对距离，形成1行36列矩阵：
Figure BDA0002278101300000062
其中，
Figure BDA0002278101300000063
分别表示图像中第n人骨骼中左踝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000064
分别表示图像中第n人骨骼中右踝的y坐标轴值和x坐标轴值；
Yn,nose、Xn,nose分别表示图像中第n人骨骼中鼻子的y坐标轴值和x坐标轴值；
Yn,neck、Xn,neck分别表示图像中第n人骨骼脖子的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000071
分别表示图像中第n人骨骼中左肩的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000072
分别表示图像中第n人骨骼中右肩的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000073
分别表示图像中第n人骨骼左肘的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000074
分别表示图像中第n人骨骼中右肘的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000075
分别表示图像中第n人骨骼中左腕的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000076
分别表示图像中第n人骨骼中右腕的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000077
分别表示图像中第n人骨骼中左髋的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000078
分别表示图像中第n人骨骼中右髋的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000079
分别表示图像中第n人骨骼中左膝的y坐标轴值和x坐标轴值；
Figure BDA00022781013000000710
分别表示图像中第n人骨骼中右膝的y坐标轴值和x坐标轴值；
Figure BDA00022781013000000711
分别表示图像中第n人骨骼中左耳的y坐标轴值和x坐标轴值；
Figure BDA00022781013000000712
分别表示图像中第n人骨骼中右耳的y坐标轴值和x坐标轴值；
Figure BDA00022781013000000713
分别表示图像中第n人骨骼中左眼的y坐标轴值和x坐标轴值；
Figure BDA00022781013000000714
分别表示图像中第n人骨骼中右眼的y坐标轴值和x坐标轴值。
其他3个由于采用不同参照点最终形成的矩形也可以用同样方法形成。拼接这4个矩阵形成一个1行144列的单帧骨骼矩阵
Figure BDA00022781013000000715
其中，
Figure BDA00022781013000000716
表示以第n个人左肩
Figure BDA00022781013000000717
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure BDA00022781013000000718
表示以第n个人右肩
Figure BDA00022781013000000719
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure BDA00022781013000000720
表示以第n个人左髋
Figure BDA00022781013000000721
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure BDA00022781013000000722
表示以第n个人右髋
Figure BDA00022781013000000723
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵。
对单帧骨骼矩阵进行0到255之间的归一化。
同时，更新第n人的骨骼时间序列：在读入视频之前，先初始化第n个人的骨骼时间序列图Fn为空矩阵[]；在从第1帧到第i帧的读入视频过程中，依次按列往Fn尾部加入此帧图像形成的第n人单帧骨骼矩阵：当i≤imax，按列往Fn尾部加入i帧图像形成的第n人单帧骨骼矩阵；当i＞imax，按列往F尾部加入i帧图像形成的第n人单帧骨骼矩阵，同时移除此骨骼时间序列中最早加入的单帧骨骼矩阵，始终保持Fn为imax行144列矩阵，即形成如下形式的Fn：
Figure BDA0002278101300000081
imax为设定参数，一般情况下设置为144即可。
(2-4).关键点初分类：
对单人骨骼检测网络输出的各个行人的骨骼关键点坐标数据进行判断；根据此行人的骨骼关键点坐标数据画出骨骼，并计算此骨骼的外接矩形的宽高比，若大于设定阈值τ1，则根据下式对此人骨骼数据进行判断，若满足，则判定为疑似摔倒，将此人骨骼时间序列图输出到步骤(3)，τ1＝0.7～0.8；
Figure BDA0002278101300000082
其中，
Figure BDA0002278101300000083
分别表示图像中第n人骨骼中左踝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000084
分别表示图像中第n人骨骼中右踝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000085
表示图像中第n人骨骼中左髋的y坐标轴值；
Figure BDA0002278101300000086
表示图像中第n人骨骼中右髋的y坐标轴值；
Yn,neck、Xn,neck分别表示图像中第n人骨骼中脖子的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000091
分别表示图像中第n人骨骼中左膝的y坐标轴值和x坐标轴值；
Figure BDA0002278101300000092
分别表示图像中第n人骨骼中右膝的y坐标轴值和x坐标轴值。
步骤(3).采用MobileNet网络对疑似摔倒骨骼的序列图进行分类：
(3-1).制作训练集:
采集(2-4)输出的疑似摔倒的行人的骨骼序列图，并对这些骨骼序列图进行人为标注：摔倒标注为0，误判标注为1；所述的误判包含下蹲，弯腰等一系列疑似摔倒的动作形成的骨骼序列图。
(3-2).构建MobileNet网络进行训练并检测：
MobileNet网络共28层，0-26层为系列卷积层，最后一层为全连接层，其卷积层的卷积核都为1x1或3x3，这使得此网络拥有极少的参数和快速的前向传播速度。卷积层经过7x7的平均池化后与1024x1000的全连接层连接。最后一层为分类层，构建一个1024x2的分类层即可，并采用softmax获得类别概率。
训练：加载网络上下载的训练好的MobileNet网络权重，使用(3-1)中数据集训练网络，先只训练最后一层分类层，当损失函数的下降率低于设定阈值τ2(τ2＝3～6％，本实施例中τ2＝5％)后，再对所有层进行训练。优化器设置为RMSProp，并在每m次迭代后学习率下降10％；损失函数采用交叉熵损失函数。
检测：将(2-4)判定为疑似摔倒输出的骨骼时间序列图输入完成训练的此MobileNet网络进行分类，若判定为摔倒，则进行报警。

Claims (6)

1.一种基于混合高斯模型和神经网络的行人摔倒检测方法，其特征在于具体步骤如下：
步骤(1).提取视频中的前景区域：
(1-1).每帧图像转化为灰度图，并使用混合高斯模型提取前景：将第一帧图像设为背景，混合高斯模型对此背景进行建模，之后每一帧图像读入后遍历每个像素点；将不符合背景模型的像素点判定为前景区域的像素点，将其设为255；符合背景模型的像素点的像素值设为0；最终形成此帧图像前景区域的掩膜；
(1-2).合并掩膜：将每N帧图像形成的掩膜进行矩阵逻辑操作中的或操作，并对结果进行形态学的先闭后开操作，最终找到前景区域的具体位置；
(1-3).输出：每读入N帧图像输出1帧输出图像，所述的输出图像为仅前景区域保持原有像素值，背景区域像素值全为0的前景区域图像；
步骤(2).利用alphapose神经网络进行行人检测和骨骼检测：
(2-1).准备行人检测数据集和单人骨骼检测数据集：
行人检测数据集：从互联网上下载已经公开的官方的行人数据集；
单人骨骼提取数据集：采用人工合成数据的方式生成，具体如下：
下载已经公开的二维骨架数据集，从骨架数据集中随机抽取骨架数据，并根据骨骼距离函数进行聚类，得到336个具有代表性的二维骨架图像；
根据二维骨架图像，生成做此336个动作的3D人体模型，且要求3D合成软件能合成不同身高、体重、性别的人体模型，且能匹配不同的穿着和背景、摄像头拍摄角度；
根据生成的数据标注骨骼关键点的坐标；
(2-2).训练yolov3行人检测神经网络，并进行检测：
训练：所述的yolov3行人检测神经网络只检测行人，其训练集即为行人检测数据集；
检测：将步骤(1)中输出图像输入训练后的行人检测神经网络，检测是否有行人；若有，则得到每个检测出的行人的外接矩形框顶点坐标，提取此矩形框内的图像；若没有，则进行下一帧图像的行人检测；
(2-3).训练单人骨骼检测网络，并进行检测：
训练：使用单人骨骼提取数据集进行单人骨骼检测网络的训练；
检测：用已经训练好的单人骨骼检测网络检测提取的的各个矩形框内的图像，输出此帧图像中每个行人的骨骼关键点坐标数据，并根据之前帧的骨骼检测结果拼接形成每个行人的骨骼时间序列图，具体实现方法如下：
形成第i帧图像中第n人单帧骨骼矩阵：分别选择左肩、右肩、左髋、右髋参照坐标点拼接形成骨骼的矩阵，拼接四个矩阵形成一个1行144列的单帧骨骼矩阵
Figure FDA0002278101290000021
其中，
Figure FDA0002278101290000022
表示以第n个人左肩
Figure FDA0002278101290000023
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure FDA0002278101290000024
表示以第n个人右肩
Figure FDA0002278101290000025
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure FDA0002278101290000026
表示以第n个人左髋
Figure FDA0002278101290000027
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
Figure FDA0002278101290000028
表示以第n个人右髋
Figure FDA0002278101290000029
为参照点，计算此人所有骨骼关节与参照点相对距离，最终拼接形成的矩阵；
对单帧骨骼矩阵进行0到255之间的归一化；
同时，更新第n人的骨骼时间序列：在读入视频之前，先初始化第n个人的骨骼时间序列图Fn为空矩阵[]；在从第1帧到第i帧的读入视频过程中，依次按列往Fn尾部加入此帧图像形成的第n人单帧骨骼矩阵：
当i≤imax，按列往Fn尾部加入i帧图像形成的第n人单帧骨骼矩阵；当i＞imax，按列往Fn尾部加入i帧图像形成的第n人单帧骨骼矩阵，同时移除此骨骼时间序列中最早加入的单帧骨骼矩阵，始终保持Fn为imax行144列矩阵，形成如下形式的Fn：
Figure FDA00022781012900000210
imax为设定参数；
(2-4).关键点初分类：
对单人骨骼检测网络输出的各个行人的骨骼关键点坐标数据进行判断；根据此行人的骨骼关键点坐标数据画出骨骼，并计算此骨骼的外接矩形的宽高比，若大于设定阈值τ1，则根据下式对此人骨骼数据进行判断，若满足，则判定为疑似摔倒，将此人骨骼时间序列图输出到步骤(3)；
Figure FDA0002278101290000031
其中，
Figure FDA0002278101290000032
分别表示图像中第n人骨骼中左踝的y坐标轴值和x坐标轴值；
Figure FDA0002278101290000033
分别表示图像中第n人骨骼中右踝的y坐标轴值和x坐标轴值；
Figure FDA0002278101290000034
表示图像中第n人骨骼中左髋的y坐标轴值；
Figure FDA0002278101290000035
表示图像中第n人骨骼中右髋的y坐标轴值；
Yn,neck、Xn,neck分别表示图像中第n人骨骼中脖子的y坐标轴值和x坐标轴值；
Figure FDA0002278101290000036
分别表示图像中第n人骨骼中左膝的y坐标轴值和x坐标轴值；
Figure FDA0002278101290000037
分别表示图像中第n人骨骼中右膝的y坐标轴值和x坐标轴值；
步骤(3).采用MobileNet网络对疑似摔倒骨骼的序列图进行分类：
(3-1).制作训练集:
采集(2-4)输出的疑似摔倒的行人的骨骼序列图，并对这些骨骼序列图进行人为标注：摔倒标注为0，误判标注为1；误判即为疑似摔倒的动作形成的骨骼序列图；
(3-2).构建MobileNet网络进行训练并检测：
MobileNet网络共28层，0-26层为系列卷积层，最后一层为全连接层，其卷积层的卷积核都为1x1或3x3；卷积层经过7x7的平均池化后与1024x1000的全连接层连接；最后一层为分类层，构建一个1024x2的分类层，并采用softmax获得类别概率；
训练：加载网络上下载的训练好的MobileNet网络权重，使用(3-1)中数据集训练网络，先只训练最后一层分类层，当损失函数的下降率低于设定阈值τ2后，再对所有层进行训练；优化器设置为RMSProp，并在每m次迭代后学习率下降10％；损失函数采用交叉熵损失函数；
检测：将(2-4)判定为疑似摔倒输出的骨骼时间序列图输入完成训练的此MobileNet网络进行分类，若判定为摔倒，则进行报警。
2.如权利要求1所述的一种基于混合高斯模型和神经网络的行人摔倒检测方法，其特征在于：步骤(1)中，N＝10～30。
3.如权利要求1所述的一种基于混合高斯模型和神经网络的行人摔倒检测方法，其特征在于(1-3)的具体方式是：
(k·N+1)帧图像与其对应的掩膜图像进行矩阵逻辑操作中的与操作，并将形成的图像作为输出图像，k＝2,3,4,5,6,…；(k·N+1)帧图像对应的掩膜图像是(k-1)N帧图像到k·N帧图像合并形成的掩膜。
4.如权利要求1所述的一种基于混合高斯模型和神经网络的行人摔倒检测方法，其特征在于：步骤(2)中，τ1＝0.7～0.8。
5.如权利要求1所述的一种基于混合高斯模型和神经网络的行人摔倒检测方法，其特征在于：步骤(2)中，imax＝144。
6.如权利要求1所述的一种基于混合高斯模型和神经网络的行人摔倒检测方法，其特征在于：步骤(3)中，τ2＝3～6％。
CN201911130289.8A 2019-11-18 2019-11-18 一种基于混合高斯模型和神经网络的行人摔倒检测方法 Active CN110991274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911130289.8A CN110991274B (zh) 2019-11-18 2019-11-18 一种基于混合高斯模型和神经网络的行人摔倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911130289.8A CN110991274B (zh) 2019-11-18 2019-11-18 一种基于混合高斯模型和神经网络的行人摔倒检测方法

Publications (2)

Publication Number Publication Date
CN110991274A CN110991274A (zh) 2020-04-10
CN110991274B true CN110991274B (zh) 2022-03-18

Family

ID=70084983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911130289.8A Active CN110991274B (zh) 2019-11-18 2019-11-18 一种基于混合高斯模型和神经网络的行人摔倒检测方法

Country Status (1)

Country Link
CN (1) CN110991274B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652111A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 一种目标检测方法及相关装置
CN111860392B (zh) * 2020-07-28 2021-04-20 珠海安联锐视科技股份有限公司 基于目标检测和前景检测热力图统计方法
CN112464856B (zh) * 2020-12-09 2023-06-13 成都华栖云科技有限公司 基于人体骨骼关键点的视频流动作检测方法
CN112528960B (zh) * 2020-12-29 2023-07-14 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN113033437A (zh) * 2021-03-29 2021-06-25 合肥工业大学 一种基于改进模式识别的跌倒监测方法及系统
CN117037272B (zh) * 2023-08-08 2024-03-19 深圳市震有智联科技有限公司 一种老人摔倒监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845456A (zh) * 2017-03-01 2017-06-13 西安电子科技大学 一种视频监控系统中人体摔倒监测的方法
CN108509938A (zh) * 2018-04-16 2018-09-07 重庆邮电大学 一种基于视频监控的跌倒检测方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110188599A (zh) * 2019-04-12 2019-08-30 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能分析识别方法
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845456A (zh) * 2017-03-01 2017-06-13 西安电子科技大学 一种视频监控系统中人体摔倒监测的方法
CN108509938A (zh) * 2018-04-16 2018-09-07 重庆邮电大学 一种基于视频监控的跌倒检测方法
CN110188599A (zh) * 2019-04-12 2019-08-30 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能分析识别方法
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Abnormal Behavior Recognition Based on Improved Gaussian Mixture Model and Hierarchical Detectors;Shuang Liu等;《2017 13th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery》;20171231;全文 *
An Image-Based Fall Detection System for the Elderly;Kun-Lin Lu等;《Appl. Sci》;20181231;全文 *
基于行为视觉的行人摔倒自动检测系统设计;陈文青等;《现代电子技术》;20161231;全文 *
改进混合高斯模型在人体跌倒检测中的应用;孙朋等;《计算机工程与应用》;20171231;全文 *

Also Published As

Publication number Publication date
CN110991274A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
CN110555368B (zh) 基于三维卷积神经网络的跌倒行为识别方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110135243B (zh) 一种基于两级注意力机制的行人检测方法及系统
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
WO2019232894A1 (zh) 一种基于复杂场景下的人体关键点检测系统及方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN111767847B (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN109902565B (zh) 多特征融合的人体行为识别方法
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN106778768A (zh) 基于多特征融合的图像场景分类方法
CN109948471A (zh) 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN105469050B (zh) 基于局部时空特征描述与金字塔词汇树的视频行为识别方法
CN109325507A (zh) 一种结合超像素显著性特征与hog特征的图像分类算法和系统
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Zhou et al. A study on attention-based LSTM for abnormal behavior recognition with variable pooling
CN104794446A (zh) 基于合成描述子的人体动作识别方法及系统
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
Konstantinidis et al. Skeleton-based action recognition based on deep learning and Grassmannian pyramids
Kishore et al. Spatial Joint features for 3D human skeletal action recognition system using spatial graph kernels
Aiouez et al. Real-time Arabic Sign Language Recognition based on YOLOv5.
CN110490049A (zh) 基于多特征和svm区分人体平衡障碍的方法
CN112613472B (zh) 一种基于深度搜索匹配的行人检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant