CN111680613A - 一种实时检测手扶电梯乘客摔倒行为的方法 - Google Patents

一种实时检测手扶电梯乘客摔倒行为的方法 Download PDF

Info

Publication number
CN111680613A
CN111680613A CN202010494415.4A CN202010494415A CN111680613A CN 111680613 A CN111680613 A CN 111680613A CN 202010494415 A CN202010494415 A CN 202010494415A CN 111680613 A CN111680613 A CN 111680613A
Authority
CN
China
Prior art keywords
key points
passenger
extracted
skeleton
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010494415.4A
Other languages
English (en)
Other versions
CN111680613B (zh
Inventor
唐俊
张建军
王年
朱明�
鲍文霞
张艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010494415.4A priority Critical patent/CN111680613B/zh
Publication of CN111680613A publication Critical patent/CN111680613A/zh
Application granted granted Critical
Publication of CN111680613B publication Critical patent/CN111680613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种实时检测手扶电梯乘客摔倒行为的方法，该方法包括下述步骤，步骤一，采集乘客搭乘手扶电梯视频图像，并且处理视频图像，将视频中乘客摔倒和正常行为分别裁剪作为训练样本，得到训练集和测试集；包括本发明利用视频图像中多帧结合的方法，能够有效的得到时间方向信息。相比使用卷积神经网络提取时间方向的信息，具有简单高效的特点；本发明利用提取乘客的骨骼关键点信息作为基础样本，根据动态行为是连续性的特点，当出现人体部分被遮挡时，此时会出现部分骨骼关键点丢失，可根据前面提取相对应的骨骼关键点结合Neck的相对位置进行填充，减少因为骨骼关键点缺失导致误判和漏判的情况。

Description

一种实时检测手扶电梯乘客摔倒行为的方法
技术领域
本发明属于视频图像处理、人体姿态估计、深度学习以及手扶梯安全运行 技术领域，具体是一种实时检测手扶电梯乘客摔倒行为的方法。
背景技术
随着城市的发展，大型商场、超市、车站及城市轨道交通等场所，对于手 扶电梯的使用越来越多，可能出现的事故也越来越多。随之而来的手扶电梯的 运行安全问题越来越受到重视。乘客在乘坐手扶梯时，在出现的事故中大多数 是摔倒事件。在乘客摔倒时，于手扶电梯没有实时检测乘客摔倒的功能和预警 措施，手扶电梯的状态依然会按照正常来运行，如果工作人员不能及时的发现 以及应对事故的发生，可能会造成严重的后果。本发明使用视频监控作为数据 源，能够实时的分析及判断视频中是否有乘客摔倒的事件发生。如果有摔倒事 件发生，能够及时的检测到乘客摔倒事件的发生，并给手扶电梯发送响应信号让其迅速切换状态并通过报警提醒工作人员，从而避免事故发生时由于手扶电 梯不能及时做出响应对乘客造成的更大的伤害。通过，这种方法能够尽可能的 将事故对乘客造成的伤害降到最低。
随着深度学习的兴起，作为其技术核心的神经网络具有很强的学习能力。 然而在行为识别领域，网络模型的结构非常的复杂。在训练一个识别人的行为 网络模型时需要大量的样本进行学习，而且训练时需要消耗大量的计算资源。 而且只能离线检测人的动态行为，不具有实时检测的特点。
为了解决现有方法不能实时检测视频图像中人的行为状态，本发明针对手 扶电梯的场景下，提供了一种基于视频图像的实时检测手扶电梯乘客摔倒行为 的检测方法，根据人体的骨骼关键点的变化判断人的动态行为，以人体骨骼关 键点作为特征，能更好的关注人的行为，减少其他因素的干扰。提取人体动态 行为骨骼关键点作为基础特征，并结合FsNet网络对其进行为识别分类。而且 本发明的整体流程可以实现端到端的训练和检测，使用少量计算资源和少量样 本就能够实现较好的效果，能够实时准确的检测到视频图像中发生的摔倒事件。
发明内容
本发明的目的在于提供一种实时检测手扶电梯乘客摔倒行为的方法。
本发明的目的可以通过以下技术方案实现：
一种实时检测手扶电梯乘客摔倒行为的方法，该方法包括下述步骤：
步骤一：采集乘客搭乘手扶电梯视频图像，并且处理视频图像，将视频中 乘客摔倒和正常行为分别裁剪作为训练样本，得到训练集和测试集；
步骤二：利用OpenPose提取视频图像中乘客的人体骨骼关键点及预处理， 具体为：
步骤2.1：提取t时刻图像帧中乘客骨骼关键点k是骨骼点 的数量；使用OpenPose模型提取视频图像中乘客的骨骼关键点序列，记为
Figure BDA0002522296220000022
Figure BDA0002522296220000023
序列中包含18个骨骼关键点元素，其中每个关键点元 素的内容格式为(x,y)，x和y分别表示x轴和y轴上的坐标值；
Figure BDA0002522296220000024
按照从前往后顺序分别为：
Nose,Neck,Rshoulder,Relbow,Rwrist,LShoulder,LElbow,LWrist,RHip,RKnee,Rankle,LHip,LKnee,LAnkle,Reye,LEye,Rear,Lear；
步骤2.2：对提取的
Figure BDA0002522296220000025
骨骼关键点进行筛选；将i＝1,15,16,17,18的骨骼关键点删除得到
Figure BDA0002522296220000026
其中k是剩余骨骼关键点的数量；
步骤2.3：对缺失的骨骼关键点进行填充得到zt；
步骤2.4：对wt骨骼关键点序列里面的数据进行归一化得到ft；
步骤2.5：提取训练集中训练样本或者视频图像的骨骼关键点序列得到特征Xskeleton；
步骤2.6：将训练集中第N个训练样本提取的骨骼关键点特征用矩阵表示
Figure BDA0002522296220000036
Figure BDA0002522296220000031
其中n是第N个训练样本中的视频图像帧数，j是每帧提取到的骨骼关键的 数量；
步骤三：对提取乘客的人体骨骼关键点序列进行特征提取和处理：
步骤3.1：当特征提取时设置g＝5帧为一个动态行为提取特征的基础样本， 则
Figure BDA0002522296220000032
步骤3.2：从骨骼关键点提取骨骼关键点间的速度，则Pskeleton中的每个基础 样本中的每个骨骼关键点提取到的速度表示为：
Figure BDA0002522296220000033
Figure BDA0002522296220000034
式中t表示帧间时间，vx和vy分别表示x方向和y方向上的速度变化；则Pskeleton中{fn-4,fn-3,fn-2,fn-1,fn}的骨骼关键点的平均速度为：
Figure BDA0002522296220000035
则得到第N个视频图像中乘客骨骼关键点对应的平均速度向量为：
Figure BDA0002522296220000041
q表示第N视频图像中一共提取乘客骨骼关键点平均速度的数量；
步骤3.3：从提取的骨骼关键点
Figure BDA0002522296220000042
提取乘客的重心位置坐标，
Figure BDA0002522296220000043
其中，xi和yi分别是ft i中的骨骼关键点坐标；因此，第N个视频图像中提 取的乘客重心坐标可表示为：
Figure BDA0002522296220000044
步骤3.4、将预处理的骨骼关键点以及从骨骼关键点中得到的特征整合在 一起；则第N个视频图像提取的样本数据记为：
Figure BDA0002522296220000045
步骤四：网络模型的搭建和训练，搭建网络模型FsNet；FsNet使用4层全 连接层对提取到的特征进行学习，最后结合softmax作为激活函数，输出类别 概率；具体为：
步骤4.1、重复步骤2和3提取所有训练集中的视频图像，得到所有训练 样本S；
步骤4.2、使用PCA对SN特征进行降维，在能够保存有效信息的同时能够 减少特征中多出的冗余信息，得到Sp；
步骤4.3、将Sp特征送入到FsNet网络模型进行学习，使用交叉熵作为训 练时的优化函数，具体为：
Figure BDA0002522296220000046
式中，m是一个batch的样本数量，l是样本的数量；FsNet前三层配合ReLU 对特征进行学习，最后一层输出2维的类别，并且使用softmax来输出各个类 别的概率；其中ReLU函数模型为：
Figure BDA0002522296220000051
步骤4.4：保存训练模型；
步骤五：网络模型的验证和测试；
步骤5.1：将测试集中的视频图像样本按照步骤2和步骤3提取相应样本数 据记为S'p；
步骤5.2：将S'p送入FsNet网络中进行识别，输出行为类别；
步骤5.3：将检测结果和真实结果进行对比，如果和真实结果一致则认为检 测正确。
进一步地，步骤一中得到训练集和测试集的具体方法为：
步骤1.1：在手扶梯入口处斜上方设置网络摄像头；
步骤1.2：采集乘客乘坐手扶电梯的视频图像；
步骤1.3：根据视频图像片段中是否存在乘客摔倒行为事件进行裁剪，具体 为将有乘客摔倒行为事件作为正样本，没有乘客摔倒事件作为负样本；
步骤1.4：并且分别在正样本中随机挑选占比X1的样本，和负样本随机挑 选占比为X2的样本作为测试集，剩余的则作为训练集；X1和X2均为预设值。
进一步地，测试视频中也包括存在乘客摔倒和不存在乘客摔倒两类视频片 段。
进一步地，步骤2.3中对缺失的骨骼关键点进行填充的具体方法为：
在wt中可能会存在关键点缺失时，使用相邻帧提取的骨骼关键点进行补充；
当在t时刻提取的第i(i＝1...k)个骨骼关键点
Figure BDA0002522296220000052
缺失，则使用
Figure BDA0002522296220000053
骨骼关键点根据以下公式进行填充:
Figure BDA0002522296220000054
Figure BDA0002522296220000055
式中，xt-1和yt-1是t-1时刻提取得到
Figure BDA0002522296220000061
的骨骼关键点，
Figure BDA0002522296220000062
是t时刻提取 得到
Figure BDA0002522296220000063
中Neck骨骼关键坐标；
结合t时刻之前帧的骨骼关键点信息，将
Figure BDA0002522296220000064
缺失的骨骼关键点补充完整。
进一步地，步骤2.4中归一化具体步骤为：
步骤2.4.1：获取视频输入的图像尺寸大小记为(w,h)；
步骤2.4.2：将wt中的骨骼关键点的坐标值归一化到[0,1]之间，得到ft；
ft(x)＝wt(x)/w
ft(y)＝wt(y)/h
式中，wt(x)和wt(y)分别表示wt中骨骼关键点对应的x方向和y方向的骨骼 关键点坐标；ft(x)和ft(y)分别表示归一化之后的骨骼关键点对应的x方向和y 方向坐标。
本发明的有益效果：
本发明利用视频图像中多帧结合的方法，能够有效的得到时间方向信息。 相比使用卷积神经网络提取时间方向的信息，具有简单高效的特点；本发明利 用提取乘客的骨骼关键点信息作为基础样本，根据动态行为是连续性的特点， 当出现人体部分被遮挡时，此时会出现部分骨骼关键点丢失，可根据前面提取 相对应的骨骼关键点结合Neck的相对位置进行填充，减少因为骨骼关键点缺失 导致误判和漏判的情况；
本发明根据提取的骨骼关键点，从中提取到视频图像中乘客速度、重心作 为特征，能够更好的提供乘客的行为状态信息，从而能够为网络模型判断乘客 行为提供高效的信息；本发明搭建一个4层全连接层网络FsNet，并且在特征输 入到网络层之前，使用PCA对特征进行降维处理，能够有效的减少特征中存在 的冗余信息。FsNet能够有效的学习骨骼关键点提供的特征信息，和多层的卷积 网络相比较，具有速度快的特点。
本发明能够实时的识别视频图像中乘客摔倒行为。具有高效、快速的识别 的特点，有效的减少摔倒事故发生时造成的伤害。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明的整体框架流程图；
图2为提取人体骨骼关键点的位置分布图；
图3为本发明整体算法流程框架图；
图4为摄像头的安装位置示意图；
图5为本发明视频监控正常情况下的原图(a)和检测效果图(b)；
图6视频监控摔倒时的原图(a)和检测效果图(b)。
具体实施方式
如图1所示，一种实时检测手扶电梯乘客摔倒行为的方法，包括
步骤一：采集乘客搭乘手扶电梯视频图像，并且处理视频图像，将视频中 乘客摔倒和正常行为分别裁剪作为训练样本；具体方式为：
使用普通网络摄像头，设置在手扶梯入口处斜上方；摄像头使用海康威视 网络摄像头，型号为DS-2CD1021FD-IW1，视频分辨率为720*480，帧数为15fps；
采集乘客乘坐手扶电梯的视频图像；
根据视频图像片段中是否存在乘客摔倒行为事件进行裁剪；
有乘客摔倒行为事件作为正样本，没有乘客摔倒事件作为负样本；
并且分别在正、负样本中随机挑选一部分作为测试集，剩余的则作为训练 集；采集到的数据集共有109段大小不等的视频图像，训练集中正样本和负样 本分别有69段和20段，剩下的20段视频图像中正、负样本各10段作为测试 视频，其中测试视频中也包括存在乘客摔倒和不存在乘客摔倒两类视频片段；
步骤二：利用OpenPose提取视频图像中乘客的人体骨骼关键点及预处理， 具体为：
步骤2.1：提取t时刻图像帧中乘客骨骼关键点
Figure BDA0002522296220000071
k是骨骼点 的数量；使用OpenPose模型提取视频图像中乘客的骨骼关键点序列，记为
Figure BDA0002522296220000081
Figure BDA0002522296220000082
序列中包含18个骨骼关键点元素，其中每个关键点元 素的内容格式为(x,y)，x和y分别表示x轴和y轴上的坐标值；
Figure BDA0002522296220000083
按照从前往后顺序分别为：
Nose,Neck,Rshoulder,Relbow,Rwrist,LShoulder,LElbow,LWrist,RHip,RKnee,Rankle,LHip,LKnee,LAnkle,Reye,LEye,Rear,Lear，其中骨骼关键点对 应位置请参考附图2；
步骤2.2：对提取的
Figure BDA0002522296220000084
骨骼关键点进行筛选；将i＝1,15,16,17,18的骨骼关键点删除得到
Figure BDA0002522296220000085
其中k是剩余骨骼关键点的数量；
在判断乘客摔倒行为时，头部上的骨骼关键点相比较肢体部分能够提供的 信息不足且不稳定，比如耳朵和眼睛的位置信息，不能很好的表达出乘客的肢 体动作，可能会因为检测到头部上骨骼关键点位置是错误的导致模型判断人的 动态行为也出现错误，为了避免这些骨骼点对模型的影响，本算法将头部上的 五个关键点去除，不作为特征的一部分，去除的五个头部的关键点分别是左右 耳、左右眼和鼻子；
步骤2.3：对缺失的骨骼关键点进行填充得到zt；
在wt中可能会存在关键点缺失的情况，因为乘客动态行为是连续的情况， 所以可以使用相邻帧提取的骨骼关键点进行补充，以此减少因骨骼关键点的缺 失，导致检测精度的下降的问题；如在t时刻提取的第i(i＝1...k)个骨骼关键点
Figure BDA0002522296220000086
缺失，则可以使用
Figure BDA0002522296220000087
骨骼关键点根据以下公式进行填充:
Figure BDA0002522296220000088
Figure BDA0002522296220000089
式中，xt-1和yt-1是t-1时刻提取得到
Figure BDA00025222962200000810
的骨骼关键点，
Figure BDA00025222962200000811
是t时刻提取 得到
Figure BDA00025222962200000812
中Neck骨骼关键坐标；
结合t时刻之前帧的骨骼关键点信息，可以将
Figure BDA0002522296220000091
缺失的骨骼关键点补充完 整。
步骤2.4：对wt骨骼关键点序列里面的数据进行归一化得到ft；归一化具 体步骤为：
步骤2.4.1：获取视频输入的图像尺寸大小记为(w,h)；
步骤2.4.2：将wt中的骨骼关键点的坐标值归一化到[0,1]之间，得到ft；
ft(x)＝wt(x)/w
ft(y)＝wt(y)/h
式中，wt(x)和wt(y)分别表示wt中骨骼关键点对应的x方向和y方向的骨 骼关键点坐标；ft(x)和ft(y)分别表示归一化之后的骨骼关键点对应的x方向和 y方向坐标；
步骤2.5：提取训练集中训练样本或者视频图像的骨骼关键点序列得到特征Xskeleton；
步骤2.6：将训练集中第N个训练样本提取的骨骼关键点特征用矩阵表示
Figure BDA0002522296220000092
Figure BDA0002522296220000093
其中n是第N个训练样本中的视频图像帧数，j是每帧提取到的骨骼关键的 数量；
步骤三：对提取乘客的人体骨骼关键点序列进行特征提取和处理：
步骤3.1：当特征提取时设置g＝5帧为一个动态行为提取特征的基础样本， 则
Figure BDA0002522296220000094
步骤3.2：从骨骼关键点提取骨骼关键点间的速度，则Pskeleton中的每个基础 样本中的每个骨骼关键点提取到的速度表示为：
Figure BDA0002522296220000101
Figure BDA0002522296220000102
式中t表示帧间时间，vx和vy分别表示x方向和y方向上的速度变化；则 Pskeleton中{fn-4,fn-3,fn-2,fn-1,fn}的骨骼关键点的平均速度为：
Figure BDA0002522296220000103
则得到第N个视频图像中乘客骨骼关键点对应的平均速度向量为
Figure BDA0002522296220000104
q表示第N视频图像中一共提取乘客骨骼关键点平均速度的数量；
步骤3.3：从提取的骨骼关键点
Figure BDA0002522296220000105
提取乘客的重心位置坐标，
Figure BDA0002522296220000106
其中，xi和yi分别是ft i中的骨骼关键点坐标；因此，第N个视频图像中提 取的乘客重心坐标可表示为：
Figure BDA0002522296220000107
步骤3.4、将预处理的骨骼关键点以及从骨骼关键点中得到的特征整合在 一起；则第N个视频图像提取的样本数据记为：
Figure BDA0002522296220000108
步骤四：网络模型的搭建和训练：
本发明使用的算法主要目的是能够实时检测视频图像中乘坐手扶电梯的乘 客摔倒行为，最重要的特点是实时检测，现如今的深度学习网络模型对视频图 像和图片的处理需要消耗的计算资源是巨大的，很难做到实时运行；而本发明 使用人体骨骼关键点作为基础特征，则就不必要使用特别深的网络模型进行学 习。因此，本发明自己搭建了一个网络模型，命名为FsNet。如图附图所示，FsNet 使用4层全连接层对提取到的特征进行学习，最后结合softmax作为激活函数， 输出类别概率。通过FsNet不仅能够有效的学习特征，而且计算参数小，运行 速度快；
步骤4.1、重复步骤2和3提取所有训练集中的视频图像，得到所有训练 样本S；
步骤4.2、使用PCA对SN特征进行降维，在能够保存有效信息的同时能够 减少特征中多出的冗余信息，得到Sp；
步骤4.3、将Sp特征送入到FsNet网络模型进行学习，使用交叉熵作为训 练时的优化函数，具体为：
Figure BDA0002522296220000111
式中，m是一个batch的样本数量，l是样本的数量；FsNet前三层配合ReLU 对特征进行学习，最后一层输出2维的类别，并且使用softmax来输出各个类 别的概率；其中ReLU函数模型为：
Figure BDA0002522296220000112
步骤4.4：保存训练模型；
步骤5：网络模型的验证和测试；
步骤5.1：将测试集中的视频图像样本按照步骤2和步骤3提取相应样本数 据记为S'p；
步骤5.2：将S'p送入FsNet网络中进行识别，输出行为类别。
整个检测手扶电梯乘客摔倒的方法，在对网络完成训练之后，在验证和测 试阶段是可以实现实时进行检测。将测试集的视频文件，按照步骤2和步骤3 骨骼关键点预处理模块和特征提取模块会得到实时的特征S'p，将S'p送入到训练 好的网络模型即可得到每个样本文件的检测结果，将检测结果和真实结果进行 对比，如果和真实结果一致则认为检测正确。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术 人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代， 只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明 的保护范围。

Claims (5)

1.一种实时检测手扶电梯乘客摔倒行为的方法，其特征在于，该方法包括下述步骤：
步骤一：采集乘客搭乘手扶电梯视频图像，并且处理视频图像，将视频中乘客摔倒和正常行为分别裁剪作为训练样本，得到训练集和测试集；
步骤二：利用OpenPose提取视频图像中乘客的人体骨骼关键点及预处理，具体为：
步骤2.1：提取t时刻图像帧中乘客骨骼关键点
Figure FDA0002522296210000011
k是骨骼点的数量；使用OpenPose模型提取视频图像中乘客的骨骼关键点序列，记为
Figure FDA0002522296210000012
Figure FDA0002522296210000013
序列中包含18个骨骼关键点元素，其中每个关键点元素的内容格式为(x,y)，x和y分别表示x轴和y轴上的坐标值；
Figure FDA0002522296210000014
按照从前往后顺序分别为：
Nose,Neck,Rshoulder,Relbow,Rwrist,LShoulder,LElbow,LWrist,RHip,RKnee,Rankle,LHip,LKnee,LAnkle,Reye,LEye,Rear,Lear；
步骤2.2：对提取的
Figure FDA0002522296210000015
骨骼关键点进行筛选；将i＝1,15,16,17,18的骨骼关键点删除得到
Figure FDA0002522296210000016
其中k是剩余骨骼关键点的数量；
步骤2.3：对缺失的骨骼关键点进行填充得到zt；
步骤2.4：对wt骨骼关键点序列里面的数据进行归一化得到ft；
步骤2.5：提取训练集中训练样本或者视频图像的骨骼关键点序列得到特征Xskeleton；
步骤2.6：将训练集中第N个训练样本提取的骨骼关键点特征用矩阵表示
Figure FDA0002522296210000017
Figure FDA0002522296210000021
其中n是第N个训练样本中的视频图像帧数，j是每帧提取到的骨骼关键的数量；
步骤三：对提取乘客的人体骨骼关键点序列进行特征提取和处理：
步骤3.1：当特征提取时设置g＝5帧为一个动态行为提取特征的基础样本，则
Figure FDA0002522296210000022
步骤3.2：从骨骼关键点提取骨骼关键点间的速度，则Pskeleton中的每个基础样本中的每个骨骼关键点提取到的速度表示为：
Figure FDA0002522296210000023
Figure FDA0002522296210000024
式中t表示帧间时间，vx和vy分别表示x方向和y方向上的速度变化；则Pskeleton中{fn-4,fn-3,fn-2,fn-1,fn}的骨骼关键点的平均速度为：
Figure FDA0002522296210000025
则得到第N个视频图像中乘客骨骼关键点对应的平均速度向量为：
Figure FDA0002522296210000026
q表示第N视频图像中一共提取乘客骨骼关键点平均速度的数量；
步骤3.3：从提取的骨骼关键点
Figure FDA0002522296210000027
提取乘客的重心位置坐标，
Figure FDA0002522296210000028
其中，xi和yi分别是
Figure FDA0002522296210000029
中的骨骼关键点坐标；因此，第N个视频图像中提取的乘客重心坐标可表示为：
Figure FDA0002522296210000031
步骤3.4、将预处理的骨骼关键点以及从骨骼关键点中得到的特征整合在一起；则第N个视频图像提取的样本数据记为：
Figure FDA0002522296210000032
步骤四：网络模型的搭建和训练，搭建网络模型FsNet；FsNet使用4层全连接层对提取到的特征进行学习，最后结合softmax作为激活函数，输出类别概率；具体为：
步骤4.1、重复步骤2和3提取所有训练集中的视频图像，得到所有训练样本S；
步骤4.2、使用PCA对SN特征进行降维，在能够保存有效信息的同时能够减少特征中多出的冗余信息，得到Sp；
步骤4.3、将Sp特征送入到FsNet网络模型进行学习，使用交叉熵作为训练时的优化函数，具体为：
Figure FDA0002522296210000033
式中，m是一个batch的样本数量，l是样本的数量；FsNet前三层配合ReLU对特征进行学习，最后一层输出2维的类别，并且使用softmax来输出各个类别的概率；其中ReLU函数模型为：
Figure FDA0002522296210000034
步骤4.4：保存训练模型；
步骤五：网络模型的验证和测试；
步骤5.1：将测试集中的视频图像样本按照步骤2和步骤3提取相应样本数据记为S'p；
步骤5.2：将S'p送入FsNet网络中进行识别，输出行为类别；
步骤5.3：将检测结果和真实结果进行对比，如果和真实结果一致则认为检测正确。
2.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法，其特征在于，步骤一中得到训练集和测试集的具体方法为：
步骤1.1：在手扶梯入口处斜上方设置网络摄像头；
步骤1.2：采集乘客乘坐手扶电梯的视频图像；
步骤1.3：根据视频图像片段中是否存在乘客摔倒行为事件进行裁剪，具体为将有乘客摔倒行为事件作为正样本，没有乘客摔倒事件作为负样本；
步骤1.4：并且分别在正样本中随机挑选占比X1的样本，和负样本随机挑选占比为X2的样本作为测试集，剩余的则作为训练集；X1和X2均为预设值。
3.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法，其特征在于，测试视频中也包括存在乘客摔倒和不存在乘客摔倒两类视频片段。
4.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法，其特征在于，步骤2.3中对缺失的骨骼关键点进行填充的具体方法为：
在wt中可能会存在关键点缺失时，使用相邻帧提取的骨骼关键点进行补充；
当在t时刻提取的第i(i＝1...k)个骨骼关键点
Figure FDA0002522296210000041
缺失，则使用
Figure FDA0002522296210000042
骨骼关键点根据以下公式进行填充:
Figure FDA0002522296210000043
Figure FDA0002522296210000044
式中，xt-1和yt-1是t-1时刻提取得到
Figure FDA0002522296210000045
的骨骼关键点，
Figure FDA0002522296210000046
是t时刻提取得到
Figure FDA0002522296210000047
中Neck骨骼关键坐标；
结合t时刻之前帧的骨骼关键点信息，将
Figure FDA0002522296210000048
缺失的骨骼关键点补充完整。
5.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法，其特征在于，步骤2.4中归一化具体步骤为：
步骤2.4.1：获取视频输入的图像尺寸大小记为(w,h)；
步骤2.4.2：将wt中的骨骼关键点的坐标值归一化到[0,1]之间，得到ft；
ft(x)＝wt(x)/w
ft(y)＝wt(y)/h
式中，wt(x)和wt(y)分别表示wt中骨骼关键点对应的x方向和y方向的骨骼关键点坐标；ft(x)和ft(y)分别表示归一化之后的骨骼关键点对应的x方向和y方向坐标。
CN202010494415.4A 2020-06-03 2020-06-03 一种实时检测手扶电梯乘客摔倒行为的方法 Active CN111680613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010494415.4A CN111680613B (zh) 2020-06-03 2020-06-03 一种实时检测手扶电梯乘客摔倒行为的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010494415.4A CN111680613B (zh) 2020-06-03 2020-06-03 一种实时检测手扶电梯乘客摔倒行为的方法

Publications (2)

Publication Number Publication Date
CN111680613A true CN111680613A (zh) 2020-09-18
CN111680613B CN111680613B (zh) 2023-04-14

Family

ID=72453237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010494415.4A Active CN111680613B (zh) 2020-06-03 2020-06-03 一种实时检测手扶电梯乘客摔倒行为的方法

Country Status (1)

Country Link
CN (1) CN111680613B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347939A (zh) * 2020-11-09 2021-02-09 浙江新再灵科技股份有限公司 基于多维特征的乘梯不文明按键识别方法
CN112464856A (zh) * 2020-12-09 2021-03-09 成都华栖云科技有限公司 基于人体骨骼关键点的视频流动作检测方法
CN113033300A (zh) * 2021-02-07 2021-06-25 广东省科学院智能制造研究所 一种基于计算机视觉的扶梯安全自动监控方法及系统
CN113111938A (zh) * 2021-04-09 2021-07-13 中国工程物理研究院电子工程研究所 基于数字高程模型数据的地形分类方法
CN116553327A (zh) * 2023-07-10 2023-08-08 通用电梯股份有限公司 一种家用电梯轿厢内乘客摔倒检测方法及装置
CN117315550A (zh) * 2023-11-29 2023-12-29 南京市特种设备安全监督检验研究院 自动扶梯乘客危险行为的检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
WO2018120964A1 (zh) * 2016-12-30 2018-07-05 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
WO2018120964A1 (zh) * 2016-12-30 2018-07-05 山东大学 一种基于深度信息和骨骼信息的姿势矫正方法
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭秋萍等: "基于机器视觉的扶梯自动急停系统", 《计算机系统应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347939A (zh) * 2020-11-09 2021-02-09 浙江新再灵科技股份有限公司 基于多维特征的乘梯不文明按键识别方法
CN112464856A (zh) * 2020-12-09 2021-03-09 成都华栖云科技有限公司 基于人体骨骼关键点的视频流动作检测方法
CN112464856B (zh) * 2020-12-09 2023-06-13 成都华栖云科技有限公司 基于人体骨骼关键点的视频流动作检测方法
CN113033300A (zh) * 2021-02-07 2021-06-25 广东省科学院智能制造研究所 一种基于计算机视觉的扶梯安全自动监控方法及系统
CN113033300B (zh) * 2021-02-07 2022-11-08 广东省科学院智能制造研究所 一种基于计算机视觉的扶梯安全自动监控方法及系统
CN113111938A (zh) * 2021-04-09 2021-07-13 中国工程物理研究院电子工程研究所 基于数字高程模型数据的地形分类方法
CN116553327A (zh) * 2023-07-10 2023-08-08 通用电梯股份有限公司 一种家用电梯轿厢内乘客摔倒检测方法及装置
CN116553327B (zh) * 2023-07-10 2023-09-08 通用电梯股份有限公司 一种家用电梯轿厢内乘客摔倒检测方法及装置
CN117315550A (zh) * 2023-11-29 2023-12-29 南京市特种设备安全监督检验研究院 自动扶梯乘客危险行为的检测方法
CN117315550B (zh) * 2023-11-29 2024-02-23 南京市特种设备安全监督检验研究院 自动扶梯乘客危险行为的检测方法

Also Published As

Publication number Publication date
CN111680613B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN111680613B (zh) 一种实时检测手扶电梯乘客摔倒行为的方法
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN108216252B (zh) 一种地铁司机车载驾驶行为分析方法、车载终端及系统
Gibert et al. Deep multitask learning for railway track inspection
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN105488453B (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN110969130B (zh) 一种基于yolov3司机危险动作识别方法及系统
CN105070053B (zh) 一种识别车辆违规运动模式的智能交通监控摄像机
CN102799893B (zh) 考场监控视频处理方法
CN107204114A (zh) 一种车辆异常行为的识别方法及装置
CN111046583A (zh) 基于DTW算法和ResNet网络的转辙机故障诊断方法
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN103886279B (zh) 使用合成训练数据的实时骑车人检测
CN109919066B (zh) 一种检测轨道交通车厢内乘客密度异常的方法和装置
CN106778650A (zh) 基于多类型信息融合的场景自适应行人检测方法和系统
CN110210382A (zh) 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112614102A (zh) 一种车辆检测方法、终端及其计算机可读存储介质
CN112818871A (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
CN113297926A (zh) 行为检测识别方法及系统
CN111339927A (zh) 一种电力营业厅人员工作状态智能识别系统
CN110502995A (zh) 基于细微面部动作识别的驾驶员打哈欠检测方法
Kielty et al. Neuromorphic seatbelt state detection for in-cabin monitoring with event cameras
CN115147777A (zh) 船员违规行为识别方法
CN111055890B (zh) 一种铁路车辆防溜智能检测方法及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant