CN117315550A - 自动扶梯乘客危险行为的检测方法 - Google Patents

自动扶梯乘客危险行为的检测方法 Download PDF

Info

Publication number
CN117315550A
CN117315550A CN202311605837.4A CN202311605837A CN117315550A CN 117315550 A CN117315550 A CN 117315550A CN 202311605837 A CN202311605837 A CN 202311605837A CN 117315550 A CN117315550 A CN 117315550A
Authority
CN
China
Prior art keywords
passenger
target
shoulder
detection
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311605837.4A
Other languages
English (en)
Other versions
CN117315550B (zh
Inventor
庆光蔚
丁树庆
冯月贵
张军
王会方
肖昀
路成龙
周前飞
蒋铭
王爽
邬晓月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Original Assignee
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE filed Critical NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority to CN202311605837.4A priority Critical patent/CN117315550B/zh
Publication of CN117315550A publication Critical patent/CN117315550A/zh
Application granted granted Critical
Publication of CN117315550B publication Critical patent/CN117315550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动扶梯乘客危险行为的检测方法，包括步骤S1：通过摄像头采集乘客乘坐自动扶梯的视频，并传送给控制器；步骤S2：控制器中的乘客逆行检测模块和摔倒检测模块，对图片中乘客的行为进行检测，判断乘客是否存在逆行和/或摔倒现象。具体为：利用ISSD目标检测算法、基于卡尔曼滤波的预测模块及表观信息提取模块的DeepSort目标追踪算法构建乘客逆行检测模型，对乘客是否存在逆行行为进行检测；利用轻量化OpenPose模块提取的乘客骨骼关键点，通过危险行为自动采集模块转化得到输入特征参数，采用小波去噪方法结合随机森林方法构建摔倒行为检测模型，从而实现乘客摔倒行为检测。相比于现有技术中穿戴式等检测装置更加轻便、检测准确率更高。

Description

自动扶梯乘客危险行为的检测方法
技术领域
本发明属于自动扶梯检测技术领域，具体涉及一种自动扶梯乘客危险行为的检测方法。
背景技术
由于自动扶梯启、制动间隔时间长、检修维保工作滞后等原因，导致其事故发生率较高，因此存在较大安全隐患。大部分事故是由于乘客摔倒及逆行产生的，其中逆行行为往往伴随着物品的碰撞，这使得逆行行为的危害进一步加深，如果可以及时针对摔倒事件和逆行行为进行检测并制止，可以有效减少自动扶梯事故，因此开发针对自动扶梯的安全保障技术是极为重要的。
当前研究技术中，关于逆行的研究方法较少，主要通过多目标追踪算法对乘客进行识别，同时通过目标中心角度变化对其逆行行为进行判断，但此类方法较为单一，检测精度较低，尤其是难以应对人流量较大的商场等自动扶梯场景。目前主流的摔倒检测方法主要包括穿戴设备检测，环境传感器和基于视觉的图像识别方法。可穿戴设备主要原理是监测人体的姿态，对人员摔倒状态进行判断。该检测方法需用户长期佩戴检测设备，不方便日常的活动，仅在部分老年产品中比较常见，且长期佩戴会对器材有所损耗，准确率一般。基于环境传感器的摔倒检测系统是在特定监测区域内安装多个外部检测装置，根据声音及震动信息等进行检测，存在数据量需求大，且资金需求高的不足。基于图像和视频的图像识别方法是在监测区域中安装或采集现有的摄像头中得到的人体运动图像信息，获取摔倒动作的特征向量，进行匹配来实现摔倒检测。通过图像识别的方式进行检测精确度高且对正常行为活动影响较少。然而，有限的摔倒乘客样本和巨大的计算复杂度，导致通过图像识别检测乘客在自动扶梯上逆行及摔倒的方式不能很好的实施。。
发明内容
本发明目的在于提供一种自动扶梯乘客危险行为的检测方法，解决现有技术中有限的摔倒乘客样本和巨大的计算复杂度，导致通过图像识别检测乘客在自动扶梯上逆行及摔倒的方式不能很好实施的技术问题。
为了解决上述技术问题，本发明采用如下方案实现：
自动扶梯乘客危险行为的检测方法，包括如下步骤：
步骤S1：采集数据：
通过摄像头采集乘客乘坐自动扶梯的视频，并传送给控制器；
步骤S2：控制器中的乘客逆行检测模块和摔倒检测模块，对所采集视频中乘客的行为进行检测，判断乘客是否存在逆行和/或摔倒现象，具体如下：
步骤S2.1：利用改进的目标检测算法ISSD、基于卡尔曼滤波的预测模块，及表观信息提取模块的DeepSort目标追踪算法，构建基于多目标追踪的乘客逆行检测模型，通过乘客与自动扶梯的相对运动距离判断乘客是否存在逆行行为，从而实现对自动扶梯上乘客是否存在逆行行为进行检测。
步骤S2.2：利用SqueezeNet网络改进得到轻量化OpenPose模块，提取乘客骨骼关键点，通过小波去噪对提取的数据进行去噪处理，得到合格的训练样本，随后输入随机森林模型中进行训练，从而构建判别摔倒行为的随机森林模型，检测乘客是否摔倒。
进一步优化，所述步骤S1中，摄像头安装在自动扶梯的上方，摄像头的安装角度与水平面的夹角为45°-60°。
进一步优化，所述步骤S2.1中，乘客逆行行为检测包括如下步骤，具体为：
步骤S2.1.1：目标识别：通过改进的目标检测算法ISSD对采集视频图像中的乘客进行检测，得到各个乘客的目标检测框及位置信息，为改进的多目标追踪算法DeepSort提供输入数据；
步骤S2.1.2：目标追踪，采用改进的多目标追踪算法DeepSort得到每个乘客的轨迹：
使用改进的表观信息提取模块提取各个目标检测框中的表观信息，初始化基于卡尔曼滤波的预测模块；将每个乘客作为一个目标，根据前一帧图像中的目标位置信息，使用基于卡尔曼滤波的预测模块预测该目标在当前帧中的位置；然后进行级联匹配，用匈牙利算法进行最优匹配，成功匹配则输出目标的坐标；若匹配失败，则给目标生成暂时追踪器，若后面连续4帧均匹配成功则视为一个新目标；若后面连续4帧均匹配失败，则视为目标丢失并保留目标信息，接下来60帧没有匹配到该目标，则删除该目标追踪器。
步骤S2.1.3：通过目标追踪得到每个乘客的运动轨迹并得到相对应的目标坐标信息，依据乘客位置的位移变化判断逆行事件是否存在，具体为：设定自动扶梯的前进方向为正方向，记录第k帧图像中乘客所对应的目标检测框中心点坐标为（u 0 ,v 0 ），在第k+n帧图像中该乘客的目标检测框中心点的坐标为（u 0+n ,v 0+n ），计算乘客运动距离d(n)，若该距离小于自动扶梯在其运行方向上的位移则判定为逆行，否则为没有逆行；
；
其中，d(n)为同一乘客在乘坐自动扶梯期间的运动距离。
进一步优化，原始的表观信息提取模块依次由两层卷积层、一层池化层、6层ResNet网络中的残差结构和一层dense层组成；改进的表观信息提取模块为了在不增加过多计算量的前提下，提高模型的特征提取能力，在原始网络的第1、3、5层残差结构后面，依次加入坐标注意力机制。
改进的DeepSort算法主要对基于卡尔曼滤波的预测模块和表观信息提取模块进行改进，基于卡尔曼滤波的预测模块通过当前帧的乘客位置信息预测下一帧该乘客的位置信息；改进的表观信息提取模块通过结合注意力机制的CNN网络模型提取表征当前目标检测框中局部图片的表观信息，通过引入注意力机制提高提取的精准度。
进一步优化，原始SSD借鉴了VGG-16的框架结构，为了提高SSD的检测效率，本申请结合Mobilenetv2网络和biFPN结构提出了改进的SSD方法，即ISSD。所述步骤S2.1.1中，对SSD网络进行优化得到ISSD方法的步骤如下：
首先，使用Mobilenetv2网络替换传统SSD方法中的VGG-16网络，将网络模型轻量化；然后，在获取到的六层特征层后接入biFPN结构，进行特征融合，提高检测准确率。
所述Mobilenetv2网络依次由1个卷积层、7个倒残差结构、1个卷积层，1个池化层和1个卷积层组成。其中的卷积操作都是使用深度可分离卷积，并且倒残差结构先通过1*1卷积升维，再通过3*3的卷积提取特征，最后通过1*1卷积降维。
所述biFPN结构为加权的双向特征金字塔网络，允许简单和快速的多尺度特征融合。
优化后的SSD网络首先经过Mobilenetv2的主干网络提取大小为19*19、10*10的特征图，再经过三层倒残差结构的额外添加层提取大小为5*5、3*3和1*1的特征图，将上述5个特征图输入biFPN结构进行特征融合，再通过检测分类层，进行目标检测。
进一步优化，所述步骤S2.1.2中，基于卡尔曼滤波的预测模块通过对非线性函数进行泰勒展开、线性化截断，忽略高阶项，完成函数的近似线性化；在迭代过程中，非线性系统见下式：
；
式中，w k 和v k 是高斯白噪声， f(x k-1)是状态转移函数，h(x k )是量测的非线性函数，k-1表示第k-1帧，k表示第k帧，x k 表示第k帧的状态向量，z k 表示第k帧的测向量；迭代公式见下式：
；
式中，是目标第k-1帧的预测值，/>是目标第k帧的预测值，F k-1与Z k 分别为x k 、z k 的雅可比矩阵。
其中，根据改进的表观信息提取模块对应的表观信息，利用余弦距离计算表观信息之间的距离，见下式：
；
式中，r j 是对每个目标检测框提取的一个表观特征描述子，表示第j个目标检测结果与第i个目标轨迹的余弦距离，/>为对应追踪的特征向量。
每个目标轨迹由一系列包含目标对象的帧组成，通常由一个或多个帧的边界框Bounding Box表示。
目标检测结果是指在每一帧中，使用目标检测算法检测到的目标对象的边界框和相关信息。每个目标检测结果通常包括目标对象的边界框坐标，以及与该边界框关联的目标类别和表示检测的置信度分数等信息，通常是矩形框。目标检测结果是多目标追踪算法的输入，用于在不同帧之间关联目标并构建目标轨迹。
位置信息是用ISSD目标检测算法得到目标的位置信息，使用马氏距离计算位置信息之间的距离，见下式：
；
式中，表示第j个目标检测结果和第i条轨迹之间的马氏距离，d j 表示第j个目标框位置，d i 表示第i个目标追踪的预测位置，/>为协方差矩阵。
最后，对和/>两个指标进行加权计算，作为判断级联目标信息匹配正确与否的指示器，见下式：
；
其中， 为超参数，来控制两个关联度量作为判断依据的影响程度，/>，用于判断目标匹配成功与否，当值小于指定阈值时目标匹配成功，否则失败。
进一步优化，所述步骤S2.2中，对乘客是否存在摔倒进行检测包括如下步骤：
步骤S2.2.1：将采集的视频转换成连续的图片序列；
步骤S2.2.2：将图片序列送入到轻量化OpenPose模块骨骼关键点提取模块中，提取乘客头部、左肩、右肩及足部关键点的坐标数据，并进行储存。
具体为：轻量化OpenPose网络的轻量化改进主要是由SqueezeNet网络替换传统VGG网络组成的RGB特征提取模块，SqueezeNet网络通过使用更小的滤波器尺寸和深度可分离卷积来减少参数量，同时保持较高的性能，在申请的摔倒检测过程中，需要网络具有快速的反应能力，因此通过SqueezeNet网络对OpenPose网络进行轻量化改进，Fire模块是SqueezeNet的核心组件，由一个squeeze阶段和一个expand阶段组成。在squeeze阶段，使用1x1卷积核将输入通道进行压缩，以获取更少的特征通道。在expand阶段，通过使用1x1和3x3的卷积核来扩展通道，从而充分利用压缩过的特征。降低计算量的同时，得到最后生成改进的预测结果。
使用轻量化OpenPose算法提取视频图像中乘客骨骼关键点序列，本申请中仅需对乘客的四个点位进行定位即可进行摔倒行为识别，结合小波数据去噪及随机森林方法，降低计算量、提升检测速度的同时保证摔倒检测准确度，解决了未改进的openpose算法计算过大的问题，该方法仅需检测肩膀、头部及脚部四个点位即可满足摔倒检测的需求，不需要考虑丢失帧对方法造成的影响。
步骤S2.2.3：将提取到的骨骼关键点送入到骨骼关键点数据特征转换模块，得到乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量等输入特征数据。
步骤S2.2.4：骨骼关键点数据特征转换模块选取人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量，并以此作为判断是否发生摔倒的指标。
进一步优化，所述步骤S2.2.4中，通过头部、左肩、右肩及足部4个点位得到乘客人体检测框的宽度W和高度H，通过W和H即可获得宽高比数据集；
W=x la -x ra ；
H=y h -y f ；
其中，x la 和x ra 代表第k帧图像中乘客左肩及右肩的水平方向坐标；y h 及y f 为头部及足部竖直方向坐标。
当乘客摔倒时往往是上半身出现大幅度动作，因此选取头部、左肩和右肩的三个骨骼关键点来表征头肩坐标；计算三个关键点的变化速度，同时为了排除大幅度动作的影响，增加头肩坐标累计变化量作为输入参数，头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量获取方式如下式：
；
其中，（x h ，y h ）为头部检测坐标点，（x la ，y la ）为左肩检测坐标点，（x ra ，y ra ）为右肩检测坐标点，（x f ，y f ）为足部检测坐标点，（x h+q ，y h+q ）为间隔Δt后该乘客头部检测坐标点，（x la+q ，y la+q ）为间隔Δt后该乘客左肩检测坐标点，（x ra+q ，y ra+q ）为间隔Δt后该乘客右肩检测坐标点，（x f+q ，y f+q ）为间隔Δt后该乘客足部检测坐标点；W h 、W la 、W ra 及W f 分别为乘客头部、左肩、右肩和足部的变化量，ΔW为头部、左肩、右肩及足部坐标累计变化量，Δt是两次采样之间的时间间隔，V Q 为头肩坐标变化速度。
当ΔW大于设定的第一阈值，且V Q 小于设定的第二阈值，则认为该乘客发生摔倒行为；否则反之。
进一步优化，将乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量输入到小波去噪结合的随机森林分类网络中，通过对提取后的数据进行去噪，更加准确的判断摔倒行为是否发生。
考虑乘客人体检测框宽高比及头肩坐标变化速度作为特征容易由于乘客加速下行及弯腰等问题导致误判，单一分类机器学习方法极易造成误判，导致扶梯乘客乘坐体验下降，因此本发明通过小波去噪的方式对该数据进行去噪，通过更平稳的数据形态精确判断乘客的摔倒行为。小波去噪阈值选用固定阈值最大限度的提升运行速度，同时采用硬阈值去噪的方式进行数据去噪，阈值公式如下：
；
式中，g为固定阈值，R为采样数量，为噪声的标准差。
进一步优化，将小波去噪方法与随机森林方法相结合，通过小波去噪方法处理检测框宽高比数据和头肩坐标变化速度，随机森林由多个决策树决策组成，随机森林理论中的随机包含数据采样随机和特征选择随机两方面。具体流程如下：
（1）采用有放回的抽样方法从样本集中选取多个样本作为一个训练集；利用训练集产生一棵决策树；M为样本的数据形式，将人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量的数据输入维度，并设定一个常数s，s≤M；根据下式计算节点m的熵值。
（2）在m点随机选取s个摔倒特征因素用于节点分裂的字段选择，选择分裂后熵降最大的摔倒特征因素在节点m进行分裂，得到训练完备的一个决策树模型；
；
Gini(m)为决策树第m节点熵值；v为所有摔倒特征因素；p为条件概率函数；
；
ξ为决策树第m个节点分裂后随机选择的特征；D为节点分裂前的样本；D 1 和D 2 为节点分裂后生成的样本；
；
为决策树第m个节点特征分裂前后的熵降值。
（3）重复步骤(1)到步骤(2)，随机森林中决策树的个数为N，进而生成N个决策树模型组成随机森林模型；
（4）根据得到的随机森林测试数据，通过平均法结合各决策树模型输出得到视频中行为类别。
与现有技术相比，本发明具有如下有益效果：
1、本发明通过在自动扶梯上方设置摄像头，实时拍摄扶梯运行情况及乘客行为的视频，并传递为控制器，控制器通过卡尔曼滤波模块、改进表观信息模块的Deepsort算法和ISSD目标检测算法构建乘客逆行检测算法，其中ISSD目标检测算法可以提高乘客逆行检测的效率和检测准确率，从而实现自动扶梯场景中多目标追踪的乘客逆行检测。相比于现有技术中穿戴式、安装式的危险行为检测装置安装更加轻便、维护成本更低、检测准确率更高。
2、本发明通过SqueezeNet网络改进得到的轻量化OpenPose模块，提取乘客骨骼关键点，轻量化OpenPose模块具备更加快的运算速率，随后将关键点数据输入小波去噪方法对提取数据进行去噪得到合格的训练样本，随后输入随机森林模型中进行训练，从而构建判别摔倒行为的随机森林模型，判断视频中是否有摔倒行为发生，通过使用人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量的特征，结合小波数据去噪及随机森林分类方法可以提高后期摔倒检测的准确率。
附图说明
图1为乘客逆行及摔倒检测方法逻辑流程图；
图2为优化的SSD目标算法网络结构；
图3为自动扶梯乘客危险行为检测效果图；
图4为扶梯危险行为检测准确率对比。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，自动扶梯乘客危险行为的检测方法，包括如下步骤：
步骤S1：采集数据：
通过摄像头采集乘客乘坐自动扶梯的视频，并传送给控制器；
步骤S2：控制器中的乘客逆行检测模块和摔倒检测模块，对所采集视频中乘客的行为进行检测，判断乘客是否存在逆行和/或摔倒现象，具体如下：
步骤S2.1：利用改进的目标检测算法ISSD、基于卡尔曼滤波的预测模块，及表观信息提取模块的DeepSort目标追踪算法，构建基于多目标追踪的乘客逆行检测模型，通过乘客与自动扶梯的相对运动距离判断乘客是否存在逆行行为，从而实现对自动扶梯上乘客是否存在逆行行为进行检测。
步骤S2.2：利用SqueezeNet网络改进得到轻量化OpenPose模块，提取乘客骨骼关键点，通过小波去噪对提取的数据进行去噪处理，得到合格的训练样本，随后输入随机森林模型中进行训练，从而构建判别摔倒行为的随机森林模型，检测乘客是否摔倒。
所述步骤S1中，摄像头安装在自动扶梯的上方，摄像头的安装角度与水平面的夹角为45°-60°。在其他实施例中，摄像头角度与水平面之间的夹角可以为该区间内的其他任何角度。
在本实施例中，所述步骤S2.1中，乘客逆行行为检测包括如下步骤，具体为
步骤S2.1.1：目标识别：通过改进的目标检测算法ISSD对采集视频图像中的乘客进行检测，得到各个乘客的目标检测框及位置信息，为改进的多目标追踪算法DeepSort提供输入数据。
步骤S2.1.2：目标追踪，采用改进的多目标追踪算法DeepSort得到每个乘客的轨迹：
使用改进的表观信息提取模块提取各个目标检测框中的表观信息，初始化基于卡尔曼滤波的预测模块；将每个乘客作为一个目标，根据前一帧图像中的目标位置信息，使用基于卡尔曼滤波的预测模块预测该目标在当前帧中的位置；然后进行级联匹配，用匈牙利算法进行最优匹配，成功匹配则输出目标的坐标；若匹配失败，则给目标生成暂时追踪器，若后面连续4帧均匹配成功则视为一个新目标；若后面连续4帧均匹配失败，则视为目标丢失并保留目标信息，接下来60帧没有匹配到该目标，则删除该目标追踪器。
步骤S2.1.3：通过目标追踪得到每个乘客的运动轨迹并得到相对应的目标坐标信息，依据乘客位置的位移变化判断逆行事件是否存在，具体为：设定自动扶梯的前进方向为正方向，记录第k帧图像中乘客所对应的目标检测框中心点坐标为（u 0 ,v 0 ），在第k+n帧图像中该乘客的目标检测框中心点的坐标为（u 0+n ,v 0+n ），计算乘客运动距离d(n)，若该距离小于自动扶梯在其运行方向上的位移则判定为逆行，否则为没有逆行；
；
其中，d(n)为同一乘客在乘坐自动扶梯期间的运动距离。
在本实施例中，原始的表观信息提取模块依次由两层卷积层、一层池化层、6层ResNet网络中的残差结构和一层dense层组成；改进的表观信息提取模块为了在不增加过多计算量的前提下，提高模型的特征提取能力，在原始网络的第1、3、5层残差结构后面，依次加入坐标注意力机制。
改进的DeepSort算法主要对基于卡尔曼滤波的预测模块和表观信息提取模块进行改进，基于卡尔曼滤波的预测模块通过当前帧的乘客位置信息预测下一帧该乘客的位置信息；改进的表观信息提取模块通过结合注意力机制的CNN网络模型提取表征当前目标检测框中局部图片的表观信息，通过引入注意力机制提高提取的精准度。
在本实施例中，原始SSD借鉴了VGG-16的框架结构，为了提高SSD的检测效率，本申请结合Mobilenetv2网络和biFPN结构提出了改进的SSD方法，即ISSD。所述步骤S2.1.1中，对SSD网络进行优化得到ISSD方法的步骤如下：
首先，使用Mobilenetv2网络替换传统SSD方法中的VGG-16网络，将网络模型轻量化；然后，在获取到的六层特征层后接入biFPN结构，进行特征融合，提高检测准确率，具体网络结构如图2所示。
所述Mobilenetv2网络依次由1个卷积层、7个倒残差结构、1个卷积层，1个池化层和1个卷积层组成。其中的卷积操作都是使用深度可分离卷积，并且倒残差结构先通过1*1卷积升维，再通过3*3的卷积提取特征，最后通过1*1卷积降维。
所述biFPN结构为加权的双向特征金字塔网络，允许简单和快速的多尺度特征融合。
优化后的SSD网络首先经过Mobilenetv2的主干网络提取大小为19*19、10*10的特征图，再经过三层倒残差结构的额外添加层提取大小为5*5、3*3和1*1的特征图，将上述5个特征图输入biFPN结构进行特征融合，再通过检测分类层，进行目标检测。
在本实施例中，所述步骤S2.1.2中，基于卡尔曼滤波的预测模块通过对非线性函数进行泰勒展开、线性化截断，忽略高阶项，完成函数的近似线性化；在迭代过程中，非线性系统见下式：
；
式中，w k 和v k 是高斯白噪声， f(x k-1)是状态转移函数，h(x k )是量测的非线性函数，k-1表示第k-1帧，k表示第k帧，x k 表示第k帧的状态向量，z k 表示第k帧的测向量；迭代公式见下式：
；
式中，是目标第k-1帧的预测值，/>是目标第k帧的预测值，F k-1与Z k 分别为x k 、z k 的雅可比矩阵。
其中，根据改进的表观信息提取模块对应的表观信息，利用余弦距离计算表观信息之间的距离，见下式：
；
式中，r j 是对每个目标检测框提取的一个表观特征描述子，表示第j个目标检测结果与第i个目标轨迹的余弦距离，/>为对应追踪的特征向量。
每个目标轨迹由一系列包含目标对象的帧组成，通常由一个或多个帧的边界框Bounding Box表示。
目标检测结果是指在每一帧中，使用目标检测算法检测到的目标对象的边界框和相关信息。每个目标检测结果通常包括目标对象的边界框坐标，以及与该边界框关联的目标类别和表示检测的置信度分数等信息，该边界框为矩形框。目标检测结果是多目标追踪算法的输入，用于在不同帧之间关联目标并构建目标轨迹。
位置信息是用ISSD目标检测算法得到目标的位置信息，使用马氏距离计算位置信息之间的距离，见下式：
式中，表示第j个目标检测结果和第i条轨迹之间的马氏距离，d j 表示第j个目标框位置，d i 表示第i个目标追踪的预测位置，为协方差矩阵。
最后，对和两个指标进行加权计算，作为判断级联目标信息匹配正确与否的指示器，见下式：；
式中，表示第j个目标检测结果和第i条轨迹之间的马氏距离，d j 表示第j个目标框位置，d i 表示第i个目标追踪的预测位置，/>为协方差矩阵。
最后，对和/>两个指标进行加权计算，作为判断级联目标信息匹配正确与否的指示器，见下式：
；
其中，为超参数，来控制两个关联度量作为判断依据的影响程度，/>，用于判断目标匹配成功与否，当值小于指定阈值时目标匹配成功，否则失败。
在本实施例中，所述步骤S2.2中，对乘客是否存在摔倒进行检测包括如下步骤：
步骤S2.2.1：将采集的视频转换成连续的图片序列；
步骤S2.2.2：将图片序列送入到轻量化OpenPose模块骨骼关键点提取模块中，提取乘客头部、左肩、右肩及足部关键点的坐标数据，并进行储存。
具体为：轻量化OpenPose网络的轻量化改进主要是由SqueezeNet网络替换传统VGG网络组成的RGB特征提取模块，SqueezeNet网络通过使用更小的滤波器尺寸和深度可分离卷积来减少参数量，同时保持较高的性能，在申请的摔倒检测过程中，需要网络具有快速的反应能力，因此通过SqueezeNet网络对OpenPose网络进行轻量化改进，Fire模块是SqueezeNet的核心组件，由一个squeeze阶段和一个expand阶段组成。在squeeze阶段，使用1x1卷积核将输入通道进行压缩，以获取更少的特征通道。在expand阶段，通过使用1x1和3x3的卷积核来扩展通道，从而充分利用压缩过的特征。降低计算量的同时，得到最后生成改进的预测结果。
使用轻量化OpenPose算法提取视频图像中乘客骨骼关键点序列，本申请中仅需对乘客的四个点位进行定位即可进行摔倒行为识别，结合小波数据去噪及随机森林方法，降低计算量、提升检测速度的同时保证摔倒检测准确度，解决了未改进的openpose算法计算过大的问题，该方法仅需检测肩膀、头部及脚部四个点位即可满足摔倒检测的需求，不需要考虑丢失帧对方法造成的影响。
步骤S2.2.3：将提取到的骨骼关键点送入到骨骼关键点数据特征转换模块，得到乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量等输入特征数据。
步骤S2.2.4：骨骼关键点数据特征转换模块选取人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量，并以此作为判断是否发生摔倒的指标。
在本实施例中，所述步骤S2.2.4中，通过头部、左肩、右肩及足部4个点位得到乘客人体检测框的宽度W和高度H，通过W和H即可获得宽高比数据集；
W=x la -x ra ；
H=y h -y f ；
其中，x la 和x ra 代表第k帧图像中乘客左肩及右肩的水平方向坐标；y h 及y f 为头部及足部竖直方向坐标。
当乘客摔倒时往往是上半身出现大幅度动作，因此选取头部、左肩和右肩的三个骨骼关键点来表征头肩坐标；计算三个关键点的变化速度，同时为了排除大幅度动作的影响，增加头肩坐标累计变化量作为输入参数，头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量获取方式如下式：
；
其中，（x h ，y h ）为头部检测坐标点，（x la ，y la ）为左肩检测坐标点，（x ra ，y ra ）为右肩检测坐标点，（x f ，y f ）为足部检测坐标点，（x h+q ，y h+q ）为间隔Δt后该乘客头部检测坐标点，（x la+q ，y la+q ）为间隔Δt后该乘客左肩检测坐标点，（x ra+q ，y ra+q ）为间隔Δt后该乘客右肩检测坐标点，（x f+q ，y f+q ）为间隔Δt后该乘客足部检测坐标点；W h 、W la 、W ra 及W f 分别为乘客头部、左肩、右肩和足部的变化量，ΔW为头部、左肩、右肩及足部坐标累计变化量，Δt是两次采样之间的时间间隔，V Q 为头肩坐标变化速度。
当ΔW大于设定的第一阈值，且V Q 小于设定的第二阈值，则认为该乘客发生摔倒行为；否则反之。
在本实施例中将乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量输入到小波去噪结合的随机森林分类网络中，通过对提取后的数据进行去噪，更加准确的判断摔倒行为是否发生。
考虑乘客人体检测框宽高比及头肩坐标变化速度作为特征容易由于乘客加速下行及弯腰等问题导致误判，单一分类机器学习方法极易造成误判，导致扶梯乘客乘坐体验下降，因此本发明通过小波去噪的方式对该数据进行去噪，通过更平稳的数据形态精确判断乘客的摔倒行为。小波去噪阈值选用固定阈值最大限度的提升运行速度，同时采用硬阈值去噪的方式进行数据去噪，阈值公式如下：
；
式中，g为固定阈值，R为采样数量，为噪声的标准差。
在本实施例中，将小波去噪方法与随机森林方法相结合，通过小波去噪方法处理检测框宽高比数据和头肩坐标变化速度，随机森林由多个决策树决策组成，随机森林理论中的随机包含数据采样随机和特征选择随机两方面。具体流程如下：
（1）采用有放回的抽样方法从样本集中选取多个样本作为一个训练集；利用训练集产生一棵决策树；M为样本的数据形式，将人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量的数据输入，并设定一个常数s，s≤M；根据下式计算节点m的熵值。
（2）在m点随机选取s个摔倒特征因素用于节点分裂的字段选择，选择分裂后熵降最大的摔倒特征因素在节点m进行分裂，得到训练完备的一个决策树模型；
；
Gini(m)为决策树第m节点熵值；v为所有摔倒特征因素；p为条件概率函数。
；
ξ为决策树第m个节点分裂后随机选择的特征；D为节点分裂前的样本；D 1 和D 2 为节点分裂后生成的样本。
；
为决策树第m个节点特征分裂前后的熵降值。
（3）重复步骤(1)到步骤(2)，随机森林中决策树的个数为N，进而生成N个决策树模型组成随机森林模型；
（4）根据得到的随机森林测试数据，通过平均法结合各决策树模型输出得到视频中行为类别。
实例分析：
1.1 自动扶梯乘客逆行检测实验结果对比：
为了验证乘客逆行检测算法的优势，本发明设置了三组实验：实验1是原始的SSD算法结合DeepSort追踪算法实现逆行检测。实验2是yolov3算法结合DeepSort追踪算法实现逆行检测。实验3是本申请提出的ISSD算法结合基于卡尔曼滤波的预测模块及表观信息模块的DeepSort追踪算法实现逆行检测。本发明模型比方案1的准确率高3.5%，比方案2的准确率高1.8%，检测时间为17ms，结果如表1所示。
表1 实验结果对比
。
1.2 自动扶梯乘客摔倒检测实验结果对比：
在摔倒检测模块中，将样本的乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量输入到小波去噪改进的随机森林分类网络中，进行摔倒行为分类，相较于SVM、KNN等方法对摔倒行为进行分类，随机森林网络模型准确率分别比SVM、KNN模型高2.5%，1.8%，结果如表2所示，同时轻量化openpose模块提升可了骨骼关键点识别速度，结合WD-RF方法在提升检测速度的同时，保障了识别准确率。
表2 实验结果对比
。
1.3危险行为检测结果分析：
本发明采集南京某商场自动扶梯运行时的相关数据进行测试，通过150张现场照片对本发明所提出的模型进行测试，其中包括100张无异常照片，25张乘客逆行照片及25张乘客摔倒照片。试验测试结果通过混淆矩阵进行表示。如图3所示，左边的图片中乘客无异常，中间图片椭圆框中的乘客存在逆行行为，右边图片椭圆框中的乘客存在摔倒行为。
首先，通过ISSD算法进行乘客目标检测，得到各个乘客的点位信息。其次，将这些信息送入改进卡尔曼滤波及表观信息模块的DeepSort算法模块，对乘客进行追踪并获得运动轨迹；通过多目标追踪得到每个乘客的运动轨迹并得到相对应的目标坐标位置，依据乘客位置的变化能够判断逆行事件是否存在。其次，将视频序列输入转换成连续的图片序列；送入到轻量化OpenPose骨骼关键点提取模块，将提取的人体检测框信息及头部、左肩、右肩及足部坐标进行保存，通过计算得到人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量；最后将样本的人体检测框的宽高比、头肩坐标变化速度，以固定的维度输入到小波去噪WD改进的随机森林RF分类网络中，根据随机森林分类网络的输出得到视频中行为的摔倒与否类别，最后将摔倒和逆行情况进行输出。通过采集到的数据对模型进行训练，完成后该模型即可对训练数据集采集的自动扶梯进行监测。
如图4可见，改进后的检测模型对无异常、乘客逆行及乘客摔倒三种类型的检测都有明显的提升，改善了传统检测模型的检测性能，乘客逆行检测的准确率可达到92.0%。在乘客摔倒检测中，检测准确率可达到96.0%，在两种危险情况下检测准确率相对于未改进前均有提升。图4中，纵、横坐标中“1”表示乘客无异常，“2”表示乘客存在逆行行为，“3”表示存在乘客摔倒行为。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明专利技术思想的范围内，进行多样的变更以及修改。本项发明专利的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.自动扶梯乘客危险行为的检测方法，其特征在于，包括如下步骤：
步骤S1：采集数据：
通过摄像头采集乘客乘坐自动扶梯的视频，并传送给控制器；
步骤S2：控制器中的乘客逆行检测模块和摔倒检测模块，对所采集视频中乘客的行为进行检测，判断乘客是否存在逆行和/或摔倒现象，具体如下：
步骤S2.1：利用改进的目标检测算法ISSD、基于卡尔曼滤波的预测模块，及表观信息提取模块的DeepSort目标追踪算法，构建基于多目标追踪的乘客逆行检测模型，通过乘客与自动扶梯的相对运动距离判断乘客是否存在逆行行为；
步骤S2.2：利用SqueezeNet网络改进得到轻量化OpenPose模块，提取乘客骨骼关键点，通过小波去噪对提取的数据进行去噪处理，得到合格的训练样本，随后输入随机森林模型中进行训练，从而构建判别摔倒行为的随机森林模型，检测乘客是否摔倒。
2.根据权利要求1所述的自动扶梯乘客危险行为的检测方法，其特征在于，所述步骤S1中，摄像头安装在自动扶梯上方，摄像头的安装角度与水平面的夹角为45°-60°。
3.根据权利要求2所述的自动扶梯乘客危险行为的检测方法，其特征在于，所述步骤S2.1中，乘客逆行行为检测包括如下步骤，具体为：
步骤S2.1.1：目标识别：通过改进的目标检测算法ISSD对采集视频图像中的乘客进行检测，得到各个乘客的目标检测框及位置信息，为改进的多目标追踪算法DeepSort提供输入数据；
步骤S2.1.2：目标追踪，采用改进的多目标追踪算法DeepSort得到每个乘客的轨迹：
使用改进的表观信息提取模块提取各个目标检测框中的表观信息，初始化基于卡尔曼滤波的预测模块；将每个乘客作为一个目标，根据前一帧图像中的目标位置信息，使用基于卡尔曼滤波的预测模块预测该目标在当前帧中的位置；然后进行级联匹配，用匈牙利算法进行最优匹配，成功匹配则输出目标的坐标；若匹配失败，则给目标生成暂时追踪器，若后面连续4帧均匹配成功则视为一个新目标；若后面连续4帧均匹配失败，则视为目标丢失并保留目标信息，接下来60帧没有匹配到该目标，则删除该目标追踪器；
步骤S2.1.3：通过目标追踪得到每个乘客的运动轨迹并得到相对应的目标坐标信息，依据乘客位置的位移变化判断逆行事件是否存在，具体为：设定自动扶梯的前进方向为正方向，记录第k帧图像中乘客所对应的目标检测框中心点坐标为（u 0 ,v 0 ），在第k+n帧图像中该乘客的目标检测框中心点的坐标为（u 0+n ,v 0+n ），计算乘客的运动距离d(n)，若该距离小于自动扶梯在其运行方向上的位移则判定为逆行，否则为没有逆行；
；
其中，d(n)为同一乘客在乘坐自动扶梯期间的运动距离。
4.根据权利要求3所述的自动扶梯乘客危险行为的检测方法，其特征在于，原始的表观信息提取模块依次由两层卷积层、一层池化层、6层ResNet网络中的残差结构和一层dense层组成；改进的表观信息提取模块在原始网络的第1、3、5层残差结构后面，依次加入坐标注意力机制；
改进的DeepSort算法主要对基于卡尔曼滤波的预测模块和表观信息提取模块进行改进，基于卡尔曼滤波的预测模块通过当前帧的乘客位置信息预测下一帧该乘客的位置信息；改进的表观信息提取模块通过结合注意力机制的CNN网络模型提取表征当前目标检测框中局部图片的表观信息，通过引入注意力机制提高提取的精准度。
5.根据权利要求4所述的自动扶梯乘客危险行为的检测方法，其特征在于，所述步骤S2.1.2中，基于卡尔曼滤波的预测模块通过对非线性函数进行泰勒展开、线性化截断，忽略高阶项，完成函数的近似线性化；在迭代过程中，非线性系统见下式：
；
式中，w k 和v k 是高斯白噪声， f(x k-1)是状态转移函数，h(x k )是量测的非线性函数，k-1表示第k-1帧，k表示第k帧，x k 表示第k帧的状态向量，z k 表示第k帧的测向量；迭代公式见下式：
；
式中，是目标第k-1帧的预测值，/>是目标第k帧的预测值， F k-1与Z k 分别为x k 、z k 的雅可比矩阵；
其中，根据改进的表观信息提取模块对应的表观信息，利用余弦距离计算表观信息之间的距离，见下式：
；
式中，r j 是对每个目标检测框提取的一个表观特征描述子，表示第j个目标检测结果与第i个目标轨迹的余弦距离，/>为对应追踪的特征向量；
位置信息是用ISSD目标检测算法得到目标的位置信息，使用马氏距离计算位置信息之间的距离，见下式：
；
式中，表示第j个目标检测结果和第i条轨迹之间的马氏距离，d j 表示第j个目标框位置，d i 表示第i个目标追踪的预测位置，/>为协方差矩阵；
最后，对和/>两个指标进行加权计算，作为判断级联目标信息匹配正确与否的指示器，见下式：
；
其中，为超参数，来控制两个关联度量作为判断依据的影响程度，/>，/>用于判断目标匹配成功与否，当值小于指定阈值时目标匹配成功，否则失败。
6.根据权利要求5所述的自动扶梯乘客危险行为的检测方法，其特征在于，所述步骤S2.2中，对乘客是否存在摔倒进行检测包括如下步骤：
步骤S2.2.1：将采集的视频转换成连续的图片序列；
步骤S2.2.2：将图片序列送入到轻量化OpenPose模块骨骼关键点提取模块中，提取乘客头部、左肩、右肩及足部关键点的坐标数据，并进行储存；
步骤S2.2.3：将提取到的骨骼关键点送入到骨骼关键点数据特征转换模块，得到乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量输入特征数据；
步骤S2.2.4：骨骼关键点数据特征转换模块选取人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量，并以此作为判断是否发生摔倒的指标。
7.根据权利要求6所述的自动扶梯乘客危险行为的检测方法，其特征在于，所述步骤S2.2.4中，通过头部、左肩、右肩及足部4个点位得到乘客人体检测框的宽度W和高度H，通过W和H即可获得宽高比数据集；
W=x la -x ra ；
H=y h -y f ；
其中，x la 和x ra 代表第k帧图像中乘客左肩及右肩的水平方向坐标；y h 及y f 为头部及足部竖直方向坐标；
当乘客摔倒时往往是上半身出现大幅度动作，因此选取头部、左肩和右肩的三个骨骼关键点来表征头肩坐标；计算三个关键点的变化速度，同时为了排除大幅度动作的影响，增加头肩坐标累计变化量作为输入参数，头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量获取方式如下式：
；
其中，（x h ，y h ）为头部检测坐标点，（x la ，y la ）为左肩检测坐标点，（x ra ，y ra ）为右肩检测坐标点，（x f ，y f ）为足部检测坐标点，（x h+q ，y h+q ）为间隔Δt后该乘客头部检测坐标点，（x la+q ， y la+q ）为间隔Δt后该乘客左肩检测坐标点，（x ra+q ，y ra+q ）为间隔Δt后该乘客右肩检测坐标点，（x f+q ，y f+q ）为间隔Δt后该乘客足部检测坐标点；W h 、W la 、W ra 及W f 分别为乘客头部、左肩、右肩和足部的变化量，ΔW为头部、左肩、右肩及足部坐标累计变化量，Δt是两次采样之间的时间间隔，V Q 为头肩坐标变化速度；
当ΔW大于设定的第一阈值，且V Q 小于设定的第二阈值，则认为该乘客发生摔倒行为；否则反之。
8.根据权利要求7所述的自动扶梯乘客危险行为的检测方法，其特征在于，将乘客人体检测框的宽高比、头肩坐标变化速度及头部、左肩、右肩及足部坐标累计变化量输入到小波去噪结合的随机森林分类网络中，通过对提取后的数据进行去噪，更加准确的判断摔倒行为是否发生。
CN202311605837.4A 2023-11-29 2023-11-29 自动扶梯乘客危险行为的检测方法 Active CN117315550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311605837.4A CN117315550B (zh) 2023-11-29 2023-11-29 自动扶梯乘客危险行为的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311605837.4A CN117315550B (zh) 2023-11-29 2023-11-29 自动扶梯乘客危险行为的检测方法

Publications (2)

Publication Number Publication Date
CN117315550A true CN117315550A (zh) 2023-12-29
CN117315550B CN117315550B (zh) 2024-02-23

Family

ID=89297600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311605837.4A Active CN117315550B (zh) 2023-11-29 2023-11-29 自动扶梯乘客危险行为的检测方法

Country Status (1)

Country Link
CN (1) CN117315550B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746311A (zh) * 2023-10-16 2024-03-22 无锡八英里电子科技有限公司 一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
CN111144247A (zh) * 2019-12-16 2020-05-12 浙江大学 一种基于深度学习的自动扶梯乘客逆行检测方法
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法
AU2020103494A4 (en) * 2020-11-17 2021-01-28 China University Of Mining And Technology Handheld call detection method based on lightweight target detection network
CN113361370A (zh) * 2021-06-02 2021-09-07 南京工业大学 一种基于深度学习的异常行为检测方法
CN113674321A (zh) * 2021-08-25 2021-11-19 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN113822153A (zh) * 2021-08-11 2021-12-21 桂林电子科技大学 一种基于改进DeepSORT算法的无人机跟踪方法
CN114708610A (zh) * 2022-02-23 2022-07-05 浙江万里学院 一种融合注意力机制的非机动车违规行为检测方法
CN115273234A (zh) * 2022-07-26 2022-11-01 陕西科技大学 一种基于改进ssd的人群异常行为检测方法
CN115273146A (zh) * 2022-07-18 2022-11-01 闽江学院 一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法
CN116067432A (zh) * 2023-03-06 2023-05-05 南京市特种设备安全监督检验研究院 一种自动扶梯变工况故障诊断方法
CN116403396A (zh) * 2022-12-19 2023-07-07 山西交通控股有限公司 一种基于大数据和视频技术的隧道车辆检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
CN111144247A (zh) * 2019-12-16 2020-05-12 浙江大学 一种基于深度学习的自动扶梯乘客逆行检测方法
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法
AU2020103494A4 (en) * 2020-11-17 2021-01-28 China University Of Mining And Technology Handheld call detection method based on lightweight target detection network
CN113361370A (zh) * 2021-06-02 2021-09-07 南京工业大学 一种基于深度学习的异常行为检测方法
CN113822153A (zh) * 2021-08-11 2021-12-21 桂林电子科技大学 一种基于改进DeepSORT算法的无人机跟踪方法
CN113674321A (zh) * 2021-08-25 2021-11-19 燕山大学 一种基于云端的监控视频下多目标跟踪的方法
CN114708610A (zh) * 2022-02-23 2022-07-05 浙江万里学院 一种融合注意力机制的非机动车违规行为检测方法
CN115273146A (zh) * 2022-07-18 2022-11-01 闽江学院 一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法
CN115273234A (zh) * 2022-07-26 2022-11-01 陕西科技大学 一种基于改进ssd的人群异常行为检测方法
CN116403396A (zh) * 2022-12-19 2023-07-07 山西交通控股有限公司 一种基于大数据和视频技术的隧道车辆检测方法
CN116067432A (zh) * 2023-03-06 2023-05-05 南京市特种设备安全监督检验研究院 一种自动扶梯变工况故障诊断方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LI, SHUWEI等: "A Fall Detection Network by 2D/3D Spatio-temporal Joint Models with Tensor Compression on Edge", 《ACM TRANSACTIONS ON EMBEDDED COMPUTING SYSTEMS》, vol. 21, no. 6, pages 83 - 101 *
只想做打工人: "SqueezeNet", pages 1 - 4, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_43848469/article/details/113179750> *
周前飞 等: "基于双光监测的智慧电梯异常事件与故障预警技术研究", 《起重运输机械》, vol. 2023, no. 5, pages 73 - 78 *
曾张帆 等: "基于双重注意力机制、轨迹预测与无人机遥感技术的人车流量检测方法", pages 1 - 10, Retrieved from the Internet <URL:https://link.cnki.net/urlid/42.1671.TP.20230823.1018.010> *
肖昀 等: "一种自动扶梯和自动人行道制停距离检测系统的设计", 《中国电梯》, vol. 34, no. 4, pages 25 - 26 *
赵珊 等: "基于MobileNetV2和IFPN改进的SSD垃圾实时分类检测方法", 《计算机应用》, vol. 42, no. 1, pages 106 - 111 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746311A (zh) * 2023-10-16 2024-03-22 无锡八英里电子科技有限公司 一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法

Also Published As

Publication number Publication date
CN117315550B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110147743B (zh) 一种复杂场景下的实时在线行人分析与计数系统及方法
US9569531B2 (en) System and method for multi-agent event detection and recognition
CN111738218B (zh) 人体异常行为识别系统及方法
CN117315550B (zh) 自动扶梯乘客危险行为的检测方法
CN111325137B (zh) 暴力分拣检测方法、装置、设备及存储介质
David An intellectual individual performance abnormality discovery system in civic surroundings
Kushwaha et al. Automatic multiple human detection and tracking for visual surveillance system
Henrio et al. Anomaly detection in videos recorded by drones in a surveillance context
Chen et al. Multi-modality gesture detection and recognition with un-supervision, randomization and discrimination
Batool et al. Telemonitoring of daily activities based on multi-sensors data fusion
Farooq et al. Unsupervised video surveillance for anomaly detection of street traffic
Ayumi et al. A comparison of SVM and RVM for human action recognition
CN116840835B (zh) 一种基于毫米波雷达的跌倒检测方法、系统及设备
Kushwaha et al. Rule based human activity recognition for surveillance system
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
CN111178134B (zh) 一种基于深度学习与网络压缩的摔倒检测方法
Wang et al. Human Action Recognition of Autonomous Mobile Robot Using Edge-AI
Xu et al. An intra-frame classification network for video anomaly detection and localization
Duth et al. Human Activity Detection Using Pose Net
Zhang et al. A computer vision-based dual network approach for indoor fall detection
Hagui et al. Coupled Hidden Markov Model for video fall detection
CN117058627B (zh) 一种公共场所人群安全距离监测方法、介质及系统
Hsu et al. Falling and slipping detection for pedestrians using a manifold learning approach
CN113408433B (zh) 一种智能监控的手势识别方法、装置、设备和存储介质
CN117351405B (zh) 一种人群行为分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant