CN113033300B - 一种基于计算机视觉的扶梯安全自动监控方法及系统 - Google Patents

一种基于计算机视觉的扶梯安全自动监控方法及系统 Download PDF

Info

Publication number
CN113033300B
CN113033300B CN202110176755.7A CN202110176755A CN113033300B CN 113033300 B CN113033300 B CN 113033300B CN 202110176755 A CN202110176755 A CN 202110176755A CN 113033300 B CN113033300 B CN 113033300B
Authority
CN
China
Prior art keywords
escalator
key point
video frame
image characteristics
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110176755.7A
Other languages
English (en)
Other versions
CN113033300A (zh
Inventor
焦泽昱
黄天仑
王楠
陈再励
雷欢
钟震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202110176755.7A priority Critical patent/CN113033300B/zh
Publication of CN113033300A publication Critical patent/CN113033300A/zh
Application granted granted Critical
Publication of CN113033300B publication Critical patent/CN113033300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B29/00—Safety devices of escalators or moving walkways
    • B66B29/005—Applications of security monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Escalators And Moving Walkways (AREA)

Abstract

本发明公开了一种基于计算机视觉的扶梯安全自动监控方法及系统，其中，所述方法包括：实时采集电动扶梯区域内的实时监控视频；将实时监控视频输入卷积神经网络，输出实时监控视频的视频帧图像特征；基于视频帧图像特征进行扶梯区域识别处理，获得扶梯区域信息；基于视频帧图像特征进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；基于视频帧图像特征进行危险物品识别处理，并获得危险物品的位置和对应的置信度；基于扶梯区域信息、乘客的人体关键点坐标信息及危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。在本发明实施例中，可以实现对扶梯运行过程中的自动监控，确保扶梯安全稳定运行。

Description

一种基于计算机视觉的扶梯安全自动监控方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于计算机视觉的扶梯安全自动监控方法及系统。
背景技术
随着现代城市地铁和高层建筑的建设，城市空间的利用率得到了显著的提高，其中自动扶梯的应用也方便了人们的生活，为人们提供了一种舒适、方便的交通方式。然而，自动扶梯的广泛应用导致了许多与自动扶梯相关的事故。截止到2019年，美国约有35000台自动扶梯，每台平均每年服务12000人。根据美国劳工统计局和消费者产品安全委员会提供的数据，每年涉及自动扶梯的事故导致大约30人死亡，1.7万人严重受伤。
随着计算机视觉的发展，自动分析扶梯乘客的不安全行为、识别可能发生的潜在伤害成为可能，并可以基于此实现潜在事故的识别、报警和预防。根据学者的研究表明，在所有扶梯安全事故中，失去平衡、没有抓住扶手、携带大件物品是导致扶梯安全事故的最主要诱因。现在虽然有可以处理某一种潜在诱因的方法，但是难以综合性的同时处理三种主要的不安全诱因。因此，能否建立安全监测系统，同时防止上述三个主要原因对乘客可能造成的伤害，对于扶梯的安全管理及有效保障人民群众的生命安全有重要意义。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于计算机视觉的扶梯安全自动监控方法及系统，可以实现对扶梯运行过程中的自动监控，确保扶梯安全稳定运行。
为了解决上述技术问题，本发明实施例还提供了一种基于计算机视觉的扶梯安全自动监控方法，所述方法包括：
基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；同时，
基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
可选的，所述基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：
将所述视频帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；
基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
可选的，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
可选的，其特征在于，所述卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure GDA0003077526620000021
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
可选的，所述基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure GDA0003077526620000031
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
可选的，所述乘客行为监控模块为一个包含有旋转子模块的基于Stackedhourglass网络的人体姿态估计模型。
可选的，所述基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure GDA0003077526620000032
作为乘客的人体关键点坐标信息。
可选的，所述安全监控应对策略包括直接干预、间接干预和不需要干预。
可选的，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需要进行直接干预；
所述间接干预的判断过程，包括：
基于乘客的人体关键点坐标信息中的任意手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure GDA0003077526620000033
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，
危险物品的位置出现在所述扶梯区域信息内时，需要间接干预。
另外，本发明实施例还提供了一种基于计算机视觉的扶梯安全自动监控系统，所述系统包括：
视频采集模块：用于基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
视频特征提取模块：用于将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
扶梯区域识别模块：用于基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；同时，
人体关键点提取模块：用于基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
危险物品识别模块：用于基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
安全监控应对策略模块：用于基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
在本发明实施例中，通过识别扶梯区域、监控乘客不安全行为、检测危险物品实现对于扶梯安全稳定运行的自动化监控，能同时处理三种主要事故诱因，填补了这一领域的空白；可以实现对扶梯运行过程中的自动监控，确保扶梯安全稳定运行；并且经过在实际扶梯运行监控数据上进行测试，乘客姿态识别准确率达到88.74％，物体识别准确率可以达到93.46，均满足实际场景中的需求，效果良好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于计算机视觉的扶梯安全自动监控方法的流程示意图；
图2是本发明实施例中的基于计算机视觉的扶梯安全自动监控系统的结构组成示意图；
图3是本发明实施例中的监控摄像头设备设置位置示意图；
图4是本发明实施例中的扶梯区域拟合结果的示意图；
图5是本发明实施例中的人体关键点坐标信息估计的示意图；
图6是本发明实施例中的危险物品监控识别的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的基于计算机视觉的扶梯安全自动监控方法的流程示意图。
如图1所示，一种基于计算机视觉的扶梯安全自动监控方法，所述方法包括：
S11：基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
在本发明具体实施过程中，如图3所示，设置监控摄像头设备，并且该监控摄像头设备可以为普通的RGB摄像头设备，然后通过监控摄像头设备实时采集电动扶梯区域内的实时监控视频画面。
S12：将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
在本发明具体实施过程中，先构建一个以ResNet-50为骨干网络的卷积神经网络，用于提取监控视频的视频帧图像特征；将实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，即可输出实时监控视频的视频帧图像特征。
S13：基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；
在本发明具体实施过程中，所述基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：将所述视频帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
进一步的，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
进一步的，所述卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure GDA0003077526620000061
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
进一步的，所述基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure GDA0003077526620000071
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
具体的，该扶梯区域识别模块是由关键点回归模型和非线性最小二乘函数组成，首先，该关键点回归模型是基于Stacked hourglass的关键点回归模型，并且其核心由卷积-反卷积网络识构成，即将视频帧图像特征输入扶梯区域识别模块，并在扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；然后根据扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
并且该卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure GDA0003077526620000072
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
根据扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure GDA0003077526620000073
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
通过上述的处理，处理扶梯区域识别的拟合结果如图4所示。
S14：基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；
在本发明具体实施过程中，所述乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
进一步的，所述基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure GDA0003077526620000081
作为乘客的人体关键点坐标信息。
具体的，乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
在将视频帧图像特征分输入该乘客行为监控模块之后，在该乘客行为监控模块内首先对视频帧图像特征进行选择，选择为顺时针选择，旋转的角度分别为90°、180°、270°，然后将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stackedhourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure GDA0003077526620000082
作为乘客的人体关键点坐标信息。人体关键点的坐标信息提取的结果可以参考图5所示。
S15：基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
在本发明具体实施过程中，危险物品检测模块由一个卷积神经网络结合全连接层构成，用于自动检测在视频帧图像特征内的扶梯上是否存在危险物品，视频帧图像特征经过该危险物品检测模块可以得到危险物品在监控画面中的位置以及其置信度。危险物品在监控的结果可以参考图5所示。
S16：基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
在本发明具体实施过程中，所述安全监控应对策略包括直接干预、间接干预和不需要干预。
进一步的，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需要进行直接干预；
所述间接干预的判断过程，包括：基于乘客的人体关键点坐标信息中的任意手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure GDA0003077526620000091
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，危险物品的位置出现在所述扶梯区域信息内时，需要间接干预。
需要直接干预的情况主要是乘客在扶梯上摔倒，该情况下，乘客行为监控模块得到人体关键点具备以下特征：人的上半身关键点的中心点位与下半身关键点中心点小于一定距离；需要间接干预的情况主要是存在不安全隐患，包括：未握紧扶手、携带危险物品进入扶梯。具体判断方式包括：
对于未握紧扶手，主要是基于乘客行为监控模块得到人体关键点中任一手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure GDA0003077526620000092
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，携带危险物品进入扶梯，主要是基于危险物品检测模块的识别结果，当检测到的危险品框的中心点出现在扶梯区域R中时，就发出相应警报并进行对应的处理。
对于需要直接干预的情况，此情况下通常代表扶梯上有乘客摔倒，此时由综合安全评估模块向扶梯控制模块发出停止信号，控制扶梯逐渐停下以避免乘客在扶梯上滚动带来的继发伤害。对于需要间接干预的情况，在本实施例中，通常是由综合安全评估模块向广播系统发送播放语音命令，通过语音提醒乘客注意安全以避免潜在事故。同时，将相关报警信号发送给扶梯管理方，以进行人为干预和事故的预防。
在本发明实施例中，通过识别扶梯区域、监控乘客不安全行为、检测危险物品实现对于扶梯安全稳定运行的自动化监控，能同时处理三种主要事故诱因，填补了这一领域的空白；可以实现对扶梯运行过程中的自动监控，确保扶梯安全稳定运行；并且经过在实际扶梯运行监控数据上进行测试，乘客姿态识别准确率达到88.74％，物体识别准确率可以达到93.46，均满足实际场景中的需求，效果良好。
实施例
请参阅图2，图2是本发明实施例中的基于计算机视觉的扶梯安全自动监控系统的结构组成示意图。
如图2所示，一种基于计算机视觉的扶梯安全自动监控系统，所述系统包括：
视频采集模块21：用于基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
在本发明具体实施过程中，如图3所示，设置监控摄像头设备，并且该监控摄像头设备可以为普通的RGB摄像头设备，然后通过监控摄像头设备实时采集电动扶梯区域内的实时监控视频画面。
视频特征提取模块22：用于将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
在本发明具体实施过程中，先构建一个以ResNet-50为骨干网络的卷积神经网络，用于提取监控视频的视频帧图像特征；将实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，即可输出实时监控视频的视频帧图像特征。
扶梯区域识别模块23：用于基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；
在本发明具体实施过程中，所述基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：将所述视频帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
进一步的，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
进一步的，所述卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure GDA0003077526620000111
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
进一步的，所述基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure GDA0003077526620000112
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
具体的，该扶梯区域识别模块是由关键点回归模型和非线性最小二乘函数组成，首先，该关键点回归模型是基于Stacked hourglass的关键点回归模型，并且其核心由卷积-反卷积网络识构成，即将视频帧图像特征输入扶梯区域识别模块，并在扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；然后根据扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
并且该卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure GDA0003077526620000121
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
根据扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure GDA0003077526620000122
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
通过上述的处理，处理扶梯区域识别的拟合结果如图4所示。
人体关键点提取模块24：用于基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；
在本发明具体实施过程中，所述乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
进一步的，所述基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure GDA0003077526620000131
作为乘客的人体关键点坐标信息。
具体的，乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
在将视频帧图像特征分输入该乘客行为监控模块之后，在该乘客行为监控模块内首先对视频帧图像特征进行选择，选择为顺时针选择，旋转的角度分别为90°、180°、270°，然后将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stackedhourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure GDA0003077526620000132
作为乘客的人体关键点坐标信息。人体关键点的坐标信息提取的结果可以参考图5所示。
危险物品识别模块25：用于基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
在本发明具体实施过程中，危险物品检测模块由一个卷积神经网络结合全连接层构成，用于自动检测在视频帧图像特征内的扶梯上是否存在危险物品，视频帧图像特征经过该危险物品检测模块可以得到危险物品在监控画面中的位置以及其置信度。危险物品在监控的结果可以参考图5所示。
安全监控应对策略模块26：用于基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
在本发明具体实施过程中，所述安全监控应对策略包括直接干预、间接干预和不需要干预。
进一步的，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需要进行直接干预；
所述间接干预的判断过程，包括：基于乘客的人体关键点坐标信息中的任意手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure GDA0003077526620000141
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，危险物品的位置出现在所述扶梯区域信息内时，需要间接干预。
需要直接干预的情况主要是乘客在扶梯上摔倒，该情况下，乘客行为监控模块得到人体关键点具备以下特征：人的上半身关键点的中心点位与下半身关键点中心点小于一定距离；需要间接干预的情况主要是存在不安全隐患，包括：未握紧扶手、携带危险物品进入扶梯。具体判断方式包括：
对于未握紧扶手，主要是基于乘客行为监控模块得到人体关键点中任一手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure GDA0003077526620000142
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，携带危险物品进入扶梯，主要是基于危险物品检测模块的识别结果，当检测到的危险品框的中心点出现在扶梯区域R中时，就发出相应警报并进行对应的处理。
对于需要直接干预的情况，此情况下通常代表扶梯上有乘客摔倒，此时由综合安全评估模块向扶梯控制模块发出停止信号，控制扶梯逐渐停下以避免乘客在扶梯上滚动带来的继发伤害。对于需要间接干预的情况，在本实施例中，通常是由综合安全评估模块向广播系统发送播放语音命令，通过语音提醒乘客注意安全以避免潜在事故。同时，将相关报警信号发送给扶梯管理方，以进行人为干预和事故的预防。
在本发明实施例中，通过识别扶梯区域、监控乘客不安全行为、检测危险物品实现对于扶梯安全稳定运行的自动化监控，能同时处理三种主要事故诱因，填补了这一领域的空白；可以实现对扶梯运行过程中的自动监控，确保扶梯安全稳定运行；并且经过在实际扶梯运行监控数据上进行测试，乘客姿态识别准确率达到88.74％，物体识别准确率可以达到93.46，均满足实际场景中的需求，效果良好。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于计算机视觉的扶梯安全自动监控方法及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于计算机视觉的扶梯安全自动监控方法，其特征在于，所述方法包括：
基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；同时，
基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略；
所述基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该人体预测关键点的坐标的置信度；当cr大于预设阈值时，认为该人体预测关键点的坐标具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure FDA0003640261810000011
作为乘客的人体关键点坐标信息。
2.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：
将所述视频帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；
基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
3.根据权利要求2所述的扶梯安全自动监控方法，其特征在于，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
4.根据权利要求2或3任意一项所述的扶梯安全自动监控方法，其特征在于，所述卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure FDA0003640261810000021
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键点，其坐标为(i,j)。
5.根据权利要求2所述的扶梯安全自动监控方法，其特征在于，所述基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure FDA0003640261810000022
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
6.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
7.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述安全监控应对策略包括直接干预、间接干预和不需要干预。
8.根据权利要求7所述的扶梯安全自动监控方法，其特征在于，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需要进行直接干预；
所述间接干预的判断过程，包括：
基于乘客的人体关键点坐标信息中的任意手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure FDA0003640261810000031
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，
危险物品的位置出现在所述扶梯区域信息内时，需要间接干预。
9.一种基于计算机视觉的扶梯安全自动监控系统，其特征在于，所述系统包括：
视频采集模块：用于基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
视频特征提取模块：用于将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
扶梯区域识别模块：用于基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；同时，
人体关键点提取模块：用于基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
危险物品识别模块：用于基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
安全监控应对策略模块：用于基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略；
所述基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度；cr为该人体预测关键点的坐标的置信度；当cr大于预设阈值时，认为该人体预测关键点的坐标具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure FDA0003640261810000041
作为乘客的人体关键点坐标信息。
CN202110176755.7A 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统 Active CN113033300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110176755.7A CN113033300B (zh) 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110176755.7A CN113033300B (zh) 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统

Publications (2)

Publication Number Publication Date
CN113033300A CN113033300A (zh) 2021-06-25
CN113033300B true CN113033300B (zh) 2022-11-08

Family

ID=76460678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110176755.7A Active CN113033300B (zh) 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统

Country Status (1)

Country Link
CN (1) CN113033300B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435402A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 一种用于列车车厢的不文明行为检测方法及系统
CN116434145B (zh) * 2023-04-21 2024-04-16 北京日立电梯工程有限公司 一种基于图像识别的电扶梯乘客危险行为分析监控系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及系统
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117864918A (zh) * 2016-07-29 2024-04-12 奥的斯电梯公司 乘客运输装置的监测系统、乘客运输装置及其监测方法
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN109522793B (zh) * 2018-10-10 2021-07-23 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110135258A (zh) * 2019-04-12 2019-08-16 深圳壹账通智能科技有限公司 自动扶梯控制方法、装置、存储介质和计算机设备
CN110188644B (zh) * 2019-05-22 2021-06-29 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
CN113892113A (zh) * 2019-07-18 2022-01-04 华为技术有限公司 一种人体姿态估计方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及系统
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法

Also Published As

Publication number Publication date
CN113033300A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033300B (zh) 一种基于计算机视觉的扶梯安全自动监控方法及系统
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
WO2022011828A1 (zh) 出入电梯物件检测系统及方法、物件检测系统、电梯光幕以及电梯设备
CN107911663A (zh) 一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统
CN108764191B (zh) 一种基于视频图像的人体定位监护方法
CN109508576B (zh) 一种异常驾驶行为检测方法、装置及电子设备
CN113076856B (zh) 基于人脸识别的公交车安全保障系统
CN107368786B (zh) 一种基于机器视觉的乘客越过扶手带检测方法
CN112437280A (zh) 一种基于大数据分析的智慧监控安防数据处理管理系统
CN104463253B (zh) 基于自适应背景学习的消防通道安全检测方法
CN109389019B (zh) 人脸图像选择方法、装置及计算机设备
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
US11731856B2 (en) Monitoring apparatus
JP2009227450A (ja) エレベータのかご内監視装置
JP4883415B2 (ja) 監視装置及びプログラム
CN115043285A (zh) 确定儿童违规操作电梯的方法、电子设备和存储介质
JP5596423B2 (ja) エレベータ制御システム
JPH0674114B2 (ja) エレベ−タ−の防犯装置
CN109726750B (zh) 一种乘客摔倒检测装置及其检测方法及乘客输送装置
CN114283360A (zh) 电梯内的电动车检测方法、装置、设备和介质
CN113705357A (zh) 基于摄像机识别电动车的方法及系统、设备及存储介质
CN112883889A (zh) 一种适用于电力施工场景下违章行为检测方法
JP2011227614A (ja) 画像監視装置
JP5653093B2 (ja) 鉄道車両用ドアの安全確認装置
CN110942582A (zh) 基于机器视觉的扶手带人员异常行为的监测报警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant