CN113033300A - 一种基于计算机视觉的扶梯安全自动监控方法及系统 - Google Patents

一种基于计算机视觉的扶梯安全自动监控方法及系统 Download PDF

Info

Publication number
CN113033300A
CN113033300A CN202110176755.7A CN202110176755A CN113033300A CN 113033300 A CN113033300 A CN 113033300A CN 202110176755 A CN202110176755 A CN 202110176755A CN 113033300 A CN113033300 A CN 113033300A
Authority
CN
China
Prior art keywords
escalator
video frame
frame image
key point
image characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110176755.7A
Other languages
English (en)
Other versions
CN113033300B (zh
Inventor
焦泽昱
黄天仑
王楠
陈再励
雷欢
钟震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202110176755.7A priority Critical patent/CN113033300B/zh
Publication of CN113033300A publication Critical patent/CN113033300A/zh
Application granted granted Critical
Publication of CN113033300B publication Critical patent/CN113033300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B29/00—Safety devices of escalators or moving walkways
    • B66B29/005—Applications of security monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Escalators And Moving Walkways (AREA)

Abstract

本发明公开了一种基于计算机视觉的扶梯安全自动监控方法及系统，其中，所述方法包括：实时采集电动扶梯区域内的实时监控视频；将实时监控视频输入卷积神经网络，输出实时监控视频的视频帧图像特征；基于视频帧图像特征进行扶梯区域识别处理，获得扶梯区域信息；基于视频帧图像特征进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；基于视频帧图像特征进行危险物品识别处理，并获得危险物品的位置和对应的置信度；基于扶梯区域信息、乘客的人体关键点坐标信息及危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。在本发明实施例中，可以实现对扶梯运行过程中的自动监控，确保扶梯安全稳定运行。

Description

一种基于计算机视觉的扶梯安全自动监控方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于计算机视觉的扶 梯安全自动监控方法及系统。
背景技术
随着现代城市地铁和高层建筑的建设，城市空间的利用率得到了显著 的提高，其中自动扶梯的应用也方便了人们的生活，为人们提供了一种舒 适、方便的交通方式。然而，自动扶梯的广泛应用导致了许多与自动扶梯 相关的事故。截止到2019年，美国约有35000台自动扶梯，每台平均每年 服务12000人。根据美国劳工统计局和消费者产品安全委员会提供的数据， 每年涉及自动扶梯的事故导致大约30人死亡，1.7万人严重受伤。
随着计算机视觉的发展，自动分析扶梯乘客的不安全行为、识别可能 发生的潜在伤害成为可能，并可以基于此实现潜在事故的识别、报警和预 防。根据学者的研究表明，在所有扶梯安全事故中，失去平衡、没有抓住 扶手、携带大件物品是导致扶梯安全事故的最主要诱因。现在虽然有可以 处理某一种潜在诱因的方法，但是难以综合性的同时处理三种主要的不安 全诱因。因此，能否建立安全监测系统，同时防止上述三个主要原因对乘 客可能造成的伤害，对于扶梯的安全管理及有效保障人民群众的生命安全 有重要意义。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于计算 机视觉的扶梯安全自动监控方法及系统，可以实现对扶梯运行过程中的自 动监控，确保扶梯安全稳定运行。
为了解决上述技术问题，本发明实施例还提供了一种基于计算机视觉 的扶梯安全自动监控方法，所述方法包括：
基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输 出实时监控视频的视频帧图像特征；
基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理， 获得扶梯区域信息；同时，
基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键 点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处 理，并获得危险物品的位置和对应的置信度；
基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险 物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
可选的，所述基于所述视频帧图像特征在扶梯区域识别模块进行扶梯 区域识别处理，获得扶梯区域信息，包括：
将所述视频帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区 域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络 识别出扶梯上的若干关键点；
基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获 得扶梯区域信息。
可选的，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式表 达如下：
Pi，j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X 表示输入的视频帧图像特征；Pi，j表示预测得到的扶梯皮带关键点，其坐标 为(i，j)。
可选的，其特征在于，所述卷积-反卷积网络在损失函数的指导下进行 训练，具体通过如下方式计算：
Figure BDA0002940934470000031
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分 别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti，j表示 人工标注的扶梯皮带关键点坐标真实值；Pi，j表示预测得到的扶梯皮带关键 点，其坐标为(i，j)。
可选的，所述基于所述扶梯上的若干关键点利用非线性最小二乘函数 进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure BDA0002940934470000032
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测 误差；φ(i)表示总的预测误差。
可选的，所述乘客行为监控模块为一个包含有旋转子模块的基于 Stackedhourglass网络的人体姿态估计模型。
可选的，所述基于所述视频帧图像特征在乘客行为监控模块内进行乘 客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时 针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监 控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预 测关键点的坐标，并分别用(ur，vr，cr)表示，其中，r对应不同的旋转角度； cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并 保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标 时，通过取相应坐标间的平均值
Figure BDA0002940934470000033
作为乘客的人体关键点坐标信息。
可选的，所述安全监控应对策略包括直接干预、间接干预和不需要干 预。
可选的，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下 半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需 要进行直接干预；
所述间接干预的判断过程，包括：
基于乘客的人体关键点坐标信息中的任意手部关键点(uh，vh)与扶梯区 域信息R是否满足
Figure BDA0002940934470000041
以及人的手部关键点和肘部关键点的连线 呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定 距离；或，
危险物品的位置出现在所述扶梯区域信息内时，需要间接干预。
另外，本发明实施例还提供了一种基于计算机视觉的扶梯安全自动监 控系统，所述系统包括：
视频采集模块：用于基于监控摄像头设备实时采集电动扶梯区域内的 实时监控视频；
视频特征提取模块：用于将所述实时监控视频输入以ResNet-50为骨干 网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
扶梯区域识别模块：用于基于所述视频帧图像特征在扶梯区域识别模 块进行扶梯区域识别处理，获得扶梯区域信息；同时，
人体关键点提取模块：用于基于所述视频帧图像特征在乘客行为监控 模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标 信息；同时，
危险物品识别模块：用于基于所述视频帧图像特征在危险物品检测模 块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
安全监控应对策略模块：用于基于所述扶梯区域信息、所述乘客的人 体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估 模块内形成安全监控应对策略。
在本发明实施例中，通过识别扶梯区域、监控乘客不安全行为、检测 危险物品实现对于扶梯安全稳定运行的自动化监控，能同时处理三种主要 事故诱因，填补了这一领域的空白；可以实现对扶梯运行过程中的自动监 控，确保扶梯安全稳定运行；并且经过在实际扶梯运行监控数据上进行测 试，乘客姿态识别准确率达到88.74％，物体识别准确率可以达到93.46，均 满足实际场景中的需求，效果良好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的， 下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员 来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附 图。
图1是本发明实施例中的基于计算机视觉的扶梯安全自动监控方法的 流程示意图；
图2是本发明实施例中的基于计算机视觉的扶梯安全自动监控系统的 结构组成示意图；
图3是本发明实施例中的监控摄像头设备设置位置示意图；
图4是本发明实施例中的扶梯区域拟合结果的示意图；
图5是本发明实施例中的人体关键点坐标信息估计的示意图；
图6是本发明实施例中的危险物品监控识别的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没 有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的 范围。
实施例
请参阅图1，图1是本发明实施例中的基于计算机视觉的扶梯安全自动 监控方法的流程示意图。
如图1所示，一种基于计算机视觉的扶梯安全自动监控方法，所述方 法包括：
S11：基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
在本发明具体实施过程中，如图3所示，设置监控摄像头设备，并且 该监控摄像头设备可以为普通的RGB摄像头设备，然后通过监控摄像头设 备实时采集电动扶梯区域内的实时监控视频画面。
S12：将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网 络，输出实时监控视频的视频帧图像特征；
在本发明具体实施过程中，先构建一个以ResNet-50为骨干网络的卷积 神经网络，用于提取监控视频的视频帧图像特征；将实时监控视频输入以 ResNet-50为骨干网络的卷积神经网络，即可输出实时监控视频的视频帧图 像特征。
S13：基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别 处理，获得扶梯区域信息；
在本发明具体实施过程中，所述基于所述视频帧图像特征在扶梯区域 识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：将所述视频 帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于 Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的 若干关键点；基于所述扶梯上的若干关键点利用非线性最小二乘函数进行 拟合，获得扶梯区域信息。
进一步的，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式 表达如下：
Pi，j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X 表示输入的视频帧图像特征；Pi,j表示预测得到的扶梯皮带关键点，其坐标 为(i,j)。
进一步的，所述卷积-反卷积网络在损失函数的指导下进行训练，具体 通过如下方式计算：
Figure BDA0002940934470000061
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分 别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti,j表示 人工标注的扶梯皮带关键点坐标真实值；Pi,j表示预测得到的扶梯皮带关键 点，其坐标为(i,j)。
进一步的，所述基于所述扶梯上的若干关键点利用非线性最小二乘函 数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure BDA0002940934470000071
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测 误差；φ(i)表示总的预测误差。
具体的，该扶梯区域识别模块是由关键点回归模型和非线性最小二乘 函数组成，首先，该关键点回归模型是基于Stacked hourglass的关键点回归 模型，并且其核心由卷积-反卷积网络识构成，即将视频帧图像特征输入扶 梯区域识别模块，并在扶梯区域识别内基于Stacked hourglass的关键点回归 模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；然后根据扶梯上 的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi,j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X 表示输入的视频帧图像特征；Pi，j表示预测得到的扶梯皮带关键点，其坐标 为(i，j)。
并且该卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下 方式计算：
Figure BDA0002940934470000072
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分 别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti，j表示 人工标注的扶梯皮带关键点坐标真实值；Pi，j表示预测得到的扶梯皮带关键 点，其坐标为(i,j)。
根据扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式 如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure BDA0002940934470000081
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测 误差；φ(i)表示总的预测误差。
通过上述的处理，处理扶梯区域识别的拟合结果如图4所示。
S14：基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体 关键点坐标提取处理，获得乘客的人体关键点坐标信息；
在本发明具体实施过程中，所述乘客行为监控模块为一个包含有旋转 子模块的基于Stacked hourglass网络的人体姿态估计模型。
进一步的，所述基于所述视频帧图像特征在乘客行为监控模块内进行 乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时 针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监 控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预 测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋转角度； cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并 保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标 时，通过取相应坐标间的平均值
Figure BDA0002940934470000082
作为乘客的人体关键点坐标信息。
具体的，乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
在将视频帧图像特征分输入该乘客行为监控模块之后，在该乘客行为 监控模块内首先对视频帧图像特征进行选择，选择为顺时针选择，旋转的 角度分别为90°、180°、270°，然后将旋转后的视频帧图像特征与原始 的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客 的人体预测关键点的坐标，并分别用(ur,vr,cr)表示，其中，r对应不同的旋 转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有 意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键 点的坐标时，通过取相应坐标间的平均值
Figure BDA0002940934470000091
作为乘客的人体关键点坐 标信息。人体关键点的坐标信息提取的结果可以参考图5所示。
S15：基于所述视频帧图像特征在危险物品检测模块内进行危险物品识 别处理，并获得危险物品的位置和对应的置信度；
在本发明具体实施过程中，危险物品检测模块由一个卷积神经网络结 合全连接层构成，用于自动检测在视频帧图像特征内的扶梯上是否存在危 险物品，视频帧图像特征经过该危险物品检测模块可以得到危险物品在监 控画面中的位置以及其置信度。危险物品在监控的结果可以参考图5所示。
S16：基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述 危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对 策略。
在本发明具体实施过程中，所述安全监控应对策略包括直接干预、间 接干预和不需要干预。
进一步的，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下 半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需 要进行直接干预；
所述间接干预的判断过程，包括：基于乘客的人体关键点坐标信息中 的任意手部关键点(uh，vh)与扶梯区域信息R是否满足
Figure BDA0002940934470000093
以及人 的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则 需要间接干预，其中，ε表示给定距离；或，危险物品的位置出现在所述扶 梯区域信息内时，需要间接干预。
需要直接干预的情况主要是乘客在扶梯上摔倒，该情况下，乘客行为 监控模块得到人体关键点具备以下特征：人的上半身关键点的中心点位与 下半身关键点中心点小于一定距离；需要间接干预的情况主要是存在不安 全隐患，包括：未握紧扶手、携带危险物品进入扶梯。具体判断方式包括：
对于未握紧扶手，主要是基于乘客行为监控模块得到人体关键点中任 一手部关键点(uh,vh)与扶梯区域信息R是否满足
Figure BDA0002940934470000092
以及人的手 部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要 间接干预，其中，ε表示给定距离；或，携带危险物品进入扶梯，主要是基 于危险物品检测模块的识别结果，当检测到的危险品框的中心点出现在扶 梯区域R中时，就发出相应警报并进行对应的处理。
对于需要直接干预的情况，此情况下通常代表扶梯上有乘客摔倒，此 时由综合安全评估模块向扶梯控制模块发出停止信号，控制扶梯逐渐停下 以避免乘客在扶梯上滚动带来的继发伤害。对于需要间接干预的情况，在 本实施例中，通常是由综合安全评估模块向广播系统发送播放语音命令， 通过语音提醒乘客注意安全以避免潜在事故。同时，将相关报警信号发送 给扶梯管理方，以进行人为干预和事故的预防。
在本发明实施例中，通过识别扶梯区域、监控乘客不安全行为、检测 危险物品实现对于扶梯安全稳定运行的自动化监控，能同时处理三种主要 事故诱因，填补了这一领域的空白；可以实现对扶梯运行过程中的自动监 控，确保扶梯安全稳定运行；并且经过在实际扶梯运行监控数据上进行测 试，乘客姿态识别准确率达到88.74％，物体识别准确率可以达到93.46，均 满足实际场景中的需求，效果良好。
实施例
请参阅图2，图2是本发明实施例中的基于计算机视觉的扶梯安全自动 监控系统的结构组成示意图。
如图2所示，一种基于计算机视觉的扶梯安全自动监控系统，所述系 统包括：
视频采集模块21：用于基于监控摄像头设备实时采集电动扶梯区域内 的实时监控视频；
在本发明具体实施过程中，如图3所示，设置监控摄像头设备，并且 该监控摄像头设备可以为普通的RGB摄像头设备，然后通过监控摄像头设 备实时采集电动扶梯区域内的实时监控视频画面。
视频特征提取模块22：用于将所述实时监控视频输入以ResNet-50为 骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
在本发明具体实施过程中，先构建一个以ResNet-50为骨干网络的卷积 神经网络，用于提取监控视频的视频帧图像特征；将实时监控视频输入以 ResNet-50为骨干网络的卷积神经网络，即可输出实时监控视频的视频帧图 像特征。
扶梯区域识别模块23：用于基于所述视频帧图像特征在扶梯区域识别 模块进行扶梯区域识别处理，获得扶梯区域信息；
在本发明具体实施过程中，所述基于所述视频帧图像特征在扶梯区域 识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：将所述视频 帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于 Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的 若干关键点；基于所述扶梯上的若干关键点利用非线性最小二乘函数进行 拟合，获得扶梯区域信息。
进一步的，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式 表达如下：
Pi，j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X 表示输入的视频帧图像特征；Pi，j表示预测得到的扶梯皮带关键点，其坐标 为(i，j)。
进一步的，所述卷积-反卷积网络在损失函数的指导下进行训练，具体 通过如下方式计算：
Figure BDA0002940934470000111
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分 别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti，j表示 人工标注的扶梯皮带关键点坐标真实值；Pi，j表示预测得到的扶梯皮带关键 点，其坐标为(i，j)。
进一步的，所述基于所述扶梯上的若干关键点利用非线性最小二乘函 数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure BDA0002940934470000121
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测 误差；φ(i)表示总的预测误差。
具体的，该扶梯区域识别模块是由关键点回归模型和非线性最小二乘 函数组成，首先，该关键点回归模型是基于Stacked hourglass的关键点回归 模型，并且其核心由卷积-反卷积网络识构成，即将视频帧图像特征输入扶 梯区域识别模块，并在扶梯区域识别内基于Stacked hourglass的关键点回归 模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；然后根据扶梯上 的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi，j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X 表示输入的视频帧图像特征；Pi，j表示预测得到的扶梯皮带关键点，其坐标 为(i，j)。
并且该卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下 方式计算：
Figure BDA0002940934470000122
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分 别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti，j表示 人工标注的扶梯皮带关键点坐标真实值；Pi，j表示预测得到的扶梯皮带关键 点，其坐标为(i，j)。
根据扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式 如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure BDA0002940934470000123
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测 误差；φ(i)表示总的预测误差。
通过上述的处理，处理扶梯区域识别的拟合结果如图4所示。
人体关键点提取模块24：用于基于所述视频帧图像特征在乘客行为监 控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐 标信息；
在本发明具体实施过程中，所述乘客行为监控模块为一个包含有旋转 子模块的基于Stacked hourglass网络的人体姿态估计模型。
进一步的，所述基于所述视频帧图像特征在乘客行为监控模块内进行 乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时 针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监 控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预 测关键点的坐标，并分别用(ur，vr，cr)表示，其中，r对应不同的旋转角度； cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并 保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标 时，通过取相应坐标间的平均值
Figure BDA0002940934470000131
作为乘客的人体关键点坐标信息。
具体的，乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
在将视频帧图像特征分输入该乘客行为监控模块之后，在该乘客行为 监控模块内首先对视频帧图像特征进行选择，选择为顺时针选择，旋转的 角度分别为90°、180°、270°，然后将旋转后的视频帧图像特征与原始 的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客 的人体预测关键点的坐标，并分别用(ur，vr，cr)表示，其中，r对应不同的旋 转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有 意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键 点的坐标时，通过取相应坐标间的平均值
Figure BDA0002940934470000132
作为乘客的人体关键点坐 标信息。人体关键点的坐标信息提取的结果可以参考图5所示。
危险物品识别模块25：用于基于所述视频帧图像特征在危险物品检测 模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
在本发明具体实施过程中，危险物品检测模块由一个卷积神经网络结 合全连接层构成，用于自动检测在视频帧图像特征内的扶梯上是否存在危 险物品，视频帧图像特征经过该危险物品检测模块可以得到危险物品在监 控画面中的位置以及其置信度。危险物品在监控的结果可以参考图5所示。
安全监控应对策略模块26：用于基于所述扶梯区域信息、所述乘客的 人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评 估模块内形成安全监控应对策略。
在本发明具体实施过程中，所述安全监控应对策略包括直接干预、间 接干预和不需要干预。
进一步的，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下 半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需 要进行直接干预；
所述间接干预的判断过程，包括：基于乘客的人体关键点坐标信息中 的任意手部关键点(uh，vh)与扶梯区域信息R是否满足
Figure BDA0002940934470000141
以及人 的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则 需要间接干预，其中，ε表示给定距离；或，危险物品的位置出现在所述扶 梯区域信息内时，需要间接干预。
需要直接干预的情况主要是乘客在扶梯上摔倒，该情况下，乘客行为 监控模块得到人体关键点具备以下特征：人的上半身关键点的中心点位与 下半身关键点中心点小于一定距离；需要间接干预的情况主要是存在不安 全隐患，包括：未握紧扶手、携带危险物品进入扶梯。具体判断方式包括：
对于未握紧扶手，主要是基于乘客行为监控模块得到人体关键点中任 一手部关键点(uh，vh)与扶梯区域信息R是否满足
Figure BDA0002940934470000142
以及人的手 部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要 间接干预，其中，ε表示给定距离；或，携带危险物品进入扶梯，主要是基 于危险物品检测模块的识别结果，当检测到的危险品框的中心点出现在扶 梯区域R中时，就发出相应警报并进行对应的处理。
对于需要直接干预的情况，此情况下通常代表扶梯上有乘客摔倒，此 时由综合安全评估模块向扶梯控制模块发出停止信号，控制扶梯逐渐停下 以避免乘客在扶梯上滚动带来的继发伤害。对于需要间接干预的情况，在 本实施例中，通常是由综合安全评估模块向广播系统发送播放语音命令， 通过语音提醒乘客注意安全以避免潜在事故。同时，将相关报警信号发送 给扶梯管理方，以进行人为干预和事故的预防。
在本发明实施例中，通过识别扶梯区域、监控乘客不安全行为、检测 危险物品实现对于扶梯安全稳定运行的自动化监控，能同时处理三种主要 事故诱因，填补了这一领域的空白；可以实现对扶梯运行过程中的自动监 控，确保扶梯安全稳定运行；并且经过在实际扶梯运行监控数据上进行测 试，乘客姿态识别准确率达到88.74％，物体识别准确率可以达到93.46，均 满足实际场景中的需求，效果良好。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分 步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算 机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘 等。
另外，以上对本发明实施例所提供的一种基于计算机视觉的扶梯安全 自动监控方法及系统进行了详细介绍，本文中应采用了具体个例对本发明 的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发 明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明 的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说 明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于计算机视觉的扶梯安全自动监控方法，其特征在于，所述方法包括：
基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；同时，
基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
2.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息，包括：
将所述视频帧图像特征输入所述扶梯区域识别模块，并在所述扶梯区域识别内基于Stacked hourglass的关键点回归模型，经过卷积-反卷积网络识别出扶梯上的若干关键点；
基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合，获得扶梯区域信息。
3.根据权利要求2所述的扶梯安全自动监控方法，其特征在于，所述经过卷积-反卷积网络识别出扶梯上的若干关键点公式表达如下：
Pi，j＝fn(X)；
其中，fn(·)表示卷积-反卷积网络，为一个高度非线性的回归函数；X表示输入的视频帧图像特征；Pi，j表示预测得到的扶梯皮带关键点，其坐标为(i，j)。
4.根据权利要求2或3任意一项所述的扶梯安全自动监控方法，其特征在于，所述卷积-反卷积网络在损失函数的指导下进行训练，具体通过如下方式计算：
Figure FDA0002940934460000021
其中，lossTotal表示损失函数的值；LCE表示交叉熵损失函数；H和W分别对应输入的视频帧图像特征画面的长和宽；n表示样本的个数；Ti，j表示人工标注的扶梯皮带关键点坐标真实值；Pi，j表示预测得到的扶梯皮带关键点，其坐标为(i，j)。
5.根据权利要求2所述的扶梯安全自动监控方法，其特征在于，所述基于所述扶梯上的若干关键点利用非线性最小二乘函数进行拟合的表达式如下：
f(x)＝ae-bx+c；
其中，a、b、c分别为给定参数的初始值；x表示扶梯上的关键点；
将所述扶梯上的若干关键点的坐标作为真实坐标值，优化目标函数为：
Figure FDA0002940934460000022
其中，n表示样本的个数；i表示第i个关键点；ri表示该关键点的预测误差；φ(i)表示总的预测误差。
6.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述乘客行为监控模块为一个包含有旋转子模块的基于Stacked hourglass网络的人体姿态估计模型。
7.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息，包括：
将输入所述乘客行为监控模块内的所述视频帧图像特征分别按照顺时针旋转90°、180°、270°，将旋转后的视频帧图像特征与原始的实时监控视频帧同时输入预训练好的Stacked hourglass网络中，输出乘客的人体预测关键点的坐标，并分别用(ur，vr，cr)表示，其中，r对应不同的旋转角度；cr为该坐标点的置信度；当cr大于预设阈值时，认为该坐标点具有意义，并保留；在相邻多帧的视频帧图像特征均存在乘客的人体预测关键点的坐标时，通过取相应坐标间的平均值
Figure FDA0002940934460000031
作为乘客的人体关键点坐标信息。
8.根据权利要求1所述的扶梯安全自动监控方法，其特征在于，所述安全监控应对策略包括直接干预、间接干预和不需要干预。
9.根据权利要求8所述的扶梯安全自动监控方法，其特征在于，所述直接干预的判断过程，包括：
基于乘客的人体关键点坐标信息计算上半身关键点的中心点位置与下半身关键点中心点的第一距离，在所述第一距离小于预设第一距离时，需要进行直接干预；
所述间接干预的判断过程，包括：
基于乘客的人体关键点坐标信息中的任意手部关键点(uh，vh)与扶梯区域信息R是否满足
Figure FDA0002940934460000032
以及人的手部关键点和肘部关键点的连线呈现出的角度α是否在一定的范围内，则需要间接干预，其中，ε表示给定距离；或，
危险物品的位置出现在所述扶梯区域信息内时，需要间接干预。
10.一种基于计算机视觉的扶梯安全自动监控系统，其特征在于，所述系统包括：
视频采集模块：用于基于监控摄像头设备实时采集电动扶梯区域内的实时监控视频；
视频特征提取模块：用于将所述实时监控视频输入以ResNet-50为骨干网络的卷积神经网络，输出实时监控视频的视频帧图像特征；
扶梯区域识别模块：用于基于所述视频帧图像特征在扶梯区域识别模块进行扶梯区域识别处理，获得扶梯区域信息；同时，
人体关键点提取模块：用于基于所述视频帧图像特征在乘客行为监控模块内进行乘客的人体关键点坐标提取处理，获得乘客的人体关键点坐标信息；同时，
危险物品识别模块：用于基于所述视频帧图像特征在危险物品检测模块内进行危险物品识别处理，并获得危险物品的位置和对应的置信度；
安全监控应对策略模块：用于基于所述扶梯区域信息、所述乘客的人体关键点坐标信息及所述危险物品的位置和对应的置信度在综合安全评估模块内形成安全监控应对策略。
CN202110176755.7A 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统 Active CN113033300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110176755.7A CN113033300B (zh) 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110176755.7A CN113033300B (zh) 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统

Publications (2)

Publication Number Publication Date
CN113033300A true CN113033300A (zh) 2021-06-25
CN113033300B CN113033300B (zh) 2022-11-08

Family

ID=76460678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110176755.7A Active CN113033300B (zh) 2021-02-07 2021-02-07 一种基于计算机视觉的扶梯安全自动监控方法及系统

Country Status (1)

Country Link
CN (1) CN113033300B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435402A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 一种用于列车车厢的不文明行为检测方法及系统
CN116434145A (zh) * 2023-04-21 2023-07-14 北京日立电梯工程有限公司 一种基于图像识别的电扶梯乘客危险行为分析监控系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180029838A1 (en) * 2016-07-29 2018-02-01 Otis Elevator Company Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110135258A (zh) * 2019-04-12 2019-08-16 深圳壹账通智能科技有限公司 自动扶梯控制方法、装置、存储介质和计算机设备
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及系统
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
WO2021007859A1 (zh) * 2019-07-18 2021-01-21 华为技术有限公司 一种人体姿态估计方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180029838A1 (en) * 2016-07-29 2018-02-01 Otis Elevator Company Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN110135258A (zh) * 2019-04-12 2019-08-16 深圳壹账通智能科技有限公司 自动扶梯控制方法、装置、存储介质和计算机设备
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
WO2021007859A1 (zh) * 2019-07-18 2021-01-21 华为技术有限公司 一种人体姿态估计方法及装置
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及系统
CN111680613A (zh) * 2020-06-03 2020-09-18 安徽大学 一种实时检测手扶电梯乘客摔倒行为的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张锋: "基于卷积神经网络的人体姿态估计方法研究", 《博士学位论文》 *
杜启亮等: "基于视频监控的手扶电梯乘客异常行为识别", 《华南理工大学学报(自然科学版)》 *
陈栋策: "基于视频分析的电动扶梯行人安全监测系统软件研发", 《硕士学位论文》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435402A (zh) * 2021-07-14 2021-09-24 深圳市比一比网络科技有限公司 一种用于列车车厢的不文明行为检测方法及系统
CN116434145A (zh) * 2023-04-21 2023-07-14 北京日立电梯工程有限公司 一种基于图像识别的电扶梯乘客危险行为分析监控系统
CN116434145B (zh) * 2023-04-21 2024-04-16 北京日立电梯工程有限公司 一种基于图像识别的电扶梯乘客危险行为分析监控系统

Also Published As

Publication number Publication date
CN113033300B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
WO2021120867A1 (zh) 高空抛物的监测方法、装置、电子设备及存储介质
CN113033300B (zh) 一种基于计算机视觉的扶梯安全自动监控方法及系统
WO2022011828A1 (zh) 出入电梯物件检测系统及方法、物件检测系统、电梯光幕以及电梯设备
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN112437280A (zh) 一种基于大数据分析的智慧监控安防数据处理管理系统
CN107911663A (zh) 一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统
CN109389019B (zh) 人脸图像选择方法、装置及计算机设备
CN107368786B (zh) 一种基于机器视觉的乘客越过扶手带检测方法
CN110304513B (zh) 一种避险方法、装置、终端设备及存储介质
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
CN112241696A (zh) 图像处理方法及装置、电子设备及存储介质
JP4883415B2 (ja) 監視装置及びプログラム
CN113269111B (zh) 一种基于视频监控的电梯异常行为检测方法及系统
CN115043285A (zh) 确定儿童违规操作电梯的方法、电子设备和存储介质
CN112464765B (zh) 一种基于单像素特征放大的安全帽检测方法及其应用
CN111797759B (zh) 一种自动扶梯危险乘梯行为主动干预监测方法
CN113128760A (zh) 安全生产的双控管理方法、装置、设备及存储介质
CN113052140A (zh) 一种基于视频的变电站人员车辆违规检测方法及系统
CN116092198B (zh) 一种矿用安全帽识别检测方法、装置、设备及介质
JPH0674114B2 (ja) エレベ−タ−の防犯装置
CN114283360A (zh) 电梯内的电动车检测方法、装置、设备和介质
CN114359831A (zh) 一种面向险兆推理的工人临边坠落智能识别系统及方法
CN113705357A (zh) 基于摄像机识别电动车的方法及系统、设备及存储介质
CN112607542A (zh) 电梯控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant