CN110188644B - 一种基于视觉分析的扶梯乘客危险行为监控系统及方法 - Google Patents

Abstract

一种基于视觉分析的扶梯乘客危险行为监控系统，包括视频接入模块、智能数采模块和云平台，智能数采模块包括视频采集模块、算法计算模块和视频流存储模块；视频流存储模块采集视频接入模块的视频流数据，并将视频流数据传输到算法计算模块，算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，将分析结果根据不同数据内容，分别存储到视频流存储模块和云平台。本发明提出一种基于视觉分析的扶梯乘客危险行为监控系统及方法，准确识别自动扶梯上人和物品的行为动作，并做出预警，达到提醒预防的作用，减少扶梯事故的发生。

Description

一种基于视觉分析的扶梯乘客危险行为监控系统及方法

技术领域

本发明涉及视觉分析技术领域，尤其涉及一种基于视觉分析的扶梯乘客危险行为监控系统及方法。

背景技术

自动扶梯也称电动扶梯，它是一种类似于倾斜式传送带的运输装置，主要完成对乘客和货物的输送任务。随着扶梯的大量使用，扶梯的一些安全问题越来越引起人们的关注。近年来，有关扶梯安全事故的报道时有发生，这些行为一方面会降低扶梯的运输效率，另一方面可能会威胁到乘客的人身安全。针对上述问题，目前常用的做法是在扶梯口处安排工作人员进行看守，并根据现场情况采取语音喊话提醒、按紧急制动钮等应急措施，但这种临场应急的方法有一定的弊端：

(1)地铁站、机场、火车站等公共场合使用扶梯的数量很多且相对容易发生事故意外，若每个扶梯安排一个工作人员进行看护，显然人工成本很大；

(2)单凭人工看守很难全面准确地监测到实际客流情况及乘客在乘扶梯过程中的行为，导致工作人员难以在第一时间采取应对措施；

(3)当乘客发生伤亡事故时，因当时无法及时发现，造成扶梯厂商、扶梯运营商以及乘客三方可能陷入法律纠纷，不助于事件责任的界定，造成不良的社会影响；

(4)危险行为长时间的累积，会加速扶梯的衰老及故障率的提升，导致突发性的扶梯故障频发，这不仅导致维保费用的增加，也会影响正常的商业经营秩序，直接或者间接产生经济损失。

发明内容

本发明的目的在于针对背景技术中的缺陷，提出一种基于视觉分析的扶梯乘客危险行为监控系统及方法，准确识别自动扶梯上人和物品的行为动作，并做出预警，达到提醒预防的作用，减少扶梯事故的发生。

为达此目的，本发明采用以下技术方案：

一种基于视觉分析的扶梯乘客危险行为监控系统，包括视频接入模块、智能数采模块和云平台，所述智能数采模块包括视频采集模块、算法计算模块和视频流存储模块；

所述视频流存储模块采集所述视频接入模块的视频流数据，并将所述视频流数据传输到所述算法计算模块，所述算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，将分析结果根据不同数据内容，分别存储到所述视频流存储模块和上传到云平台；

所述算法计算模块包括人流密度检测模块、乘客检测模块、逆行检测模块、滞留判断模块和越界判断模块；

所述人流密度检测模块使用一个尺度自适应的CNN网络及滤波器，根据CNN网络不同网络层的特征对视频视野内的人头进行统计，根据标定的空间尺寸，得到单位面积内的人流密度；

所述乘客检测模块用于检测扶梯上是否存在乘客，所述逆行检测模块用于检测乘客逆行行为，滞留判断模块用于判断扶梯上是否滞留大件物品；

所述越界判断模块用于设置警戒线，根据警戒线判断乘客是否存在越界行为。

优选的，所述算法计算模块还包括增强现实展示模块，所述增强现实展示模块用于计算摄像机影像的位置及角度，建立特效图像和动画库，对乘客危险行为进行图形化建模，对乘客危险行为动作进行显示。

优选的，所述云平台包括数据分发模块、分布式算法计算模块、文件服务器和数据库；

所述数据分发模块用于将所述智能数采模块的分析结果通过以太网络直接上传至所述云平台，并对所述云平台的所有数据进行统一分发与管理，例如：对智能数采模块上传的关键帧发送到文件服务器，标记信息发送到数据库，另一方面对分布式计算结果的分发及管理，包括搭乘时间分布、搭乘高峰曲线、危险行为数量、危害后果分析及统计等；

所述分布式算法计算模块用于对所述智能数采模块上传的视频流数据进行计算和统计，其中包括但不限于搭乘时间分布计算、搭乘高峰曲线计算、危险行为数量计算、危害后果统计，所述分布式算法计算模块的计算结果包括统计表格、计算文件和标记信息，所述统计表格和所述计算文件存储在所述文件服务器中，所述标记信息存储在所述数据库中。

优选的，所述云平台还包括应用服务模块；

所述应用服务模块用于为视频展示提供服务调用接口；

算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，所述分析结果包括视频帧文件和关键帧文件，所述视频帧文件存储于所述视频流存储模块，所述关键帧文件上传至所述云平台并存储于所述文件服务器。

一种基于视觉分析的扶梯乘客危险行为监控方法，具体步骤如下：

包括采集扶梯范围内的视频图像数据，并对采集到的视频图像数据进行分析得到分析结果，将分析结果按照不同的数据内容，分别存储到云平台和视频流存储模块，其中，将分析结果按照视频帧文件和关键帧文件进行分类，将视频帧文件存储到视频流存储模块，将关键帧文件存储到云平台的文件服务器中；

其中，对采集到的视频图像数据进行分析包括：

对扶梯的人流密度进行分析，根据标定的空间尺寸，得到扶梯单位面积内的人流密度；

判断扶梯上是否存在乘客，并检测乘客是否存在逆行行为和越界行为；

判断扶梯上是否滞留有大件物品；

计算摄像机影像的位置及角度，建立特效图像和动画库，对乘客危险行为进行图形化建模，对乘客危险行为动作进行显示。

优选的，对扶梯的人流密度进行分析具体包括：

使用一个尺度自适应的CNN网络及滤波器，根据CNN网络不同网络层的特征对视频视野内的人头进行统计，根据标定的空间尺寸，得到单位面积内的人流密度；

其中，CNN网络不同网络层包括图像输入层和卷积计算层，所述图像输入层对原始图像进行预处理，所述预处理包括对图像数据取均值和归一化；

卷积计算层包括局部关联和窗口滑动，所述局部关联包括在卷积计算层中，每一个神经元即为一个滤波器，所述窗口滑动包括使用每个滤波器对局部数据进行计算和池化。

优选的，判断扶梯上是否存在乘客包括使用样本训练得到检测分类器，通过检测分类器进行实时检测扶梯上是否存在乘客；

具体步骤如下：

采集并输入正负样本，提取正负样本中的HOG特征，构建弱分类器；通过多个弱分类器构建强分类器，多个强分类器构成多层的级联分类器，最后输出级联分类器；

输入待检测的视频图像，从中提取检测窗口，计算统计待检测窗口内的特征，使用级联分类器检测乘客头顶得到重叠窗口，对重叠窗口进行融合处理，最后输出检测结果，根据检测结果判断扶梯上是否存在乘客。

优选的，检测乘客是否存在逆行行为包括：

确定乘客正常行走的场景图像作为背景图像，并获取当前场景图像，将两者进行差分，确定运动目标的中心位置；

预测图像目标的中心位置得到观察值和跟踪值，使用观察值对跟踪值进行修正得到新值，使用新值持续进行跟踪，根据跟踪结果得到对运动目标的运动状态，根据运动状态判断是否存在逆行行为；

优选的，判断扶梯上是否滞留有大件物品包括：

初始化视频图像背景并对视频帧进行预处理；

对视频图像背景进行更新并提取物品前景；

获取候选物品的中心坐标，判断前后帧中的物品的中心坐标是否出现变化，若不出现变化则对物品进行识别，判断大件物品是否为大件滞留物品，若是则向工作人员发出警报和移除大件滞留物品的信息。

优选的，检测乘客是否存在越界行为包括设置警戒线进行检测：

定义检测线，设置扶梯靠外缘一侧为越界警戒线；

计算点到直线的距离：在视频图像上取得人体对象为一个点，计算此点到警戒线的距离，所计算得到的距离值存在正负，相对应于直线的两侧，若一个点的距离值的符号与上一帧求得的距离值的符号相反，则该点在不同帧下所产生的两个点分别位于警戒线的两侧；

判断是否越界，计算每个人体对象到直线的距离，每个人体对象会产生四个角点，计算这四个角点的坐标到警戒线的距离，若在连续n帧后，均存在四个角点的坐标到警戒线的距离的符号不一致，则判断人体对象越界。

有益效果：

(1)本发明具有多维感知、预警分析、行为报警、实时视频监控，并对特定乘客行为进行识别，对突发事件进行快速地处置；

(2)扶梯搭乘行为事先有预警、事中有响应、事后有记录，可分析、可取证、可追溯，极大提升扶梯运营管理方的管理水平，有效杜绝因乘客不当乘坐扶梯产生的法律纠纷；

(3)系统产生的数据(搭乘扶梯的人流量、搭乘时间分布、搭乘高峰曲线、危险行为数量、危害后果分析及统计)可管理、可挖掘，为运营方合理调度、调节扶梯的使用，提供了科学依据，与扶梯机械安全方面的维保一起，形成了扶梯安全的坚实保障；

(4)视觉分析的自动扶梯智能监控系统对不规范行为进行历史日志的存储，便于对不规范行为的追踪和分析算法的优化提升；

附图说明

图1是本发明的扶梯乘客危险行为智能监控系统框架图；

图2是本发明的检测扶梯是否存在乘客的流程图；

图3是本发明的增强现实的效果流程图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本实施例的一种基于视觉分析的扶梯乘客危险行为监控系统，如图1所示，包括视频接入模块、智能数采模块和云平台，所述智能数采模块包括视频采集模块、算法计算模块和视频流存储模块；

所述视频流存储模块采集所述视频接入模块的视频流数据，并将所述视频流数据传输到所述算法计算模块，所述算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，将分析结果根据不同数据内容，分别存储到所述视频流存储模块和上传至云平台；

视频接入模块是安装在各个监控位置(扶梯入口、扶梯出口、扶梯中间及扶梯底部)的摄像头，实时监测各个监控点的数据。

视频采集模块：支持多摄像头接入、H264、H265、MJPEG编码格式、50Hz/25fps、60HZ/30fps帧率及高清像素。

所述智能数采模块通过智能识别，将视频帧分析编码后发送到视频流存储模块，关键帧发送到云端的文件服务器，标记信息发送到数据库。

视频流存储模块用于保存视频原始文件、分析结果、用户信息等。

所述算法计算模块包括人流密度检测模块、乘客检测模块、逆行检测模块、滞留判断模块和越界判断模块；

所述人流密度检测模块使用一个尺度自适应的CNN网络及滤波器，根据CNN网络不同网络层的特征对视频视野内的人头进行统计，根据标定的空间尺寸，得到单位面积内的人流密度；

使用一个尺度自适应的CNN网络及滤波器，根据CNN网络不同网络层的特征对视频视野内的人头进行统计，根据标定的空间尺寸，得到单位面积内的人流密度；

其中，CNN网络不同网络层包括图像输入层和卷积计算层，所述图像输入层对原始图像进行预处理，所述预处理包括对图像数据取均值和归一化；

卷积计算层包括局部关联和窗口滑动，所述局部关联包括在卷积计算层中，每一个神经元即为一个滤波器，所述窗口滑动包括使用每个滤波器对局部数据进行计算和池化，计算和池化过程可以分为第一层、第二层、第三层等，提高了最终图片的吻合度，得到互相匹配的图片。

所述乘客检测模块用于检测扶梯上是否存在乘客；

如图2所示，具体步骤如下：

采集并输入正负样本，提取正负样本中的HOG特征，构建弱分类器；通过多个弱分类器构建强分类器，多个强分类器构成多层的级联分类器，最后输出级联分类器；

输入待检测的视频图像，从中提取检测窗口，计算统计待检测窗口内的特征，使用级联分类器检测乘客头顶得到重叠窗口，对重叠窗口进行融合处理，最后输出检测结果，根据检测结果判断扶梯上是否存在乘客。

所述逆行检测模块用于检测乘客逆行行为；

确定乘客正常行走的场景图像作为背景图像，并获取当前场景图像，将两者进行差分，确定运动目标的中心位置；

预测图像目标的中心位置得到观察值和跟踪值，使用观察值对跟踪值进行修正得到新值，使用新值持续进行跟踪，根据跟踪结果得到对运动目标的运动状态，根据运动状态判断是否存在逆行行为；

滞留判断模块用于判断扶梯上是否滞留大件物品；

针对大件物品滞留行为“进入视野”、“停留”、“融入背景”的动作特点，结合背景更新，采用快、慢背景差分策略，用于扶梯口处的楼层板上大件物品滞留行为的检测。

初始化视频图像背景并对视频帧进行预处理；

对视频图像背景进行更新并提取物品前景；

获取候选物品的中心坐标，判断前后帧中的物品的中心坐标是否出现变化，若不出现变化则对物品进行识别，判断大件物品是否为大件滞留物品，若是则向工作人员发出警报和移除大件滞留物品的信息，实现对扶梯口楼层板上大件物品滞留的智能检测，及时的给出大件物品滞留报警，通知工作人员及时移除大件物品，避免拥堵。

所述越界判断模块用于设置警戒线，根据警戒线判断乘客是否存在越界行为。

主要用于判断乘客头或手伸出扶手带外、乘客攀爬扶手等行为。

定义检测线，设置扶梯靠外缘一侧为越界警戒线；

计算点到直线的距离：在视频图像上取得人体对象为一个点，计算此点到警戒线的距离，所计算得到的距离值存在正负，相对应于直线的两侧，若一个点的距离值的符号与上一帧求得的距离值的符号相反，则该点在不同帧下所产生的两个点分别位于警戒线的两侧；

判断是否越界，计算每个人体对象到直线的距离，每个人体对象会产生四个角点，计算这四个角点的坐标到警戒线的距离，若在连续n帧后，均存在四个角点的坐标到警戒线的距离的符号不一致，则判断人体对象越界。

优选的，所述算法计算模块还包括增强现实展示模块，所述增强现实展示模块用于计算摄像机影像的位置及角度，建立特效图像和动画库，对乘客危险行为进行图形化建模，对乘客危险行为动作进行显示。

能够实时地计算摄影机影像的位置及角度并加上相应图像、视频、三维模型的技术，在屏幕上把虚拟世界展现在现实世界中，并可以进行相关互动，达到特别形象的预期效果。

a.特效图像和动画库的建立

本系统根据通过UI及动画设计自定义特效图像和动画库，将其作为后续显示的素材，并支持资源调用。特效图像和动画的设计是根据扶梯现场的情况定制开发，对危险行为进行二维或三维的图形化建模，比如乘客攀爬扶手，可以将此动作形象地用一个卡通或动物攀爬的动作进行显示。诸如此类的行为动作制作对应的特效图像和动画进行展现在显示设备上。

b.实现原理及过程

增强现实的支点是建立在两个紧密相关的技术上：图像识别和标记追踪。将两者结合在一起，它们支持摄像头识别图像的数据，从而触发相关的体验并在三维空间中追踪相对于摄像头的位置。通过将图像上传至处理服务器，开发者可以将一个或者多个图像关联到单个增强现实体验。这样，设备上的摄像头就能够理解并追踪叠加的数字内容。工作原理有两个技术要点，一是标记检测，即通过相机镜头识别图像(标记)，并且与服务器上的对应部分建立关联以触发体验；二是标记追踪，或者说能够维持物理对象或标记的实时方向，并且不断更新数字内容以模拟它的能力。从用户体验的角度来看，不仅需要下载特定的应用程序，同时还需要对应的物理对象才能激活体验。

如图3所示，当乘客行为检测算法判定的结果正常时，检测结果直接在显示设备上输出。当检测到异常行为时，系统将捕捉该异常帧，然后判定检测结果的异常类型，根据异常类型判定结果导入对应的3D特征或动画进行渲染，再将合成的效果显示在设备界面上，最终达到实时有效提醒乘客发生异常行为的目的。

优选的，所述云平台包括数据分发模块、分布式算法计算模块、文件服务器和数据库；

所述数据分发模块用于将所述智能数采模块的分析结果上传至所述云平台，并对所述云平台的所有数据进行统一分发与管理；

所述分布式算法计算模块用于对所述智能数采模块上传的视频流数据进行计算和统计，其中包括但不限于搭乘时间分布计算、搭乘高峰曲线计算、危险行为数量计算、危害后果统计，所述分布式算法计算模块的计算结果包括统计表格、计算文件和标记信息，所述统计表格和所述计算文件存储在所述文件服务器中，所述标记信息存储在所述数据库中。

优选的，所述云平台还包括应用服务模块；

所述应用服务模块用于为视频展示提供服务调用接口；

算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，所述分析结果包括视频帧文件和关键帧文件，所述视频帧文件存储于所述视频流存储模块，所述关键帧文件存储于所述文件服务器。

本发明还设置有客户端，用户客户端：支持网页显示与移动显示，如Web网页、APP等方式进行在线监测、智能识别、实时预警等，另外，预留了客户视频监控系统接入的接口。扶梯的管理人员、维护人员、生产人员可以通过网页端或移动端远程查看扶梯当前的运行状况，。另外，客户的视频行为监控系统便于对众多扶梯进行集中管理和监控，一旦发现故障的发生，加快了维护人员和管理人员相应的处置速度，进一步降低了事故发生的机率。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种基于视觉分析的扶梯乘客危险行为监控系统，其特征在于：包括视频接入模块、智能数采模块和云平台，所述智能数采模块包括视频采集模块、算法计算模块和视频流存储模块；

所述视频流存储模块采集所述视频接入模块的视频流数据，并将所述视频流数据传输到所述算法计算模块，所述算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，将分析结果根据不同数据内容，分别存储到所述视频流存储模块和云平台；

所述视频采集模块用于支持所述视频接入模块的采集设备接入；

所述算法计算模块包括人流密度检测模块、乘客检测模块、逆行检测模块、滞留判断模块和越界判断模块；

所述人流密度检测模块使用一个尺度自适应的CNN网络及滤波器，根据CNN网络不同网络层的特征对视频视野内的人头进行统计，根据标定的空间尺寸，得到单位面积内的人流密度；

所述乘客检测模块用于检测扶梯上是否存在乘客，所述逆行检测模块用于检测乘客逆行行为，滞留判断模块用于判断扶梯上是否滞留大件物品；

所述越界判断模块用于设置警戒线，根据警戒线判断乘客是否存在越界行为；

所述算法计算模块还包括增强现实展示模块，所述增强现实展示模块用于计算摄像机影像的位置及角度，建立特效图像和动画库，对乘客危险行为进行图形化建模，对乘客危险行为动作进行显示。

2.根据权利要求1所述一种基于视觉分析的扶梯乘客危险行为监控系统，其特征在于：

所述云平台包括数据分发模块、分布式算法计算模块、文件服务器和数据库；

所述数据分发模块用于将所述智能数采模块的分析结果上传至所述云平台，并对所述云平台的所有数据进行统一分发与管理；

所述分布式算法计算模块用于对所述智能数采模块上传的视频流数据进行计算和统计，其中包括但不限于搭乘时间分布计算、搭乘高峰曲线计算、危险行为数量计算、危害后果统计，所述分布式算法计算模块的计算结果包括统计表格、计算文件和标记信息，所述统计表格和所述计算文件存储在所述文件服务器中，所述标记信息存储在所述数据库中。

3.根据权利要求2所述一种基于视觉分析的扶梯乘客危险行为监控系统，其特征在于：

所述云平台还包括应用服务模块；

所述应用服务模块用于为视频展示提供服务调用接口；

算法计算模块对采集到的视频流数据进行分析及计算得到分析结果，所述分析结果包括视频帧文件和关键帧文件，所述视频帧文件存储于所述视频流存储模块，所述关键帧文件存储于所述文件服务器。

4.一种基于视觉分析的扶梯乘客危险行为监控方法，其特征在于：

具体步骤如下：

包括采集扶梯范围内的视频图像数据，并对采集到的视频图像数据进行分析得到分析结果，将分析结果按照不同的数据内容，分别存储到云平台和视频流存储模块，其中，将分析结果按照视频帧文件和关键帧文件进行分类，将视频帧文件存储到视频流存储模块，将关键帧文件存储到云平台的文件服务器中；

其中，对采集到的视频图像数据进行分析包括：

对扶梯的人流密度进行分析，根据标定的空间尺寸，得到扶梯单位面积内的人流密度；

判断扶梯上是否存在乘客，并检测乘客是否存在逆行行为和越界行为；

判断扶梯上是否滞留有大件物品；

计算摄像机影像的位置及角度，建立特效图像和动画库，对乘客危险行为进行图形化建模，对乘客危险行为动作进行显示。

5.根据权利要求4所述一种基于视觉分析的扶梯乘客危险行为监控方法，其特征在于：

对扶梯的人流密度进行分析具体包括：

使用一个尺度自适应的CNN网络及滤波器，根据CNN网络不同网络层的特征对视频视野内的人头进行统计，根据标定的空间尺寸，得到单位面积内的人流密度；

其中，CNN网络不同网络层包括图像输入层和卷积计算层，所述图像输入层对原始图像进行预处理，所述预处理包括对图像数据取均值和归一化；

卷积计算层包括局部关联和窗口滑动，所述局部关联包括在卷积计算层中，每一个神经元即为一个滤波器，所述窗口滑动包括使用每个滤波器对局部数据进行计算和池化。

6.根据权利要求4所述一种基于视觉分析的扶梯乘客危险行为监控方法，其特征在于：

判断扶梯上是否存在乘客包括使用样本训练得到检测分类器，通过检测分类器进行实时检测扶梯上是否存在乘客；

具体步骤如下：

采集并输入正负样本，提取正负样本中的HOG特征，构建弱分类器；通过多个弱分类器构建强分类器，多个强分类器构成多层的级联分类器，最后输出级联分类器；

输入待检测的视频图像，从中提取检测窗口，计算统计待检测窗口内的特征，使用级联分类器检测乘客头顶得到重叠窗口，对重叠窗口进行融合处理，最后输出检测结果，根据检测结果判断扶梯上是否存在乘客。

7.根据权利要求4所述一种基于视觉分析的扶梯乘客危险行为监控方法，其特征在于：

检测乘客是否存在逆行行为包括：

确定乘客正常行走的场景图像作为背景图像，并获取当前场景图像，将两者进行差分，确定运动目标的中心位置；

预测图像目标的中心位置得到观察值和跟踪值，使用观察值对跟踪值进行修正得到新值，使用新值持续进行跟踪，根据跟踪结果得到对运动目标的运动状态，根据运动状态判断是否存在逆行行为。

8.根据权利要求4所述一种基于视觉分析的扶梯乘客危险行为监控方法，其特征在于：

判断扶梯上是否滞留有大件物品包括：

初始化视频图像背景并对视频帧进行预处理；

对视频图像背景进行更新并提取物品前景；

获取候选物品的中心坐标，判断前后帧中的物品的中心坐标是否出现变化，若不出现变化则对物品进行识别，判断大件物品是否为大件滞留物品，若是则向工作人员发出警报和移除大件滞留物品的信息。

9.根据权利要求4所述一种基于视觉分析的扶梯乘客危险行为监控方法，其特征在于：

检测乘客是否存在越界行为包括设置警戒线进行检测：

定义检测线，设置扶梯靠外缘一侧为越界警戒线；

计算点到直线的距离：在视频图像上取得人体对象为一个点，计算此点到警戒线的距离，所计算得到的距离值存在正负，相对应于直线的两侧，若一个点的距离值的符号与上一帧求得的距离值的符号相反，则该点在不同帧下所产生的两个点分别位于警戒线的两侧；

判断是否越界，计算每个人体对象到直线的距离，每个人体对象会产生四个角点，计算这四个角点的坐标到警戒线的距离，若在连续n帧后，均存在四个角点的坐标到警戒线的距离的符号不一致，则判断人体对象越界。

Images