CN113743211B - 一种扶梯视频监控系统、方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种扶梯视频监控系统、方法、装置及存储介质。该系统包括图像采集设备、图像分析中控设备、引导设备、人机交互设备和远程梯控设备；图像采集设备、人机交互设备和远程梯控设备均与图像分析中控设备通过通信连接，引导设备与图像分析中控设备通过无线网络进行通信连接；该系统能够对扶梯运行状态和乘客行为动作进行识别，并对不安全的扶梯运行状态与不安全乘客行为动作进行提醒、警告，同时，能够相应执行相应的应对策略，从而可以降低扶梯安全事故发生的概率，避免扶梯安全事故的进一步发生。本发明可广泛应用于扶梯视频监控技术领域。

Description

一种扶梯视频监控系统、方法、装置及存储介质

技术领域

本发明涉及扶梯视频监控技术领域，尤其是一种扶梯视频监控系统、方法、装置及存储介质。

背景技术

现实生活中，自动扶梯是公共场所运送乘客的最典型设备之一，在商场、宾馆、机场、车站等场所被广泛地使用，已是生活中不可或缺的公共设施。现有的自动扶梯的监控系统主要分成两类：一类侧重于自动扶梯运行状态的直观展示，故障信号的传送，进行远程扶梯状态及故障的监控与记录，无音视频传输，远程控制现场的功能欠缺。一类侧重于视频监控自动扶梯现场，进行视频的记录，无自动扶梯的数据传输，无法与自动扶梯故障联动。无论是哪类系统，都不能很好的解决自动扶梯发生事故时的现场取证、远程应急处置、事故原因分析等多方需求。

随着自动扶梯的安装使用率越来越高，随之而来的人为或扶梯设备自身所带来的安全隐患也逐渐暴露出来。当前普遍的防范方式为采用传统的视频监控系统，由人为确认和判断设备的运行状况和乘客的安全行为规范。这种方式也就造成了意外发生处理不及时、无法同时对多种设备进行监控等问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种扶梯视频监控系统、方法、装置及存储介质。

本发明所采取的技术方案是：

一方面，本发明实施例包括一种扶梯视频监控系统，包括图像采集设备、图像分析中控设备、引导设备、人机交互设备和远程梯控设备；所述图像采集设备、人机交互设备和远程梯控设备均与所述图像分析中控设备通过通信连接，所述引导设备与所述图像分析中控设备通过无线网络进行通信连接；

所述图像采集设备用于采集自动扶梯的视频图像，并将所述视频图像上传至所述图像分析中控设备；

所述图像分析中控设备用于对所述视频图像进行分析，并根据分析结果向所述引导设备、人机交互设备和远程梯控设备发送相应指令；

所述引导设备用于辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；

所述人机交互设备用于提供人机交互界面及进行人机交互；

所述远程梯控设备用于采集扶梯实时运行状态并控制扶梯运行。

进一步地，所述图像分析中控设备还用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果判断拍摄是否出现遮挡；

若确定拍摄出现遮挡，计算被遮挡区域的大小与位置；

根据被遮挡区域的大小与位置，计算辅助拍摄位置集合；

向目标引导设备发送控制指令，以让所述目标引导设备移动至辅助拍摄点进行辅助拍摄，所述目标引导设备为距离所述辅助拍摄位置集合最近的引导设备，所述辅助拍摄点为所述辅助拍摄位置集合中距离所述目标引导设备最近的点。

进一步地，所述图像分析中控设备还用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果识别特殊乘客，所述特殊乘客包括携带大件行李物品乘客、坐轮椅乘客和推婴儿车乘客中的至少一种；

记录所述特殊乘客的特征，并通过视频跟踪定位实时更新所述特殊乘客的位置信息；

将所述特殊乘客的特征和位置信息发送至引导设备，并向所述引导设备发送前往引导指令，以让所述引导设备前往特殊乘客位置处进行乘梯引导。

进一步地，所述图像分析中控设备具体用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果识别扶梯运行状态及乘客行为动作；

根据预先存储的扶梯运行状态数据库和乘客行为动作库，对识别得到的扶梯运行状态及乘客行为动作进行危险等级分类，所述危险等级包括正常等级、警告等级和危重等级；

针对不同类别的危险等级，制定相应的应对策略，并根据所述应对策略，向所述引导设备、人机交互设备和远程梯控设备发送相应指令。

进一步地，所述图像分析中控设备针对不同类别的危险等级，制定相应的应对策略，并根据所述应对策略，向所述引导设备、人机交互设备和远程梯控设备发送相应指令具体包括：

当图像分析中控设备根据分析结果识别出乘客行为动作为警告等级，向所述引导设备发送第一控制指令、乘客特征和位置信息，以让所述引导设备根据所述第一控制指令、乘客特征和位置信息，前往现场对乘客进行语音提醒及警告；

当图像分析中控设备根据分析结果识别出扶梯运行状态为危重等级，执行以下至少一种操作：

向所述引导设备发送第二控制指令及位置信息，以让所述引导设备根据第二控制指令及位置信息，对现场情况进行语音播报，并前往现场引导乘客疏散及撤离；

向所述远程梯控设备发送梯控指令，以让所述远程梯控设备控制扶梯减速运行、停止运行或反向运行；

向所述人机交互设备发送危重视频片段，以提醒工作人员进行干预处理。

进一步地，所述图像分析中控设备还用于执行以下操作：

当识别到乘客逆行或乘客肢体突出扶梯安全区域，向所述引导设备发送第三控制指令、乘客特征和位置信息，以让所述引导设备前往乘客位置附近，通过语音提醒乘客规范乘梯；

当识别到扶梯拥挤，向所述引导设备发送第四控制指令和扶梯位置，以让所述引导设备前往扶梯位置附近，通过语音辅助分流，并通过显示屏显示所有扶梯的乘梯人数及到达各扶梯的行走线路。

进一步地，所述图像分析中控设备还用于执行以下操作：

当识别到扶梯发生故障，向第一引导设备发送第五控制指令，以让所述第一引导设备移动至扶梯入口附近通过语音提醒前来搭乘扶梯的乘客不要搭乘故障电梯，并通过语音对聚集乘客进行语音疏导；

向第二引导设备发送第六控制指令，以让所述第二引导设备移动至扶梯出口附近，并根据扶梯运行状态，对故障扶梯上的乘客进行语音疏导和撤离；

当识别到有乘客受伤，向所述第三引导设备发送第七控制指令和受伤乘客的位置信息，以让所述第三引导设备移动至受伤乘客位置处，并进行人工呼叫。

另一方面，本发明实施例还包括一种扶梯视频监控方法，包括：

图像采集设备采集自动扶梯的视频图像，并将所述视频图像上传至图像分析中控设备；

所述图像分析中控设备对所述视频图像进行分析，并根据分析结果向引导设备、人机交互设备和远程梯控设备发送相应指令；

所述引导设备根据接收到的指令辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；

所述人机交互设备根据接收到的指令进行人机交互；

所述远程梯控设备将采集得到的扶梯实时运行状态发送至所述图像分析中控设备，并根据接收到的指令控制扶梯运行。

另一方面，本发明实施例还包括一种扶梯视频监控装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的扶梯视频监控方法。

另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的扶梯视频监控方法。

本发明的有益效果是：

本发明提出一种扶梯视频监控系统，包括图像采集设备、图像分析中控设备、引导设备、人机交互设备和远程梯控设备；图像采集设备、人机交互设备和远程梯控设备均与图像分析中控设备通过通信连接，引导设备与图像分析中控设备通过无线网络进行通信连接；其中，图像采集设备用于采集自动扶梯的视频图像，并将视频图像上传至图像分析中控设备；图像分析中控设备用于对视频图像进行分析，并根据分析结果向引导设备、人机交互设备和远程梯控设备发送相应指令；引导设备用于辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；人机交互设备用于提供人机交互界面及进行人机交互；远程梯控设备用于采集扶梯实时运行状态并控制扶梯运行。该系统能够对扶梯运行状态和乘客行为动作进行识别，并对不安全的扶梯运行状态与不安全乘客行为动作进行提醒、警告，同时，能够相应执行相应的应对策略，从而可以降低扶梯安全事故发生的概率，避免扶梯安全事故的进一步发生。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所述扶梯视频监控系统的的结构示意图；

图2为本发明实施例所述摄像头的安装在扶梯出口上方的示意图；

图3为本发明实施例所述安装在扶梯出口上方的摄像头拍摄得到的扶梯图像的示意图；

图4为本发明实施例所述摄像头安装在扶梯中段上方的示意图；

图5为本发明实施例所述安装在扶梯中中段上方的摄像头拍摄得到的扶梯图像的示意图；

图6为本发明实施例所述引导设备进行辅助拍摄的其中一幅示意图；

图7为本发明实施例所述引导设备进行辅助拍摄的另一幅示意图；

图8为本发明实施例所述通过扶梯视频监控系统进行辅助拍摄的流程图；

图9为本发明实施例所述通过扶梯视频监控系统辅助特殊乘客乘梯的流程图；

图10为本发明实施例所述通过扶梯视频监控系统对扶梯运行状态和乘客行为动作进行识别和处理的流程图；

图11为本发明实施例所述扶梯视频监控方法的步骤流程图。

图12为本发明实施例所述扶梯视频监控装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数。如果有描述到第一、第二、第三等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明实施例提出一种扶梯视频监控系统，包括图像采集设备、图像分析中控设备、引导设备、人机交互设备和远程梯控设备；图像采集设备、人机交互设备和远程梯控设备均与图像分析中控设备通过通信连接，引导设备与图像分析中控设备通过无线网络进行通信连接；

图像采集设备用于采集自动扶梯的视频图像，并将视频图像上传至图像分析中控设备；

图像分析中控设备用于对视频图像进行分析，并根据分析结果向引导设备、人机交互设备和远程梯控设备发送相应指令；

引导设备用于辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；

人机交互设备用于提供人机交互界面及进行人机交互；

远程梯控设备用于采集扶梯实时运行状态并控制扶梯运行。

本发明实施例中，图像采集设备为摄像头，扶梯配置的摄像头一般固定好了安装位置。一般地，摄像头安装于自动扶梯入口上方、出口上方和中段上方，从而能够尽可能地监控乘客的整个乘梯情况。本实施例中，根据实际情况配置每台扶梯的摄像头数量，比如，如果扶梯较长，需要监控的画面较广，可在扶梯入口上方、出口上方和中段上方各自安装一台摄像头；而如果扶梯较短，则只需要在梯入口上方、出口上方各自安装一台摄像头，便能够拍摄得到扶梯完整的画面。本实施例中，扶梯配置的每一台摄像头均可通过有线或无线网络的方式与图像分析中控设备建立通信连接，从而能够将拍摄得到的视频图像发送至图像分析中控设备。

本实施例中，图像分析中控设备可以为服务器或边缘计算盒子，其主要用于对图像采集设备所采集的食品图像进行分析，然后根据分析结果计算乘候梯人数、判断乘客行为动作、分析扶梯运行状态等，同时，图像分析中控设备针对图像的分析结果向引导设备、人机交互设备和远程梯控设备发送相应的指令。

本实施例中，引导设备可以为智能机器人或可移动的摄像设备；引导设备上设置有多台辅助拍摄摄像头。同样地，引导设备也根据实际情况进行配置，一般地，每层扶梯头尾两端各配置至少一台引导设备。引导设备通过无线网络通信方式与图像分析中控设备建立通信连接，从而能够接收图像分析中控设备发送的控制指令，进而根据控制指令进行辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯等。

本实施例中，人机交互设备用于提供人机交互界面，人机交互设备通过有线或无线网络方式与图像分析中控设备进行通信，从而能够接收当前的视频监控画面，实现危险报警、警告提醒等人机交互功能。相关工作人员可通过人机交互设备查看图像分析中控设备上传的视频片段，从而掌握扶梯运行状态及乘客行为，并在得知扶梯运行状态或乘客行为有危险时，向图像分析中控设备及远程梯控设备下达控制指令，以执行相应的引导、停梯等操作。

本实施例中，远程梯控设备通过无线或有线、RS485、CAN等方式与图像分析中控设备进行通信；远程梯控设备可将采集得到的扶梯运行状态(如扶梯运行方向和扶梯运行速度等)发送至图像分析中控设备。同时，远程梯控设备可接收图像分析中控设备发送的梯控指令，进而根据梯控指令控制扶梯运行，包括控制扶梯减速运行、停止运行和反向运行等。

本发明实施例提出的扶梯视频监控系统主要用于实现以下3项操作：

(1)在扶梯配置的摄像头拍摄的画面存在遮挡时，通过图像采集设备、图像分析中控设备和引导设备之间的交互进行辅助拍摄，从而能够保证拍摄图像的完整性，防止对自动扶梯的视频监控中存在信息遗漏，从而无法准确地对乘客的乘梯情况进行识别和监控，进而造成的电梯事故等问题。

(2)在图像分析中控设备识别出特殊乘客后，通过图像采集设备、图像分析中控设备、引导设备和人机交互设备之间的交互，辅助特殊乘客安全乘梯，能够避免携带大件行李物品乘客或坐轮椅乘客或推婴儿车乘客搭乘自动扶梯造成严重的安全事故；也能够给携带大件行李物品乘客或坐轮椅乘客或推婴儿车乘客带来便利。

(3)通过图像分析中控设备对图像视频进行分析，并根据分析结果识别扶梯运行状态及乘客行为动作，然后对识别出的扶梯运行状态及乘客行为动作进行等级分类，并通过图像采集设备、图像分析中控设备、引导设备、人机交互设备和远程梯控设备之间的交互，针对不同类别的危险等级状态和行为，执行相应的应对策略；从而完善扶梯监控，并通过监控发现一些危险事件，比如扶梯出现故障或者乘客逆行等事件时能够及时处理，进而减少扶梯事故的发生。

接下来，对通过扶梯视频监控系统进行辅助拍摄的操作作具体说明。

首先，对扶梯配置的摄像头的安装位置进行介绍。扶梯配置的摄像头一般固定好了安装位置。一般地，摄像头安装于自动扶梯入口上方、出口上方和中段上方，从而能够尽可能地监控乘客的整个乘梯情况。如图2所示，摄像头安装在扶梯出口上方位置，该摄像头所拍摄的扶梯画面如图3所示，由图3所示，通过安装在扶梯出口上方位置的摄像头进行拍摄时，出现了遮挡，遮挡区域如图3中的黑色区域所示，对于广角镜头来说，图像可能为非标准梯形，但处理方式相同，这里不多做说明。由于摄像头安装在扶梯入口上方位置的处理方式与摄像头安装在扶梯出口上方位置的处理方式相同，这里对于摄像头安装在扶梯入口上方位置的情况不作重复说明。

如图4所示，摄像头安装在扶梯中段上方位置，该摄像头所拍摄的扶梯画面如图5所示，此时，将拍摄得到的扶梯画面按照两个梯形进行处理，此类情况需要预先在图像分析中控设备中录入视频画面中两个梯形对应的扶梯实际长度；同样地，由图5所示，通过安装在扶梯中段上方位置的摄像头进行拍摄时，出现了遮挡，遮挡区域如图5中的黑色区域所示。

本实施例中，基于图3和图5所示，利用扶梯配置的摄像头进行拍摄时，出现了遮挡问题。此时，图像分析中控设备通过分析画面中被遮挡处的所处的扶梯位置，判断遮挡区域位于扶梯的实际大概位置(包括长度和通过长度计算出的高度)，例如画面中遮挡位置位于画面中扶梯总长度的1/2处，扶梯安装角度为45°，扶梯长度为14米，则可判断此时遮挡位置为扶梯运行中段，此点距离扶梯入口处的垂直高度约为5米，水平距离约为5米。一般地，不会出现四面遮挡的情况，而且摄像头的拍摄角度及距离范围均比较大，另外引导设备为可移动设备，其辅助拍摄摄像头可伸缩并通过云台控制调整拍摄角度，所以即使计算存在误差，只要估算正确拍摄角度即可完成辅助拍摄。

本实施例中，参照图6和图7，当图像分析中控设备根据分析结果确定拍摄存在遮挡后，会进一步计算出被遮挡区域的大小与位置，然后根据被遮挡区域的大小与位置，计算可清晰拍摄到遮挡区域的坐标及角度，也就是辅助拍摄位置集合。然后获取距离辅助拍摄位置集合最近的目标引导设备，并计算出辅助拍摄位置集合中距离目标引导设备最近的点作为辅助拍摄点。最后将辅助拍摄点信息发送给目标引导设备，目标引导设备接收到辅助拍摄点信息后，移动至辅助拍摄点进行辅助拍摄。比如，如图6所示，共有三台引导设备，其中引导设备2距离辅助拍摄位置集合最近，其移动和准备时间最短，所以选取引导设备2进行辅助拍摄。

本实施例中，扶梯类型包括两侧可通行扶梯和两侧不可通信扶梯，对于两侧可通行扶梯，引导设备可在扶梯两侧，通过摄像头的上下伸缩及云台控制来拍摄遮挡区域；而对于两侧不可通行的扶梯，引导设备则通过在扶梯的上层或下层移动，并伸缩和调整拍摄角度来拍摄遮挡区域，注意扶梯出入口不作为辅助拍摄区域。

参照图8，本实施例对通过扶梯视频监控系统中的图像采集设备、图像分析中控设备和引导设备之间的交互进行辅助拍摄的流程进行说明。图像分析中控设备在识别视频图像中的乘客时，会记录乘客的身体特征点(主要包括面部识别、发型及颜色、肢体动作、携带物品、穿着服饰等)。具体地，当乘客搭乘扶梯时，图像分析中控设备对相应拍摄范围的摄像头上传的画面进行分析，当检测到乘客的某一个或多个特征点无法识别，或几个乘客的特征点出现重叠的情况时，确定拍摄被遮挡。

当确定拍摄被遮挡之后，图像分析中控设备会根据提前录入的扶梯的长度、宽度及摄像头的安装位置，计算被遮挡区域的大小与位置，然后根据遮挡区域的大小与位置，计算辅助拍摄位置集合，辅助拍摄位置集合为可清晰拍摄到被遮挡区域的坐标及角度。考虑到引导设备不止1台，且引导设备可配置分布在扶梯的周围区域。图像分析中控设备计算得到辅助拍摄位置集合之后，进一步确定距离辅助拍摄位置集合最近的目标引导设备，并计算辅助拍摄位置集合中距离目标引导设备最近的点作为辅助拍摄点。然后将辅助拍摄点信息发送给目标引导设备，以让目标引导设备移动至辅助拍摄点进行辅助拍摄，从而可以保证引导设备移动的距离最短，提高辅助拍摄效率。同时，考虑到扶梯一直处于运行状态，则被遮挡区域也会随之移动，因此，在目标引导设备移动至辅助拍摄点的过程中，图像分析中控设备需要实时更新辅助拍摄点，并将更新后的辅助拍摄点实时发送给目标引导设备。

引导设备进行辅助拍摄之后，会将拍摄得到的图像发送给图像分析中控设备，图像分析中控设备结合之前图像采集设备采集得到的视频图像，判断图像是否完整，也就是判断图像是否依然存在遮挡，若确定图像依然存在遮挡，则进一步判断是否需要增加引导设备进行辅助拍摄，如果需要，则进一步计算需要增加的引导设备对应的辅助拍摄点。比如，如果确定需要增加2台引导设备，则计算距离辅助拍摄位置集合最近的另外2台引导设备，分别是引导设备1和引导设备2，然后计算辅助拍摄位置集合中距离引导设备1最近的点为辅助拍摄点1，计算辅助拍摄位置集合中距离引导设备2最近的点为辅助拍摄点2。然后将辅助拍摄点1的信息发送给引导设备1，以让引导设备1移动至辅助拍摄点1进行辅助拍摄；将辅助拍摄点2的信息发送给引导设备2，以让引导设备2移动至辅助拍摄点2进行辅助拍摄。而如果确定不需要增加引导设备，则调整当前引导设备的位置和角度重新进行辅助拍摄。

本实施例中，如果出现多处遮挡，则图像分析中控设备根据多处遮挡位置的综合分析得出可以同时拍摄到多处遮挡位置的辅助点，其处理过程与图8所示过程相同，此处不再赘述。

接下来，参照图9，对通过扶梯视频监控系统辅助特殊乘客乘梯的流程进行说明。通过图像分析中控设备与引导设备交互辅助特殊乘客乘梯，包括但不限于以下步骤：

D100.图像分析中控设备识别特殊乘客，特殊乘客包括携带大件行李物品乘客、坐轮椅乘客和推婴儿车乘客中的至少一种；

D200.图像分析中控设备记录特殊乘客的特征，并通过视频跟踪定位实时更新特殊乘客的位置信息；

D300.图像分析中控设备将特殊乘客的特征和位置信息发送至引导设备，并向引导设备发送前往引导指令；

D400.引导设备接收第一信息，第一信息包括特殊乘客的特征和位置信息；

D500.引导设备接收前往引导指令，并根据第一信息移动至特殊乘客位置；

D600.引导设备通过语音播报提醒信息以提醒特殊乘客搭乘直梯，并通过显示屏显示距离当前位置最近的直梯位置；

D700.当引导设备检测到特殊乘客需要引领前往直梯，向图像分析中控设备发送乘客需要引领信息；

D800.当图像分析中控设备接收到乘客需要引领信息，发送地图信息至引导设备，地图信息包括特殊乘客的当前位置及从当前位置前往最近直梯位置的路线图；

D900.引导设备接收地图信息，并根据地图信息引领特殊乘客前往直梯。

本实施例中，通过图像采集设备，也就是扶梯配置的各个摄像头，可获取扶梯入口周边的视频图像，图像分析中控设备先接收由图像采集设备发送的扶梯入口周边的视频图像，然后对视频图像进行分析，识别乘客特征及乘客携带的物品特征。识别的主要手段为：对于轮椅、婴儿车等具有明显外形特征的进行特征对比分析，以识别出轮椅和婴儿车；对于大件物品等通过视频录制及学习，记录大件物品的识别特征，提取视频中的大件物品及扶梯梯级尺寸进行对比，若识别出大件物品尺寸大于扶梯梯级尺寸，确认属于大件物品，进而识别相应乘客为特殊乘客。

图像分析中控设备识别出在扶梯入口周边存在一个或多个特殊乘客后，图像分析中控设备会进一步地记录特殊乘客的特征，并通过视频跟踪定位，实时更新特殊乘客的位置信息；然后将特殊乘客的特征和位置信息发送给距离特殊乘客最近的引导设备，并向该引导设备发送前往引导指令，以让该引导设备移动至特殊乘客位置处进行乘梯引导。本实施例中，若图像分析中控设备在扶梯入口周边识别到多个特殊乘客，比如特殊乘客A、特殊乘客B和特殊乘客C，此时，首先确定距离特殊乘客A最近的引导设备1，距离特殊乘客B最近的引导设备2，距离特殊乘客C最近的引导设备3。然后向引导设备1发送特殊乘客A的特征和位置信息，并给引导设备1发送指令，以让引导设备1前往特殊乘客A的位置处进行乘梯引导。同样地，向引导设备2发送特殊乘客B的特征和位置信息，并给引导设备2发送指令，以让引导设备2前往特殊乘客B的位置处进行乘梯引导；向引导设备3发送特殊乘客C的特征和位置信息，并给引导设备3发送指令，以让引导设备3前往特殊乘客C的位置处进行乘梯引导。

引导设备接收到图像分析中控设备发送的特殊乘客的特征、位置信息及前往引导指令后，会移动至特殊乘客位置处进行乘梯引导。当引导设备移动到特殊乘客位置处时，会通过语音播报提醒信息以提醒特殊乘客搭乘直梯，并通过显示屏显示距离当前位置最近的直梯位置，具体地，比如可通过播报“穿白色T恤、灰色短裤、黑色帽子、携带蓝色行李箱的乘客，您所携带的物品尺寸超过搭乘扶梯的安全尺寸，为保证您与其他乘客的乘梯安全，请您搭乘直梯出行，距离您最近的直梯位置请您查看屏幕”的内容，提醒特殊乘客搭乘直梯。同时，引导设备可通过显示屏或语音模块询问特殊乘客是否需要引路；具体地，比如可以通过显示屏显示“是否需要带领您前往直梯”的信息进行询问，或者通过语音直接询问特殊乘客是否需要引路。此时，乘客可通过选择显示屏上的显示的“是”或者“否”的选项进行反馈；或者直接与设备进行语音交互进行反馈。当引导设备检测到特殊乘客需要引领前往直梯时，向图像分析中控设备发送乘客需要引领信息。由于图像分析中控设备接收到乘客需要引领信息后，会发送特殊乘客的当前位置及从当前位置前往最近直梯位置的路线图给引导设备，使得引导设备可根据该路线图引领特殊乘客前往直梯。

引导设备根据该路线图引领特殊乘客前往直梯的过程中，由于引导设备设有多台摄像头，因此可以在行进过程中识别路障及来往行人进行避障，同时也可语音提醒来往行人注意避让。

考虑到可能存在部分特殊乘客不理会引导设备的语音提醒，继续前往扶梯入口处搭乘扶梯的情况，此时，引导设备会通过语音播报询问信息以进一步引导乘客搭乘直梯。比如可通过语音播报“这位乘客您好，您是否不清楚线路图中所标识的直梯位置，您可以语音告诉我‘请带我搭乘直梯’，我将带领您前往直梯”的内容，或者通过语音播报“如果您需要人工服务，也可以通过语音告诉我‘人工服务’，我将为您联系工作人员前来服务”的内容，或者进一步通过语音播报“如果您执意搭乘扶梯，我将主动呼叫工作人员前来提供帮助”的内容。

如果引导设备通过语音交互或者显示屏检测到特殊乘客需要人工服务，或者引导设备在通过语音播报询问信息之后，检测到特殊乘客仍前往扶梯入口搭乘扶梯，此时，引导设备会向图像分析中控设备发送需要帮助信息。图像分析中控设备接收到需要帮助信息之后，会与监控室的人机交互设备建立连接，以让工作人员进行处理，处理方式包括远程语音对话；即工作人员可远程通过引导设备与特殊乘客进行语音对话。同时图像分析中控设备会向人机交互设备发送特殊乘客的实时位置，以方便工作人员前往现场处理。

接下来，参照图10，对通过扶梯视频监控系统对扶梯运行状态和乘客行为动作进行识别和处理的流程进行说明。图像分析中控设备通过对图像采集设备采集得到的图像视频进行分析，可识别扶梯运行状态及乘客行为动作。具体地，由于远程梯控设备会采集扶梯运行状态并上传至图像分析中控设备，因此，图像分析中控设备可接收远程梯控设备发送的扶梯运行状态并存储在扶梯运行状态数据库中。然后将从视频图像中识别出的扶梯运行状态与扶梯运行状态数据库进行对比分析，以判断扶梯运行状态是否存在异常，若通过对比分析检测到扶梯梯级缺失、楼层板缺失或有缝隙、扶梯运行方向与实际运行方向不一致、扶梯运行速度超出设定范围等情况时，判断扶梯运行异常。并同时对识别出的扶梯运行状态进行危险等级分类。同样地，图像分析中控设备或预先建立乘客行为动作库，然后根据预先建立的乘客行为动作库，对从视频图像中识别出的乘客行为动作进行危险等级分类。具体地，识别出的乘客行为动作包括但不限于乘客摔倒、乘客逆行、乘客肢体突出扶梯安全区域、儿童乘梯、乘客异常行为(如蹲身、儿童爬行、儿童攀爬等)。危险等级包括正常等级、警告等级和危重等级。然后图像分析中控设备针对不同类别的危险等级，制定相应的应对策略，并根据应对策略，向引导设备、人机交互设备和远程梯控设备发送相应指令。

本实施例中，当图像分析中控设备识别出的新的扶梯运行状态或新的乘客行为动作而无法对其进行危险等级判断时，向人机交互设备上传包含新的扶梯运行状态或新的乘客行为动作的视频片段，以让工作人员对该新的扶梯运行状态或新的乘客行为动作进行危险等级划分，并设置相应的应对策略。工作人员划分并设置好后，通过人机交互设备发送至图像分析中控设备，以让图像分析中控设备将新的扶梯运行状态保存至扶梯运行状态数据库，将新的乘客行为动作保存至客行为动作库中，从而能够保证图像分析中控设备下一次能够对该新的扶梯运行状态或新的乘客行为动作进行危险等级判断，而不需要再次由人工进行划分和设置。

本实施例中，当图像分析中控设备根据分析结果识别出乘客行为动作为警告等级，向引导设备发送第一控制指令、乘客特征和位置信息，以让引导设备根据第一控制指令、乘客特征和位置信息，前往现场对乘客进行语音提醒及警告。

具体地，比如图像分析中控设备根据分析结果识别出某一乘客逆行或某一乘客将手伸出扶手外时，图像分析中控设备会记录该乘客的特征，并通过视频跟踪定位，实时更新该乘客的位置信息；然后将该乘客的特征和位置信息发送给距离该乘客最近的引导设备，并发送相应的控制指令以让该引导设备前往该乘客位置附近进行语音提醒及警告。同时，该引导设备还可通过显示屏播放该乘客行为视频，如该乘客不听从劝阻或不知道自己被警告者时，将进行乘客特征描述，提醒乘客规范乘梯。比如，识别到有乘客将身体探出扶梯之外，则引导设备播报“为保证您的人身安全，请勿将身体探出扶梯扶手”的内容进行语音提醒，在一定时间间隔后，如果该乘客仍未改正，则播报“那位红色背包、蓝色上衣、黑色帽子、戴眼镜的男乘客，为保证您的人身安全，请勿将身体探出扶梯扶手”的内容进行再次语音提醒。

当图像分析中控设备根据分析结果识别出扶梯拥挤时，向引导设备发送第四控制指令和扶梯位置，以让引导设备前往扶梯位置附近，通过语音辅助分流，并通过显示屏显示所有扶梯的乘梯人数及到达各扶梯的行走线路。具体地，当图像分析中控设备识别到某一扶梯乘梯人数较多，则可判断该扶梯拥挤，此时，图像分析中控设备向距离该扶梯位置最近的引导设备发送该扶梯位置和相应控制指令，以让引导设备前往扶梯位置附近，通过语音播报提醒乘客搭乘人数较少的扶梯，同时通过显示屏显示附近所有扶梯的乘梯人数，及到达附近各扶梯的行走线路，从而协助乘客搭乘扶梯人数较少的扶梯，辅助分流。

本实施例中，当图像分析中控设备根据分析结果识别出扶梯运行状态为危重等级，执行以下至少一种操作：

向引导设备发送第二控制指令及位置信息，以让引导设备根据第二控制指令及位置信息，对现场情况进行语音播报，并前往现场引导乘客疏散及撤离；

向远程梯控设备发送梯控指令，以让远程梯控设备控制扶梯减速运行、停止运行或反向运行；

向人机交互设备发送危重视频片段，以提醒工作人员进行干预处理。

具体地，图像分析中控设备根据分析结果识别出扶梯运行状态为危重等级时，图像分析中控设备会截取包含该危重等级的扶梯运行状态的视频片段上传至人机交互设备；由于人机交互设备设置有声光报警装置，因此可以提醒工作人员进行及时应对和干预。另外，图像分析中控设备还会根据预设好的应对策略进行处理，比如向远程梯控设备发送梯控指令，以让远程梯控设备控制扶梯减速运行、停止运行或反向运行，同时等待扶梯回复，当扶梯在一定时间内内未回复或回复操作未成功均被认为操作失败，无论操作成功与否，图像分析中控设备均上传相应的执行结果至人机交互设备。另外，图像分析中控设备还会发送指令及扶梯坐标信息至引导设备，由引导设备第一时间对现场情况进行语音播报，严重时将通过自动引路、地图提醒等方式引导乘客疏散及撤离。

本实施例中，当图像分析中控设备识别到扶梯发生故障，向第一引导设备发送第五控制指令，以让第一引导设备移动至扶梯入口附近通过语音提醒前来搭乘扶梯的乘客不要搭乘故障电梯，并通过语音对聚集乘客进行语音疏散

向第二引导设备发送第六控制指令，以让第二引导设备移动至扶梯出口附近，并根据扶梯运行状态，对故障扶梯上的乘客进行语音疏导和撤离；

当识别到有乘客受伤，向第三引导设备发送第七控制指令和受伤乘客的位置信息，以让第三引导设备移动至受伤乘客位置处，并进行人工呼叫。

具体地，比如当识别到某一扶梯楼层板缺失或移位等扶梯故障时，图像分析中控设备会向当前未执行任何指令的引导设备发送指令，以让引导设备集中至事故扶梯处进行处理，具体地，向其中一台引导设备发送相应指令，以让该引导设备前往该故障扶梯入口附近进行语音播报，提醒前来搭乘该故障扶梯的乘客不要搭乘。同时对前来搭乘扶梯的乘客及扶梯故障导致聚集的乘客进行语音疏导，请其离开此故障扶梯，并停止围观，以方便故障扶梯上的乘客疏散。向另一台引导设备发送相应指令，以让该引导设备前往该故障扶梯出口附近对故障扶梯上的乘客进行疏导。具体地，该引导设备接收图像分析中控设备发送的扶梯运行状态，并根据扶梯运行状态进行疏导。如果扶梯已经停止运行，则语音提醒故障扶梯上半部乘客通过扶梯上出口撤离，下半部乘客通过下出口撤离；如果扶梯未停止运行，则提醒乘客按照扶梯的运行方向进行撤离。同时，该引导设备还可通过显示屏显示附近其他扶梯的乘梯人数，及到达附近其他扶梯的行走线路，从而协助撤离的乘客搭乘扶梯人数较少的扶梯。在此过程中，图像分析中控设备可通过分析扶梯出入口附近的图像，识别乘客的行走姿势、坐卧姿势等进而判断是否有受伤乘客，如果有，则上报至人机交互设备通知工作人员，以方便工作人员及时处理。同时下发受伤乘客坐标信息及相应指令至就近的引导设备处；引导设备接收到受伤乘客位置和指令后，移动至受伤乘客处，并主动呼叫人机交互设备处的工作人员，方便工作人员对受伤乘客进行远程语音指导及进一步处理。

参照图11，本发明实施例还提出一种扶梯视频监控方法，包括但不限于以下步骤：

S100.图像采集设备采集自动扶梯的视频图像，并将视频图像上传至图像分析中控设备；

S200.图像分析中控设备对视频图像进行分析，并根据分析结果向引导设备、人机交互设备和远程梯控设备发送相应指令；

S300.引导设备根据接收到的指令辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；

S400.人机交互设备根据接收到的指令进行人机交互；

S500.远程梯控设备将采集得到的扶梯实时运行状态发送至图像分析中控设备，并根据接收到的指令控制扶梯运行。

图1所示的系统实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与图1所示的系统实施例相同，并且达到的有益效果与图1所示的系统实施例所达到的有益效果也相同。

参照图12，本发明实施例还提供了一种扶梯视频监控装置200，具体包括：

至少一个处理器210；

至少一个存储器220，用于存储至少一个程序；

当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如图11所示的方法。

其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

可以理解到，图12中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图12所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图11所示实施例的步骤。

以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，处理器可执行的程序在被处理器执行时用于实现如图11所示的方法。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图11所示的方法。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种扶梯视频监控系统，其特征在于，包括图像采集设备、图像分析中控设备、引导设备、人机交互设备和远程梯控设备；所述图像采集设备、人机交互设备和远程梯控设备均与所述图像分析中控设备通过通信连接，所述引导设备与所述图像分析中控设备通过无线网络进行通信连接；

所述图像采集设备用于采集自动扶梯的视频图像，并将所述视频图像上传至所述图像分析中控设备；

所述图像分析中控设备用于对所述视频图像进行分析，并根据分析结果向所述引导设备、人机交互设备和远程梯控设备发送相应指令；

所述引导设备用于辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；

所述人机交互设备用于提供人机交互界面及进行人机交互；

所述远程梯控设备用于采集扶梯实时运行状态并控制扶梯运行；

所述图像分析中控设备还用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果识别扶梯运行状态及乘客行为动作；

根据预先存储的扶梯运行状态数据库和乘客行为动作库，对识别得到的扶梯运行状态及乘客行为动作进行危险等级分类，所述危险等级包括正常等级、警告等级和危重等级；

针对不同类别的危险等级，制定相应的应对策略，并根据所述应对策略，向所述引导设备、人机交互设备和远程梯控设备发送相应指令。

2.根据权利要求1所述的一种扶梯视频监控系统，其特征在于，所述图像分析中控设备还用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果判断拍摄是否出现遮挡；

若确定拍摄出现遮挡，计算被遮挡区域的大小与位置；

根据被遮挡区域的大小与位置，计算辅助拍摄位置集合；

向目标引导设备发送控制指令，以让所述目标引导设备移动至辅助拍摄点进行辅助拍摄，所述目标引导设备为距离所述辅助拍摄位置集合最近的引导设备，所述辅助拍摄点为所述辅助拍摄位置集合中距离所述目标引导设备最近的点。

3.根据权利要求1所述的一种扶梯视频监控系统，其特征在于，所述图像分析中控设备还用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果识别特殊乘客，所述特殊乘客包括携带大件行李物品乘客、坐轮椅乘客和推婴儿车乘客中的至少一种；

记录所述特殊乘客的特征，并通过视频跟踪定位实时更新所述特殊乘客的位置信息；

将所述特殊乘客的特征和位置信息发送至引导设备，并向所述引导设备发送前往引导指令，以让所述引导设备前往特殊乘客位置处进行乘梯引导。

4.根据权利要求1所述的一种扶梯视频监控系统，其特征在于，所述图像分析中控设备针对不同类别的危险等级，制定相应的应对策略，并根据所述应对策略，向所述引导设备、人机交互设备和远程梯控设备发送相应指令具体包括：

当图像分析中控设备根据分析结果识别出乘客行为动作为警告等级，向所述引导设备发送第一控制指令、乘客特征和位置信息，以让所述引导设备根据所述第一控制指令、乘客特征和位置信息，前往现场对乘客进行语音提醒及警告；

当图像分析中控设备根据分析结果识别出扶梯运行状态为危重等级，执行以下至少一种操作：

向所述引导设备发送第二控制指令及位置信息，以让所述引导设备根据第二控制指令及位置信息，对现场情况进行语音播报，并前往现场引导乘客疏散及撤离；

向所述远程梯控设备发送梯控指令，以让所述远程梯控设备控制扶梯减速运行、停止运行或反向运行；

向所述人机交互设备发送危重视频片段，以提醒工作人员进行干预处理。

5.根据权利要求1所述的一种扶梯视频监控系统，其特征在于，所述图像分析中控设备还用于执行以下操作：

当识别到乘客逆行或乘客肢体突出扶梯安全区域，向所述引导设备发送第三控制指令、乘客特征和位置信息，以让所述引导设备前往乘客位置附近，通过语音提醒乘客规范乘梯；

当识别到扶梯拥挤，向所述引导设备发送第四控制指令和扶梯位置，以让所述引导设备前往扶梯位置附近，通过语音辅助分流，并通过显示屏显示所有扶梯的乘梯人数及到达各扶梯的行走线路。

6.根据权利要求1所述的一种扶梯视频监控系统，其特征在于，所述图像分析中控设备还用于执行以下操作：

当识别到扶梯发生故障，向第一引导设备发送第五控制指令，以让所述第一引导设备移动至扶梯入口附近通过语音提醒前来搭乘扶梯的乘客不要搭乘故障电梯，并通过语音对聚集乘客进行语音疏导；

向第二引导设备发送第六控制指令，以让所述第二引导设备移动至扶梯出口附近，并根据扶梯运行状态，对故障扶梯上的乘客进行语音疏导和撤离；

当识别到有乘客受伤，向第三引导设备发送第七控制指令和受伤乘客的位置信息，以让所述第三引导设备移动至受伤乘客位置处，并进行人工呼叫。

7.一种扶梯视频监控方法，其特征在于，包括：

图像采集设备采集自动扶梯的视频图像，并将所述视频图像上传至图像分析中控设备；

所述图像分析中控设备对所述视频图像进行分析，并根据分析结果向引导设备、人机交互设备和远程梯控设备发送相应指令；

所述引导设备根据接收到的指令辅助拍摄、辅助特殊乘客乘梯及引导乘客安全搭乘扶梯；

所述人机交互设备根据接收到的指令进行人机交互；

所述远程梯控设备将采集得到的扶梯实时运行状态发送至所述图像分析中控设备，并根据接收到的指令控制扶梯运行；

所述图像分析中控设备还用于执行以下操作：

对所述图像采集设备采集得到的视频图像进行分析；

根据分析结果识别扶梯运行状态及乘客行为动作；

根据预先存储的扶梯运行状态数据库和乘客行为动作库，对识别得到的扶梯运行状态及乘客行为动作进行危险等级分类，所述危险等级包括正常等级、警告等级和危重等级；

针对不同类别的危险等级，制定相应的应对策略，并根据所述应对策略，向所述引导设备、人机交互设备和远程梯控设备发送相应指令。

8.一种扶梯视频监控装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求7所述的方法。

9.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求7所述的方法。