CN112990038A - 扶梯安全提醒方法、装置及计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种扶梯安全提醒方法、装置及计算机存储介质，属于视频监控技术领域。本申请实施例基于监控扶梯的视频流便可自动检测扶梯上的乘客，如果检测到视频流中的目标图像中出现的乘客正在看手机，且乘客当前处于扶梯的出入口位置处的，此时表明该乘客在乘坐扶梯的过程中可能存在安全隐患，因此自动生成提示信息，从而提示该乘客关注扶梯的运行情况。如此，如果乘客在乘坐扶梯的过程中沉迷于玩手机，则可以通过本申请实施例提供的方法自动提醒乘客，避免了乘客由于玩手机而引发的安全事故。相对于通过人工方式进行安全提醒的方法，本申请实施例提供了一种针对扶梯的自动化安全提醒方法，从而避免由于提醒不及时而导致安全事故的发生。

Description

扶梯安全提醒方法、装置及计算机存储介质

技术领域

本申请实施例涉及视频监控技术领域，特别涉及一种扶梯安全提醒方法、装置及计算机存储介质。

背景技术

目前，在商场、超市以及车站等人员密集的场所通常部署有扶梯。人们在乘坐扶梯的时候，可能会因为看手机等因素而没有去关注扶梯的运行情况，从而导致电梯事故的发生。因此，在人们乘坐扶梯的过程中，如何进行安全提醒是非常有必要的。

相关技术中，通常是在扶梯的出口位置处配置一个工作人员，由工作人员对扶梯上的人们进行安全提醒。这种安全提醒的方式需要耗费大量的人力资源，且容易出现提醒不及时的问题。或者，在扶梯的出口处放置一个喇叭循环播报提醒语音，这样很容易造成噪声污染，且这种提醒方式不够灵活。

发明内容

本申请实施例提供了一种扶梯安全提醒方法、装置及计算机存储介质，可以提高扶梯安全提醒的效率和及时性。所述技术方案如下：

一方面、提供了一种扶梯安全提醒方法，所述方法包括：

获取目标图像，所述目标图像为针对扶梯所在区域监控得到的视频流中的图像；

基于所述目标图像，确定是否检测到所述目标图像中的乘客正在看手机，以及确定是否检测到所述乘客处于所述扶梯的出入口位置；

在检测到所述乘客正在看手机、且所述乘客当前处于所述扶梯的出入口位置处的情况下，生成提示信息，所述提示信息用于提示所述乘客关注所述扶梯的运行情况。

基于上述方法，在一种可能的实现方式中，所述基于所述目标图像，确定是否检测到所述目标图像中的乘客正在看手机，包括：

基于所述目标图像，获取所述乘客对应的人体区域，所述人体区域中包括所述乘客以及所述乘客所携带或接触的物品；

基于所述人体区域，确定是否检测到所述乘客手持手机；

在基于所述人体区域检测到所述乘客手持手机的情况下，获取所述目标图像中所述手机所在的手机区域；

基于所述人体区域和所述手机区域，确定是否检测到所述乘客正在看手机。

基于上述方法，在一种可能的实现方式中，所述基于所述人体区域，确定是否检测到所述乘客手持手机，包括：

从所述人体区域中获取所述乘客的上本身区域；

基于所述乘客的上本身区域，确定是否检测到所述乘客手持手机。

基于上述方法，在一种可能的实现方式中，所述基于所述人体区域和所述手机区域，确定是否检测到所述乘客正在看手机，包括：

基于所述人体区域，获取所述乘客的人眼所在的人眼区域；

基于所述人眼区域以及所述手机区域，通过视线追踪技术确定所述乘客的视线是否落在所述手机区域；

如果所述乘客的视线落在所述手机区域，则确定检测到所述乘客正在看手机。

基于上述方法，在一种可能的实现方式中，所述基于所述目标图像，确定是否检测到所述乘客处于所述扶梯的出入口位置，包括：

基于所述目标图像，确定所述乘客是否位于参考区域，所述参考区域是指所述扶梯上和所述扶梯的出口之间的距离在第一指定距离内的位置区域，或者是指所述扶梯的入口前和所述扶梯的入口之间的距离在第二指定距离内的位置区域；

在所述乘客位于所述参考区域的情况下，确定检测到所述乘客位于所述扶梯的出入口位置处。

另一方面、提供了一种扶梯安全提醒装置，所述装置包括：

获取模块，用于获取目标图像，所述目标图像为针对扶梯所在区域监控得到的视频流中的图像；

确定模块，用于基于所述目标图像，确定是否检测到所述目标图像中的乘客正在看手机，以及确定是否检测到所述乘客处于所述扶梯的出入口位置；

生成模块，用于在检测到所述乘客正在看手机、且所述乘客当前处于所述扶梯的出入口位置处的情况下，生成提示信息，所述提示信息用于提示所述乘客关注所述扶梯的运行情况。

基于上述装置，在一种可能的实现方式中，所述确定模块用于：

基于所述目标图像，获取所述乘客对应的人体区域，所述人体区域中包括所述乘客以及所述乘客所携带或接触的物品；

基于所述人体区域，确定是否检测到所述乘客手持手机；

在基于所述人体区域检测到所述乘客手持手机的情况下，获取所述目标图像中所述手机所在的手机区域；

基于所述人体区域和所述手机区域，确定是否检测到所述乘客正在看手机。

基于上述装置，在一种可能的实现方式中，所述确定模块用于：

从所述人体区域中获取所述乘客的上本身区域；

基于所述乘客的上本身区域，确定是否检测到所述乘客手持手机。

基于上述装置，在一种可能的实现方式中，所述确定模块用于：

基于所述人体区域，获取所述乘客的人眼所在的人眼区域；

基于所述人眼区域以及所述手机区域，通过视线追踪技术确定所述乘客的视线是否落在所述手机区域；

如果所述乘客的视线落在所述手机区域，则确定检测到所述乘客正在看手机。

基于上述装置，在一种可能的实现方式中，所述确定模块用于：

基于所述目标图像，确定所述乘客是否位于参考区域，所述参考区域是指所述扶梯上和所述扶梯的出口之间的距离在第一指定距离内的位置区域，或者是指所述扶梯的入口前和所述扶梯的入口之间的距离在第二指定距离内的位置区域；

在所述乘客位于所述参考区域的情况下，确定检测到所述乘客位于所述扶梯的出入口位置处。

另一方面，提供了一种扶梯安全提醒装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述扶梯安全提醒方法中的任一步骤。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述扶梯安全提醒方法中的任一步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述扶梯安全提醒方法中任一步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，基于监控扶梯的视频流便可自动检测扶梯上的乘客，如果检测到视频流中的目标图像中出现的乘客正在看手机，且乘客当前处于扶梯的出入口位置处的，此时表明该乘客在乘坐扶梯的过程中可能存在安全隐患，因此自动生成提示信息，从而提示该乘客关注扶梯的运行情况。如此，如果乘客在乘坐扶梯的过程中沉迷于玩手机，则可以通过本申请实施例提供的方法自动提醒乘客，避免了乘客由于玩手机而引发的安全事故。相对于通过人工方式或喇叭循环播报方式进行安全提醒的方法，本申请实施例提供了一种针对扶梯的自动化安全提醒方法，不仅提高了安全提醒的智能型，还提高了安全提醒的效率，从而避免由于提醒不及时而导致安全事故的发生。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种扶梯安全提醒系统的架构示意图；

图2是本申请实施例提供的另一种扶梯安全提醒系统的架构示意图；

图3是本申请实施例提供的一种扶梯安全提醒方法流程图；

图4是本申请实施例提供的另一种扶梯安全提醒方法流程图；

图5是本申请实施例提供的另一种扶梯安全提醒方法流程图；

图6是本申请实施例提供的一种扶梯安全提醒装置框图；

图7是本申请实施例提供的一种终端的结构示意图；

图8是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

随着城市基础设施的发展，在人员密集的公共场所内，为了便于用户上下楼层，通常在多个楼层之间配置自动扶梯，乘客通过自动扶梯便可达到指定的楼层。同时在通过自动扶梯上下楼层的过程中，还能便于乘客观看周围环境。基于上述优势，自动扶梯在各大商场、超市、车站等场所随处可见。但是随着手机的普及，乘客在乘坐自动扶梯时往往会掏出手机进行聊天、新闻浏览，观看视频等活动，此时乘客容易因为看手机分心而不专注电梯的运行情况，在要到达自动扶梯出口处的梳齿板时踉跄甚至摔倒，从而引发电梯事故和人身伤害。基于此，目前急需一种能够对自动扶梯上的乘客进行安全提醒的方法。本申请实施例提供的扶梯安全提醒方法就应用于上述场景。

为实现本申请实施例提供的扶梯安全提醒方法，本申请实施例提供的了一种扶梯安全提醒系统。图1是本申请实施例提供的一种扶梯安全提醒系统100的架构示意图。如图1所示，该扶梯安全提醒系统100包括摄像机101、控制端102以及语音播放端103。

其中，摄像机101用于采集扶梯所在区域的视频流，该视频流还可以称为监控该扶梯所在区域的视频流，并将监控视频流发送至控制端102。控制端102接收到该视频流后，基于该视频流识别扶梯上的乘客是否存在安全隐患，如果存在安全隐患，则生成提示信息，然后将提示信息发送给语音播放端103。由语音播放端103通过语音方式播放该提示信息，以提示扶梯上的乘客关注扶梯的运行情况。

需要说明的是，图1所示的扶梯安全提醒系统仅仅是一种示例，并不构成对本申请实施例提供的扶梯安全提醒方法的限定。后续实施例中的扶梯安全提醒方法也不限于在图1所示的系统上实现。比如，可选地，本申请实施例提供的扶梯安全提醒方法也可以仅通过图1中的摄像机101和控制端102进行安全提醒。或者，在摄像机101上配置有智能算法的情况下，本申请实施例提供的扶梯安全提醒方法也可以仅通过图1中的摄像机101来实现，在此就不再一一举例说明。

此外，图1中的摄像机101可以为任意类型的监控摄像机、比如可旋转拍摄角度的球机等等。摄像机101可安装在扶梯的对面位置，用于采集针对扶梯所在区域的视频流。需要说明的是，为了便于对扶梯上每个乘客进行检测，摄像机101的监控区域可以覆盖整个扶梯所在区域。可选地，由于扶梯的安全事故通常发生在扶梯的出口位置，因此摄像机101的监控区域还可以只覆盖扶梯出口位置的附近区域即可，以便于对即将走出扶梯的乘客进行安全提醒。

另外，控制端102可以为任意具有数据处理能力的终端或服务器等等。语音播放端103可以为任意安装了扩音器的设备。

此外，语音播放端103可以为独立与控制端102的一个播放器。可选地，语音播放端103还可以为集成在摄像机101内的播放器，本申请实施例不限定语音播放端103的布置位置。

图2是本申请实施例提供的另一种扶梯安全提醒系统100的架构示意图。如图2所示，图1中的控制端102具体为一个计算机设备，图1中的摄像机101为监控摄像机，该监控摄像机用于采集针对自动扶梯上的视频流，语音播放端103为一喇叭。需要说明的是，图2仅仅是本申请实施例提供的一种扶梯安全提醒系统的应用场景示意图，本申请实施例并不限定摄像机、控制端以及语音播放端的具体形态。

基于图1所示的系统，下面对本申请实施例提供的扶梯安全提醒方法进行详细解释说明。图3是本申请实施例提供的一种扶梯安全提醒方法流程图。如图3所示，该方法包括如下几个步骤。

步骤301：控制端获取目标图像，该目标图像为针对扶梯所在区域监控得到的视频流中的图像。

在本申请实施例中，为了能够及时对扶梯上的乘客进行安全提醒，监控扶梯的摄像机将采集的视频流实时推送至控制端，控制端需要实时对视频流进行处理，以检测是否需要对扶梯上的乘客进行安全提醒。

控制端在实时接收到摄像机推送的视频流后，便可从视频流中获取目标图像，然后对目标图像进行检测，以确定是否需要对扶梯上的乘客进行安全提醒。

在一种可能的实现方式中，控制端可以将视频流中的每帧图像依次确定为目标图像，然后对该目标图像进行检测，以确定是否需要对扶梯上的乘客进行安全提醒。如此，可以提高对乘客进行安全提醒的准确率，避免遗漏掉某些乘客没有检测到。

在另一种可能的实现方式中，考虑到在较短时间内扶梯上的乘客基本没有发生变化，因此，控制端可以周期性地从视频流中获取一帧或多帧图像。如果周期性地获取一帧图像，则直接将该图像作为目标图像。如果周期性地获取多帧图像，由于这多帧图像里面的乘客基本没有变化，则将该多帧图像融合后作为目标图像。然后对目标图像进行检测，以确定是否需要对扶梯上的乘客进行安全提醒。如此，可以减少控制端的数据处理压力，从而提高对乘客进行安全提醒的效率，避免由于提醒太晚而导致某些乘客仍然出现安全事故。

控制端在确定目标图像之后，便可对该目标图像进行检测。在本申请实施例中，对目标图像进行检测的主要目的是判断乘客的视线是否落在除了扶梯以外的其他物体上。如果乘客的视线落在除了扶梯以外的其他物体上，则该乘客可能出现安全事故，因此需要进行安全提醒。如果乘客的视线落在扶梯上，则该乘客出现安全事故的可能性很低，此时则无需进行安全提醒。

在一种可能的实现方式中，上述对目标图像进行检测实现过程可以为：基于目标图像，确定乘客是否手持其他物体；在乘客手持其他物体的情况下、确定其他物体所在区域；基于目标图像中乘客的人眼区域、其他物体所在区域，确定乘客的视线是否落在其他物体上。

在乘客乘坐扶梯的过程中，乘客如果手持一些物体，比如，手持手机或怀抱小孩的情况，这种场景下，乘客通常会将注意力放在手持物体上，从而忽略了电梯运行情况。因此，在本申请实施例中，可以通过检测乘客的手持物体，来判断乘客的视线是否落在手持的物体上。

为了提高检测效率，可以通过预先训练的学习模型来判断乘客是否手持其他物体。因此，上述基于目标图像，确定乘客是否手持其他物体的实现过程可以为：将目标图像输入预先训练的学习模型，该学习模型输出识别结果，该识别结果直接指示乘客是否手持其他物体。

上述学习模型可以为神经网络模型，也可以为其他的学习模型，本申请实施例对此不作限定。此外，本申请实施例中的学习模型仅仅限定功能即可，并不限定学习模型的训练过程，任意训练学习模型的方法均可以应用在本申请实施例中，只需满足训练后的模型能够识别扶梯上的乘客是否手持物体即可。

另外，在将目标图像输入至学习模型之前，为了提高学习模型的识别准确率，还可以先从目标图像中获取乘客所在的人体区域，然后仅仅将人体区域输入至学习模型即可。需要说明的是，由于扶梯上通常有多个乘客，对于任一乘客，均可以获取到一个人体区域，然后针对每个人体区域分别进行检测即可。

上述从目标图像中获取乘客所在的人体区域同样可以通过神经网络模型等人工智能技术来实现，本申请实施例对此不作详细说明。

在通过目标图像识别出乘客手持其他物体的情况下，便可通过视线追踪技术来确定乘客的视线是否落在该其他物体上。具体在，在视线追踪技术中，需要确定该其他物体所在区域以及目标图像中乘客的人眼区域，然后通过这两个区域，便可判断出乘客的视线是否落在该其他物体上。

其中，确定该其他物体所在区域以及目标图像中乘客的人眼区域同样可以通过神经网络模型等人工智能技术来实现，本申请实施例对此不作详细说明。

此外，视线追踪技术是一种通过捕捉使用者眼睛图像，通过分析瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等特征的相对位置，估计用户的视线方向或者视线落点的技术。需要说明的是，任意视线追踪技术均可以应用在本申请实施例中，在此就不作过多解释。示例地，可以通过PCCR(pupil center corneal reflection，瞳孔角膜反射技术)来实现视线追踪。首先，通过一些校准程序，找出瞳孔与耀点组成的向量与屏幕注视点之间的映射函数，然后通过检测瞳孔耀点向量的变化量，实时跟踪出人在屏幕中所凝视的兴趣点，进而判断兴趣点是否是其他物体。

具体地，在当前手机应用广泛的场景下，对目标图像进行检测的主要目的是判断乘客是否正在玩手机，如果乘客在乘坐扶梯的过程中正在玩手机，且乘客当前处于扶梯出入口处，那么乘客可能出现安全事故，因此需要进行安全提醒。因此，在基于步骤301获取到目标图像之后，便可通过下述步骤302对目标图像中的乘客的状态进行检测。

步骤302：基于目标图像，确定是否检测到目标图像中的乘客正在看手机，以及确定是否检测到该乘客处于扶梯的出入口位置。

在一种可能的实现方式中，步骤302的实现过程可以为：基于目标图像，获取乘客对应的人体区域，人体区域中包括乘客以及乘客所携带或接触的物品；基于人体区域，确定是否检测到乘客手持手机；在基于人体区域检测到乘客手持手机的情况下，获取目标图像中手机所在的手机区域；基于人体区域和手机区域，确定是否检测到乘客正在看手机。

其中，在检测乘客是否正在看手机的过程中，只需对目标图像中乘客所在的人体区域进行识别即可，目标图像中其他信息对当前识别过程并没有太大意义，因此可以先获取乘客对应的人体区域，以便于后续基于人体区域检测乘客是否正在看手机。这样可以减少后续数据处理量，从而提高后续检测乘客是否正在看手机的效率。

上述从目标图像中获取乘客所在的人体区域同样可以通过神经网络模型等人工智能技术来实现，本申请实施例对此不作详细说明。

此外，在应用本申请实施例时，乘客所在的人体区域具体可以为一个矩形方框，该矩形方框中包括乘客以及乘客所携带或接触的物品。

另外，关于基于人体区域确定是否检测到乘客手持手机的实现方式可以参考前述确定乘客是否手机其他物体的实现方式，在此不再赘述。

此外，在扶梯上的乘客手持手机的情况下，通常基于乘客的上半身图像便可判断出乘客是否手持手机。因此，在这种场景下，前述基于目标图像，确定是否检测到乘客手持手机的实现过程可以为：从人体区域中获取乘客的上本身区域；基于乘客的上本身区域，确定是否检测到乘客手持手机。

通过乘客的上本身区域来检测乘客是否手持手机可以进一步提高控制端的识别效率。

上述获取乘客的上半身区域同样可以通过神经网络模型等人工智能技术来实现，本申请实施例对此不作详细说明。

此外，参考前述的视线追踪技术，上述基于人体区域和手机区域，确定是否检测到乘客正在看手机的实现过程可以为：基于人体区域，获取乘客的人眼所在的人眼区域；基于人眼区域以及手机区域，通过视线追踪技术确定乘客的视线是否落在手机区域；如果该乘客的视线落在手机区域，则确定检测到该乘客正在看手机。

关于实现追踪技术的详细原理前述已经说明，在此就不再赘述了。

上述是通过目标图像直接检测乘客的视线是否落其他物体上。可选地，在另一种可能的实现方式中，上述对目标图像进行检测实现过程可以为：基于目标图像、获取乘客的人眼区域；基于目标图像、获取扶梯出口所在区域；基于乘客的人眼区域和扶梯出口所在区域，确定乘客的视线是否在除了扶梯之外其他物体上。

其中，基于乘客的人眼区域和扶梯出口所在区域，便可判断乘客视线是否落在扶梯出口所在区域。如果乘客视线落在扶梯出口所在区域，则可以表明乘客的视线没有落在除了扶梯之外其他物体上。如果乘客视线没有落在扶梯出口所在区域，则可以表明乘客的视线落在除了扶梯之外其他物体上。相对于上述通过目标图像直接检测乘客的视线是否落其他物体上，这是一种间接的确定方式。

上述获取乘客的人眼区域以及获取扶梯出口所在区域，同样均可以通过神经网络模型的方式来方式，本申请实施例对此不作详细说明。

步骤303：在检测到乘客正在看手机、且该乘客当前处于扶梯的出入口位置处的情况下，控制端生成提示信息，提示信息用于提示乘客关注扶梯的运行情况。

在本申请实施例中，生成提示信息后，控制端便可提示乘客关注该扶梯的运行情况。

在一种可能的实现方式中，提示信息中可以携带该乘客的个人特征信息，以使提示信息更有针对性。比如，提示信息可以为“穿黄色上衣的男生请注意电梯出口位置”等等。

可选地，提示信息中也可以不携带该乘客的个人特征信息，如此生成提示信息后，由各位乘客自身来判断自己是否可能存在安全隐患。

如图4所示，控制端在生成提示信息后，便可通过下述步骤304提示乘客。

步骤304：控制端通过语音方式播放该提示信息。

控制端通过语音方式播放该提示信息可以是指：控制端控制连接的语音播放端播放该提示信息。

可选地，如果控制端和后台服务器连接，控制端可以基于后台服务器获取到该乘客的某些客户端账号，此时控制端可以将该提示信息通过该客户端账号发送给乘客的手机，由乘客的手机播放该提示信息或者显示该提示信息。

此外，由于乘客出现安全事故通常是发生在扶梯出入口位置，因此，为了减缓控制端的数据处理压力，控制端可以仅仅在识别到乘客快到扶梯出入口位置时，才会对乘客进行相关检测。

也即是，控制端在获取到目标图像后，可以基于目标图像，确定乘客是否位于参考区域，其中，参考区域是指扶梯上和扶梯的出口之间的距离在第一指定距离内的位置区域，或者是指扶梯的入口前和扶梯的入口之间的距离在第二指定距离内的位置区域。在乘客位于参考区域的情况下，则确定检测到乘客当前处于扶梯的出入口位置处，然后便可执行生成提示信息的步骤。

上述，扶梯上和扶梯的出口之间的距离在第一指定距离内的位置区域具体可以是指扶梯上快到扶梯出口的位置区域。扶梯的入口前和扶梯的入口之间的距离在第二指定距离内的位置区域具体可以是指快到扶梯入口前的一段位置区域。第一指定距离和第二指定距离均为预先设置的距离。第一指定距离和第二指定距离可以相同、也可以不同，本申请实施例对此不做限定。比如，第一指定距离可以为0.5米，第二指定距离可以为1米。

下面以检测乘客是否手持手机为例对上述步骤301-303进一步展开说明。

图5是本申请实施例提供的另一种扶梯安全提醒方法流程图。如图5所示，整个流程分六个步骤。第一步，通过视频监控设备(也即是前述摄像机)获取视频流数据；第二步，人体区域检测；第三步，截取人体上半身图像输入图像分析系统，图像分析系统输出人员是否手持手机的判断结果；第四步，若第三步分析出手持手机这一状态，对手机区域进行坐标定位，也即是获取乘客手持的手机所在的区域，简称为手机区域；第五步，若第三步分析出手持手机这一状态，截取人眼区域图像结合手机区域图像输入到视线追踪分析系统中分析是否视线落在手机区域；第六步，视线追踪分析系统判定乘客快下电梯时手持手机且视线落在手机区域，进行语音播报提醒，也即是语音报警，否则不进行提醒，回到第一步循环监测。

上述图像分析系统以及视线追踪分析系统仅仅是软件功能上的一个系统。也即是，图像分析系统用于基于目标图像获取一些指定的区域或者判断图像中的乘客是否手持手机等等。视线追踪分析系统用于实现本申请实施例需要的视线追踪技术。

此外，在上述第二步中，对人体区域范围进行定位，该范围可以为包含人体轮廓的最小矩形框区域，乘客所携带和接触的物品应包含在该区域内。人体检测方法可以为神经网络方法且不局限于神经网络方法。

在上述第三步中，截取人体上半身图像进行是否手持手机这一状态分析，是因为人员看手机时手机位于人体上半身区域，只截取人体上半身图像有助于提升识别性能。

在上述第四步中，第三步检测出人员手持手机是到第四步的前提，否则继续监测；若第三步判断出人员手持手机则检测手机区域，该手机区域可以是包含手机轮廓在内的矩形区域，第四步的检测手机区域的必要性在于为第五步提供进一步的判断依据，因为人员手持手机并不一定在看手机，有时只是手握手机。

在上述第五步中，向视线追踪系统中输入人眼区域图像和手机区域图像，判断乘客视线是否落在手机区域中。

在上述第六步中，经上述步骤判断扶梯乘客在看手机且快要下手扶电梯时进行语音提醒，乘客在刚上电梯和中间过程不需要提醒。

综上，在本申请实施例中，基于监控扶梯的视频流便可自动检测扶梯上的乘客，如果检测到视频流中的目标图像中出现的乘客正在看手机，且乘客当前处于扶梯的出入口位置处的，此时表明该乘客在乘坐扶梯的过程中可能存在安全隐患，因此自动生成提示信息，从而提示该乘客关注扶梯的运行情况。如此，如果乘客在乘坐扶梯的过程中沉迷于玩手机，则可以通过本申请实施例提供的方法自动提醒乘客，避免了乘客由于玩手机而引发的安全事故。相对于通过人工方式或喇叭循环播报方式进行安全提醒的方法，本申请实施例提供了一种针对扶梯的自动化安全提醒方法，不仅提高了安全提醒的智能型，还提高了安全提醒的效率，从而避免由于提醒不及时而导致安全事故的发生。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图6是本申请实施例提供的一种扶梯安全提醒装置框图，该扶梯安全提醒装置可以由软件、硬件或者两者的结合实现。如图6所示，该扶梯安全提醒装置600可以包括：

获取模块601，用于获取目标图像，目标图像为针对扶梯所在区域监控得到的视频流中的图像；

确定模块602，用于基于目标图像，确定是否检测到目标图像中的乘客正在看手机，以及确定是否检测到乘客处于扶梯的出入口位置；

生成模块603，用于在检测到乘客正在看手机、且乘客当前处于扶梯的出入口位置处的情况下，生成提示信息，提示信息用于提示乘客关注扶梯的运行情况。

可选地，确定模块用于：

基于目标图像，获取乘客对应的人体区域，人体区域中包括乘客以及乘客所携带或接触的物品；

基于人体区域，确定是否检测到乘客手持手机；

在基于人体区域检测到乘客手持手机的情况下，获取目标图像中手机所在的手机区域；

基于人体区域和手机区域，确定是否检测到乘客正在看手机。

可选地，确定模块用于：

从人体区域中获取乘客的上本身区域；

基于乘客的上本身区域，确定是否检测到乘客手持手机。

可选地，确定模块用于：

基于人体区域，获取乘客的人眼所在的人眼区域；

基于人眼区域以及手机区域，通过视线追踪技术确定乘客的视线是否落在手机区域；

如果乘客的视线落在手机区域，则确定检测到乘客正在看手机。

可选地，确定模块还用于：

基于目标图像，确定乘客是否位于参考区域，参考区域是指扶梯上和扶梯的出口之间的距离在第一指定距离内的位置区域，或者是指扶梯的入口前和扶梯的入口之间的距离在第二指定距离内的位置区域；

在乘客位于参考区域的情况下，确定检测到乘客位于扶梯的出入口位置处。

综上，在本申请实施例中，基于监控扶梯的视频流便可自动检测扶梯上的乘客，如果检测到视频流中的目标图像中出现的乘客正在看手机，且乘客当前处于扶梯的出入口位置处的，此时表明该乘客在乘坐扶梯的过程中可能存在安全隐患，因此自动生成提示信息，从而提示该乘客关注扶梯的运行情况。如此，如果乘客在乘坐扶梯的过程中沉迷于玩手机，则可以通过本申请实施例提供的方法自动提醒乘客，避免了乘客由于玩手机而引发的安全事故。相对于通过人工方式或喇叭循环播报方式进行安全提醒的方法，本申请实施例提供了一种针对扶梯的自动化安全提醒方法，不仅提高了安全提醒的智能型，还提高了安全提醒的效率，从而避免由于提醒不及时而导致安全事故的发生。

需要说明的是：上述实施例提供的扶梯安全提醒装置在对扶梯上的乘客进行安全提醒时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的扶梯安全提醒装置与扶梯安全提醒方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本申请实施例提供的一种终端700的结构框图。该终端700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的扶梯安全提醒方法。

在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在另一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。

定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时，由处理器701根据用户对显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制显示屏705的显示亮度。具体地，当环境光强度较高时，调高显示屏705的显示亮度；当环境光强度较低时，调低显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。

接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制显示屏705从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上实施例提供的扶梯安全提醒方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在终端上运行时，使得终端执行上述实施例提供的扶梯安全提醒方法。

图8是本申请实施例提供的一种服务器结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：

服务器800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

根据本申请的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的扶梯安全提醒方法的指。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的扶梯安全提醒方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的扶梯安全提醒方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种扶梯安全提醒方法，其特征在于，所述方法包括：

获取目标图像，所述目标图像为针对扶梯所在区域监控得到的视频流中的图像；

基于所述目标图像，确定是否检测到所述目标图像中的乘客正在看手机，以及确定是否检测到所述乘客处于所述扶梯的出入口位置；

在检测到所述乘客正在看手机、且所述乘客当前处于所述扶梯的出入口位置处的情况下，生成提示信息，所述提示信息用于提示所述乘客关注所述扶梯的运行情况。

2.如权利要求1所述的方法，其特征在于，所述基于所述目标图像，确定是否检测到所述目标图像中的乘客正在看手机，包括：

基于所述目标图像，获取所述乘客对应的人体区域，所述人体区域中包括所述乘客以及所述乘客所携带或接触的物品；

基于所述人体区域，确定是否检测到所述乘客手持手机；

在基于所述人体区域检测到所述乘客手持手机的情况下，获取所述目标图像中所述手机所在的手机区域；

基于所述人体区域和所述手机区域，确定是否检测到所述乘客正在看手机。

3.如权利要求2所述的方法，其特征在于，所述基于所述人体区域，确定是否检测到所述乘客手持手机，包括：

从所述人体区域中获取所述乘客的上本身区域；

基于所述乘客的上本身区域，确定是否检测到所述乘客手持手机。

4.如权利要求2所述的方法，其特征在于，所述基于所述人体区域和所述手机区域，确定是否检测到所述乘客正在看手机，包括：

基于所述人体区域，获取所述乘客的人眼所在的人眼区域；

基于所述人眼区域以及所述手机区域，通过视线追踪技术确定所述乘客的视线是否落在所述手机区域；

如果所述乘客的视线落在所述手机区域，则确定检测到所述乘客正在看手机。

5.如权利要求1至4任一所述的方法，其特征在于，所述基于所述目标图像，确定是否检测到所述乘客处于所述扶梯的出入口位置，包括：

基于所述目标图像，确定所述乘客是否位于参考区域，所述参考区域是指所述扶梯上和所述扶梯的出口之间的距离在第一指定距离内的位置区域，或者是指所述扶梯的入口前和所述扶梯的入口之间的距离在第二指定距离内的位置区域；

在所述乘客位于所述参考区域的情况下，确定检测到所述乘客位于所述扶梯的出入口位置处。

6.一种扶梯安全提醒装置，其特征在于，所述装置包括：

获取模块，用于获取目标图像，所述目标图像为针对扶梯所在区域监控得到的视频流中的图像；

确定模块，用于基于所述目标图像，确定是否检测到所述目标图像中的乘客正在看手机，以及确定是否检测到所述乘客处于所述扶梯的出入口位置；

生成模块，用于在检测到所述乘客正在看手机、且所述乘客当前处于所述扶梯的出入口位置处的情况下，生成提示信息，所述提示信息用于提示所述乘客关注所述扶梯的运行情况。

7.如权利要求6所述的装置，其特征在于，所述确定模块用于：

基于所述目标图像，获取所述乘客对应的人体区域，所述人体区域中包括所述乘客以及所述乘客所携带或接触的物品；

基于所述人体区域，确定是否检测到所述乘客手持手机；

在基于所述人体区域检测到所述乘客手持手机的情况下，获取所述目标图像中所述手机所在的手机区域；

基于所述人体区域和所述手机区域，确定是否检测到所述乘客正在看手机。

8.如权利要求7所述的装置，其特征在于，所述确定模块用于：

从所述人体区域中获取所述乘客的上本身区域；

基于所述乘客的上本身区域，确定是否检测到所述乘客手持手机。

9.如权利要求7所述的装置，其特征在于，所述确定模块用于：

基于所述人体区域，获取所述乘客的人眼所在的人眼区域；

基于所述人眼区域以及所述手机区域，通过视线追踪技术确定所述乘客的视线是否落在所述手机区域；

如果所述乘客的视线落在所述手机区域，则确定检测到所述乘客正在看手机。

10.如权利要求6至9任一所述的装置，其特征在于，所述确定模块用于：

基于所述目标图像，确定所述乘客是否位于参考区域，所述参考区域是指所述扶梯上和所述扶梯的出口之间的距离在第一指定距离内的位置区域，或者是指所述扶梯的入口前和所述扶梯的入口之间的距离在第二指定距离内的位置区域；

在所述乘客位于所述参考区域的情况下，确定检测到所述乘客位于所述扶梯的出入口位置处。

11.一种扶梯安全提醒装置，其特征在于，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1至权利要求5中的任一项权利要求所述的方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1至权利要求5中的任一项权利要求所述的方法的步骤。

Images