CN111908288A - 一种基于TensorFlow的电梯安全系统及方法 - Google Patents

Abstract

本发明公开了一种基于TensorFlow的电梯安全系统及方法，该系统包括：图像获取装置，图像获取装置收集电梯内部的连续视频帧；训练单元，从图像获取装置预先获得连续视频帧，利用预先获得的连续视频帧进行视觉算法训练并生成识别模型；识别单元，从图像获取装置实时获得连续视频帧，根据实时获得的连续视频帧并且调用识别模型确定风险类别。本发明能够有效解决电梯使用中的安全问题，并且降低了预警反馈时间和人员进入风险区域的概率。

Description

一种基于TensorFlow的电梯安全系统及方法

技术领域

本发明涉及一种安全系统及其方法，更具体地说，涉及一种基于TensorFlow的电梯安全系统及方法。

背景技术

随着摄像、视觉算法和电梯技术的深入发展，摄像数据分析在电梯安全方面变的越来越重要了。电梯使用安全通常要求探测系统空间占用小、探测速度快且安全有效，特别是电梯内极可能发生危险的场景时，探讨能简洁、快速、准确的探测电梯内外安全是很必要的。

安全使用电梯，涉及乘梯人员异常行为、违禁物品进入、电梯设备异常、突发灾害等。如图1所示，现有电梯使用安全预警主要依靠以下的手段：电梯内张贴警告标示、乘梯人员观察感知危险、社会或民间团体宣传教育、电梯监控人员监察等。

在图1所示的这些预警过程中，往往需要一个观察过程、受教育过程或者监控人员制止过程，或者说，预警过程需要人员介入、宣传、行动的时间。

可见，现有电梯使用预警过程中时间效率都相对较低。而在乘用电梯的过程中，尤其在极易发生危险的情况下，避免危险的预警时间是有限的，所以乘梯安全预警时，要能够快速准确的发出。

下面是乘梯安全预警需要考虑的问题：

第一，预警过程使用时间过于长，给乘梯人员应对时间过于滞后。

第二，判定哪种物品进入电梯，或者哪些人的异常行为会带来乘梯危险。

第三，可见灾害是偶发的，监控人员难以实时捕捉。

第四，电梯异常时，电梯乘用人员很难第一时间发现和避免进入电梯。

根据图1所示的现有电梯使用安全预警状况，乘梯人员和电梯监控人员对电梯使用风险的感知都相对滞后，这对电梯使用预警是没有价值的。

现有技术中，往往没有考虑电梯发生突发情况进而导致的风险，加之此类情况较少，因此多数乘用电梯未加装实时监测预警设备。另外，现有技术还缺乏实时将预警信息上报维修单位的问题。

发明内容

针对现有技术中存在的上述问题，本发明的目的是提供一种基于TensorFlow的电梯安全系统及方法。

为实现上述目的，本发明采用如下技术方案：

一种基于TensorFlow的电梯安全系统，包括：图像获取装置，图像获取装置收集电梯内部的连续视频帧；训练单元，从图像获取装置预先获得连续视频帧，利用预先获得的连续视频帧进行视觉算法训练并生成识别模型；识别单元，从图像获取装置实时获得连续视频帧，根据实时获得的连续视频帧并且调用识别模型确定风险类别。

进一步地，训练单元将连续视频帧转化为图片，生成图片训练库，利用图片训练库迭代调整和优化识别模型的参数，最后输出识别模型。

进一步地，识别单元将连续视频帧转化为图片，通过识别模型对图片进行比对，以此识别出对应的风险类别并输出。

进一步地，还包括：处理单元，从识别单元获取风险类别，将与风险类别相对应的预警信息发送至预警单元；预警单元，将预警信息通过输出设备发送给用户。

进一步地，处理单元从识别单元获取当前风险类别，若存在风险，则选取一个进行处理，否则继续获取风险类别；预警单元根据风险类别选择具体的预警方式。

为实现上述目的，本发明还采用如下技术方案：

一种基于TensorFlow的电梯安全方法，包括以下步骤：收集电梯内部的连续视频帧；预先获得连续视频帧，利用预先获得的连续视频帧进行视觉算法训练并生成识别模型；实时获得连续视频帧，根据实时获得的连续视频帧并且调用识别模型确定风险类别。

进一步地，还包括将连续视频帧转化为图片，生成图片训练库，利用图片训练库迭代调整和优化识别模型的参数，最后输出识别模型。

进一步地，还包括将连续视频帧转化为图片，通过识别模型对图片进行比对，以此识别出对应的风险类别并输出。

进一步地，还包括以下步骤：获取风险类别，发送与风险类别相对应的预警信息；将预警信息发送给用户。

进一步地，还包括：获取当前风险类别，若存在风险，则选取一个进行处理，否则继续获取风险类别；根据风险类别选择具体的预警方式。

在上述技术方案中，本发明能够有效解决电梯使用中的安全问题，并且降低了预警反馈时间和人员进入风险区域的概率。

附图说明

图1是现有的电梯使用安全预警手段；

图2是本发明系统的架构图；

图3是本发明方法的总体流程图；

图4是本发明训练单元的处理流程图；

图5是本发明识别单元的处理流程图；

图6是本发明处理单元和预警单元的处理流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

本发明的系统和方法主要涉及到实时监控技术，通过本发明的系统和方法主要可以解决的问题包括：

1.本发明主要解决电梯使用安全预警时间效率问题，最终达到对电梯使用风险快速、准确预警的目的。

2.对进入电梯的异常行为和异常物体风险判定的问题。

3.电梯异常时对电梯监控人员和使用人员预警的问题。

4.可见灾害发生时对电梯监控人员和使用人员预警的问题。

针对上述待解决的技术问题，本发明的技术思想是采用快速准确的预警来提升电梯使用的安全性。因此，本发明采用基于TensorFlow的深度学习和神经网络算法，借助3D-CNN架构实现3D-CNN识别模型，可以有效断定电梯内的风险，通过识别单元、处理单元、预警单元联动，这样就可以实时判定电梯内的风险，实时预警，从而解决对电梯使用风险感知的滞后性。

作为本发明的一种实施方式，本发明的3D-CNN识别模型为使用3D-CNN架构通过参数调整和优化得到。本发明的3D-CNN技术采用3D卷积神经网络，其基于3D卷积网络结构的行为识别方法,利用3D卷积核进行3D卷积,对视频沿着空间和时间维度直接提取时空特征。

参照图2，本发明的系统主要包括图像获取装置、训练单元、识别单元、处理单元和预警单元。训练单元主要实现基于TensorFlow使用3D-CNN架构实现的3D-CNN识别模型，识别单元根据最近的连续视频帧通过3D-CNN识别模型得到风险类别，处理单元和预警单元完成预警流程处理和预警动作。本发明的训练单元使用3D-CNN架构生成3D-CNN识别模型，识别单元借助3D-CNN识别模型判定风险类别，处理单元用于处理风险类别，而预警单元执行具体的风险预警，包括喇叭、网络发送等方式。

作为本发明的一种优选实施方式，本发明的图像获取装置采用的是全方位摄像设备，例如全方位摄像头。本领域的技术人员应当理解，其它任何图像、视频拍摄设备也同样可以成为本发明的图像获取装置。

作为本发明的一种优选实施方式，本发明的风险类别包括可见灾害、电梯异常、异常行为和异常物体等。进一步地，上述可见灾害包括电梯内的明火、电火花、烟雾及其他可被摄像机拍摄到的有害现象。因此，本发明的风险类别均可以通过全方位摄像头来进行识别。

本发明的系统以全方位摄像设备为输入，用以收集电梯内部的连续视频帧。全方位摄像设备通过拍摄不断生成连续视频帧，以定义好的数据存储类型存储在嵌入式设备内存中，等待训练单元和识别单元使用。由于采用全方位摄像设备能够有效拍摄到电梯内各个角落，因此训练单元能够获得充分的图像，各种场景训练是全面的，能够有效提高系统的准确性。

如图2所示，训练单元从全方位摄像设备预先获得连续视频帧，利用预先获得的连续视频帧进行视觉算法训练并生成识别模型。由此可见，本发明的系统运行前，首先将全方位摄像设备的连续视频帧输入到训练单元，训练单元会根据指定的视觉算法对各种类型的危险行为和物品模型进行全面训练，并生成3D-CNN识别模型作为识别单元交互的基础。

继续参照图2，3D-CNN识别模型生成后，识别单元从全方位摄像设备实时获得连续视频帧，根据实时获得的连续视频帧并且调用识别模型确定风险类别。因此在系统运行时，识别单元通过全方位摄像设备获取到连续视频帧，识别单元将视频帧处理为图片后调用3D-CNN识别模型，将全方位摄像设备提供的连续视频帧输入到识别模型中，以此得到当前人的行为或者物体的风险类别，再将风险类别反馈给处理单元。

本发明的系统首先利用全方位摄像设备来收集电梯内部的连续视频帧，结合图2可见，连续视频帧既用于训练单元的3D-CNN识别模型训练，也用于与识别单元的识别模型对比，从而确定相应的风险类别。因此，在连续视频帧的使用上，本发明的系统在完全启动之前需要先启动全方位摄像设备并获取连续视频帧，此时的连续视频帧专用于训练3D-CNN识别模型,在训练一段时间之后，3D-CNN识别模型才能优化完成。此时由于系统尚未完全启动，因此识别单元还未工作，故全方位摄像设备所拍摄的连续视频帧在此时还并不提供到识别单元中。而在3D-CNN识别模型完成之后，系统方才完全正式启动，此时全方位摄像设备拍摄到的连续视频帧同时提供给训练单元和识别单元。

本领域的技术人员应当理解，处理单元和预警单元是本发明系统的众多实施方式之一。在其他实施例中，本发明的系统可以仅仅只包含处理单元，也可以仅仅只包含预警单元，或者直接将处理单元和预警单元省略。在此实施方式下，识别单元发出的风险类别信息可以传输到其他与本发明系统相连接的辅助系统中，从而由其他的辅助系统完成后续的预警操作。

继续如图2所示，处理单元从识别单元获取风险类别，处理单元根据感知到的异常行为或异常物体做出相应的逻辑判断和处理，即依据风险类别并结合系统对应的外部设备，将与风险类别相对应的预警信息发送至预警单元。预警单元则将预警信息通过输出设备发送给用户，即将预警信息通过喇叭广播给电梯使用者，或者通过网口发送给电梯监控人员和维修人员。

作为本发明的一种优选实施方式，本发明的异常行为包括人在电梯内可能导致电梯使用风险的异常动作，如：跳跃、踢打电梯门、棍棒捶打电梯等。而本发明的异常物体包括可能导致电梯使用风险的物体，如：电瓶车等。

针对上述系统，如图3所示，本发明还公开一种基于TensorFlow的电梯安全预警方法，其主要包括以下步骤：

步骤1：收集电梯内部的连续视频帧。

步骤2：预先获得连续视频帧，利用预先获得的连续视频帧进行视觉算法训练并生成识别模型。

步骤3：实时获得连续视频帧，根据实时获得的连续视频帧并且调用识别模型确定风险类别。

步骤4：获取风险类别，发送与风险类别相对应的预警信息。

步骤5：将预警信息发送给用户。

在连续视频帧的使用上，本发明的预警方法同样需要在开始之前先获取一定量的连续视频帧，此时的连续视频帧专用于训练3D-CNN识别模型,在训练一段时间之后，3D-CNN识别模型才能优化完成。

如图4所示，本发明系统采用训练单元执行上述步骤2，其主要包括以下的操作流程：

步骤2.1：训练单元首先获取到连续视频帧，通过OpenCV转化为60*40的视频帧图像。

步骤2.2：通过全方位摄像设备对多种人体行为或物体类型进行采样处理，即组织成图片训练库。

步骤2.3：然后逐步调整和优化3D-CNN识别模型参数，若此次调整后模型验证未达到预期效果则继续调整和优化，直至达到预期为止。

步骤2.4：最后输出3D-CNN识别模型。

在上述训练流程中，图片训练库中包含大量的校准照片，这些校准照片是电梯所有设备正常情况下拍摄的照片，因此训练单元以校准照片作为电梯设备正常的标准，并且在3D-CNN识别模型中同样记录这些校准照片相关的数据。

如图5所示，本发明系统采用识别单元执行上述步骤3，其主要包括以下的操作流程：

步骤3.1：识别单元首先获取到连续视频帧，通过OpenCV转化为60*40的视频帧图像.

步骤3.2：通过3D-CNN识别模型对图片进行比对，识别出当前电梯内人的行为或物体类型对应的风险类别。

步骤3.3：若识别到对应的风险类别则输出给处理单元，否则输出未识别出风险类别。

在上述识别流程中，识别单元通过OpenCV转化得到一系列运行照片，即电梯运行过程中摄像机监测拍摄的视频照片。识别单元将运行照片与3D-CNN识别模型中的校准照片进行对比，判断是否由电梯异常的情形发生。

作为本发明的一种优选实施方式，本发明电梯异常的判断方法为：判断运行照片与校准照片不对应或差异大的程度，如电梯轿厢地面与楼层地面水平差异大。当不对应或差异大的程度超出阈值时，识别单元判定电梯异常发生。

如图6所示，处理单元和预警单元共同执行风险类别的处理和预警信息的发出。处理单元和预警单元的主要处理流程为：

步骤4.1：首先处理单元从识别单元获取当前风险类别；

步骤4.2：若存在风险，则选取一个进行处理，否则继续获取风险类别；

步骤5.1：接着处理单元判断当前风险是否需要喇叭预警提示电梯使用人员，若需要则预警单元控制喇叭提示预警，否则不提示；

步骤5.2：再接着处理单元判断当前风险是否需要通过网络发送给远程监控人员，若需要则将电梯预警信息(包括当前时间、风险类型、级别)通过预警单元发送，预警单元可以利用多种通信手段发送预警信息，例如网络、短信等手段，否则不发送；

步骤5.3：如此直至处理完所有从识别单元获取的风险类别。

本发明的系统还可以采用嵌入式处理和预警，能够减小设备占用空间并提高实时性。由于整个系统运行在嵌入式系统之上，对识别单元的结果快速处理，需要预警时即通过声音系统提示电梯使用者，同时将预警信息通过网络传送给监控人员或其他维修人员，这样彻底解决了对电梯使用风险感知的滞后性。所以，本发明的系统来利用计算机视觉识别方法来实现对电梯使用的预警是有优势的。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种基于TensorFlow的电梯安全系统，其特征在于，包括：

图像获取装置，所述图像获取装置收集电梯内部的连续视频帧；

训练单元，从所述图像获取装置预先获得连续视频帧，利用所述预先获得的连续视频帧进行视觉算法训练并生成识别模型；

识别单元，从所述图像获取装置实时获得连续视频帧，根据所述实时获得的连续视频帧并且调用识别模型确定风险类别。

2.如权利要求1所述的基于TensorFlow的电梯安全系统，其特征在于，所述训练单元将连续视频帧转化为图片，生成图片训练库，利用图片训练库迭代调整和优化识别模型的参数，最后输出所述识别模型。

3.如权利要求1所述的基于TensorFlow的电梯安全系统，其特征在于，所述识别单元将连续视频帧转化为图片，通过所述识别模型对所述图片进行比对，以此识别出对应的风险类别并输出。

4.如权利要求1至3中任意一项所述的基于TensorFlow的电梯安全系统，其特征在于，还包括：

处理单元，从所述识别单元获取风险类别，将与风险类别相对应的预警信息发送至预警单元；

预警单元，将所述预警信息通过输出设备发送给用户。

5.如权利要求4所述的基于TensorFlow的电梯安全系统，其特征在于：

所述处理单元从识别单元获取当前风险类别，若存在风险，则选取一个进行处理，否则继续获取风险类别；

所述预警单元根据风险类别选择具体的预警方式。

6.一种基于TensorFlow的电梯安全方法，其特征在于，包括以下步骤：

收集电梯内部的连续视频帧；

预先获得连续视频帧，利用所述预先获得的连续视频帧进行视觉算法训练并生成识别模型；

实时获得连续视频帧，根据所述实时获得的连续视频帧并且调用识别模型确定风险类别。

7.如权利要求6所述的基于TensorFlow的电梯安全方法，其特征在于，还包括将连续视频帧转化为图片，生成图片训练库，利用图片训练库迭代调整和优化识别模型的参数，最后输出所述识别模型。

8.如权利要求6所述的基于TensorFlow的电梯安全方法，其特征在于，还包括将连续视频帧转化为图片，通过所述识别模型对所述图片进行比对，以此识别出对应的风险类别并输出。

9.如权利要求6至8中任意一项所述的基于TensorFlow的电梯安全方法，其特征在于，还包括以下步骤：

获取风险类别，发送与所述风险类别相对应的预警信息；

将所述预警信息发送给用户。

10.如权利要求9所述的基于TensorFlow的电梯安全方法，其特征在于，还包括：

获取当前风险类别，若存在风险，则选取一个进行处理，否则继续获取风险类别；

根据风险类别选择具体的预警方式。

Images