CN110407052B

CN110407052B - 一种电梯内剧烈运动行为检测方法及系统

Info

Publication number: CN110407052B
Application number: CN201910711450.4A
Authority: CN
Inventors: 程潇; 施行; 王超; 蔡巍伟; 靳旭哲; 胡灏
Original assignee: Zhejiang Xinzailing Technology Co ltd
Current assignee: Zhejiang Xinzailing Technology Co ltd
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2020-11-10
Anticipated expiration: 2039-08-02
Also published as: CN110407052A

Abstract

本发明涉及一种电梯内剧烈运动行为检测方法及系统，其中检测方法包括：S1、通过计算电梯加速度是否发生异常变化判断当前电梯是否存在异常振动；S2、在判断电梯当前存在异常振动的情况下发出图像测试信号；S3、依据所述图像测试信号触发对于电梯内连续帧图像的分析处理，判断当前是否存在电梯内剧烈运动行为。本发明的电梯内剧烈运动行为检测方法及系统，能够有效提升检测结果的准确性。

Description

一种电梯内剧烈运动行为检测方法及系统

技术领域

本发明涉及电梯安全技术领域，尤其涉及一种电梯内剧烈运动行为检测方法及系统。

背景技术

目前，电梯是人们生活中广为使用的垂直交通工具，由于电梯本身的安装普遍性和使用的频繁性，电梯运行安全越来越成为城市民生的重点关注方向。电梯在给人们带来极大便捷的同时，也会因为一些不当使用造成人们生命财产的损失。例如，若有人在电梯内进行蹦跳等剧烈运动行为，若不及时播放提醒语音提示或劝阻，轻则导致电梯受损、触发电梯安全保护装置导致电梯急停，人员被困，重则导致电梯坠落，引发灾难性事故。因此，如何对电梯内人是否存在危险性剧烈运动行为并及时提醒管控，成为了电梯行业内研究的方向之一。

中国专利号为CN103693532B、名称为一种电梯轿厢内暴力行为检测方法的专利公开了一种电梯内剧烈运动行为的检测方法，用于预警不当的乘梯行为，管控不当乘梯风险，防止电梯事故的发生。然而其公开的方案单纯依靠图像进行剧烈运动行为的分析和判断，分析和判断结果容易受到外界环境光照变化和摄像机成像噪声的影响，造成漏判、误判的情况。同时，整个的剧烈运动行为分析和判断时长较长，不能很好地满足实时提醒乘客的需求。

发明内容

本发明的目的在于提供一种电梯内剧烈运动行为检测方法及系统，解决现有检测方法中检测结果不准确的问题。

为实现上述发明目的，本发明提供一种电梯内剧烈运动行为检测方法，包括：

S1、通过计算电梯加速度是否发生异常变化判断当前电梯是否存在异常振动；

S2、在判断电梯当前存在异常振动的情况下发出图像测试信号；

S3、依据所述图像测试信号触发对于电梯内连续帧图像的分析处理，判断当前是否存在电梯内剧烈运动行为。

根据本发明的一个方面，所述检测方法还包括：S4、若在所述步骤S3中判断当前存在电梯内剧烈运动行为，则发出告警信号。

根据本发明的一个方面，所述步骤S1包括：

S11、实时获取电梯的运动数据计算电梯重力方向加速度的数值；

S12、判断当前电梯重力方向加速度的数值是否超过设定阈值，若超出设定阈值则判定当前电梯存在异常振动。

根据本发明的一个方面，所述步骤S11包括：

实时获取电梯的三轴角速度[w_X w_Y w_Z]与三轴加速度[Acece_x Acece_y Acece_z]；

将所述三轴角度解算为姿态四元数形式[q₀ q₁ q₂ q₃]；

计算出电梯重力方向的加速度数值为：

根据本发明的一个方面，所述步骤S3包括：

S31、所述图像测试信号触发后，将预定时间内的连续帧图像存储，并任选相邻的两帧图像进行帧差计算获取运动前景图；

S32、选取所述运动前景图中的特征点，计算每个特征点在相邻帧图像中的变化角度获取每个所述特征点的运动方向；

S33、以设定角度值作为方向类别间隔，将所有所述特征点的运动方向进行聚类统计，根据聚类统计获得的方向类别数量来判定当前电梯内是否存在剧烈运动行为。

根据本发明的一个方面，所述步骤S32包括：

遍历所述运动前景图中所有像素点，将像素值大于像素阈值的像素点作为前景点；

计算每个前景点在水平方向和竖直方向的梯度和，保留N个梯度和大于设定阈值的前景点作为特征点。

根据本发明的一个方面，若所述前景点的个数大于等于100，所述N的取值为100，若所述前景点的个数小于100，则重复所述步骤S31。

根据本发明的一个方面，在所述步骤S33包括：

若最终运动方向类别数量超过预定数值，判断每个方向类别上的特征点的数量是否超过设定值，若每个方向类别上的特征点的数量超过设定值，则判定前电梯内存在剧烈运动行为。

本发明还提供一种使用上述电梯内剧烈运动行为检测方法的检测系统，包括：视频采集单元，用于采集电梯内图像；

图像分析单元，接收所述视频采集单元采集到的图像；

振动信息采集单元，设置在所述电梯内，采集所述电梯的振动信息；

振动分析单元，接收所述振动信息采集单元的振动信息判断所述电梯是否存在异常振动情况，并在判断所述电梯存在异常振动情况下生成图像测试信号；

所述图像分析单元还用于在接收到所述图像测试信号的情况下对接收到的连续帧图像进行分析判断当前是否存在电梯内剧烈运动行为。

根据本发明的一个方面，所述检测系统还包括告警单元，用于当所述图像分析单元判断当前存在电梯内剧烈运动行为的情况下发出告警信号。

根据本发明的一个方案，本发明的电梯内剧烈运动行为检测方法，首先需要对电梯进行运动先验，在检测到电梯存在异常振动的情况下，再对电梯内连续帧图像进行分析处理，判断是否存在电梯内剧烈运动行为。相比于现有技术中仅单独依靠电梯内图像处理分析来判断而言，本发明的方法可以克服单独依靠图像处理分析容易受到外界环境因素的影响的缺陷，有效提升电梯内剧烈运动行为检测的准确性。

此外，本发明的电梯内剧烈运动检测方法，只需要在当检测到电梯存在异常振动的情况下开启电梯内连续帧图像分析处理，来判断电梯内是否存在剧烈运动行为，相比于现有技术而言，能够大大减小计算资源。

根据本发明的一个方案，通过计算连续帧图像的帧差的方式获取运动前景图，再在此基础上进行后续处理，相比于现有技术而言，本发明的检测方法处理速度更快，更能够实时获取电梯内剧烈运行行为检测结果，及时向乘客发出告警信号。

附图说明

图1示意性表示根据本发明的电梯内剧烈运动行为检测方法的流程图；

图2示意性表示根据本发明一种实施方式的电梯内剧烈运动行为检测系统的结构示图；

图3示意性表示电梯重力方向加速度数值的变化示图；

图4示意性表示根据本发明一种实施方式的电梯内连续帧图像分析处理的流程图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，本发明的电梯内剧烈运动行为检测方法包括：S1、通过计算电梯加速度是否发生异常变化判断当前电梯是否存在异常振动；S2、在判断电梯当前存在异常振动的情况下发出图像测试信号；S3、依据图像测试信号触发对于电梯内连续帧图像的分析处理，判断当前是否存在电梯内剧烈运动行为。

本发明的电梯内剧烈运动行为检测方法，首先需要对电梯进行运动先验，在检测到电梯存在异常振动的情况下，再对电梯内连续帧图像进行分析处理，判断是否存在电梯内剧烈运动行为。相比于现有技术中仅单独依靠电梯内图像处理分析来判断而言，本发明的方法可以克服单独依靠图像处理分析容易受到外界环境因素的影响的缺陷，有效提升电梯内剧烈运动行为检测的准确性。

此外，本发明的电梯内剧烈运动行为检测方法还包括：S4、若在步骤S3中判断当前电梯内存在剧烈运动行为，在则发出告警。用于提醒乘客安全、文明乘坐电梯，确保电梯能够正常工作和保证乘客的人身安全。

以下对本发明的电梯内距离运动行为检测方法进行详细说明。根据本发明的一种实施方式，在本发明中，首先在步骤S1中，需要判断电梯是否存在异常振动情况。具体来说，包括：S11、实时获取电梯的运动数据计算电梯重力方向加速度的数值；S12、判断当前电梯重力方向加速度的数值是否超过设定阈值，若超出设定阈值则判定当前电梯存在异常振动。

根据本发明的一种实施方式，可以在电梯内安装电梯运动数据采集设备，实时获取电梯的三轴角速度[w_X w_Y w_Z]与三轴加速度[Acece_x Acece_y Acece_z]。然后将电梯的三轴角速度解算为姿态四元数形式[q₀ q₁ q₂ q₃]，接着可以计算出电梯重力方向加速度的实时数值为：

获取到电梯重力方向加速度的实时数值之后，即可在步骤S12中判断当前电梯是否存在异常振动。具体来说，如图3所示，由于电梯本身的运动特征，一般只存在匀速升降和停靠静止两种状态，所以电梯重力方向的加速度数值在时域上，通常情况下位于980cm/s²附近，因此，当某一时刻加速度数值大于在设定的阈值时，则认为电梯处于异常振动状态，在本实施方式，加速度设定阈值为2000cm/s²，当检测到电梯重力方向的加速度数值大于2000cm/s²时，则判定当前电梯为异常振动状态，然后发出图像测试信号，及图2中的“启动信号”，之后进入步骤S3中。

结合图1和图4所示，在步骤S3中，在图像测试信号的触发下，对电梯内连续帧图像进行分析处理，判断当前是否存在电梯内剧烈运动行为。具体包括：S31、图像测试信号触发后，将预定时间内的连续帧图像存储，并任选相邻的两帧图像进行帧差计算获取运动前景图；S32、选取运动前景图中的特征点，计算每个特征点在相邻帧图像中的变化角度获取每个特征点的运动方向；S33、以设定角度值作为方向类别间隔，将所有特征点的运动方向进行聚类统计，根据聚类统计获得的方向类别数量来判定当前电梯内是否存在剧烈运动行为。

在本实施方式中，步骤S31中的预定时间设置为1s，当然，预定时间可以根据实际需要进行设置，例如0.5s、2s等。即在本实施方式中，图像测试信号触发后，将1S内的连续帧图像进行存储，然后在存储的连续帧图像中，任意选取相邻的两帧图像，进行帧差计算：F(x,y)＝B_k(x,y)-B_k-1(x,y)。其中B_k表示第k帧图像，B_k-1表示第k-1帧图像，F代表计算连续两帧图像的帧差得到的运动前景图。

之后在步骤S32中，对于上式获得的运动前景图，遍历运动前景图中所有的像素点，将像素值大于像素阈值的像素点作为前景点。在本实施方式，像素阈值设置为10。接着对于每个获取的前景点，计算其在水平方向和竖直方向的梯度和：E(u,v)＝(B_k(u+1,v)-B_k(u,v))+(B_k(u,v+1)-B_k(u,v))。根据计算出的每个前景点的梯度和，保留N梯度和大于设定阈值的前景点作为特征点，在本本申请方式中，保留N个梯度和大于阈值5的前景点作为特征点。此外，为保证最终图像处理分析结果的准确性，若在步骤S32中梯度和大于阈值5的数量大于等于100，则N的取值为100，即保留100个前景点作为特征点进行后续步骤的处理。若在步骤S32中梯度和大于阈值5的数量小于100，则终止本次操作，在存储的图像另外选择相邻帧图像重复上述步骤，直至在步骤S32中保留100个前景点作为特征点。当然，N的取值不具有局限性，可以根据对于最终检测结果的精确性要求进行具体设定，可以小于100，也可以大于100。

接着对于以上选取的100个特征点，在当前图像尺度上使用稀疏光流法进行跟踪，分别计算每个特征点在相邻图像中的变化角度。例如，在第K帧图像中某个特征点具有一个角度，此特征点在第K+1帧图像中，若以第K帧图像坐标系为标准，其也具有一个角度，此时需要计算两个角度差，获取此特征点的运动方向。具体来说，设特征点t在第K帧图像上的坐标为t_k(u_k,v_k)，在第k+1帧图像上跟踪得到的特征点t的坐标为t_k+1(u_k+1,v_k+1),变化角度计算过程如下：

计算出每个特征点的变化角度之后，进行步骤S33，根据每个特征点的变化角度大小，对每个特征点的运动方向进行分类处理。具体来说，首先需要对于特征点运动方向的方向类别进行定义，以设定的角度间隔值作为特征点运动方向类别的间隔，在本实施方式，设定1°为方向分类的间隔，即特征点的运动方向每间隔1°，则分属于不同的方向类别。定义好每个特征点的方向分类之后，需要根据每个特征点的变化角度将所有特征点运动方向的方向类别进行聚类统计。若最终统计所有特征点的方向类别超过预定数值，还需要进一步判断每个方向类别上的特征点的数量是否超过设定值，若每个方向类别上的特征带你的数量超过设定值，则判定当前电梯内存在剧烈运动行为。在本实施方式中，由于人体本身是非刚体目标，在运动过程中，身体各部分不会保持完全一致的运动方式，设定最终所有特征点的方向类别如果超过3类，并且每一个方向类别上的特征点的数量超过20个，则判定当前电梯内存在剧烈运动行为。在判定当前电梯内存在剧烈运动行为后，最终在步骤S4中，将电梯内的乘客发出告警信号，制止其危险的剧烈运动行为。

本发明的电梯内剧烈运动行为检测方法，通过计算连续帧图像的帧差的方式获取运动前景图，再在此基础上进行后续处理，相比于现有技术而言，本发明的检测方法处理速度更快，更能够实时获取电梯内剧烈运行行为检测结果，及时向乘客发出告警信号。

如图2所示，本发明还提供一种用于上述电梯内剧烈运动行为检测方法的检测系统，包括视频采集单元1、图像分析单元2、振动信息采集单元3和振动分析单元4。

本发明的视频采集单元1，用于采集电梯内图像。视频采集单元1包括但不限于监控摄相机，双目相机，深度相机等获取图像数据的设备，安装在电梯轿厢内顶部，用于采集拍摄轿厢内的视频图像信息，输入到后续的图像分析单单元2。

图像分析单元2用于接收所述视频采集单元1采集到的图像。图像分析单元2包括但不限于CPU、ARM、DSP、GPU、FPGA、ASIC、单片机等通用计算设备。

在本实施方式中，振动信息采集单元3为惯性传感器，设置在电梯内，具体包括陀螺仪和加速度计，用于采集电梯的运动数据。

振动分析单元4，接收振动信息采集单元3的振动信息，判断电梯是否存在异常振动情况，并在判断电梯存在异常振动情况下生成图像测试信号。振动分析单元4包括但不限于CPU、ARM、DSP、GPU、FPGA、ASIC、单片机等通用计算设备。

本发明的图像分析单元2还用于在接收到图像测试信号的情况下对接收到的连续帧图像进行分析判断当前是否存在电梯内剧烈运动行为。

此外，本发明的检测系统还包括告警单元5,用于当图像分析单元2判断当前存在电梯内剧烈运动行为的情况下发出告警信号。

结合图2所示，本发明的电梯内剧烈运动行为检测的检测流程如下：

首先通过振动分析单元4接收到的振动信息采集单元3获得的电梯运动信息判断电梯是否存在异常振动，若判定当前电梯异常振动，则生成图像测试信号发送至图像分析单元，之后图像的分析单元对连续帧电梯内图像进行处理，判定电梯内是否存在剧烈运动行为，若判定电梯内存在剧烈运动行为，则将检测结果发至告警单元。告警单元接收到图像分析单元的发送的结果之后，通过显示屏、喇叭等功放设备，向电梯内的乘客发出告警信号。

上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种电梯内剧烈运动行为检测方法，包括：

S3、依据所述图像测试信号触发对于电梯内连续帧图像的分析处理，判断当前是否存在电梯内剧烈运动行为;

所述步骤S3包括：

2.根据权利要求1所述的电梯内剧烈运动行为检测方法，其特征在于，所述检测方法还包括：S4、若在所述步骤S3中判断当前存在电梯内剧烈运动行为，则发出告警信号。

3.根据权利要求1或2所述的电梯内剧烈运动行为检测方法，其特征在于，所述步骤S1包括：

4.根据权利要求3所述的电梯内剧烈运动行为检测方法，其特征在于，所述步骤S11包括：

实时获取电梯的三轴角速度[

]与三轴加速度[

]；

将所述三轴角速度解算为姿态四元数形式[

];

计算出电梯重力方向的加速度数值为：

。

5.根据权利要求1所述的电梯内剧烈运动行为检测方法，其特征在于，所述步骤S32包括：

6.根据权利要求5所述的电梯内剧烈运动行为检测方法，其特征在于，若所述前景点的个数大于等于100，所述N的取值为100，若所述前景点的个数小于100，则重复所述步骤S31。

7.根据权利要求1所述的电梯内剧烈运动行为检测方法，在所述步骤S33包括：

8.一种用于权利要求1-7任一项所述的电梯内剧烈运动行为检测方法的检测系统，其特征在于，包括：

视频采集单元（1），用于采集电梯内图像；

图像分析单元（2），接收所述视频采集单元（1）采集到的图像；

振动信息采集单元（3），设置在所述电梯内，采集所述电梯的振动信息；

振动分析单元（4），接收所述振动信息采集单元（3）的振动信息判断所述电梯是否存在异常振动情况，并在判断所述电梯存在异常振动情况下生成图像测试信号；

所述图像分析单元（2）还用于在接收到所述图像测试信号的情况下对接收到的连续帧图像进行分析判断当前是否存在电梯内剧烈运动行为。

9.根据权利要求8所述的检测系统，其特征在于，所述检测系统还包括告警单元（5），用于当所述图像分析单元（2）判断当前存在电梯内剧烈运动行为的情况下发出告警信号。