CN113479732A - 电梯控制方法、装置及存储介质 - Google Patents

Abstract

本发明涉及电梯控制技术领域，公开了一种电梯控制方法、装置及存储介质，该电梯控制方法包括获取待检测的第一视频片段；通过预先训练的目标检测模型对第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过预先训练的目标检测模型对第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数；其中，第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数；基于第一累计帧数和第二累计帧数，确定第一视频片段中是否存在异常行为；若存在异常行为，则控制电梯门处于非关闭状态。本发明公开的电梯控制方法、装置及存储介质能够对异常行为进行准确检测，避免电梯安全事故的发生和对电梯误控制，提升用户体验。

Description

电梯控制方法、装置及存储介质

技术领域

本发明涉及电梯控制技术领域，具体涉及一种电梯控制方法、装置及存储介质。

背景技术

电梯在使得城市生活更加的高效、便捷的同时，在乘坐电梯过程中也存在由于诸如电瓶车乘梯、儿童单独乘梯等异常行为而带来的安全风险。

为确保电梯乘梯安全，目前常用的方式是通过多传感器融合对乘坐电梯过程中的异常行为进行检测，并根据检测结果与电梯进行交互控制，然而采用这样的方式需要至少两个以上的信息源，参数自由的大，检测的准确性较低，从而容易导致电梯安全事故的发生。

因此，如何提供一种有效的方案以对异常行为进行准确检测，从而避免电梯安全事故的发生，已成为现有技术中一亟待解决的难题。

发明内容

为了解决现有技术中存在的由于对异常行为检测不准确而容易导致电梯安全事故的发生的问题，本发明的目的在于提供一种电梯控制方法、装置及存储介质，以对异常行为进行准确检测，避免电梯安全事故的发生，提升用户体验。

第一方面，本发明提供了一种电梯控制方法，包括：

获取待检测的第一视频片段；

通过预先训练的目标检测模型对所述第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过所述预先训练的目标检测模型对所述第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数；其中，所述第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数；

基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为；

若存在异常行为，则控制电梯门处于非关闭状态。

基于上述公开的内容，可通过跳帧检测和连续帧检测得到包含异常行为的第一累计帧数和第二累计帧数，基于第一累计帧数和第二累计帧数，确定第一视频片段中是否存在异常行为，并在存在异常行为时控制电梯门处于非关闭状态。第二累计帧数为第一视频片段中包含异常行为的最大连续图像帧数，因此在此过程中从全局上整体考虑了包含异常行为的累计帧数，又从局部考虑了包含异常行为的最大连续图像帧数，从而有效降低漏检、误检的可能，能够对异常行为进行准确检测，避免电梯安全事故的发生和对电梯误控制，提升用户体验。同时，不需要额外增加相应的传感设备，降低了针对异常行为的检测控制成本。

在一个可能的设计中，所述基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为，包括：

如果所述第一累计帧数大于等于预设的第一阈值和/或所述第二累计帧数大于等于预设的第二阈值，则判定所述第一视频片段中存在异常行为；

如果所述第一累计帧数小于所述第一阈值且所述第二累计帧数小于所述第二阈值，则判定所述第一视频片段中不存在异常行为。

在一个可能的设计中，所述方法还包括：

通过所述预先训练的目标检测模型对其它多段测试视频片段进行跳帧检测，得到各测试视频片段包含异常行为的第三累计帧数，并通过所述预先训练的目标检测模型对所述其它多段测试视频片段进行连续帧检测，得到各测试视频片段包含异常行为的第四累计帧数；其中，所述第四累计帧数为测试视频片段中包含异常行为的最大连续图像帧数；

基于各测试视频片段所对应的第三累计帧数、第四累计帧数以及所述第一累计帧数和所述第二累计帧数，确定出各测试视频片段以及所述第一视频片段的异常行为检测结果；

基于各测试视频片段以及所述第一视频片段的异常行为检测结果、各测试视频片段以及所述第一视频片段所对应的人工判断结果，确定出针对各测试视频片段以及所述第一视频片段的预测结果；

基于针对各测试视频片段以及所述第一视频片段的预测结果，确定出异常行为检测的准确率；其中，所述异常行为检测结果表征存在异常行为或不存在异常行为，所述预测结果为真阳性、假阴性、假阳性以及真阴性中的其中一种，所述人工判断结果表征存在异常行为或不存在异常行为。

基于上述公开的内容，可通过对其他多段测试视频进行连续帧检测和跳帧检测，并根据各测试视频片段包含异常行为的第三累计帧数、第四累计帧数以及第一累计帧数和第二累计帧数，确定出各测试视频片段以及第一视频片段的异常行为检测结果，并根据各测试视频片段以及第一视频片段的异常行为检测结果，各测试视频片段以及第一视频片段所对应的人工判断结果，从而确定出异常行为检测的准确率，以便在检测的准确率偏低时调整目标检测模型的参数，确保异常行为检测保持较高的准确率。

在一个可能的设计中，所述方法还包括：

若不存在，则控制所述电梯门处于关闭状态，并获取待检测的第二视频片段；

通过预先训练的目标检测模型对所述第二视频片段进行跳帧检测，得到包含异常行为的第五累计帧数，和/或通过所述预先训练的目标检测模型对所述第二视频片段进行连续帧检测，得到包含异常行为的第六累计帧数；其中，所述第六累计帧数为第二视频片段中包含异常行为的最大连续图像帧数；

基于所述第五累计帧数和/或所述第六累计帧数，确定所述第二视频片段中是否存在异常行为；

若存在，则在电梯运行至下一楼层或下一停靠楼层时，控制电梯处于停止状态，并控制电梯门处于非关闭状态。

基于上述公开的内容，可对异常行为进行二次检测，避免在进入电梯时由于故意遮挡而躲避异常行为检测的情形，进一步确保对异常行为进行准确检测，减少不安全事故发生，避免出现误控制的情形，提升用户体验。

在一个可能的设计中，所述控制电梯门处于非关闭状态，包括：

控制电梯门在预设时长内处于非关闭状态；或

控制电梯门在预设时长内处于非关闭状态，并在所述预设时长内将针对电梯内按键的操作设置为无效操作。

基于上述公开的内容，可在存在异常行为时杜绝存在异常行为的用户在一段时间内对电梯的正常使用，从而可减少不安全的乘梯行为，确保电梯乘梯安全，避免电梯安全事故的发生。

第二方面，本发明提供了一种电梯控制装置，包括：

获取单元，用于获取待检测的第一视频片段；

检测单元，用于通过预先训练的目标检测模型对所述第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过所述预先训练的目标检测模型对所述第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数；其中，所述第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数

确定单元，用于基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为；

控制单元，用于在所述第一视频片段中存在异常行为的情形下，控制电梯门处于非关闭状态。

在一个可能的设计中，所述确定单元在用于基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为时，具体用于：

如果所述第一累计帧数大于等于预设的第一阈值和/或所述第二累计帧数大于等于预设的第二阈值，则判定所述第一视频片段中存在异常行为；

如果所述第一累计帧数小于所述第一阈值且所述第二累计帧数小于所述第二阈值，则判定所述第一视频片段中不存在异常行为。

在一个可能的设计中，所述检测单元还用于通过所述预先训练的目标检测模型对其它多段测试视频片段进行跳帧检测，得到各测试视频片段包含异常行为的第三累计帧数，并通过所述预先训练的目标检测模型对所述其它多段测试视频片段进行连续帧检测，得到各测试视频片段包含异常行为的第四累计帧数；其中，所述第四累计帧数为测试视频片段中包含异常行为的最大连续图像帧数；

所述确定单元还用于基于各测试视频片段所对应的第三累计帧数、第四累计帧数以及所述第一累计帧数和所述第二累计帧数，确定出各测试视频片段以及所述第一视频片段的异常行为检测结果；

基于各测试视频片段以及所述第一视频片段的异常行为检测结果、各测试视频片段以及所述第一视频片段所对应的人工判断结果，确定出针对各测试视频片段以及所述第一视频片段的预测结果；以及

基于针对各测试视频片段以及所述第一视频片段的预测结果，确定出异常行为检测的准确率；其中，所述异常行为检测结果表征存在异常行为或不存在异常行为，所述预测结果为真阳性、假阴性、假阳性以及真阴性中的其中一种，所述人工判断结果表征存在异常行为或不存在异常行为。

在一个可能的设计中，所述控制单元还用于在第一视频片段中不存在异常行为时，控制所述电梯门处于关闭状态；

所述获取单元还用于在第一视频片段中不存在异常行为时，获取待检测的第二视频片段；

所述检测单元还用于通过预先训练的目标检测模型对所述第二视频片段进行跳帧检测，得到包含异常行为的第五累计帧数，和/或通过所述预先训练的目标检测模型对所述第二视频片段进行连续帧检测，得到包含异常行为的第六累计帧数；其中，所述第六累计帧数为第二视频片段中包含异常行为的最大连续图像帧数；

所述确定单元还用于基于所述第五累计帧数和/或所述第六累计帧数，确定所述第二视频片段中是否存在异常行为；

所述控制单元还用于在第二视频片段中存在异常行为的情形下，在电梯运行至下一楼层或下一停靠楼层时，控制电梯处于停止状态，并控制电梯门处于非关闭状态。

在一个可能的设计中，控制单元在用于控制电梯门处于非关闭状态时，具体用于：

控制电梯门在预设时长内处于非关闭状态；或

控制电梯门在预设时长内处于非关闭状态，并在所述预设时长内将针对电梯内按键的操作设置为无效操作。

第三方面，本发明提供了一种电梯控制装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面所述的电梯控制方法。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面所述的电梯控制方法。

第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的电梯控制方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的电梯控制方法、装置及存储介质的应用环境示意图。

图2是本发明提供的电梯控制方法的流程图。

图3是本发明提供的电梯控制装置的结构示意图。

图4是本发明提供的另一电梯控制装置的结构示意图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。

应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。

应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清。

实施例

为了对易导致电梯安全事故的异常行为进行准确检测，避免电梯安全事故的发生，本申请实施例提供了一种电梯控制方法、装置及存储介质，该电梯控制方法、装置及存储介质可对异常行为进行准确检测，从而避免电梯安全事故的发生，提升用户体验。

首先，为了更直观地理解本申请实施例提供的方案，下面结合图1，对本申请实施例提供的电梯控制方案的系统架构进行说明。

如图1所示，是本申请一个或多个实施例提供的电梯控制方法、装置及存储介质的应用环境示意图。如图1所示，摄像机与电梯控制器连接，所述摄像机设置在电梯内，用于获取电梯内的视频。

下面将对本申请实施例提供的电梯控制方法进行详细说明。

本申请实施例提供的电梯控制方法可应用于摄像机或电梯控制器，也可以应用于与电梯控制器连接的其他终端设备(如电梯内的广告机、边缘计算设备、远端的个人电脑等)或服务端等。

为便于描述，除特别说明外，本申请实施例均以电梯控制器为执行主体进行说明。可以理解，所述执行主体并不构成对本申请实施例的限定，在其他的一些实施例中也可以采用摄像机或与电梯控制器连接的其他终端设备或服务端作为执行主体。

如图2所示，是本申请实施例提供的电梯控制方法的流程图，所述电梯控制方法可以包括如下步骤：

步骤S201.获取待检测的第一视频片段。

其中，所述第一视频片段为摄像机所拍摄到的电梯内的视频片段。第一视频片段可以是用户乘坐电梯过程中电梯门开启至电梯门关闭的这一时间段内的视频片段，也可以是用户乘坐电梯过程中电梯门开启后预设时长(如3秒、5秒)内的视频片段。

本申请实施例中，第一视频片段为用户乘坐电梯过程中电梯门开启后预设时长内的视频片段。具体的，第一视频片段为摄像机所拍摄到的响应电梯开门操作后预设时长内的一段视频，响应电梯开门操作可以是指用户在某楼层电梯口触发的上行或下行的按键操作后，电梯控制器控制电梯在该楼层停下并开门的操作。例如，一用户在4楼的电梯口按下下行按键，电梯控制器控制电梯从其他楼层到达4楼并控制电梯门开启，电梯到达4楼时电梯控制器控制电梯门开启这一动作即为电梯控制器响应电梯开门操作。

电梯控制器可获取摄像机所拍摄到的视频，并将摄像机所拍摄到的响应电梯开门操作后预设时长内的一段视频作为待检测的第一视频片段。

步骤S202.通过预先训练的目标检测模型对第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过预先训练的目标检测模型对第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数。

本申请实施例中，预先训练有用于检测异常行为的目标检测模型，所述异常行为可以，但不限于电瓶车辆进入电梯、儿童单独进入电梯或携带禁止电梯装运的易燃易爆物品进入电梯等容易引发电梯安全事故的行为。

在获取到待检测的第一视频片段后，可通过预先训练的目标检测模型对第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过预先训练的目标检测模型对第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数。其中，所述第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数。

具体的，在对第一视频片段进行跳帧检测时，可间隔一定帧数对第一视频片段中图像帧进行检测，检测图像帧中是否包含异常行为，并计算被检测图像帧中包含异常行为的图像帧的总数。例如，在一个实施例中，第一视频段中包100帧图像帧，跳帧检测时每间隔10帧检测一次，即会依次对第一视频段中第1、11、21、31、41、51、61、71、81及91帧进行检测，如果第1帧和11帧检测出包含异常行为，而第21、31、41、51、61、71、81及91帧检测出不包含异常行为，则第一累计帧数为2帧。

在对第一视频片段进行连续帧检测时，可依次对第一视频片段中的每一帧图像帧进行检测，检测每一帧图像帧中是否包含有异常行为，统计所有包含异常行为的图像帧中属于连续的图像帧，得到各连续的图像帧的帧数，选择其中的最大值作为最大连续图像帧数，即第二累计帧数。例如，在一个实施例中，第一视频段中包100帧图像帧，其中检测出第1-10帧、21-25帧、43帧、66-70帧及80帧图像帧中包含异常行为，则其中第1-10帧、21-25帧及66-70帧属于连续的图像帧，对应的图像帧的帧数依次为10帧、5帧和5帧，此时可选择其中的最大值10帧作为第二累计帧数。

本申请实施例中，对异常行为进行检测采用的是预先训练的目标检测模型，所述目标检测模型可以是，但不限于SSD(Single Shot MultiBox Detector)、YOLO(You OnlyLook Once)模型。

步骤S203.基于第一累计帧数和第二累计帧数，确定第一视频片段中是否存在异常行为。

本申请实施例中，预先设置有用于判定是否存在异常行为的第一阈值和第二阈值，该第一阈值和第二阈值可以是通过对大量已知是否存在异常行为的视频进行目标检测确定出的。在确定是否存在异常行为时，可根据第一累计帧数、第二累计帧数、第一阈值以及第二阈值确定出是否存在异常行为。

具体的，如果第一累计帧数大于等于预设的第一阈值或第二累计帧数大于等于预设的第二阈值，则判定存在异常行为，执行步骤S204。否则，判定不存在异常行为，结束本次流程。

可以理解的，在其他的一些实施例中，在确定是否存在异常行为时，也可以是满足第一累计帧数大于等于预设的第一阈值且第二累计帧数大于等于预设的第二阈值这两个条件，才判定为存在异常行为。

步骤S204.控制电梯门处于非关闭状态。

具体的，在控制电梯门处于非关闭状态时，可以在检测出存在异常行为时一直控制电梯门处于非关闭状态，直到再次检测到不存在异常行为时才控制电梯门关闭。也可以是控制电梯门在预设时长内处于非关闭状态，该预设时长可根据实际情况设定，如5秒、10秒等，为了避免影响其他用户的正常使用电梯，在经过该预设时长后再控制电梯门关闭，同时在该预设时长内还可以将针对电梯内按键的操作设置为无效操作，以起到提醒作用，从而杜绝容易引发电梯安全事故的异常行为。

进一步，在一个实施例中，在控制电梯门处于非关闭状态时，还可以控制与电梯控制器连接的报警设备发出报警提示，所述报警设备可以是，但不限于指示灯、扬声器等。

需要说明的是，当控制电梯门在预设时长内处于非关闭状态时，该预设时长不宜过长，避免由于长时间等待而影响电梯工作效率和其他用户的乘梯体验。

另外，考虑到一些特殊情况，如由于误检导致的用户投诉、引发异常行为的目标逃避检测上楼后需要下楼等情形，还可通过远端的用户终端手动控制电梯控制器关闭异常行为的检测功能。如此，可确保电梯高效运行，不影响用户的乘梯体验，同时便于物业人员实时操控。

由此通过前述步骤S201～S204所述的电梯控制方法，可通过跳帧检测和连续帧检测得到包含异常行为的第一累计帧数和第二累计帧数，基于第一累计帧数和第二累计帧数，确定第一视频片段中是否存在异常行为，并在存在异常行为时控制电梯门处于非关闭状态。第二累计帧数为第一视频片段中包含异常行为的最大连续图像帧数，因此在此过程中从全局上整体考虑了包含异常行为的累计帧数，又从局部考虑了包含异常行为的最大连续图像帧数，从而有效降低漏检、误检的可能，能够对异常行为进行准确检测，避免电梯安全事故的发生和对电梯误控制，提升用户体验。同时，不需要额外增加相应的传感设备，降低了针对异常行为的检测控制成本。另外，在特殊情况下，还可以手动关闭异常行为的检测功能，可确保电梯高效运行，不影响用户的乘梯体验，便于物业人员实时操控。

本实施例在前述第一方面的技术方案基础上，还具体提出了一种对异常行为检测的准确率进行评估的可能设计一，其可以包括如下步骤：

步骤S301.通过预先训练的目标检测模型对其它多段测试视频片段进行跳帧检测，得到各测试视频片段包含异常行为的第三累计帧数，并通过预先训练的目标检测模型对其它多段测试视频片段进行连续帧检测，得到各测试视频片段包含异常行为的第四累计帧数。

其中，所述第四累计帧数为测试视频片段中包含异常行为的最大连续图像帧数。其它多段测试视频片段的时长与第一视频片段的时长相同，且其它多段测试视频片段均为摄像机所获取到的电梯内的视频片段。对其它多段测试视频片段进行跳帧检测和连续帧检测与前述步骤S202中对第一视频片段进行调整检测和连续帧检测的过程一致，本申请实施例中不再赘述。

步骤S302.基于各测试视频片段所对应的第三累计帧数、第四累计帧数以及第一累计帧数和第二累计帧数，确定出各测试视频片段以及第一视频片段的异常行为检测结果。

其中，所述异常行为检测结果表征存在异常行为或不存在异常行为。

具体的，如果测试视频片段对应的第三累计帧数大于等于预设的第一阈值或测试视频片段对应的第四累计帧数大于等于预设的第二阈值，则判定该测试视频片段的异常行为检测结果为存在异常行为，否则判定该测试视频片段的异常行为检测结果为不存在异常行为。如果第一累计帧数大于等于预设的第一阈值或第二累计帧数大于等于预设的第二阈值，则判定第一视频片段的异常行为检测结果为存在异常行为，否则判定第一视频片段的异常行为检测结果为不存在异常行为。

可以理解的，在其他的一些实施例中，在判断是否存在异常行为时，也可以是满足试视频片段对应的第三累计帧数大于等于预设的第一阈值且测试视频片段对应的第四累计帧数大于等于预设的第二阈值，才判定该测试视频片段的异常行为检测结果为存在异常行为，否则判定该测试视频片段的异常行为检测结果为不存在异常行为。满足第一累计帧数大于等于预设的第一阈值且第二累计帧数大于等于预设的第二阈值，才判定第一视频片段的异常行为检测结果为存在异常行为，否则判定第一视频片段的异常行为检测结果为不存在异常行为。

步骤S303.基于各测试视频片段以及第一视频片段的异常行为检测结果、各测试视频片段以及第一视频片段所对应的人工判断结果，确定出针对各测试视频片段以及第一视频片段的预测结果。

其中，所述预测结果为真阳性、假阴性、假阳性以及真阴性中的其中一种，所述人工判断结果表征存在异常行为或不存在异常行为。

具体的，可根据各测试视频片段的异常行为检测结果和各测试视频片段所对应的人工判断结果，确定出针对各测试视频片段的预测结果。根据第一视频片段的异常行为检测结果和第一视频片段所对应的人工判断结果，确定出针对第一视频片段的预测结果。

更具体的，如果针对某一视频片段(测试视频片段或第一视频片段)的人工判断结果为存在异常行为，而该视频片段的异常行为检测结果为存在异常行为，则针对该视频片段的预测结果为真阳性。如果针对一视频片段的人工判断结果为存在异常行为，而该视频片段的异常行为检测结果为不存在异常行为，则针对该视频片段的预测结果为假阴性。如果针对一视频片段的人工判断结果为不存在异常行为，而该视频片段的异常行为检测结果为存在异常行为，则针对该视频片段的预测结果为假阳性。如果针对一视频片段的人工判断结果为不存在异常行为，而该视频片段的异常行为检测结果为不存在异常行为，则针对该视频片段的预测结果为真阴性。

步骤S304.基于针对各测试视频片段以及第一视频片段的预测结果，确定出异常行为检测的准确率。

异常行为检测的准确率可表示为Acc＝(TP+TN)/(TP+TN+FP+FN)，其中TP表示预测结果为真阳性的视频片段的数量，TN表示预测结果为真阴性的视频片段的数量，FP表示预测结果为假阳性的视频片段的数量，FN表示预测结果为假阴性的视频片段的数量。

例如，在一个实施例中，各测试视频片段中预测结果为真阳性(TP)的数量为9个，预测结果为真阴性(TN)的视频片段的数量为7个，预测结果为假阳性(FP)的视频片段的数量为2个，预测结果为假阴性(FN)的视频片段的数量1个，第一视频片段的预测结果为真阳性(TP)。则异常行为检测的准确率可表示为Acc＝(9+7+1)/(9+7+2+1+1)＝85％。

可以理解的，在其他的一些实施例中，在确定异常行为检测的准确率，可以不依据第一视频片段的预测结果，而仅根据针对各测试视频片段的预测结果确定出。仍基于上述的例子，在这种情况下，异常行为检测的准确率可表示为Acc＝(9+7)/(9+7+2+1)＝84.2％。

本申请实施例中，若异常行为检测的准确率过低，则还可以目标检测模型的模型参数进行调整以调整目标检测模型，然后重新计算异常行为检测的准确率，直至异常行为检测的准确率满足要求。

由此通过上述的可能设计一，可通过对其他多段测试视频进行连续帧检测和跳帧检测，并根据各测试视频片段包含异常行为的第三累计帧数、第四累计帧数以及第一累计帧数和第二累计帧数，确定出各测试视频片段以及第一视频片段的异常行为检测结果，并根据各测试视频片段以及第一视频片段的异常行为检测结果，各测试视频片段以及第一视频片段所对应的人工判断结果，从而确定出异常行为检测的准确率，以便在检测的准确率偏低时调整目标检测模型的参数，确保异常行为检测保持较高的准确率，避免电梯安全事故的发生和电梯误控制的情形，保障用户的乘梯体验。

本实施例在前述第一方面或可能设计一的技术方案基础上，还提出了一种在确定出第一视频片段中不存在异常行为之后，对异常行为进行二次检测的可能设计二，其可以包括如下步骤：

步骤S401.控制电梯门处于关闭状态，并获取待检测的第二视频片段。

考虑到可能存在短暂躲避检测行为，导致异常行为未被检测出的情形，因此本申请实施例中，在确定出第一视频片段中不存在异常行为之后，控制电梯门处于关闭状态，并通过摄像机获取待检测的第二视频片段，第二视频片段的时长与第一视频片段的时长相同。

步骤S402.通过预先训练的目标检测模型对第二视频片段进行跳帧检测，得到包含异常行为的第五累计帧数，通过预先训练的目标检测模型对第二视频片段进行连续帧检测，得到包含异常行为的第六累计帧数。

其中，第六累计帧数为第二视频片段中包含异常行为的最大连续图像帧数。

步骤S403.基于第五累计帧数和第六累计帧数，确定第二视频片段中是否存在异常行为。

具体的，如果第五累计帧数大于等于预设的第一阈值或第六累计帧数大于等于预设的第二阈值，则判定第二视频片段中存在异常行为。如果第五累计帧数小于预设的第一阈值且第六累计帧数小于预设的第二阈值，则判定第二视频片段中不存在异常行为。

可以理解的，在判定第二视频片段中是否存在异常行为时，也可以是满足第五累计帧数大于等于预设的第一阈值且第六累计帧数大于等于预设的第二阈值，才判定第二视频片段中存在异常行为，否则判定第二视频片段中不存在异常行为。

另外，在其他的一些实施例中，在确定第二视频片段中是否存在异常行为时，也可以仅根据第五累计帧数是否大于等于预设的第一阈值，确定出第二视频片段中是否存在异常行为。或者仅根据第六累计帧数是否大于等于预设的第二阈值，确定出第二视频片段中是否存在异常行为。

步骤S404.若第二视频片段中存在异常行为，则在电梯运行至下一楼层时，控制电梯处于停止状态，并控制电梯门处于非关闭状态。

可以理解的，在其他的一些实施例中，若第二视频片段中存在异常行为，也可以的在电梯运行下一停靠楼层时，控制电梯处于停止状态，并控制电梯门处于非关闭状态。

由此通过上述的可能设计二，可对异常行为进行二次检测，避免在进入电梯时由于故意遮挡而躲避异常行为检测的情形，进一步确保对异常行为进行准确检测，减少不安全事故发生。

第二方面，请参阅图3，本申请实施例提供了一种电梯控制装置，该电梯控制装置包括：

获取单元，用于获取待检测的第一视频片段；

检测单元，用于通过预先训练的目标检测模型对所述第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过所述预先训练的目标检测模型对所述第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数；其中，所述第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数

确定单元，用于基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为；

控制单元，用于在所述第一视频片段中存在异常行为的情形下，控制电梯门处于非关闭状态。

在一个可能的设计中，所述确定单元在用于基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为时，具体用于：

如果所述第一累计帧数大于等于预设的第一阈值和/或所述第二累计帧数大于等于预设的第二阈值，则判定所述第一视频片段中存在异常行为；

如果所述第一累计帧数小于所述第一阈值且所述第二累计帧数小于所述第二阈值，则判定所述第一视频片段中不存在异常行为。

在一个可能的设计中，所述检测单元还用于通过所述预先训练的目标检测模型对其它多段测试视频片段进行跳帧检测，得到各测试视频片段包含异常行为的第三累计帧数，并通过所述预先训练的目标检测模型对所述其它多段测试视频片段进行连续帧检测，得到各测试视频片段包含异常行为的第四累计帧数；其中，所述第四累计帧数为测试视频片段中包含异常行为的最大连续图像帧数；

所述确定单元还用于基于各测试视频片段所对应的第三累计帧数、第四累计帧数以及所述第一累计帧数和所述第二累计帧数，确定出各测试视频片段以及所述第一视频片段的异常行为检测结果；

基于各测试视频片段以及所述第一视频片段的异常行为检测结果、各测试视频片段以及所述第一视频片段所对应的人工判断结果，确定出针对各测试视频片段以及所述第一视频片段的预测结果；以及

基于针对各测试视频片段以及所述第一视频片段的预测结果，确定出异常行为检测的准确率；其中，所述异常行为检测结果表征存在异常行为或不存在异常行为，所述预测结果为真阳性、假阴性、假阳性以及真阴性中的其中一种，所述人工判断结果表征存在异常行为或不存在异常行为。

在一个可能的设计中，所述控制单元还用于在第一视频片段中不存在异常行为时，控制所述电梯门处于关闭状态；

所述获取单元还用于在第一视频片段中不存在异常行为时，获取待检测的第二视频片段；

所述检测单元还用于通过预先训练的目标检测模型对所述第二视频片段进行跳帧检测，得到包含异常行为的第五累计帧数，和/或通过所述预先训练的目标检测模型对所述第二视频片段进行连续帧检测，得到包含异常行为的第六累计帧数；其中，所述第六累计帧数为第二视频片段中包含异常行为的最大连续图像帧数；

所述确定单元还用于基于所述第五累计帧数和/或所述第六累计帧数，确定所述第二视频片段中是否存在异常行为；

所述控制单元还用于在第二视频片段中存在异常行为的情形下，在电梯运行至下一楼层或下一停靠楼层时，控制电梯处于停止状态，并控制电梯门处于非关闭状态。

在一个可能的设计中，控制单元在用于控制电梯门处于非关闭状态时，具体用于：

控制电梯门在预设时长内处于非关闭状态；或

控制电梯门在预设时长内处于非关闭状态，并在所述预设时长内将针对电梯内按键的操作设置为无效操作。

本实施例第二方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

如图4所示，本申请实施例第三方面提供了一种电梯控制装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的电梯控制方法。

具体举例的，所述存储器可以但不限于包括随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First In First Out，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器、ARM(Advanced RISCMachines)、X86等架构处理器或集成网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(Wireless FIdelity，WiFi)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、第三代移动通信技术(3th-Generation Mobile Communication Technologyy，3G)收发器、第四代移动通信技术(4th-Generation Mobile Communication Technology y，4G)收发器和/或第五代移动通信技术(5th-Generation Mobile Communication Technology y，5G)收发器等。

本实施例第三方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第四方面提供了一种存储包含有实施例第一方面所述的电梯控制方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的电梯控制方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(MemoryStick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例第四方面提供的计算机可读存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的电梯控制方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

以上所描述的多个实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台仓库代码的合并装置执行各个实施例或者实施例的某些部分所述的方法。

本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种电梯控制方法，其特征在于，包括：

获取待检测的第一视频片段；

通过预先训练的目标检测模型对所述第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过所述预先训练的目标检测模型对所述第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数；其中，所述第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数；

基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为；

若存在异常行为，则控制电梯门处于非关闭状态。

2.如权利要求1所述的方法，其特征在于，所述基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为，包括：

如果所述第一累计帧数大于等于预设的第一阈值和/或所述第二累计帧数大于等于预设的第二阈值，则判定所述第一视频片段中存在异常行为；

如果所述第一累计帧数小于所述第一阈值且所述第二累计帧数小于所述第二阈值，则判定所述第一视频片段中不存在异常行为。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述预先训练的目标检测模型对其它多段测试视频片段进行跳帧检测，得到各测试视频片段包含异常行为的第三累计帧数，并通过所述预先训练的目标检测模型对所述其它多段测试视频片段进行连续帧检测，得到各测试视频片段包含异常行为的第四累计帧数；其中，所述第四累计帧数为测试视频片段中包含异常行为的最大连续图像帧数；

基于各测试视频片段所对应的第三累计帧数、第四累计帧数以及所述第一累计帧数和所述第二累计帧数，确定出各测试视频片段以及所述第一视频片段的异常行为检测结果；

基于各测试视频片段以及所述第一视频片段的异常行为检测结果、各测试视频片段以及所述第一视频片段所对应的人工判断结果，确定出针对各测试视频片段以及所述第一视频片段的预测结果；

基于针对各测试视频片段以及所述第一视频片段的预测结果，确定出异常行为检测的准确率；其中，所述异常行为检测结果表征存在异常行为或不存在异常行为，所述预测结果为真阳性、假阴性、假阳性以及真阴性中的其中一种，所述人工判断结果表征存在异常行为或不存在异常行为。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

若不存在，则控制所述电梯门处于关闭状态，并获取待检测的第二视频片段；

通过预先训练的目标检测模型对所述第二视频片段进行跳帧检测，得到包含异常行为的第五累计帧数，和/或通过所述预先训练的目标检测模型对所述第二视频片段进行连续帧检测，得到包含异常行为的第六累计帧数；其中，所述第六累计帧数为第二视频片段中包含异常行为的最大连续图像帧数；

基于所述第五累计帧数和/或所述第六累计帧数，确定所述第二视频片段中是否存在异常行为；

若存在，则在电梯运行至下一楼层或下一停靠楼层时，控制电梯处于停止状态，并控制电梯门处于非关闭状态。

5.如权利要求1所述的方法，其特征在于，所述控制电梯门处于非关闭状态，包括：

控制电梯门在预设时长内处于非关闭状态；或

控制电梯门在预设时长内处于非关闭状态，并在所述预设时长内将针对电梯内按键的操作设置为无效操作。

6.一种电梯控制装置，其特征在于，包括：

获取单元，用于获取待检测的第一视频片段；

检测单元，用于通过预先训练的目标检测模型对所述第一视频片段进行跳帧检测，得到包含异常行为的第一累计帧数，并通过所述预先训练的目标检测模型对所述第一视频片段进行连续帧检测，得到包含异常行为的第二累计帧数；其中，所述第二累计帧数为所述第一视频片段中包含异常行为的最大连续图像帧数

确定单元，用于基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为；

控制单元，用于在所述第一视频片段中存在异常行为的情形下，控制电梯门处于非关闭状态。

7.如权利要求6所述的电梯控制装置，其特征在于，所述确定单元在用于基于所述第一累计帧数和所述第二累计帧数，确定所述第一视频片段中是否存在异常行为时，具体用于：

如果所述第一累计帧数大于等于预设的第一阈值和/或所述第二累计帧数大于等于预设的第二阈值，则判定所述第一视频片段中存在异常行为；

如果所述第一累计帧数小于所述第一阈值且所述第二累计帧数小于所述第二阈值，则判定所述第一视频片段中不存在异常行为。

8.如权利要求6所述的电梯控制装置，其特征在于，所述检测单元还用于通过所述预先训练的目标检测模型对其它多段测试视频片段进行跳帧检测，得到各测试视频片段包含异常行为的第三累计帧数，并通过所述预先训练的目标检测模型对所述其它多段测试视频片段进行连续帧检测，得到各测试视频片段包含异常行为的第四累计帧数；其中，所述第四累计帧数为测试视频片段中包含异常行为的最大连续图像帧数；

所述确定单元还用于基于各测试视频片段所对应的第三累计帧数、第四累计帧数以及所述第一累计帧数和所述第二累计帧数，确定出各测试视频片段以及所述第一视频片段的异常行为检测结果；

基于各测试视频片段以及所述第一视频片段的异常行为检测结果、各测试视频片段以及所述第一视频片段所对应的人工判断结果，确定出针对各测试视频片段以及所述第一视频片段的预测结果；以及

基于针对各测试视频片段以及所述第一视频片段的预测结果，确定出异常行为检测的准确率；其中，所述异常行为检测结果表征存在异常行为或不存在异常行为，所述预测结果为真阳性、假阴性、假阳性以及真阴性中的其中一种，所述人工判断结果表征存在异常行为或不存在异常行为。

9.一种电梯控制装置，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～5任意一项所述的电梯控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～5任意一项所述的电梯控制方法。

Images