CN113247720A - 基于视频的智能梯控方法及系统 - Google Patents

Abstract

本发明涉及一种基于视频的智能梯控方法及系统，方法包括以下步骤：a、采集电梯开关门信号，在电梯开门状态下采集电梯轿厢内的图像；b、判断所述图像中是否存在违禁品、乘客、非违禁大件物品以及是否存在遮挡；c、根据所述步骤(b)中的判断结果选择是否进行梯控。本发明可以识别出进入电梯的电瓶车、煤气罐等违禁品，并能够及时进行梯控处理。

Description

基于视频的智能梯控方法及系统

技术领域

本发明涉及一种基于视频的智能梯控方法及系统。

背景技术

电梯是一种非常普及的公共设施，其广泛应用在商场、办公区、居民区等场景，给人们的日常生活带来了非常大的便捷。然而，经常会有部分乘客将违禁品带入电梯且通过电梯上楼，比如电瓶车、煤气罐等。这些违禁品进入电梯或楼层会给广大居民带来巨大的安全隐患。因此，相关技术提出了利用视频分析来及时发现这些违禁品入梯的方案，再结合电梯控制系统，可以在检测到违禁品时控制电梯停止运行，从而避免违禁品上楼的安全隐患。

但是，现有技术中，大部分仅针对于电瓶车作为违禁品进行梯控，对于煤气罐等其它也需要梯控的危险品则会存在疏漏。另外，大部分技术有效进行梯控的前提是必须检测到电瓶车入梯的时候才根据此图建立/更新背景。可见，这种方式的缺陷在于，若有人在电瓶车入梯前将图像采集设备的监控画面先进行遮挡再将电瓶车推入梯，则无法正常梯控。并且，现有技术中的背景更新方法比较简单，仅通过实时图像进行背景更新，进而使得判断图像采集设备是否遮挡的方式也过于简单，如此，当光照有明显变化时很容易导致误梯控。

发明内容

本发明的目的在于提供一种基于视频的智能梯控方法及系统。

为实现上述发明目的，本发明提供一种基于视频的智能梯控方法及系统，方法包括以下步骤：

a、采集电梯开关门信号，在电梯开门状态下采集电梯轿厢内的图像；

b、判断所述图像中是否存在违禁品、乘客、非违禁大件物品以及是否存在遮挡；

c、根据所述步骤(b)中的判断结果选择是否进行梯控。

根据本发明的一个方面，在所述步骤(a)中，还包括采集入梯规则线；

所述入梯规则线通过在所述图像中采集电梯轿厢内的特定线获取，或者，通过在采集所述图像的设备中预先配置入梯规则线端点坐标以在采集所述图像的同时获取。

根据本发明的一个方面，在所述步骤(b)中，利用YOLOV3作为检测模型对所述图像进行目标识别，识别出违禁品和乘客，可识别的违禁品包括电瓶车和煤气罐；

所述检测模型在训练时，采集包含违禁品和乘客的样本图像，并对所述样本图像进行标注，利用标注后的所述样本图像对所述检测模型进行训练；

若所述图像中存在违禁品且已越过所述入梯规则线，则视为违禁品进入电梯。

根据本发明的一个方面，当所述步骤(b)中判断出所述图像中存在违禁品或乘客时，则将所述图像作为背景特征图，并提取所述背景特征图的特征存储为第一特征；

当存储的所述第一特征数量累积达500以上时，根据所述第一特征间的相似度进行聚类，在包含所述第一特征的数量大于100的类别中随机采样3个特征并存储为第二特征，获取第二特征之后清空所有的第一特征，待下一次第一特征满足数量后，再进行聚类，更新第二特征，后续不断重复此过程。

根据本发明的一个方面，在所述步骤(b)中，提取所述图像的特征并将之分别与最新的第一特征、所述第二特征对比，若所述图像的特征与最新的第一特征、所述第二特征间任一相似度均在遮挡阈值以下，则判定所述图像中存在遮挡，所述遮挡阈值在60-70之间。

根据本发明的一个方面，在进行特征提取时，将图像或背景特征图分成M×N块，然后提取每个块的LBP特征。

根据本发明的一个方面，在所述步骤(b)中，利用ResNet作为分类模型对所述图像进行分类，判断所述图像中是否存在非违禁大件物品；

所述分类模型在进行训练时，采集包含非违禁大件物品和不包含非违禁大件物品的电梯场景图像，利用所述电梯场景图像对所述分类模型进行训练。

根据本发明的一个方面，在所述步骤(c)中，若所述图像中存在违禁品，或者，所述图像中存在遮挡且之前的3帧不存在非违禁大件物品时则进行梯控。

智能梯控系统，包括：

数据采集模块，用于采集电梯轿厢内的图像及开关门状态；

分析模块，用于分析所述图像并根据分析结果输出是否进行梯控的信号；

控制模块，用于根据所述分析模块输出的信号选择是否进行梯控。

根据本发明的一个方面，所述数据采集模块包括视频监控设备和开关门检测传感器。

根据本发明的一个方面，所述分析模块包括：

违禁品和乘客检测模块，用于检测所述图像中是否存在违禁品和乘梯人员；

遮挡检测模块，用于检测所述图像中是否存在遮挡；

背景构建模块，用于存储及生成背景特征图的特征；

分类模块，用于检测所述图像中是否存在非违禁大件物品；

仲裁模块，用于根据检测结果输出是否进行梯控的信号。

根据本发明的方案，利用监控设备在电梯开门时采集图像，并检测图像中的违禁品、乘客、非违禁大件物品等目标，以及电梯内是否存在遮挡的现象，并在必要时及时进行梯控。由此，本发明额外设置了检测大件物品的工序，从而避免正常搬运大件物品的情况被误认为遮挡现象而进行的误梯控。根据本发明的一个方案，利用分类模型对图像进行分类，从而能够准确的区分出大件物品。

根据本发明的一个方案，利用检测模型对监控图像进行目标识别，识别出其中的违禁品和乘梯人员，并且所能识别的违禁品包含了电瓶车以及煤气罐，从而能够保证大多数有害楼内人员安全的违禁品均能被准确地识别出。

根据本发明的一个方案，在识别出图像中存在违禁品或乘客时，即表明图像不存在遮挡，此时可利用此图像作为背景特征图，以判断实时图像是否存在遮当。并且，在此前提下，还对历史上的背景特征图的特征数据库进行不定时的聚类，以获得另一种可比对的背景特征，从而极大程度地避免了由于光线原因而将正常情况误判为遮挡情况的误梯控。

附图说明

图1示意性表示本发明的一种实施方式的智能梯控方法的流程图；

图2示意性表示本发明的一种实施方式的智能梯控方法中的图像分析流程图；

图3示意性表示本发明的一种实施方式的智能梯控系统的组成框图；

图4示意性表示本发明的一种实施方式的智能梯控方法及系统采集的图像示意图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

参见图1，本发明的基于视频的智能梯控方法，首先采集电梯开关门信号，从而能够判断电梯当前的开关门状态，在电梯开门状态下采集电梯轿厢内的图像，电梯门未开启(即门关状态)则不进行后续分析。抓取图像后判断图像中是否存在违禁品、乘客、非违禁大件物品以及是否存在遮挡。最后根据上述各个判断工序的判断结果选择是否进行梯控，电梯梯控是指通过给电梯发送信号，使电梯门常开，从而使电梯无法上、下运行。由此，本发明适用于电梯安全技术领域，通过视频分析技术，对违禁物品入梯进行梯控，减少违禁品上楼带来的安全隐患。

参见图2，本发明判断违禁品是否进入电梯的方式为采集入梯规则线，入梯规则线可通过在采集的图像中额外采集电梯轿厢内的特定线的方式获取，该特定线可以为电梯门底部的缝隙等。当然，也可通过人工配置的方式获取，例如在采集图像的设备中预先配置入梯规则线的端点坐标，使得采集的图像中即带有入梯规则线，从而可在采集图像的同时一并获取入梯规则线。设置入梯规则线之后，即可通过该线和图像中检测出的违禁品的位置判断违禁品是否入梯，避免将电梯外部并未企图入梯的违禁品也划入检测范围内而造成误梯控。如此，若图像中检测到违禁品且违禁品已越过入梯规则线，则视为违禁品已经进入电梯。

本发明中，对于违禁品及乘客的检测采用深度学习的方法，具体为利用YOLOV3作为检测模型对图像进行目标识别，可识别出的违禁品包括电瓶车和煤气罐，当然若后续存在其他违禁品类型也可根据需求对其种类进行增加。检测模型在训练时需要收集样本图像，因此首先要采集包含违禁品和乘客的样本图像。然后对样本图像进行标注，最后利用大量的标注后的样本图像数据对检测模型进行训练，训练完成后的检测模型就可以用来识别图像中的违禁品和乘客。

在检测的过程中，当图像中包含违禁品或乘客时则表明监控画面没有被遮挡，即可以作为背景特征图(或称背景图)，从而用来判断实时的监控视频是否被遮挡。这一步骤也称为图像背景建模，实质是将视频监控中连续图像的部分图像当作背景特征图。当然，由于图片占用数据库的空间较大，因此还要提取背景特征图的特征信息，并将这些提取的特征信息进行存储，实现背景建模。这样，通过比对背景和当前帧图像的特征差异即可判断监控画面是否被遮挡。这些背景特征图需要实时更新，即实时图像检测出违禁品或乘客时，即将其作为新的背景特征图，对于实时更新的背景特征图提取的特征为第一特征。此外，为了避免光线影响而出现的误梯控，本发明还设置了另一种可与实时图像的比对的背景特征，这些特征也是从实时更新的背景特征的数据库中选取。具体的，需要判断特征数据库中的第一特征的数量是否达到一定阈值(在其以上)，当第一特征的数量达到阈值时则根据特征间的相似度对第一特征进行聚类，在包含第一特征的数量大于100的类别中随机采样3个特征并存储，形成新的背景特征，即第二特征。获取第二特征之后清空所有的第一特征，待下一次第一特征满足上述阈值后再进行聚类，从而更新第二特征，后续不断重复此过程。在本实施方式中，上述判断特征数量的阈值为500。经过上述即可获得实时更新的第一特征和不定时聚类更新的第二特征这样两种可用于比对的背景特征。在进行遮挡判断时，需要提取图像中的特征，并将之分别与最新的第一特征、第二特征进行相似度比对。如果特征间的相似度较低则表明当前图像与背景差异较大，则意味着有可能存在遮挡现象，因此当前图像与最新的第一特征、第二特征的两次比对中任一特征间的相似度在遮挡阈值以下时视为图像中存在遮挡。在本实施方式中，上述遮挡阈值为65。当然，该遮挡阈值可以根据实际应用场景适当调整，例如可在60-70之间选取。本发明在进行特征提取时，将图像分成M×N块，然后提取每个块的LBP特征，同时将提取出的图像特征存储到数据库中。

当然，若电梯内存在乘客携带不是违禁品但体型较大的物品进入电梯时，也有可能对监控设备造成遮挡。因此，本发明还采用深度学习的方法对采集的图像进行了图像分类，从而区分出图片中的非违禁大件物品，以避免发生误梯控的情况。具体的，利用ResNet作为分类模型(或称分类网络)对图像进行分类，判断图像中是否存在非违禁大件物品。分类模型在训练阶段也需要准备训练数据，因此也需要采集大量的电梯场景图像，并对这些电梯场景图像进行分类，分成非违禁大件物品的图像和不包含大件物品的正常图像，然后利用这些电梯场景图像数据对分类模型进行训练，得到训练好的模型后可直接利用之进行图像分类。

经过上述，若检测出当前图像中存在违禁品越过入梯规则线(即入梯)的情况，则进行梯控。此外，若判断出当前图像中不存在违禁品和乘客时，则要考虑遮挡判断的结果，遮挡判断时将提取的图像特征和背景特征图的特征进行比对，由上述可知此时用于对比的背景特征图的特征包含两个部分，分为不定时聚类的背景特征图的第二特征以及实时更新的背景特征图的第一特征。如果当前图像与背景特征图的差异较大，则判定当前图像存在遮挡。此时需要判断电梯内是否存在非违禁大件物品，具体可通过分析当前帧的前几帧的情况，例如当前帧的之前3帧均未出现过非违禁大件物品的情况时，则判定此时电梯内确实出现故意遮挡而非正常搬运大件物品的情况，则需要进行梯控。

参见图3，本发明的智能梯控方法主要由三部分构成，分别为数据采集模块、分析模块和控制模块(或称梯控模块)。其中，数据采集模块用于采集电梯轿厢内的图像及开关门状态，因此其包括视频监控设备和开关门检测传感器。视频监控设备则用来在电梯门开时进行图像抓取，其采集的监控画面如图4所示，其采集的信息既包括了实时监控图像，还包含监控画面中的入梯规则线。开关门检测传感器则用来采集电梯开关门信号，从而获取电梯开关门状态。分析模块用于结合入梯规则线分析图像并根据分析结果输出是否需要进行梯控的信号，其作为核心模块由五个子模块构成，分别为违禁品和乘客检测模块、遮挡检测模块、背景构建模块、分类模块和仲裁模块。其中，违禁品和乘客检测模块用于检测监控图像画面中是否有违禁品和乘梯人员；遮挡检测模块用于通过比对背景特征图和当前图像特征的差异来判断图像中是否存在遮挡；背景构建模块用于存储及生成背景特征图的特征，即该模块存储有大量特征信息并可通过聚类分析得到历史特征(即第二特征)；分类模块用于通过深度学习方法判断监控图像是否存在搬运非违禁大件物品的情况；仲裁模块用于根据上述各个模块的检测结果输出是否进行梯控的信号。控制模块则用于根据分析模块中的仲裁模块输出的信号进行梯控，在不进行梯控时直接返回。即当违禁品出现在电梯内时则进行梯控，或者，当监控画面出现被遮挡情况且被遮挡之前未发现搬运大件物品的情况时进行梯控。

综上所述，本发明对常见的违禁品，如电瓶车和煤气罐入梯或故意遮挡监控摄像头均会进行有效的梯控，从而可以尽量减少违禁品上楼，避免安全隐患。并且，本发明中的背景建模方法结合了实时背景和历史背景信息，从而可以避免由于光照变化造成的误梯控。同时，本发明增加了图像分类模型，对监控画面进行分类，避免了正常搬运大件物品导致遮挡的误梯控。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于视频的智能梯控方法，包括以下步骤：

a、采集电梯开关门信号，在电梯开门状态下采集电梯轿厢内的图像；

b、判断所述图像中是否存在违禁品、乘客、非违禁大件物品以及是否存在遮挡；

c、根据所述步骤(b)中的判断结果选择是否进行梯控。

2.根据权利要求1所述的方法，其特征在于，在所述步骤(a)中，还包括采集入梯规则线；

所述入梯规则线通过在所述图像中采集电梯轿厢内的特定线获取，或者，通过在采集所述图像的设备中预先配置入梯规则线端点坐标以在采集所述图像的同时获取。

3.根据权利要求2所述的方法，其特征在于，在所述步骤(b)中，利用YOLOV3作为检测模型对所述图像进行目标识别，识别出违禁品和乘客，可识别的违禁品包括电瓶车和煤气罐；

所述检测模型在训练时，采集包含违禁品和乘客的样本图像，并对所述样本图像进行标注，利用标注后的所述样本图像对所述检测模型进行训练；

若所述图像中存在违禁品且已越过所述入梯规则线，则视为违禁品进入电梯。

4.根据权利要求1所述的方法，其特征在于，当所述步骤(b)中判断出所述图像中存在违禁品或乘客时，则将所述图像作为背景特征图，并提取所述背景特征图的特征存储为第一特征；

当存储的所述第一特征数量累积达500以上时，根据所述第一特征间的相似度进行聚类，在包含所述第一特征的数量大于100的类别中随机采样3个特征并存储为第二特征，获取第二特征之后清空所有的第一特征，待下一次第一特征满足数量后，再进行聚类，更新第二特征，后续不断重复此过程。

5.根据权利要求4所述的方法，其特征在于，在所述步骤(b)中，提取所述图像的特征并将之分别与最新的第一特征、所述第二特征对比，若所述图像的特征与最新的第一特征、所述第二特征间任一相似度均在遮挡阈值以下，则判定所述图像中存在遮挡，所述遮挡阈值在60-70之间。

6.根据权利要求5所述的方法，其特征在于，在进行特征提取时，将图像或背景特征图分成M×N块，然后提取每个块的LBP特征。

7.根据权利要求1所述的方法，其特征在于，在所述步骤(b)中，利用ResNet作为分类模型对所述图像进行分类，判断所述图像中是否存在非违禁大件物品；

所述分类模型在进行训练时，采集包含非违禁大件物品和不包含非违禁大件物品的电梯场景图像，利用所述电梯场景图像对所述分类模型进行训练。

8.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，若所述图像中存在违禁品，或者，所述图像中存在遮挡且之前的3帧不存在非违禁大件物品时则进行梯控。

9.一种利用权利要求1-8中任一项所述的智能梯控方法的系统，其特征在于，包括：

数据采集模块，用于采集电梯轿厢内的图像及开关门状态；

分析模块，用于分析所述图像并根据分析结果输出是否进行梯控的信号；

控制模块，用于根据所述分析模块输出的信号选择是否进行梯控。

10.根据权利要求9所述的智能梯控方法的系统，其特征在于，所述数据采集模块包括视频监控设备和开关门检测传感器。

11.根据权利要求9所述的智能梯控方法的系统，其特征在于，所述分析模块包括：

违禁品和乘客检测模块，用于检测所述图像中是否存在违禁品和乘梯人员；

遮挡检测模块，用于检测所述图像中是否存在遮挡；

背景构建模块，用于存储及生成背景特征图的特征；

分类模块，用于检测所述图像中是否存在非违禁大件物品；

仲裁模块，用于根据检测结果输出是否进行梯控的信号。

Images